25G.story

  • 홈
  • 태그
  • 방명록

Airflow 1

airflow개념 및 설치와 mysql 연동

Airflow? 복잡한 워크플로우를 프로그래밍 방식으로 작성해서 스케줄링하고 모니터링 할 수 있는 플랫폼 어떠한 스크립트들을 스케줄링 할때 crontab, cloudwatch 등을 사용하는데 스크립트끼리 서로의 의존성이 생기게 되면 컨트롤하기 어렵고 문제가 생겼을 시에 디버깅을 확인하고 어디서 잘못됐는지 체킹하는 작업들이 필요해진다. Airflow에서는 서로에 대한 의존성을 표현할수 있고 스크립트가 실패했을때 알람을 보내 확인하고 쉽게 수정 후 재시도 할 수 있고, 이전 날짜 작업이 실패했을때 그 날짜만 다시 실행하는 등 많은 문제를 해결할 수 있다. 실패한 테스크만 재수행 요청을 할 수 있고 이를 ui로 간단하게 실행할 수 있다. dag arg 에 retry를 설정해서 계속해서 제시도할 수도 있다.' ..

Airflow 2022.10.31
이전
1
다음
더보기
프로필사진

25G.story

솔직하게 풀어내는 저의 이야기들입니다

  • 분류 전체보기 (416)
    • Python (20)
    • JSP (8)
    • JAVA,객체지향 (44)
    • 오늘 뭐먹지? (3)
    • 안드로이드앱 프로그래밍 (5)
    • Springboot (103)
    • JavaScript (2)
    • HTML,CSS (2)
    • React (18)
    • cs (6)
    • SpringbootSecurity (25)
    • R (13)
    • LINUX (30)
    • GIT (2)
    • JPA(Java Persistence API) (0)
    • Airflow (1)
    • ELK (8)
    • CPython (9)
    • AWS (7)
    • mongoDB (1)
    • 알고리즘 (1)
    • Node.js (9)
    • kafka (12)
    • Docker (16)
    • Redis (4)
    • 엘라스틱빈스톡 (1)
    • 데이터 분석 (2)
    • 머신러닝 (2)
    • CQRS (3)
    • 네트워크 (19)
    • NestJS (12)
    • Unit Testing (7)
    • webpack (1)
    • 자연어처리 (3)
    • DB (4)
    • 보안 (2)
    • AI (1)

Tag

security, 공부, jwt, It, linux, react, jpa, R, spring, java, 빅데이터, node, STS, 코딩, springboot, kafka, 프로그래밍#코딩#연습, 프로그래밍, network, SpringbootSecurity,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

  • 제가 Velog 에 작성했던 글을 tistory로 옮기고 있습니다.

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • 인스타 주소

티스토리툴바