威尼斯手机平台-电子正规官网登录首页

热门关键词: 威尼斯手机平台,威尼斯登录首页,威尼斯正规官网
【威尼斯电子平台】能够自动化从单个服务器到周围集群的财富管理
分类:威尼斯电子平台

Apache 软件基金会颁发,Apache Airflow 已经打响地从孵化毕业,成为基金会的八个新的五星级项目。

应用Airbnb的Airflow来治本数据工作流 - 推酷
http://www.tuicool.com/articles/JzIFNn

Ansible Role: airflow

安装airflow

Apache Airflow 是三个灵活、可扩大的职业流自动化和调治种类,可编集和管理数百 PB 的数据流。项目可轻易编排复杂的计量专门的学问流,通过智能调整、数据库和信任性关系管理、错误管理和日志记录,Airflow 能够自动化从单个服务器到不足为道集群的财富管理。项目选择 Python 编写,具有高扩展性,能够运行其余语言编写的天职,并允许与常用的系统结构和类型并入,如 AWS S3、Docker、Kubernetes、MySQL、Postgres 等。

InfoQ:拿Airflow与Azkaban (LinkedIn卡塔尔(قطر‎、 Luigui (Spotify卡塔尔国 和 Oozie (Yahoo卡塔尔那么些相比较结实会是怎么?

介绍

Airflow 被 Airbnb 内部用来创造、监察和控制和调动数据管道。任何专业流都能够在此个利用 Python 编写的阳台上运转(近年来加盟 Apache 基金会照蛋器)。

Airflow 允许职业流开采人士轻巧创造、维护和周期性地调整运转工作流(即有向无环图或变成DAGs)的工具。在Airbnb中,那个专门的工作流包蕴了如数据存款和储蓄、增加解析、Email发送、A/B测量检验等等那么些超越多单位的用例。那一个平台具有和 Hive、Presto、MySQL、HDFS、Postgres和S3交互作用的技术,并且提供了钩子使得系统具备很好地扩张性。除了三个限令行分界面,该工具还提供了三个基于Web的客户分界面让您能够可视化管道的重视关系、监察和控制进程、触发职分等。

github地址:https://github.com/apache/incubator-airflow
合克罗地亚共和国语档地址:https://airflow.incubator.apache.org/

Apache Airflow 于 2015 年由 Airbnb 发起,并于 二〇一六 年 3 月交给给 Apache 进行孵化。

Maxime:

要求

此剧中人物仅在XC90HEL及其衍分娩品上运维。

依据,Apache Airflow 前段时间正被 200 四个团队使用,包罗Adobe、Airbnb、Astronomer、Etsy、谷歌(Google卡塔尔、ING、Lyft、NYC City Planning、Paypal、Polidea、Qubole、Quizlet、Reddit、Reply、Solita、Square、推特(Twitter卡塔尔等。

三个重大的界别是,Airflow管道被定义为代码(相较于Oozie和Azkaban被定义为标记语言),并且职务是被动态实例化的(而不是像Luigi是由派生类创设任务)。那使得Airflow成为动态管道临蓐的超级施工方案,Airflow能够被当作“剖判作为一种服务”、“剖析自动化”和测算框架那样刚劲的定义。Airflow包罗大家的A/B测量试验框架、二个万分检查测量检验框架、三个会晤框架和别的框架组成了上述概念的叁个表率。

测量试验碰到

ansible 2.2.1.0
os Centos 6.7 X64

威尼斯电子平台 1


剧中人物变量

airflow_home: "/airflow"
airflow_tmpdir: "/tmp/airflow"
airflow_bin: "/usr/local/bin/airflow"
airflow_user: "airflow"
airflow_extra: [hive,hdfs,jdbc,mysql,async,postgres,rabbitmq,qds,password,ldap]
airflow_db: "airflow"
mysql_host: ""
mysql_port: ""
mysql_user: ""
mysql_password: ""
create_db: true
change_utctime: true
airflow_port: 8080

env: "HOME=/home/{{ airflow_user }},AIRFLOW_HOME={{ airflow_home }},TMPDIR={{ airflow_tmpdir }}"
ansible_python_interpreter: /usr/bin/python2.6

(文/开源中华夏族民共和国卡塔尔    

Airflow与Azkaban (LinkedIn卡塔尔、 Luigui (Spotify卡塔尔国 和 Oozie (Yahoo卡塔尔国那几个相比结实会是怎样?

依赖

python2.7
supervisor

Airbnb 这段时间在Apache执照下开源了它协调的数码工作流管理框架 Airflow 。Airflow被Airbnb内部用来创设、监察和控制和调动数据管道。任何专业流都得以在此个利用Python来编排的阳台上运维。
Airflow是一种允许职业流开垦职员轻巧创立、维护和周期性地调解运转专业流(即有向无环图或成为DAGs)的工具。在Airbnb中,这么些工作流包蕴了如数据存款和储蓄、增加分析、Email发送、A/B测量检验等等那个超过多部门的用例。

github地址

https://github.com/kuailemy123/Ansible-roles/tree/master/airflow

Airflow与Azkaban (LinkedInState of Qatar、 Luigui (Spotify卡塔尔(قطر‎ 和 Oozie (Yahoo)那么些相比结实会是什么样?

Example Playbook

- hosts: node1
  vars:
    airflow_home: '/airflow'
    mysql_host: 192.168.77.128
    mysql_port: 3306
    mysql_user: root
    mysql_password: 123456
    supervisor_name: airflow
    airflow_port: 8081
    supervisor_program: 
      - { name: 'webserver', command: '/usr/local/bin/airflow webserver', user: 'airflow' }
      - { name: 'scheduler', command: '/usr/local/bin/airflow scheduler', user: 'airflow' }
  roles:
   - { role: python2.7 }
   - { role: airflow }
   - { role: supervisor }

Airflow将成文DAG调节领域的强力角逐者,

本文由威尼斯手机平台发布于威尼斯电子平台,转载请注明出处:【威尼斯电子平台】能够自动化从单个服务器到周围集群的财富管理

上一篇:微软集团版本的 Python 3.7 开垦方是 Python,微软为想要学习 Python 下一篇:运用版本5的百分比最高,使用PHP的百分比高达78.9%
猜你喜欢
热门排行
精彩图文