枫川棂

Come From FCL.PDD


  • 首页

  • 标签

  • 分类

  • 归档

airflow 文档学习(二) - 概念

发表于 2018-12-11 | 分类于 python-框架 | | 阅读次数:
字数统计: 2.4k | 阅读时长 ≈ 8
1. 核心功能1.1 DAGs 有向无环图反映所涉及的task的依赖关系 注:搜索dag的时候,airflow只会关注同事包含”DAG”和”airflow”字样的py文件 1.2 scope airflow将加载任何可以从DAG file中import的DAG对象,但是它们必须出现在globals ...
阅读全文 »

celery 安装及使用

发表于 2018-12-09 | 分类于 python-框架 | | 阅读次数:
字数统计: 936 | 阅读时长 ≈ 4
1. centos7 下安装celery1.1 安装pip12yum -y install epel-releaseyum install python-pip 1.2 更新pip12pip install --upgrade pippip install --upgrade setuptools ...
阅读全文 »

airflow-api 插件的安装与使用介绍

发表于 2018-12-07 | 分类于 python-框架 | | 阅读次数:
字数统计: 2k | 阅读时长 ≈ 8
1. 安装插件airflow-rest-api 1)获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2)将plugin文件夹下的内容放入airflow/plugin/下,若不存在则 ...
阅读全文 »

centos7 更新mariadb

发表于 2018-12-03 | 分类于 linux | | 阅读次数:
字数统计: 98 | 阅读时长 ≈ 1
1. 备份数据库内容mysqldump -uroot -p --all-databases > /opt/database-dump.sql 2. 停止mysql并清除(前提是备份好数据库内容)12systemctl stop mariadbyum remove mariadb mariadb ...
阅读全文 »

airflow 文档学习(一) 基本Operator

发表于 2018-12-03 | 分类于 python-框架 | | 阅读次数:
字数统计: 2.6k | 阅读时长 ≈ 12
1. Operator和task 简单来说,Operator就是task的抽象类 2. BaseOperator 所有的功能性Operator的来源 2.1 参数:1234567891011121314151617181920212223242526task_id (string) :唯一标识t ...
阅读全文 »

centos7 超完整安装airflow

发表于 2018-12-03 | 分类于 python-框架 | | 阅读次数:
字数统计: 1.1k | 阅读时长 ≈ 4
1. airflow完整安装流程1.1 airflow 基础安装1)默认自带python2环境,自行安装pip12yum -y install epel-releaseyum install python-pip 2)进行pip的更新,否则很多安装会报错12pip install --upgrade ...
阅读全文 »
12
fengchuanling

fengchuanling

记录一个程序猿的点滴,内容生产者。
大家想看啥也可以给我留言哟~

12 日志
6 分类
13 标签
RSS
GitHub E-Mail
© 2018 fengchuanling
由 Hexo 强力驱动
|
主题 — NexT.Muse v5.1.4