https://github.com/apache/incubator-streampark

https://streampark.apache.org/zh-CN/

Apache Flink 极速开发框架

让Flink开发更简单

实时即未来,在实时处理流域 Apache Spark 和 Apache Flink 是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink & Spark 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— StreamPark, 项目的初衷是 —— 让流处理更简单, 使用StreamPark开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamPark 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供了scala和java两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案

# 重要特性

    开发脚手架

    多版本Flink支持(1.11、1.12、1.13、1.14、1.15)

    一系列开箱即用的connectors

    支持项目编译功能(maven 编译)

    在线参数配置

    支持Application 模式, Yarn-Per-Job模式启动

    快捷的日常操作(任务启动、停止、savepoint以及从savepoint恢复)

    支持火焰图

    支持notebook(在线任务开发)

    项目配置和依赖版本化管理

    支持任务备份、回滚(配置回滚)

    在线管理依赖(maven pom)和自定义jar

    自定义udf、连接器等支持

    Flink SQL WebIDE

    支持catalog、hive

    任务运行失败发送告警邮件（支持钉钉、微信、邮件、飞书等）

    支持失败重启重试

    从任务开发阶段到部署管理全链路支持

    ...