又是一年開源之夏，八大課題項目獎金等你來拿！_API

又是一年季。今年，ApacheDolphinScheduler同樣參與到了活動中來，希望有更多學生群體關注到ApacheDolphinScheduler，并踴躍參與項目共建拿獎金！

No.1活動介紹

開源之夏是由“開源軟件供應鏈點亮計劃”發起并長期支持的一項暑期開源活動，由中國科學院軟件研究所與openEuler社區共同舉辦，旨在鼓勵在校學生積極參與開源軟件的開發維護，促進優秀開源軟件社區的蓬勃發展，培養和發掘更多優秀的開發者。

學生可自主選擇感興趣的項目進行申請，并在中選后獲得社區導師親自指導。根據項目的難易程度和完成情況，參與者還將獲取開源之夏活動獎金和結項證書。

開源之夏活動官網：https://summer.iscas.ac.cn/

No.2活動日程

No.3項目介紹

ApacheDolphinScheduler是一個云原生易擴展的可視化DAG工作流任務調度系統。致力于解決數據處理流程中復雜的任務依賴關系，使各種任務類型(Spark/Flink/MR/Shell/Python/SQL等)在工作流編排中開箱即用。

No.4獎金設置

進階：獎金人民幣12000元

優化類的任務，例如提高性能，降低資源占有

基礎：獎金人民幣8000元

功能類的任務，例如為本社區開源項目增加一個或若干個重要特性等

No.5八大課題

本次活動，ApacheDolphinScheduler開源社區共設有8個項目課題具體如下，歡迎參與：

01為DolphinSchedulerPythonAPI添加資源文件

外媒：FTX計劃推遲出售其日本子公司FTX Japan:7月6日消息，加密貨幣交易所FTX Trading計劃推遲出售其日本子公司FTX Japan，并已通過TX Japan向日本金融廳傳達這個計劃。FTX此次暫停出售FTX Japan，意不在推遲日本子公司的出售流程，FTX集團一位高管表示，“他們希望通過出售整個集團來提高售價，而不是出售各個地區的子公司。”

另一方面，FTX Japan 2月份啟動的客戶資產返還工作進展順利。目前，FTX Japan已向客戶返還80%的日元等法幣以及虛擬貨幣。如果FTX日本的前身QUOINE (coin)所使用的交易系統運轉順利，日本金融廳可能會允許這家日本公司在年底前恢復運營。[2023/7/6 22:21:22]

222290294

進階/Advanced

Python

目前，DolphinSchedulerPythonAPI只能傳遞字符串格式傳遞任務的參數，例如我們的tutorial

dolphinscheduler/dolphinscheduler-python/pydolphinscheduler/src/pydolphinscheduler/examples/tutorial.py

我們只將一個字符串傳遞給shell任務類型。但通常來說，用戶希望具體的執行代碼儲存在其他系統中，例如將具體文件存儲在本地文件系統、GitHub、GitLab、AmazonS3、阿里云OSS等。也許我們可以添加語法糖讓用戶更加簡單的操作外部文件

任務task_parent將從URLhttps://github.com/apache/dolphinscheduler/blob/dev/script/install.sh加載文件內容并將其傳遞給參數command，它使我們的DAG文件更容易和可維護

實現Resource的插件化

實現具體的插件Resource包括但不限于本地文件系統，GitHub,GitLab,AmazonS3,阿里云OSS

俄國家杜馬代表團在訪伊期間就國際結算數字貨幣問題進行討論:金色財經報道，據俄羅斯衛星通訊社17日報道，俄國家杜馬競爭保護委員會主席瓦列里·加爾圖克表示，俄伊兩國正就創建國際結算統一數字貨幣進行討論，俄國家杜馬代表團訪問伊朗期間也提出了這個問題。[2023/2/17 12:13:36]

PythonAPI的通過測試覆蓋率，當前閾值為90%

文檔，包括開發和使用

熟悉python，包括decorator、io、network、unittest、document

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

鐘嘉杰

聯系方式：zhongjiajie955@gmail.com

02資源中心優化

222290456

進階/Advanced

Java、Shell

重構Dolphinscheduler資源中心的讀寫邏輯

目前資源中心讀寫HDFS/S3/本地目錄通過在數據庫表中t_ds_resources記錄文件/文件夾目錄來實現文件記錄，但是在用戶初始化DS或者用戶在DS的外部修改了第三方存儲的內容的時候DS無法進行實時同步，希望能夠與第三方存儲的內容保證實時同步

DS不存儲資源中心中文件的路徑，對于資源中心的讀寫全都通過調用第三方API實現，只保存任務實例依賴到的內容路徑于數據庫用于文件刪除校驗。

實現現有的資源中心的所有功能，其中包括文件/文件夾增刪改查，任務實例調用資源中心

后端API文檔

了解Linux系統，對Linux文件管理有一定的熟悉

了解HDFS/S3組件，能夠較快速的根據官方文檔學習API的使用

熟悉Java語言

Aztec Network為Aztec Connect開發者啟動本地開發環境:1月20日消息，基于ZK Rollup的隱私和擴容解決方案Aztec Network發推稱，為以太坊隱私DeFi解決方案Aztec Connect開發者啟動本地開發環境。開發者可以通過Aztec Connect本地開發者測試網在自己的電腦上運行以太坊主網分叉，并可實現更多的控制、更高的可配置性和更快的測試周期。[2023/1/20 11:23:12]

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

向梓豪

聯系方式：zihaoxiang@apache.org

03master/worker/api模塊日志優化

222290457

進階/Advanced

Java

由于DS日志不方便真實定位問題，需要將打印日志進行規范及優化

整理出DS打印日志規范指導文檔，并提交到文檔庫

將master/worker/api模塊按照規范文檔進行落地并提交到開發分支

熟悉Java語言

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

進勇

聯系方式：jiny.li@foxmail.com

04自動收集、保存作業提交的Yarn作業的applicationid

222290458

進階/Advanced

Java

DolphinScheduler支持各種各樣的作業，比如Python、Shell等，其中一個很基礎的功能就是收集這些作業創建的YarnJob的applicationid。現在的實現方式是用一個正則表達式從作業的日志中解析，但這并不是一個完美的實現方式，本課題的任務就是用一種新的方式去自動收集、報錯YarnJob的applicationid信息，當然了，必須對用戶透明，即對用戶創建的作業無侵入。

數據：2,039枚BTC 從Kraken轉移到未知錢包:金色財經報道，WhaleAlert監測數據顯示，2,039枚BTC（價值約39,993,453美元）從Kraken轉移到未知錢包。[2022/10/4 18:39:07]

自動收集、報錯YarnJob的applicationid信息

必須對用戶透明，即對用戶創建的作業無侵入

熟悉Java,Yarn,Hive,SparkSQL,AOP

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

gabrywu

聯系方式：gabrywu@apache.org

05為DolphinScheduler添加服務初始化的工作流demo

222290459

進階/Advanced

Java、Shell

用戶在啟動DolphinScheduler服務后，可以使用demo-tool程序預置工作流demo，包括但不限于簡單的shell任務、邏輯組件任務、參數傳遞等功能，引導用戶更方便地使用DolphinScheduler。

預置工作流demo的tool程序

服務啟動腳本添加init模式

工作流demo包括但不限于shell任務、邏輯組件任務、參數傳遞等

熟悉Java、Shell

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

蔡順峰

聯系方式：caishunfeng2021@gmail.com

06為DolphinScheduler添加Java任務類型

瑞士郵政計劃在2024年前推出加密交易和托管服務:金色財經報道，瑞士郵政（Swiss post）通過其金融部門PostFinance宣布，隨著用戶需求的增加，計劃通過推出一個交易和托管產品擴大其加密貨幣業務。據悉，該項業務最晚可能在2024年推出。PostFinance目前通過其數字應用程序Yuh向客戶提供加密貨幣。（Finbold）[2022/7/12 2:07:50]

222290460

進階/Advanced

Java、Shell、Vue、TypeScript

提供Java類型的調度任務，包括Jar和自定義Java代碼兩種方式，通過WEBUI定義Java運行時所需要的Resources、Libs資源文件和JVM參數，覆蓋定時任務調用Java程序場景并提升用戶方便配置。

可執行的Java類型任務插件

Java類型插件支持Jar方式，提供Resources、Libs資源文件和JVM參數的動態參數輸入

Java類型插件支持WebUI自定義Java代碼方式，提供Java類即時編譯，執行

熟悉Shell、Java、SPI、Javacompiler、VUE3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

Kerwin

聯系方式：zhuangchong6@163.com

07支持測試任務

222290461

進階/Advanced

Java、Vue

目前新增/修改的工作流在上線前很難驗證工作流配置是否正確，只能通過在線上環境執行來驗證，所以有必要支持測試環境執行任務。

數據源中心支持配置測試環境源，線上環境源可綁定一個測試環境源。任務執行及工作流執行支持“是否測試”選項，選擇測試時，Worker節點在任務執行前，自動替換線上環境源為綁定的測試環境源，再配合Worker分組實現線上、測試環境的隔離，最終達到支持測試任務的目標。

數據源配置頁面增加線上、測試選項，支持綁定測試源

工作流執行頁面、任務執行頁面新增線上、測試選項

Master節點、Worker節點解析執行環境標識，替換數據源為測試數據源

工作流實例、任務實例頁面增加執行環境標識

熟悉Java、Spring、VUE3

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

溫合民

聯系方式：whm_777@163.com

08為DolphinScheduler的項目和資源中心增加讀寫權限的授權管理

222290462

基礎/Basic

Java、Vue、TypeScript

當前DolphinScheduler對于權限的管控相對比較簡單，希望在進行項目和資源中心授權時增加操作權限管控來進行讀寫權限的分離。

針對單個項目的全部內容進行讀寫權限區分，對單個用戶針對單個項目授權只讀或者讀寫權限

針對資源中心的全部內容進行讀寫權限區分，基于當前資源中心的授權內容區分出只讀或者讀寫權限

進行授權時前端頁面增加只讀和讀寫的授權操作

熟悉Java、Spring、Vue3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

孫朝和

聯系方式：sunzhaohe0825@gmail.com

No.6申請參與項目

01申請資格

本活動面向年滿18周歲在校學生。

暑期即將畢業的學生，只要在申請時學生證處在有效期內，就可以提交申請。

海外學生可提供錄取通知書/學生卡/在讀證明證明學生身份。

02參與流程

03申請建議

歡迎主動向導師發送郵件進行溝通，附上自己的方案和簡歷，更加了解你~

認真了解社區項目文檔，與導師充分溝通。

歡迎加入交流群交流

參與貢獻

隨著國內開源的迅猛崛起，ApacheDolphinScheduler社區迎來蓬勃發展，為了做更好用、易用的調度，真誠歡迎熱愛開源的伙伴加入到開源社區中來，為中國開源崛起獻上一份自己的力量，讓本土開源走向全球。

參與DolphinScheduler社區有非常多的參與貢獻的方式，包括：

貢獻第一個PR(文檔、代碼)我們也希望是簡單的，第一個PR用于熟悉提交的流程和社區協作以及感受社區的友好度。

社區匯總了以下適合新手的問題列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手問題列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何參與貢獻鏈接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

來吧，DolphinScheduler開源社區需要您的參與，為中國開源崛起添磚加瓦吧，哪怕只是小小的一塊瓦，匯聚起來的力量也是巨大的。

參與開源可以近距離與各路高手切磋，迅速提升自己的技能，如果您想參與貢獻，我們有個貢獻者種子孵化群，可以添加社區小助手微信(Leonard-ds)，手把手教會您(貢獻者不分水平高低，有問必答，關鍵是有一顆愿意貢獻的心)。

添加小助手微信時請說明想參與貢獻。

來吧，開源社區非常期待您的參與。

活動推薦

當數據資源成為生產發展乃至于生存過程中必不可少的要素，企業該如何通過數據集成幫助企業數據服務全生命周期落地呢？5月14日，數據集成框架ApacheSeaTunnel(Incubating)將邀請一站式數據集成平臺ApacheInLong(Incubating)的技術專家與開源貢獻者們，一同來到直播間，與大家暢談使用ApacheSeaTunnel(Incubating)與ApacheInLong(Incubating)后的實踐經歷與心得體會。

直播鏈接：https://www.slidestalk.com/m/777

Tags：APIDAGHDFSAPI價格API幣DAG價格DAG幣HDFS幣是什么幣

XMR