前言:
我始終堅信的一點是,學(xué)習(xí)的效果80%來自總結(jié),甚至全部都是??偨Y(jié)的好處就是讓你能翻出你的過往,指出其中的不足,看到未來的改進方法,好的總結(jié)更能讓知識產(chǎn)生飛躍,所以在工作之余,部署項目之際,總結(jié)一番。
架構(gòu)處理:
一、背景
公司數(shù)據(jù)量龐大,萬花筒一樣的領(lǐng)導(dǎo)隨即用上了pipeline_kafka這樣的流式數(shù)據(jù)架構(gòu)。其實在接手項目之前,作為一個應(yīng)用開發(fā)、我是不太清楚kafka是什么鬼的,還有stream、transform、等等一系列名詞,聽起來很高大上,但是很懵比=-=。
領(lǐng)導(dǎo)的目標是做一個數(shù)據(jù)流管理系統(tǒng),目的是關(guān)聯(lián)postgresql+kafka+流;通過平臺的方式管理kafka的關(guān)聯(lián)、流的數(shù)據(jù)規(guī)則、轉(zhuǎn)換數(shù)據(jù)的操作,簡單的來說就是集成一下數(shù)據(jù)工程師平時的sql操作,用可視化平臺的方式提高工作效率。
二、前端結(jié)構(gòu)
前端框架,選用了React.js,淺略的使用一下便感受到了react作為一個視圖庫的魅力,它將前端變得更優(yōu)雅。因為React.js只能處理視圖層,而具體的controller我只是使用了jQuery作為補充,項目的體量不大,變動較多,使用jquery是最好的選擇。
列出使用到的技術(shù):