淘寶代發(fā)菜鳥裹裹能看到貨源嗎,淘寶代發(fā)菜鳥裹裹能看到貨源嗎安全嗎?

作者:哈九,菜鳥裹裹數(shù)據(jù)研發(fā)

無(wú)刃,菜鳥裹裹數(shù)據(jù)研發(fā)

夏招,菜鳥裹裹數(shù)據(jù)產(chǎn)品

菜鳥寄件業(yè)務(wù)當(dāng)前為菜鳥的基礎(chǔ)設(shè)施建設(shè)業(yè)務(wù),是用戶與【菜鳥】品牌最直接最基本的認(rèn)知聯(lián)系。通過(guò)與三通一達(dá)等巨頭快遞公司合作,降本增效,數(shù)字化、智能化的推動(dòng)了中國(guó)快遞行業(yè)騰飛。在新的一年里,菜鳥裹裹更是【做物流行業(yè)數(shù)字化轉(zhuǎn)型的引擎】這一菜鳥大愿景的踐行者。目前裹裹寄件日常寄件訂單量百萬(wàn)級(jí)別,且雙十一等大促期間訂單量更是成倍增長(zhǎng)。
智能化履約過(guò)程及不斷精益化的業(yè)務(wù)系統(tǒng),菜鳥裹裹團(tuán)隊(duì)急需一套一體化的數(shù)據(jù)產(chǎn)品,能夠智能化、專業(yè)化、高效化的解決日常遇到的數(shù)據(jù)問題與需求,并在日常的數(shù)據(jù)監(jiān)控與效果分析的過(guò)程中,用數(shù)據(jù)影響業(yè)務(wù)決策?;跇I(yè)務(wù)越來(lái)越頻繁的數(shù)據(jù)需求及數(shù)據(jù)應(yīng)用,我們使用Hologres構(gòu)建萬(wàn)能查產(chǎn)品,一勞永逸的解決業(yè)務(wù)洶涌的需求與各種口徑、降本增效等問題。

通過(guò)本文我們將會(huì)介紹菜鳥裹裹基于Hologres構(gòu)建萬(wàn)能查產(chǎn)品的最佳實(shí)踐。

一、菜鳥裹裹數(shù)據(jù)舊時(shí)代的迷霧

1.冗余建設(shè),數(shù)據(jù)口徑等差異導(dǎo)致的數(shù)據(jù)不準(zhǔn)


菜鳥裹裹寄件業(yè)務(wù)發(fā)展至今,已經(jīng)歷過(guò)多輪的業(yè)務(wù)方向調(diào)整以及組織架構(gòu)的變動(dòng),必然會(huì)存在極重的數(shù)據(jù)歷史包袱。各類數(shù)據(jù)指標(biāo)根據(jù)業(yè)務(wù)類型、運(yùn)營(yíng)模式的不同分散于不同的看板模塊,效果分析關(guān)聯(lián)度低;或同時(shí)多數(shù)據(jù)看板重復(fù)建設(shè),類型過(guò)度細(xì)分,找數(shù)難,直接影響業(yè)務(wù)分析效率及體驗(yàn)感。此外,業(yè)務(wù)和BI所面對(duì)的分析場(chǎng)景、匯報(bào)對(duì)象、實(shí)際目標(biāo)的不同,對(duì)于同一個(gè)指標(biāo)可能存在多版本多角度的統(tǒng)計(jì)口徑,易出現(xiàn)數(shù)據(jù)口徑等細(xì)微差異導(dǎo)致的數(shù)據(jù)不準(zhǔn)的情況,導(dǎo)致了數(shù)據(jù)同學(xué)日益繁重的“找茬”工作。若再不協(xié)同各方梳理指標(biāo)口徑,確定口徑定義模式,統(tǒng)一底層數(shù)據(jù),刪減冗余看板,最后壓死數(shù)據(jù)同學(xué)的將是任意一個(gè)不知名的“包裹”。

2.數(shù)據(jù)開發(fā)周期長(zhǎng),阻礙發(fā)展進(jìn)度


早期的數(shù)據(jù)產(chǎn)出常常以需求為導(dǎo)向,以快速滿足業(yè)務(wù)分析為目的。因此之前協(xié)作模式,主要為業(yè)務(wù)提出取數(shù)需求,分析現(xiàn)有數(shù)據(jù)看板是否支持,若無(wú)法支撐則重新搭建,并未將數(shù)據(jù)產(chǎn)品化??焖侔l(fā)展的業(yè)務(wù)必然會(huì)衍生出新的分析維度,目前固化的數(shù)據(jù)看板無(wú)法快速應(yīng)對(duì),同時(shí)也沒有業(yè)務(wù)可自助查詢數(shù)據(jù)的統(tǒng)一入口,數(shù)據(jù)分析進(jìn)度與數(shù)據(jù)開發(fā)周期強(qiáng)綁定,從而導(dǎo)致業(yè)務(wù)常常不得不停下來(lái)等數(shù)據(jù),對(duì)業(yè)務(wù)進(jìn)度上造成了一定的阻礙。

3.查詢速度慢,業(yè)務(wù)體驗(yàn)差


離線數(shù)據(jù)分析和業(yè)務(wù)看板目前存在兩種常規(guī)設(shè)計(jì)方案,如下圖所示:

  1. 用FBI等工具直接訪問MaxCompute(原ODPS)離線表,但是由于ODPS開發(fā)資源短缺和MR的處理架構(gòu)導(dǎo)致數(shù)據(jù)訪問速度相對(duì)較慢,用戶等待任務(wù)執(zhí)行時(shí)間往往超于數(shù)據(jù)分析本身;
  2. 形成一個(gè)adm層的聚合指標(biāo)結(jié)果寬表,通過(guò)外表或DataX工具將聚合結(jié)果寫入OLAP引擎加速查詢(利用ADB提供的穩(wěn)定查詢加速能力),但該方案數(shù)據(jù)需維護(hù)大量同步任務(wù),且任務(wù)同步耗時(shí)較長(zhǎng)。同時(shí),該方案僅適用于較少且相對(duì)穩(wěn)定的維度和指標(biāo)查詢組合,只需對(duì)匯總層結(jié)果進(jìn)行簡(jiǎn)單聚合計(jì)算。

二、新時(shí)代面臨的挑戰(zhàn)

1.業(yè)務(wù)日益增長(zhǎng)的數(shù)據(jù)需要和不平衡不充分的數(shù)據(jù)服務(wù)發(fā)展之間的矛盾

業(yè)務(wù)發(fā)展處于高速發(fā)展階段,裹裹寄件運(yùn)營(yíng)模式在快速試驗(yàn)快速試錯(cuò)的過(guò)程中急需數(shù)據(jù)中臺(tái)提供強(qiáng)有力的支持。個(gè)性化推薦、敏捷分析,大數(shù)據(jù)的應(yīng)用在這個(gè)時(shí)代創(chuàng)造了很多千億級(jí)別的現(xiàn)象級(jí)公司,可見于此業(yè)務(wù)發(fā)展迅速膨脹,若數(shù)據(jù)中臺(tái)依舊保留一對(duì)一的數(shù)據(jù)服務(wù)模式,服務(wù)速度將遠(yuǎn)遠(yuǎn)跟不上時(shí)代的前進(jìn)腳步。目前迫切于找到應(yīng)對(duì)指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)需求的出路,打造一套一體化的數(shù)據(jù)產(chǎn)品,智能化、專業(yè)化、高效化的解決日常遇到的數(shù)據(jù)問題與需求,真正做到數(shù)據(jù)賦能,驅(qū)動(dòng)寄件模式升級(jí)。

2.在降本增效大背景下的人效匹配問題

業(yè)務(wù)核心訴求是通過(guò)數(shù)據(jù)化產(chǎn)品快速監(jiān)控分析,看清局部業(yè)務(wù)現(xiàn)狀并作出決策,并不在乎如何取數(shù)。數(shù)據(jù)計(jì)算過(guò)程,易造成數(shù)據(jù)過(guò)于定制化、靈活性差、分析維度不全面等問題。若后續(xù)出現(xiàn)同類取數(shù)分析需求,需增加新維度或指標(biāo)時(shí),數(shù)據(jù)同學(xué)需重新開發(fā)代替迭代,重啟新看板模塊,成本高、效率低、排期長(zhǎng),業(yè)務(wù)抱怨不斷,與開始快速響應(yīng)業(yè)務(wù)快速看數(shù)需求目的相悖。兼顧成本和體驗(yàn),釋放人力的同時(shí)保證業(yè)務(wù)同學(xué)可快速自助獲取數(shù)據(jù),是一個(gè)迫在眉睫的問題。

三、迎難而上:Hologres的選擇,萬(wàn)能查的誕生

1.裹裹穩(wěn)定的業(yè)務(wù)形態(tài)

目前裹裹寄件日常寄件訂單量百萬(wàn)級(jí)別,且雙十一等大促期間訂單量更是成倍增長(zhǎng),其主要業(yè)務(wù)模式為收到各端寄件的需求(信息流),然后將寄件需求單分發(fā)給合作的快遞公司網(wǎng)點(diǎn)及小件員(三通一達(dá)),小件員在包裹俠上接單/消費(fèi)者到站寄件;包裹攬收后消費(fèi)者完成運(yùn)費(fèi)支付,快遞交付于第三方物流完成運(yùn)輸配送。

2.Hologres的強(qiáng)大之處

Hologres是一站式實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)引擎,支持海量數(shù)據(jù)實(shí)時(shí)寫入、實(shí)時(shí)更新、實(shí)時(shí)分析,與MaxCompute、Flink、DataWorks深度融合,提供離在線一體化全棧數(shù)倉(cāng)解決方案,廣泛應(yīng)用在實(shí)時(shí)數(shù)據(jù)中臺(tái)建設(shè)、精細(xì)化分析、自助式分析、營(yíng)銷畫像、人群圈選、實(shí)時(shí)風(fēng)控等場(chǎng)景。HOLO的主要特性有:

  • 支持高并發(fā)數(shù)據(jù)實(shí)時(shí)寫入和實(shí)時(shí)查詢,存儲(chǔ)計(jì)算分離可獨(dú)立擴(kuò)展;
  • 底層數(shù)據(jù)架構(gòu)統(tǒng)一,行存表支持高QPS KV點(diǎn)查詢,列存表適應(yīng)于OLAP分析或Adhoc查詢;同時(shí)支持負(fù)載隔離,統(tǒng)一數(shù)據(jù)訪問接口與安全策略;
  • 聯(lián)邦查詢,支持盤古2.0文件直接讀??;外表加速Hologres無(wú)縫對(duì)接MaxCompute,支持外部表透明加速查詢,支持OSS外部表讀寫;

3.萬(wàn)能查產(chǎn)品構(gòu)想

通過(guò)目前現(xiàn)有的數(shù)據(jù)支撐能力,依賴Hologres引擎,將裹裹寄件常用且穩(wěn)定的維度和指標(biāo)封裝于萬(wàn)能查中。用戶可根據(jù)自己的需求篩選字段,定制化自己的報(bào)表,快速自助完成運(yùn)營(yíng)數(shù)據(jù)分析?;谝惑w化數(shù)據(jù)分析產(chǎn)品「萬(wàn)能查」,突破目前數(shù)據(jù)產(chǎn)品的壁壘,達(dá)到降低成本、提高效率、保證數(shù)據(jù)準(zhǔn)確性、完成體驗(yàn)升級(jí)的目的。

  • 統(tǒng)一口徑:協(xié)同BI、多方業(yè)務(wù)梳理業(yè)務(wù)過(guò)程、整理刻畫業(yè)務(wù)形態(tài)的關(guān)鍵性指標(biāo)、統(tǒng)一數(shù)據(jù)指標(biāo)計(jì)算口徑、及對(duì)外輸出查詢口徑;
  • 產(chǎn)品刻畫:萬(wàn)能查為一套一體化多維度多場(chǎng)景的數(shù)據(jù)分析體系,快速為運(yùn)營(yíng)決策、產(chǎn)品策略提供快速有效的數(shù)據(jù)支撐。汰換之前的「報(bào)表」+「臨時(shí)取數(shù)」的數(shù)據(jù)輸出模式下,業(yè)務(wù)方可通過(guò)萬(wàn)能查有效地監(jiān)控運(yùn)力任務(wù)單據(jù)的生命周期,管理小件員運(yùn)力流程,自主完成分析結(jié)論、臨時(shí)取數(shù)需求,減少開發(fā)成本,提高運(yùn)營(yíng)效率。

四、萬(wàn)能查產(chǎn)品架構(gòu)體系

1.模塊設(shè)計(jì)

產(chǎn)品需求設(shè)計(jì)過(guò)程中,會(huì)接受到不同的用戶各種的個(gè)性化訴求。業(yè)務(wù)團(tuán)隊(duì)主要將運(yùn)營(yíng)過(guò)程劃分為訂單運(yùn)營(yíng)和用戶運(yùn)營(yíng),而不同的需求會(huì)有不同視角和粒度的看數(shù)訴求。另外,由于淘退訂單的業(yè)務(wù)特殊性,需基于全局淘退訂單進(jìn)行分析,訂單視角存在較大的區(qū)別。因此針對(duì)用戶的個(gè)性化需求,以及實(shí)際業(yè)務(wù)場(chǎng)景,我們將萬(wàn)能查劃分為三大模塊:訂單,用戶,淘退,設(shè)計(jì)多款萬(wàn)能查產(chǎn)品。


2.數(shù)據(jù)架構(gòu)設(shè)計(jì)

  • 數(shù)據(jù)能力矩陣,根據(jù)前期的需求調(diào)研,積極協(xié)調(diào)業(yè)務(wù)、BI同學(xué)對(duì)裹裹寄件的分析場(chǎng)景、產(chǎn)出邏輯、最終目標(biāo)進(jìn)行統(tǒng)一;收集整理刻畫裹裹寄件業(yè)務(wù)過(guò)程的關(guān)鍵指標(biāo),構(gòu)建數(shù)據(jù)指標(biāo)矩陣

  • 數(shù)據(jù)建模,完成核心指標(biāo)需求收集和分析后,劃分?jǐn)?shù)據(jù)域,聯(lián)系多部門團(tuán)隊(duì)同學(xué),確定數(shù)據(jù)中間層,并進(jìn)行數(shù)倉(cāng)模型評(píng)審

3.數(shù)據(jù)模型設(shè)計(jì)

基于數(shù)據(jù)量大、周期長(zhǎng)、鏈路范圍廣、維度特征多等業(yè)務(wù)需求特點(diǎn),且結(jié)合Hologres存儲(chǔ)費(fèi)用高等問題。我們整體萬(wàn)能查設(shè)計(jì)結(jié)構(gòu)如下:

  • 在ODPS中讀取各主題的公共層及維表,構(gòu)建可擴(kuò)展性較高的輕度匯總層。將查詢頻率較高的近一年數(shù)據(jù)通過(guò)內(nèi)表的形式導(dǎo)入Hologres表的各歷史分區(qū),提高高速查詢;
  • 考慮到業(yè)務(wù)分析時(shí)使用跨年的數(shù)據(jù)進(jìn)行同期比較分析,但分析頻率并不高,因此選擇犧牲速度提供外表的形式查詢(外表最多支持512分區(qū)查詢)。目前FBI一個(gè)組件只支持一個(gè)數(shù)據(jù)集,為保證用戶的使用體驗(yàn),我們利用試圖的方式在Hologres中將內(nèi)表以及外表進(jìn)行合并,對(duì)外只透?jìng)饕晥D。
  • 基于輕度統(tǒng)計(jì)層的按時(shí)間范圍的OLAP查詢是主要的數(shù)據(jù)場(chǎng)景,存在大量聚合Group by等操作,因而Holo表的屬性選擇上,毫無(wú)疑問是列存+日期分區(qū)表。一方面對(duì)于日期(ds)設(shè)置為分區(qū)字段,可以有效縮小每次查詢的掃描范圍;另一方面也可以較安全的進(jìn)行運(yùn)維和排查問題。
  • 具體結(jié)構(gòu)如下:

1)索引設(shè)計(jì)

Hologres提供了Distribution Key、Segment Key、Clustering Key、Bitmap Columns等一系列的索引方式對(duì)表進(jìn)行優(yōu)化,合理的使用各類索引,可以大幅提升使用性能。

基于裹裹寄件業(yè)務(wù)導(dǎo)入數(shù)據(jù)為輕度匯總無(wú)唯一主鍵且無(wú)自增/類自增字段的特性,不設(shè)置Distribution Key以及Segment_key,采用隨機(jī)分發(fā)到shard的模式,其中,設(shè)計(jì)Segment_key索引中會(huì)存在一個(gè)誤區(qū),是指定具備遞增邏輯列,區(qū)別于ds分區(qū)字段,同時(shí)設(shè)置分段列需排序后寫入,才會(huì)生效。

此外,由于用戶存在多種等值過(guò)濾查詢場(chǎng)景,經(jīng)過(guò)統(tǒng)計(jì)分析經(jīng)常用在Filter和Range場(chǎng)景的字段,我們將使用次數(shù)相對(duì)較多的字段“業(yè)務(wù)子類”設(shè)置為聚簇索引Clustering Key,其余分析維度設(shè)置Bitmap,如攬件網(wǎng)點(diǎn),運(yùn)力類型,發(fā)貨城市等信息。

CALL SET_TABLE_PROPERTY('"public".holo_adm_ord_1d', 'orientation', 'column'); 
CALL SET_TABLE_PROPERTY('"public".holo_adm_ord_1d', 'clustering_key', 'send_sub_type'); 
CALL SET_TABLE_PROPERTY('"public".holo_adm_ord_1d', 'bitmap_columns', 'fac_id,fac_name',...); 
CALL SET_TABLE_PROPERTY('"public".holo_adm_ord_1d', 'time_to_live_in_seconds', '34560000');

2)動(dòng)態(tài)分區(qū)回刷設(shè)計(jì)

由于采用了Hologres分區(qū)表的設(shè)計(jì)方式,但在ODPS數(shù)據(jù)回流至Hologres時(shí),Hologres分區(qū)表無(wú)法直接向父表插入數(shù)據(jù),需依次刪除并重建分區(qū)子表,將數(shù)據(jù)插入分區(qū)子表中,實(shí)現(xiàn)分區(qū)父表動(dòng)態(tài)更新數(shù)據(jù),且當(dāng)前不支持python/shell等腳本循環(huán)調(diào)度Hologres SQL實(shí)現(xiàn)數(shù)據(jù)回刷。實(shí)現(xiàn)Hologres的分區(qū)表動(dòng)態(tài)分區(qū)式更新回流數(shù)據(jù),即循環(huán)執(zhí)行Hologres分區(qū)表腳本將數(shù)據(jù)回流至每一個(gè)分區(qū)子表。(了解到后期holo1.3版本上線,將支持動(dòng)態(tài)分區(qū)管理,離線將支持動(dòng)態(tài)寫入,且可支持并行補(bǔ)數(shù)據(jù)。)

3)其它設(shè)計(jì)

Table Group的設(shè)置一般根據(jù)數(shù)據(jù)規(guī)模、訪問特性、資源規(guī)格和使用重心(Join頻次)等綜合考慮。需要關(guān)聯(lián)的表放入同一個(gè)Table Group,通過(guò)Local Join減少數(shù)據(jù)的Shuffle,可極大提升查詢效率。一定范圍內(nèi),Shard Count可以提高數(shù)據(jù)寫入和查詢分析處理的并行度。但大量的Shard數(shù)需要更多的節(jié)點(diǎn)間通信資源、計(jì)算資源以及內(nèi)存資源支撐,從而導(dǎo)致資源浪費(fèi)。

目前,裹裹寄件輕度統(tǒng)計(jì)層數(shù)據(jù),數(shù)據(jù)來(lái)源統(tǒng)一,表單分區(qū)一般在數(shù)千萬(wàn)行量級(jí),一般做靈活多維度匯總,并發(fā)不高,且無(wú)需做多流join。因此選擇默認(rèn)Shard Count為12,不做特殊修改。

4.產(chǎn)品展示

  • 篩選所需指標(biāo)維度,也可以在搜索框中輸入你想要查找的字段。比如【及時(shí)回單率】【網(wǎng)點(diǎn)ID】點(diǎn)擊確定,指標(biāo)數(shù)據(jù)將會(huì)自動(dòng)聚合,秒級(jí)返回;可在同一數(shù)據(jù)入口,查詢分析包裹全鏈路的指標(biāo)數(shù)據(jù);
  • 自主上傳運(yùn)單號(hào)或用戶ID,快速分析用戶復(fù)購(gòu)率、訂單流程進(jìn)度等分析型數(shù)據(jù)需求;
  • 定制化,選擇指標(biāo)結(jié)果及篩選項(xiàng)結(jié)果將會(huì)記錄下來(lái),在下次進(jìn)入時(shí)仍然會(huì)記住這些選項(xiàng),無(wú)需重復(fù)操作;

五、高效的業(yè)務(wù)效能

  1. 統(tǒng)一口徑:萬(wàn)能查統(tǒng)一了數(shù)據(jù)指標(biāo)計(jì)算口徑、及對(duì)外輸出查詢口徑,大幅度減少不同報(bào)表數(shù)據(jù)對(duì)不齊、對(duì)不準(zhǔn)等問題,預(yù)計(jì)下線30+FBI看板,且間接性達(dá)到對(duì)外傳遞數(shù)據(jù)支撐能力,反向沉淀數(shù)據(jù)資產(chǎn)的效果。
  2. 提高效率:萬(wàn)能查涵蓋規(guī)模、客訴、服務(wù)質(zhì)量、健康度考核、淘系逆向、用戶等多維度多業(yè)務(wù)的數(shù)據(jù),已可支撐業(yè)務(wù)日常的監(jiān)控考核需求;同時(shí),業(yè)務(wù)方可通過(guò)萬(wàn)能查多維度自由組合自行完成分析結(jié)論需求、及95%+臨時(shí)取數(shù)需求,數(shù)據(jù)指標(biāo)開發(fā)需求從原來(lái)的一周提6次降低位兩周提2次,大幅減少開發(fā)成本,提高運(yùn)營(yíng)效率,業(yè)務(wù)同學(xué)滿意度95%+。
  • 爽約率案例:快速監(jiān)控網(wǎng)點(diǎn)爽約率波動(dòng),精準(zhǔn)分析波動(dòng)原因,并快速觸達(dá)至城市經(jīng)理;
  • 疫情訂單攔截案例:針對(duì)突發(fā)疫情,業(yè)務(wù)方可快速通過(guò)萬(wàn)能查明細(xì)查詢異常包裹,將響應(yīng)過(guò)程縮短至小時(shí)級(jí)別。
  1. 降低成本:萬(wàn)能查數(shù)據(jù)產(chǎn)品上線以來(lái),重新規(guī)整鳥查FBI數(shù)據(jù)看板,刪減冗余看板近30+;
  2. 產(chǎn)品影響力:萬(wàn)能查已覆蓋了裹裹整條業(yè)務(wù)線的內(nèi)部用戶,涵蓋商家、運(yùn)力、線上寄件、IOT、大B銷售、客服、體驗(yàn)、業(yè)務(wù)產(chǎn)品技術(shù)等將近15個(gè)團(tuán)隊(duì),周均DAU200+,季度均DAU1000+,已收到幾十位業(yè)務(wù)同學(xué)的滿意反饋。目前該產(chǎn)品模式已廣泛復(fù)用于其他菜鳥業(yè)務(wù)線。

六、未來(lái)方向和思考

1.產(chǎn)品升級(jí)

目前運(yùn)營(yíng)決策、產(chǎn)品策略的效果分析關(guān)聯(lián)度分析能力還比較弱,能較大程度的滿足業(yè)務(wù)方全局監(jiān)控分析的需求,但卻無(wú)法精細(xì)化感知指標(biāo)數(shù)據(jù)的波動(dòng)以及產(chǎn)品變更與數(shù)據(jù)波動(dòng)的因果關(guān)系。對(duì)于數(shù)據(jù)變化的業(yè)務(wù)能力升級(jí),將是產(chǎn)品接下來(lái)迭代的重點(diǎn)方向;

2.時(shí)效升級(jí)

目前產(chǎn)品主要是基于離線數(shù)據(jù)設(shè)計(jì),但是存在較多的實(shí)時(shí)數(shù)據(jù)查詢需求,如疫情預(yù)警時(shí),需依賴實(shí)時(shí)/小時(shí)數(shù)據(jù)取出截止當(dāng)前時(shí)段的包裹明細(xì)。我們后續(xù)可以讀取Hologres Binlog或者TT/MQ消息,利用Flink的流處理能力,通過(guò)查詢持久化存儲(chǔ)的Hologres維表補(bǔ)全模型字段,構(gòu)成明細(xì)表,寫入到Hologres分區(qū)的當(dāng)日實(shí)時(shí)分區(qū);并在T+1日我們通過(guò)Hologres的外表導(dǎo)出的功能,將T日實(shí)時(shí)寫入的這類快照狀態(tài)字段從Hologres導(dǎo)出到ODPS做持久化離線存儲(chǔ),充分利用Hologres資源。

最后:
菜鳥裹裹數(shù)據(jù)產(chǎn)品設(shè)計(jì)任重道遠(yuǎn),Hologres在數(shù)據(jù)產(chǎn)品上的應(yīng)用范圍非常廣泛,萬(wàn)能查只是該數(shù)據(jù)引擎的探路者,中間碰到了各種各樣的問題,包括模型設(shè)計(jì)、性能調(diào)優(yōu)等,感謝數(shù)據(jù)團(tuán)隊(duì)同學(xué)在數(shù)據(jù)技術(shù)和Hologres架構(gòu)等方面的支持和幫助,未來(lái)我們也將會(huì)持續(xù)使用共建。

好了,這篇文章的內(nèi)容發(fā)貨聯(lián)盟就和大家分享到這里,如果大家網(wǎng)絡(luò)推廣引流創(chuàng)業(yè)感興趣,可以添加微信:80709525  備注:發(fā)貨聯(lián)盟引流學(xué)習(xí); 我拉你進(jìn)直播課程學(xué)習(xí)群,每周135晚上都是有實(shí)戰(zhàn)干貨的推廣引流技術(shù)課程免費(fèi)分享!


版權(quán)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn),該文觀點(diǎn)僅代表作者本人。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容, 請(qǐng)發(fā)送郵件至 sumchina520@foxmail.com 舉報(bào),一經(jīng)查實(shí),本站將立刻刪除。

您可能還會(huì)喜歡:

發(fā)表評(píng)論

◎歡迎參與討論,請(qǐng)?jiān)谶@里發(fā)表您的看法、交流您的觀點(diǎn)。