在計(jì)算上則以分布式計(jì)算為主提高數(shù)據(jù)的操作性能c.實(shí)時(shí)數(shù)倉(cāng)是近幾年提出的一種數(shù)倉(cāng)架構(gòu)，與離線數(shù)倉(cāng)方案有相似之處，不同之處在于數(shù)據(jù)是實(shí)時(shí)的。這也是整個(gè)大數(shù)據(jù)從離線分布式計(jì)算邁向?qū)崟r(shí)流計(jì)算過(guò)程中產(chǎn)生的。但個(gè)人認(rèn)為實(shí)時(shí)數(shù)倉(cāng)方案還有很多不成熟的地方，在業(yè)務(wù)場(chǎng)景中還是有很多局限性d.對(duì)于Lambda數(shù)倉(cāng)架構(gòu)，Kappa數(shù)倉(cāng)架構(gòu)，混合數(shù)倉(cāng)架構(gòu)這些架構(gòu)更多的是應(yīng)對(duì)與特定場(chǎng)景，這類數(shù)倉(cāng)架構(gòu)方案不具備一定的通用性.數(shù)倉(cāng)的邏輯分層.數(shù)倉(cāng)的設(shè)計(jì)步驟與原則a.業(yè)務(wù)場(chǎng)景調(diào)研需要明確業(yè)務(wù)場(chǎng)景的分類，比如行業(yè)類大概有電商場(chǎng)景，電信運(yùn)營(yíng)商場(chǎng)景，社交場(chǎng)景等等，這些場(chǎng)景不同帶來(lái)的是需求不同，需求不同則帶來(lái)的是模型之間的差異化b.需求調(diào)研不同的場(chǎng)景不同的需求，比如很多企業(yè)的數(shù)倉(cāng)更多是服務(wù)于數(shù)據(jù)可視化BI,有的服務(wù)于應(yīng)用系統(tǒng)，有的服務(wù)于C端。這些業(yè)務(wù)需求在統(tǒng)計(jì)、用戶畫像，推薦上等等的功能都有差異化c.模型調(diào)研根據(jù)實(shí)際業(yè)務(wù)場(chǎng)景，將業(yè)務(wù)側(cè)對(duì)齊，遵循關(guān)系型數(shù)據(jù)庫(kù)建模方式，從概念模型（cdm）->邏輯模型（ldm）->物理模型（pdm）建模套路，是一個(gè)從抽象到具體的一個(gè)不斷細(xì)化完善的分析，設(shè)計(jì)和開發(fā)的過(guò)程。經(jīng)典抽象建模四步驟:選擇業(yè)務(wù)過(guò)程->聲明粒度->。數(shù)據(jù)（英語(yǔ)：data），是指未經(jīng)過(guò)處理的原始記錄。崇州商業(yè)地產(chǎn)數(shù)據(jù)海

    我在這里整理一個(gè)表格不同時(shí)代數(shù)據(jù)源的差異性（備注可能整理的有點(diǎn)不全）：數(shù)據(jù)平臺(tái)的用戶：總結(jié)下來(lái)互聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)“服務(wù)”方式迭代演進(jìn)大約可以分為三個(gè)階段。階段一：約在2008年-2011年初的互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)，那時(shí)建設(shè)與使用上與非互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)有這蠻大的相似性，主要相似點(diǎn)在數(shù)據(jù)平臺(tái)的建設(shè)角色、與使用到的技術(shù)上。老板們、運(yùn)營(yíng)的需求主要是依賴于報(bào)表、分析報(bào)告、臨時(shí)需求、商業(yè)智能團(tuán)隊(duì)的數(shù)據(jù)分析師去各種分析、臨時(shí)需求、挖掘，這些角色是數(shù)據(jù)平臺(tái)的適用方。ETL開發(fā)工程師、數(shù)據(jù)模型建模、數(shù)據(jù)架構(gòu)師、報(bào)表設(shè)計(jì)人員，同時(shí)這些角色又是數(shù)據(jù)平臺(tái)數(shù)據(jù)建設(shè)與使用方。數(shù)據(jù)平臺(tái)的技術(shù)框架與工具實(shí)現(xiàn)主要有技術(shù)架構(gòu)師、JAVA開發(fā)等。用戶面對(duì)是結(jié)構(gòu)化的生產(chǎn)數(shù)據(jù)、PC端非結(jié)構(gòu)化log等數(shù)據(jù)。ELT的數(shù)據(jù)處理方式（備注在數(shù)據(jù)處理的方式上，由傳統(tǒng)企業(yè)的ETL基本進(jìn)化為ELT）。現(xiàn)在的淘寶是從2004年開始構(gòu)建自己的數(shù)據(jù)倉(cāng)庫(kù)，2004年是采用DELL的6650單節(jié)點(diǎn)、到2005年更換為IBM的P550再到2008年的12節(jié)點(diǎn)Rac環(huán)境。在這段時(shí)間的在IBM、EMC、Oracle身上的投入巨大(備注：對(duì)這段歷史有興趣可以去度娘：“【深度】阿里巴巴的技術(shù)發(fā)展路徑“)。蒲江商業(yè)街?jǐn)?shù)據(jù)洞察數(shù)據(jù)（data）是事實(shí)或觀察的結(jié)果，是對(duì)客觀事物的邏輯歸納，是用于表示客觀事物的未經(jīng)加工的原始素材。

如今數(shù)據(jù)呈爆發(fā)式增長(zhǎng)，已進(jìn)入數(shù)據(jù)‘狂潮’時(shí)代，過(guò)去3年的數(shù)據(jù)量超過(guò)此前400年的數(shù)據(jù)總量。但是，高容量的數(shù)據(jù)要能夠具體應(yīng)用在各個(gè)行業(yè)才能算是有價(jià)值。”國(guó)雙科技首席執(zhí)行官祁國(guó)晟認(rèn)為，大數(shù)據(jù)具有高容量、多元化、持續(xù)性和高價(jià)值4個(gè)明顯特征。目前，各行各業(yè)的數(shù)據(jù)量正在迅速增長(zhǎng)，使用傳統(tǒng)的數(shù)據(jù)庫(kù)工具已經(jīng)無(wú)法處理這些數(shù)據(jù)。在硬件發(fā)展有限的條件下，通過(guò)軟件技術(shù)的提升來(lái)處理不斷增長(zhǎng)的數(shù)據(jù)量，對(duì)數(shù)據(jù)利用率的提升以及各行業(yè)的發(fā)展起著重要的推動(dòng)作用。

采集數(shù)據(jù)主要有兩個(gè)方向，一是自己編爬蟲程序去采集，二是使用別人或者企業(yè)公司等公開的數(shù)據(jù)。1.編爬蟲程序去采集數(shù)據(jù)(比較有針對(duì)性，比較適合我們的需求就是我想要什么數(shù)據(jù)就采集什么數(shù)據(jù)，可以使用Python爬蟲去采集，不是很難。但有一點(diǎn)就像樓主說(shuō)的一樣，有點(diǎn)麻煩。)2.使用公開的數(shù)據(jù)，可以使用第三方的數(shù)據(jù)產(chǎn)品工具，新媒體公眾號(hào)方向可以考慮新榜有數(shù)的(針對(duì)性不強(qiáng)，可能公開的數(shù)據(jù)樣本不符合我們的需求，這樣就不利于工作的開展了，但特點(diǎn)就是方便)數(shù)據(jù)是信息的表現(xiàn)形式和載體，可以是符號(hào)、文字、數(shù)字、語(yǔ)音、圖像、視頻等。

數(shù)據(jù)庫(kù)系統(tǒng)與文件系統(tǒng)兩者之間的主要區(qū)別是組織數(shù)據(jù)的方式不同，文件系統(tǒng)是面向組織數(shù)據(jù)的，而數(shù)據(jù)庫(kù)系統(tǒng)是面向全局組織數(shù)據(jù)的，這種組織方式可以解決數(shù)據(jù)冗余問(wèn)題。數(shù)據(jù)庫(kù)系統(tǒng)主要管理數(shù)據(jù)庫(kù)的存儲(chǔ)、事務(wù)以及對(duì)數(shù)據(jù)庫(kù)的操作。文件系統(tǒng)是操作系統(tǒng)管理文件和存儲(chǔ)空間的子系統(tǒng)，主要是分配文件所占的簇、盤塊或者建立FAT、管理空間空間等。一般來(lái)說(shuō)數(shù)據(jù)庫(kù)系統(tǒng)會(huì)調(diào)用文件系統(tǒng)來(lái)管理自己的數(shù)據(jù)文件，但也有些數(shù)據(jù)庫(kù)系統(tǒng)能夠自己管理數(shù)據(jù)文件，甚至在裸設(shè)備上。文件系統(tǒng)是操作系統(tǒng)必須的，而數(shù)據(jù)庫(kù)系統(tǒng)只是數(shù)據(jù)庫(kù)管理和應(yīng)用所必需的。世界各國(guó)高度重視發(fā)展大數(shù)據(jù)和數(shù)字經(jīng)濟(jì)，紛紛出臺(tái)相關(guān)政策。成華區(qū)政商數(shù)據(jù)解決方案

數(shù)據(jù)不僅成為企業(yè)的新石油，更是價(jià)值的新來(lái)源。崇州商業(yè)地產(chǎn)數(shù)據(jù)海

    備注涉及的復(fù)雜維度、退化維度等不在這個(gè)討論范圍）。數(shù)據(jù)模型的業(yè)務(wù)建模階段、領(lǐng)域概念模型階段、邏輯模型階段、物理模型階段是超級(jí)學(xué)術(shù)與復(fù)雜的話題，而且在模型領(lǐng)域根據(jù)特點(diǎn)又分主數(shù)據(jù)(MDM)、CIF（企業(yè)級(jí)統(tǒng)一視圖）、通用模型(IBM的金融、保險(xiǎn)行業(yè)通用模型、Terdata的金融通用模型、電信移動(dòng)通用模型等)，鎖涉及到術(shù)語(yǔ)”擴(kuò)展“、”扁平化“、”裁剪“等眼花繚亂的建模手法，數(shù)據(jù)模型不同層次ODS、DWDDWD、DW、ST的分層目的不同導(dǎo)致模型設(shè)計(jì)方法又不同。相信業(yè)界有很多大牛能講的清楚的，以后有機(jī)會(huì)再交流。互聯(lián)網(wǎng)時(shí)代數(shù)據(jù)源做數(shù)據(jù)的人，從非互聯(lián)網(wǎng)進(jìn)入到互聯(lián)網(wǎng)的特點(diǎn)是面對(duì)的數(shù)據(jù)源類型忽然多了起來(lái)，在傳統(tǒng)企業(yè)數(shù)據(jù)人員面對(duì)的是結(jié)構(gòu)化存儲(chǔ)數(shù)據(jù)，基本來(lái)自excel、表格、DB系統(tǒng)等，在數(shù)據(jù)的處理技術(shù)上與架構(gòu)上是非常容易總結(jié)的，但是在互聯(lián)網(wǎng)因?yàn)闃I(yè)務(wù)獨(dú)特性導(dǎo)致了所接觸到的數(shù)據(jù)源特性多樣化，網(wǎng)站點(diǎn)擊日志、視頻、音頻、圖片數(shù)據(jù)等很多非結(jié)構(gòu)化快速產(chǎn)生與保存，在這樣的數(shù)據(jù)源的多樣化與容量下采用傳統(tǒng)數(shù)據(jù)平臺(tái)技術(shù)來(lái)處理當(dāng)然是有些力不從心了（備注：IBM的科學(xué)家分析員道格.萊尼的一份數(shù)據(jù)增長(zhǎng)報(bào)告基礎(chǔ)上提出了大數(shù)據(jù)的4V特性大數(shù)據(jù)4v特性網(wǎng)上概念很多大家可以問(wèn)度娘）。崇州商業(yè)地產(chǎn)數(shù)據(jù)海

成都達(dá)智咨詢股份有限公司是我國(guó)數(shù)據(jù)調(diào)研分析，數(shù)據(jù)采集，數(shù)據(jù)策略咨詢，數(shù)據(jù)智慧科技系統(tǒng)專業(yè)化較早的私營(yíng)股份有限公司之一，達(dá)智咨詢是我國(guó)商務(wù)服務(wù)技術(shù)的研究和標(biāo)準(zhǔn)制定的重要參與者和貢獻(xiàn)者。公司主要提供商務(wù)信息咨詢;市場(chǎng)調(diào)查研究預(yù)測(cè);企業(yè)管理咨詢;企業(yè)策劃咨詢、營(yíng)銷咨詢、經(jīng)濟(jì)貿(mào)易咨詢;會(huì)議服務(wù);計(jì)算機(jī)技術(shù)的開發(fā)、轉(zhuǎn)讓、咨詢、服務(wù);數(shù)據(jù)處理、分析及咨詢服務(wù);應(yīng)用軟件服務(wù);質(zhì)檢技術(shù)服務(wù);公共關(guān)系服務(wù);互聯(lián)網(wǎng)數(shù)據(jù)服務(wù);地理信息加工處理、測(cè)繪服務(wù);廣告設(shè)計(jì)、制作、代理、發(fā)布。等領(lǐng)域內(nèi)的業(yè)務(wù)，產(chǎn)品滿意，服務(wù)可高，能夠滿足多方位人群或公司的需要。多年來(lái)，已經(jīng)為我國(guó)商務(wù)服務(wù)行業(yè)生產(chǎn)、經(jīng)濟(jì)等的發(fā)展做出了重要貢獻(xiàn)。