大數據有哪些

⑴ 大數據有哪些來源

大數據分析的數據來源有很多種，包括公司或者機構的內部來源和外部來源。分為以下幾類：
1)交易數據。包括POS機數據、信用卡刷卡數據、電子商務數據、互聯網點擊數據、「企業資源規劃」(ERP)系統數據、銷售系統數據、客戶關系管理(CRM)系統數據、公司的生產數據、庫存數據、訂單數據、供應鏈數據等。
2)移動通信數據。能夠上網的智能手機等移動設備越來越普遍。移動通信設備記錄的數據量和數據的立體完整度，常常優於各家互聯網公司掌握的數據。移動設備上的軟體能夠追蹤和溝通無數事件，從運用軟體儲存的交易數據(如搜索產品的記錄事件)到個人信息資料或狀態報告事件(如地點變更即報告一個新的地理編碼)等。
3)人為數據。人為數據包括電子郵件、文檔、圖片、音頻、視頻，以及通過微信、博客、推特、維基、臉書、Linkedin等社交媒體產生的數據流。這些數據大多數為非結構性數據，需要用文本分析功能進行分析。
4)機器和感測器數據。來自感應器、量表和其他設施的數據、定位/GPS系統數據等。這包括功能設備會創建或生成的數據，例如智能溫度控制器、智能電表、工廠機器和連接互聯網的家用電器的數據。來自新興的物聯網(Io T)的數據是機器和感測器所產生的數據的例子之一。來自物聯網的數據可以用於構建分析模型，連續監測預測性行為(如當感測器值表示有問題時進行識別)，提供規定的指令(如警示技術人員在真正出問題之前檢查設備)等。
5)互聯網上的「開放數據」來源，如政府機構，非營利組織和企業免費提供的數據。

⑵ 大數據技術包括哪些

大數據技術包括數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現。

1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。

2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，

3、基礎架構：雲存儲、分布式文件存儲等。

4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。

5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

7、模型預測：預測模型、機器學習、建模模擬。

8、結果呈現：雲計算、標簽雲、關系圖等。

⑶ 大數據有哪些類型

1、結構化數據

可以以固定格式存儲，訪問和處理的數據稱為“結構化數據”。由於此數據採用類似的格式，因此企業可以通過執行分析來獲得最大的收益。還發明了各種先進技術來從結構化數據中提取數據驅動的決策。但是，由於結構化數據的創建已經達到Zettabytes標記，因此世界正朝著這樣一個程度發展。

2、非結構化數據

任何以未知形式或結構出現的數據都屬於非結構化數據。處理非結構化數據並對其進行分析以獲取數據驅動的答案是一項艱巨的任務，因為它們來自不同類別，將它們放在一起只會使情況變得更糟。包含簡單文本文件，圖像，視頻等的組合的異構數據源是非結構化數據的示例。

3、半結構化數據

半結構化數據中同時具有結構化和非結構化數據。我們可以看到半結構化數據是形式化的結構，但實際上它不是在關系DBMS中用表定義來定義的。Web應用程序數據是半結構化數據的示例。它具有非結構化數據，例如日誌文件，事務歷史記錄文件等。OLTP系統旨在與結構化數據一起工作，其中數據存儲在關系中。

⑷ 大數據包括一些什麼

大數據技術包括數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，3、基礎架構：雲存儲、分布式文件存儲等。4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。7、模型預測：預測模型、機器學習、建模模擬。8、結果呈現：雲計算、標簽雲、關系圖等。

⑸ 大數據有哪些常用的平台

大數據有三個主要部分，分別是數學，統計學和計算機等學科。大數據基礎知識往往決定了開發人員未來的成長高度，所以要重視基礎知識的學習。

大數據平台是對海量結構化、非結構化、半機構化數據進行採集、存儲、計算、統計、分析處理的一系列技術平台。大數據平台處理的數據量通常是TB級，甚至是PB或EB級的數據，這是傳統數據倉庫工具無法處理完成的，其涉及的技術有分布式計算、高並發處理、高可用處理、集群、實時性計算等，匯集了當前IT領域熱門流行的各類技術。

(5)大數據有哪些擴展閱讀：

注意事項：

大數據的第一站就是收集和存儲海量數據（公開/隱私）。現在每個人都是一個巨大的數據源，通過智能手機和個人筆記本釋放出大量的個人行為信息。獲取數據似乎已經變得越來越容易，數據收集這一模塊最大的挑戰在於獲取海量數據的高速要求以及數據的全面性考慮。

傳統商業智能在數據清洗處理的做法（ETL）是，把准確的數據放入定義好的格式中，通過基礎的抽取統計生成高維度的數據，方便直接使用。然而大數據有個最突出的特徵——數據非結構化或者半結構化。因為數據有可能是圖片，二進制等等。數據清洗的最大挑戰來了——如何轉化處理大量非結構數據，便於分布式地計算分析。

⑹ 常見大數據應用有哪些

大數據早已成為流行詞，但究竟何為大數據，卻不是人人都能說清楚的。簡而言之，大數據就是需要利用專業的處理工具進行分析，從而有利於做出更科學，更合理決策的信息資產。大數據的應用已深深嵌入到我們的日常生活中，影響著我們生活的方方面面，本文將列舉幾個方面，一起管中窺豹，讓人們對大數據有更直觀的認識。

一、購物營銷

當我們打開淘寶，京東等購物APP時，總是會發現，這些APP比我們自己還懂自己，能夠未卜先知地知道我們最近需要什麼。

籃球迷在湖人贏了比賽的時候打開淘寶，會發現詹姆斯的球衣就在首頁;

一個懷孕的媽媽，打開京東，發現進口的奶粉已經在召喚她購買;

一個經常聽神曲的大媽，廣場舞音響的推薦總在眼前。

這就是商家通過手機瀏覽的數據分析，知道我們近期的需求，之後精準地向我們進行推銷。

如今人們網路購物的行為越來越頻繁，網路購物的體驗也越來越好。而影響網路購物體驗的一個最重要的方面就是物流的速度。

雙11十多年前就火爆中國，但人們記憶猶新的就是雙11買的物品很長時間才能拿到，少則一周，多則半個月，嚴重影響購物者的體驗。而如今雙十一的成交量增加了上百倍，但送貨的速度卻提升了不少。很多物品能保證晚上下單，第二天就送達，即使購買的是新疆的葡萄乾，也能在24小時到貨。

速度提升的背後，離不開大數據的賦能。物流倉儲與購物平台合作，通過分析用戶的瀏覽數據，購物車，下定金情況，預知某一地區的購買量，進行提前備貨。當用戶付款之後，貨物是從離用戶100公里內的倉儲中心發貨，而不是千里之外的新疆發貨。

通過大數據中心的調控，物流分揀系統能最科學合理的進行裝車。在智慧系統的指引下，快遞員也能按照最優的線路進行高效的配送。

二、交通出行

如今網路地圖、高德地圖已經成了我們出行必不可少的工具。沒了地圖，很多時候我們將寸步難行。有了地圖，即使在九曲回腸的復雜道路中，也可以順利的抵達我們想去的一個網紅美食店。

手機地圖能夠做到精準的導航和實時的路況預測得益於大數據的分析。

一是地圖公司有自己數據採集車，前期採集了海量的數據存儲在資料庫中。

二是每一個使用地圖的用戶，都共享了自己的位置，貢獻了自己的數據。通過對同一時間段同一路段用戶的使用情況進行分享，地圖很容易就能得知哪裡堵車，哪裡暢通，提前告知使用者。

三、政務處理

大數據在助力政府的政務處理方面同樣發揮著重要的作用。近年來精準扶貧是各級政府的首要工程，扶貧如何做到精準，考驗著政府的執政能力。

精準扶貧首先要做到的就是精準，貧困戶是不是真正的貧困戶，這在過往是一件很難解決的難題。上級政府只有依靠下級政府的統計上報進行撥款，於是關系戶成了貧困戶，真正貧困的人卻難以得到實質性的幫助。

現如今有了大數據的加持，政府通過建檔立卡，通過網路數據分析，對每一個貧困戶進行核實。家裡老人的就醫記錄，子女的工資水平，養殖等副業的收入等等都將進行評估，以確保精準扶貧落實到位。

電信詐騙無孔不入，但當電信詐騙遇上大數據，詐騙分子也將插翅難逃。如今利用大數據分析，詐騙簡訊，詐騙網站很容易被識別攔截。通過分析詐騙分子的「偽基站」地址，登錄網址等信息也能很快鎖定詐騙分子的藏身之處。

四、信用體系

俗話說民無信不立，國無信不強。可見信用對於個人，對於國家都有非常重要的意義。但如何識別一個人是否有信用，卻不是一件容易的事。

在熟人社會里，我們可以通過一個人過往的表現，言行來判斷他的信用。但在陌生人社會里，想要判定一個人是否有信用就很難了。這也影響了整個社會的運行，例如信用系統不完善，個人去銀行貸款很難，網路購物也難以發展。

但如今有了大數據，這些難題都迎刃而解了。例如支付寶的芝麻積分，就是通過分析用戶的學歷、存款、購物行為、交友特徵、履約歷史等等數據來賦予用戶對應的分數，表示用戶的信用等級，同時將特定的特權開放給對應等級的用戶。

現在支付寶、微信等信用數據都已並入央行主導的國民信用體系裡，成為國家隊。中國也正式建立了自己的信用體系，真正實現了有信用走遍天下都不怕，無信用則寸步難行。

20世紀最重要的資源是石油，誰掌握了石油，誰就統治了世界。21世紀最重要的資產則是數據，誰能在數據這座金礦中挖出黃金，誰就能掌握話語權，造福社會，創造財富。

⑺ 大數據的應用領域有哪些

1.了解和定位客戶

這是大數據目前最廣為人知的應用領域。很多企業熱衷於社交媒體數據、瀏覽器日誌、文本挖掘等各類數據集，通過大數據技術創建預測模型，從而更全面地了解客戶以及他們的行為、喜好。

利用大數據，美國零售商Target公司甚至能推測出客戶何時會有Baby;電信公司可以更好地預測客戶流失;沃爾瑪可以更准確的預測產品銷售情況;汽車保險公司能更真實的了解客戶實際駕駛情況。

滑雪場利用大數據來追蹤和鎖定客戶。如果你是一名狂熱的滑雪者，想像一下，你會收到最喜歡的度假勝地的邀請;或者收到定製化服務的簡訊提醒;或者告知你最合適的滑行線路。。。。。。同時提供互動平台(網站、手機APP)記錄每天的數據——多少次滑坡，多少次翻越等等，在社交媒體上分享這些信息，與家人和朋友相互評比和競爭。

除此之外，政府競選活動也引入了大數據分析技術。一些人認為，奧巴馬在2012年總統大選中獲勝，歸功於他們團隊的大數據分析能力更加出眾。

2.

改善醫療保健和公共衛生

大數據分析的能力可以在幾分鍾內解碼整個DNA序列，有助於我們找到新的治療方法，更好地理解和預測疾病模式。試想一下，當來自所有智能手錶等可穿戴設備的數據，都可以應用於數百萬人及其各種疾病時，未來的臨床試驗將不再局限於小樣本，而是包括所有人!

蘋果公司的一款健康APP ResearchKit有效將手機變成醫學研究設備。通過收集用戶的相關數據，可以追蹤你一天走了多少步，或者提示你化療後感覺如何，帕金森病進展如何等問題。研究人員希望這一過程變得更容易、更自動化，吸引更多的參與者，並提高數據的准確度。

大數據技術也開始用於監測早產兒和患病嬰兒的身體狀況。通過記錄和分析每個嬰兒的每一次心跳和呼吸模式，提前24小時預測出身體感染的症狀，從而及早干預，拯救那些脆弱的隨時可能生命危險的嬰兒。

更重要的是，大數據分析有助於我們監測和預測流行性或傳染性疾病的暴發時期，可以將醫療記錄的數據與有些社交媒體的數據結合起來分析。比如，谷歌基於搜索流量預測流感爆發，盡管該預測模型在2014年並未奏效——因為你搜索「流感症狀」並不意味著真正生病了，但是這種大數據分析的影響力越來越為人所知。

3.提供個性化服務

大數據不僅適用於公司和政府，也適用於我們每個人，比如從智能手錶或智能手環等可穿戴設備採集的數據中獲益。Jawbone的智能手環可以分析人們的卡路里消耗、活動量和睡眠質量等。Jawbone公司已經能夠收集長達60年的睡眠數據，從中分析出一些獨到的見解反饋給每個用戶。從中受益的還有網路平台「尋找真愛」，大多數婚戀網站都使用大數據分析工具和演算法為用戶匹配最合適的對象。

4.

了解和優化業務流程

大數據也越來越多地應用於優化業務流程，比如供應鏈或配送路徑優化。通過定位和識別系統來跟蹤貨物或運輸車輛，並根據實時交通路況數據優化運輸路線。

人力資源業務流程也在使用大數據進行優化。Sociometric Solutions公司通過在員工工牌里植入感測器，檢測其工作場所及社交活動——員工在哪些工作場所走動，與誰交談，甚至交流時的語氣如何。美國銀行在使用中發現呼叫中心表現最好的員工——他們制定了小組輪流休息制度，平均業績提高了23%。

如果在手機、鑰匙、眼鏡等隨身物品上粘貼RFID標簽，萬一不小心丟失就能迅速定位它們。假想一下未來可能創造出貼在任何東西上的智能標簽。它們能告訴你的不僅是物體在哪裡，還可以反饋溫度，濕度，運動狀態等等。這將打開一個全新的大數據時代，「大數據」領域尋求共性的信息和模式，那麼孕育其中的「小數據」著重關注單個產品。

5.

改善城市和國家建設

大數據被用於改善我們城市和國家的方方面面。目前很多大城市致力於構建智慧交通。車輛、行人、道路基礎設施、公共服務場所都被整合在智慧交通網路中，以提升資源運用的效率，優化城市管理和服務。

加州長灘市正在使用智能水表實時檢測非法用水，幫助一些房主減少80%的用水量。洛杉磯利用磁性道路感測器和交通攝像頭的數據來控制交通燈信號，從而優化城市的交通流量。據統計目前已經控制了全市4500個交通燈，將交通擁堵狀況減少了約16%。

6.提升科學研究

大數據帶來的無限可能性正在改變科學研究。歐洲核子研究中心(CERN)在全球遍布了150個數據中心，有65,000個處理器，能同時分析30pb的數據量，這樣的計算能力影響著很多領域的科學研究。比如政府需要的人口普查數據、自然災害數據等，變的更容易獲取和分析，從而為我們的健康和社會發展創造更多的價值。

7.提升機械設備性能

大數據使機械設備更加智能化、自動化。例如，豐田普銳斯配備了攝像頭、全球定位系統以及強大的計算機和感測器，在無人干預的條件下實現自動駕駛。Xcel Energy在科羅拉多州啟動了「智能電網」的首批測試，在用戶家中安裝智能電表，然後登錄網站就可實時查看用電情況。「智能電網」還能夠預測使用情況，以便電力公司為未來的基礎設施需求進行規劃，並防止出現電力耗盡的情況。在愛爾蘭，雜貨連鎖店Tescos的倉庫員工佩戴專用臂帶，追蹤貨架上的商品分配，甚至預測一項任務的完成時間。

8.強化安全和執法能力

大數據在改善安全和執法方面得到了廣泛應用。美國國家安全局(NSA)利用大數據技術，檢測和防止網路攻擊(挫敗恐怖分子的陰謀)。警察運用大數據來抓捕罪犯，預測犯罪活動。信用卡公司使用大數據來檢測欺詐交易等等。

2014年2月，芝加哥警察局對大數據生成的「名單」——有可能犯罪的人員，進行通告和探訪，目的是提前預防犯罪。

9.

提高體育運動技能

如今大多數頂尖的體育賽事都採用了大數據分析技術。用於網球比賽的IBM SlamTracker工具，通過視頻分析跟蹤足球落點或者棒球比賽中每個球員的表現。許多優秀的運動隊也在訓練之外跟蹤運動員的營養和睡眠情況。NFL開發了專門的應用平台，幫助所有球隊根據球場上的草地狀況、天氣狀況、以及學習期間球員的個人表現做出最佳決策，以減少球員不必要的受傷。

還有一件非常酷的事情是智能瑜伽墊：嵌入在瑜伽墊中的感測器能對你的姿勢進行反饋，為你的練習打分，甚至指導你在家如何練習。

10.金融交易

大數據在金融交易領域應用也比較廣泛。大多數股票交易都是通過一定的演算法模型進行決策的，如今這些演算法的輸入會考慮來自社交媒體、新聞網路的數據，以便更全面的做出買賣決策。同時根據客戶的需求和願望，這些演算法模型也會隨著市場的變化而變化。

更多精彩：14_spark體系之分布式計算課程Spark 集群搭建+S