構(gòu)建高校大數(shù)據(jù)分析平臺(tái)的探索——以上海公安高等?？茖W(xué)校為例
構(gòu)建高校大數(shù)據(jù)分析平臺(tái)的探索——以上海公安高等?？茖W(xué)校為例
隨著信息化建設(shè)的不斷推進(jìn)，高校建設(shè)正由數(shù)字化校園向著智慧校園的方向邁進(jìn)。信息化高度發(fā)展，給教學(xué)、科研、學(xué)習(xí)、生活帶來(lái)了高速便捷的服務(wù)，同時(shí)也長(zhǎng)生了大量記錄高校日常管理和教學(xué)工作的數(shù)據(jù)，這些數(shù)據(jù)隨著時(shí)間的積累構(gòu)成了一個(gè)龐大的大數(shù)據(jù)資源。這些資源具有很高的價(jià)值，如何讓這些數(shù)據(jù)發(fā)揮價(jià)值，為高校各項(xiàng)工作提供服務(wù)，是值得每一個(gè)學(xué)校思考的課題。
一、信息化發(fā)展現(xiàn)狀
公安教育信息化是培養(yǎng)高素質(zhì)公安人才的根本要求，是開展教育訓(xùn)練工作的實(shí)際需要，是順應(yīng)公安信息化發(fā)展趨勢(shì)的必然選擇。上海公安高等?？茖W(xué)校作為上海公安教育訓(xùn)練工作的主陣地，在校園信息化建設(shè)方面進(jìn)行了積極的探索，由數(shù)字化校園正逐步向智慧校園邁進(jìn)，在服務(wù)公安教育培訓(xùn)、指導(dǎo)公安實(shí)戰(zhàn)等方面發(fā)揮了重要的作用。
1.信息化基礎(chǔ)設(shè)施建設(shè)
自2005年啟動(dòng)第一個(gè)信息化五年規(guī)劃以來(lái)，我校信息化基礎(chǔ)設(shè)施水平不斷提升。目前公安網(wǎng)和教科網(wǎng)兩套網(wǎng)絡(luò)均成熟應(yīng)用，公安網(wǎng)成為日常辦公的主要載體，無(wú)線網(wǎng)絡(luò)在校內(nèi)已實(shí)現(xiàn)了全覆蓋，廣大師生均可免費(fèi)使用。此外學(xué)校率先使用虛擬化等先進(jìn)技術(shù)，運(yùn)行了各類實(shí)體服務(wù)器107臺(tái)、虛擬服務(wù)器289臺(tái)，以及各類信息系統(tǒng)102個(gè)，其中郵件系統(tǒng)為全市5萬(wàn)多名公安民警提供服務(wù)，是上海市公安局首個(gè)面向全局民警應(yīng)用的郵件系統(tǒng)。
2.建成公安教育云服務(wù)平臺(tái)
2011年被評(píng)為上海市10家云計(jì)算應(yīng)用培育單位之一，我校開啟了公安教育云服務(wù)平臺(tái)的建設(shè)工作。在綜合考慮公安實(shí)戰(zhàn)及公安教育的業(yè)務(wù)需求基礎(chǔ)上，云平臺(tái)建設(shè)分為兩個(gè)方面，一方面是建立數(shù)據(jù)中心，將已有的物理資源、虛擬資源、數(shù)據(jù)及應(yīng)用資源進(jìn)行整合，形成云資源池，通過(guò)云資源管理軟件對(duì)計(jì)算資源進(jìn)行統(tǒng)一管理;另一方面，建立虛擬云桌面，將應(yīng)用封裝為各類云服務(wù)集中到云數(shù)據(jù)中心，用戶可通過(guò)多種聯(lián)網(wǎng)終端接入云門戶獲取相應(yīng)服務(wù)。云服務(wù)平臺(tái)作為上海市經(jīng)信委云計(jì)算培育項(xiàng)目在學(xué)校得到廣泛使用，其提供的云盤、虛擬云桌面、云應(yīng)用等功能有效地解決了教學(xué)資源異地訪問(wèn)受限的問(wèn)題，也為未來(lái)移動(dòng)教學(xué)提供了一個(gè)優(yōu)秀的支撐平臺(tái)。
3.自主研發(fā)信息系統(tǒng)集成平臺(tái)
學(xué)校采用SOA等先進(jìn)技術(shù)自主開發(fā)了信息應(yīng)用系統(tǒng)集成平臺(tái)，將校內(nèi)主要74個(gè)信息系統(tǒng)納入平臺(tái)進(jìn)行統(tǒng)一管理。此外，上海公安教育訓(xùn)練管理平臺(tái)作為公安行業(yè)內(nèi)第一個(gè)覆蓋民警終身培訓(xùn)全過(guò)程的管理系統(tǒng)，其16個(gè)培訓(xùn)管理子系統(tǒng)也納入了統(tǒng)一的信息化流程，為上海公安每一位民警形成了一份完整的教育訓(xùn)練活動(dòng)電子檔案。信息系統(tǒng)平臺(tái)目前集成了學(xué)校80%的應(yīng)用軟件，當(dāng)前用戶56000人，日均在線1000人，為全局教育訓(xùn)練工作提供了強(qiáng)有力的支撐，也成為大數(shù)據(jù)分析最重要的數(shù)據(jù)來(lái)源之一。
4.建成上海公安遠(yuǎn)程教育網(wǎng)
我校率先在全國(guó)公安院校建立“上海公安遠(yuǎn)程教育網(wǎng)”，通過(guò)研發(fā)網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)、領(lǐng)導(dǎo)干部在線學(xué)習(xí)平臺(tái)、在線考試系統(tǒng)、在線答疑等輔助模塊，探索遠(yuǎn)程教育應(yīng)用于公安教育訓(xùn)練的新模式。學(xué)校教師教官均參與到公安網(wǎng)絡(luò)課程、公安微課程的建設(shè)中，形成了人人有課程教學(xué)網(wǎng)站、時(shí)時(shí)可布置在線作業(yè)，處處可進(jìn)行在線答疑的良好教學(xué)互動(dòng)局面，打破了學(xué)員學(xué)習(xí)的時(shí)空限制，有效拓寬了學(xué)院獲取教學(xué)資源的渠道，使上海公安教育在使用教育信息技術(shù)方面成為全國(guó)的排頭兵。
二、信息化建設(shè)中的大數(shù)據(jù)
我校在信息化建設(shè)過(guò)程中，已部署了眾多軟件系統(tǒng)，如信息系統(tǒng)集成平臺(tái)、教學(xué)管理系統(tǒng)、OA辦公系統(tǒng)、后保綜合系統(tǒng)、遠(yuǎn)程教育、數(shù)字圖書館等，這些系統(tǒng)每天都在產(chǎn)生大量數(shù)據(jù)，并且產(chǎn)生的速度越來(lái)越快。這些數(shù)據(jù)來(lái)源于不同的應(yīng)用和層次，既有教學(xué)、科研、人事、財(cái)務(wù)、資產(chǎn)等常規(guī)管理型業(yè)務(wù)所產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，又有課件、圖片、視頻等多媒體教學(xué)資源產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，同時(shí)還有購(gòu)物、吃飯、洗浴等一卡通消費(fèi)行為數(shù)據(jù)，以及無(wú)線網(wǎng)絡(luò)、RFID、GPS等物聯(lián)網(wǎng)感知的位置數(shù)據(jù)。這些數(shù)據(jù)在系統(tǒng)運(yùn)行中不斷積累，目前學(xué)校各業(yè)務(wù)系統(tǒng)已有結(jié)構(gòu)化數(shù)據(jù)表約1000多個(gè)，記錄約5千萬(wàn)條，數(shù)據(jù)規(guī)模接近200G，初步積累了“公安教育大數(shù)據(jù)”。這些數(shù)據(jù)得到了有效的存儲(chǔ)和管理，但囿于技術(shù)限制以及數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)的不足，這些數(shù)據(jù)在分析挖掘、充分利用方面還不夠。如何利用這些數(shù)據(jù)，使這些數(shù)據(jù)變?yōu)橛袃r(jià)值的信息和知識(shí)，為公安教育訓(xùn)練工作提供決策成為擺在我們面前的一道亟需攻克的難題。
通過(guò)對(duì)信息系統(tǒng)和數(shù)據(jù)進(jìn)行梳理，我們發(fā)現(xiàn)當(dāng)前系統(tǒng)中還存在一些問(wèn)題：
(1)信息孤島現(xiàn)象仍然存在。雖然學(xué)校的信息集成平臺(tái)集中了絕大部分管理類的應(yīng)用，但是遠(yuǎn)程教育、數(shù)字圖書館等專業(yè)應(yīng)用仍有較強(qiáng)的獨(dú)立性，信息并為充分集中和互通，數(shù)據(jù)之間無(wú)法動(dòng)態(tài)關(guān)聯(lián)，降低了數(shù)據(jù)的使用效率;
(2)技術(shù)難點(diǎn)需要突破。由于數(shù)據(jù)類型繁多，類型不一，傳統(tǒng)的數(shù)據(jù)挖掘算法無(wú)法滿足這些結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理要求，傳統(tǒng)數(shù)據(jù)挖掘技術(shù)面臨巨大的挑戰(zhàn);
(3)缺乏數(shù)據(jù)分析的模式和方法，數(shù)據(jù)需求不夠強(qiáng)烈，數(shù)據(jù)價(jià)值難以體現(xiàn)。
同時(shí)為了解學(xué)校對(duì)數(shù)據(jù)服務(wù)的需求，探索大數(shù)據(jù)應(yīng)用的解決方案，我們還對(duì)學(xué)校的教學(xué)部門及管理部門進(jìn)行了走訪調(diào)查，聽取了各部門對(duì)信息化工作的意見和建議，并對(duì)日常教學(xué)、科研、管理等方面存在的數(shù)據(jù)應(yīng)用需求進(jìn)行了歸納：
(1)校辦公室提出，希望通過(guò)數(shù)據(jù)掌握學(xué)校總體運(yùn)行情況，但目前無(wú)法實(shí)時(shí)了解在校培訓(xùn)總?cè)藬?shù)，教室、宿舍使用率，教師教官教學(xué)狀態(tài)等，缺乏相關(guān)數(shù)據(jù)支撐，為領(lǐng)導(dǎo)提供決策支持方面工作收到較大局限。
(2)政治處要時(shí)刻掌握民警的出勤情況、人員結(jié)構(gòu)、思想狀況等，但目前考勤系統(tǒng)還未能實(shí)現(xiàn)對(duì)各種出勤數(shù)據(jù)的自動(dòng)統(tǒng)計(jì)，人事數(shù)據(jù)變動(dòng)也無(wú)法做到即時(shí)的自動(dòng)分析，工作人員則希望系統(tǒng)產(chǎn)生的數(shù)據(jù)可以通過(guò)統(tǒng)計(jì)和分析來(lái)得到有用信息從而降低人工統(tǒng)計(jì)的工作量，并能夠通過(guò)人員結(jié)構(gòu)變化進(jìn)行各種趨勢(shì)分析。
(3)教務(wù)處目前已提供了各專業(yè)課程數(shù)據(jù)、師資情況、學(xué)校教室使用分布數(shù)據(jù)、學(xué)生實(shí)習(xí)實(shí)訓(xùn)等情況，工作人員希望能通過(guò)利用已有數(shù)據(jù)、分析排課規(guī)律來(lái)實(shí)現(xiàn)自動(dòng)排課功能。學(xué)管處在現(xiàn)有錄入數(shù)據(jù)的基礎(chǔ)上，希望通過(guò)學(xué)生在校考試成績(jī)、德育表現(xiàn)、獲獎(jiǎng)情況等在學(xué)員畢業(yè)前自動(dòng)為每個(gè)學(xué)員形成綜合畫像。
(4)后保處表示對(duì)于學(xué)校日常管理的數(shù)據(jù)需求日漸增大，如對(duì)于能源消耗管理、車輛運(yùn)行管理、經(jīng)費(fèi)管理等應(yīng)用大數(shù)據(jù)分析，將大大提高后勤管理的工作效率。
(5)教學(xué)部門的工作人員提出希望能通過(guò)數(shù)據(jù)自動(dòng)分析出網(wǎng)絡(luò)課程各模塊學(xué)員參與度及掌握情況，以及在線考試題目的錯(cuò)誤率等，從而為網(wǎng)絡(luò)課程的設(shè)計(jì)提供參考，并為教學(xué)創(chuàng)新提供重要依據(jù)。
我校數(shù)據(jù)來(lái)源廣泛、數(shù)據(jù)類型繁多，數(shù)據(jù)量隨著信息化建設(shè)的推進(jìn)日益增加?；谀壳暗臄?shù)據(jù)現(xiàn)狀，以及學(xué)校各部門對(duì)于數(shù)據(jù)應(yīng)用的需求，我們考慮建立公安教育大數(shù)據(jù)分析平臺(tái)，對(duì)學(xué)校人事、課程、資產(chǎn)、檔案等方面的數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、分析，把得出的知識(shí)再反過(guò)來(lái)服務(wù)于管理、教學(xué)、科研、后勤等各項(xiàng)工作，通過(guò)系統(tǒng)的整合以及數(shù)據(jù)的互聯(lián)、共享，提高數(shù)據(jù)的利用效率，從而推動(dòng)數(shù)據(jù)在公安教育中的智能化運(yùn)用。
三、公安教育大數(shù)據(jù)分析平臺(tái)的構(gòu)建方案探索
我校100多個(gè)信息應(yīng)用系統(tǒng)，在日常教學(xué)和管理中積累了大量歷史數(shù)據(jù)，但這些海量數(shù)據(jù)卻沒有得到有效的分析和利用，各部門人員在日常數(shù)據(jù)錄入和維護(hù)中只是通過(guò)統(tǒng)計(jì)和排序?qū)?shù)據(jù)進(jìn)行簡(jiǎn)單的功能操作獲得一些表面、淺顯、價(jià)值不高的結(jié)果。構(gòu)建一個(gè)大數(shù)據(jù)分析平臺(tái)，從學(xué)校其他應(yīng)用平臺(tái)中抽取海量數(shù)據(jù)進(jìn)行管理、整合、分析和利用，從中發(fā)現(xiàn)潛在問(wèn)題和有價(jià)值的規(guī)律，并通過(guò)可視化的方式進(jìn)行展示，能夠?yàn)閷W(xué)校管理層提供科學(xué)決策的支持，并滿足教師教官、學(xué)員的個(gè)性化需求，從而提高我校信息化服務(wù)的質(zhì)量。
1.構(gòu)建目標(biāo)
(1)實(shí)現(xiàn)數(shù)據(jù)的共享和交換。將學(xué)校各應(yīng)用系統(tǒng)的數(shù)據(jù)進(jìn)行集成和整合，使來(lái)源各異、種類不一的各類數(shù)據(jù)可以相互使用，豐富數(shù)據(jù)的來(lái)源，打破系統(tǒng)間的信息孤島，實(shí)現(xiàn)數(shù)據(jù)的共享和應(yīng)用。
(2)大數(shù)據(jù)的采集和存儲(chǔ)。研制數(shù)據(jù)適配接口，對(duì)接校內(nèi)各應(yīng)用系統(tǒng)獲取各類異構(gòu)數(shù)據(jù)，并采用大數(shù)據(jù)主流的框架和系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)，為數(shù)據(jù)的挖掘和分析打好基礎(chǔ)。
(3)大數(shù)據(jù)分析與決策。采用數(shù)據(jù)挖掘、數(shù)理統(tǒng)計(jì)等相關(guān)技術(shù)，構(gòu)建大數(shù)據(jù)分析框架，提取數(shù)據(jù)中隱含的、未知的、極具潛在應(yīng)用價(jià)值的信息和規(guī)律，為學(xué)校的教務(wù)管理、科研管理、學(xué)員管理、后勤管理等各項(xiàng)工作提供決策和指導(dǎo)。
2.構(gòu)建原則
(1)安全性。公安教育訓(xùn)練工作中有許多保密性內(nèi)容，大數(shù)據(jù)分析平臺(tái)依托公安網(wǎng)進(jìn)行部署，應(yīng)采取安全性高的訪問(wèn)認(rèn)證機(jī)制，同時(shí)在平臺(tái)建設(shè)中要充分重視系統(tǒng)自身的安全性以及其他應(yīng)用系統(tǒng)的安全性。
(2)可擴(kuò)展性。對(duì)公安教育大數(shù)據(jù)的分析和應(yīng)用是一項(xiàng)長(zhǎng)期持久的工作，隨著管理工作的重點(diǎn)、教育訓(xùn)練工作的變化推進(jìn)，對(duì)于分析平臺(tái)的規(guī)模和要求也會(huì)不斷變化。因此，要求平臺(tái)的設(shè)計(jì)和實(shí)施要具有良好的擴(kuò)展性，以滿足不斷發(fā)展變化的要求。
(3)靈活性。在平臺(tái)的設(shè)計(jì)和實(shí)施中要考慮到與其他應(yīng)用系統(tǒng)的整合，開發(fā)出多個(gè)類型的接口，能夠靈活接入其他系統(tǒng)、拓展服務(wù)類型。
3.總體框架
平臺(tái)應(yīng)適應(yīng)于大數(shù)據(jù)處理要求，能支持PB級(jí)數(shù)據(jù)管理。系統(tǒng)架構(gòu)應(yīng)高安全性、易擴(kuò)展性，能夠支持各類主流開發(fā)語(yǔ)言，并提供豐富的接口。同時(shí)能夠支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和應(yīng)用。Hadoop作為開源的大數(shù)據(jù)處理平臺(tái)和工具，其提供的HDFS分布式文件系統(tǒng)和MapReduce模型能夠很好地滿足以上的要求。系統(tǒng)的總體架構(gòu)圖如1所示。
基于Hadoop技術(shù)的公安院校大數(shù)據(jù)分析平臺(tái)自下而上分為三個(gè)部分，分別為：數(shù)據(jù)層、大數(shù)據(jù)采集與存儲(chǔ)、數(shù)據(jù)分析及展示。
(1)數(shù)據(jù)層，針對(duì)不同系統(tǒng)進(jìn)行分析，制定系統(tǒng)數(shù)據(jù)采集范圍與目標(biāo)，收集本校在日常管理和教學(xué)中的產(chǎn)生的各類數(shù)據(jù)，將各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行整合，為大數(shù)據(jù)的分析提供支撐。
(2)大數(shù)據(jù)采集與存儲(chǔ)旨在為各類異構(gòu)數(shù)據(jù)研制適配接口，與校內(nèi)其他各系統(tǒng)對(duì)接，并為數(shù)據(jù)提供適配、轉(zhuǎn)換、存儲(chǔ)等基本管理功能，基本步驟包括：
a.數(shù)據(jù)抽?。横槍?duì)大數(shù)據(jù)分析平臺(tái)需要采集的各類數(shù)據(jù)，分別有針對(duì)性地研制適配接口。對(duì)于已有的信息系統(tǒng)，研發(fā)對(duì)應(yīng)的接口模塊與各信息系統(tǒng)對(duì)接，不能實(shí)現(xiàn)數(shù)據(jù)共享接口的系統(tǒng)通過(guò)ETL工具進(jìn)行數(shù)據(jù)采集，支持多種類型數(shù)據(jù)庫(kù)，如SQL SERVER, ORACLE, ACCESS等學(xué)校系統(tǒng)數(shù)據(jù)庫(kù)，按照相應(yīng)規(guī)范對(duì)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換，從而實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)管理。對(duì)于其他數(shù)據(jù)，需要具體根據(jù)數(shù)據(jù)情況實(shí)現(xiàn)相關(guān)接口，利用對(duì)應(yīng)接口獲取相關(guān)數(shù)據(jù)信息，進(jìn)而完成數(shù)據(jù)的抽取。
b、數(shù)據(jù)預(yù)處理：為使大數(shù)據(jù)分析平臺(tái)的MAPREDUCE算法能更方便對(duì)數(shù)據(jù)進(jìn)行處理，同時(shí)為了使得數(shù)據(jù)的存儲(chǔ)機(jī)制擴(kuò)展性、容錯(cuò)性更好，需要把通過(guò)數(shù)據(jù)按照相應(yīng)關(guān)聯(lián)性進(jìn)行組合，并將據(jù)轉(zhuǎn)化為文本格式，作為文件存儲(chǔ)下來(lái)。
c、數(shù)據(jù)存儲(chǔ)：為了提升數(shù)據(jù)存儲(chǔ)的擴(kuò)展性和容錯(cuò)性，采用主流的大數(shù)據(jù)框架Hadoop的HDFS文件系統(tǒng)對(duì)學(xué)校的各類數(shù)據(jù)統(tǒng)一進(jìn)行文本化存儲(chǔ)，數(shù)據(jù)按相應(yīng)規(guī)則存儲(chǔ)，實(shí)現(xiàn)每日保存一套完整數(shù)據(jù)文件集，形成數(shù)據(jù)倉(cāng)庫(kù)。
(3)數(shù)據(jù)分析和展示是核心業(yè)務(wù)層，通過(guò)數(shù)據(jù)報(bào)表工具，根據(jù)需求制定多樣的，針對(duì)性的數(shù)據(jù)報(bào)表。通過(guò)基于的Hadoop的MapReduce編程模型實(shí)現(xiàn)的數(shù)據(jù)分析系統(tǒng)，針對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理、算法運(yùn)行、結(jié)果轉(zhuǎn)換操作，將結(jié)果保存為報(bào)表文件，每日形成的報(bào)表文件集。報(bào)表展現(xiàn)系統(tǒng)將生成的報(bào)表文件以可視化方式進(jìn)行展現(xiàn)。
4.大數(shù)據(jù)分析平臺(tái)中的關(guān)鍵技術(shù)
大數(shù)據(jù)平臺(tái)的構(gòu)建借鑒了開源系統(tǒng)的先進(jìn)理念，采用了Hadoop開源系統(tǒng)，充分利用 HDFS的可靠性，MapReduce的引入大大加強(qiáng)了平臺(tái)在數(shù)據(jù)分析方面的彈性，使平臺(tái)在可擴(kuò)展性、可靠性、易用性和性能方面都有良好的表現(xiàn)。
(1)Hadoop技術(shù)
Hadoop框架是一個(gè)開源的大規(guī)模數(shù)據(jù)處理平臺(tái)和工具，主要來(lái)源于Google公司提出的MapReduce編程框架，GFS文件系統(tǒng)以及BigTable存儲(chǔ)系統(tǒng)等技術(shù)[1]。Hadoop具有龐大的家族體系，本平臺(tái)的構(gòu)建主要涉及到Hadoop框架的分布式文件系統(tǒng)HDFS和MapReduce模型。分布式文件系統(tǒng)作為Hadoop框架的底層，主要負(fù)責(zé)分析數(shù)據(jù)的分布式存儲(chǔ)和管理，MapReduce模型主要是負(fù)責(zé)對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行計(jì)算處理。Hadoop釆用HDFS文件系統(tǒng)子框架來(lái)實(shí)現(xiàn)其所具有的存儲(chǔ)能力，用MapReduce編程模型框架來(lái)實(shí)現(xiàn)其計(jì)算能力，二者的巧妙結(jié)合使得Hadoop擁有高效的存儲(chǔ)和計(jì)算能力。
(2)HDFS技術(shù)
HDFS分布式文件系統(tǒng)是對(duì)大規(guī)模數(shù)據(jù)實(shí)現(xiàn)分布式存儲(chǔ)和管理的有效工具，也是分布式計(jì)算的存儲(chǔ)基礎(chǔ)，具有很高的容錯(cuò)性和擴(kuò)展性，并且對(duì)數(shù)據(jù)讀寫提供了的高吞吐率[1]。HDFS實(shí)現(xiàn)了數(shù)據(jù)的分布式存儲(chǔ)，使得應(yīng)用程序能夠更加靈活地訪問(wèn)大規(guī)模的數(shù)據(jù)集，同時(shí)也為后續(xù)對(duì)大規(guī)模數(shù)據(jù)的分析提供了數(shù)據(jù)平臺(tái)[5]。HDFS分布式文件系統(tǒng)釆用的是典型的主/從結(jié)構(gòu)，這種結(jié)構(gòu)極大的簡(jiǎn)化了系統(tǒng)的架構(gòu)，使得系統(tǒng)更加簡(jiǎn)潔，方便系統(tǒng)的管理。Hadoop的分布式文件系統(tǒng)HDFS主要由主控制器和數(shù)據(jù)節(jié)點(diǎn)組成，主控制器管理名字空間和數(shù)據(jù)節(jié)點(diǎn)，同時(shí)管理數(shù)據(jù)塊到數(shù)據(jù)節(jié)點(diǎn)DataNode的映射等。文件系統(tǒng)中的DataNode作為數(shù)據(jù)節(jié)點(diǎn)，主要存儲(chǔ)實(shí)際的數(shù)據(jù)，主要負(fù)責(zé)所在的物理結(jié)點(diǎn)上的存儲(chǔ)管理，執(zhí)行主控制器下達(dá)的命令。數(shù)據(jù)節(jié)點(diǎn)能夠及時(shí)接收客戶發(fā)送的讀寫請(qǐng)求，并針對(duì)這些請(qǐng)求完成相應(yīng)的操作。從分布式文件系統(tǒng)的結(jié)構(gòu)內(nèi)部來(lái)看，數(shù)據(jù)文件被存儲(chǔ)分割成多個(gè)數(shù)據(jù)塊存儲(chǔ)在每個(gè)數(shù)據(jù)節(jié)點(diǎn)上，每個(gè)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)著來(lái)自多個(gè)文件的數(shù)據(jù)塊，同時(shí)每個(gè)數(shù)據(jù)節(jié)點(diǎn)上也會(huì)存儲(chǔ)這些數(shù)據(jù)塊的多份副本，保證后續(xù)數(shù)據(jù)操作的準(zhǔn)確性。
(3)MapReduce技術(shù)
MapReduce技術(shù)基于分布式文件系統(tǒng)，通過(guò)編寫相應(yīng)的處理過(guò)程能夠?qū)崿F(xiàn)對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行并行計(jì)算和處理，通過(guò)對(duì)不同分析模塊編寫相關(guān)的MapReduce處理函數(shù)能夠?qū)崿F(xiàn)對(duì)大規(guī)模數(shù)據(jù)的精確分析，同時(shí)能夠控制各個(gè)節(jié)點(diǎn)之間完成高效的任務(wù)調(diào)度[5]。MapReduce通過(guò)將操作分發(fā)給網(wǎng)絡(luò)上的各個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)會(huì)周期性的返回它所完成的工作和最新的狀態(tài)，從而實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)集的操作，這種處理方式保證了操作的可靠性[5]。MapReduce技術(shù)處理的方式是,首先將一個(gè)具體的任務(wù)分解成為若干個(gè)很小的任務(wù)，然后將分解后的任務(wù)分配到各個(gè)分節(jié)點(diǎn)，通過(guò)主節(jié)點(diǎn)來(lái)對(duì)分節(jié)點(diǎn)的任務(wù)進(jìn)行管理和調(diào)度，然后得到分節(jié)點(diǎn)處理后的結(jié)果，再將結(jié)果整合，得到最終結(jié)果，通過(guò)多個(gè)節(jié)點(diǎn)之間的相互合作和調(diào)度，從而實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)集的計(jì)算和處理?？偟恼f(shuō)來(lái),MapReduce就是基于“分而治之”的思想實(shí)現(xiàn)“任務(wù)的分解與結(jié)果的匯總”。
四、利用大數(shù)據(jù)，實(shí)現(xiàn)教學(xué)和管理的全面創(chuàng)新
構(gòu)建公安院校大數(shù)據(jù)分析平臺(tái)是以我校戰(zhàn)略發(fā)展規(guī)劃為藍(lán)本，以我校信息化建設(shè)綱要為依據(jù)而進(jìn)行的創(chuàng)新性探索。以大數(shù)據(jù)建設(shè)頂層設(shè)計(jì)為基礎(chǔ)，收集整合公安教育各方面所產(chǎn)生數(shù)據(jù)，從數(shù)據(jù)中提取出有價(jià)值的信息和模型，推動(dòng)公安教育的全面創(chuàng)新。
1.開展大數(shù)據(jù)頂層設(shè)計(jì)，以大數(shù)據(jù)應(yīng)用全面推進(jìn)學(xué)校發(fā)展
大數(shù)據(jù)將成為推進(jìn)學(xué)校發(fā)展的新動(dòng)力，通過(guò)開展大數(shù)據(jù)頂層設(shè)計(jì)，對(duì)大數(shù)據(jù)獲取、收集、整理、利用進(jìn)行全面規(guī)劃，從應(yīng)用需求出發(fā)，明確建設(shè)目的和路徑，明確什么要做，什么不要做，什么應(yīng)該先做，什么應(yīng)該后做，用什么模式做，做到什么程度，達(dá)到什么效果，以指導(dǎo)學(xué)校未來(lái)3-5年的大數(shù)據(jù)建設(shè)。
2.快速推進(jìn)教學(xué)和管理工作的信息化，建立豐富的數(shù)據(jù)來(lái)源
用大數(shù)據(jù)方法全面分析現(xiàn)有教學(xué)和管理工作，新建或升級(jí)信息系統(tǒng)，對(duì)教學(xué)和管理實(shí)現(xiàn)全過(guò)程記錄，建立豐富的數(shù)據(jù)收集渠道。如通過(guò)對(duì)現(xiàn)有遠(yuǎn)程教育系統(tǒng)進(jìn)行全面升級(jí)，跳出遠(yuǎn)程教育的概念，實(shí)現(xiàn)對(duì)教學(xué)過(guò)程的全面支持，詳細(xì)記錄每個(gè)學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，包括課程學(xué)習(xí)數(shù)據(jù)、視頻觀看數(shù)據(jù)、資料查閱數(shù)據(jù)、作業(yè)完成數(shù)據(jù)、互動(dòng)交流數(shù)據(jù)、成績(jī)數(shù)據(jù)等，將數(shù)據(jù)細(xì)分到每個(gè)行為細(xì)節(jié)，以提供超越傳統(tǒng)系統(tǒng)的數(shù)據(jù)精細(xì)度，客觀地反映出學(xué)習(xí)的實(shí)際狀況。通過(guò)建立物聯(lián)網(wǎng)應(yīng)用，實(shí)現(xiàn)對(duì)物品、人員、安全等各方面管理的強(qiáng)大支撐，提升管理質(zhì)量的同時(shí)積累大量管理數(shù)據(jù)和行為數(shù)據(jù)。
3.基于個(gè)性化服務(wù)需求，建立大數(shù)據(jù)分析模型
提供優(yōu)秀的個(gè)性化服務(wù)是教育和管理的重要目標(biāo)之一，大數(shù)據(jù)應(yīng)用則是提供規(guī)模個(gè)性化服務(wù)的必要條件，而大數(shù)據(jù)分析模型的質(zhì)量決定了數(shù)據(jù)的價(jià)值。一個(gè)平時(shí)被忽略的數(shù)據(jù)在好的模型中，會(huì)產(chǎn)生難以想象的作用。我們可以通過(guò)對(duì)學(xué)習(xí)行為數(shù)據(jù)的分析，了解學(xué)生的學(xué)習(xí)興趣和學(xué)習(xí)效果，研究哪些學(xué)習(xí)方式是最容易被接受的，哪些課程的設(shè)計(jì)是最受歡迎的，或具體到某個(gè)作業(yè)問(wèn)題回答的正確率以及橫向和縱向的比較，并深層次的展現(xiàn)出其中的原因。這些數(shù)據(jù)被提供給教師，將對(duì)教學(xué)創(chuàng)新提供最為直接的支撐。通過(guò)對(duì)一卡通行為數(shù)據(jù)的分析，可以了解學(xué)生的日常行為規(guī)律和消費(fèi)規(guī)律，了解學(xué)生行為與學(xué)習(xí)成績(jī)、學(xué)校效果之間的關(guān)聯(lián)關(guān)系，提供學(xué)生管理創(chuàng)新的依據(jù)。
4.綜合應(yīng)用大數(shù)據(jù)成果，推動(dòng)學(xué)校全面創(chuàng)新
通過(guò)大數(shù)據(jù)的綜合應(yīng)用，可以建立對(duì)各項(xiàng)教育和管理工作的分析和判斷，應(yīng)用到實(shí)際工作中，從各個(gè)方面推動(dòng)學(xué)校全面創(chuàng)新。
通過(guò)對(duì)教學(xué)過(guò)程、學(xué)習(xí)行為、學(xué)習(xí)成績(jī)、教學(xué)滿意度、教師需求量、專業(yè)師資質(zhì)量、專業(yè)成熟度、行動(dòng)軌跡等綜合分析，建立教師畫像、學(xué)生畫像、專業(yè)畫像，直觀了解優(yōu)勢(shì)和不足，預(yù)測(cè)發(fā)展?fàn)顩r。
通過(guò)對(duì)學(xué)生人數(shù)、宿舍分配、教室使用、能源消耗、網(wǎng)絡(luò)消耗、食堂消費(fèi)、圖書館利用等進(jìn)行綜合分析，建立各資源利用率指數(shù)，實(shí)現(xiàn)數(shù)據(jù)可視化，引導(dǎo)管理工作的精細(xì)化和管理的扁平化。
通過(guò)對(duì)一卡通、圖書借閱、專業(yè)分布、課程分布、成績(jī)、學(xué)習(xí)行為等進(jìn)行聚類分析，發(fā)現(xiàn)具有某些特征的特殊群體及其獨(dú)有的行為方式，并利用相關(guān)性數(shù)據(jù)進(jìn)行挖掘，從中發(fā)現(xiàn)規(guī)律。
通過(guò)對(duì)教學(xué)數(shù)據(jù)、教學(xué)效果、考勤記錄、個(gè)人數(shù)據(jù)、管理數(shù)據(jù)進(jìn)行綜合分析，建立科學(xué)的、真實(shí)客觀的教師績(jī)效評(píng)價(jià)體系，改變傳統(tǒng)人為評(píng)價(jià)的主觀性，讓大數(shù)據(jù)選出真正優(yōu)秀的教師。
五、結(jié)語(yǔ)
構(gòu)建高校大數(shù)據(jù)分析平臺(tái)是個(gè)具有開拓性的實(shí)踐探索，在高校中具有廣闊的應(yīng)用前景。我校目前還處于初步規(guī)劃的階段，我們將加強(qiáng)與行業(yè)公司、科研機(jī)構(gòu)的合作，在大數(shù)據(jù)分析平臺(tái)構(gòu)建方面進(jìn)行深入探索，從公安教育信息化發(fā)展的實(shí)際出發(fā)，采用當(dāng)前先進(jìn)的工具和技術(shù)，構(gòu)建出體現(xiàn)上海公安教育特色，同時(shí)在普通高校又具有通用性的大數(shù)據(jù)分析平臺(tái)。
參考文獻(xiàn)：
[1]趙剛.大數(shù)據(jù):技術(shù)與應(yīng)用實(shí)踐指南[M].北京:電子工業(yè)出版社,2013:4.
[2]周飛,石晉杰,崔磊.“大數(shù)據(jù)”時(shí)代的公安工作初探[J].上海公安高等?？茖W(xué)校學(xué)報(bào),2013,23(2):34-37.
[3]宓詠,趙澤宇,大數(shù)據(jù)創(chuàng)新智慧校園服務(wù)[J].中國(guó)教育信息化,2013(24): 3-7.
[4]王慧鋒,房一泉,陳曉寧.建設(shè)智能云數(shù)據(jù)服務(wù)平臺(tái)讓高校大數(shù)據(jù)“說(shuō)話”：提升學(xué)校核心競(jìng)爭(zhēng)力[J].華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2015(S1).
[5]潘奇.基于Hadoop技術(shù)的高校學(xué)生行為分析系統(tǒng)研究與實(shí)現(xiàn)[D].北京郵電大學(xué),2014
以上就是100唯爾(100vr.com)小編為您介紹的關(guān)于?？茖W(xué)校的知識(shí)技巧了，學(xué)習(xí)以上的構(gòu)建高校大數(shù)據(jù)分析平臺(tái)的探索——以上海公安高等?？茖W(xué)校為例知識(shí)，對(duì)于?？茖W(xué)校的幫助都是非常大的，這也是新手學(xué)習(xí)賽事資訊所需要注意的地方。如果使用100唯爾還有什么問(wèn)題可以點(diǎn)擊右側(cè)人工服務(wù)，我們會(huì)有專業(yè)的人士來(lái)為您解答。
本站在轉(zhuǎn)載文章時(shí)均注明來(lái)源出處，轉(zhuǎn)載目的在于傳遞更多信息，未用于商業(yè)用途。如因本站的文章、圖片等在內(nèi)容、版權(quán)或其它方面存在問(wèn)題或異議，請(qǐng)與本站聯(lián)系(電話：0592-5551325，郵箱：help@onesoft.com.cn)，本站將作妥善處理。
向客服提問(wèn)上一篇： 沒有了
?？茖W(xué)校課程推薦
賽事資訊熱門資料
賽事資訊技術(shù)文檔
- 1?呼和浩特工務(wù)段卓資東高鐵實(shí)訓(xùn)場(chǎng)建設(shè)項(xiàng)目議價(jià)采購(gòu)二次公告
- 2鐵小微帶你看:大南鐵國(guó)家高鐵實(shí)訓(xùn)基地,超牛!
- 3尚義職教中心首屆高鐵專業(yè)學(xué)生赴北京實(shí)習(xí)實(shí)訓(xùn)
- 4技能展示 | 高鐵專業(yè)實(shí)訓(xùn)技能展示
- 5磨礪青春、出彩中職——高鐵專業(yè)實(shí)訓(xùn)風(fēng)采
- 6陜西長(zhǎng)城鐵路技師學(xué)院,一所把高鐵實(shí)訓(xùn)搬進(jìn)課堂的高等院校
- 7喜訊!喜訊!1:1仿真高鐵實(shí)訓(xùn)設(shè)備進(jìn)入梧州電子科技學(xué)校
- 8云南工程職業(yè)學(xué)院高鐵實(shí)訓(xùn)基地建成啟用
- 9高鐵實(shí)訓(xùn)課走進(jìn)無(wú)錫東站!
- 10職教標(biāo)準(zhǔn)I高等職業(yè)學(xué)校城市軌道交通通信信號(hào)技術(shù)教學(xué)標(biāo)準(zhǔn)
推薦閱讀
