
【想深入了解大數據、資料探勘的讀者請進!!】
什麼是資料前處理?
電信業者跟資料探勘有什麼關係?
神經網路具體到底是什麼?
集群分析的演算法有哪些?
◎資料探勘的「十大經典演算法」你都認識嗎?
國際權威的學術組織the IEEE International Conference on Data Mining (ICDM)評出了資料探勘領域的十大經典演算法:C4.5、K-Means、SVM、Apriori、EM、PageRank、AdaBoost、KNN、Naive Bayes和CART。
1.C4.5演算法
C4.5是一種用在機器學習和資料探勘領域的分類問題中的演算法。它基於以下假設:給定一個資料集,其中的每一個元組都能用一組屬性值來描述,每一個元組屬於一個互斥的類別中的某一類。C4.5的目標是透過學習,找到一個從屬性值到類別的映射關係,並且這個映射能用於對新的類別未知的實體進行分類。
2.The K-Means Algorithm (K-Means演算法)
K-MeansAlgorithm是一種聚類演算法,它把n個對象根據他們的屬性分為k個分割,k
◎結構化/半結構化/非結構化資料有什麼不同?
(一)結構化資料:能夠用數據或統一的結構加以表示的資料,如數字、符號。傳統的關係資料模型,儲存於資料庫,通常可用二維表結構表示。
(二)非結構化資料:是指其欄位長度可變,並且每個欄位的記錄又可以由可重複或不可重複的子欄位構成的資料庫,用它不僅可以處理結構化資料(如數字、符號等資訊)而且更適合處理非結構化資料(全文文字、圖像、聲音、影視、超媒體等資訊)。
(三)半結構化資料: XML、HTML文檔就屬於半結構化資料。它一般是自描述的,資料結構和內容混在一起,沒有明顯的區分。
◎如何設計神經網路的拓撲結構?
在開始訓練之前,用戶必須確定網路拓撲,說明輸入層的單元數、隱藏層數(如果多於一層)、每個隱藏層的單元數和輸出層的單元數。
對訓練元組中每個屬性的輸入測量值進行規範化將有助於加快學習過程。通常,對輸入值規範化,使得它們落入0.0和1.0之間。離散值屬性可以重新編碼,使得每個域值有一個輸入單元。例如,如果屬性A有3個可能的或已知的值{a0,a1,a2}則可以分配三個輸入單元表示A,即我們可以用I0,I1,I2作為輸入單元。每個單元都初始化為0。如果A=a0,則I0置為1,其餘為0;如果A=a1,則I1置1,其餘為0;諸如此類。
神經網路可以用於分類(預測給定元組的類標號)和數值預測(預測連續值輸出)。對於分類,一個輸出單元可以用來表示兩個類(其中值1代表一個類,而值0代表另一個類)。如果多於兩個類,則每個類使用一個輸出單元。
全書特色
全書分為九章,內容包括:大資料探勘與智慧營運的概念,資料前處理,資料探勘中的四種主流演算法:集群分析、分類分析、迴歸分析、關聯分析,增強型資料探勘演算法,資料探勘在營運商智慧營運中的應用案例,未來大資料探勘的發展趨勢等。主要提供給電信業者及其他高科技企業員工、大專院校學生和研究生,以及其他對資料探勘與精準行銷感興趣的讀者。
內容簡介
前言
第1章 大數據、資料探勘與智慧營運綜述
1.1 資料探勘的發展史
1.1.1 資料探勘的定義與起源
1.1.2 資料探勘的早期發展
1.1.3 資料探勘的演算法前傳
1.1.4 資料探勘的第一個里程碑
1.1.5 最近十年的發展與應用
1.2 資料探勘的主要流程與金字塔模型
1.2.1 資料探勘的任務
1.2.2 資料探勘的基本步驟
1.2.3 資料探勘的架構——雲端運算
1.2.4 「金字塔」模型
1.3 資料探勘對智慧營運的意義
1.3.1 「互聯網+」時代的來臨及其對營運商的衝擊和挑戰
1.3.2 大數據時代的來臨及其對營運商的挑戰和機遇
1.3.3 電信業者營運發展面臨的主要瓶頸
1.3.4 電信業者發展的「三條曲線」
1.3.5 智慧營運與大數據變現
1.3.6 資料探勘對於提升智慧營運效率的意義
1.4 大數據時代已經來臨
1.4.1 大數據的定義
1.4.2 大數據的「4V」特徵
1.4.3 結構化資料與非結構化資料
1.5 非結構化資料探勘的研究進展
1.5.1 文字探勘
1.5.2 模式識別
1.5.2.1 模式識別概述
1.5.2.2 模式識別方法
1.5.2.3 模式識別的應用
1.5.3 語音辨識
1.5.3.1 語音辨識技術的發展
1.5.3.2 語音辨識基礎
1.5.3.3 語音辨識基本原理
1.5.3.4 聲學建模方法
1.5.3.5 語音辨識的應用
1.5.4 影片識別
1.5.4.1 影片分析方法概述
1.5.4.2 基於深度學習的影片技術
1.5.4.3 結語
1.5.5 其他非結構化資料探勘
1.5.5.1 Web資料探勘
1.5.5.2 空間群資料探勘
1.6 資料探勘與機器學習、深度學習、人工智慧及雲端運算
1.6.1 機器學習
1.6.2 深度學習
1.6.3 人工智慧
1.6.4 雲端運算
1.7 現有資料探勘的主要分析軟體與系統
1.7.1 Hadoop
1.7.2 Storm
1.7.3 Spark
1.7.4 SPASS(SPSS)
1.7.5 SAS
參考文獻
第2章 數據統計與資料前處理
2.1 資料屬性類型
2.1.1 資料屬性定義
2.1.2 離散屬性
2.1.3 連續屬性
2.2 數據的統計特性
2.2.1 中心趨勢度量
2.2.2 數據散布度量
2.2.2.1 等分位數
2.2.2.2 均值
2.2.2.3 變異數與標準差
2.2.2.4 高階統計特性
2.2.3 數據相關性
2.2.3.1 卡方相關性
2.2.3.2 雙變數相關
2.2.3.3 偏相關
2.3 資料前處理
2.3.1 資料前處理概述
2.3.2 資料前處理的主要任務
2.3.3 資料淨化
2.3.3.1 缺失值
2.3.3.2 雜訊資料
2.3.4 資料整合
2.3.4.1 資料冗餘
2.3.4.2 重複元組
2.3.5 資料縮減
2.3.5.1 主成分分析
2.3.5.2 小波變換
2.3.5.3 屬性子集選擇
2.3.6 資料變換和離散化
2.3.6.1 資料正規化/標準化的主要方法
2.3.6.2 資料離散化的主要方法
2.4 資料欄位的衍生
2.4.1 資料欄位的拆分
2.4.2 統計特徵的構造
2.4.3 資料區的變換
2.5 SPSS軟體中的資料前處理案例
2.5.1 缺失值的實際處理
2.5.2 雜訊資料的實際處理
2.5.3 主成分分析的實際處理
參考文獻
第3章 集群分析
3.1 概述
3.2 聚類演算法的評估
3.3 基於劃分的聚類:K-means
3.3.1 基於劃分的聚類演算法概述
3.3.2 K-means聚類演算法原理
3.3.3 K-means演算法的優勢與劣勢
3.3.4 K-means演算法優化
3.3.5 SPSS軟體中的K-means演算法應用案例
3.4 基於層次化的聚類:BIRCH
3.4.1 基於層次化的聚類演算法概述
3.4.2 BIRCH演算法的基本原理
3.4.3 BIRCH演算法的優勢與劣勢
3.5 基於密度的聚類:DBSCAN
3.5.1 基於密度的聚類演算法概述
3.5.2 DBSCAN演算法的基本原理
3.5.3 DBSCAN演算法的優勢與劣勢
3.6 基於網格的聚類:CLIQUE
3.6.1 基於網格的聚類演算法概述
3.6.2 CLIQUE演算法的基本原理
3.6.3 CLIQUE演算法的優勢與劣勢
參考文獻
第4章 分類分析
4.1 分類分析概述
4.2 分類分析的評估
4.3 決策樹分析
4.3.1 決策樹演算法的基本原理
4.3.2 CHAID決策樹
4.3.2.1 CHAID演算法簡介
4.3.2.2 CHAID演算法原理
4.3.2.3 CHIAD演算法實例分析
4.3.3 ID3決策樹
4.3.3.1 ID3演算法原理
4.3.3.2 熵和資訊增益
4.3.3.3 ID3演算法偽程式碼
4.3.3.4 ID3演算法的特點
4.3.3.5 ID3演算法的案例分析
4.3.4 C4.5決策樹
4.3.4.1 C4.5演算法原理
4.3.4.2 C4.5演算法的偽程式碼
4.3.4.3 C4.5演算法的特點
4.3.4.4 C4.5演算法案例分析
4.3.5 CART決策樹
4.3.5.1 CART決策樹原理介紹
4.3.5.2 Gini係數
4.3.5.3 使用基尼係數進行決策樹分析案例
4.3.6 決策樹中的剪枝問題
4.3.7 決策樹在SPSS中的應用
4.4 最近鄰分析(KNN)
4.4.1 KNN演算法的基本原理
4.4.2 KNN演算法流程
4.4.3 KNN演算法的若干問題
4.4.4 KNN分類器的特徵
4.4.5 KNN演算法在SPSS中的應用
4.4.5.1 用KNN演算法預測用戶是否流失
4.4.5.2 用KNN演算法填充缺失值
4.5 貝氏分析
4.5.1 貝氏定理
4.5.2 單純貝氏分類
4.5.2.1 條件獨立性
4.5.2.2 單純貝氏分類的工作過程
4.5.2.3 單純貝氏分類的特徵
4.5.2.4 單純貝氏分類實例分析
4.5.3 貝氏網路
4.5.3.1 貝氏網路原理
4.5.3.2 模型表示
4.5.3.3 貝氏網路實例分析
4.5.3.4 BBN的特點
4.6 神經網路
4.6.1 感知器
4.6.2 多重人工神經網路
4.6.2.1 多重人工神經網路介紹
4.6.2.2 多層前饋神經網路
4.6.2.3 定義網路拓撲
asnd
內容簡介
前言
第1章 大數據、資料探勘與智慧營運綜述
1.1 資料探勘的發展史
1.1.1 資料探勘的定義與起源
1.1.2 資料探勘的早期發展
1.1.3 資料探勘的演算法前傳
1.1.4 資料探勘的第一個里程碑
1.1.5 最近十年的發展與應用
1.2 資料探勘的主要流程與金字塔模型
1.2.1 資料探勘的任務
1.2.2 資料探勘的基本步驟
1.2.3 資料探勘的架構——雲端運算
1.2.4 「金字塔」模型
1.3 資料探勘對智慧營運的意義
1.3.1 「互聯網+」時代的來臨及其對營運商的衝擊和挑戰
1.3.2 大數據時代的來臨及其對營運商的挑戰和機遇
1.3.3 電信業者營運發展面臨的主要瓶頸
1.3.4 電信業者發展的「三條曲線」
1.3.5 智慧營運與大數據變現
1.3.6 資料探勘對於提升智慧營運效率的意義
1.4 大數據時代已經來臨
1.4.1 大數據的定義
1.4.2 大數據的「4V」特徵
1.4.3 結構化資料與非結構化資料
1.5 非結構化資料探勘的研究進展
1.5.1 文字探勘
1.5.2 模式識別
1.5.2.1 模式識別概述
1.5.2.2 模式識別方法
1.5.2.3 模式識別的應用
1.5.3 語音辨識
1.5.3.1 語音辨識技術的發展
1.5.3.2 語音辨識基礎
1.5.3.3 語音辨識基本原理
1.5.3.4 聲學建模方法
1.5.3.5 語音辨識的應用
1.5.4 影片識別
1.5.4.1 影片分析方法概述
1.5.4.2 基於深度學習的影片技術
1.5.4.3 結語
1.5.5 其他非結構化資料探勘
1.5.5.1 Web資料探勘
1.5.5.2 空間群資料探勘
1.6 資料探勘與機器學習、深度學習、人工智慧及雲端運算
1.6.1 機器學習
1.6.2 深度學習
1.6.3 人工智慧
1.6.4 雲端運算
1.7 現有資料探勘的主要分析軟體與系統
1.7.1 Hadoop
1.7.2 Storm
1.7.3 Spark
1.7.4 SPASS(SPSS)
1.7.5 SAS
參考文獻
第2章 數據統計與資料前處理
2.1 資料屬性類型
2.1.1 資料屬性定義
2.1.2 離散屬性
2.1.3 連續屬性
2.2 數據的統計特性
2.2.1 中心趨勢度量
2.2.2 數據散布度量
2.2.2.1 等分位數
2.2.2.2 均值
2.2.2.3 變異數與標準差
2.2.2.4 高階統計特性
2.2.3 數據相關性
2.2.3.1 卡方相關性
2.2.3.2 雙變數相關
2.2.3.3 偏相關
2.3 資料前處理
2.3.1 資料前處理概述
2.3.2 資料前處理的主要任務
2.3.3 資料淨化
2.3.3.1 缺失值
2.3.3.2 雜訊資料
2.3.4 資料整合
2.3.4.1 資料冗餘
2.3.4.2 重複元組
2.3.5 資料縮減
2.3.5.1 主成分分析
2.3.5.2 小波變換
2.3.5.3 屬性子集選擇
2.3.6 資料變換和離散化
2.3.6.1 資料正規化/標準化的主要方法
2.3.6.2 資料離散化的主要方法
2.4 資料欄位的衍生
2.4.1 資料欄位的拆分
2.4.2 統計特徵的構造
2.4.3 資料區的變換
2.5 SPSS軟體中的資料前處理案例
2.5.1 缺失值的實際處理
2.5.2 雜訊資料的實際處理
2.5.3 主成分分析的實際處理
參考文獻
第3章 集群分析
3.1 概述
3.2 聚類演算法的評估
3.3 基於劃分的聚類:K-means
3.3.1 基於劃分的聚類演算法概述
3.3.2 K-means聚類演算法原理
3.3.3 K-means演算法的優勢與劣勢
3.3.4 K-means演算法優化
3.3.5 SPSS軟體中的K-means演算法應用案例
3.4 基於層次化的聚類:BIRCH
3.4.1 基於層次化的聚類演算法概述
3.4.2 BIRCH演算法的基本原理
3.4.3 BIRCH演算法的優勢與劣勢
3.5 基於密度的聚類:DBSCAN
3.5.1 基於密度的聚類演算法概述
3.5.2 DBSCAN演算法的基本原理
3.5.3 DBSCAN演算法的優勢與劣勢
3.6 基於網格的聚類:CLIQUE
3.6.1 基於網格的聚類演算法概述
3.6.2 CLIQUE演算法的基本原理
3.6.3 CLIQUE演算法的優勢與劣勢
參考文獻
第4章 分類分析
4.1 分類分析概述
4.2 分類分析的評估
4.3 決策樹分析
4.3.1 決策樹演算法的基本原理
4.3.2 CHAID決策樹
4.3.2.1 CHAID演算法簡介
4.3.2.2 CHAID演算法原理
4.3.2.3 CHIAD演算法實例分析
4.3.3 ID3決策樹
4.3.3.1 ID3演算法原理
4.3.3.2 熵和資訊增益
4.3.3.3 ID3演算法偽程式碼
4.3.3.4 ID3演算法的特點
4.3.3.5 ID3演算法的案例分析
4.3.4 C4.5決策樹
4.3.4.1 C4.5演算法原理
4.3.4.2 C4.5演算法的偽程式碼
4.3.4.3 C4.5演算法的特點
4.3.4.4 C4.5演算法案例分析
4.3.5 CART決策樹
4.3.5.1 CART決策樹原理介紹
4.3.5.2 Gini係數
4.3.5.3 使用基尼係數進行決策樹分析案例
4.3.6 決策樹中的剪枝問題
4.3.7 決策樹在SPSS中的應用
4.4 最近鄰分析(KNN)
4.4.1 KNN演算法的基本原理
4.4.2 KNN演算法流程
4.4.3 KNN演算法的若干問題
4.4.4 KNN分類器的特徵
4.4.5 KNN演算法在SPSS中的應用
4.4.5.1 用KNN演算法預測用戶是否流失
4.4.5.2 用KNN演算法填充缺失值
4.5 貝氏分析
4.5.1 貝氏定理
4.5.2 單純貝氏分類
4.5.2.1 條件獨立性
4.5.2.2 單純貝氏分類的工作過程
4.5.2.3 單純貝氏分類的特徵
4.5.2.4 單純貝氏分類實例分析
4.5.3 貝氏網路
4.5.3.1 貝氏網路原理
4.5.3.2 模型表示
4.5.3.3 貝氏網路實例分析
4.5.3.4 BBN的特點
4.6 神經網路
4.6.1 感知器
4.6.2 多重人工神經網路
4.6.2.1 多重人工神經網路介紹
4.6.2.2 多層前饋神經網路
4.6.2.3 定義網路拓撲
askw
內容簡介
前言
第1章 大數據、資料探勘與智慧營運綜述
1.1 資料探勘的發展史
1.1.1 資料探勘的定義與起源
1.1.2 資料探勘的早期發展
1.1.3 資料探勘的演算法前傳
1.1.4 資料探勘的第一個里程碑
1.1.5 最近十年的發展與應用
1.2 資料探勘的主要流程與金字塔模型
1.2.1 資料探勘的任務
1.2.2 資料探勘的基本步驟
1.2.3 資料探勘的架構——雲端運算
1.2.4 「金字塔」模型
1.3 資料探勘對智慧營運的意義
1.3.1 「互聯網+」時代的來臨及其對營運商的衝擊和挑戰
1.3.2 大數據時代的來臨及其對營運商的挑戰和機遇
1.3.3 電信業者營運發展面臨的主要瓶頸
1.3.4 電信業者發展的「三條曲線」
1.3.5 智慧營運與大數據變現
1.3.6 資料探勘對於提升智慧營運效率的意義
1.4 大數據時代已經來臨
1.4.1 大數據的定義
1.4.2 大數據的「4V」特徵
1.4.3 結構化資料與非結構化資料
1.5 非結構化資料探勘的研究進展
1.5.1 文字探勘
1.5.2 模式識別
1.5.2.1 模式識別概述
1.5.2.2 模式識別方法
1.5.2.3 模式識別的應用
1.5.3 語音辨識
1.5.3.1 語音辨識技術的發展
1.5.3.2 語音辨識基礎
1.5.3.3 語音辨識基本原理
1.5.3.4 聲學建模方法
1.5.3.5 語音辨識的應用
1.5.4 影片識別
1.5.4.1 影片分析方法概述
1.5.4.2 基於深度學習的影片技術
1.5.4.3 結語
1.5.5 其他非結構化資料探勘
1.5.5.1 Web資料探勘
1.5.5.2 空間群資料探勘
1.6 資料探勘與機器學習、深度學習、人工智慧及雲端運算
1.6.1 機器學習
1.6.2 深度學習
1.6.3 人工智慧
1.6.4 雲端運算
1.7 現有資料探勘的主要分析軟體與系統
1.7.1 Hadoop
1.7.2 Storm
1.7.3 Spark
1.7.4 SPASS(SPSS)
1.7.5 SAS
參考文獻
第2章 數據統計與資料前處理
2.1 資料屬性類型
2.1.1 資料屬性定義
2.1.2 離散屬性
2.1.3 連續屬性
2.2 數據的統計特性
2.2.1 中心趨勢度量
2.2.2 數據散布度量
2.2.2.1 等分位數
2.2.2.2 均值
2.2.2.3 變異數與標準差
2.2.2.4 高階統計特性
2.2.3 數據相關性
2.2.3.1 卡方相關性
2.2.3.2 雙變數相關
2.2.3.3 偏相關
2.3 資料前處理
2.3.1 資料前處理概述
2.3.2 資料前處理的主要任務
2.3.3 資料淨化
2.3.3.1 缺失值
2.3.3.2 雜訊資料
2.3.4 資料整合
2.3.4.1 資料冗餘
2.3.4.2 重複元組
2.3.5 資料縮減
2.3.5.1 主成分分析
2.3.5.2 小波變換
2.3.5.3 屬性子集選擇
2.3.6 資料變換和離散化
2.3.6.1 資料正規化/標準化的主要方法
2.3.6.2 資料離散化的主要方法
2.4 資料欄位的衍生
2.4.1 資料欄位的拆分
2.4.2 統計特徵的構造
2.4.3 資料區的變換
2.5 SPSS軟體中的資料前處理案例
2.5.1 缺失值的實際處理
2.5.2 雜訊資料的實際處理
2.5.3 主成分分析的實際處理
參考文獻
第3章 集群分析
3.1 概述
3.2 聚類演算法的評估
3.3 基於劃分的聚類:K-means
3.3.1 基於劃分的聚類演算法概述
3.3.2 K-means聚類演算法原理
3.3.3 K-means演算法的優勢與劣勢
3.3.4 K-means演算法優化
3.3.5 SPSS軟體中的K-means演算法應用案例
3.4 基於層次化的聚類:BIRCH
3.4.1 基於層次化的聚類演算法概述
3.4.2 BIRCH演算法的基本原理
3.4.3 BIRCH演算法的優勢與劣勢
3.5 基於密度的聚類:DBSCAN
3.5.1 基於密度的聚類演算法概述
3.5.2 DBSCAN演算法的基本原理
3.5.3 DBSCAN演算法的優勢與劣勢
3.6 基於網格的聚類:CLIQUE
3.6.1 基於網格的聚類演算法概述
3.6.2 CLIQUE演算法的基本原理
3.6.3 CLIQUE演算法的優勢與劣勢
參考文獻
第4章 分類分析
4.1 分類分析概述
4.2 分類分析的評估
4.3 決策樹分析
4.3.1 決策樹演算法的基本原理
4.3.2 CHAID決策樹
4.3.2.1 CHAID演算法簡介
4.3.2.2 CHAID演算法原理
4.3.2.3 CHIAD演算法實例分析
4.3.3 ID3決策樹
4.3.3.1 ID3演算法原理
4.3.3.2 熵和資訊增益
4.3.3.3 ID3演算法偽程式碼
4.3.3.4 ID3演算法的特點
4.3.3.5 ID3演算法的案例分析
4.3.4 C4.5決策樹
4.3.4.1 C4.5演算法原理
4.3.4.2 C4.5演算法的偽程式碼
4.3.4.3 C4.5演算法的特點
4.3.4.4 C4.5演算法案例分析
4.3.5 CART決策樹
4.3.5.1 CART決策樹原理介紹
4.3.5.2 Gini係數
4.3.5.3 使用基尼係數進行決策樹分析案例
4.3.6 決策樹中的剪枝問題
4.3.7 決策樹在SPSS中的應用
4.4 最近鄰分析(KNN)
4.4.1 KNN演算法的基本原理
4.4.2 KNN演算法流程
4.4.3 KNN演算法的若干問題
4.4.4 KNN分類器的特徵
4.4.5 KNN演算法在SPSS中的應用
4.4.5.1 用KNN演算法預測用戶是否流失
4.4.5.2 用KNN演算法填充缺失值
4.5 貝氏分析
4.5.1 貝氏定理
4.5.2 單純貝氏分類
4.5.2.1 條件獨立性
4.5.2.2 單純貝氏分類的工作過程
4.5.2.3 單純貝氏分類的特徵
4.5.2.4 單純貝氏分類實例分析
4.5.3 貝氏網路
4.5.3.1 貝氏網路原理
4.5.3.2 模型表示
4.5.3.3 貝氏網路實例分析
4.5.3.4 BBN的特點
4.6 神經網路
4.6.1 感知器
4.6.2 多重人工神經網路
4.6.2.1 多重人工神經網路介紹
4.6.2.2 多層前饋神經網路
4.6.2.3 定義網路拓撲
梁棟
電機博士,碩士研究生導師,曾主持和參加多項自然科學基金項目,主要研究方向為大數據、資料探勘與智慧營運,所帶領的研究團隊在包括IEEE Internet of things Journal、IEEE International Conference on Data Mining等知名學術期刊和會議上發表學術論文二十多篇,並且長期與電信業進行科技產業化合作。
張兆靜
任職於知名電信業,大數據分析專家,曾在IEEE等著名會議上發表論文十篇,主持多項大數據與智慧營運案,曾獲公司頒發的最佳培訓實踐獎。
彭木根
電機博士,畢業後留校任教,博士生導師,擔任IET、IJCS、IJDSN、IJAP等國際SCI學術期刊論文的專刊編委、助理編委或特邀主編。曾擔任Wicon 2010、PlanNet等國際學術會議技術專題合作主席。長期擔任ICC、Globecom、WCNC、PIMRC等多個國際學術會議的技術委員。一直從事TDD無線網路資訊理論、協同網路編碼、無線網路自組織技術、TDD高效能無線傳輸與組網技術、TD-SCDMA及增強演進系統的傳輸,與增強組網技術的研發工作。