|
|
|
|
移动端

Kaggle放大招:简单几步实现海量数据分析及可视化

近期,Kaggle发布了新的数据分析及可视化工具——Kaggle Kerneler bot,用户只需上传数据集,便可用Python为用户自动获取相关的深度数据分析结果。本文将带领读者体验一下这款便捷而又高效的工具。

作者:三石编译来源:新智元|2018-08-06 11:26

技术沙龙 | 邀您于8月25日与国美/AWS/转转三位专家共同探讨小程序电商实战

近期,Kaggle发布了新的数据分析及可视化工具——Kaggle Kerneler bot,用户只需上传数据集,便可用Python为用户自动获取相关的深度数据分析结果。本文将带领读者体验一下这款便捷而又高效的工具。

Kaggle放大招:简单几步实现海量数据分析及可视化

Kaggle Kerneler bot是一个自动生成的kernel,其中包含了演示如何读取数据以及分析工作的starter代码。用户可以进入任意一个已经发布的项目,点击顶部的“Fork Notebook”来编辑自己的副本。接下来,小编将以最热门的两个项目作为例子,带领读者了解该如何使用这款便捷的工具。

好的开始是成功的一半!

要开始这个探索性分析(exploratory analysis),首先需要导入一些库并定义使用matplotlib绘制数据的函数。但要注意的是,并不是所有的数据分析结果图像都能够呈现出来,这很大程度上取决于数据本身(Kaggle Kerneler bot只是一个工具,不可能做到Jeff Dean或者Kaggle比赛选手们那么完美的结果)。

In [1]:

  1. from mpl_toolkits.mplot3d import Axes3D 
  2. from sklearn.decomposition import PCA 
  3. from sklearn.preprocessing import StandardScaler 
  4. import matplotlib.pyplot as plt  plotting 
  5. import numpy as np  linear algebra 
  6. import os  accessing directory structure 
  7. import pandas as pd  data processing, CSV file I/O (e.g. pd.read_csv) 

在本例中,一共输入了12个数据集。

In [2]:

  1. print(os.listdir(&39;../input&39;)) 
  2. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/007_nagato_yuki&39;)) 
  3. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/046_alice_margatroid&39;)) 
  4. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/065_sanzenin_nagi&39;)) 
  5. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/080_koizumi_itsuki&39;)) 
  6. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/096_golden_darkness&39;)) 
  7. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/116_pastel_ink&39;)) 
  8. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/140_seto_san&39;)) 
  9. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/144_kotegawa_yui&39;)) 
  10. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/164_shindou_chihiro&39;)) 
  11. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/165_rollo_lamperouge&39;)) 
  12. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/199_kusugawa_sasara&39;)) 
  13. print(os.listdir(&39;../input/moeimouto-faces/moeimouto-faces/997_ana_coppola&39;)) 

接下里,用户在编辑界面中会看到四个已经编好的代码块,它们定义了绘制数据的函数。而在发布后的页面,这些代码块会被隐藏,如下图所示,只需单击已发布界面中的“code”按钮就可以显示隐藏的代码。

准备就绪!读取数据!

首先,让我们先看一下输入中的第一个数据集:

In [7]:

  1. nRowsRead = 100  specify &39;None&39; if want to read whole file 
  2.  color.csv may have more rows in reality, but we are only loading/previewing the first 100 rows 
  3. df1 = pd.read_csv(&39;../input/moeimouto-faces/moeimouto-faces/080_koizumi_itsuki/color.csv&39;, delimiter=&39;,&39;, nrows = nRowsRead) 
  4. df1.dataframeName = &39;color.csv&39; 
  5. nRow, nCol = df1.shape 
  6. print(f&39;There are {nRow} rows and {nCol} columns&39;) 

那么数据长什么样子呢?

In [8]:

  1. df1.head(5) 

Out [8]:

数据可视化:仅需简单几行!

样本的柱状图:

In [9]:

  1. plotHistogram(df1, 10, 5) 

二维和三维的PCA图:

In [10]:

  1. plotPCA(df1, 2)  2D PCA 
  2. plotPCA(df1, 3)  3D PCA 

同理,更换数据集文件的路径,也可以得到其它数据对应的结果。

当然,除了上述几种可视化的结果外,根据输入数据以及需求的不同,也可以得到其它数据分析可视化结果,例如:

相关矩阵:

In [11]:

  1. plotCorrelationMatrix(df1, 8) 

散射和密度图:

In [12]:

  1. plotScatterMatrix(df1, 20, 10) 

针对数据分析、数据可视化工作,Kaggle kerneler bot应当说是相当的便捷和高效了。那么你是否也想尝试一下呢?

【编辑推荐】

  1. 数据分析师还吃香吗?用数据告诉你
  2. 对比解读五种主流大数据架构的数据分析能力
  3. 干货 :数据分析师的完整流程与知识结构体系
  4. 分析了20万场吃鸡数据后,我有这些发现!
  5. 《狄仁杰之四大天王》影评分析(爬虫+词云+热力图)
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

计算机网络原理与实践标准教程

本书深入浅出地阐述了计算机网络技术的基本原理,介绍了当前常用的先进网络技术以及网络的实际应用知识。全书主要内容包括计算机网络概述、...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊