利用Python进行数据分析——pandas入门

内容预览:
  • 利用Python进行数据分析——pandas入门 基于NumPy建立的 from pandas impo...~
  • 对应index的值找不到就用NAN表示,且在算数运算中会自动补齐数据,不存...~
  • 创建DataFrame #传进去一个等长列表组成的字典IIn : 0 1 20 -0.018286 0...~

利用Python进行数据分析——pandas入门

  • 基于NumPy建立的
  • from pandas importSeries,DataFrame,import pandas as pd

一、两种数据结构

1.Series

类似于Python的字典,有索引和值

创建Series

#不指定索引,默认创建0-N
In [54]: obj = Series([1,2,3,4,5])

In [55]: obj
Out[55]:
0 1
1 2
2 3
3 4
4 5
dtype: int64
#指定索引
In [56]: obj1 = Series([1,2,3,4,5],index=['a','b','c','d','e'])

In [57]: obj1
Out[57]:
a 1
b 2
c 3
d 4
e 5
dtype: int64

#将Python中的字典转换为Series
In [63]: dic = {'a':1,'b':2,'c':3}

In [64]: obj2 = Series(dic)

In [65]: obj2
Out[65]:
a 1
b 2
c 3
dtype: int64

对Series进行数组运算(根据布尔型数组进行过滤、标量乘法、应用函数等)依旧会保留索引和值之间的对应关系。

对应index的值找不到就用NAN表示,且在算数运算中会自动补齐数据,不存在用NAN

2.DataFrame

DataFrame是一个表格型的数据结构,既有行索引也有列索引。

创建DataFrame

#传进去一个等长列表组成的字典
IIn [75]: data = {'name':['nadech','bob'],'age':[23,25],'sex':['male','female']}

In [76]: DataFrame(data)
Out[76]:
age name sex
0 23 nadech male
1 25 bob female

#指定列的顺序
In [77]: DataFrame(data,columns=['sex','name','age'])
Out[77]:
sex name age
0 male nadech 23
1 female bob 25
# 嵌套字典创建DataFrame

DataFrame的操作

#获取某一列
In [82]: frame['age'] /frame.age
Out[82]:
0 23
1 25
Name: age, dtype: int64

#赋值
In [86]: frame2
Out[86]:
age sex name grade
0 23 male nadech NaN
1 25 female bob NaN

In [87]: frame2['grade']=12

In [88]: frame2
Out[88]:
age sex name grade
0 23 male nadech 12
1 25 female bob 12

Index对象

In [14]: index = frame.index

In [15]: index
Out[15]: RangeIndex(start=0, stop=3, step=1)
# index 对象不可修改
In [16]: index[0]=3
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)

二、基本功能

1.Series和DataFrame的重新索引

#Series
In [25]: obj = Series(['nadech','aguilera','irenieee'],index=['a','b','c'])

In [26]: obj
Out[26]:
a nadech
b aguilera
c irenieee
dtype: object

In [27]: obj.reindex(['c','b','a'])
Out[27]:
c irenieee
b aguilera
a nadech
dtype: object


#####DataFrame
In [21]: frame
Out[21]:
one two three
a 0 1 2
b 3 4 5
c 6 7 8
#直接传进去的列表是对行的重新索引
In [22]: frame.reindex(['c','b','a'])
Out[22]:
one two three
c 6 7 8
b 3 4 5
a 0 1 2
#对列的重新索引需要参数columns
In [24]: frame.reindex(columns=['three','two','one'])
Out[24]:
three two one
a 2 1 0
b 5 4 3
c 8 7 6

2.删除指定轴上的项

#Series
In [28]: obj.drop('c')
Out[28]:
a nadech
b aguilera
dtype: object

In [30]: obj.drop(['b','a'])
Out[30]:
c irenieee
dtype: object

#####DataFrame

frame删除行索引直接删除,列索引删除需要指定axis=1

In [39]: frame
Out[39]:
one two three
a 0 1 2
b 3 4 5
c 6 7 8

In [40]: frame.drop('a')
Out[40]:
one two three
b 3 4 5
c 6 7 8

In [41]: frame.drop('one',axis=1)
Out[41]:
two three
a 1 2
b 4 5
c 7 8

3.索引、选取和过滤

Series索引

In [8]: obj

Out[8]:

a 0

b 1

c 2

d 3

dtype: int32

In [9]: obj['a']
Out[9]: 0

In [10]: obj[0]
Out[10]: 0

#注意利用标签切片和index 0-N是不同的
In [11]: obj[2:3]
Out[11]:
c 2
dtype: int32

In [12]: obj['c':'d']
Out[12]:
c 2
d 3
dtype: int32

DataFrame索引

#索取frame的列
In [24]: frame
Out[24]:
one two three four
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15

In [25]: frame['one']
Out[25]:
a 0
b 4
c 8
d 12
Name: one, dtype: int32

In [26]: frame[['one','two']]
Out[26]:
one two
a 0 1
b 4 5
c 8 9
d 12 13
#索取frame的行,标签索引
In [33]: frame.ix['a']
Out[33]:
one 0
two 1
three 2
four 3
Name: a, dtype: int32

In [31]: frame.ix[['a','b']]
Out[31]:
one two three four
a 0 1 2 3
b 4 5 6 7

#同时选取行和列
In [35]: frame.ix[['a','b'],['one','two']]
Out[35]:
one two
a 0 1
b 4 5

4.算数运算和数据对齐

#当存在不同的索引对计算时,会产生并集,和NAN,通过fill_value 可以传入参数

  • add()
  • sub()
  • div()
  • mul()

5.Series和DataFrame的运算

#series的索引会匹配到dataframe的列,然后向下广播
In [46]: frame
Out[46]:
one two three four
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15

In [47]: obj = frame.ix['a']

In [48]: obj
Out[48]:
one 0
two 1
three 2
four 3
Name: a, dtype: int32

In [49]: frame - obj
Out[49]:
one two three four
a 0 0 0 0
b 4 4 4 4
c 8 8 8 8
d 12 12 12 12

#可以指定series匹配到dataframe的列(即index)然后向右广播,即沿着列广播
In [51]: frame
Out[51]:
one two three four
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15

In [52]: obj2 = Series(np.arange(4),index=['a','b','c','d'])

In [53]: obj2
Out[53]:
a 0
b 1
c 2
d 3
dtype: int32

In [54]: frame.sub(obj2,axis=0) #dataframe的行用0、列用1
Out[54]:
one two three four
a 0 1 2 3
b 3 4 5 6
c 6 7 8 9
d 9 10 11 12

5.排序

#按轴上的索引排序

   #Series
In [6]: obj
Out[6]:
a 0
c 1
b 2
d 3
In [8]: obj.sort_index()
Out[8]:
a 0
b 2
c 1
d 3
dtype: int32
#DataFrame
frame.sort_index()
frame.sort_index(axis=1)

6.obj.index.is_unique可以用来判断index是否唯一

三、汇总和计算描述统计

描述和汇总统计

  • count 非Na值的数量
  • describe 针对Series或各DataFrame列计算汇总统计
  • min/max 最下最大值 都是每列中的最值
  • aigmin/argmax 最小、大值的索引位置
  • idxmin/idxmax 能获取到最小值和最大值的索引值
  • quantile 计算样本的分位数
  • sum() 计算每列的和
  • mean()计算每列的均值
  • median 计算每列的算数中位数
  • mad() 根据平均值计算平均绝对离差
  • var 计算每列的方差
  • std 计算每列的标准差
  • skew 样本值的偏度(三阶矩)
  • kurt 样本值的峰度(四阶矩)
  • cumsum 样本值的累计和
  • cummin/cummax 累计最大值和累计最小值
  • cumprod 累计积
  • diff 计算一阶差分
  • pct_change 计算百分数变化

Series的唯一值、值的count数、

  • obj.unique() 返回唯一值数组
  • obj.value_counts() 计算各个值出现的次数
  • pd.value_counts(obj.values) 这个也可以用来计算count数,是顶层的方法
  • isin([]) 判断Series各个值是否包含于传入的值序列中

四、处理缺失数据

NAN处理方法

  • dropna 删除空值
  • fillna 给空值赋值
  • isnull 判断是否有空值存在
  • notnull

DataFrame.drop()复杂情况

In [49]: fram1
Out[49]:
0 1 2
0 1.0 6.5 3.0
1 1.0 NaN NaN
2 NaN NaN NaN
3 NaN 6.5 3.0

In [50]: cleaned = fram1.dropna()

In [51]: cleaned
Out[51]:
0 1 2
0 1.0 6.5 3.0

In [52]: fram1.dropna(how='all')
Out[52]:
0 1 2
0 1.0 6.5 3.0
1 1.0 NaN NaN
3 NaN 6.5 3.0

#如上形式丢弃列的空值,传入axis=1

填充缺失值

obj.fillna()暴力填充

fram.fillna() 对dataframe可以指定列填充对应的缺失值

#传入method,可以给每列填充一个上一个非空的数字,并且可以通过limit限制每列填充的个数

implace =True 会产生新的对象

In [57]: df
Out[57]:
0 1 2
0 -0.018286 0.246567 1.115108
1 0.722105 0.984472 -1.709935
2 1.477394 NaN 1.362234
3 0.077912 NaN 0.414627
4 0.530048 NaN NaN
5 0.294424 NaN NaN

In [58]: df.fillna(method='ffill')
Out[58]:
0 1 2
0 -0.018286 0.246567 1.115108
1 0.722105 0.984472 -1.709935
2 1.477394 0.984472 1.362234
3 0.077912 0.984472 0.414627
4 0.530048 0.984472 0.414627
5 0.294424 0.984472 0.414627

In [59]: df.fillna(method='ffill',limit=2)
Out[59]:
0 1 2
0 -0.018286 0.246567 1.115108
1 0.722105 0.984472 -1.709935
2 1.477394 0.984472 1.362234
3 0.077912 0.984472 0.414627
4 0.530048 NaN 0.414627
5 0.294424 NaN 0.414627

五、层次化索引

DataFrame和层次化索引可以互相转换
frame.stack() /unstack()

以上就是:利用Python进行数据分析——pandas入门 的全部内容。

本站部分内容来源于互联网和用户投稿,如有侵权请联系我们删除,谢谢。
Email:[email protected]


编程语言
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论