Pandas DataFrame

   Pandas DataFrame基本操作

DataFrame是二维数据结构,即,数据以表格形式在行和列中对齐。

DataFrame的功能

潜在的列是不同类型的 大小可变 标记的轴(行和列) 可以对行和列执行算术运算

结构体

pandas.Series

Series结构如下:

让我们假设我们正在使用学生的数据创建一个数据框架。

我们可以将其视为SQL表或电子表格数据表示形式。

pandas.DataFrame

可以使用以下构造函数创建pandas DataFrame-

 pandas.DataFrame( data, index, columns, dtype, copy)

参数说明:

data:数据采用各种形式,例如ndarray,系列,映射,列表,dict,常量以及另一个DataFrame。 index:对于行标签,如果没有传递索引,则用于结果帧的索引是Optional Default np.arange(n)。 columns:对于列标签,可选的默认语法为-np.arange(n)。仅当未传递索引时才如此。 dtype:每列的数据类型。 copy:如果默认值为False,则此命令(或任何它的命令)用于复制数据。

创建DataFrame

可以使用各种输入来创建pandas DataFrame-

Lists dict Series Numpy ndarrays 另一个DataFrame

在本章的后续部分中,我们将看到如何使用这些输入来创建DataFrame。

创建空DataFrame

可以创建基本DataFrame是Empty Dataframe。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 df = pd.DataFrame()
 print(df)

运行结果:

 Empty DataFrame
 Columns: []
 Index: []

从Lists创建DataFrame

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 data = [1,2,3,4,5]
 df = pd.DataFrame(data)
 print(df)

运行结果:

 0
 0 1
 1 2
 2 3
 3 4
 4 5
 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 data = [['Alex',10],['Bob',12],['Clarke',13]]
 df = pd.DataFrame(data,columns=['Name','Age'])
 print(df)

运行结果:

       Name     Age
 0     Alex     10
 1     Bob      12
 2     Clarke   13
 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 data = [['Alex',10],['Bob',12],['Clarke',13]]
 df = pd.DataFrame(data,columns=['Name','Age'],dtype=float)
 print df

运行结果:

 
      Name   Age
 0    Alex   10.0
 1    Bob    12.0
 2    Clarke 13.0
注意:dtype参数将Age列的类型更改为浮点。

从ndarrays / List的Dict创建一个DataFrame

所有ndarray的长度必须相同。如果传递了index,则索引的长度应等于数组的长度。
如果没有传递索引,则默认情况下,索引将是range(n),其中n是数组长度。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 data = {'Name':['Tom', 'Jack', 'Steve', 'Ricky'],'Age':[28,34,29,42]}
 df = pd.DataFrame(data)
 print(df)

运行结果:

 
    Age   Name
 0   28   Tom
 1   34   Jack
 2   29   Steve
 3   42   Ricky
注意:遵守值0、1、2、3。它们是使用功能范围(n)分配给每个对象的默认索引。

我们使用数组创建索引的DataFrame。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 data = {'Name':['Tom', 'Jack', 'Steve', 'Ricky'],'Age':[28,34,29,42]}
 df = pd.DataFrame(data, index=['rank1','rank2','rank3','rank4'])
 print(df)

运行结果:

 
       Age Name
 rank1 28 Tom
 rank2 34 Jack
 rank3 29 Steve
 rank4 42 Ricky
注意:index参数为每行分配一个索引。

从字典列表创建DataFrame

字典列表可以作为输入数据传递以创建DataFrame。默认情况下,字典键被用作列名。
下面的示例演示如何通过传递字典列表来创建DataFrame。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]
 df = pd.DataFrame(data)
 print(df)

运行结果:

     a b c
 0 1 2 NaN
 1 5 10 20.0
注意:NaN(非数字)会附加在缺失区域中。

下面的示例演示如何通过传递字典列表和行索引来创建DataFrame。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]
 df = pd.DataFrame(data, index=['first', 'second'])
 print(df)

运行结果:

          a b c
 first 1 2 NaN
 second 5 10 20.0

下面的示例演示如何创建包含字典,行索引和列索引的列表的DataFrame。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]
 # 有两个列索引,值与字典键相同
 df1 = pd.DataFrame(data, index=['first', 'second'], columns=['a', 'b'])
 # 有两个列索引
 df2 = pd.DataFrame(data, index=['first', 'second'], columns=['a', 'b1'])
 print(df1)
 print(df2)

运行结果:

 #df1 output
       a b
 first 1 2
 second 5 10
 #df2 output
       a b1
 first 1 NaN
 second 5 NaN
注意:df2 DataFrame是使用除字典键以外的列索引创建的;因此,将NaN附加到位。而df1是使用与字典键相同的列索引创建的,因此添加了NaN。

从Dict Series创建DataFrame

可以传递系列字典以形成DataFrame。结果索引是所有通过的系列索引的并集。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),
    'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}
 df = pd.DataFrame(d)
 print(df)

运行结果:

   one two
 a 1.0 1
 b 2.0 2
 c 3.0 3
 d NaN 4

对于第一个系列,没有传递标签'd',但是结果是,对于d标签,NaN附加了NaN。
现在让我们通过示例了解列的选择,添加和删除。

列查询

我们将从DataFrame中选择一列来了解这一点。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 
 import pandas as pd
 d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),
    'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}
 df = pd.DataFrame(d)
 print(df ['one'])

运行结果:

   a 1.0
 b 2.0
 c 3.0
 d NaN
 Name: one, dtype: float64

列添加

我们将通过在现有数据框中添加新列来了解这一点。

# Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),
    'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}
 df = pd.DataFrame(d)
 #通过传递新序列,向具有列标签的现有 DataFrame 对象添加新列
 print ("通过作为 Series 传递添加新列:")
 df['three']=pd.Series([10,20,30],index=['a','b','c'])
 print df
 print ("使用 DataFrame 中的现有列添加新列:")
 df['four']=df['one']+df['three']
 print(df)

运行结果:

 通过作为 Series 传递添加新列:
 one two three
 a 1.0 1 10.0
 b 2.0 2 20.0
 c 3.0 3 30.0
 d NaN 4 NaN
 使用 DataFrame 中的现有列添加新列:
 one two three four
 a 1.0 1 10.0 11.0
 b 2.0 2 20.0 22.0
 c 3.0 3 30.0 33.0
 d NaN 4 NaN NaN

列删除

可以删除或弹出列;让我们以一个实例来了解如何。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']), 
    'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd']), 
    'three' : pd.Series([10,20,30], index=['a','b','c'])}
 df = pd.DataFrame(d)
 print ("Our dataframe is:")
 print(df)
 # using del function
 print ("Deleting the first column using del function:")
 del df['one']
 print(df)
 # using pop function
 print ("Deleting another column using POP function:")
 df.pop('two')
 print(df)

运行结果:

 Our dataframe is:
 one three two
 a 1.0 10.0 1
 b 2.0 20.0 2
 c 3.0 30.0 3
 d NaN NaN 4
 Deleting the first column using del function:
   three two
 a 10.0 1
 b 20.0 2
 c 30.0 3
 d NaN 4
 Deleting another column using POP function:
   three
 a 10.0
 b 20.0
 c 30.0
 d NaN

行查询、添加和删除

现在,我们将通过示例了解行的选择,添加和删除。让我们从选择的概念开始。

按标签查询

可以通过将行标签传递给loc函数来选择行。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']), 
    'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}
 df = pd.DataFrame(d)
 print(df.loc['b'])

运行结果:

 
   one 2.0
 two 2.0
 Name: b, dtype: float64

结果是一系列带有标签作为DataFrame列名称的系列。并且,系列的名称是用来检索它的标签。

通过整数位置查询

结可以通过将整数位置传递给iloc函数来选择行。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),
    'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}
 df = pd.DataFrame(d)
 print(df.iloc[2])

运行结果:

 
   one 3.0
 two 3.0
 Name: c, dtype: float64

切片行

可以使用':'运算符选择多行。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']), 
    'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}
 df = pd.DataFrame(d)
 print(df[2:4])

运行结果:

 
     one two
 c 3.0 3
 d NaN 4

添加行

使用append函数将新行添加到DataFrame中。此函数将在末尾追加行。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 df = pd.DataFrame([[1, 2], [3, 4]], columns = ['a','b'])
 df2 = pd.DataFrame([[5, 6], [7, 8]], columns = ['a','b'])
 df = df.append(df2)
 print(df)

运行结果:

 
     a b
 0 1 2
 1 3 4
 0 5 6
 1 7 8

删除行

使用索引标签从DataFrame中删除或删除行。如果标签重复,则将删除多行。
如果您观察到,在上面的示例中,标签是重复的。让我们删除一个标签,将看到将删除多少行。

 # Filename : pandas.py
 # author by : www.cainiaojc.com 
 # 导入pandas依赖包并起别名
 import pandas as pd
 df = pd.DataFrame([[1, 2], [3, 4]], columns = ['a','b'])
 df2 = pd.DataFrame([[5, 6], [7, 8]], columns = ['a','b'])
 df = df.append(df2)
 # Drop rows with label 0
 df = df.drop(0)
 print(df)

运行结果:

 
     a b
 1 3 4
 1 7 8

在上面的示例中,删除了两行,因为这两行包含相同的标签0。