a亚洲精品_精品国产91乱码一区二区三区_亚洲精品在线免费观看视频_欧美日韩亚洲国产综合_久久久久久久久久久成人_在线区

首頁 > 學院 > 操作系統 > 正文

Python大數據處理模塊Pandas

2024-06-28 16:03:15
字體:
來源:轉載
供稿:網友

Pandas使用一個二維的數據結構DataFrame來表示表格式的數據,相比較于Numpy,Pandas可以存儲混合的數據結構,同時使用NaN來表示缺失的數據,而不用像Numpy一樣要手工處理缺失的數據,并且Pandas使用軸標簽來表示行和列

讀取數據

Pandas使用函數read_csv()來讀取csv文件

復制代碼

import pandasfood_info = ('food_info.csv')PRint(type(food_info))
# 輸出:<class 'pandas.core.frame.DataFrame'> 可見讀取后變成一個DataFrame變量

復制代碼

 

該文件的內容如下:

圖片3

 

使用函數head( m )來讀取前m條數據,如果沒有參數m,默認讀取前五條數據

first_rows = food_info.head()first_rows = food_info.head(3)

由于DataFrame包含了很多的行和列,

Pandas使用省略號(...)來代替顯示全部的行和列,可以使用colums屬性來顯示全部的列名

復制代碼

print(food_info.columns)

# 輸出:輸出全部的列名,而不是用省略號代替

Index(['NDB_No', 'Shrt_Desc', 'Water_(g)', 'Energ_Kcal', 'Protein_(g)', 'Lipid_Tot_(g)', 'Ash_(g)', 'Carbohydrt_(g)', 'Fiber_TD_(g)', 'Sugar_Tot_(g)', 'Calcium_(mg)', 'Iron_(mg)', 'Magnesium_(mg)', 'Phosphorus_(mg)', 'Potassium_(mg)', 'Sodium_(mg)', 'Zinc_(mg)', 'Copper_(mg)', 'Manganese_(mg)', 'Selenium_(mcg)', 'Vit_C_(mg)', 'Thiamin_(mg)', 'Riboflavin_(mg)', 'Niacin_(mg)', 'Vit_B6_(mg)', 'Vit_B12_(mcg)', 'Vit_A_IU', 'Vit_A_RAE', 'Vit_E_(mg)', 'Vit_D_mcg', 'Vit_D_IU', 'Vit_K_(mcg)', 'FA_Sat_(g)', 'FA_Mono_(g)', 'FA_Poly_(g)', 'Cholestrl_(mg)'], dtype='object')

復制代碼

可以使用tolist()函數轉化為list

food_info.columns.tolist()

與Numpy一樣,用shape屬性來顯示數據的格式

dimensions = food_info.shapeprint(dimensions)print(dimensions)?
輸出:(8618,36) ,其中dimensions[0]為8618,dimensions[1]為36

 

與Numpy一樣,用dtype屬性來顯示數據類型,Pandas主要有以下幾種dtype:

object -- 代表了字符串類型

int -- 代表了整型

float -- 代表了浮點數類型

datetime -- 代表了時間類型

bool -- 代表了布爾類型

 

當讀取了一個文件之后,Pandas會通過分析值來推測每一列的數據類型

復制代碼

print()

輸出:每一列對應的數據類型

NDB_No            int64

Shrt_Desc           object

Water_(g)           float64

Energ_Kcal          int64

Protein_(g)          float64

...

索引

讀取了文件后,Pandas會把文件的一行作為列的索引標簽,使用行數字作為行的索引標簽

圖片4

注意,行標簽是從數字0開始的

Pandas使用Series數據結構來表示一行或一列的數據,類似于Numpy使用向量來表示數據。Numpy只能使用數字來索引,而Series可以使用非數字來索引數據,當你選擇返回一行數據的時候,Series并不僅僅返回該行的數據,同時還有每一列的標簽的名字。

譬如要返回文件的第一行數據,Numpy就會返回一個列表(但你可能不知道每一個數字究竟代表了什么)

圖片5

而Pandas則會同時把每一列的標簽名返回(此時就很清楚數據的意思了)

圖片6

 

選擇數據

Pandas使用loc[]方法來選擇行的數據

復制代碼

# 選擇單行數據:food_info.loc[0]   # 選擇行標號為0的數據,即第一行數據food_info.loc[6]   # 選擇行標號為6的數據,即第七行數據# 選擇多行數據:food_info.loc[3:6] # 使用了切片,注意:由于這里使用loc[]函數,所以返回的是行標號為3,4,5,6的數據,與python的切片不同的是這里會返回最后的標號代表的數據,但也可以使用python的切片方法:food_info[3:7]food_info.loc[[2,5,10]] # 返回行標號為2,5,10三行數據練習:返回文件的最后五行方法一:length = food_info.shape[0]last_rows = food_info.loc[length-5:length-1]方法二:num_rows = food_info.shape[0]last_rows = food_info[num_rows-5:num_rows]Pandas直接把列名稱填充就能返回該列的數據ndb_col = food_info["NDB_No"] # 返回列名稱為NDB_No的那一列的數據zinc_copper = food_info[["Zinc_(mg)", "Copper_(mg)"]] # 返回兩列數據

復制代碼

 

簡單運算

現在要按照如下公式計算所有食物的健康程度,并按照降序的方式排列結果:

Score=2×(Protein_(g))?0.75×(Lipid_Tot_(g))

對DataFrame中的某一列數據進行算術運算,其實是對該列中的所有元素進行逐一的運算,譬如:

water_energy = food_info["Water_(g)"] * food_info["Energ_Kcal"]

原理:

圖片7

由于每一列的數據跨度太大,有的數據是從0到100000,而有的數據是從0到10,所以為了盡量減少數據尺度對運算結果的影響,采取最簡單的方法來規范化數據,那就是將每個數值都除以該列的最大值,從而使所有數據都處于0和1之間。其中max()函數用來獲取該列的最大值.

復制代碼

food_info['Normalized_Protein'] = food_info['Protein_(g)'] / food_info['Protein_(g)'].max()food_info['Normalized_Fat'] = food_info['Lipid_Tot_(g)'] / food_info['Lipid_Tot_(g)'].max()food_info['Norm_Nutr_Index'] = food_info["Normalized_Protein"] * 2 - food_info["Normalized_Fat"] * 0.75注意:上面的兩個語句已經在原來的DataFrame中添加了三列,列名分別為Normalized_Protein和Normalized_Fat,Norm_Nutr_Index。只需要使用中括號和賦值符就能添加新列,類似于字典對DataFrame的某一列數據排序,只需要使用函數sort()即可food_info.sort("Sodium_(mg)") # 函數參數為列名,默認是按照升序排序,同時返回一個新的DataFramefood_info.sort("Norm_Nutr_Index", inplace=True, ascending=False ) # 通過inplace參數來控制在原表排序,而不是返回一個新的對象;ascending參數用來控制是否升序排序

import pandas as pd

read_csv()

讀寫csv數據

df = pd.read_csv(path): 讀入csv文件,形成一個數據框(data.frame)

df = pd.read_csv(path, header=None) 不要把第一行作為header

to_csv()

* 注意,默認會將第一行作為header,并且默認會添加index,所以不需要的話需要手動禁用 *

df.to_csv(path, header=False, index=False)

數據框操作

df.head(1) 讀取頭幾條數據

df.tail(1) 讀取后幾條數據

df[‘date’] 獲取數據框的date列

df.head(1)[‘date’] 獲取第一行的date列

df.head(1)[‘date’][0] 獲取第一行的date列的元素值

sum(df[‘ability’]) 計算整個列的和

df[df[‘date’] == ‘20161111’] 獲取符合這個條件的行

df[df[‘date’] == ‘20161111’].index[0] 獲取符合這個條件的行的行索引的值

df.iloc[1] 獲取第二行

df.iloc[1][‘test2’] 獲取第二行的test2值

10 mins to pandas df.index 獲取行的索引

df.index[0] 獲取第一個行索引

df.index[-1] 獲取最后一個行索引,只是獲取索引值

df.columns 獲取列標簽

df[0:2] 獲取第1到第2行,從0開始,不包含末端

df.loc[1] 獲取第二行

df.loc[:,’test1’] 獲取test1的那一列,這個冒號的意思是所有行,逗號表示行與列的區分

df.loc[:,[‘test1’,’test2’]] 獲取test1列和test2列的數據

df.loc[1,[‘test1’,’test2’]] 獲取第二行的test1和test2列的數據

df.at[1,’test1’] 表示取第二行,test1列的數據,和上面的方法類似

df.iloc[0] 獲取第一行

df.iloc[0:2,0:2] 獲取前兩行前兩列的數據

df.iloc[[1,2,4],[0,2]] 獲取第1,2,4行中的0,2列的數據

(df[2] > 1).any() 對于Series應用any()方法來判斷是否有符合條件的

?

一、            創建對象

可以通過 Data Structure Intro Setion 來查看有關該節內容的詳細信息。

1、可以通過傳遞一個list對象來創建一個Series,pandas會默認創建整型索引:

2、通過傳遞一個numpy array,時間索引以及列標簽來創建一個DataFrame:

3、通過傳遞一個能夠被轉換成類似序列結構的字典對象來創建一個DataFrame:

4、查看不同列的數據類型:

5、如果你使用的是IPython,使用Tab自動補全功能會自動識別所有的屬性以及自定義的列,下圖中是所有能夠被自動識別的屬性的一個子集:

二、            查看數據

詳情請參閱:Basics Section

 

1、  查看frame中頭部和尾部的行:

2、  顯示索引、列和底層的numpy數據:

3、  describe()函數對于數據的快速統計匯總:

4、  對數據的轉置:

5、  按軸進行排序

6、  按值進行排序

三、            選擇

雖然標準的Python/Numpy的選擇和設置表達式都能夠直接派上用場,但是作為工程使用的代碼,我們推薦使用經過優化的pandas數據訪問方式: .at, .iat, .loc, .iloc 和 .ix詳情請參閱Indexing and Selecing Data 和 MultiIndex / Advanced Indexing。

l  獲取

1、 選擇一個單獨的列,這將會返回一個Series,等同于df.A:

2、 通過[]進行選擇,這將會對行進行切片

l  通過標簽選擇

1、 使用標簽來獲取一個交叉的區域

2、 通過標簽來在多個軸上進行選擇

3、 標簽切片

4、 對于返回的對象進行維度縮減

5、 獲取一個標量

6、 快速訪問一個標量(與上一個方法等價)

l  通過位置選擇

1、 通過傳遞數值進行位置選擇(選擇的是行)

2、 通過數值進行切片,與numpy/python中的情況類似

3、 通過指定一個位置的列表,與numpy/python中的情況類似

4、 對行進行切片

5、 對列進行切片

6、 獲取特定的值

l  布爾索引

1、 使用一個單獨列的值來選擇數據:

2、 使用where操作來選擇數據:

3、 使用isin()方法來過濾:

 

l  設置

1、 設置一個新的列:

2、 通過標簽設置新的值:

3、 通過位置設置新的值:

4、 通過一個numpy數組設置一組新值:

上述操作結果如下:

5、 通過where操作來設置新的值:

四、            缺失值處理

在pandas中,使用np.nan來代替缺失值,這些值將默認不會包含在計算中,詳情請參閱:Missing Data Section。

1、  reindex()方法可以對指定軸上的索引進行改變/增加/刪除操作,這將返回原始數據的一個拷貝:、

2、  去掉包含缺失值的行:

3、  對缺失值進行填充:

4、  對數據進行布爾填充:

五、            相關操作

詳情請參與 Basic Section On Binary Ops

統計(相關操作通常情況下不包括缺失值)

1、  執行描述性統計:

2、  在其他軸上進行相同的操作:

3、  對于擁有不同維度,需要對齊的對象進行操作。Pandas會自動的沿著指定的維度進行廣播:

Apply

1、  對數據應用函數:

直方圖

具體請參照:Histogramming and Discretization

字符串方法

Series對象在其str屬性中配備了一組字符串處理方法,可以很容易的應用到數組中的每個元素,如下段代碼所示。更多詳情請參考:Vectorized String Methods.

六、            合并

Pandas提供了大量的方法能夠輕松的對Series,DataFrame和Panel對象進行各種符合各種邏輯關系的合并操作。具體請參閱:Merging section

Concat

Join 類似于SQL類型的合并,具體請參閱:Database style joining

Append 將一行連接到一個DataFrame上,具體請參閱Appending:

七、            分組

對于”group by”操作,我們通常是指以下一個或多個操作步驟:

(Splitting)按照一些規則將數據分為不同的組;

(Applying)對于每組數據分別執行一個函數;

(Combining)將結果組合到一個數據結構中;

詳情請參閱:Grouping section

1、  分組并對每個分組執行sum函數:

2、  通過多個列進行分組形成一個層次索引,然后執行函數:

八、            Reshaping

詳情請參閱 Hierarchical Indexing 和 Reshaping。

Stack

數據透視表,詳情請參閱:Pivot Tables.

可以從這個數據中輕松的生成數據透視表:

九、            時間序列

Pandas在對頻率轉換進行重新采樣時擁有簡單、強大且高效的功能(如將按秒采樣的數據轉換為按5分鐘為單位進行采樣的數據)。這種操作在金融領域非常常見。具體參考:Time Series section。

1、  時區表示:

2、  時區轉換:

3、  時間跨度轉換:

4、  時期和時間戳之間的轉換使得可以使用一些方便的算術函數。

十、            Categorical

從0.15版本開始,pandas可以在DataFrame中支持Categorical類型的數據,詳細 介紹參看:categorical introduction和API documentation。

1、  將原始的grade轉換為Categorical數據類型:

2、  將Categorical類型數據重命名為更有意義的名稱:

3、  對類別進行重新排序,增加缺失的類別:

4、  排序是按照Categorical的順序進行的而不是按照字典順序進行:

5、  對Categorical列進行排序時存在空的類別:

十一、           畫圖

具體文檔參看:Plotting docs

對于DataFrame來說,plot是一種將所有列及其標簽進行繪制的簡便方法:

十二、           導入和保存數據

CSV,參考:Writing to a csv file

1、  寫入csv文件:

2、  從csv文件中讀取:

HDF5,參考:HDFStores

1、  寫入HDF5存儲:

2、  從HDF5存儲中讀取:

Excel,參考:MS Excel

1、  寫入excel文件:

2、  從excel文件中讀取:


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 国产视频久久久久 | 尤物久久av一区二区三区亚洲 | 黄色av网站在线免费观看 | 午夜精品久久久久久久久久久久 | 久久精品国产99国产 | 国产成人综合在线 | 三级av在线 | 1区2区视频 | 中文字幕国产视频 | 亚洲免费在线观看 | 日韩精品2区 | 亚洲视频观看 | 国产精品久久久久久久久久99 | 日本视频一区二区三区 | 黄色a视频| 国产一区在线免费观看 | 国产精品久久久久国产a级 91国内外精品自在线播放 | 午夜高清视频 | 欧美精品一区二区免费 | 日韩欧美在线中文字幕 | 麻豆一区一区三区四区 | 久久国产精品99久久久久久老狼 | 欧美一区2区三区4区公司二百 | 国外成人在线视频网站 | 毛片网站在线观看 | 久久精品国产99国产 | 免费成人在线观看 | 污视频网站免费在线观看 | 欧美一级视频 | 黄色av网站在线免费观看 | 黄色三级网站 | av一区在线 | 亚洲视频在线观看一区二区三区 | 亚洲国产精品久久久久 | 国产成人精品一区二区三区 | 国产精品视频看看 | 中文字幕在线观看日本 | 免费黄色小视频 | 精品成人免费一区二区在线播放 | 中文字幕国产 | 免费看国产一级特黄aaaa大片 |