Python中怎么處理大數據

本篇文章為大家展示了Python中怎么處理大數據，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

成都創新互聯是一家集網站建設,豐寧企業網站建設,豐寧品牌網站建設,網站定制,豐寧網站建設報價,網絡營銷,網絡優化,豐寧網站推廣為一體的創新建站企業，幫助傳統企業提升企業形象加強企業競爭力。可充分滿足這一群體相比中小企業更為豐富、高端、多元的互聯網需求。同時我們時刻保持專業、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們為更多的企業打造出實用型網站。

import pandas as pd import collections df = pd.read_excel("D:/Download/chrome/sample-salesv3.xlsx") #print (df.head(10)) df["date"] = pd.to_datetime(df["date"]) # print (df.head(10)) df1 = df.set_index("date").resample("M")['ext price'].sum() # print(df1.head())

統計每個用戶每個月"ext price"這個屬性的sum值，利用Grouper

df2 = df.groupby(["name",pd.Grouper(key = "date",freq="M")])["ext price"] print(df2.head(10))

Agg

agg函數，它提供基于列的聚合操作。而groupby可以看做是基于行，或者說index的聚合操作。

從實現上看，groupby返回的是一個DataFrameGroupBy結構，這個結構必須調用聚合函數(如sum)之后，才會得到結構為Series的數據結果。

而agg是DataFrame的直接方法，返回的也是一個DataFrame。當然，很多功能用sum、mean等等也可以實現。但是agg更加簡潔,  而且傳給它的函數可以是字符串，也可以自定義，參數是column對應的子DataFrame

獲取"ext price","quantity","unit price"3列的各自的累計值和均值

df3 = df[["ext price","quantity","unit price"]].agg(["sum","mean"]) print(df3.head())

可以針對不同的列使用不同的聚合函數

df4 = df.agg({"ext price":["sum","mean"],"quantity":["sum","mean"],"unit price":["mean"]}) print(df4.head())

也可以自定義函數，比如，統計sku中，購買次數最多的產品編號，通過lambda表達式來做。

#統計sku中，購買次數最多的產品編號 get_max = lambda x:x.value_counts(dropna=False).index[0] get_max.__name__ = "most frequent" df5 = df.agg({"ext price":["sum","mean"],  "quantity":["sum","mean"],  "unit price":["mean"],  "sku":[get_max]  }) print(df5)

如果希望輸出的列按照某個順序排列，可以使用collections的OrderedDict

agg_dict = {  "ext price":["sum","mean"],  "quantity":["sum","mean"],  "unit price":["mean"],  "sku":[get_max] } #按照列名的長度排序。OrderedDict的順序是跟插入順序一致的 df6 = df.agg(collections.OrderedDict(sorted(agg_dict.items(),key=lambda x:len(x[0])))) print(df6)

上述內容就是Python中怎么處理大數據，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注創新互聯行業資訊頻道。

標題名稱：Python中怎么處理大數據
分享網址：http://m.kartarina.com/article16/pihddg.html

成都網站建設公司_創新互聯，為您提供外貿建站、網頁設計公司、響應式網站、網站設計、微信公眾號、自適應網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯