【Pandas中級編】データ操作を極める！groupby集計、DataFrame結合、apply/map活用術

こんにちは！ 前回の「【Pythonデータ分析入門】Pandasで表データ操作自由自在！」では、Pandasの基本的な使い方として、データの読み込みや基本的な集計方法をご紹介しました。Pandasの便利さを少し感じていただけたでしょうか？

今回は、その一歩先へ進み、Pandasを使ったより高度なデータ操作テクニックを深掘りしていきます。具体的には、

  • groupby()を使った柔軟なデータ集計
  • 複数のDataFrameを自在に組み合わせる結合方法 (merge, concat)
  • apply()やmap()を使った効率的なデータ変換

などを、具体的なサンプルコードと共に解説します。これらのテクニックをマスターすれば、あなたのデータ分析スキルは格段に向上するはずです。それでは、Pandasのさらなる魅力に触れていきましょう！

1. より高度なデータ集計：groupby()を使いこなす

前回の記事でも少し触れましたが、groupby()は特定のキーに基づいてデータをグループ化し、それぞれのグループに対して集計処理を行うための非常に強力なメソッドです。

サンプルデータの準備

まずは、集計操作に使用するサンプルDataFrameを作成しましょう。

import pandas as pd
import numpy as np # NumPyも使うことがあるのでインポート

data = {
    '部門': ['営業部', '開発部', '営業部', '人事部', '開発部', '営業部'],
    '性別': ['男性', '女性', '女性', '男性', '男性', '男性'],
    '給与': [500, 600, 450, 550, 700, 520],
    '残業時間': [20, 10, 15, 5, 12, 25]
}
df_employee = pd.DataFrame(data)
print("--- 社員データ ---")
print(df_employee)

実行結果 (例):

--- 社員データ ---
    部門  性別  給与  残業時間
0  営業部  男性  500    20
1  開発部  女性  600    10
2  営業部  女性  450    15
3  人事部  男性  550     5
4  開発部  男性  700    12
5  営業部  男性  520    25

1.1. 単一キーでのグループ化と集計

「部門」ごとに平均給与を計算してみましょう。

avg_salary_by_dept = df_employee.groupby('部門')['給与'].mean()
print("\n--- 部門ごとの平均給与 ---")
print(avg_salary_by_dept)

実行結果 (例):

--- 部門ごとの平均給与 ---
部門
営業部    490.0
人事部    550.0
開発部    650.0
Name: 給与, dtype: float64

1.2. 複数キーでのグループ化

「部門」と「性別」の両方でグループ化し、それぞれの残業時間の合計を計算します。

total_overtime_by_dept_gender = df_employee.groupby(['部門', '性別'])['残業時間'].sum()
print("\n--- 部門別・性別の合計残業時間 ---")
print(total_overtime_by_dept_gender)

実行結果 (例):

--- 部門別・性別の合計残業時間 ---
部門   性別
営業部  女性    15
     男性    45
人事部  男性     5
開発部  女性    10
     男性    12
Name: 残業時間, dtype: int64

このように階層的なインデックス（マルチインデックス）が作成されます。.reset_index() を使うと、これらのインデックスを通常の列に戻すことができます。

print("\n--- reset_index()適用後 ---")
print(total_overtime_by_dept_gender.reset_index())

1.3. 複数の集計関数を一度に適用 (.agg())

.agg()メソッドを使うと、1つのgroupby操作で複数の集計を同時に行うことができます。

# 部門ごとに給与の平均と残業時間の合計、および人数(count)を計算
dept_summary = df_employee.groupby('部門').agg(
    平均給与=('給与', 'mean'),
    合計残業時間=('残業時間', 'sum'),
    人数=('部門', 'count') # '部門'列でなくても、存在する列なら何でも良い
)
print("\n--- 部門ごとの集計サマリー ---")
print(dept_summary)

# 特定の列に対して複数の集計を行う場合
salary_stats_by_dept = df_employee.groupby('部門')['給与'].agg(['mean', 'min', 'max', 'std'])
print("\n--- 部門ごとの給与統計 ---")
print(salary_stats_by_dept)

実行結果 (例):

--- 部門ごとの集計サマリー ---
      平均給与  合計残業時間  人数
部門
営業部   490.0      60   3
人事部   550.0       5   1
開発部   650.0      22   2

--- 部門ごとの給与統計 ---
           mean  min  max        std
部門
営業部  490.000000  450  520  36.055513
人事部  550.000000  550  550        NaN
開発部  650.000000  600  700  70.710678

.agg() に渡す辞書では、新しい列名をキー、(集計対象列, 集計関数)のタプルを値として指定できます。

2. DataFrameの結合：データを一つにまとめる

実際のデータ分析では、複数のデータソースからの情報を組み合わせて分析することがよくあります。Pandasでは、pd.merge()とpd.concat()という2つの主要な関数を使ってDataFrameを結合できます。

サンプルDataFrameの準備

結合操作のために、2つのサンプルDataFrameを作成します。

df_customers = pd.DataFrame({
    '顧客ID': ['C001', 'C002', 'C003', 'C004'],
    '氏名': ['佐藤', '鈴木', '高橋', '田中']
})
print("--- 顧客データ ---")
print(df_customers)

df_orders = pd.DataFrame({
    '注文ID': ['O001', 'O002', 'O003', 'O004', 'O005'],
    '顧客ID': ['C001', 'C003', 'C001', 'C002', 'C005'], # C005は顧客データにいない
    '商品': ['リンゴ', 'バナナ', 'ミカン', 'リンゴ', 'ブドウ'],
    '価格': [100, 80, 120, 100, 200]
})
print("\n--- 注文データ ---")
print(df_orders)

2.1. pd.merge()：特定の列をキーとして結合 (SQLのJOIN風)

pd.merge()は、データベースのJOIN操作のように、共通の列（キー）を基準にDataFrameを結合します。

# 内部結合 (両方のDataFrameに存在するキーのみ)
df_merged_inner = pd.merge(df_customers, df_orders, on='顧客ID', how='inner')
print("\n--- 内部結合 (inner) ---")
print(df_merged_inner)

# 左外部結合 (左のDataFrameのキーは全て残す)
df_merged_left = pd.merge(df_customers, df_orders, on='顧客ID', how='left')
print("\n--- 左外部結合 (left) ---")
print(df_merged_left)

# 右外部結合 (右のDataFrameのキーは全て残す)
df_merged_right = pd.merge(df_customers, df_orders, on='顧客ID', how='right')
print("\n--- 右外部結合 (right) ---")
print(df_merged_right)

# 完全外部結合 (両方のDataFrameのキーを全て残す)
df_merged_outer = pd.merge(df_customers, df_orders, on='顧客ID', how='outer')
print("\n--- 完全外部結合 (outer) ---")
print(df_merged_outer)

on='顧客ID'で「顧客ID」列をキーに指定し、howパラメータで結合方法（inner, left, right, outer）を指定します。 もしキーとなる列名が左右のDataFrameで異なる場合は、left_on='左の列名', right_on='右の列名'のように指定できます。

2.2. pd.concat()：DataFrameを単純に連結 (縦積み・横並び)

pd.concat()は、複数のDataFrameを単純に行方向（縦）または列方向（横）に連結します。

df1 = pd.DataFrame({'A': ['A0', 'A1'], 'B': ['B0', 'B1']})
df2 = pd.DataFrame({'A': ['A2', 'A3'], 'B': ['B2', 'B3']})
df3 = pd.DataFrame({'C': ['C0', 'C1'], 'D': ['D0', 'D1']})

# 行方向の連結 (デフォルト)
df_concat_rows = pd.concat([df1, df2])
print("\n--- 行方向の連結 ---")
print(df_concat_rows)

# ignore_index=True でインデックスを振り直す
df_concat_rows_reindex = pd.concat([df1, df2], ignore_index=True)
print("\n--- 行方向の連結 (インデックス振り直し) ---")
print(df_concat_rows_reindex)

# 列方向の連結 (axis=1 を指定)
df_concat_cols = pd.concat([df1, df3], axis=1)
print("\n--- 列方向の連結 ---")
print(df_concat_cols)

axis=0（デフォルト）で行方向に、axis=1で列方向に連結します。連結時に元のインデックスが重複する場合があるので、ignore_index=Trueで新しい連番のインデックスを振ると便利なことがあります。

3. 効率的なデータ変換：apply() と map()

DataFrameやSeriesの値を一括で変換したり、条件に基づいて新しい値を設定したりする際に便利なのがapply()とmap()（Seriesの場合）メソッドです。

サンプルデータの準備

df_products = pd.DataFrame({
    '商品名': ['リンゴ', 'バナナ', 'ミカン', 'ブドウ'],
    '価格(税抜)': [100, 80, 120, 200],
    '分類': ['果物', '果物', '果物', '果物']
})
print("--- 商品データ ---")
print(df_products)

3.1. .apply()：行または列に関数を適用

apply()は、DataFrameの行全体または列全体に対して、自作の関数やラムダ式を適用できます。

# 消費税10%を加えた税込価格を計算する関数
def calculate_tax_included_price(price):
    return price * 1.10

# '価格(税抜)'列に関数を適用して新しい列を作成
df_products['価格(税込)'] = df_products['価格(税抜)'].apply(calculate_tax_included_price)
print("\n--- 税込価格を追加 (applyで関数) ---")
print(df_products)

# ラムダ式を使って同様の処理
df_products['価格(税込)_lambda'] = df_products['価格(税抜)'].apply(lambda x: x * 1.10)
print("\n--- 税込価格を追加 (applyでラムダ式) ---")
print(df_products[['商品名', '価格(税抜)', '価格(税込)_lambda']])

# 行全体に適用して、価格が100円以上の商品にフラグを立てる
def is_expensive(row):
    if row['価格(税抜)'] >= 100:
        return '高価'
    else:
        return '手頃'

df_products['価格帯'] = df_products.apply(is_expensive, axis=1) # axis=1で行単位の処理
print("\n--- 価格帯を追加 (行にapply) ---")
print(df_products)

axis=0（デフォルト）だと列単位、axis=1だと行単位で関数が適用されます。

3.2. .map()：Seriesの各要素を置換

map()はSeriesの各要素に対して、辞書や関数を使って値を置き換えます。

# '分類'列の値を日本語から英語に変換する辞書
category_map = {
    '果物': 'Fruit',
    '野菜': 'Vegetable' # 今回のデータにはないが例として
}
df_products['分類(英)'] = df_products['分類'].map(category_map)
print("\n--- 分類を英語に変換 (mapで辞書) ---")
print(df_products)

# 価格(税抜)に応じてランク付けする関数
def price_to_rank(price):
    if price >= 150:
        return 'A'
    elif price >= 100:
        return 'B'
    else:
        return 'C'

df_products['価格ランク'] = df_products['価格(税抜)'].map(price_to_rank)
print("\n--- 価格ランク付け (mapで関数) ---")
print(df_products)

map()はSeriesにしか使えませんが、特定の列の値を効率的に変換・置換するのに便利です。

まとめ：Pandasでデータ操作の達人を目指そう！

今回のPandas中級編では、

  • groupby()による柔軟な集計（複数キー、複数集計関数）
  • pd.merge()によるキーに基づいたDataFrameの結合
  • pd.concat()による単純なDataFrameの連結
  • .apply()による行・列への関数適用
  • .map()によるSeriesの要素の置換

といった、より実践的なデータ操作テクニックを学びました。

これらの機能を組み合わせることで、複雑なデータも効率よく整形し、分析のための準備を整えることができます。Pandasにはまだまだ多くの強力な機能が備わっています。例えば、時系列データの扱いや、ピボットテーブルの作成、さらにはMatplotlibやSeabornといった可視化ライブラリとの連携など、学べば学ぶほどデータ分析の世界は広がっていきます。

ぜひ、今回学んだことを実際のデータで試し、Pandasの力を実感してみてください。あなたのデータ分析の旅が、さらにエキサイティングなものになることを願っています！

その他の投稿はこちら

コメント

コメントを投稿

このブログの人気の投稿

タイトルまとめ

環境構築 これで迷わない！WindowsでPython環境構築する一番やさしい方法 #0 【Python初心者向け】venvでスッキリ環境構築！プロジェクトごとの独立性を保つ秘訣 #1 超入門〜入門 【Python超入門】プログラミングで計算してみよう！四則演算と便利な算術演算子を徹底解説 #2 【Python超入門】プログラミングの第一歩！「変数」とは？使い方と命名ルールを優しく解説 #3 【Python入門】プログラムの流れを自由自在に！if文を使った条件分岐を徹底マスター #4 【Python入門】繰り返し処理をマスター！for文・while文の基本と使い分けを徹底解説 #5 【Python入門】コードを整理整頓！関数の作り方と使い方をマスターしよう (def, 引数, 戻り値) #6 【Python入門】オブジェクト指向の扉を開こう！クラスの基本と作り方・使い方 (class, __init__, メソッド) #7 【Python入門】クラッシュしないプログラムへ！エラーハンドリング(try-except-else-finally-raise)完全ガイド #8 中級へ向けて > OOP(オブジェクト指向プログラミング) 【Python中級への道】OOPの真髄！クラスの「継承」でコードを再利用・拡張しよう (親クラス・子クラス・super) #8 【Python中級編】OOPの魔法！ポリモーフィズム（多態性）で柔軟なコードを書こう #9 【Python中級編】OOPの守護神！カプセル化で安全なクラスを作ろう (データ隠蔽・プロパティ) #10 標準ライブラリ紹介 【Python標準ライブラリ入門 第1回】日付と時刻を自由自在に！datetimeモジュール徹底活用術 【Python標準ライブラリ入門 第2回】偶然をプログラムに！randomモジュールで乱数を使いこなそう 【Python標準ライブラリ入門 第3回】データ交換の標準！jsonモジュールでJSONを自由自在に扱おう 【Python標準ライブラリ入門 第4回】ファイル・ディレクトリ操作の達人になろう！osモジュール徹底ガイド 【Python標準ライブラリ入門 第5回】表データ処理の相棒！csvモジュールでCSVファイルを自在に操ろう 📊 【Python標準ライブラリ入門 第6回】ファイル操作を極...
続きを読む

これで迷わない！WindowsでPython環境構築する一番やさしい方法 #0

イメージ
はじめに：Python学習、最初の一歩を応援します！ 「Pythonを勉強してみたいけど、何から始めたらいいの？」 「プログラミングって難しそう…環境構築でつまずきたくないな…」 こんにちは！ この記事は、そんなプログラミング初心者さん、特にWindowsユーザーのあなたが、スムーズにPython学習をスタートできるよう、 Pythonの環境構築手順 をどこよりも分かりやすく解説することを目指しています。 私自身もそうでしたが、プログラミング学習の最初のハードルが、この「環境構築」だったりします。でも大丈夫！この記事の手順通りに進めれば、きっとあなたのパソコンでPythonが動くようになります。 一緒にPythonの世界への第一歩を踏み出しましょう！ そもそもPythonって何？ (軽くでOK) Pythonは、読みやすく、書きやすい、そしてとっても人気のあるプログラミング言語です。Webサイト制作、データ分析、AI開発など、本当に色々なことができます。初心者にも比較的学びやすい言語と言われているんですよ。 さっそくPythonをインストールしよう！ (Windows編) それでは、WindowsのパソコンにPythonをインストールしていきましょう。 1. Python公式サイトへアクセス！ まずは、Pythonの「公式」ダウンロードページにアクセスします。 検索エンジンで「Python ダウンロード」と検索するか、こちらのアドレスに直接アクセスしてください。 https://www.python.org/downloads/ 2. 最新版のPythonをダウンロード ダウンロードページを開くと、「Download Python X.X.X」（X.X.Xはバージョン番号）という大きなボタンがあるはずです。基本的には、この最新版をダウンロードすればOKです。 ポイント： もし学習する教材などでPythonのバージョンが指定されている場合は、少し下にスクロールすると過去のバージョンもダウンロードできます。でも、特に理由がなければ最新版を選びましょう。 3. ダウンロードしたインストーラーを実行！ ダウンロードが完了したら、ダウンロードフォルダにある .exe ファイル（例： python-3.12.3-amd64.exe のような名前です）をダブルクリックし...
続きを読む

【Python標準ライブラリ完結！】11の冒険をありがとう！君のPython力が飛躍する「次の一歩」とは？ 🚀

こんにちは！ Python標準ライブラリ探検隊、隊長のPythonistaです！ 長い間お付き合いいただき、本当にありがとうございました。ついにこの「Python標準ライブラリ入門シリーズ」も、今回の第12回で最終回を迎えることになりました。 第1回の datetime モジュール から始まり、 前回の合わせ技プロジェクト まで、私たちはPythonが標準で提供している強力で便利な「道具箱」の中身を、一緒に探検してきました。このシリーズを通して、Pythonの標準ライブラリがいかに多機能で、日々のプログラミング作業を助けてくれるかを少しでも感じていただけていたら嬉しいです。 この記事では、これまでの冒険の軌跡を振り返りつつ、皆さんがこのシリーズで得た知識を土台として、さらにPythonプログラミングの世界を広げていくための「次なる冒険」へのヒントをお届けしたいと思います。最後まで、どうぞお付き合いください！ 1. これまでの冒険を振り返る：標準ライブラリ探検ダイジェスト 🗺️ まずは、私たちが一緒に探検してきたPython標準ライブラリの仲間たちを、その主な役割と共に振り返ってみましょう。各モジュールの名前は、過去の記事へのリンクになっています（リンク先は適宜設定してくださいね）。 datetime : 日付と時刻の達人に！プログラムに時間という概念をもたらしました。 random : プログラムに偶然性の魔法を！ゲームからデータ生成まで幅広く活躍。 json : データ交換のスタンダード！異なるシステム間で情報をやり取りする共通言語。 os : OSと対話し、ファイルシステムを操る！プログラムがコンピュータ環境と連携する基盤。 csv : 表形式データを手軽に扱う！Excelなどとのデータ連携もスムーズに。 glob & shutil : ファイル検索と高度なファイル操作の強力コンビ！面倒なファイル管理を自動化。 logging : print デバッグからの卒業！本格的なログ管理でプログラムの信頼性アップ。 re : テキスト処理のスーパーパワー、正規表現！複雑な文字列操作も思いのまま。 collections : データ構造...
続きを読む