【NumPy中級編1 第4回】データ永続化と計算の基礎！ファイル入出力＆線形代数の初歩 (save/load, dot, @, T)

「NumPyで苦労して作った配列、プログラムを終了したら消えちゃうのは困る…」
「計算結果をファイルに保存して、後でまた使いたいんだけど、どうすればいい？」
「行列の掛け算とか、転置とか、数学っぽい計算もNumPyでできるの？」

こんにちは！ NumPy探検隊、隊長のPythonistaです！ 前回の第3回では、NumPy配列の形状変更、結合・分割、そして条件による要素抽出といった、配列を自由自在に操るための応用テクニックを学びましたね。これで、かなり複雑なデータ構造も扱えるようになったのではないでしょうか。

シリーズ第4回となる今回は、いよいよ中級編の第一歩です！ これまでメモリ上で操作してきたNumPy配列を、ファイルとして永続化（保存・読み込み）する方法と、データサイエンスや機械学習の分野で必須の知識となる線形代数の基本的な演算（行列積や転置など）をNumPyでどのように行うかについて、分かりやすく解説していきます。これらの知識を身につければ、NumPyをさらに実用的なツールとして活用できるようになりますよ！

1. NumPy配列のデータをファイルに保存・読み込み：データ永続化の第一歩

プログラムの実行が終了すると、メモリ上にあった変数や配列のデータは通常消えてしまいます。計算に時間がかかった結果や、他のプログラムでも利用したい配列データを保存しておき、後で再利用できるようにするのが「データの永続化」です。NumPyでは、配列データを効率的にファイルに保存したり、ファイルから読み込んだりするための便利な関数が用意されています。

1.1. バイナリ形式での保存・読み込み：.npyファイル（単一配列）

NumPy独自のバイナリ形式（.npy）で配列を保存すると、高速かつ効率的にデータの読み書きができます。1つのファイルに1つのNumPy配列を保存する場合に使います。

  • np.save(filename, arr): 配列arrを、指定したfilename（通常は拡張子.npy）にバイナリ形式で保存します。
  • np.load(filename): .npyファイルからNumPy配列を読み込みます。
import numpy as np

# 保存する配列を作成
original_array = np.arange(10).reshape((2, 5))
print(f"元の配列:\n{original_array}")

file_npy = 'my_array.npy'

# .npyファイルに保存
np.save(file_npy, original_array)
print(f"\n'{file_npy}' に配列を保存しました。")

# .npyファイルから読み込み
loaded_array_npy = np.load(file_npy)
print(f"'{file_npy}' から読み込んだ配列:\n{loaded_array_npy}")

# 元の配列と同じか確認
print(f"読み込んだ配列は元の配列と同じか: {np.array_equal(original_array, loaded_array_npy)}")

1.2. バイナリ形式での保存・読み込み：.npzファイル（複数配列）

複数のNumPy配列を1つのファイルにまとめて保存したい場合は、.npz形式が便利です。これは、複数の.npyファイルをZIP形式で圧縮せずに（または圧縮して）まとめたものです。

  • np.savez(filename, name1=arr1, name2=arr2, ...): 複数の配列（arr1, arr2など）を、それぞれに対応する名前（name1, name2など）を付けて、指定したfilename（通常は拡張子.npz）に保存します。
  • np.savez_compressed(filename, name1=arr1, ...): np.savez()と似ていますが、圧縮して保存するためファイルサイズを小さくできます。
  • np.load(filename): .npzファイルを読み込みます。返されるオブジェクトは、保存時に指定した名前をキーとする辞書のような形で各配列にアクセスできます。
import numpy as np

arr_x = np.array([1, 2, 3])
arr_y = np.array([[4, 5, 6], [7, 8, 9]])

file_npz = 'my_arrays.npz'

# .npzファイルに複数の配列を保存
np.savez(file_npz, x_data=arr_x, y_data=arr_y)
print(f"\n'{file_npz}' に複数の配列を保存しました。")

# .npzファイルから読み込み
loaded_data_npz = np.load(file_npz)

print(f"読み込んだデータのキー: {loaded_data_npz.files}") # ['x_data', 'y_data']

loaded_arr_x = loaded_data_npz['x_data']
loaded_arr_y = loaded_data_npz['y_data']

print(f"\n読み込んだx_data:\n{loaded_arr_x}")
print(f"読み込んだy_data:\n{loaded_arr_y}")

# np.savez_compressed() を使うと圧縮されます
# np.savez_compressed('my_compressed_arrays.npz', x_data=arr_x, y_data=arr_y)

1.3. テキスト形式での保存・読み込み：.txt, .csv など

人間が直接読めるテキスト形式（CSVファイルなど）で配列を保存・読み込みしたい場合は、np.savetxt()とnp.loadtxt()を使います。ただし、これらは主に1次元または2次元の数値データ向けです。

  • np.savetxt(filename, arr, delimiter=',', fmt='%.18e', header='', footer='', comments='# '): 配列arrをテキストファイルfilenameに保存します。
    • delimiter: 区切り文字（デフォルトはスペース。','でCSV形式）。
    • fmt: 各数値の出力フォーマット（デフォルトは科学技術表記）。'%.2f'（小数点以下2桁）など。
    • header: ファイルの先頭に書き込むヘッダー文字列。
    • footer: ファイルの末尾に書き込むフッター文字列。
    • comments: ヘッダーやフッターの行頭に付加されるコメント文字（デフォルトは#）。
  • np.loadtxt(filename, delimiter=',', skiprows=0, usecols=None, dtype=float, comments='#'): テキストファイルからデータを読み込み、NumPy配列として返します。
    • delimiter: 区切り文字。
    • skiprows: ファイルの先頭から読み飛ばす行数（ヘッダー行など）。
    • usecols: 読み込む列をタプルで指定（例: (0, 2)で0列目と2列目）。
    • dtype: 読み込むデータの型（デフォルトはfloat）。
    • comments: コメントとして扱う文字（その文字で始まる行は無視される）。
import numpy as np

arr_to_text = np.array([[1.1, 2.25, 3.333], [4.0, 5.55, 6.789]])
file_csv = 'my_data.csv'
file_txt_custom = 'my_data_custom.txt'

# CSV形式で保存 (小数点以下2桁)
np.savetxt(file_csv, arr_to_text, delimiter=',', fmt='%.2f', header='col1,col2,col3', comments='')
print(f"\n'{file_csv}' にCSV形式で保存しました。")
# my_data.csv の中身:
# col1,col2,col3
# 1.10,2.25,3.33
# 4.00,5.55,6.79 (四捨五入される場合あり)

# CSVファイルから読み込み
loaded_from_csv = np.loadtxt(file_csv, delimiter=',', skiprows=1) # ヘッダーを1行スキップ
print(f"'{file_csv}' から読み込んだ配列:\n{loaded_from_csv}")

# カスタムフォーマットでテキストファイルに保存
np.savetxt(file_txt_custom, arr_to_text, fmt='%d', delimiter='\t') # 整数としてタブ区切り
print(f"\n'{file_txt_custom}' にカスタム形式で保存しました。")
# my_data_custom.txt の中身 (整数に丸められる):
# 1   2   3
# 4   5   6

注意: np.loadtxt()は、データが全て同じ型（数値）であるシンプルなテキストファイルに向いています。もしCSVファイルに文字列や欠損値が混在している場合は、Pandasライブラリのpd.read_csv()を使う方がはるかに柔軟で強力です。

2. NumPyと線形代数の初歩：データ計算の言語を操る

線形代数は、ベクトルや行列といった概念を扱い、データサイエンス、機械学習、画像処理、物理シミュレーションなど、多くの科学技術分野で基礎となる数学です。NumPyは、これらの線形代数演算を効率的に行うための機能を豊富に備えています。

2.1. NumPyにおけるベクトルと行列 (おさらい)

前回の記事でも触れましたが、NumPyでは以下のように考えます。

  • ベクトル: 1次元配列 (ndarray)
  • 行列: 2次元配列 (ndarray)

2.2. 行列の転置 (Transpose)：行と列を入れ替える

行列の転置とは、行列の行と列を入れ替える操作です。NumPyでは、ndarrayオブジェクトの.T属性を使うか、np.transpose()関数を使うことで簡単に行えます。

import numpy as np

matrix_a = np.array([[1, 2, 3],
                     [4, 5, 6]]) # (2, 3) 行列
print(f"\n元の行列 matrix_a (2x3):\n{matrix_a}")

# .T 属性を使って転置
transposed_a_T = matrix_a.T
print(f"転置行列 (matrix_a.T) (3x2):\n{transposed_a_T}")

# np.transpose() 関数を使っても同じ
transposed_a_func = np.transpose(matrix_a)
print(f"転置行列 (np.transpose(matrix_a)) (3x2):\n{transposed_a_func}")

2.3. 行列積（ドット積）：行列同士の「正しい」掛け算

NumPy配列で*演算子を使うと、要素ごとの積が計算されましたね。しかし、線形代数における行列の掛け算（行列積またはドット積）は、それとは異なるルールで計算されます。

行列A (m x n) と 行列B (n x p) の行列積は、Aの列数とBの行数が一致している場合にのみ定義され、結果として (m x p) の行列が得られます。

NumPyでは、行列積は以下の方法で計算できます。

  • np.dot(arr1, arr2)関数
  • arr1.dot(arr2)メソッド
  • @演算子 (Python 3.5以降で導入。こちらが推奨されることが多いです)
import numpy as np

matrix_m1 = np.array([[1, 2], [3, 4]]) # (2, 2)
matrix_m2 = np.array([[5, 6], [7, 8]]) # (2, 2)
vector_v1 = np.array([1, 0])            # (2,) ベクトル

print(f"\nmatrix_m1:\n{matrix_m1}")
print(f"matrix_m2:\n{matrix_m2}")
print(f"vector_v1: {vector_v1}")

# 要素ごとの積 (おさらい)
element_wise_product = matrix_m1 * matrix_m2
print(f"\n要素ごとの積 (matrix_m1 * matrix_m2):\n{element_wise_product}")

# 行列積 (np.dot)
dot_product1 = np.dot(matrix_m1, matrix_m2)
print(f"\n行列積 (np.dot(matrix_m1, matrix_m2)):\n{dot_product1}")
# [[1*5+2*7, 1*6+2*8], [3*5+4*7, 3*6+4*8]] = [[19, 22], [43, 50]]

# 行列積 (@演算子) - こちらが推奨
dot_product2 = matrix_m1 @ matrix_m2
print(f"\n行列積 (matrix_m1 @ matrix_m2):\n{dot_product2}")

# 行列とベクトルの積
matrix_vector_product = matrix_m1 @ vector_v1 # vector_v1は列ベクトルとして扱われることが多い
print(f"\n行列とベクトルの積 (matrix_m1 @ vector_v1):\n{matrix_vector_product}") # [1 3]

# 形状が合わない場合の行列積はエラーになる
matrix_m3 = np.array([[1, 2, 3], [4, 5, 6]]) # (2, 3)
# dot_product_error = matrix_m1 @ matrix_m3 # (2,2) @ (2,3) はOK, 結果は(2,3)
# print(dot_product_error)
# dot_product_error2 = matrix_m3 @ matrix_m1 # (2,3) @ (2,2) はエラー (ValueError)

2.4. その他の基本的な線形代数演算 (簡単に紹介)

NumPyのlinalgサブモジュールには、さらに多くの線形代数演算関数が含まれています。ここではいくつか名前だけ紹介します。

  • 単位行列の作成: np.eye(N) または np.identity(N) (N x Nの単位行列)
  • 逆行列: np.linalg.inv(matrix) (正方行列の逆行列を計算)
  • 行列式: np.linalg.det(matrix) (正方行列の行列式を計算)
  • 固有値・固有ベクトル、特異値分解など、高度な演算も可能です。

これらの詳細については、線形代数の知識と共に、また別の機会に触れることになるでしょう。

3. ちょっと実践：計算結果を保存して読み込んでみる

簡単な例として、2つの行列を作成し、その行列積を計算し、元の行列と結果の行列を.npzファイルに保存してみましょう。そして、それを読み込んで確認します。

import numpy as np

# 行列の作成
A = np.array([[1, 0], [2, 3]])
B = np.array([[4, 1], [0, 2]])

# 行列積
C = A @ B

print(f"行列A:\n{A}")
print(f"行列B:\n{B}")
print(f"行列積 C = A @ B:\n{C}")

output_filename = 'matrix_operations.npz'

# ファイルに保存
np.savez(output_filename, matrix_a=A, matrix_b=B, result_c=C)
print(f"\n'{output_filename}' に行列を保存しました。")

# ファイルから読み込み
loaded_matrices = np.load(output_filename)

A_loaded = loaded_matrices['matrix_a']
B_loaded = loaded_matrices['matrix_b']
C_loaded = loaded_matrices['result_c']

print(f"\n読み込んだ行列A:\n{A_loaded}")
print(f"読み込んだ行列B:\n{B_loaded}")
print(f"読み込んだ行列C:\n{C_loaded}")

# 元の計算結果と一致するか確認
print(f"C_loadedは A_loaded @ B_loaded と同じか: {np.array_equal(C_loaded, A_loaded @ B_loaded)}")

まとめ：NumPyでデータと計算を次のレベルへ！

今回は、NumPyシリーズの中級編第一歩として、以下の内容を学びました。

  • NumPy配列を効率的にファイルに保存・読み込みする方法：
    • 単一配列向けのバイナリ形式 .npy (np.save(), np.load())
    • 複数配列向けのバイナリ形式 .npz (np.savez(), np.load())
    • テキスト形式 (np.savetxt(), np.loadtxt())
  • 線形代数の基本的な演算：
    • 行列の転置 (.T属性, np.transpose())
    • 行列積 (np.dot()関数, @演算子)

ファイル入出力の機能を身につけることで、NumPyで処理した大切なデータを永続化したり、他のプログラムや人と共有したりすることが容易になります。また、線形代数の基本操作は、NumPyがデータサイエンスや機械学習といった分野で広く使われる理由の一つであり、これらの分野に進む上での重要な基礎となります。

NumPyの世界はまだまだ奥深いです。次回は、NumPy配列のより高度な操作や、統計処理、乱数生成といった、さらに実践的な機能について探求していく予定です。お楽しみに！

【NumPy中級編2 第5回】実践！画像処理・グラフ描画・Pandas連携と次の一歩 🖼️📊📈

その他の投稿はこちら

コメント

コメントを投稿

このブログの人気の投稿

タイトルまとめ

環境構築 これで迷わない！WindowsでPython環境構築する一番やさしい方法 #0 【Python初心者向け】venvでスッキリ環境構築！プロジェクトごとの独立性を保つ秘訣 #1 超入門〜入門 【Python超入門】プログラミングで計算してみよう！四則演算と便利な算術演算子を徹底解説 #2 【Python超入門】プログラミングの第一歩！「変数」とは？使い方と命名ルールを優しく解説 #3 【Python入門】プログラムの流れを自由自在に！if文を使った条件分岐を徹底マスター #4 【Python入門】繰り返し処理をマスター！for文・while文の基本と使い分けを徹底解説 #5 【Python入門】コードを整理整頓！関数の作り方と使い方をマスターしよう (def, 引数, 戻り値) #6 【Python入門】オブジェクト指向の扉を開こう！クラスの基本と作り方・使い方 (class, __init__, メソッド) #7 【Python入門】クラッシュしないプログラムへ！エラーハンドリング(try-except-else-finally-raise)完全ガイド #8 中級へ向けて > OOP(オブジェクト指向プログラミング) 【Python中級への道】OOPの真髄！クラスの「継承」でコードを再利用・拡張しよう (親クラス・子クラス・super) #8 【Python中級編】OOPの魔法！ポリモーフィズム（多態性）で柔軟なコードを書こう #9 【Python中級編】OOPの守護神！カプセル化で安全なクラスを作ろう (データ隠蔽・プロパティ) #10 標準ライブラリ紹介 【Python標準ライブラリ入門 第1回】日付と時刻を自由自在に！datetimeモジュール徹底活用術 【Python標準ライブラリ入門 第2回】偶然をプログラムに！randomモジュールで乱数を使いこなそう 【Python標準ライブラリ入門 第3回】データ交換の標準！jsonモジュールでJSONを自由自在に扱おう 【Python標準ライブラリ入門 第4回】ファイル・ディレクトリ操作の達人になろう！osモジュール徹底ガイド 【Python標準ライブラリ入門 第5回】表データ処理の相棒！csvモジュールでCSVファイルを自在に操ろう 📊 【Python標準ライブラリ入門 第6回】ファイル操作を極...
続きを読む

これで迷わない！WindowsでPython環境構築する一番やさしい方法 #0

イメージ
はじめに：Python学習、最初の一歩を応援します！ 「Pythonを勉強してみたいけど、何から始めたらいいの？」 「プログラミングって難しそう…環境構築でつまずきたくないな…」 こんにちは！ この記事は、そんなプログラミング初心者さん、特にWindowsユーザーのあなたが、スムーズにPython学習をスタートできるよう、 Pythonの環境構築手順 をどこよりも分かりやすく解説することを目指しています。 私自身もそうでしたが、プログラミング学習の最初のハードルが、この「環境構築」だったりします。でも大丈夫！この記事の手順通りに進めれば、きっとあなたのパソコンでPythonが動くようになります。 一緒にPythonの世界への第一歩を踏み出しましょう！ そもそもPythonって何？ (軽くでOK) Pythonは、読みやすく、書きやすい、そしてとっても人気のあるプログラミング言語です。Webサイト制作、データ分析、AI開発など、本当に色々なことができます。初心者にも比較的学びやすい言語と言われているんですよ。 さっそくPythonをインストールしよう！ (Windows編) それでは、WindowsのパソコンにPythonをインストールしていきましょう。 1. Python公式サイトへアクセス！ まずは、Pythonの「公式」ダウンロードページにアクセスします。 検索エンジンで「Python ダウンロード」と検索するか、こちらのアドレスに直接アクセスしてください。 https://www.python.org/downloads/ 2. 最新版のPythonをダウンロード ダウンロードページを開くと、「Download Python X.X.X」（X.X.Xはバージョン番号）という大きなボタンがあるはずです。基本的には、この最新版をダウンロードすればOKです。 ポイント： もし学習する教材などでPythonのバージョンが指定されている場合は、少し下にスクロールすると過去のバージョンもダウンロードできます。でも、特に理由がなければ最新版を選びましょう。 3. ダウンロードしたインストーラーを実行！ ダウンロードが完了したら、ダウンロードフォルダにある .exe ファイル（例： python-3.12.3-amd64.exe のような名前です）をダブルクリックし...
続きを読む

【Python標準ライブラリ完結！】11の冒険をありがとう！君のPython力が飛躍する「次の一歩」とは？ 🚀

こんにちは！ Python標準ライブラリ探検隊、隊長のPythonistaです！ 長い間お付き合いいただき、本当にありがとうございました。ついにこの「Python標準ライブラリ入門シリーズ」も、今回の第12回で最終回を迎えることになりました。 第1回の datetime モジュール から始まり、 前回の合わせ技プロジェクト まで、私たちはPythonが標準で提供している強力で便利な「道具箱」の中身を、一緒に探検してきました。このシリーズを通して、Pythonの標準ライブラリがいかに多機能で、日々のプログラミング作業を助けてくれるかを少しでも感じていただけていたら嬉しいです。 この記事では、これまでの冒険の軌跡を振り返りつつ、皆さんがこのシリーズで得た知識を土台として、さらにPythonプログラミングの世界を広げていくための「次なる冒険」へのヒントをお届けしたいと思います。最後まで、どうぞお付き合いください！ 1. これまでの冒険を振り返る：標準ライブラリ探検ダイジェスト 🗺️ まずは、私たちが一緒に探検してきたPython標準ライブラリの仲間たちを、その主な役割と共に振り返ってみましょう。各モジュールの名前は、過去の記事へのリンクになっています（リンク先は適宜設定してくださいね）。 datetime : 日付と時刻の達人に！プログラムに時間という概念をもたらしました。 random : プログラムに偶然性の魔法を！ゲームからデータ生成まで幅広く活躍。 json : データ交換のスタンダード！異なるシステム間で情報をやり取りする共通言語。 os : OSと対話し、ファイルシステムを操る！プログラムがコンピュータ環境と連携する基盤。 csv : 表形式データを手軽に扱う！Excelなどとのデータ連携もスムーズに。 glob & shutil : ファイル検索と高度なファイル操作の強力コンビ！面倒なファイル管理を自動化。 logging : print デバッグからの卒業！本格的なログ管理でプログラムの信頼性アップ。 re : テキスト処理のスーパーパワー、正規表現！複雑な文字列操作も思いのまま。 collections : データ構造...
続きを読む