２章： データ処理とライブラリ

2023.02.21

2.1 ファイル操作について

ファイルの読み書き

Pythonでは、ファイルを開いて読み書きするための標準的な関数が用意されています。以下では、ファイルを扱うための基本的な操作について説明します。

１． ファイルを開く

ファイルを開くには、open関数を使います。open関数は、ファイルを開いてファイルオブジェクトを返します。ファイル名を指定する他に、ファイルを開くモード（読み込みモードや書き込みモードなど）を指定することもできます。モードには、以下のようなものがあります。

r: 読み込みモード（既定値）
w: 書き込みモード（ファイルを上書きする）
a: 追記モード（ファイルの末尾に追記する）
x: 排他的な作成モード（ファイルが存在しない場合のみ作成する）
b: バイナリモード（バイナリデータを扱う場合に指定する）
t: テキストモード（テキストデータを扱う場合に指定する、既定値）

#ファイルを開く
f = open(‘file.txt’, ‘r’)

２．ファイルを読み込む

ファイルを読み込むには、ファイルオブジェクトからreadメソッドを呼び出します。readメソッドは、ファイルの内容を文字列として返します。読み込んだ内容は、ファイルオブジェクトが保持する現在の位置から読み込まれます。

#ファイルを開く
f = open(‘file.txt’, ‘r’)

#ファイルを読み込む
text = f.read()
print(text)

#ファイルを閉じる
f.close()

３．ファイルに書き込む

ファイルに書き込むには、ファイルオブジェクトからwriteメソッドを呼び出します。writeメソッドは、引数として渡された文字列をファイルに書き込みます。書き込んだ内容は、ファイルオブジェクトが保持する現在の位置から書き込まれます。

#ファイルを開く
f = open(‘file.txt’, ‘w’)

#ファイルに書き込む
f.write(‘Hello, world!’)

#ファイルを閉じる
f.close()

ファイル操作に関連する主な関数やメソッドについてもう少し詳しく説明してみます。

まず、ファイルを開くためには open() 関数を使用します。open() 関数には、以下の2つの引数が必要です。

ファイル名： 開くファイルの名前を指定します。
モード： ファイルをどのように開くかを指定します。
モードには以下のような種類があります。

r: 読み込みモード。既存のファイルを読み取ります。
w: 書き込みモード。ファイルを作成または上書きします。
a: 追記モード。既存のファイルに追記します。

たとえば、ファイル example.txt を読み込みモードで開く場合は以下のようにします。

f = open(‘example.txt’, ‘r’)

ファイルを開いたら、読み書きするためのメソッドを使用できます。いくつかの例を挙げてみましょう。

read(size=-1): ファイルから size バイト分のデータを読み取ります。size を指定しない場合は、ファイル全体を読み取ります。
readline(): ファイルから1行分のデータを読み取ります。
write(string): ファイルに string を書き込みます。
writelines(lines): ファイルに lines を書き込みます。lines はリスト形式で渡します。
ファイルを使用し終わったら、close() メソッドを使用してファイルを閉じる必要があります。たとえば、以下のようにします。

f = open(‘file.txt’, ‘r’)
data = f.read()
print(data)
f.close()

また、with 文を使用することで、ファイルを自動的に閉じることができます。以下は with 文を使用してファイルを読み込む例です。

with open(‘example.txt’, ‘r’) as f:
data = f.read()

with 文を使用することで、ファイルを閉じるために close() メソッドを明示的に呼び出す必要がありません。

CSVファイルの処理

CSV（Comma-Separated Values）は、データを表形式で表すためのファイル形式です。CSVファイルは、カンマ、タブ、セミコロン、パイプなどの文字でデータを区切って保存されます。Pythonには、CSVファイルを処理するための標準ライブラリであるcsvが用意されています。

以下は、CSVファイルを読み込む例です。

python

import csv

with open(‘example.csv’, ‘r’, encoding=’utf-8′) as f:
reader = csv.reader(f)
for row in reader:
print(row)

open()関数でCSVファイルを開き、csv.reader()関数でファイルを読み込みます。読み込んだファイルをforループで1行ずつ処理し、print()関数で出力しています。

以下は、CSVファイルを書き込む例です。

Python

import csv

with open(‘example.csv’, ‘w’, encoding=’utf-8′, newline=”) as f:
writer = csv.writer(f)
writer.writerow([‘Name’, ‘Age’, ‘City’])
writer.writerow([‘Alice’, ’25’, ‘Tokyo’])
writer.writerow([‘Bob’, ’30’, ‘Osaka’])

open()関数でCSVファイルを作成し、csv.writer()関数でファイルに書き込みます。writerow()メソッドを使用して、行ごとにデータを書き込みます。デフォルトでは、writerow()メソッドは行の区切りに改行を追加するため、newline=”を指定して改行を無効にしています。

2.2 NumpyとPandas

NumpyとPandasの概要

NumPyとPandasは、Pythonの科学技術計算においてよく使用される2つのライブラリです。

NumPyは、多次元配列を効率的に操作するためのライブラリで、数値計算やデータ処理に広く使われています。NumPyの最も重要な機能の1つは、NumPy配列（またはndarray）です。NumPy配列は、同じ型の要素から構成され、効率的で高速な操作ができます。NumPyはまた、線形代数、フーリエ変換、ランダム数生成、信号処理などの高度な機能を提供しています。以下は、NumPy配列を生成する例です。

python

import numpy as np

a = np.array([1, 2, 3, 4, 5])
print(a)

Pandasは、データの整理や加工に特化したライブラリで、データフレームとシリーズという2つの主要なデータ構造を提供しています。データフレームは、テーブル形式のデータを格納するための2次元のデータ構造で、Excelのようなスプレッドシートに相当します。シリーズは、1次元のデータ構造で、1列のデータを格納するために使用されます。Pandasは、データの読み込みや書き込み、グループ化、結合、集計、欠損値の処理、時系列データの処理などの機能を提供しています。 以下は、Pandasのデータフレームを生成する例です。

python

import pandas as pd

data = {‘Name’: [‘Alice’, ‘Bob’, ‘Charlie’, ‘Dave’],
‘Age’: [25, 30, 35, 40],
‘City’: [‘Tokyo’, ‘Osaka’, ‘Kyoto’, ‘Tokyo’]}

df = pd.DataFrame(data)
print(df)

Pandasは、データ分析や機械学習の分野でも広く使われています。

Numpyを用いた数値計算

NumPyは、多次元配列を効率的に操作するためのライブラリであり、数値計算やデータ処理に広く使われています。NumPyを用いた数値計算の例をいくつか紹介します。

１．配列の作成

NumPy配列は、ndarrayオブジェクトとして作成されます。配列は、np.array()関数を使用して、Pythonリストまたはタプルから作成されます。以下は、一次元の配列を作成する例です。

python

import numpy as np

a = np.array([1, 2, 3])
print(a)

出力結果:

csharp

[1 2 3]

二次元配列を作成するには、ネストされたリストまたはタプルを使用します。

python

import numpy as np

b = np.array((1, 2, 3), (4, 5, 6))
print(b)

出力結果:

[1 2 3]
[4 5 6]

２．四則演算

NumPy配列を使用すると、四則演算を簡単に行うことができます。以下は、2つの配列を加算する例です。

python

import numpy as np

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

c = a + b
print(c)

出力結果:

csharp

[5 7 9]

NumPy配列は、同じ要素数を持つ配列間で四則演算を行うことができます。また、NumPy配列は、スカラーとの四則演算もサポートしています。

３．行列の計算

NumPyを使用すると、行列の計算も簡単に行うことができます。以下は、2つの行列の積を計算する例です。

python

import numpy as np

a = np.array([[1, 2], [3, 4]])
b = np.array([[5, 6], [7, 8]])

c = np.dot(a, b)
print(c)

出力結果:

lua

[[19 22]
[43 50]]

NumPyを使用すると、様々な数値計算を簡単に行うことができます。NumPyには、線形代数、フーリエ変換、乱数生成などの高度な機能もあります。

Pandasを用いたデータ操作

Pandasは、Pythonでのデータ操作を支援するライブラリで、特に表形式のデータを扱うために開発されています。以下は、Pandasを用いたデータ操作の一例です。

１．データの読み込み

Pandasは、CSV、Excel、JSON、HTML、SQL、テキストなどのファイル形式からデータを読み込むことができます。たとえば、CSVファイルからデータを読み込む場合は、以下のようにします。python

import pandas as pd

data = pd.read_csv(‘data.csv’)

２．データの表示

データを表示するには、Pandasのhead()、tail()、sample()などのメソッドを使うことができます。たとえば、最初の5行を表示する場合は、以下のようにします。

python

print(data.head())

３．データの選択

Pandasでは、列や行を指定してデータを選択することができます。たとえば、[‘列名’]やloc[]を用いることで、列名や行ラベルを指定してデータを選択することができます。以下は、列名が’列名1’と’列名2’の列のデータを選択する例です。

python

data_selected = data[[‘列名1’, ‘列名2’]]

４．データの操作

Pandasでは、データを操作するための多数のメソッドが用意されています。たとえば、groupby()を使うことで、データをグループ化することができます。以下は、’列名’をキーにしてグループ化し、’列名2’の平均値を計算する例です。python

data_grouped = data.groupby(‘列名’).mean()[‘列名2’]

５．データの出力

Pandasは、CSV、Excel、JSON、HTML、SQL、テキストなどのファイル形式にデータを書き出すことができます。たとえば、CSVファイルにデータを書き出す場合は、以下のようにします。

python

data.to_csv(‘output.csv’)

また、Pandasを用いたデータの出力方法として、以下のようなものがあります。

  1. to_csv()
    to_csv()は、PandasのデータフレームをCSVファイルに変換するメソッドです。以下は、データフレームをCSVファイルに出力する例です。

python

import pandas as pd

＃データフレームの作成
df = pd.DataFrame({‘name’: [‘Alice’, ‘Bob’, ‘Charlie’], ‘age’: [24, 32, 45]})

＃CSVファイルに出力
df.to_csv(‘data.csv’, index=False)

第一引数には出力先のファイルパスを指定します。上記の例では、data.csvというファイル名で出力されます。index=Falseとすることで、行番号を出力しないように指定しています。

  1. to_excel()
    to_excel()は、PandasのデータフレームをExcelファイルに変換するメソッドです。以下は、データフレームをExcelファイルに出力する例です、

python

import pandas as pd

#データフレームの作成
df = pd.DataFrame({‘name’: [‘Alice’, ‘Bob’, ‘Charlie’], ‘age’: [24, 32, 45]})

#Excelファイルに出力
df.to_excel(‘data.xlsx’, index=False)

第一引数には出力先のファイルパスを指定します。上記の例では、data.xlsxというファイル名で出力されます。index=Falseとすることで、行番号を出力しないように指定しています。

  1. to_sql()
    to_sql()は、Pandasのデータフレームをデータベースのテーブルに変換するメソッドです。以下は、データフレームをSQLiteデータベースのテーブルに出力する例です。

python

import pandas as pd
import sqlite3

#SQLiteデータベースに接続
conn = sqlite3.connect(‘sample.db’)

#データフレームの作成
df = pd.DataFrame({‘name’: [‘Alice’, ‘Bob’, ‘Charlie’], ‘age’: [24, 32, 45]})

#データベースのテーブルに出力
df.to_sql(‘users’, conn, if_exists=’replace’, index=False)

第一引数にはテーブル名を指定します。connは、sqlite3モジュールを用いてSQLiteデータベースに接続したオブジェクトです。if_exists=’replace’とすることで、テーブルがすでに存在する場合は、そのテーブルを削除して新しく作り直すように指定しています。index=Falseとすることで、インデックスが書き込まれません。

６．データのマージと結合

merge() 関数や join() 関数を用いることで、複数の DataFrame を結合できます。merge()
merge() 関数は2つの DataFrame を指定した列をキーとして結合することができます。

python

import pandas as pd

df1 = pd.DataFrame({‘key’: [‘A’, ‘B’, ‘C’, ‘D’], ‘value’: [1, 2, 3, 4]})
df2 = pd.DataFrame({‘key’: [‘B’, ‘D’, ‘E’, ‘F’], ‘value’: [5, 6, 7, 8]})

merged_df = pd.merge(df1, df2, on=’key’)
print(merged_df)

出力:

css

key value_x value_y
0 B 2 5
1 D 4 6

上記の例では、key 列をキーとして df1 と df2 を結合しています。結合された DataFrame には、キーが ‘B’ と ‘D’ の行のみが含まれています。join()join() 関数は、2つの DataFrame を結合する際に、列名が同じ列をキーとして結合することができます。ただし、join() 関数は merge() 関数と比較して柔軟性に欠けるため、merge() 関数の使用が推奨されます。python

import pandas as pd

df1 = pd.DataFrame({‘value1’: [1, 2, 3, 4], ‘value2’: [5, 6, 7, 8]}, index=[‘A’, ‘B’, ‘C’, ‘D’])
df2 = pd.DataFrame({‘value2’: [9, 10, 11, 12], ‘value3’: [13, 14, 15, 16]}, index=[‘B’, ‘D’, ‘E’, ‘F’])

joined_df = df1.join(df2, lsuffix=’_left’, rsuffix=’_right’)
print(joined_df)

出力:

r

value1 value2_left value2_right value3
A 1 5 NaN NaN
B 2 6 9.0 13.0
C 3 7 NaN NaN
D 4 8 10.0 14.0

上記の例では、value2 列をキーとして df1 と df2 を結合しています。結合された DataFrame には、キーが ‘B’ と ‘D’ の行が含まれており、それぞれの行のデータが結合されています。また、join() 関数は、同じ列名を持つ列については、接尾辞が自動的に追加されます。

７．データの集計

Pandasは、データの集計に役立つ多くの関数を提供しています。

グループ化

Pandasの groupby 関数を使用すると、データをグループ化して集計することができます。例えば、あるカラムに基づいてデータをグループ化して、別のカラムの合計値を求めることができます。python

df.groupby(‘column_name’)[‘other_column_name’].sum()

このコードは、column_name カラムでグループ化した後、other_column_name カラムの合計値を求めます。

ピボットテーブル

Pandasの pivot_table 関数を使用すると、データをピボットテーブルとして集計することができます。例えば、あるカラムを行名、別のカラムを列名、あるカラムの合計値をセルにすることができます。python

pd.pivot_table(df, values=’column_name’, index=’row_name’, columns=’column_name’, aggfunc=np.sum)

このコードは、row_name を行名、column_name を列名、column_name の合計値をセルにするピボットテーブルを作成します。

重複の削除

Pandasの drop_duplicates 関数を使用すると、データから重複した行を削除することができます。python

df.drop_duplicates()

このコードは、データから重複した行を削除します。

欠損値の処理

Pandasは、欠損値を扱うための多くの関数を提供しています。例えば、欠損値を含む行を削除したり、欠損値を他の値で置換したりすることができます。python

df.dropna() # 欠損値を含む行を削除
df.fillna(value) # 欠損値を value で置換

このコードは、それぞれ欠損値を含む行を削除し、欠損値を value で置換します。

おわりに

これはPandasの基本的な機能のごく一部であり、実際にはより多くの機能があります。しかし、このチュートリアルで学んだことを基礎として、Pandasを使ったデータ処理を行うことができるようになるはずです。

2.3 MatplotlibとSeabornの概要について

MatplotlibとSeabornの概要

MatplotlibとSeabornは、Pythonでデータ可視化を行うためのライブラリです。

Matplotlibは、グラフの作成やカスタマイズに優れた機能を持っており、科学技術計算やデータ分析に広く使われています。Matplotlibは、折れ線グラフ、散布図、棒グラフ、ヒストグラムなど、様々な種類のグラフを作成できます。また、グラフのフォントやラベル、軸の範囲など、詳細なカスタマイズが可能です。

Seabornは、Matplotlibをベースにした高水準のインターフェースを提供し、より美しいデフォルトのスタイルとカラーパレットを備えています。Seabornは、Matplotlibよりも簡単に美しいグラフを作成できるため、ビジュアライゼーションに特化したアプリケーションで広く使用されています。

どちらのライブラリも、Pythonの科学技術計算やデータ分析において、強力で必要不可欠なライブラリとなっています。

Matplotlibについて

Matplotlibは、Pythonのデータ可視化ライブラリであり、グラフの描画やカスタマイズ、アニメーションなど、多様な機能を提供しています。Matplotlibは、NumPyやpandasなどのライブラリと組み合わせて使用されることが多いです。

Matplotlibを使用するには、まずmatplotlibパッケージをインストールする必要があります。次に、Matplotlibをインポートし、グラフを作成するためのいくつかのメソッドを使用します。以下は、Matplotlibを使用して折れ線グラフを作成する基本的な例です。

pythonCopy codeimport matplotlib.pyplot as plt

# データの作成
x = [1, 2, 3, 4, 5]
y = [2, 4, 6, 8, 10]

# 折れ線グラフの作成
plt.plot(x, y)

# グラフのタイトルと軸ラベルを設定
plt.title("Sample Line Graph")
plt.xlabel("X-axis")
plt.ylabel("Y-axis")

# グラフを表示
plt.show()

この例では、plt.plot()メソッドを使用して、xとyのリストを折れ線グラフとして描画しています。次に、plt.title()、plt.xlabel()、plt.ylabel()を使用してグラフのタイトルや軸ラベルを設定しています。最後に、plt.show()メソッドを呼び出してグラフを表示します。

Matplotlibには、棒グラフ、ヒストグラム、散布図、等高線図、ヒートマップなど、多様なグラフの種類があり、カスタマイズのための機能も豊富に用意されています。

Seabornについて

Seabornは、Pythonのデータ可視化ライブラリであり、Matplotlibをベースにしているため、Matplotlibよりも高度な可視化が可能です。

Seabornは、標準的なグラフ作成に加えて、カテゴリーデータの可視化、回帰分析、データの分布の可視化、時系列データの可視化、マルチプロットグラフの作成など、多彩な機能を提供しています。

また、SeabornはMatplotlibと同様に、グラフのスタイルや色調、データの分布に基づく色分け、相関行列のヒートマップなどの高度なカスタマイズも可能です。

Seabornは、データ分析において、特に機械学習において、データの可視化を行うためによく使用されます。Seabornは、Numpy、Pandas、Scipy、Scikit-learnなどのデータサイエンス用ライブラリと組み合わせて使用することができます。

具体的な使い方

１．Seabornをインストールする

　　pip install seaborn

２．Seabornを使う前に、必要なライブラリをインポートする

  • import seaborn as sns
  • import matplotlib.pyplot as plt

３．データを用意する

　　Seabornでは、Pandasのデータフレーム形式でデータを用意するのが一般的です。

４．グラフを描画する

Seabornでは、主に以下の種類のグラフを描画することができます。

  • 散布図: sns.scatterplot()
  • ヒストグラム: sns.histplot()
  • 箱ひげ図: sns.boxplot()
  • 折れ線グラフ: sns.lineplot()
  • 棒グラフ: sns.barplot()
  • ヒートマップ: sns.heatmap()

上記の関数にデータを渡してグラフを描画することができます。

５．グラフのカスタマイズ

  • Seabornでは、描画したグラフを細かくカスタマイズすることができます。
  • グラフのタイトル、軸ラベル、凡例、目盛りなどを変更することができます。

６．グラフの保存

  • plt.savefig()を使って、描画したグラフを画像として保存することができます。

上記の手順を参考に、実際にSeabornを使ったグラフの描画やカスタマイズを行うことができます。

グラフの描画とカスタマイズについて

Seabornを使ってグラフを描画する場合、通常以下のような手順になります。

１．データを用意する。
２．描画したい種類のグラフを選ぶ。
３．グラフを描画する。
４．グラフをカスタマイズする。

以下、具体的な手順を説明します。

１．データを用意する

まず、描画したいデータを用意します。Pandas DataFrameやNumPy配列などがよく使われます。

python

import seaborn as sns
import pandas as pd

＃ データの用意
df = pd.read_csv(“data.csv”)
x = df[“x”]
y = df[“y”]

２．描画したい種類のグラフを選ぶ

Seabornでは、様々な種類のグラフを描画することができます。
例えば、以下のようなグラフがあります。

  • 散布図: sns.scatterplot()
  • 折れ線グラフ: sns.lineplot()
  • 棒グラフ: sns.barplot()
  • ヒストグラム: sns.histplot()
  • 箱ひげ図: sns.boxplot()
  • バイオリンプロット: sns.violinplot()
  • ヒートマップ: sns.heatmap()

３．グラフを描画する

選んだグラフを描画します。引数には、データを指定するだけでなく、様々なカスタマイズが可能です。

python

＃ 散布図を描画
sns.scatterplot(x=x, y=y)

４．グラフをカスタマイズする

描画したグラフをカスタマイズすることができます。以下に、よく使われるカスタマイズの例を示します。

  • タイトルを設定する: plt.title()
  • X軸・Y軸のラベルを設定する: plt.xlabel(), plt.ylabel()
  • 軸の範囲を指定する: plt.xlim(), plt.ylim()
  • 軸目盛を指定する: plt.xticks(), plt.yticks()
  • 凡例を表示する: plt.legend()
  • グラフの背景色を変える: sns.set_style()
  • グラフのタイトルや軸ラベル、凡例の設定
  • 軸の範囲の設定、目盛りの間隔の設定、目盛りのラベルの設定
  • プロットのスタイルの設定、例えば線の太さや色、点の形状など
  • 背景色、グリッド線の表示の有無の設定

例えば、以下のようにしてタイトルや軸ラベル、凡例を設定できます。

python

import matplotlib.pyplot as plt
import numpy as np

# データを生成
x = np.linspace(0, 10, 100)
y1 = np.sin(x)
y2 = np.cos(x)

# グラフを描画
plt.plot(x, y1, label=”sin(x)”)
plt.plot(x, y2, label=”cos(x)”)
plt.title(“Sine and cosine functions”) # グラフのタイトルを設定
plt.xlabel(“x”) # x軸のラベルを設定
plt.ylabel(“y”) # y軸のラベルを設定
plt.legend() # 凡例を表示
plt.show()

また、以下のようにして背景色やグリッド線の表示を設定できます。

python

import matplotlib.pyplot as plt
import numpy as np

# データを生成
x = np.linspace(0, 10, 100)
y = np.sin(x)

# グラフを描画
plt.plot(x, y)
plt.title(“Sine function”)
plt.xlabel(“x”)
plt.ylabel(“y”)

# 背景色を設定
plt.rcParams[“figure.facecolor”] = “w”

#グリッド線を表示
plt.grid()
plt.show()

その他にも、Matplotlibにはさまざまなカスタマイズ方法が用意されていますので、必要に応じて調べてみるとよいでしょう。

コメント

タイトルとURLをコピーしました