バギング（Bagging）は、Bootstrap Aggregatingの略称で、機械学習において予測誤差を削減する効果的な手法です。この手法は、元のデータ集合からブートストラップ・サンプルを作成し、それぞれで学習したモデルの予測値を平均化します。

バギングの特徴

分散の減少: 複数のモデルの予測値を平均化することで、個々のモデルの分散を抑制し、安定した予測を実現します。
過剰適合の抑制: ブートストラップサンプリングにより、異なるデータセットで学習を行うため、過剰適合のリスクを低減します。
関数の平滑化: 不安定な関数をより安定したものに変換します。
モデルの多様性: 異なるサブセットで学習することで、多様なモデルが生成され、予測の頑健性が向上します。

代表的な応用と変種

ベイズ版バギング：ベイズ・ブートストラップに基づき、より効率的なモデル平均化を実現します（Clyde & Lee, 2001）。
Subagging：計算効率を向上させた代替手法です（Bühlmann & Yu, 2001）。
デザイン・バギング：従来のバギングを改良した手法です（Papakonstantinou ら, 2014）。
ランダムフォレスト：バギングと決定木を組み合わせた強力なアンサンブル手法です（Breiman, 2001）。

バギングの適用範囲

バギングは以下のような状況で特に効果を発揮します：

高次元データにおける不安定な推定量や分類器の改善（Bühlmann & Yu, 2001）
決定木など、難しい決定問題での分散と平均二乗誤差の削減（Frank & Pfahringer, 2006）
ノイズの多いデータ、特に境界のラベルノイズへの対処（Sáez & Romero-Béjar, 2022）
大規模データセットにおける予測精度の向上（Breiman, 1996）

注意点：

小規模データセットでは、不連続なパーティションを用いた分類器の方が効果的な場合があります（Chawla et al., 2001）。
推定量のバイアスが約2倍になる可能性があります（Hall & Chen, 2003）。
計算コストが高くなる可能性があるため、リソースの制約に注意が必要です。

データ前処理の重要性

バギングを含むアンサンブル学習手法の性能向上には、適切なデータ前処理が不可欠です：

欠損データ、クラスノイズ、クラス不均衡への対処（Yüksel Özkan ら, 2022）
特徴選択とK-meansクラスタリングを用いたハイブリッドモデル（Sumana & Santhanam, 2015）
不均衡データセットに対するSplit Balancing（sBal）手法（Halimu & Kasem, 2021）
特定のアプリケーションに適した変換技術の適用（例：木材の節検出におけるヒルベルト変換とガボールフィルター）（Mohan & Venkatachalapathy, 2012）
データの正規化や標準化による特徴のスケーリング

バギングの実装と評価

バギングを実装する際の一般的なステップ：

ブートストラップサンプルの生成
各サンプルに対する基本モデルの学習
予測時の各モデルの結果の集約（分類では多数決、回帰では平均）

評価指標：

分類問題：精度、F1スコア、AUC-ROC
回帰問題：平均二乗誤差（MSE）、平均絶対誤差（MAE）

バギング：コードとパラメータの解説

ここでは、scikit-learn を使用してバギングを実装する方法と主要なパラメータについて説明します。

基本的な実装


from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# サンプルデータの生成
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# バギング分類器の初期化
bagging = BaggingClassifier(
    base_estimator=DecisionTreeClassifier(),
    n_estimators=10,
    max_samples=0.8,
    max_features=0.8,
    bootstrap=True,
    bootstrap_features=False,
    random_state=42
)

# モデルの学習
bagging.fit(X_train, y_train)

# 予測
y_pred = bagging.predict(X_test)

# 精度の評価
from sklearn.metrics import accuracy_score
print(f"Accuracy: {accuracy_score(y_test, y_pred)}")

主要なパラメータ

base_estimator: 基本となる分類器または回帰器。デフォルトは決定木。
n_estimators: 生成する基本推定器の数。デフォルトは10。
max_samples: 各基本推定器の学習に使用するサンプル数。浮動小数点数の場合は割合として解釈。
max_features: 各基本推定器で考慮する特徴量の数。浮動小数点数の場合は割合として解釈。
bootstrap: サンプルの抽出を置換ありで行うかどうか。
bootstrap_features: 特徴量の抽出を置換ありで行うかどうか。

注意： パラメータの最適な値は問題や使用するデータセットによって異なります。グリッドサーチやランダムサーチなどを使用して、最適なパラメータを見つけることをお勧めします。

パラメータチューニングの例


from sklearn.model_selection import GridSearchCV

param_grid = {
    'n_estimators': [10, 50, 100],
    'max_samples': [0.5, 0.8, 1.0],
    'max_features': [0.5, 0.8, 1.0]
}

grid_search = GridSearchCV(bagging, param_grid, cv=5, n_jobs=-1)
grid_search.fit(X_train, y_train)

print(f"Best parameters: {grid_search.best_params_}")
print(f"Best score: {grid_search.best_score_}")

この例では、GridSearchCV を使用して最適なパラメータを探索しています。n_jobs=-1 を指定することで、利用可能なすべてのCPUコアを使用して並列処理を行います。

バギングは、その柔軟性と効果的な誤差削減能力により、多くの機械学習タスクで重要な役割を果たしています。パラメータを適切に調整することで、モデルの性能をさらに向上させることができます。

バギングの応用コード例

1. 回帰問題でのバギング


from sklearn.ensemble import BaggingRegressor
from sklearn.tree import DecisionTreeRegressor
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# データの生成
X, y = make_regression(n_samples=1000, n_features=20, noise=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# バギング回帰器の初期化と学習
bagging_regressor = BaggingRegressor(
    base_estimator=DecisionTreeRegressor(),
    n_estimators=10,
    random_state=42
)
bagging_regressor.fit(X_train, y_train)

# 予測と評価
y_pred = bagging_regressor.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse}")

2. 異なる基本推定器を使用したバギング


from sklearn.ensemble import BaggingClassifier
from sklearn.svm import SVC
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# データのロード
data = load_breast_cancer()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# SVMを基本推定器としたバギング分類器
bagging_svm = BaggingClassifier(
    base_estimator=SVC(),
    n_estimators=10,
    random_state=42
)
bagging_svm.fit(X_train, y_train)

# 予測と評価
y_pred = bagging_svm.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")

3. 特徴量の重要度を考慮したバギング


from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import numpy as np
import matplotlib.pyplot as plt

# データのロード
iris = load_iris()
X, y = iris.data, iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# バギング分類器の初期化と学習
bagging = BaggingClassifier(
    base_estimator=DecisionTreeClassifier(),
    n_estimators=100,
    random_state=42
)
bagging.fit(X_train, y_train)

# 特徴量の重要度の計算
importances = np.mean([tree.feature_importances_ for tree in bagging.estimators_], axis=0)

# 特徴量の重要度の可視化
plt.bar(range(X.shape[1]), importances)
plt.title("Feature Importances in Bagging")
plt.xlabel("Feature Index")
plt.ylabel("Average Importance")
plt.show()

注意： これらの例は基本的な使用方法を示しています。実際のアプリケーションでは、データの前処理、クロスバリデーション、ハイパーパラメータのチューニングなどの追加のステップが必要になる場合があります。

これらの例は、バギングを異なるシナリオで適用する方法を示しています。回帰問題、異なる基本推定器の使用、特徴量の重要度の分析など、バギングの柔軟性を活かした応用例を提供しています。実際のプロジェクトでは、これらの基本的なアプローチを出発点として、問題に特化したカスタマイズを行うことができます。

neko_apprenticeのブログ

バギング：機械学習におけるアンサンブル学習手法