Object detection

オブジェクト検出は、画像内のインスタンス (人間、建物、車など) を検出するコンピューター ビジョン タスクです。物体検出モデルは画像を入力および出力として受け取ります 検出されたオブジェクトの境界ボックスと関連するラベルの座標。画像には複数のオブジェクトを含めることができます。 それぞれに独自の境界ボックスとラベルがあり (例: 車と建物を持つことができます)、各オブジェクトは 画像のさまざまな部分に存在する必要があります (たとえば、画像には複数の車が含まれている可能性があります)。 このタスクは、歩行者、道路標識、信号機などを検出するために自動運転で一般的に使用されます。 他のアプリケーションには、画像内のオブジェクトのカウント、画像検索などが含まれます。

このガイドでは、次の方法を学習します。

1. Finetune DETR、畳み込みアルゴリズムを組み合わせたモデル CPPE-5 上のエンコーダー/デコーダー トランスフォーマーを備えたバックボーン データセット。
2. 微調整したモデルを推論に使用します。

始める前に、必要なライブラリがすべてインストールされていることを確認してください。

pip install -q datasets transformers evaluate timm albumentations

🤗 データセットを使用して Hugging Face Hub からデータセットをロードし、🤗 トランスフォーマーを使用してモデルをトレーニングします。 データを増強するためのalbumentations。 timm は現在、DETR モデルの畳み込みバックボーンをロードするために必要です。

モデルをコミュニティと共有することをお勧めします。 Hugging Face アカウントにログインして、ハブにアップロードします。 プロンプトが表示されたら、トークンを入力してログインします。

Load the CPPE-5 dataset

CPPE-5 データセット には、次の画像が含まれています。 新型コロナウイルス感染症のパンデミックにおける医療用個人保護具 (PPE) を識別する注釈。

データセットをロードすることから始めます。

このデータセットには、1000 枚の画像を含むトレーニング セットと 29 枚の画像を含むテスト セットがすでに付属していることがわかります。

データに慣れるために、例がどのようなものかを調べてください。

データセット内の例には次のフィールドがあります。

• image_id: サンプルの画像ID
• image: 画像を含む PIL.Image.Image オブジェクト
• width: 画像の幅
• height: 画像の高さ
• objects: 画像内のオブジェクトの境界ボックスのメタデータを含む辞書:
  • id: アノテーションID
  • area: 境界ボックスの領域
  • bbox: オブジェクトの境界ボックス (COCO 形式 )
  • category: オブジェクトのカテゴリー。可能な値には、Coverall (0)、Face_Shield (1)、Gloves (2)、Goggles (3)、および Mask (4) が含まれます。

bboxフィールドが COCO 形式に従っていることに気づくかもしれません。これは DETR モデルが予期する形式です。 ただし、「オブジェクト」内のフィールドのグループ化は、DETR が必要とする注釈形式とは異なります。あなたはするであろう このデータをトレーニングに使用する前に、いくつかの前処理変換を適用する必要があります。

データをさらに深く理解するには、データセット内の例を視覚化します。

関連付けられたラベルを使用して境界ボックスを視覚化するには、データセットのメタデータからラベルを取得します。 categoryフィールド。 また、ラベル ID をラベル クラスにマッピングする辞書 (id2label) やその逆 (label2id) を作成することもできます。 これらは、後でモデルをセットアップするときに使用できます。これらのマップを含めると、共有した場合に他の人がモデルを再利用できるようになります。 ハグフェイスハブに取り付けます。

データに慣れるための最後のステップとして、潜在的な問題がないかデータを調査します。データセットに関する一般的な問題の 1 つは、 オブジェクト検出は、画像の端を越えて「伸びる」境界ボックスです。このような「暴走」境界ボックスは、 トレーニング中にエラーが発生するため、この段階で対処する必要があります。このデータセットには、この問題に関する例がいくつかあります。 このガイドでは内容をわかりやすくするために、これらの画像をデータから削除します。

Preprocess the data

モデルを微調整するには、事前トレーニングされたモデルに使用されるアプローチと正確に一致するように、使用する予定のデータを前処理する必要があります。 AutoImageProcessor は、画像データを処理して pixel_values、pixel_mask、および DETR モデルをトレーニングできる「ラベル」。画像プロセッサには、心配する必要のないいくつかの属性があります。

• image_mean = [0.485, 0.456, 0.406 ]
• image_std = [0.229, 0.224, 0.225]

これらは、モデルの事前トレーニング中に画像を正規化するために使用される平均と標準偏差です。これらの価値観は非常に重要です 事前にトレーニングされた画像モデルを推論または微調整するときに複製します。

微調整するモデルと同じチェックポイントからイメージ プロセッサをインスタンス化します。

画像をimage_processorに渡す前に、2 つの前処理変換をデータセットに適用します。

• 画像の拡張
• DETR の期待に応えるための注釈の再フォーマット

まず、モデルがトレーニング データにオーバーフィットしないようにするために、任意のデータ拡張ライブラリを使用して画像拡張を適用できます。ここではAlbumentationsを使用します... このライブラリは、変換が画像に影響を与え、それに応じて境界ボックスを更新することを保証します。 🤗 データセット ライブラリのドキュメントには、詳細な 物体検出用に画像を拡張する方法に関するガイド が記載されています。 例としてまったく同じデータセットを使用しています。ここでも同じアプローチを適用し、各画像のサイズを (480, 480) に変更します。 水平に反転して明るくします。

image_processor は、注釈が次の形式であることを期待します: {'image_id': int, 'annotations': list[Dict]}, ここで、各辞書は COCO オブジェクトの注釈です。 1 つの例として、注釈を再フォーマットする関数を追加してみましょう。

>>> def formatted_anns(image_id, category, area, bbox):
...     annotations = []
...     for i in range(0, len(category)):
...         new_ann = {
...             "image_id": image_id,
...             "category_id": category[i],
...             "isCrowd": 0,
...             "area": area[i],
...             "bbox": list(bbox[i]),
...         }
...         annotations.append(new_ann)

...     return annotations

これで、画像と注釈の変換を組み合わせてサンプルのバッチで使用できるようになりました。

🤗 Datasets with_transform メソッドを使用して、この前処理関数をデータセット全体に適用します。この方法が適用されるのは、 データセットの要素を読み込むときに、その場で変換します。

この時点で、データセットの例が変換後にどのようになるかを確認できます。テンソルが表示されるはずです pixel_values、テンソルと pixel_mask、および labels を使用します。

個々の画像を正常に拡張し、それらの注釈を準備しました。ただし、前処理はそうではありません。 まだ完成しています。最後のステップでは、画像をバッチ処理するためのカスタム collat​​e_fn を作成します。 画像 (現在は pixel_values) をバッチ内の最大の画像にパディングし、対応する pixel_mask を作成します どのピクセルが実数 (1) で、どのピクセルがパディング (0) であるかを示します。

Training the DETR model

前のセクションで重労働のほとんどを完了したので、モデルをトレーニングする準備が整いました。 このデータセット内の画像は、サイズを変更した後でも依然として非常に大きいです。これは、このモデルを微調整すると、 少なくとも 1 つの GPU が必要です。

トレーニングには次の手順が含まれます。

1. 前処理と同じチェックポイントを使用して、AutoModelForObjectDetection でモデルを読み込みます。
2. TrainingArguments でトレーニング ハイパーパラメータを定義します。
3. トレーニング引数をモデル、データセット、画像プロセッサ、データ照合器とともに Trainer に渡します。
4. train() を呼び出してモデルを微調整します。

前処理に使用したのと同じチェックポイントからモデルをロードするときは、必ずlabel2idを渡してください。 および id2label マップは、以前にデータセットのメタデータから作成したものです。さらに、ignore_mismatched_sizes=Trueを指定して、既存の分類頭部を新しい分類頭部に置き換えます。

TrainingArguments で、output_dir を使用してモデルの保存場所を指定し、必要に応じてハイパーパラメーターを構成します。 画像列が削除されるため、未使用の列を削除しないことが重要です。画像列がないと、 pixel_values を作成できません。このため、remove_unused_columnsをFalseに設定します。 ハブにプッシュしてモデルを共有したい場合は、push_to_hub を True に設定します (Hugging にサインインする必要があります) 顔に向かってモデルをアップロードします）。

最後に、すべてをまとめて、train() を呼び出します。

training_argsでpush_to_hubをTrueに設定した場合、トレーニング チェックポイントは ハグフェイスハブ。トレーニングが完了したら、push_to_hub() メソッドを呼び出して、最終モデルもハブにプッシュします。

Evaluate

物体検出モデルは通常、一連の COCO スタイルの指標を使用して評価されます。 既存のメトリクス実装のいずれかを使用できますが、ここではtorchvisionのメトリクス実装を使用して最終的なメトリクスを評価します。 ハブにプッシュしたモデル。

torchvisionエバリュエーターを使用するには、グラウンド トゥルース COCO データセットを準備する必要があります。 COCO データセットを構築するための API データを特定の形式で保存する必要があるため、最初に画像と注釈をディスクに保存する必要があります。と同じように トレーニング用にデータを準備するとき、cppe5["test"] からの注釈をフォーマットする必要があります。ただし、画像 そのままでいるべきです。

評価ステップには少し作業が必要ですが、大きく 3 つのステップに分けることができます。 まず、cppe5["test"] セットを準備します。注釈をフォーマットし、データをディスクに保存します。

次に、cocoevaluatorで利用できるCocoDetectionクラスのインスタンスを用意します。

最後に、メトリクスをロードして評価を実行します。

これらの結果は、TrainingArguments のハイパーパラメータを調整することでさらに改善できます。試してごらん！

Inference

DETR モデルを微調整して評価し、Hugging Face Hub にアップロードしたので、それを推論に使用できます。 推論用に微調整されたモデルを試す最も簡単な方法は、それを pipeline() で使用することです。パイプラインをインスタンス化する モデルを使用してオブジェクトを検出し、それに画像を渡します。

必要に応じて、パイプラインの結果を手動で複製することもできます。

結果をプロットしてみましょう: