[matplotlib animation] 74. テンプレートマッチングによる物体追跡アニメーション

はじめに

matplotlibのFuncAnimationでscikit-imageのテンプレートマッチングで物体追跡をしたアニメーションを表示する。

動画からの画像データの抽出は下記記事と同様にして行った。

動画データには、chrome://dinoで遊べることができるゲームをスマートフォン上でキャプチャしたもの用いた。
取り出した画像の枚数と動画のメタデータは下記のようになる。
なお、vid.close()をしておかないとメモリ不足になる可能性がある。

画像の入ったリストは扱いやすくするためにnp.array()に変換する。
最初の画像をrgb2grayでグレースケールに変換して、表示すると下記のようになる。

テンプレートマッチングによる物体追跡については下記記事で解説した。

テンプレート画像には上の画像を用いる。

x, yは最も適合度の高い座標となる。

左がテンプレート画像で、右上が元画像でマッチングした部分に緑四角を表示した。
右下はテンプレートマッチングの結果をカラーマップで示していて、マッチングしている部分だけ強度が高く、赤色になっていることがわかる（円で囲んだ部分）。

最初に、からのリストを作成する。
最初の画像から順次テンプレートマッチングを行い、その最大値を取得してリストに追加していく。

このときの最大値の変化は下図のようになる。0.9をしきい値として、最大値の値が0.9より大きい場合だけ、最大値の座標を取得し、リストに流し込んでいく。0.9以下の場合はnp.nanをリストに追加する。

テンプレートマッチング結果の表示のときと同じように、最初の画像と適合する位置に緑四角を表示する。

最初に画像をいれるリスト（imgss）を作成しておく。
imgss.pop().remove()などは、リスト内にある画像を消去することを意味する。つまり画像を消して表示するを繰り返してアニメーションを作成する。

移動する物体に追従するために緑四角を動かす。動かすには、rect.set_xy()で新しい座標を入れてやれば良い。

FuncAnimationでアニメーションを表示する。元動画と同じ60 fpsになるようにintervalを調整した。
HTML(ani.to_html5_video())により、jupyter notebook またはjupyter lab上にアニメーションを表示できる。

ani.save(‘ファイル名’, writer=”ffmpeg”,dpi=100)でアニメーションをMP4形式で保存することができる。