JP4686773B2

JP4686773B2 - 動体認識方法および動体認識装置

Info

Publication number: JP4686773B2
Application number: JP2005176987A
Authority: JP
Inventors: 淳司福戸; 伸夫桐谷
Original assignee: National Maritime Research Institute
Current assignee: National Maritime Research Institute
Priority date: 2005-06-16
Filing date: 2005-06-16
Publication date: 2011-05-25
Anticipated expiration: 2025-06-16
Also published as: JP2008107857A

Description

本発明は、動画映像から動く対象物をリアルタイムに自動抽出して認識する動体認識方法及び装置に関するものである。

リモートセンシング技術、あるいは画像処理技術の分野において、動体抽出・認識は重要な技術要素として一般的に広く認知されている。特に近年ではセキュリティ問題への関心の高まりに応じて動体抽出技術、特にリアルタイム処理を前提とした動画映像の処理において重要な位置を占めるものとなっている。例えば、陸上建物のセキュリティ用監視カメラなどでは、既に自動動体抽出・認識機能を本体に付加したビデオカメラなども民生品として提供されているのが現状である。言うまでもなく、船舶においても周辺海域を航行する他船の動静を認知することは重要であり、レーダＡＲＰＡ装置や目視観測による海上監視業務が昼夜行われている。光学センサ情報を用いた航行船舶の抽出・認識技術については、これまでも鈴木や新保らによっても進められ、種々の技術的な提言や実海域観測データを用いた解析により有用な成果を上げている（非特許文献１、非特許文献２、非特許文献３）。

図２は、航行障害検出システムの画像センサによる観測中にカメラ視線が船体運動によって移動した状況を遠景背景の山稜を手掛かりとして評価した結果である。図に示されるように観測時間内において、画面が船体運動により約５０［Ｐｉｘｅｌ］移動すると同時に約２０［Ｐｉｘｅｌ］の上下動があったことが明らかとなっている。また当然のことながら、この間に海表面もまた波や太陽光反射などによって変化を続けている。このような環境条件は、画像処理による動体抽出・認識の実行において大きな障害となることは言うまでもない。陸上におけるセキュリティ・システムでは、変動の少ない背景画像の中に例えば侵入者などを認識することを前提としているため、海上観測画像が持つ特性は想定外のものとなる。

ここで、海上観測画像には次のような特性がある。
（１）観測カメラの動揺：観測カメラは船舶へ搭載されるため船体運動により上下・左右方向移動と回転・傾きなど、常に動揺条件にある。
（２）背景の変動：背景画像の大半を占めるものは海水面であり、波による変動が常に存在する。また太陽光反射による雑音条件を持つ。
従って海上観測画像を使った動体抽出・認識処理の実現のためには、これらの障害条件を充分に考慮した処理システムの構築が重要な要件となる。

動体抽出の基本アルゴリズムと処理技術としては、フレーム間差分とオプティカルフローが知られている。
時系列連続画像である動画映像に対する動体抽出技術としては、フレーム間差分を利用した動体抽出技術は最も基本的な手法（非特許文献４、非特許文献５）であり、アルゴリズムとして計算負荷が軽いため、リアルタイム処理を指向する場合に有効な手段となるものである。概念的に言うならば、差分画像ｄ（ｘ，ｙ）とは、２枚の連続画像ｆ（ｘ，ｙ）とｇ（ｘ，ｙ）の差分によって得られるものであり、基本的には次式によって定義される。

［数１］ｄ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｇ（ｘ，ｙ）

フレーム間差分による動体抽出では、数１の式で示されるように２枚以上の画像を使用するが、大別するならば以下のように整理される。
（１）対象動体の無い背景画像をベース画像として保持し、それに対して侵入物のある最新画像を差分処理する。
（２）２枚、あるいは３枚の連続画像を使ってフレーム間差分を実行する。
（１）、（２）いずれにしても計算手順は単純であることから、リアルタイム処理を指向する場合に使い勝手が良い手法である。
フレーム間差分を利用した動体抽出は、対象画像内で移動した部分を認識するが、どの部分がどの方向にどのような速度で移動しているかを直接求めるものではない。

これに対してオプティカルフローは、フレーム内の画素の速度ベクトルを直接求めるものと位置付けられる。
オプティカルフローを求める代表的な方法としては、勾配法やブロックマッチングによるフレーム間での対応点決定などがある。例えば勾配法は、対応点の明るさは移動後も変化しないとする仮定を基にして、時空間微分とオプティカルフローとの関係を導き出して対応点の動きを推定するものである。すなわち時刻ｔにおけるフレーム内で位置（ｘ，ｙ）を持つ画素の明るさをｆ（ｘ，ｙ，ｔ）とするならば、微少時間ｄｔの過ぎた移動後も明るさが変化しないとして、数２の式が成立する関係を持つ。

［数２］
ｆ（ｘ，ｙ，ｔ）＝ｆ（ｘ＋ｄｘ，ｙ＋ｄｙ，ｔ＋ｄｔ）

このような関係式に基づき、フレーム内の全ての画素の速度ベクトルを直接求める手法が、オプティカルフローである。
動体抽出技術として、これらの手法は最も基本的で広く認知されているが、リアルタイム処理を指向する観点からはフレーム間差分手法が適している。

鈴木充雄・大島正毅、船上からの時系列画像を用いた航行船舶の検出実験、日本航海学会論文集、Ｎｏ．１００、ｐｐ．１３-１９、１９９９新保雅俊・大島正毅、フレーム間の照合性を手掛かりとする時系列画像からの航行船舶の検出、日本航海学会論文集、Ｎｏ．１０８、ｐｐ．１１３-１１８、２００３．９新保雅俊・平澤雅人・大島正毅、時系列画像の複雑背景下における抽出領域のフレーム間対応を用いる航行船舶の検出、日本航海学会論文集、Ｎｏ．１１１、ｐｐ．１８１-１９１、２００４．９福戸淳司外３、フェールセーフとしての衝突座礁回避システムの研究中間報告、第３回海上技術安全研究所研究発表会講演集、２００３福戸淳司、他船情報の自動収集の試みと展望、ＡＩＳセミナー「ＡＩＳの現状と展望」テキスト、２００４

しかし、フレーム間差分を実行するには、対象となるフレーム間の画像の対応位置、換言すれば画像の画素の座標位置が一致している必要がある。ところが、前述のように、海上観測画像は、観測カメラを搭載した船舶の船体運動に起因して画像の位置は常に動揺し、一定しない。そのため、海上観測画像のような動揺のある画像に対してフレーム間差分手法を適用することは困難であった。

本発明は、時系列連続画像である動画映像から動く対象物をリアルタイムに自動抽出して認識するための動体認識方法、及びその方法を実施するための装置を得ることを課題とする。

詳しくは、本発明は、映像カメラを搭載した船体運動の影響を受けて、撮影した複数の隣接するフレームの映像の位置が一致しない揺動画像から、動く対象物をリアルタイムに自動抽出して認識するための動体認識方法及び装置を得ることを課題とする。

本発明は、所定の時間間隔で連続して撮影された複数の画像を取り込むステップと、３枚の連続した画像に遠景背景をモデルとしてテンプレート・マッチング処理を行うステップと、テンプレート・マッチング処理により得られたモデルの移動量や回転角度をフィードバックさせて３枚の連続した画像の位置合わせを行うステップと、１枚目と２枚目、及び２枚目と３枚目の画像の組み合わせによりフレーム間差分処理を行い、得られた２つの差分画像の論理和を取り、動体を検出するステップと、検出された動体に対してラベリング処理を行って、動体個々を個別に認識するステップを備え、前記所定の時間間隔で撮影された複数の画像はカラー画像であり、各画像はＲＧＢの色バンドに分解され、前記テンプレート・マッチング処理は、ＲＧＢ３色の各色バンドごとに実行し、前記テンプレート・マッチング処理で得られたマッチング率の最も高い色バンドの画像を以後のアフィン変換処理およびフレーム間差分処理の処理対象として決定するものであることを特徴とする動体認識方法である。また、その動体認識方法を実施するための装置は、所定の時間間隔で連続して撮影された連続画像を取り込む手段と、３枚の連続画像に遠景背景をモデルとしてテンプレート・マッチング処理を行う手段と、テンプレート・マッチング処理により得られたモデルの移動量や回転角度をフィードバックさせて３枚の連続画像の位置合わせを行う手段と、１枚目と２枚目、及び２枚目と３枚目の画像の組み合わせによりフレーム間差分処理を行い、得られた２つの差分画像の論理和を取り、動体を検出する手段と、検出された動体に対してラベリング処理を行って、動体個々を個別に認識する手段とを備え、前記所定の時間間隔で撮影された複数の画像はカラー画像であり、各画像はＲＧＢの色バンドに分解され、前記テンプレート・マッチング処理は、ＲＧＢ３色の各色バンドごとに実行し、前記テンプレート・マッチング処理で得られたマッチング率の最も高い色バンドの画像を以後のアフィン変換処理およびフレーム間差分処理の処理対象として決定するものであることを特徴とする。

また、本発明は、複数のフレームを用いて所定の時間間隔で連続して撮影された複数の画像を取り込むステップと、取り込まれた１つのフレームの画像内の遠景背景部分の一部領域をマッチングモデルとして記録するステップと、前記マッチングモデルを含むフレームに隣接するフレームの画像に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングのとれた領域における前記マッチングモデルのXY位置、回転角度Rからの偏差ΔXY、ΔRを求めるステップと、前記偏差を用いて前記隣接するフレームの画像に２次元アフィン変換を施し、記録するステップと、一部領域をマッチングモデルに設定されたフレームの画像と前記２次元アフィン変換を施されたフレームの画像を対象としてフレーム間差分処理を施すステップと、差分処理の結果を用いて動体の抽出を行うステップとを有し、前記所定の時間間隔で撮影された複数の画像はカラー画像であり、各画像はＲＧＢの色バンドに分解され、前記テンプレート・マッチング処理は、ＲＧＢ３色の各色バンドごとに実行し、前記テンプレート・マッチング処理で得られたマッチング率の最も高い色バンドの画像を以後のアフィン変換処理およびフレーム間差分処理の処理対象として決定するものであることを特徴とする画像処理方法である。

また、本発明は、所定の時間間隔で撮影された連続する３フレームの画像を取り込むステップと、取り込まれた２枚目のフレームの画像It内の遠景背景部分の一部領域をマッチングモデルとして記録するステップと、時点t-1の１枚目のフレームの画像It-1に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt-1、Pyt-1、Rt-1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt-1、ΔPyt-1、ΔRt-1を求めるステップと、前記偏差を用いて前記１枚目のフレームの画像It-1に２次元アフィン変換を施し、記録するステップと、時点t+1の３枚目のフレームの画像に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt+1、Pyt+1、Rt+1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt+1、ΔPyt+1、ΔRt+1を求めるステップと、前記偏差ΔPxt+1、ΔPyt+1、ΔRt+1を用いて前記３枚目のフレームの画像It+1に２次元アフィン変換を施し、記録するステップと、２枚目のフレームの画像Itと前記２次元アフィン変換を施された１枚目のフレームの画像I’t-1を対象としてフレーム間差分処理を施すステップと、２枚目のフレームの画像Itと前記２次元アフィン変換を施された３枚目のフレームの画像I’t+1を対象としてフレーム間差分処理を施すステップと、前記２つのフレーム間差分処理により得られた２つの差分画像の論理和を取り、移動体の形状を検出するステップと、前記検出された移動体にラベリング処理を施して移動体個々を個別に識別するステップとを有する画像処理方法である。
また、その動体認識方法を実施するための装置は、所定の時間間隔で撮影された連続する３フレームの画像を取り込む入力手段と、取り込まれた２枚目のフレームの画像It内の遠景背景部分の一部領域をマッチングモデルとして記録するマッチングモデル設定手段と、時点t-1の１枚目のフレームの画像It-1に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt-1、Pyt-1、Rt-1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt-1、ΔPyt-1、ΔRt-1を求めると共に、時点t+1の３枚目のフレームの画像に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt+1、Pyt+1、Rt+1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt+1、ΔPyt+1、ΔRt+1を求めるテンプレート・マッチング処理手段と、前記偏差ΔPxt-1、ΔPyt-1、ΔRt-1を用いて前記１枚目のフレームの画像It-1に２次元アフィン変換を施し、記録すると共に、前記偏差ΔPxt+1、ΔPyt+1、ΔRt+1を用いて前記３枚目のフレームの画像It+1に２次元アフィン変換を施し、記録する位置合わせ手段と、２枚目のフレームの画像Itと前記２次元アフィン変換を施された１枚目のフレームの画像I’t-1を対象としてフレーム間差分処理を施すと共に、２枚目のフレームの画像Itと前記２次元アフィン変換を施された３枚目のフレームの画像I’t+1を対象としてフレーム間差分処理を施すフレーム間差分処理手段と、前記２つのフレーム間差分処理により得られた２つの差分画像の論理和を取り、動体の形状を抽出する動体抽出手段と、前記抽出された動体にラベリング処理を施して動体個々を個別に識別する認識手段とを有し、前記所定の時間間隔で撮影された複数の画像はカラー画像であり、各画像はＲＧＢの色バンドに分解され、前記テンプレート・マッチング処理は、ＲＧＢ３色の各色バンドごとに実行し、前記テンプレート・マッチング処理で得られたマッチング率の最も高い色バンドの画像を以後のアフィン変換処理およびフレーム間差分処理の処理対象として決定するものであることを特徴とする。

本発明は、前記差分画像の論理和を取った画像に対して、ノイズを除去するためのフィルタリング処理を施す手段を設ける構成とすることができる。

本発明は、画像の遠景背景部分をマッチングモデルとするテンプレート・マッチング処理を施し、モデルの変位量を求め、変位量に基づく２次元アフィン変換を施すことにより、船体運動による画像の動揺を補正するようにしたので、フレーム間差分手法を適用すること可能となり、処理をリアルタイムで行うことができる。
即ち、従来、船体運動による画像の動揺や海面反射による雑音、不確定な対象物の形状など様々な要素に起因して、フレーム間差分手法を適用することができず、リアルタイムの処理が達成されていなかったが、本発明によりリアルタイムの処理が可能となった。

本発明において、動揺補正のマッチング処理における対象画像として、観測された可視カラー画像からＲＧＢ分解して得られる単バンド画像を適用しているので、ＲＧＢバンドが固有に持つ大気透過特性の効果によって特徴的な遠景背景を持たない曇天環境でも幾何補正のための十分なマッチング結果が得られ、フレーム間差分処理による動体認識が可能となった。

本発明は、赤外線の画像に対しても適用することができ、夜間における動体の認識も可能である。

図１は本発明の一実施例による動体認識方法の手順の全体の流れを示す図である。
（ステップ１：連続画像の取り込み）
動揺を伴う海上の船舶に搭載した観測カメラにより所定時間間隔Δt（５００msec）で海上を撮影し、時間t-1，t，t+1の画像の取り込みを行う。昼間観測には可視カラービデオ映像を取り込み、夜間観測には赤外線ビデオ映像を取り込む。カラーはＲＧＢの３バンドとし、赤外はモノクロ１バンドとする。

（ステップ２：連続画像の位置合わせ）
時間t-1，t，t+1の３枚の連続画像の位置合わせを行う。遠景背景をモデルとしてテンプレート・マッチングの処理を行い、得られたモデルの移動量や回転角度をフィードバックさせて３枚の画像の位置合わせを行う。遠景背景とは遠方に存在する人工物、自然物、雲などを意味し、移動体（動体）に比べて動きの少ない静止していると見なせる領域であるので、３枚の画像の位置合わせに利用できる。詳細な手順は、図３により後で説明する。カラー画像の場合は、ＲＧＢ分解による検定を行って、最も整合の良いバンドを採用する。

（ステップ３：動体の検出）
連続画像の１枚目と２枚目、及び２枚目と３枚目の画像の組み合わせによりフレーム間差分処理により、変動量を持つ画素を得る。フレーム間差分処理は一般的な手法であるが、その詳細手順は図１１により後で説明する。
更に、２つの差分画像の論理和を取ることによって、動体の形状を検出する。小さな雑音やレベルの低い雑音要素は平滑化と閾値処理により除去する。

（ステップ４：動体の認識）
検出された動体個々をラベリング処理により個別に認識する。雑音処理として近傍の小さな認識動体は除去する。また、以前の処理によってラベル付けされた動体との同定を行って，動体個々の認証、位置、方位、移動量を認識する。

（ステップ５：連続処理）
ステップ１〜４の動体の認識処理を連続的に行うためステップ１へ戻る。

（テンプレート・マッチング）
前記図１のステップ１及びステップ２の処理について、詳細に説明する。前述したようにフレーム間差分処理によってリアルタイムでの航行他船の認識を実行する前に、観測用のカメラを搭載した船舶の揺動による影響を除去するために画像フレーム相互間の幾何補正をしておく必要がある。
本実施例においては、遠景背景をモデルとしたテンプレート・マッチングによる画像動揺の評価と２次元アフィン変換による位置合わせ幾何補正のリアルタイム処理実施の手法を採用した。

山稜、あるいは雲などの動揺状況を評価するために充分な手掛かりとなる遠景背景画像を持つ場合にはテンプレートとして遠景背景画像を用いることは問題とならないが、これは決して一般的な状況ではない。そこで雲量ゼロといった晴天条件は除外するが、曇天条件でのテンプレート・マッチングにより画像動揺の評価を行うこととした。

図４の中央の画像は横切り船を含む前方観測カラー画像の例であり、白ワクで示した部分が動揺補正に供するためのマッチングモデル画像領域である。画像より明らかなように目視観察ではマッチングモデルとして設定した画像領域にマッチングモデルとなるような形状的な特徴は決して明らかではない。一般的にテンプレート・マッチングにおいてマッチングモデルは、例えば２値化処理によって容易に判別できるような特徴的な形状情報を持つことが必要条件となるが、大洋航行も含み海上を航行する船舶での観測画像において、水平線上の遠景背景に特徴的な画像を得ることを常に期待することはできない。そこで本実施例のシステムにおける動体抽出機能では、観測画像をＲＧＢ３バンドのマルチバンド情報として利用する。すなわち、それぞれの波長帯が固有に持つ大気透過性によって得られる画像の特徴、あるいはマルチバンド情報を活用したバンド間演算画像によって特徴的な遠景背景を得る。

図５は、マッチングモデル画像領域に注目して画素毎の色情報をＲＧＢ分離させた３バンド情報とし、反射輝度を８ビットの量子化されたレベル値別に累積画素数を示したものである。マッチングモデル画像が特徴的な性質を持つことを図５において考えるならば、構成画素の持つ輝度レベル値の構成が多様であること、すなわち図中での分布の広がりが大きいことやレベル値別の累積画素数の変化が大きいことがマッチングの実施に必要となる。
マッチングに供するバンド選択の検証を目的として実施したマッチング処理とその結果を図６及び図７に示した。空間上に３ヶ所（左右、中央）の検証用のマッチングモデルを設定し、図６の観測時点より５秒後の観測画像に対して、３つのモデル毎にＲＧＢそれぞれのバンドに対してのマッチング処理を実行した結果が図７である。ここでＸＹ方向の変位量や回転角度に注目するならば、時間経過に対するモデル領域の移動量が画素レベルで充分に評価されており、マッチング結果を手掛かりとした動揺補正が、曇天空間に対するモデル領域設定でも有効であることが明らかである。また、図７に示したマッチング確率からも高い確度でマッチングが実現されており、空間上に設置したモデルの変動を手がかりとして画面全体の動揺状態を推定することが十分に可能である。
バンドの選択としては、図５及び図７の状況、特にマッチング確率から、この場合ではＲバンドによる単バンド画像をマッチングモデル画像として採用することが有効である。マッチング対象画像としては、他のＧバンドやＢバンドによる単バンド画像、あるいはバンド間演算画像の採用も考えられるが、大気透過特性やリアルタイム処理を指向する視点から、単バンドの選択が優先される。
そして、本実施例では、ＲＧＢのバンド毎にマッチング確率を求め、最も高いマッチング確率を持つ色バンドの画像をマッチング対象画像とする。

図３は図１における画像の取り込みと位置合わせの処理手順を詳細に示す図である。
（ステップ１-1）
ステップ１ではビデオ映像から時点t-1におけるカラー画像It-1を取り込む。そのカラー画像からＲ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）、Ｂ（ｂｌｕｅ）の色分解処理を施して赤Ｒのモノクロ画像Irt-1、緑Ｇのモノクロ画像Igt-1、及び青Ｂのモノクロ画像Ibt-1を得て、メモリに記録する。なお、図８はカラー画像のＲＧＢ分解の例を示す図である。

（ステップ２-1）
ステップ２-1ではビデオ映像から時点tにおけるカラー画像（It）を取り込む。そのカラー画像からＲ、Ｇ、Ｂの色分解処理を施して赤Ｒのモノクロ画像Irt、緑Ｇのモノクロ画像Igt、及び青Ｂのモノクロ画像Ibtを得て、メモリに記録する。

（ステップ２-2）
ＲＧＢの分解画像のそれぞれに遠景背景部分に当たる部分領域を初期設定し、ＲＧＢ各バンドのマッチングモデルMrt、Mgt、Mbtを生成し、記録する。マッチングモデルの位置はPxt、Pyt、回転角度Rtは０となるよう設定する。

（ステップ２-3）
ステップ１-1で記録されたTime＝t-1のＲＧＢ分解された画像Irt-1、Igt-1、Ibt-1のそれぞれに、マッチングモデルMrt、Mgt、Mbtでテンプレート・マッチングを実行する。テンプレート・マッチング処理の結果として得られる情報は、図７に示した上下左右方向の移動量（※１、※２）と回転角（※３）である。
同時に、各バンドのマッチング率Prt-1、Pgt-1、Pbt-1をも計算し、最もマッチング率の良いバンドを選択する。選択した最もマッチング率の良いバンドの画像を以降の処理対象に決定する。仮にPrt-1が最もマッチング率が良かった場合には、Ｒバンドの画像を以降の処理対象に決定する。以下の説明では、Ｒバンドの画像を以降の処理対象に決定した場合についての処理を例示している。
なお、マッチング確率とは、マッチング処理実行の段階で行われる相関計算から得られる類似度のスコアを０〜１の指標値とした値である。

（ステップ２-4）
マッチング確率Prt-1の計算で求められた画像Irt-1におけるＲバンドのマッチングモデルMrtのｘｙ位置Pxt-1、Pyt-1と回転角度Rt-1から、位置Pxt-1、Pyt-1に対する偏差ΔPxt-1、ΔPyt-1、ΔRt-1を求め、これらの偏差を用いて画像Irt-1に２次元アフィン変換を施して、幾何補正を施した画像I’rt-1を得る。これをメモリに記録しておく。

（ステップ３-1）
ステップ３-1ではビデオ映像から時点t+1におけるカラー画像（It+1）を取り込む。そのカラー画像からＲ、Ｇ、Ｂの色分解処理を施して赤Ｒのモノクロ画像Irt+1、緑Ｇのモノクロ画像Igt+1、及び青Ｂのモノクロ画像Ibt+1を得て、メモリに記録する。
Ｒ画像Irt+1に対してマッチングモデルMrtによるテンプレート・マッチング処理を実行する。画像Irt+1におけるＲバンドのマッチングモデルMrtのｘｙ位置Pxt+1、Pyt+1と回転角度Rt+1から、位置Pxt+1、Pyt+1に対する偏差ΔPxt+1、ΔPyt+1、ΔRt+1を求め、これらの偏差を用いて画像Irt+1に２次元アフィン変換を施して、幾何補正を施した画像I’rt+1を得る。これはメモリに記録しておく。

図９は以上に説明したテンプレート・マッチング処理と幾何補正処理による位置合わせの概略を示すものである。

（ステップ３-2）
幾何補正により位置合わせ処理済みの連続画像I’rt-1、Irt、I’rt+1を対象としてフレーム間差分処理を実行し、動体抽出処理を行う。
図１０は、本実施例に採用した３フレーム画像による動体抽出手法のアルゴリズムの概念を示すものである。すなわち時間間隔△tをもって連続観測された画像から１枚目の画像It-1と２枚目の画像Itによる差分画像ｄｌ２を計算する。更に２枚目の画像Itと３枚目の画像It+1による差分画像ｄ２３の計算を実施する。
図１１は幾何補正、位置合わせをした１枚目と２枚目のフレーム間差分処理の実行結果の一例を示すものであり、差分画素として変動画素が抽出される。

次に、図１２に示すように、これらの差分処理結果として得られる２枚の差分画像ｄ１２、ｄ２３の論理和から画像ｄ１２３を得る。すなわち画像ｄ１２３は、２枚目の画像Itにおける動体の形状を抽出したものである。この画像からマスクを生成し、画像Itに対して適用することにより、動体の抽出を行う。

動体抽出処理において実際に供されるマスク画像は２値化画像であり様々な雑音によって汚れた画像である。従って、海水表面の波による変動も航行船舶と同様に動体として現れている。このような雑音要素は、海上観測画像を用いた動体抽出において大きな問題となる。たとえ観測時間間隔が微少であっても、連続画像間での波面の動きや太陽光反射による雑音要素の影響は大きい。しかし基本的に動的な変化であっても、これらの雑音要素は、航行船舶などと比較するならば、近距離海面における微小画素部分要素の変化であることから、平滑化のフィルタリング処理や波の輝度特性を評価したしきい値処理などによって除去することが可能である。

図１３と図１４は、動体抽出・認識処理が動作している状況を模擬したものである。テンプレート・マッチング処理の結果として得られる情報は、図７に示した上下左右方向の移動量と回転角・傾きである。これらの情報を中央画像Itに対する変位量として画像It-1とIt+1にフィードバックして、位置合わせの幾何補正を２次元アフィン変換によって実施した結果を図１４に示した。図中でIt-1画像の上辺とIt+1画像の下辺に見られるジャギーは、マッチング処理で得られた画像の傾きを補正した影響を示している。ここで、It-1とIt+1画像よりも小さなウィンドウをIt画像内に仮想的に設けるならば、位置合わせされた３枚の連続画像が得られたことになり、フレーム間差分処理の実行が可能になる。
図１４は、動体抽出・認識が実現されたマスク画像の一例を示すものであり、雑音要素となる海上波の反射の除去も達成されたものである。しかし雑音除去の効果は充分でなく、画像右下に未だ小さな輝点を残した状況が見られる。動体抽出のアルゴリズムとして、残されたこのような輝点は探索目標である航行船舶と同等の認識となるが、動体の個別認識を実行しているラベリング処理の段階で、距離（画角位置）と大きさによって目標物から除外される処理が機能する。
遠景背景を手掛かりとしたマッチング処理において、モデル画像の管理は動的に処理されており、常に最新の画像との入れ替えが行われるため、船体運動によるカメラの動揺によって制限を受けることはない。また初期起動時やフレ一ムアウトなどによりモデルが喪失したような場合には、デフォルト設定による新規モデルの自動生成が実行されるものとなっている。

最後に、動体の認識は２値化マスク画像からラベリング処理により行う。
具体的に説明すると、ラベリング処理は動体抽出の結果で得られる動体の反射反応個々に固有の番号などを与えて、それぞれを個別のものとして区別する処理である。

本発明の方法を実施するための装置の構成例は、図１５に示すような各処理手段からなっており、処理部分の機能はコンピュータとソフトウェアの組み合わせによって実現される。この動体認識方法を実施するための装置は、所定の時間間隔で撮影された連続する３フレームの画像を取り込む入力手段１１と、取り込まれた２枚目のフレームの画像It内の遠景背景部分の一部領域をマッチングモデルとして記録するマッチングモデル設定手段１２と、時点t-1の１枚目のフレームの画像It-1に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt-1、Pyt-1、Rt-1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt-1、ΔPyt-1、ΔRt-1を求めると共に、時点t+1の３枚目のフレームの画像に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt+1、Pyt+1、Rt+1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt+1、ΔPyt+1、ΔRt+1を求めるテンプレート・マッチング処理手段１３と、前記偏差ΔPxt-1、ΔPyt-1、ΔRt-1を用いて前記１枚目のフレームの画像It-1に２次元アフィン変換を施し、記録すると共に、前記偏差ΔPxt+1、ΔPyt+1、ΔRt+1を用いて前記３枚目のフレームの画像It+1に２次元アフィン変換を施し、記録する位置合わせ手段１４と、２枚目のフレームの画像Itと前記２次元アフィン変換を施された１枚目のフレームの画像I’t-1を対象としてフレーム間差分処理を施すと共に、２枚目のフレームの画像Itと前記２次元アフィン変換を施された３枚目のフレームの画像I’t+1を対象としてフレーム間差分処理を施すフレーム間差分処理手段１５と、前記２つのフレーム間差分処理により得られた２つの差分画像の論理和を取り、動体の形状を抽出する抽出手段１６と、前記抽出された動体にラベリング処理を施して動体個々を個別に識別する認識手段１７と、処理結果を出力する出力手段１８からなっている。

本発明の動体認識方法の処理手順の概略を示す図である。船体運動による画面の変動状況を示す図である。遠景背景による位置合わせを行った連続画像からの動体抽出、認識の手順を示す図である。連続画像と遠景背景モデル領域を示す図である。ＲＧＢ別のマッチングモデルの反射状況を示す図である。評価用のマッチングモデルの配置を示す図である。図６の観測時点より５秒後画像に対してのマッチング処理を実行した結果を表す図である。カラー画像のＲＧＢ分解の例を示す図である。遠景背景モデルによるテンプレート・マッチング処理と幾何補正処理を示す図である。３フレーム差分処理による動体抽出の概略を示す図である。差分処理による変動画素の抽出結果を示す図である。差分処理画像の合成による動体形状の抽出を示す図である。マッチング結果を用いて幾何補正と位置合わせ処理を施した連続画像の例を示す図である。２値化マスク画像の例を示す図である。本発明の動体認識方法を実施するための装置の構成例を示す図である。

１１…入力手段
１２…マッチングモデル設定手段
１３…テンプレート・マッチング処理手段
１４…位置合わせ手段（２次元アフィン変換手段）
１５…フレーム間差分処理手段
１６…動体抽出手段
１７…動体認識手段
１８…出力手段

Claims

所定の時間間隔で連続して撮影された複数の画像を取り込むステップと、
３枚の連続した画像に遠景背景をモデルとしてテンプレート・マッチング処理を行うステップと、
テンプレート・マッチング処理により得られたモデルの移動量や回転角度をフィードバックさせて３枚の連続した画像の位置合わせを行うステップと、
１枚目と２枚目、及び２枚目と３枚目の画像の組み合わせによりフレーム間差分処理を行い、得られた２つの差分画像の論理和を取り、動体を検出するステップと、
検出された動体に対してラベリング処理を行って、動体個々を個別に認識するステップと
を備え、前記所定の時間間隔で連続して撮影された複数の画像はカラー画像であり、
各画像はＲＧＢの色バンドに分解され、
前記テンプレート・マッチング処理は、ＲＧＢ３色の各色バンドごとに実行し、
前記テンプレート・マッチング処理で得られたマッチング率の最も高い色バンドの画像を以後のアフィン変換処理およびフレーム間差分処理の処理対象として決定するものであることを特徴とする動体認識方法。
複数のフレームを用いて所定の時間間隔で連続して撮影された複数の画像を取り込むステップと、
取り込まれた２枚目のフレームの画像It内の遠景背景部分の一部領域をマッチングモデルとして記録するステップと、
時点t-1の１枚目のフレームの画像It-1に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt-1、Pyt-1、Rt-1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt-1、ΔPyt-1、ΔRt-1を求めるステップと、
前記偏差ΔPxt-1、ΔPyt-1、ΔRt-1を用いて前記１枚目のフレームの画像It-1に２次元アフィン変換を施し、記録するステップと、
時点t+1の３枚目のフレームの画像に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt+1、Pyt+1、Rt+1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt+1、ΔPyt+1、ΔRt+1を求めるステップと、
前記偏差ΔPxt+1、ΔPyt+1、ΔRt+1を用いて前記３枚目のフレームの画像It+1に２次元アフィン変換を施し、記録するステップと、
２枚目のフレームの画像Itと前記２次元アフィン変換を施された１枚目のフレームの画像I’t-1を対象としてフレーム間差分処理を施すステップと、
２枚目のフレームの画像Itと前記２次元アフィン変換を施された３枚目のフレームの画像I’t+1を対象としてフレーム間差分処理を施すステップと、
前記２つのフレーム間差分処理により得られた２つの差分画像の論理和を取り、動体の
形状を検出するステップと、
前記検出された動体にラベリング処理を施して動体個々を個別に識別するステップと
を有し、前記所定の時間間隔で連続して撮影された複数の画像はカラー画像であり、
各画像はＲＧＢの色バンドに分解され、
前記テンプレート・マッチング処理は、ＲＧＢ３色の各色バンドごとに実行し、
前記テンプレート・マッチング処理で得られたマッチング率の最も高い色バンドの画像を以後のアフィン変換処理およびフレーム間差分処理の処理対象として決定するものであることを特徴とする動体認識方法。
所定の時間間隔で連続して撮影された連続画像を取り込む手段と、
３枚の連続画像に遠景背景をモデルとしてテンプレート・マッチング処理を行う手段と、
テンプレート・マッチング処理により得られたモデルの移動量や回転角度をフィードバックさせて上記３枚の連続画像の位置合わせを行う手段と、
１枚目と２枚目、及び２枚目と３枚目の画像の組み合わせによりフレーム間差分処理を行い、得られた２つの差分画像の論理和を取り、動体を検出する手段と、
検出された動体に対してラベリング処理を行って、動体個々を個別に認識する手段と
を備え、前記所定の時間間隔で連続して撮影された画像はカラー画像であり、
各画像はＲＧＢの色バンドに分解され、
前記テンプレート・マッチング処理は、ＲＧＢ３色の各色バンドごとに実行し、
前記テンプレート・マッチング処理で得られたマッチング率の最も高い色バンドの画像を以後のアフィン変換処理およびフレーム間差分処理の処理対象として決定するものであることを特徴とする動体認識装置。
所定の時間間隔で撮影された連続する３フレームの画像を取り込む入力手段と、
取り込まれた２枚目のフレームの画像It内の遠景背景部分の一部領域をマッチングモデルとして記録するマッチングモデル設定手段と、
時点t-1の１枚目のフレームの画像It-1に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt-1、Pyt-1、Rt-1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt-1、ΔPyt-1、ΔRt-1を求めると共に、時点t+1の３枚目のフレームの画像に前記マッチングモデルを用いてテンプレート・マッチング処理を実行し、マッチングがとれた際のマッチングモデル位置及び回転角度Pxt+1、Pyt+1、Rt+1から、２枚目のフレームの画像It内の前記マッチングモデルの位置及び回転角度Pxt、Pyt、Rtに対する偏差ΔPxt+1、ΔPyt+1、ΔRt+1を求めるテンプレート・マッチング処理手段と、
前記偏差ΔPxt-1、ΔPyt-1、ΔRt-1を用いて前記１枚目のフレームの画像It-1に２次元アフィン変換を施し、記録すると共に、前記偏差ΔPxt+1、ΔPyt+1、ΔRt+1を用いて前記３枚目のフレームの画像It+1に２次元アフィン変換を施し、記録する位置合わせ手段と、
２枚目のフレームの画像Itと前記２次元アフィン変換を施された１枚目のフレームの画像I’t-1を対象としてフレーム間差分処理を施すと共に、２枚目のフレームの画像Itと前記２次元アフィン変換を施された３枚目のフレームの画像I’t+1を対象としてフレーム間差分処理を施すフレーム間差分処理手段と、
前記２つのフレーム間差分処理により得られた２つの差分画像の論理和を取り、動体の形状を抽出する動体抽出手段と、
前記抽出された動体にラベリング処理を施して動体個々を個別に識別する認識手段と
を有し、前記所定の時間間隔で連続して撮影された画像はカラー画像であり、
各画像はＲＧＢの色バンドに分解され、
前記テンプレート・マッチング処理は、ＲＧＢ３色の各色バンドごとに実行し、
前記テンプレート・マッチング処理で得られたマッチング率の最も高い色バンドの画像を以後のアフィン変換処理およびフレーム間差分処理の処理対象として決定する手段を備えたことを特徴とする動体認識装置。
前記差分画像の論理和を取った画像に対して、ノイズを除去するためのフィルタリング処理を施す手段を備えたことを特徴とする請求項３または４に記載の動体認識装置。