JP4663746B2 - 画像処理装置 - Google Patents

Description

本発明は、例えば単眼カメラで撮影した特定画像の追跡処理等、時系列画像を扱う処理に適用して好適な画像処理装置に関する。

カメラで撮影した画像から動きを伴う画像領域を抽出し追跡する追跡処理技術として、カメラで撮影した画像から変化画素を含む領域を抽出し、抽出した領域を二値の矩形領域に領域化して追跡することで、追跡処理の処理負荷を軽減する技術が開発された。この技術を各種マシンビジョンシステムのオブジェクト追跡処理、監視処理等に適用することで、処理負荷の少ない経済的に有利なシステムを構築するこができる。

この種、追跡処理技術においては、追跡対象となるオブジェクトの位置、時間等をログデータとして採取でき、追跡結果の画像を取得できるが、追跡画像の途中の過程を表現する機能を実現する効率のよい（限られたメモリ領域の中で管理できる）手段が存在しないという問題があった。

この種の画像処理技術として、従来では、カメラの画像データから変化領域をデータ保管する技術が存在する。しかしながら、この技術は、背景画像を含めた画像を処理対象としていることから、ログデータとして管理する場合に大容量の記憶領域を必要とし、画像をログデータとして管理する技術に適合しない。
特開２０００−２３１４１号公報

上述したように、従来では、追跡画像の途中の過程を表現できる、画像のログ管理を容易に行うことのできる装置が存在しないという問題があった。

本発明は、上記した従来の問題点を解決するためになされたもので、追跡画像の途中の過程を表現する機能を容易に実現できる、画像のログ管理に適合した画像処理装置を提供することを目的とする。

本発明は、カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素の矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した前記矩形の領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、前記追跡処理の対象となった前記矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、前記矩形内画像取得手段が取得した前記矩形内の画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の前記矩形内の画像を重ねた残像画像を取得する残像画像取得手段と、を具備し、透過表示形式の残像画像を出力する場合の前記残像画像取得手段は、前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得し、前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記複数画面分の暗画像の座標位置に展開し嵌め込んだ、複数画面分の切り出し画像を取得し、前記複数画面分の切り出し画像から、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得し、前記複数画面分の基準画像から一画面分の平均画像を取得し、前記一画面分のＯＲ画像と前記一画面分の平均画像とをもとに、前記矩形内部は前記ＯＲ画像と前記平均画像の平均画像を出力画像として取得し、前記矩形外部は前記平均画像を出力画像として取得する画像処理装置を提供する。

本発明は、カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素の矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した前記矩形の領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、前記追跡処理の対象となった前記矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、前記矩形内画像取得手段が取得した前記矩形内の画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の前記矩形内の画像を重ねた残像画像を取得する残像画像取得手段と、を具備し、重ね合わせ表示形式の残存画像を出力する場合の前記残像画像取得手段は、前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得し、前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記複数画面分の暗画像の座標位置に展開し嵌め込んだ、複数画面分の切り出し画像を取得し、前記複数画面分の切り出し画像から、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得し、前記複数画面分の基準画像から一画面分の平均画像を取得し、前記一画面分のＯＲ画像と前記一画面分の平均画像とをもとに、前記矩形内部は前記ＯＲ画像を出力画像として取得し、前記矩形外部は前記平均画像を出力画像として取得する画像処理装置を提供する。

本発明によれば、追跡画像の途中の過程を表現する機能を容易に実現できる、画像のログ管理に適合した画像処理装置が提供できる。

以下図面を参照して本発明の実施形態を説明する。この実施形態では、本発明の画像処理技術を画像の追跡処理技術に適用しているが、本発明の画像処理技術は、画像の追跡処理技術に留まらず、時系列の画像を扱う各種の画像処理に適用可能である。

本発明の実施形態に係る画像処理装置の構成を図１に示す。なお、この実施形態では、カメラから取り込んだ１フレーム分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。

本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１４に保持する処理機能をもつ。この画像バッファ１４に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。

画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１４を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。

画像処理部１５は、画像処理記憶部１３の画像バッファ１４に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素の矩形の領域を抽出する変化領域抽出処理部１５１と、この変化領域抽出処理部１５１で抽出した矩形の領域を処理対象に、領域を追跡する追跡処理部１５２と、追跡の対象となる領域の画像をログデータとして、撮影時刻、撮影位置等、通常のログデータに対応付けて保存し管理するログ採取処理部１５３とを具備して構成される。

ログ採取処理部１５３は、画像処理機能部として、残像画像作成処理部１５４と、残像画像出力処理部１５５とを具備して構成される。

残像画像作成処理部１５４は、暗画像取得手段（輝度値０画像取得手段）１５４ａと、切り出し画像取得手段１５４ｂと、ＯＲ（論理和）画像取得手段１５４ｃと、平均画像取得手段１５４ｄとを具備して構成される。

暗画像取得手段１５４ａは、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像（残像処理の対象となる、基準画像となる画像）を時系列に複数画面単位で画面上の矩形位置座標データ（画面上の矩形領域を示す座標データ）とともに取得し、取得した複数画面分の画像（基準画像と称す）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する処理を行う。

切り出し画像取得手段１５４ｂは、基準画像の矩形内の画素（イメージ）を切り出し、切り出した画素を、基準画像の矩形位置に対応する暗画像の、上記矩形位置座標データが示す座標位置に展開し嵌め込んで、切り出し画像を取得する。

ＯＲ画像取得手段１５４ｃは、複数画面分の切り出し画像を、矩形が交差しない（重ならない）矩形部分について論理和をとり、矩形が重なる矩形部分について平均をとった一画面分のＯＲ画像を取得する処理を行う。

平均画像取得手段１５４ｄは、上記複数画面分の基準画像について一画面分の平均画像を取得する処理を行う。

残像画像出力処理部１５５は、ＯＲ画像と平均画像または基準画像とをもとに出力画像を取得し、基準画像のログデータ（撮影時刻、撮影場所、撮影条件等の通常のログデータ）に対応付けて保存し管理する。

上記した本発明の実施形態に係る画像処理は、透過表示形式の残像画像作成処理機能（１）と、重ね合わせ表示形式の残像画像作成処理機能（２）と、残像表示形式の残像画像作成処理機能（３）とを具備し、任意形式の残像画像作成処理機能を適用可能にしている。

透過表示形式の残像画像作成処理機能（１）は、処理対象として抽出した全ての矩形内部が実際の輝度値の半分程度の輝度値で表示された画像となる。

重ね合わせ表示形式の残像画像作成処理機能（２）は、処理対象として抽出した全ての矩形内部が実際の輝度値のまま表示された画像となる。

残像表示形式の残像画像作成処理機能（３）は、処理対象として抽出した矩形のうち、１矩形のみ（例えば最新画像）が実際の輝度値のまま表示され、それ以外の矩形は実際の輝度値の半分程度の輝度値で表示された画像となる。

残像画像作成処理機能の基本ロジックとしては、処理対象として抽出した矩形を重ね合わせ、矩形が交差しない位置ではＯＲ（論理和）をとり、矩形が公差する位置では平均をとることを基本ロジックとし、ＯＲや平均をとるタイミングによって、３種類のロジックに展開する。

透過表示形式の残像画像作成処理（１）では、全画像（一画面分）の矩形内部のみのＯＲ画像（重なり位置は平均）と、全画像の平均画像とを作成し、矩形内部はＯＲ画像と平均画像の平均をとり、矩形外部は平均をとった画像とする。

重ね合わせ表示形式の残像画像作成処理（２）では、全画像の矩形内部のみのＯＲ画像（重なり位置は平均）と、全画像の平均画像とを作成し、矩形内部はＯＲをとり、矩形外部は平均をとった画像とする。

残像表示形式の残像画像作成処理（３）では、全画像の矩形内部のみのＯＲ画像（重なり位置は平均）を作成し、矩形内部をどれか１枚の基準画像（例えば最前面の画像、または最後面の画像）として、それ以外の矩形内部と矩形外部はいずれか１枚の基準画像とＯＲ画像との平均をとった画像とする。

透過表示形式の残像画像作成処理（１）について
透過表示形式の残像画像作成手順を図２に示している。

この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データ（画面上の矩形領域を示す座標データ）とともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。

次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置（上記座標データが示す領域）に対応する暗画像の座標位置（上記座標データが示す領域）に展開し、嵌め込んで、切り出し画像を作成する。

次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる（重なりが多くなると、その位置のオブジェクトは薄く表示される）。

次に、平均画像取得手段１５４ｄにおいて、上記複数画面分の基準画像について一画面分の平均画像を作成する。

次に、残像画像出力処理部１５５において、矩形内部はＯＲ画像と平均画像との平均画像、矩形外部は平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータ（撮影時刻、撮影場所、撮影条件等の通常のログデータ）に対応付けて保存し管理する。

重ね合わせ表示形式の残像画像作成処理（２）について
重ね合わせ表示形式の残像画像作成手順を図３に示している。

この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データとともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。

次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置に対応する暗画像の座標位置に展開し、嵌め込んで、切り出し画像を作成する。

次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる。

次に、平均画像取得手段１５４ｄにおいて、上記複数画面分の基準画像について一画面分の平均画像を作成する。

次に、残像画像出力処理部１５５において、矩形内部はＯＲ画像、矩形外部は平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータに対応付けて保存し管理する。

残像表示形式の残像画像作成処理（３）について
残像表示形式の残像画像作成手順を図４に示している。

この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データとともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。

次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置に対応する暗画像の座標位置に展開し、嵌め込んで、切り出し画像を作成する。

次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる。

次に、残像画像出力処理部１５５において、最前面オブジェクトは、基準画像の内の例えば最前面の画像の輝度値と同じ輝度値で表示し、それ以外のオブジェクトは、１枚の基準画像と上記ＯＲ画像との平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータに対応付けて保存し管理する。

上記した残像画像作成処理では、ＯＲ画像作成時に、矩形が重なった（交差した）場合、その位置でＯＲをとるようになっている。これは、矩形が重なった場合に、重なりが生じた矩形各々の矩形内部の画像（オブジェクト）を表示するためであるが、例えば追跡対象となるオブジェクトの移動範囲が極端に狭い場合やオブジェクトの動きが鈍い場合に上記矩形の重なりが多くなる場合が生じ得る。このような場合、その重なり位置は、重なり回数分の平均を取ることになり、場合によっては、その矩形内のオブジェクトが薄くなり過ぎて見え難くなる可能性がある。このような画像の多数の重なりに対しては、ＯＲ画像を作成するための基準画像の取得タイミング（例えば矩形の抽出間隔、撮像フレームの抽出間隔、矩形の重なり度合いによる画像抽出選択等）を考慮する必要がある。

本発明の実施形態に係る画像処理装置の構成を示すブロック図。 上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。 上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。 上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。

符号の説明

１１…カメラ、１２…キャプチャ部、１３…画像処理記憶部、１５…画像処理部、１６…表示部、１５１…変化領域抽出処理部、１５２…追跡処理部、１５３…ログ採取処理部、１５４…残像画像作成処理部、１５４ａ…暗画像取得手段（輝度値０画像取得手段）、１５４ｂ…切り出し画像取得手段、１５４ｃ…ＯＲ（論理和）画像取得手段、１５４ｄ…平均画像取得手段、１５５…残像画像出力処理部。

Claims (4)

1. カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素の矩形の領域を抽出する領域抽出処理手段と、
   前記領域抽出処理手段が抽出した前記矩形の領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、
   前記追跡処理の対象となった前記矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、
   前記矩形内画像取得手段が取得した前記矩形内の画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の前記矩形内の画像を重ねた残像画像を取得する残像画像取得手段と、
   を具備し、
   透過表示形式の残像画像を出力する場合の前記残像画像取得手段は、
   前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得し、
   前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記複数画面分の暗画像の座標位置に展開し嵌め込んだ、複数画面分の切り出し画像を取得し、
   前記複数画面分の切り出し画像から、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得し、
   前記複数画面分の基準画像から一画面分の平均画像を取得し、
   前記一画面分のＯＲ画像と前記一画面分の平均画像とをもとに、前記矩形内部は前記ＯＲ画像と前記平均画像の平均画像を出力画像として取得し、前記矩形外部は前記平均画像を出力画像として取得することを特徴とする画像処理装置。
2. カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素の矩形の領域を抽出する領域抽出処理手段と、
   前記領域抽出処理手段が抽出した前記矩形の領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、
   前記追跡処理の対象となった前記矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、
   前記矩形内画像取得手段が取得した前記矩形内の画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の前記矩形内の画像を重ねた残像画像を取得する残像画像取得手段と、
   を具備し、
   重ね合わせ表示形式の残存画像を出力する場合の前記残像画像取得手段は、
   前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得し、
   前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記複数画面分の暗画像の座標位置に展開し嵌め込んだ、複数画面分の切り出し画像を取得し、
   前記複数画面分の切り出し画像から、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得し、
   前記複数画面分の基準画像から一画面分の平均画像を取得し、
   前記一画面分のＯＲ画像と前記一画面分の平均画像とをもとに、前記矩形内部は前記ＯＲ画像を出力画像として取得し、前記矩形外部は前記平均画像を出力画像として取得することを特徴とする画像処理装置。
3. カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素の矩形の領域を抽出する領域抽出処理手段と、
   前記領域抽出処理手段が抽出した前記矩形の領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、
   前記追跡処理の対象となった前記矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、
   前記矩形内画像取得手段が取得した前記矩形内の画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の前記矩形内の画像を重ねた残像画像を取得する残像画像取得手段と、
   を具備し、
   残像表示形式の残像画像を出力する場合の前記残像画像取得手段は、
   前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得し、
   前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記複数画面分の暗画像の座標位置に展開し嵌め込んだ、複数画面分の切り出し画像を取得し、
   前記複数画面分の切り出し画像から、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得し、
   最前面オブジェクトはいずれか１つの前記基準画像と同じ輝度値で表示し、それ以外のオブジェクトは１つの基準画像と前記ＯＲ画像の平均をとった一画面分の画像を作成して出力することを特徴とする画像処理装置。
4. 前記取得した残像画像をログ情報として、前記入力した画像がもつログ情報に対応付けて保存し管理するログ管理手段をさらに具備したことを特徴とする請求項１又は請求項２又は請求項３に記載の画像処理装置。

Images