JP6851163B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法、及びプログラムに関する。

色、輝度値、又はエッジ等の属性情報が類似している複数の画素をまとめることで、画像を複数の領域に分割する手法が知られている。このような手法を用いると、分割領域ごとに画像処理を行うことができるため、画素単位で画像処理を行う場合と比べて演算量を削減できる。

非特許文献１には、色情報（Ｌａｂ色空間で表現）と座標（Ｘ，Ｙ）とを組み合わせた５次元空間上の距離を用いて画素データのクラスタリングを行うことで画像を複数の領域に分ける手法が開示されている。非特許文献１に記載された手法は、Simple Linear Iterative Clustering（ＳＬＩＣ）と呼ばれ、クラスタリングの１手法であるｋ−ｍｅａｎｓ法をベースにした方法である。具体的には、画像中に格子状に配置した代表点に基づいてクラスタリングが行われる。さらに、クラスタリングにより得られた分割領域のＸＹ座標重心及び色平均を代表点及びその色情報として用いて再度クラスタリングを行うことを繰り返すことで、領域分割結果が収束していく。

特許文献１には、色情報及び座標の距離を用いる代わりに、Geodesic距離を利用して同様の処理を行うことが記載されている。Geodesic距離は画素間の輝度の勾配を基に測る距離である。物体の境界のようにエッジが存在する付近では座標上の距離は小さくても、Geodesic距離は大きくなるため、Geodesic距離を用いることで物体の境界に沿った領域分割が可能となる。

しかしながら、領域分割処理を動画像に適用する場合、リアルタイムに処理を行うためには所定時間内に各フレーム画像に対する処理を終える必要があるため、処理の繰返し回数が制限される。このため、分割結果が安定しないことがある。この課題を解決する手法として、非特許文献２には、現フレーム画像で算出した分割領域の代表点を、次フレーム画像における代表点の初期値として用いる方法が記載されている。

R. Achanta et al. "SLIC Superpixels", EPFL Technical Report no. 149300, 2010. T. Maruyama, "Real-time K-Means Clustering for Color Images on Reconfigurable Hardware", Proceedings of the 18th International Conference on Pattern Recognition, vol. 2, pp. 816-819, 2006

米国特許第８９２３６４６号明細書

しかしながら、非特許文献２のようにフレーム画像間で代表点を引き継ぐ手法を用いる場合、フレーム画像内に動体が存在する場合に、動体の通過の前後で分割領域の並び順が入れ替わってしまうという課題が見出された。

本発明は、動画像の各フレーム画像に対して領域分割処理を行う際に、動体が存在する場合であっても、分割領域の順番が入れ替わることを抑制し、安定した領域分割結果を得ることを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
連続するフレーム画像で構成される映像を取得する取得手段と、
記憶手段に以前に記憶された各分割領域の情報を参照して、着目フレーム画像を複数の分割領域へと分割する分割手段と、
着目分割領域に動体が含まれるか否かを判定する判定手段と、
前記記憶手段に記憶されている前記着目分割領域の情報を、該着目分割領域に動体が含まれると判定された場合は更新せず、当該着目分割領域に動体が含まれないと判定された場合は、前記着目フレーム画像の前記着目分割領域の情報で更新する更新手段と、
を備えることを特徴とする。

本発明によれば、動画像のフレーム画像毎に領域分割する際に、動体が存在する場合であっても、分割された領域の順番が入れ替わることなく、安定した領域分割結果を取得可能となる。

従来技術を説明する図。 画像処理装置のハードウェア構成を示すブロック図。 画像処理装置の機能構成を示す図。 実施形態１に係る領域分割部の機能構成を示す図。 画像処理方法における処理の流れを示すフローチャート。 実施形態１に係る領域分割処理の流れを示すフローチャート。 実施形態２に係る領域分割部の機能構成を示す図。 実施形態２に係る領域分割処理の流れを示すフローチャート。

非特許文献１の方法では、画像を領域分割し、領域分割結果を用いて再度領域分割を行っている。言い換えれば、非特許文献１の方法では、画像を領域分割した後に、各分割領域の情報（例えば色情報及び重心位置情報）を参照して、再度領域分割が行われている。また、非特許文献２の方法では、第１のフレーム画像を領域分割した後に、領域分割結果を用いて第２のフレーム画像に対して再度領域分割が行われている。非特許文献２の方法では、映像に含まれる連続するフレーム画像間の変化が小さいことが多いことを利用して、連続するフレーム画像に対して領域分割を繰り返すことにより、一枚のフレーム画像に対して領域分割を行ったのと同じような結果が得られる。

しかしながら、非特許文献２の方法では、動体が存在する場合に課題が生じることが見出された。まず、図１を参照して、非特許文献２の課題について説明する。図１（Ａ）には、フレーム画像１００及び分割領域１０１〜１２４が示されている。図１（Ａ）において、実線は分割領域の境界を示している。また、図１（Ａ）には、分割領域１１５の代表点１２５が示されている。図１（Ｂ）は、フレーム画像１００に後続するフレーム画像１２６を示す。図１（Ｂ）には、上向き（矢印１２８の方向）に移動する動体１２７も示されている。

図１（Ｂ）において、太線１３０はフレーム画像１２６に対する領域分割処理により得られた境界であり、破線は動体１２７が現れる前の境界を示す。動体１２７の色が、背景である分割領域１１５の色と類似しているため、非特許文献１の領域分割手法を用いる場合、分割領域１１５は上方へ延びたような形状になる。このため、分割領域１１５の代表点１２９の位置は、元の代表点１２５から動体の移動方向にずれている。このように、動体の移動とともに代表点は動体の移動方向にずれていき、最終的に分割領域１１５は元の分割領域１０９と入れ替わってしまう。このような現象は別の領域分割手法を用いる場合にも生じる。例えば、特許文献１の領域分割手法を用いる場合でも、動体はエッジに囲まれているため、動体の輪郭に沿って領域分割されやすくなり、結果として代表点が移動方向にずれてしまう。

このように分割領域の並び順が入れ替わると、後段の画像処理に影響が生じる。例えば、分割領域ごとに色補正パラメータを決定して色補正処理を行う場合を考える。動体が存在しないときはフレーム画像間の色の変化が少ないため、変化の小さい分割領域については前フレームで用いた色補正パラメータを再利用することで、色補正パラメータを決定する処理を省略することができる。しかしながら、分割領域の並び順が入れ替わると、実際には変化が生じていないにも関わらず変化があったと判断され、不要な色補正パラメータを決定する処理を行うことになってしまう。例えば、領域１１５に領域ＩＤとして「Ａ」が付されていた場合、動体の通過後には領域ＩＤ「Ａ」は領域１０９に対応するため、領域ＩＤ「Ａ」が示す領域が変化したと判断されてしまう。このように、従来技術では動画像に対し並び順の入れ替えが生じない安定した領域分割を行うことが困難であった。

以下、本発明の実施例を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。

［実施形態１］
図２は、本発明の実施形態１に係る画像処理装置２００のハードウェア構成を示すブロック図である。画像処理装置２００は、以下の構成を備える。ＣＰＵ２０１は、ＲＯＭ２０２又はＲＡＭ２０３に格納されたプログラムに従って命令を実行するプロセッサーである。ＲＯＭ２０２は、不揮発性メモリであり、本実施形態に係る処理を実現するためのプログラム、並びにその他の制御に必要なプログラム及びデータを格納する。ＲＡＭ２０３は、揮発性メモリであり、フレーム画像データやパターン判別結果などの一時的なデータを記憶する。２次記憶装置２０４は、ハードディスクドライブ又はフラッシュメモリーなどの書き換え可能なメモリであり、画像情報、画像処理プログラム、又は各種設定内容等を記憶する。

本実施形態において、画像処理装置２００はオペレーティングシステムの上で動作するアプリケーションとして実装されている。すなわち、本実施形態においては、ＲＯＭ２０２又は２次記憶装置２０４等が格納している、図３等に示す各部の機能を実現するプログラムが、ＲＡＭ２０３へと読み出される。そして、ＣＰＵ２０１が、ＲＡＭ２０３上のプログラムに従って動作することにより、図３等に示す各部の機能が実現される。しかしながら、図３等に示す各部の機能は、画像処理装置２００が備えるＡＳＩＣ等のハードウェアにより実現することもできる。

画像入力装置２０５は、画像処理装置２００に画像を入力する装置であり、例えばデジタルビデオカメラ、ネットワークカメラ、又は赤外線カメラ等である。入力装置２０６は、ユーザからの入力を画像処理装置２００に送る装置であり、例えばキーボード又はマウス等である。表示装置２０７は、ユーザに対して処理結果等を表示する装置であり、例えばブラウン管ＣＲＴ又は液晶ディスプレイ等である。画像処理装置２００はインターフェイスを備えていてもよく、このインターフェイスを介して独立した装置である画像入力装置２０５、入力装置２０６、又は表示装置２０７とデータを送受信してもよい。さらに、装置の少なくとも一部、例えば画像入力装置２０５、をネットワークＩ／Ｆ１０８を介して画像処理装置２００に接続することもできる。

ネットワークＩ／Ｆ２０８は、インターネット又はイントラネット等のネットワークと画像処理装置２００との間のインターフェイスであり、例えばモデム又はＬＡＮ等である。バス２０９は、上述の各部を接続して相互にデータを交換することを可能とする。

図３は、本実施形態に係る画像処理装置２００の機能構成を示した図である。画像処理装置２００は以下の構成を備える。映像入力部３０１は、連続するフレーム画像で構成される映像を取得する。本実施形態において映像入力部３０１は、画像入力装置２０５から入力映像を取得する。入力映像は連続するフレーム画像で構成される。

領域分割部３０２は、属性記憶部４０４に以前に記憶された各分割領域の情報を参照して、着目フレーム画像を複数の分割領域へと分割する。本実施形態において、領域分割部３０２は、映像入力部３０１が取得した入力映像を構成するフレーム画像に対して領域分割を行う。本実施形態において、属性記憶部４０４は分割領域の属性情報を記憶しており、領域分割部３０２はこの属性情報を用いて領域分割を行う。この属性情報の種類は特に限定されないが、以下では属性情報として分割領域の色平均及び重心位置を用いる方法（非特許文献１）及び分割領域の重心位置を用いる方法（特許文献１）について説明する。しかしながら、分割領域の情報としては、以前のフレーム画像に対する領域分割の結果を反映する情報を用いることができ、例えば分割領域の境界を示す分割領域の位置情報を用いることもできる。

色補正部３０３は、フレーム画像に対して、分割領域毎に色補正を行う。本実施形態において、色補正の種類は特に限定されないが、例えばホワイトバランスの調整、又は特定色の強調処理等が挙げられる。ただし、補正処理の種類が色補正に限定されるわけではない。表示部３０４は、色補正部３０３により色補正されたフレーム画像を表示装置２０７に表示させる。なお、これらの構成は画像入力装置２０５に一体化されていてもよい。例えば、領域分割部３０２を集積回路チップに納め、画像入力装置２０５に設けることができる。この場合、画像入力装置２０５は本実施形態に係る画像処理装置として機能することができる。

図４は領域分割部３０２の詳細な機能構成を示した図である。領域分割部３０２は以下の構成を備える。距離計算部４０１は、フレーム画像中の各画素と代表点との距離を計算する。領域決定部４０２は、距離計算部４０１による計算結果をもとに、分割領域の境界を決定する。

属性決定部４０３は、領域決定部４０２により境界が決定された各分割領域について、属性情報を決定する。属性記憶部４０４は、分割領域についての属性情報を記憶するものであり、ＲＡＭ２０３又は２次記憶装置２０４等のメモリを用いて実現できる。動体検知部４０５は、着目フレーム画像上の動いている物体（以下、動体と呼ぶ）を検知する、動体検出処理を行う。この検知結果を用いることにより、動体検知部４０５又は属性更新部４０６は、着目分割領域に動体が含まれるか否かを判定することができる。

属性更新部４０６は、着目分割領域に動体が含まれるか否かに応じて、着目フレーム画像の着目分割領域の情報で、属性記憶部４０４に記憶されている着目分割領域の情報を更新するか否かを切り替える。本実施形態において、属性更新部４０６は、動体検知部４０５による検知結果に基づいて、属性決定部４０３が決定した属性情報を用いて属性記憶部４０４に記憶されている属性情報を更新する。初期値設定部４０７は、属性記憶部４０４から読み出した属性情報に基づいて、距離計算部４０１が次フレーム画像を処理する際に用いる代表点の初期値を設定する。

次に、本実施形態における処理の大まかな流れについて図５を用いて説明する。ステップＳ５０１において、映像入力部３０１は入力映像を構成するフレーム画像を取得する。例えば、画像入力装置２０５等が撮像を行うことにより所定時間ごとにフレーム画像を取得することができ、このフレーム画像を映像入力部３０１へと入力することができる。ステップＳ５０２において、領域分割部３０２は、フレーム画像を複数の分割領域へと分割する。ここで、領域分割部３０２は代表点を参照して領域分割を行い、それぞれの代表点に対応する分割領域が決定される。本実施形態において、代表点及び分割領域には識別子（ＩＤ）が付される。

ステップＳ５０３において、色補正部３０３は、それぞれの分割領域について色補正を行う。色補正部３０３は、分割領域ごとに異なるパラメータに従って色補正処理を行うことができる。例えば、色補正部３０３は、それぞれの分割領域について、公知技術に従って、分割領域内の画像及び必要に応じて分割領域外の画像を参照して色補正処理のパラメータを決定することができる。そして、色補正部３０３は、決定されたパラメータを用いて、例えば第１の分割領域に対しては第１のパラメータを用いたホワイトバランス調整を行い、第２の分割領域に対しては第２のパラメータを用いたホワイトバランス調整を行うことができる。

色補正部３０３は、着目分割領域の差異が前フレーム画像と現フレーム画像との間で閾値以下であるか否かに応じて、現フレーム画像の着目分割領域に対して補正処理を行うためのパラメータを算出するか否かを制御する。本実施形態において色補正部３０３は、現フレーム画像と前フレーム画像との間の差異が閾値以下である分割領域については、色補正処理のパラメータを算出する処理を省略する。一方、色補正部３０３は、現フレーム画像と前フレーム画像との間の差異が閾値を超える分割領域については、色補正処理のパラメータを算出する処理を省略しない。

例えば、色補正部３０３は、同じ識別子が付されている分割領域の位置及び形状が、現フレーム画像と前フレーム画像との間で一致するか否かを判定することができる。別の例として、色補正部３０３は、現フレーム画像の分割領域のうち所定割合以上の画素が、同じ識別子が付されている前フレーム画像の分割領域に含まれるか否かを判定することができる。このような条件が満たされる場合、色補正部３０３は、この分割領域について、前フレーム画像において用いられた色補正処理のパラメータを用いて色補正処理を行うことができる。このような処理は、領域分割部３０２が、前フレーム画像についての領域分割結果を、例えばＲＡＭ２０３等のメモリに一時保存することにより実現できる。

ステップＳ５０４において、表示部３０４は、色補正部３０３による色補正処理後のフレーム画像を、表示装置２０７に表示させる。ステップＳ５０５において、映像入力部３０１は、処理を終了するか否かを判定する。例えば、電源ＯＦＦ等のユーザからの終了指示があった場合、映像入力部３０１は処理を終了すると判定する。処理を終了すると判定されるまで、フレーム画像ごとに、ステップＳ５０１からＳ５０４までの処理が繰り返される。

以下に、ステップＳ５０２における領域分割処理の詳細について図６を用いて説明する。本実施形態における領域分割処理では、代表点が用いられる。具体的には、それぞれの代表点についての座標値は、代表点の識別子と関連づけてＲＡＭ２０３等のメモリに記憶されている。また、メモリに記憶された代表点の座標値は、後述するように１つのフレーム画像の処理中に初期値設定部４０７により設定される。距離計算部４０１は、初期値設定部４０７が設定した代表点の座標値を用いて処理を行う。なお、最初のフレーム画像の領域分割処理を行う場合には、任意に設定された代表点、例えばフレーム画像中に格子状に配置した代表点を用いることができる。

ステップＳ６０１において距離計算部４０１は、着目フレーム画像の各画素と、各分割領域との組み合わせについて、画素の画素情報と分割領域の情報とに基づいて評価を設定する。本実施形態において距離計算部４０１は、それぞれの代表点について、代表点から各画素への距離を算出する。代表点の位置は、前フレーム画像の処理中に初期値設定部４０７により設定されている。

本実施形態においては、代表点から画素への距離として、画像上の距離に加えて色空間上の距離も考慮することができる。例えば、距離計算部４０１は、フレーム画像上での画素から分割領域の代表点までの距離と、色空間上での画素の色情報から分割領域の色情報までの距離と、に応じて評価を設定することができる。この際に距離計算部４０１は、属性情報に含まれる、分割領域の代表点の位置情報と分割領域の色情報とを用いることができる。具体例として、非特許文献１と同様に、色空間上での色情報間（Ｌ，ａ，ｂ）の距離と、画像上での座標間（Ｘ，Ｙ）の距離と、の重み付け和を、代表点から画素への距離として用いることができる。距離が小さいことは、画素と分割領域との組み合わせの評価が高いことを意味する。

別の例として、特許文献１と同様に、Ｇｅｏｄｅｓｉｃ距離を代表点から画素への距離として用いることもできる。この場合、距離計算部４０１は、分割領域の代表点の位置情報を用いて、画素から分割領域の代表点までのＧｅｏｄｅｓｉｃ距離に応じて評価を設定することができる。距離が小さいことは、画素と分割領域との組み合わせの評価が高いことを意味する。これらは例にすぎず、他の距離又は別の評価法を用いることもできる。このように、画素の画素情報と分割領域の情報とに基づいて設定された評価が最も高くなるように選択された分割領域を、画素が属する分割領域として選択することができる。

ステップＳ６０２において領域決定部４０２は、代表点からの距離に基づいて各分割領域の境界を決定する。例えば、非特許文献１の方法に従って、クラスタリングを行うことができる。各クラスタは分割領域に相当し、こうして分割領域及びその境界が決定される。また、特許文献１の方法に従って、各画素からの距離が最も小さくなる代表点を選択し、同じ代表点を選択した画素の集合を１つの分割領域に対応づけてもよい。これらの方法により、それぞれの代表点に対応する分割領域が決定される。これらは例にすぎず、他の領域分割決定方法を用いることもできる。

次に、領域決定部４０２は、フレーム画像の各画素について、対応する領域を識別する情報（領域境界情報）を設定する。この領域境界情報が領域分割部３０２の出力となる。例えば、領域決定部４０２は、フレーム画像の左上からラスタスキャン順に画素に対応する分割領域の識別子（領域ＩＤ）を発行することにより、フレーム画像の各画素に対応する領域ＩＤを格納したラベル行列を生成することができる。領域決定部４０２は、このようなラベル行列を領域境界情報としてＲＡＭ２０３に一時記憶することができる。

ステップＳ６０３において、属性決定部４０３は、各分割領域の属性情報を決定する。分割領域の属性情報とは、分割領域から算出可能なデータのことであり、代表点についての情報を含む。例えば、非特許文献１の領域分割方法を用いる場合、属性決定部４０３は分割領域の属性情報として重心位置情報と色平均情報とを算出することができる。また、特許文献１の領域分割方法を用いる場合、属性決定部４０３は分割領域の属性情報として重心位置情報を算出することができる。また、属性決定部４０３は、他の値、例えば、分割領域の最頻色又は外接矩形の座標等を、属性情報として算出することもできる。なお、ステップＳ６０４に進む前に、領域属性情報を用いて代表点を更新することと、ステップＳ６０１〜Ｓ６０３の処理を行うことと、を繰り返してもよい。この場合、例えば分割領域の重心位置を、対応する代表点の新たな位置として用いることができる。処理時間が許す範囲でこの処理を繰り返すことにより、領域分割精度を向上させることができる。

ステップＳ６０４において、属性決定部４０３は、ステップＳ６０２にて発行された領域ＩＤに対応づけて、各領域の属性情報をＲＡＭ２０３に一時記憶する。

ステップＳ６０５において、動体検知部４０５は、フレーム画像上の動体を検知する。動体を検知する手法としては、前フレーム画像と現フレーム画像との差分を用いるフレーム間差分法、又はフレーム画像と背景画像との差分を用いる背景差分法などが挙げられるが、特に限定されない。また、動体の種別（人体又は車両等）が予めわかっている場合、これらを検出する検出器を用いることもできる。

検出器を用いる方法としては、例えば米国特許出願公開２００７／０２３７３８７号明細書に記載の方法が挙げられる。この方法では、所定の大きさの検出ウィンドウで入力画像上を走査しながら、検出ウィンドウ内の画像に対して人体を含むか否かを判別する２クラス判別が行われる。この判別においては、アダブーストを用いて多くの弱判別器を有効に組み合わせて判別器を構成することにより、判別精度を向上させることができる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成することができる。弱判別器はＨＯＧ特徴量に基づいて動作することができる。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに人体を含まない画像を除去し、それ以外の画像に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って画像が人体を含むかどうかの判別を行うことができる。車両等、他の種別の動体にも同様の処理で検出することができる。

また、フレーム画像が圧縮符号化されている場合は、符号化後のデータに基づいて動体検出を行うこともできる。例えば、フレーム画像がＪＰＥＧ形式で圧縮符号化されている場合は、符号化後のデータであるＤＣＴ係数（離散コサイン変換、Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍした結果）を参照することができる。具体的には、前フレームと現フレームとの間でＤＣＴ係数が所定値以上変化したブロックには、動体が写っていると判定することができる。このように、このように、フレーム画像そのものに対して動体検出処理を行う代わりに、符号化されたデータに対して動体検出処理を行うこともできる。

本実施形態において、動体検知部４０５は、以上のような手法により検出された動体の位置情報をＲＡＭ２０３に一時記憶させる。例えば、動体検知部４０５は、動体の位置情報として、動体を囲む矩形領域の左上と右下の２点のｘ，ｙ座標をＲＡＭ２０３に記憶させることができる。

ステップＳ６０６において、属性更新部４０６は、着目分割領域に動体が含まれるか否かを判定する。本実施形態において、属性更新部４０６は、着目分割領域が背景領域中にあるか否かを判定する。着目分割領域が背景領域中に含まれない場合、着目分割領域に動体は含まれないと判定することができる。例えば、属性更新部４０６は、領域ＩＤ順に、属性決定部４０３が算出した領域属性情報を呼び出し、分割領域が背景領域中であるかどうかを判定することができる。属性更新部４０６は、動体検知部４０５により得られた動体情報を参照し、分割領域が動体領域に含まれていない場合に、分割領域が背景領域中にあると判定することができる。例えば、属性更新部４０６は、領域属性情報に含まれる分割領域の重心位置が、いずれの動体領域にも含まれない場合、この分割領域は背景領域中にあると判定することができる。別の方法として、属性更新部４０６は、領域境界情報を参照して、分割領域がいずれの動体領域とも重なっていない場合、この分割領域は背景領域中にあると判定することができる。

ステップＳ６０７において、属性更新部４０６は、着目分割領域に動体が含まれない場合、着目フレーム画像の着目分割領域の情報で、属性記憶部４０４に記憶されている着目分割領域の情報を更新する。本実施形態において、属性更新部４０６は、ステップＳ６０６で着目分割領域が背景領域中にあると判定された場合、ステップＳ６０３で算出された領域属性情報で、属性記憶部４０４に記憶されている領域属性情報を更新する。具体的には、属性更新部４０６は、着目分割領域についてステップＳ６０３で算出された領域属性情報で、属性記憶部４０４に記憶されている着目分割領域と同じ領域ＩＤを持つ領域属性情報を上書きすることができる。一方、属性更新部４０６は、ステップＳ６０６で背景領域中にあると判定されなかった分割領域については、属性記憶部４０４に記憶されている領域属性情報を更新しない。このように、動体が写っている分割領域の領域属性情報は更新されない。更新方法は特に限定されず、例えば属性記憶部４０４に記憶されている領域属性情報とステップＳ６０３で算出された領域属性情報との重み付け和を属性記憶部４０４が記憶してもよい。

ステップＳ６０８で属性更新部４０６は、全分割領域についてステップＳ６０６〜Ｓ６０７の処理を行ったか否かを判定する。そして、属性更新部４０６は、全分割領域について処理が行われるまで、他の分割領域に対してステップＳ６０６〜Ｓ６０７の処理を行う。

ステップＳ６０９において、初期値設定部４０７は、属性記憶部４０４から読み出した領域属性情報に基づいて、ＲＡＭ２０３等のメモリにそれぞれの代表点の初期値を記録する。例えば、初期値設定部４０７は、それぞれの分割領域の重心位置の座標を、対応する代表点の座標の初期値として設定することができる。こうして設定された代表点の初期値は、距離計算部４０１が次フレーム画像を処理する際に用いられる。

以上の処理によれば、次フレーム画像の領域分割に使用する代表点は、背景領域に含まれる分割領域の属性情報を用いて決定される。また、動体領域に含まれる分割領域の属性情報は用いられない。このため、動体領域において代表点が動体の移動方向にずれてしまうことを抑制できるため、分割領域の順序が入れ替わることを抑制することができる。従って、後段の処理（本実施形態では色補正処理）において、分割領域の順序が入れ替わることにより生じる処理を削減することができる。もっとも、本実施形態に係る方法は、単に後段の処理量を削減するために使用可能なわけではなく、例えば物体追跡処理など分割領域の並び順が異なると処理結果が変わってしまう可能性のある後段の処理と組み合わせて用いることもできる。

［実施形態２］
実施形態１では、属性更新部４０６及び属性記憶部４０４の他に、動体検知部４０５を用いて動体の検出を行った。実施形態２では、属性領域情報を用いて背景モデルを生成し、背景差分法によって動体の検出を行う。この構成によれば、動体検知部４０５を省略することができる。なお、領域属性情報を用いた背景差分法による動体検出方法としては、特開２０１５−１９７８１６号公報に記載の方法を用いることができ、以下では簡単に説明する。

実施形態２に係る画像処理装置のハードウェア構成、機能構成、及び処理の大まかな流れは、実施形態１と同様である。以下では、実施形態１と同様の構成については説明を省略する。実施形態２は、領域分割部３０２の構成及び処理において実施形態１とは異なっており、以下ではこの点について主に説明する。

まず、領域分割部３０２の詳細な機能構成について、図７を用いて説明する。距離計算部４０１、領域決定部４０２、属性決定部４０３、及び初期値設定部４０７の構成は実施形態１と同様である。差分算出部７０４は、背景記憶部７０６から領域属性情報を読み出し、現フレーム画像から抽出された領域属性情報との差分を算出する。背景更新部７０５は、背景記憶部７０６に記憶された背景モデルを更新する。背景更新部７０５により、背景の変化（照明条件の変化等）を学習することができる。背景記憶部７０６は、分割領域の情報（例えば領域属性情報）を背景モデルとして記憶するものであり、実施形態１の属性記憶部４０４に対応する。背景記憶部７０６は、ＲＡＭ２０３又は２次記憶装置２０４等のメモリを用いて実現できる。属性選択部７０７は、次フレーム画像の領域分割に用いる領域属性情報を背景記憶部７０６から選択する。

次に、本実施形態に係る領域分割処理の詳細について図８を用いて説明する。ステップＳ６０１〜Ｓ６０３の処理は実施形態１と同様である。ステップＳ８０４及びＳ８０５において、差分算出部７０４は、着目フレーム画像の着目分割領域の情報と、背景記憶部７０６に記憶されている着目分割領域の情報と、を比較することで、着目分割領域に動体が含まれるか否かを判定する。ステップＳ８０４において差分算出部７０４は、着目分割領域について、領域属性情報を背景記憶部７０６から読み出し、ステップＳ６０３で現フレーム画像について算出された領域属性情報との差分を求める。本実施形態において、領域属性情報には分割領域の重心位置が含まれる。また、特開２０１５−１９７８１６号公報に記載の方法を用いる場合、領域属性情報には分割領域中の画像の特徴ベクトルが含まれる。差分算出部７０４は、重心位置、特徴ベクトル、又はこれらの組み合わせを用いて、差分を求めることができる。また、差分算出部は、分割領域中の画像から得られるその他の領域属性情報について差分を求めることもできる。

背景記憶部７０６に記憶された背景モデルは、各分割領域について算出された領域属性情報により構成されている。背景モデルは、入力映像に対する処理開始時に初期フレーム画像から得られた領域属性情報を用いて作成され、後述するように背景更新部７０５により入力映像に対する処理中に更新される。

ステップＳ８０５で差分算出部７０４は、ステップＳ８０４で算出された差分に基づいて、着目分割領域が背景領域にあるか動体領域にあるかを判定する。本実施形態において、差分算出部７０４は、差分が所定値未満であれば分割領域は背景領域にあり、所定値以上であれば分割領域は動体領域にあると判定する。このように、領域属性情報の比較により、分割領域が背景領域に含まれるか（分割領域に動体が含まれるか）が判定される。

着目分割領域が背景領域にあると判定された場合、ステップＳ８０６において背景更新部７０５はステップＳ６０３で算出された領域属性情報を用いて、背景記憶部７０６が記憶している着目分割領域についての領域属性情報を更新する。背景は時間と共に変化し、例えば昼から夜にかけて背景の輝度は変化する。このような変化を背景に反映するために、背景記憶部７０６が記憶している属性領域情報が更新される。具体例として、背景更新部７０５は、現フレームについて得られた属性領域情報で、背景記憶部７０６が記憶している属性領域情報を上書きすることができる。他の方法として、背景更新部７０５は、現フレームの属性領域情報が示す値と、背景記憶部７０６が記憶している属性領域情報が示す値と、の重みづけ和で、背景記憶部７０６が記憶している属性領域情報を上書きすることができる。

また、背景記憶部７０６は、１つの分割領域について、時刻情報と関連づけられた分割領域の情報を複数記憶してもよい。例えば、１つの分割領域について複数セットの属性領域情報を記憶してもよい。このような構成によれば、複数の状態、例えば昼と夜のそれぞれに対応する領域属性情報を、背景記憶部７０６に格納することができる。この場合、背景更新部７０５は、領域属性情報に時刻情報を関連づけて背景記憶部７０６に格納することができる。この時刻情報は、例えば領域属性情報を背景記憶部７０６に記憶した時の時刻、又は領域属性情報を算出するのに用いたフレーム画像の取得時刻、等を示すことができる。

一方で、着目分割領域が背景領域中にないと判定されなかった分割領域については、背景更新部７０５は背景記憶部７０６に記憶されている領域属性情報を更新しない。このように、動体が写っている分割領域の領域属性情報は更新されない。

ステップＳ８０７で背景記憶部７０６は、全分割領域についてステップＳ８０４〜Ｓ８０６の処理を行ったか否かを判定する。そして、背景記憶部７０６は、全分割領域について処理が行われるまで、他の分割領域に対してステップＳ８０４〜Ｓ８０６の処理を行う。

ステップＳ８０８において、属性選択部７０７は、背景記憶部７０６から、それぞれの分割領域についての領域属性情報を選択する。上述のように、背景記憶部７０６に記憶されている領域属性情報は、分割領域が背景領域に属すると判定された時の領域属性情報に基づいて得られている。背景記憶部７０６が、１つの分割領域について１つの背景情報（領域属性情報）しかもたない場合、属性選択部７０７はこの領域属性情報を選択する。一方、背景記憶部７０６が、１つの分割領域について分割領域の情報を複数記憶している場合、属性選択部７０７は複数の分割領域の情報から１つを選択することができる。

例えば背景記憶部７０６が、１つの分割領域について複数の領域属性情報を持つ場合、属性選択部７０７は複数の領域属性情報から１つを選択することができる。このとき、背景記憶部は、時刻情報に基づいて選択を行うことができる。例えば、属性選択部７０７は、現在時刻、現フレーム画像の取得時刻、又は次フレーム画像の取得時刻に最も近い時刻に記憶された領域属性情報を選択することができる。このような構成によれば、現フレーム画像と類似した背景画像が含まれているフレーム画像に基づく属性領域情報を選択することが可能になる。この場合、領域分割部３０２は、次フレーム画像を処理する際に、複数の分割領域の情報のうち時刻情報に基づいて選択された情報を参照して、次フレーム画像を複数の分割領域へと分割することができる。ステップＳ６０９は、実施形態１と同様に行われる。

実施形態２の方法によっても、動体により分割領域の順序が入れ替わることを抑制することができる。また、背景モデルの時刻情報をさらに考慮する構成によれば、領域分割に対する背景の時間変化の影響を抑えることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１：映像入力部、３０２：領域分割部、３０３：色補正部、３０４：表示部、４０１：距離計算部、４０２：領域決定部、４０３：属性決定部、４０４：属性記憶部、４０５：動体検知部、４０６：属性更新部、４０７：初期値設定部

Claims (13)

1. 連続するフレーム画像で構成される映像を取得する取得手段と、
   記憶手段に以前に記憶された各分割領域の情報を参照して、着目フレーム画像を複数の分割領域へと分割する分割手段と、
   着目分割領域に動体が含まれるか否かを判定する判定手段と、
   前記記憶手段に記憶されている前記着目分割領域の情報を、該着目分割領域に動体が含まれると判定された場合は更新せず、当該着目分割領域に動体が含まれないと判定された場合は、前記着目フレーム画像の前記着目分割領域の情報で更新する更新手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、前記着目フレーム画像に対して動体検出処理を行うことにより、前記着目分割領域に動体が含まれるか否かを判定することを特徴とする、請求項１に記載の画像処理装置。
3. 前記判定手段は、前記着目フレーム画像の前記着目分割領域の情報と、前記記憶手段に記憶されている前記着目分割領域の情報と、を比較することで、前記着目分割領域に動体が含まれるか否かを判定することを特徴とする、請求項１に記載の画像処理装置。
4. 前記記憶手段は、１つの分割領域について、時刻情報と関連づけられた前記分割領域の情報を複数記憶し、
   前記分割手段は、複数の前記分割領域の情報のうち時刻情報に基づいて選択された情報を参照して、前記着目フレーム画像を複数の分割領域へと分割することを特徴とする、請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記分割領域の情報は、前記分割領域の位置情報を含むことを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記分割領域の位置情報は、前記分割領域の重心位置情報を含むことを特徴とする、請求項５に記載の画像処理装置。
7. 前記分割領域の情報は、前記分割領域の色情報を含むことを特徴とする、請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記分割手段は、前記着目フレーム画像の各画素について、前記画素の画素情報と前記分割領域の情報とを用いて定まる評価に基づいて、前記画素が属する分割領域を選択することを特徴とする、請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記分割領域の情報は、前記分割領域の代表点の位置情報及び前記分割領域の色情報を含み、
   前記評価は、画像上での前記画素から前記分割領域の代表点までの距離と、色空間上での前記画素の色情報から前記分割領域の色情報までの距離と、に応じて定められることを特徴とする、請求項８に記載の画像処理装置。
10. 前記分割領域の情報は、前記分割領域の代表点の位置情報を含み、
    前記評価は、前記画素から前記分割領域の代表点までのＧｅｏｄｅｓｉｃ距離に応じて定められることを特徴とする、請求項８に記載の画像処理装置。
11. 着目分割領域の差異が前フレーム画像と現フレーム画像との間で閾値以下であるか否かに応じて、前記現フレーム画像の前記着目分割領域に対して補正処理を行うためのパラメータを算出するか否かを制御する補正部をさらに備えることを特徴とする、請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 画像処理装置が行う画像処理方法であって、
    連続するフレーム画像で構成される映像を取得する取得工程と、
    記憶手段に以前に記憶された各分割領域の情報を参照して、着目フレーム画像を複数の分割領域へと分割する分割工程と、
    着目分割領域に動体が含まれるか否かを判定する判定工程と、
    前記記憶手段に記憶されている前記着目分割領域の情報を、該着目分割領域に動体が含まれると判定された場合は更新せず、当該着目分割領域に動体が含まれないと判定された場合は、前記着目フレーム画像の前記着目分割領域の情報で更新する更新工程と、
    を備えることを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images