JP6125201B2 - 画像処理装置、方法、及びプログラム、並びに、画像表示装置 - Google Patents

Description

本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、画像表示装置に関する。

従来、カメラなどにより撮影された画像（撮影画像）を複数の領域に分割し、各領域を時分割に走査することで、オブジェクト（撮影画像に映り込んだ顔などの対象物）を検出する技術が知られている。

特許第４５３９７２９号公報

Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ，"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"ＩＥＥＥ ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ２００１）

しかしながら、従来技術では、画像の分割数が大きくなった場合に、オブジェクトが検出されるまでの時間が増加するため、処理時間の制約に対応できないという問題がある。本発明が解決しようとする課題は、処理時間の制約に対応可能な画像処理装置、方法、及びプログラム、並びに、画像表示装置を提供することである。

実施形態の画像処理装置は、取得部と第１決定部と検出部とを備える。取得部は、入力画像を取得する。第１決定部は、入力画像を分割する複数の部分領域ごとに予め設定された、オブジェクトが存在する確率を示す存在確率に応じて、オブジェクトが存在するか否かを検出する検出処理を行う部分領域の順序を示す検出順序を決定する。第１決定部は、予め定められた期間内において、各部分領域の検出処理が少なくとも１回は行われるように処理頻度を調節して検出順序を決定する。検出部は、検出順序に従って、入力画像のうち部分領域に対応する領域にオブジェクトが存在するか否かを検出する検出処理を行う。

第１実施形態の画像表示装置の概略図。 第１実施形態の表示部の構成例を示す図。 第１実施形態の概要を説明するための模式図。 第１実施形態の画像処理部の機能構成例を示す図。 第１実施形態の決定部の詳細な機能構成例を示す図。 第１実施形態の決定部による処理の例を示すフローチャート。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の処理ブロックを説明するための模式図。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の検出順序の決定方法の例を模式的に示す図。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の検出順序作成部による処理の例を示すフローチャート。 第１実施形態の画像処理部による処理の例を示すフローチャート。 第２実施形態の画像処理部の機能構成例を示す図。 第２実施形態の決定部の詳細な機能構成例を示す図。 第２実施形態の画像処理部による処理の例を示すフローチャート。 第３実施形態の画像処理部の機能構成例を示す図。 第３実施形態の画像処理部による処理の例を示すフローチャート。 第４実施形態の画像処理部の機能構成例を示す図。 第４実施形態の３次元座標系を示す図。 第４実施形態の探索窓と対象物の幅の一例を表す図。 第５実施形態の視域の制御例を説明するための模式図。 第５実施形態の視域の制御例を説明するための模式図 第５実施形態の視域の制御例を説明するための模式図。 第５実施形態の画像処理部の機能構成例を示す図。

以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、画像表示装置の実施の形態を詳細に説明する。

（第１実施形態）
本実施形態の画像処理装置は、観察者が裸眼で立体画像を観察可能なＴＶ（テレビ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、デジタルフォトフレーム等の画像表示装置に用いられ得る。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。なお、実施形態で述べる画像とは、静止画像又は動画像のいずれであってもよい。

図１は、本実施形態の画像表示装置１の概略図である。図１に示すように、画像表示装置１は、表示部１０と、撮影部２０と、画像処理部３０とを備える。

図２は、表示部１０の構成例を示す図である。図２に示すように、表示部１０は、表示素子１１と光線制御素子１２とを含む。観察者は、光線制御素子１２を介して表示素子１１を観察することで、表示部１０に表示される立体画像を観察する。観察者の左眼および右眼に対し、視差の異なる画像をそれぞれ表示することで、観察者は立体画像を観察することができる。

表示素子１１は立体画像を表示する。表示素子１１には、異なる色の複数のサブ画素（例えば、Ｒ，Ｇ，Ｂ）が、Ｘ方向（行方向）とＹ方向（列方向）とに、マトリクス状に配列される。図２の例では、ひとつの画素はＲＧＢ各色のサブ画素から構成される。各サブ画素は、Ｘ方向にＲ（赤）、Ｇ（緑）、Ｂ（青）の順で繰り返し配列され、Ｙ方向に同一の色成分が配列される。表示素子１１には、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、投射型ディスプレイなどを用いる。また、表示素子１１は、バックライトを備えた構成でもよい。以下では、表示素子１１をパネルと呼ぶ場合がある。

光線制御素子１２は、表示素子１１の各サブ画素から射出される光線の方向を制御する。光線制御素子１２は、直線状に延伸する光学的開口１３がＸ方向に複数配列されたものである。図１の例では、光線制御素子１２は、シリンドリカルレンズ（光線を射出するための光学的開口１３として機能）が複数配列されたレンチキュラーシートであるが、これに限らず、例えば光線制御素子１２は、スリットが複数配列されたパララックスバリアであってもよい。表示素子１１と光線制御素子１２とは、一定の距離（ギャップ）を有する。また、光線制御素子１２は、その光学的開口１３の延伸方向が表示素子１１のＹ方向（列方向）に対して、所定の傾きを有するように配置されるので、光学的開口１３と表示画素との行方向の位置がずれることにより、高さごとに視域（観察者が立体画像を観察可能な領域）が異なる。

図１に戻って説明を続ける。撮影部２０は、実空間上の所定の領域を撮影（撮像）する。以下の説明では、撮影部２０により撮影された画像を撮影画像と呼び、撮影画像に映り込んだ、例えば人物の顔などの対象物をオブジェクトと呼ぶ場合がある。撮影部２０は、公知の様々な撮影装置を用いることができる。本実施形態では、撮影部２０はカメラで構成され、以下の説明では、カメラ２０と表記する場合もある。撮影部２０の設置位置は任意に設定可能である。以下の説明では、画像表示装置１が有する撮影部２０の数が１つである場合を例に挙げて説明するが、これに限らず、例えば画像表示装置１が複数の撮影部２０を有する形態であってもよい。

次に、画像処理部３０について説明する。画像処理部３０の具体的な内容を説明する前に、画像処理部３０が有する機能の概要を説明する。画像処理部３０は、撮影画像を分割する複数の部分領域ごとに予め設定された存在確率（オブジェクトが存在する確率）に応じて、オブジェクトが存在するか否かを検出する検出処理を行う部分領域の順序を示す検出順序を決定する。そして、画像処理部３０は、決定した検出順序に従って、撮影画像のうち、部分領域に対応する領域にオブジェクトが存在するか否かを検出する検出処理を行う。画像処理部３０は、請求項の「画像処理装置」に対応する。

以上の概要を、図３を用いて説明する。図３の左側には、撮影画像を３つの部分領域に分けたものを示している。図３に例示された３つの部分領域は、撮影画像を垂直方向に分割する領域であり、一番上の部分領域を部分領域１、一番下の部分領域を部分領域３、部分領域１と部分領域３とに挟まれた中央の部分領域を部分領域２と表記する。図３の例では、部分領域１の存在確率を０．３、部分領域２の存在確率を０．５、部分領域３の存在確率を０．２としている。この場合の各時刻における部分領域の検出順序を図３の右側に示した。横軸は時刻であり、縦軸は画像の垂直方向である。図３の例では、画像の水平方向には分割していないため、このように２次元で記載している。図３の右側において、時刻１から時刻１０までのそれぞれの時刻にて検出処理が行われる部分領域は、網点で示している。部分領域１は、存在確率が０．３なので、時刻１０までに３回の検出処理が行われている。その他の部分領域に対しても同様に、存在確率に応じて、検出処理を行う回数が変化する。時刻１１以降は、再び時刻１から時刻１０までの検出順序を周期的に適用するので、時刻１から時刻１０までが１周期となる。以上のように存在確率に応じて各時刻での検出処理を行う部分領域を決定する方法の具体的な内容については後述する。

ここで、本明細書を通じて使用する時刻について述べる。撮影画像が動画である場合は、各時刻は撮影画像の取得開始時刻を時刻１、次の撮影画像が入力された時刻を時刻２と離散的に表現する。これにより、時刻ｔから時刻ｔ＋１までの間は、使用するカメラ（撮影部２０）のフレームレートに従って変化する。たとえば、３０ｆｐｓ（frame per second）のカメラであれば、１／３０秒となる。この時間以内で検出処理が終了するように部分領域を決定する必要がある。撮影画像が静止画である場合は、撮影画像を同じサイズの部分領域にＮ（Ｎ≧２）分割したときには、時刻１から時刻Ｎまでが１周期となる。それぞれの部分領域に対して検出処理が終了するまでの時間は、時刻ｔから時刻ｔ＋１に至るまでの時間となる。

なお、画像処理部３０は、検出処理により検出されたオブジェクトの位置およびサイズを含むオブジェクト位置情報に基づいて、実空間上のオブジェクトの３次元位置を推定する機能（請求項の「推定部」に対応）と、推定した３次元位置を含むように、観察者が立体画像を観察可能な視域を決定する機能（請求項の「第２決定部」に対応）と、決定した視域が形成されるように、表示部１０を制御する機能（請求項の「表示制御部」に対応）とをさらに有している。ただし、説明の便宜上、第１実施形態では、これらの機能の説明を省略し、オブジェクトの検出に関する機能を中心に説明する。これらの機能については、後述の実施形態で改めて説明する。

以下、画像処理部３０の具体的な内容を説明する。図４は、画像処理部３０が有する機能のうち、オブジェクトの検出に関する機能の構成例を示す機能ブロック図である。図４に示すように、画像処理部３０は、取得部１０１と、検出部１０２と、第１決定部１０３とを有する。取得部１０１は、カメラ２０から撮影画像を取得する機能を有する。取得部１０１は、取得した撮影画像を検出部１０２に出力する。撮影画像は、静止画像であってもよいし、動画像であってもよい。動画像はカメラ２０のフレームレートに合わせて取得する。この例では、カメラ２０からの撮影画像が、請求項の「入力画像」に対応しているが、これに限られるものではない。

検出部１０２は、取得部１０１から撮影画像を、第１決定部１０３から、撮影画像の一部の領域を指定する部分領域情報を取得する。そして、検出部１０２は、取得部１０１から取得した撮影画像のうち、第１決定部１０３から取得した部分領域情報で指定された領域にオブジェクトが存在するか否かを検出する検出処理を行い、当該領域内にオブジェクトが検出された場合は、撮影画像内でのオブジェクトの位置およびサイズを示すオブジェクト位置情報を出力する。後述するように、第１決定部１０３は、撮影画像を分割する複数の部分領域ごとに予め設定された存在確率に基づいて検出順序を決定し、決定した検出順序に従って、何れかの部分領域を示す部分領域情報を、検出部１０２へ順次に出力する。そして、検出部１０２は、取得部１０１から取得した撮影画像のうち、第１決定部１０３から取得した部分領域情報が示す部分領域に対応する領域にオブジェクトが存在するか否かを検出する検出処理を行う。つまり、検出部１０２は、第１決定部１０３により決定された検出順序に従って、撮影画像のうち部分領域に対応する領域にオブジェクトが存在するか否かを検出する検出処理を行う機能を有していると捉えることもできる。

本実施形態では、検出部１０２は、取得部１０１から取得した撮影画像上に、所定の複数のサイズの探索窓を走査させていき、予め用意したオブジェクトの画像のパターンと探索窓内の画像のパターンとの類似度合いを評価することで、探索窓内の画像がオブジェクトであるかを判定する。例えば対象物が人物の顔である場合には、非特許文献１に開示された探索方法を用いることができる。この探索法は、探索窓内の画像に対していくつかの矩形特徴を求め、それぞれの特徴に対する弱識別器を直列につないだ強識別器によって、正面顔であるかどうかを判定する方法である。

画像処理部３０で上記探索法を用いる場合には、探索法を行う各機能部（詳細後述）に、パターン識別器（図示省略）を備えた構成とすればよい。パターン識別器は、複数の弱識別器を直列に接続したカスケード構造の識別器であって、非特許文献１に開示されたカスケード型ＡｄａＢｏｏｓｔベース識別器である。

具体的には、パターン識別器は、入力された撮影画像に対して、カスケードの各段の弱識別器で顔、非顔の判定を行い、顔と判定された画像のみを次段の弱識別器へと進める。そして、最後の弱識別器を通過した画像を最終的に顔画像と判定する。

カスケードの各段を構成する強識別器は、複数の弱識別器を直列につないだ構成である。各弱識別器では、探索窓内の画像に対して求めた矩形特徴を用いて評価を行う。

ここで、ｘを探索の画像内における２次元座標位置ベクトルとしたときの、位置ベクトルｘにおいての、ある弱識別器ｎの出力は、下記式（１）によって示される。

式（１）中、ｈ_ｎ（ｘ）は弱識別器ｎの出力を示し、ｆ_ｎ（ｘ）は弱識別器ｎの判定関数を示す。また、式（１）中、ｐ_ｎは不等号の等号の向きを定めるために、１または−１となる数を示し、θ_ｎは各弱識別器ｎに対して予め定められている閾値を示す。例えばθ_ｎは、識別器作成の際の学習において設定される。

また、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力は、下記式（２）によって示される。

式（２）中、Ｈ（ｘ）は、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力を示す。また、式（２）中、α_ｎは予め定められている弱識別器ｎの重みを示し、ｈ_ｎは式（１）で表した弱識別器ｎの出力を示す。例えばα_ｎは、識別器作成の際の学習において設定される。

なお、パターン識別器を通過した画像について、顔らしさを表す尤度ｌ（ｘ）を算出するためには、下記式（３）を用いる。

式（３）中、ａは、識別器作成の際の学習において生成される重みを表す定数である。また、式（３）中、Ｈ（ｘ）は、強識別器の出力を示す。

なお、対象物は必ずしも一定の方向から撮影されるわけではない。例えば、横方向や斜め方向から撮影する場合も考えられる。このような場合には、画像処理部３０を、横顔を検出するためのパターン識別器を備えた構成とする。なお、画像処理部３０において探索法を用いる各機能部は、対象物の１つないし複数の姿勢の各々に対応するパターン識別器を備えた構成であるものとする。

第１決定部１０３は、撮影画像を分割する複数の部分領域ごとに予め設定された存在確率に基づいて、オブジェクトが存在するか否かを検出する検出処理を行う部分領域の順序を示す検出順序を決定する。そして、決定した検出順序に応じて、何れかの部分領域を示す部分領域情報を、検出部１０２へ順次に出力する。

また、本実施形態では、撮影画像と同じサイズの画像データに含まれる複数の領域（各領域は、オブジェクトの検出が行われる位置（オブジェクトの検出位置）に対応すると捉えることもできる）ごとに、予め設定された存在確率を示す確率マップデータが不図示のメモリに格納されており、第１決定部１０３は、確率マップデータを参照して、存在確率の高い領域から順番にグルーピングすることで、複数の部分領域を決定する。詳細な内容については後述する。なお、確率マップデータの保存先は任意であり、不図示のメモリであってもよいし、外部のサーバ装置であってもよい。複数の部分領域は、取得部１０１により取得される撮影画像に含まれる複数の領域と１対１に対応していると捉えることができる。

図５は、第１決定部１０３の詳細な機能構成例を示すブロック図である。図５に示すように、第１決定部１０３は、存在確率設定部１０２１と、検出順序作成部１０２２とを有する。存在確率設定部１０２１は、オブジェクトの検出位置ごとに予め設定された存在確率を検出順序作成部１０２２に出力する。本実施形態では、存在確率設定部１０２１は、不図示のメモリにアクセスして上述の確率マップデータを取得し、取得した確率マップデータを参照して、オブジェクトの検出位置ごとに予め設定された存在確率を示す情報を、検出順序作成部１０２２へ出力する。検出順序作成部１０２２は、オブジェクトの検出位置ごとに予め設定された存在確率に基づいて、複数の部分領域を決定し、決定した各部分領域の存在確率に基づいて、検出順序を決定する。

次に、図６を参照しながら、第１決定部１０３による処理を説明する。図６は、第１決定部１０３による処理の一例を示すフローチャートである。図６に示すように、存在確率設定部１０２１は、存在確率を設定する（ステップＳ１００１）。より具体的には、存在確率設定部１０２１は、不図示のメモリにアクセスして上述の確率マップデータを取得し、取得した確率マップデータを参照して、オブジェクトの検出位置ごとに予め設定された存在確率を示す情報を、検出順序作成部１０２２へ出力する。

ここで、撮影画像の左上を原点とし、水平右方向にｘ軸、垂直下方向にｙ軸を設定し、探索窓のサイズをｗ軸とすれば、存在確率は、３次元確率ｐ（ｘ，ｙ，ｗ）によって表すことができる。これは、たとえば３次元正規分布によってモデル化する。または、たとえば、画像の上部は天井や空しか映らず、オブジェクトが存在する可能性が低い、かつ水平方向には分割しないと想定する場合には、１次元確率ｐ（ｙ）によって存在確率を設定してもよい。なお、ｙに限らずｘ、ｗの１次元確率としてもよいし、そのうちの２つによる２次元確率によって存在確率を設定してもよい。また、混合正規分布モデルを用いてもよい。

また、３次元座標（ｘ、ｙ、ｗ）は、探索窓の１回の走査位置を示す情報であるとみなすこともできる。探索窓の走査は離散的であり、ｘ軸ならば１≦ｘ≦（入力画像の水平解像度Ｉ_Ｗ）の範囲の整数、ｙ軸なら１≦ｙ≦（入力画像の垂直解像度Ｉ_Ｈ）の範囲の整数、ｗ軸ならば、所定の複数の探索窓サイズ（以降、それらサイズの集合をΩで表す）の組み合わせに対応する領域（オブジェクトの検出位置）の存在確率のみを定義した離散的な存在確率を用いてもよい。以降、これらの離散的な位置を表す場合には、説明の便宜上、ベクトルｉで表すことにする。つまり、ｐ（ｉ）によって、１回の探索窓の走査位置の存在確率を表す。また、これら探索窓の走査位置全体の集合をＩで表すことにする。この例では、上述の確率マップデータは、集合Ｉに含まれる複数の走査位置ごとに予め設定された存在確率を示すデータとなる。そして、検出順序作成部１０２２は、集合Ｉに含まれる複数の走査位置ごとに予め設定された存在確率を示す情報を、存在確率設定部１０２１から取得する。

上述のステップＳ１００１の後、検出順序作成部１０２２は、各走査位置の存在確率に基づいて、検出処理を行う部分領域の順序を示す検出順序を決定する（ステップＳ１００２）。

以下、図７を参照しながら、ステップＳ１００２の処理の具体的な内容を説明する。図７は、図６に示すステップＳ１００２の処理の具体的な内容の一例を示すフローチャートである。ここで、所定の時間内に検出部１０２が処理することができる探索窓の走査回数をＣＡＰＡＣＩＴＹとする。つまり、部分領域情報は、ＣＡＰＡＣＩＴＹ回の走査回数の画像領域および探索窓サイズを指定する情報になる。

図７に示すように、まず、検出順序作成部１０２２は、ＣＡＰＡＣＩＴＹ回の走査回数になるように、複数のベクトルｉで表される複数の走査位置（１回の探索窓の走査位置）からなる部分領域（以降、この部分領域を処理グループと呼ぶ）を設定する（ステップＳ１１０）。処理グループは、１ないし複数作成されるため、それぞれに１から始まる自然数のインデックスｋを与える。処理グループｋは、ベクトルｉで表される１回の探索窓の走査位置の集合Ｇ（ｋ）と、集合Ｇ（ｋ）に含まれる要素数（走査位置の数）Ｃｏｓｔ（ｋ）、処理グループ内でのオブジェクトの存在確率（処理グループに含まれる複数の走査位置の各々に対応する存在確率の和）ｐ（ｋ）というデータを持つ。処理グループｋは、新規に作成された場合、Ｇ（ｋ）＝φ（空集合）、Ｃｏｓｔ（ｋ）＝ＣＡＰＡＣＩＴＹ、ｐ（ｋ）＝０に初期化される。集合Ｇ（ｋ）に、ベクトルｉを加えることを、Ｇ（ｋ）←ｉによって表す。

本実施形態では、ステップＳ１１０において、検出順序作成部１０２２は、集合Ｉに属する要素の存在確率が高い順に処理グループを形成する。図８を参照しながら、ステップＳ１１０の処理の詳細な内容の一例を説明する。図８は、ステップＳ１１０の処理の詳細な内容の一例を示すフローチャートである。図８に示すように、まず、検出順序作成部１０２２は、処理グループを１つ作成する（ステップＳ１１０１）。ここでは、インデックスｋ＝１で識別される処理グループを作成する場合を例に挙げて説明する。次に、検出順序作成部１０２２は、集合Ｉに含まれる走査位置のうち、最も存在確率が高い走査位置ｉｍａｘを求める（ステップＳ１１０２）。

次に、検出順序作成部１０２２は、走査位置ｉｍａｘに対応する存在確率ｐ（ｉｍａｘ）＝０であるかどうかを判定する（ステップＳ１１０３）。ｐ（ｉｍａｘ）＝０でないと判定した場合（ステップＳ１１０３：Ｎｏ）、検出順序作成部１０２２は、処理グループｋのＣｏｓｔ（ｋ）＝０であるかどうかを判定する（ステップＳ１１０４）。Ｃｏｓｔ（ｋ）＝０であると判定した場合（ステップＳ１１０４：Ｙｅｓ）、検出順序作成部１０２２は、新たに処理グループを追加して、インデックスｋを新しい処理グループのインデックスに更新する（ステップＳ１１０５）。Ｃｏｓｔ（ｋ）＝０でないと判定した場合（ステップＳ１１０４：Ｎｏ）、ステップＳ１１０５の処理はスキップし、次のステップＳ１１０６の処理に移行する。

ステップＳ１１０６において、検出順序作成部１０２２は、走査位置ｉｍａｘを処理グループｋの集合Ｇ（ｋ）に加える。また、処理グループｋのＣｏｓｔ（ｋ）を、現在の値から１だけデクリメントした値に更新する。また、処理グループｋの存在確率ｐ（ｋ）に、走査位置ｉｍａｘの存在確率ｐ（ｉｍａｘ）を加える。次に、検出順序作成部１０２２は、走査位置ｉｍａｘの存在確率ｐ（ｉｍａｘ）を０に設定し（ステップＳ１１０７）、再びステップＳ１１０２以降の処理を行う。これにより、ベクトルｉで表される走査位置は、処理グループのいずれか１つにしか存在しないことになる。ここまでの処理で、すべての走査位置を、必ず何れかの処理グループに所属させることができる。ここまでが、図８に例示されたフローチャートの左側の処理になる。

上述のステップＳ１１０３において、ｐ（ｉｍａｘ）＝０であると判定した場合（ステップＳ１１０３：Ｙｅｓ）、最後に作成された処理グループｋｌａｓｔのＣｏｓｔ（ｋｌａｓｔ）が０になっていない場合、その処理グループｋｌａｓｔの処理時間に余裕があることになる。そこで、検出順序作成部１０２２は、一旦、集合Ｉのそれぞれの要素（走査位置）の存在確率を、「０」に設定される前の初期状態（ステップＳ１１０１の時点における状態）に戻して（ステップＳ１１０８）、再び存在確率の高い走査位置から順に処理グループｋｌａｓｔの走査位置の集合Ｇ（ｋｌａｓｔ）に加えていく。より具体的には、上述のステップＳ１１０８の後、検出順序作成部１０２２は、最後に作成された処理グループｋｌａｓｔのＣｏｓｔ（ｋｌａｓｔ）＝０であるかどうかを判定し（ステップＳ１１０９）、Ｃｏｓｔ（ｋｌａｓｔ）＝０であると判定した場合（ステップＳ１１０９：Ｙｅｓ）、処理を終了する。一方、Ｃｏｓｔ（ｋｌａｓｔ）＝０でないと判定した場合（ステップＳ１１０９：Ｎｏ）、集合Ｉに含まれる走査位置のうち、最も存在確率が高い走査位置ｉｍａｘを求める（ステップＳ１１１０）。次に、検出順序作成部１０２２は、走査位置ｉｍａｘを処理グループｋｌａｓｔの集合Ｇ（ｋｌａｓｔ）に加え、処理グループｋｌａｓｔのＣｏｓｔ（ｋｌａｓｔ）を、現在の値から１だけデクリメントした値に更新し、処理グループｋｌａｓｔの存在確率ｐ（ｋｌａｓｔ）に、走査位置ｉｍａｘの存在確率ｐ（ｉｍａｘ）を加える（ステップＳ１１１１）。次に、検出順序作成部１０２２は、走査位置ｉｍａｘの存在確率ｐ（ｉｍａｘ）を０に設定し（ステップＳ１１１２）、再びステップＳ１１０９以降の処理を行う。

以上においては、存在確率が３次元で表される場合におけるステップＳ１１０（図７参照）の処理を説明したが、存在確率が、１次元または２次元で表される場合もあり得る。この場合は、探索窓の１回の走査位置ごとではなく、複数の走査位置からなるブロック単位に処理グループを形成する必要がある。つまり、処理グループは、１ないし複数のブロックから構成されるようにする。このブロックを処理ブロックと呼ぶ（図９参照）。ここでは、各処理ブロックに対して、１から始まる自然数のインデックスｂを与える（以下、処理ブロックを総称して説明する場合は、単に処理ブロックｂと称して説明する）。存在確率が１次元で表される場合の処理ブロックｂに含まれる走査位置の集合Ｇ（ｂ）は、たとえば、ｙをｙ（ｂ）に固定すると、以下の式４で表すことができる。

なお、上記式４において、ｙ（ｂ）は、走査位置を示すのではなく、以下の式５を満たすある範囲の集合とする。

上記式５において、ｎは、ユーザが設定できる自然数である。ｎを定めればＣｏｓｔ（ｂ）が、以下の式６により求められる。このとき、ＣＡＰＡＣＩＴＹ／Ｃｏｓｔ（ｂ）＞１になるように、ｎを調節する必要がある。

関数Ｓｉｚｅ（Ａ）は、集合Ａに含まれる要素数を返す関数である。この場合、Ｐ（ｂ）は、以下の式７により求めることができる。

以上のように作成した処理ブロックｂすべての集合を集合Ｋで表す。

次に、図１０を参照しながら、検出順序作成部１０２２が、処理ブロック単位に処理グループ（部分領域）を形成する方法の一例を説明する。図１０は、上述のステップＳ１１０（図７参照）の処理の詳細な内容の一例を示すフローチャートである。図１０に示すように、まず、検出順序作成部１０２２は、処理グループを１つ作成する（ステップＳ１２０１）。ステップＳ１２０１の処理内容は、図８のステップＳ１１０１の処理内容と同様である。

次に、検出順序作成部１０２２は、集合Ｋに含まれる処理ブロックｂのうち、最も存在確率が高い処理ブロックｂｍａｘを求める（ステップＳ１２０２）。次に、検出順序作成部１０２２は、処理ブロックｂｍａｘの存在確率ｐ（ｂｍａｘ）＝０であるかどうかを判定する（ステップＳ１２０３）。

ｐ（ｂｍａｘ）＝０でないと判定した場合（ステップＳ１２０３：Ｎｏ）、検出順序作成部１０２２は、処理グループの集合Ｋの中で、処理ブロックｂｍａｘの処理を含めることができる処理グループｋｓを探す（ステップＳ１２０４）。より具体的には、検出順序作成部１０２２は、集合Ｋの中で、Ｃｏｓｔ（ｋ）−Ｃｏｓｔ（ｂｍａｘ）≧０を満たす処理グループｋｓを探す。処理ブロックｂｍａｘの処理を含めることができる処理グループｋｓが存在しない場合（ステップＳ１２０４：Ｎｏ）、検出順序作成部１０２２は、新たな処理グループｋｓを集合Ｋに追加する（ステップＳ１２０５）。処理ブロックｂｍａｘの処理を含めることができる処理グループｋｓが存在する場合（ステップＳ１２０４：Ｙｅｓ）、ステップＳ１２０５の処理はスキップし、次のステップＳ１２０６の処理に移行する。

ステップＳ１２０６において、検出順序作成部１０２２は、処理ブロックｂｍａｘに含まれる走査位置の集合Ｇ（ｂｍａｘ）を、処理グループｋｓの集合Ｇ（ｋｓ）に加える。また、処理グループｋｓのＣｏｓｔ（ｋｓ）を、現在の値からＣｏｓｔ（ｂｍａｘ）だけデクリメントした値に更新する。また、処理グループｋｓの存在確率ｐ（ｋｓ）に、処理ブロックｂｍａｘの存在確率ｐ（ｂｍａｘ）を加える。次に、検出順序作成部１０２２は、処理ブロックｂｍａｘの存在確率ｐ（ｂｍａｘ）を０に設定し（ステップＳ１２０７）、再びステップＳ１２０２以降の処理を繰り返す。

一方、上述のステップＳ１２０３において、ｐ（ｂｍａｘ）＝０であると判定した場合は（ステップＳ１２０３：Ｙｅｓ）、集合Ｋに含まれる処理ブロックｂすべてが、いずれかの処理グループの走査位置集合の要素として加えられたことを示す。このとき、集合Ｋに含まれる複数の処理グループのそれぞれの処理時間に余裕があるかどうかを調べていく。まず、集合Ｋのそれぞれの要素の存在確率をステップＳ１２０１の時点に戻す（ステップＳ１２０８）。次に、検出順序作成部１０２２は、上述のステップＳ１２０２と同様に、最も存在確率が高い処理ブロックｂｍａｘを求める（ステップＳ１２０９）。次に、検出順序作成部１０２２は、上述のステップＳ１２０３と同様に、処理ブロックｂｍａｘの存在確率ｐ（ｂｍａｘ）＝０であるかどうかを判定する（ステップＳ１２１０）。

ｐ（ｂｍａｘ）＝０であると判定した場合（ステップＳ１２１０：Ｙｅｓ）、検出順序作成部１０２２は、処理を終了する。ｐ（ｂｍａｘ）＝０ではないと判定した場合（ステップＳ１２１０：Ｎｏ）、検出順序作成部１０２２は、上述のステップＳ１２０４と同様に、処理ブロックｂｍａｘの処理を含めることができる処理グループｋｓを探す（ステップＳ１２１１）。

処理ブロックｂｍａｘの処理を含めることができる処理グループｋｓが存在する場合（ステップＳ１２１１：Ｙｅｓ）、検出順序作成部１０２２は、上述のステップＳ１２０６と同様に、処理ブロックｂｍａｘに含まれる走査位置の集合Ｇ（ｂｍａｘ）を、処理グループｋｓの集合Ｇ（ｋｓ）に加える。また、処理グループｋｓのＣｏｓｔ（ｋｓ）を、現在の値からＣｏｓｔ（ｂｍａｘ）だけデクリメントした値に更新する。また、処理グループｋｓの存在確率ｐ（ｋｓ）に、処理ブロックｂｍａｘの存在確率ｐ（ｂｍａｘ）を加える（ステップＳ１２１２）。次に、検出順序作成部１０２２は、上述のステップＳ１２０７と同様に、処理ブロックｂｍａｘの存在確率ｐ（ｂｍａｘ）を０に設定し（ステップＳ１２１３）、再びステップＳ１２０９以降の処理を繰り返す。

一方、処理ブロックｂｍａｘの処理を含めることができる処理グループｋｓが存在しない場合（ステップＳ１２１１：Ｎｏ）、検出順序作成部１０２２は、上述のステップＳ１２０７と同様に、処理ブロックｂｍａｘの存在確率ｐ（ｂｍａｘ）を０に設定し（ステップＳ１２１３）、再びステップＳ１２０９以降の処理を繰り返す。

以上においては、存在確率が１次元で表される場合を例に挙げて説明したが、存在確率が２次元で表される場合の処理ブロックｂに含まれる走査位置の集合Ｇ（ｂ）は、たとえば、ｘをｘ（ｂ）に、ｙをｙ（ｂ）に固定すると、以下の式８で表すことができる。

このとき、Ｃｏｓｔ（ｂ）は、以下の式９で表すことができる。

また、Ｐ（ｂ）は、以下の式１０により求めることができる。

ｘ（ｂ）、ｙ（ｂ）についても、存在確率が１次元で表される場合と同様に範囲を持たせてもよい。このように処理ブロックｂを設定すれば、図１０に示すフローチャートに従って処理グループを形成することが可能である。

なお、以上の例では、１つの処理グループの中に、同じ処理ブロックｂが重複して存在しないようにして（複数の同じ処理ブロックｂが存在しないようにして）処理グループを形成することが望ましい。以上が、図７に示すステップＳ１１０の処理の詳細な内容の説明である。

再び図７に戻って説明を続ける。以上のステップＳ１１０の後、検出順序作成部１０２２は、各処理グループの存在確率に基づいて、検出処理を行う処理グループの順序を示す検出順序を決定する（ステップＳ１１１）。本実施形態では、検出順序作成部１０２２は、各処理グループの存在確率分布と乱数に応じて、時刻ｔで検出処理を行う処理グループｋを決定し、その処理グループｋに含まれる走査位置の集合Ｇ（ｋ）を示す情報（処理グループｋを指定する情報）を部分領域情報として出力する。ここでは、検出順序作成部１０２２は、存在確率の高い処理グループの検出処理が優先的に行われるように検出順序を決定する。より具体的には、存在確率の高い処理グループは、存在確率の低い処理グループよりも先に検出処理が行われ、かつ、検出処理の実行頻度も高くなるように検出順序が決定される。この場合、図３に例示したような部分領域の検出位置が周期的である態様とはならず、各時刻において乱数をもってその時刻での検出領域を決定する。

また、検出順序作成部１０２２は、図１１に示すフローチャートに従って、検出順序を決定する処理（図６のステップＳ１００２）を行ってもよい。図１１のステップＳ１１０の処理は、図７のステップＳ１１０の処理と同じなので、詳細な説明は省略する。次のステップＳ１２１において、検出順序作成部１０２２は、集合Ｋに含まれる複数の処理グループのそれぞれの存在確率ｐ（ｋ）に応じて、処理頻度ヒストグラムｈ（ｋ）を算出する。処理頻度ヒストグラムｈ（ｋ）は、以下の式１１により求めることができる。

ここで、関数ｒｏｕｎｄ（ｘ）は、ｘを四捨五入した整数を返す関数である。上記式１１において、分母の最小値を求める際には、０以外での最小値に限定する。上記式１１によって求まる処理頻度ｈ（ｋ）は、存在確率が高い範囲グループほど高い整数値になる値であり、最小値は１になる。つまり、各処理グループは、少なくとも１回は処理されることを保証する。

次に、検出順序作成部１０２２は、算出した各処理グループの処理頻度ｈ（ｋ）に応じて、時刻０≦ｔ≦Ｔａｌｌまでの処理グループを決定する（ステップＳ１２２）。つまり、ｔ＝０からｔ＝Ｔａｌｌまでの各時刻で検出処理する処理グループを決定する（検出順序を決定する）。ここで、Ｔａｌｌとは、全処理時間（周期）を表し、以下の式１２により求めることができる。

図１２を用いて、上述のステップＳ１２２の処理の概要を説明する。図１２の例では、５つの処理グループ１〜５を想定し、処理グループ１の処理頻度ｈ（１）＝１、処理グループ２の処理頻度ｈ（２）＝２、処理グループ３の処理頻度ｈ（３）＝５、処理グループ４の処理頻度ｈ（４）＝４、処理グループ５の処理頻度ｈ（５）＝１とする。つまり、Ｔａｌｌは１３となる。これから、図１２の下方の１３個のそれぞれのマスに、対応する処理グループのインデックスｋ（処理グループ番号）を埋めていくことでスケジュール（検出順序）を作成する。このマスをスケジュールスロットと呼ぶ。

次に、図１３を用いて、上述のステップＳ１２２の処理の詳細を説明する。図１３は、上述のステップＳ１２２の処理の詳細な内容の一例を示すフローチャートである。図１３に示すように、まず検出順序作成部１０２２は、集合Ｋの中で最も処理頻度が高い処理グループｋｍａｘを求める（ステップＳ１３０１）。次に、検出順序作成部１０２２は、処理グループｋｍａｘの処理頻度ｈ（ｋｍａｘ）＝０であるかどうかを判定する（ステップＳ１３０２）。ｈ（ｋｍａｘ）＝０であると判定した場合（ステップＳ１３０２：Ｙｅｓ）、検出順序作成部１０２２は処理を終了する。ｈ（ｋｍａｘ）＝０ではないと判定した場合（ステップＳ１３０２：Ｎｏ）、検出順序作成部１０２２は、処理グループｋｍａｘを、スケジュールスロットに入れる間隔を表すｓｔｅｐ（ｋｍａｘ）を求める（ステップＳ１３０３）。処理グループｋに対応するｓｔｅｐ（ｋ）は、以下の式１３により求めることができる。

次に、検出順序作成部１０２２は、スケジュールスロットの位置（時刻）を示すｔを０に初期化する（ステップＳ１３０４）。次に、検出順序作成部１０２２は、時刻ｔのスケジュールスロットに処理グループ番号（処理グループのインデックスｋ）をセットする（ステップＳ１３０５）。

ここで、図１４を用いて、上述のステップＳ１３０５の処理の詳細を説明する。図１４は、上述のステップＳ１３０５の処理の詳細な内容の一例を示すフローチャートである。図１４に示すように、検出順序作成部１０２２は、時刻ｔの近傍で、まだ処理グループ番号が設定されていない（空いている）スケジュールスロットの位置（時刻）ｔｅを求める（ステップＳ１４０１）。

図１５は、上述のステップＳ１４０１の処理の詳細な内容の一例を示すフローチャートである。以下、図１５を用いて、上述のステップＳ１４０１の処理の詳細な内容を説明する。まず、検出順序作成部１０２２は、時刻ｔのスケジュールスロットｉｎｄｉｃｅｓ［ｔ］＝ＮＵＬＬであるかどうかを判断する（ステップＳ１５０１）。つまり、検出順序作成部１０２２は、時刻ｔのスケジュールスロットｉｎｄｉｃｅｓ［ｔ］に処理グループ番号が設定されているかどうかを判断する。

時刻ｔのスケジュールスロットｉｎｄｉｃｅｓ［ｔ］＝ＮＵＬＬであると判断した場合（ステップＳ１５０１：Ｙｅｓ）、つまり、時刻ｔのスケジュールスロットｉｎｄｉｃｅｓ［ｔ］に処理グループ番号が未だ設定されていないと判断した場合、ｔｅ＝ｔとして処理を終了する（ステップＳ１５０２）。

一方、時刻ｔのスケジュールスロットｉｎｄｉｃｅｓ［ｔ］＝ＮＵＬＬでないと判断した場合（ステップＳ１５０１：Ｎｏ）、つまり、時刻ｔのスケジュールスロットｉｎｄｉｃｅｓ［ｔ］に処理グループ番号が既に設定されていると判断した場合、検出順序作成部１０２２は、時刻ｔのオフセットｕを１に設定する（Ｓ１５０３）。そして、検出順序作成部１０２２は、時刻ｔから正の方向にオフセット分移動した時刻ｔ＋ｕのスケジュールスロットｉｎｄｉｃｅｓ［ｔ＋ｕ］＝ＮＵＬＬであるかどうかを判断する（ステップＳ１５０４）。時刻ｔ＋ｕのスケジュールスロットｉｎｄｉｃｅｓ［ｔ＋ｕ］＝ＮＵＬＬであると判断した場合（ステップＳ１５０４：Ｙｅｓ）、ｔｅ＝ｔ＋ｕとして処理を終了する（ステップＳ１５０５）。

上述のステップＳ１５０４において、時刻ｔ＋ｕのスケジュールスロットｉｎｄｉｃｅｓ［ｔ＋ｕ］＝ＮＵＬＬではないと判断した場合（ステップＳ１５０４：Ｎｏ）、検出順序作成部１０２２は、時刻ｔから負の方向にオフセット分移動した時刻ｔ−ｕのスケジュールスロットｉｎｄｉｃｅｓ［ｔ−ｕ］＝ＮＵＬＬであるかどうかを判断する（ステップＳ１５０６）。時刻ｔ−ｕのスケジュールスロットｉｎｄｉｃｅｓ［ｔ−ｕ］＝ＮＵＬＬであると判断した場合（ステップＳ１５０６：Ｙｅｓ）、ｔｅ＝ｔ−ｕとして処理を終了する（ステップＳ１５０７）。時刻ｔ−ｕのスケジュールスロットｉｎｄｉｃｅｓ［ｔ−ｕ］＝ＮＵＬＬではないと判断した場合（ステップＳ１５０６：Ｎｏ）、検出順序作成部１０２２は、オフセットｕを１だけインクリメントし（ステップＳ１５０８）、上述のステップＳ１５０４以降の処理を繰り返す。以上が、図１４のステップＳ１４０１の処理の詳細な内容の一例である。

再び図１４に戻って説明を続ける。上述のステップＳ１４０１の後、検出順序作成部１０２２は、上述のステップＳ１４０１で取得した時刻ｔｅのスケジュールスロットｉｎｄｉｃｅｓ［ｔｅ］に、最も処理頻度が高い処理グループｋｍａｘのインデックス番号ｋｍａｘ（処理グループ番号）をセットする（ステップＳ１４０２）。次に、検出順序作成部１０２２は、処理グループｋｍａｘの処理頻度ｈ（ｋｍａｘ）を１だけデクリメントする（ステップＳ１４０３）。次に、検出順序作成部１０２２は、時刻ｔを時刻ｔｅに置き換えて（ステップＳ１４０４）、ステップＳ１３０５の処理を終了する。以上が、図１３のステップＳ１３０５の処理の詳細な内容の説明である。

再び図１３に戻って説明を続ける。上述のステップＳ１３０５の後、検出順序作成部１０２２は、時刻ｔ（ここでは時刻ｔｅに置き換えられている）に、ｓｔｅｐ（ｋｍａｘ）を加算する（ステップＳ１３０６）。次に、検出順序作成部１０２２は、時刻ｔが全処理時間Ｔａｌｌよりも小さいか否かを判断し（ステップＳ１３０７）、時刻ｔが全処理時間Ｔａｌｌよりも小さいと判断した場合（ステップＳ１３０７：Ｙｅｓ）、上述のステップＳ１３０５以降の処理を繰り返す。一方、時刻ｔが全処理時間Ｔａｌｌよりも大きいと判断した場合（ステップＳ１３０７：Ｎｏ）、検出順序作成部１０２２は、上述のステップＳ１３０１以降の処理を繰り返す。以上のようにして、検出順序作成部１０２２は、検出順序（スケジュール）を作成する。

なお、上述の各フローチャートには含めていないが、次のようなチェック機構があることが望ましい。上記スケジュールの作成においては、四捨五入の演算誤差によって、すべてのスケジュールスロットが埋まっていないことや、すべてのスロットが埋まっていて、ある処理グループ番号を詰めることができない場合もある。前者の場合には空きスロットを除去、後者の場合には、全処理時間を修正して空きスロットを追加してそこに詰める等の処理を入れる。以上のようにして作成したスケジュールによって、時刻Ｔａｌｌまでの部分領域情報を決定することができる。Ｔａｌｌより先の時刻においては、このスケジュールを繰り返し設定する。このスケジュールを作成するまでの処理を、検出順序のセットアップと呼ぶ。

また、検出順序作成部１０２２は、図１６に示すフローチャートに従って、検出順序を決定する処理（図６のステップＳ１００２）を行ってもよい。図１６に示すフローチャートと、図１１に示すフローチャートとの差分はステップＳ１３０のみであるため、ここでは、ステップＳ１３０の処理内容について説明する。

ステップＳ１３０において、検出順序作成部１０２２は、全処理時間Ｔａｌｌ内において、各処理グループの検出処理が少なくとも１回は行われるように処理頻度を調節する。本実施形態では、検出順序作成部１０２２は、全処理時間Ｔａｌｌが、ユーザが設定した時間Ｔｍａｘになるように調節する処理を行う。たとえば、処理グループの存在確率の偏りが大きく、２つの処理グループＡ、Ｂで、その存在確率の比がｐ（Ａ）：ｐ（Ｂ）=９９９：１であって、撮影画像のうち処理グループＢに対応する領域にオブジェクトが存在する場合、オブジェクトを検出するまで、最悪時刻１０００まで待たなければならなくなる。

そこで、検出順序作成部１０２２は、全処理時間Ｔａｌｌが、ユーザが設定した時間Ｔｍａｘになるように調節するとともに、設定した時間Ｔｍａｘ内において、各処理グループの検出処理が少なくとも１回は行われるように処理頻度を調節する。これにより、例えば処理グループＡの存在確率ｐ（Ａ）と処理グループＢの存在確率ｐ（Ｂ）との比がｐ（Ａ）：ｐ（Ｂ）=９９９：１であっても、少なくとも１回は処理グループＢの検出処理が行われるので、撮影画像のうち処理グループＢに対応する領域にオブジェクトが存在する場合は、設定時間Ｔｍａｘ内に当該オブジェクトを確実に検出できる。要するに、検出順序作成部１０２２は、予め定められた期間内において、各処理グループの検出処理が少なくとも１回は行われるように検出順序を決定することもできる。

図１７は、図１６のステップＳ１３０の処理の詳細な内容の一例を示すフローチャートである。図１７に示すように、検出順序作成部１０２２は、上記式１２に従って全処理時間Ｔａｌｌを求める（ステップＳ１６０１）。次に、検出順序作成部１０２２は、全処理時間Ｔａｌｌが、ユーザが設定したＴｍａｘよりも小さいかどうかを判定する（ステップＳ１６０２）。全処理時間ＴａｌｌがＴｍａｘよりも小さいと判定した場合（ステップＳ１６０２：Ｙｅｓ）、処理を終了する。一方、全処理時間ＴａｌｌがＴｍａｘよりも大きいと判定した場合（ステップＳ１６０２：Ｎｏ）、検出順序作成部１０２２は、集合Ｋに含まれる処理グループのうち最も処理頻度が高い処理グループｋｍａｘを求め、その求めた処理グループｋｍａｘの処理頻度ｈ（ｋｍａｘ）をデクリメントし（ステップＳ１６０３）、上述のステップＳ１６０１以降の処理を繰り返す。

次に、図１８を用いて、本実施形態に係る画像処理部３０による処理を説明する。図１８は、画像処理部３０による処理の一例を示すフローチャートである。図１８に示すように、まず第１決定部１０３は、検出順序のセットアップを行う（ステップＳ１００）。次に、取得部１０１は撮影画像を取得する（ステップＳ１０１）。次に、第１決定部１０３は、決定した検出順序に従って、部分領域情報を順次に検出部１０２へ出力する（ステップＳ１０２）。次に、検出部１０２は、取得部１０１により取得された撮影画像のうち、部分領域情報が示す処理グループに対応する領域にオブジェクトが存在するかどうかを検出する検出処理を行う（ステップＳ１０３）。

以上に説明したように、本実施形態によれば、入力画像（この例では撮影画像）を分割する複数の処理グループのうち、予め設定された存在確率の高い処理グループの検出処理が優先的に行われるように検出順序が決定されるので、オブジェクトが検出されるまでの期待待機時間を短縮できる。

なお、上述の実施形態では、存在確率の高い領域（走査位置あるいは処理ブロックｂ）から順番にグルーピングすることで、複数の処理グループ（部分領域）を形成しているが、これに限らず、処理グループの形成方法は任意である。例えば存在確率を考慮せずに、画像データをマトリクス状に分割して得られる複数の分割領域の各々を、処理グループとして決定する形態であってもよい。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、入力画像のうち、検出処理によりオブジェクトが検出された領域に対応する処理グループ（部分領域）の存在確率を増加させる点で上述の第１実施形態と相違する。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。

図１９は、第２実施形態の画像処理部３００の機能構成例を示すブロック図である。第１実施形態の画像処理部３０との差分は、第１決定部２０１のみであるため、ここでは、第１決定部２０１の機能について説明する。

図２０は、決定部２０１の詳細な機能構成例を示すブロック図である。図２０に示すように、第１決定部２０１は、存在確率設定部２０１１と、検出順序作成部１０２２とを有する。第１実施形態の第１決定部１０３との差分は、存在確率設定部２０１１であり、ここではその差分についてのみ説明する。

ここで、検出部１０２は、検出処理によってオブジェクトを検出した場合、撮影画像内のオブジェクトの位置およびサイズを示すオブジェクト位置情報を決定部２０１（存在確率設定部２０１１）へ出力する。存在確率設定部２０１１は、取得したオブジェクト位置情報に基づいて、上述の確率マップデータを更新する。

より具体的には、存在確率設定部２０１１は、撮影画像と同じサイズの画像データのうち、オブジェクト位置情報が示す領域の存在確率を増加させて、確率マップデータを更新する。また、本実施形態では、検出順序作成部１０２２は、所定のタイミングで、検出順序の作成処理（図６のステップＳ１００２の処理）を繰り返す。したがって、上述の確率マップデータの更新に応じて、オブジェクトが検出された領域に対応する処理グループの存在確率も増加することになる。このとき、初期の存在確率は、第１実施形態で述べた正規分布のような確率モデルに従った確率に設定する。初期の存在確率は、一様分布に設定しておいてもよい。

存在確率の更新方法を具体的に説明する。更新の目的は、装置の使用時にオブジェクトが検出された位置の存在確率を高めることで、そのカメラ２０の位置においての検出の効率を上げるためである。存在確率ｐ（ｉ）を整数化した、ｉｐ（ｉ）を、以下の式１４によって求める。

これにより、最小値１に整数化した存在確率ｉｐ（ｉ）が求められる。例えば、入力されたオブジェクト位置情報が、ベクトルｄ（撮影画像の水平方向の位置ｘと、垂直方向の位置ｙと、探索窓のサイズｗとの組み合わせに対応する領域を表現）であった場合、存在確率設定部２０１１は、以下の式１５のようにして、存在確率ｉｐ（ｉ）を更新する。

上記式１５において、整数Ｕはたとえば１にする。または、検出位置には誤差が含まれることを想定して、ｄ＝（ｘｄ、ｙｄ、ｗｄ）の近傍Ｄ＝｛Δ＝（ｘ、ｙ、ｗ）｜ｘｄ−ｄｘ≦ｘ≦ｘｄ＋ｄｘ、ｙｄ−ｄｙ≦ｙ≦ｙｄ＋ｄｙ、ｗｄ−ｄｗ≦ｗ≦ｗｄ＋ｄｗ｝を設定して、Ｄに含まれるベクトルΔの位置の存在確率を上記式１５によって更新してもよい。または、存在確率の更新値は整数Ｕだけでなく、以下の式１６のようにして更新してもよい。

上記式１６において、｜｜はベクトルのノルムを表す。そして、以下の式１７によって存在確率に戻す。

このように、存在確率は、使用していくうちにそのカメラ２０の位置に適したものになっていく。これは、ＴＶのような据え置き型装置の場合には好ましいことではあるが、装置を移動させた場合や、装置がモバイル機器であった場合、つまり、カメラの位置が変化した場合には、更新していった存在確率が適したものではなくなることがある。そこで、装置への電源供給が断たれたときに初期化する。または、ユーザが直接的に存在確率を初期化するような機能を持たせてもよい。

なお、以上においては、存在確率が３次元で表される場合における存在確率ｐ（ｉ）の更新方法を説明したが、以上の更新方法は、存在確率が１次元または２次元で表される場合における存在確率ｐ（ｂ）の更新方法についても適用することが可能である。

次に、図２１を用いて、第２実施形態に係る画像処理部３００による処理を説明する。図２１は、画像処理部３００による処理の一例を示すフローチャートである。図２１に示すステップＳ１００〜ステップＳ１０３の処理の内容は、図１８に示すステップＳ１００〜ステップＳ１０３の処理の内容と同じなので、詳細な説明は省略する。ステップＳ１０３の後、検出処理によりオブジェクトを検出した場合（ステップＳ２０１：Ｙｅｓ）、検出部１０２は、その検出したオブジェクトのオブジェクト位置情報を存在確率設定部２０１１へ出力する。そして、存在確率設定部２０１１は、取得したオブジェクト位置情報に基づいて、上述の確率マップデータを更新する（ステップＳ２０２）。

以上に説明したように、本実施形態によれば、検出処理によりオブジェクトが検出されるたびに、存在確率を更新していくので、使用状況に適したスケジュールの作成が可能になる。なお、スケジュールの作成を行うタイミング（上述のステップＳ１００２の処理を行うタイミング）は任意に設定可能であり、存在確率が更新されるたびにスケジュールを作成する形態であってもよいし、全処理時間Ｔａｌｌの経過後にスケジュールを作成する形態であってもよい。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、入力画像のうち、検出処理により検出されたオブジェクトの近傍の領域に対してのみ、オブジェクトを探索するための探索窓を走査させて、オブジェクトが存在するか否かを検出する追跡検出部をさらに備える点で上述の各実施形態と相違する。以下、具体的な内容を説明する。なお、上述の各実施形態と共通する部分については適宜に説明を省略する。

図２２は、第３実施形態の画像処理部３１０の機能構成例を示すブロック図である。上述の各実施形態との差分は、追跡検出部１０４のみであるため、ここでは、追跡検出部１０４の機能について説明する。追跡検出部１０４は、検出部１０２からオブジェクト位置情報（ｘ、ｙ、ｗ）を取得し、そのオブジェクト位置情報の近傍の領域（オブジェクト位置情報を含む）に対してのみ、探索窓を走査させて、オブジェクトが存在するか否かを検出する（いわゆるトラッキング処理を行う）。

次に、図２３を用いて、第３実施形態に係る画像処理部３１０による処理を説明する。図２３は、画像処理部３１０による処理の一例を示すフローチャートである。図２３のステップＳ１００〜ステップＳ２０２の処理の内容は、図２１のステップＳ１００〜ステップＳ２０２の処理の内容と同じであるので、詳細な説明は省略する。なお、図２３のステップＳ２０２の処理が設けられない（存在確率の更新が行われない）形態であってもよい。ステップＳ２０２の後、追跡検出部１０４は、検出部１０２からオブジェクト位置情報を取得し、追跡対象リストに追加する（ステップＳ３０１）。このとき、取得したオブジェクト位置情報が、すでに追跡対象リストに存在するオブジェクト位置情報（ｘ、ｙ、ｗ）に近い場合は、その取得したオブジェクト位置情報を追跡対象リストに追加することはしない。ここで、取得したオブジェクト位置情報が、すでに追跡対象リストに存在するオブジェクト位置情報に近いとは、取得したオブジェクト位置情報が示す位置を中心として、検出したオブジェクトの大きさの２倍を半径に持つ円の範囲内に、すでに追跡対象リストに存在するオブジェクト位置情報が示す位置が含まれる場合は、同一のオブジェクトとみなして、その取得したオブジェクト位置情報を破棄する。

次に、追跡検出部１０４は、入力画像のうち、追跡対象リスト内の各オブジェクト位置情報が示す位置の近傍の領域に対してのみ、探索窓を走査させて、オブジェクトが存在するか否かを検出するオブジェクト検出処理を行う（ステップＳ３０２）。これは、一旦オブジェクトを検出すれば、そのオブジェクト位置に時間的な大きな変化はないと仮定し、オブジェクト検出処理の処理量を低減するためのものである。ここで、近傍の設定には、たとえばパーティクルフィルタを用いる方法が一般的である。

以上に説明したように、本実施形態では、入力画像のうち、検出されたオブジェクトの近傍の領域をオブジェクト検出処理の対象領域として設定し、その設定した対象領域に対してのみ、オブジェクト検出処理を繰り返すので、オブジェクト検出処理の処理量を低減しつつ、一旦検出したオブジェクトを見失ってしまうことを防止できる。また、本実施形態においても、上述の各実施形態と同様に、入力画像を分割する複数の処理グループのうち、予め設定された存在確率が高い処理グループの検出処理が優先的に行われるように検出順序が決定されるので、オブジェクトが検出されるまでの期待待機時間を短縮できる。すなわち、本実施形態によれば、オブジェクトが検出されるまでの期待待機時間を短縮できることと、オブジェクト検出処理の処理量を低減しつつ、一旦検出したオブジェクトを見失ってしまうことを防止できることの両方を達成できる。

（第４実施形態）
次に、第４実施形態について説明する。第４実施形態では、入力画像のうち、検出処理により検出されたオブジェクトの位置およびサイズを示すオブジェクト位置情報に基づいて、オブジェクトの実空間上の３次元位置を推定する推定部をさらに備える点で上述の各実施形態と相違する。以下、具体的な内容を説明する。なお、上述の各実施形態と共通する部分については適宜に説明を省略する。

図２４は、第４実施形態の画像処理部３１２の機能構成例を示すブロック図である。上述の第１実施形態または第２実施形態との差分は、推定部１０５のみであるため、ここでは、推定部１０５の機能について説明する。なお、上述の追跡検出部１０４をさらに備える形態であってもよい。

推定部１０５は、検出部１０２からオブジェクト位置情報（ｘ、ｙ、ｗ）を取得し、そのオブジェクト位置情報に基づいて、実空間上のオブジェクトの３次元位置（３次元座標値）を推定する。この際、オブジェクトの実際の３次元空間上のサイズはわかっていることが望ましいが、平均サイズとしてもよい。たとえば、成人の顔の横幅は、平均１４ｃｍであるという統計データがある。オブジェクト位置情報（ｘ、ｙ、ｗ）から３次元位置（Ｘ、Ｙ、Ｚ）への変換は、ピンホールカメラモデルに基づいて行う。

なお、この例では、実空間上における三次元座標系を、以下のように定義する。図２５は、本実施の形態における三次元座標系を示す模式図である。図２５に示すように、本実施形態では、パネルの表示面（ディスプレイ面）の中心を原点Ｏとし、ディスプレイ面の水平方向にＸ軸、ディスプレイ面の鉛直方向にＹ軸、ディスプレイ面の法線方向にＺ軸を設定する。ただし、実空間上における座標の設定方法はこれに限定されるものではない。

図２６は、ＸＺ平面上で検出されたオブジェクトの探索窓と、実空間上でのオブジェクトのＸ軸上の幅を表す図である。撮影部２０のＸ軸方向の画角をθｘとし、撮影部２０によって得られた撮影画像のＺ軸方向の焦点位置をＦとし、オブジェクトのＺ軸方向の位置をＺとする。すると、図２６中、ＡＡ’、ＢＢ’、ＯＦ、及びＯＺについては、相似関係により、ＡＡ’：ＢＢ’＝ＯＦ：ＯＺの関係が成立する。なお、ＡＡ’は、撮影部２０の撮影画像における探索窓のＸ軸方向の幅を示す。ＢＢ’は、オブジェクトのＸ軸方向の実際の幅を示す。ＯＦは、撮影部２０から焦点位置Ｆまでの距離を示す。ＯＺは、撮影部２０からオブジェクトの位置Ｚまでの距離を示す。

ここで、焦点位置Ｆから撮影画像の端部までの距離であるＦＦ’を、単眼カメラ（撮影部２０）の水平解像度の半分の値ｗｃ／２とする。すると、ＯＦ＝ＦＦ’／ｔａｎ(θ_Ｘ／２）となる。

そして、撮影部２０の撮影画像における探索窓のＸ軸方向の幅であるＡＡ’を、探索窓のｘ軸方向の画素数とする。ＢＢ’は、オブジェクトのＸ軸方向の実際の幅であるが、オブジェクトの平均的な大きさを仮定する。例えば、顔であれば、平均的な顔の横幅は、１４ｃｍと言われている。

よって、推定部１０５は、撮影部２０からオブジェクトまでの距離であるＯＺを、以下の式１８により求める。

すなわち、推定部１０５は、撮影部２０の撮影画像における探索窓の画素数によって示される幅に基づいて、オブジェクトの三次元位置のＺ座標を推定することができる。また、図２６中、ＡＦ、ＢＺ、ＯＦ、及びＯＺについては、相似関係により、ＡＦ：ＢＺ＝ＯＦ：ＯＺの関係が成立する。ＡＦは、撮影部２０の撮影画像における探索窓のＸ軸方向端部Ａから焦点位置Ｆまでの距離を示す。また、ＢＺは、オブジェクトのＸ軸方向の端部ＢからオブジェクトのＺ軸方向における位置Ｚまでの距離を示す。

このため、推定部１０５は、ＢＺを求めることで、オブジェクトの三次元位置のＸ座標を推定する。そして、ＹＺ平面についても同様にして、推定部１０５は、オブジェクトの三次元位置のＹ座標を推定する。

（第５実施形態）
次に、第５実施形態について説明する。第５実施形態では、表示部１０に表示される立体画像を視聴者が観察可能な視域を、上述の推定部１０５により推定された３次元位置に決定し、その決定した視域が形成されるように表示部１０を制御する点で上述の第４実施形態と相違する。以下、具体的な内容を説明する。なお、上述の各実施形態と共通する部分については適宜に説明を省略する。

ここで、第５実施形態の画像処理部３１４の説明に先立ち、視域の設定位置や設定範囲を制御する方法について説明する。視域の位置は、表示部１０の表示パラメータの組み合わせによって定まる。表示パラメータとしては、表示画像のシフト、表示素子１１と光線制御素子１２との距離（ギャップ）、画素のピッチ、表示部１０の回転、変形、移動等が挙げられる。

図２７〜図２９は、視域の設定位置や設定範囲の制御を説明するための図である。まず、図２７を用いて、表示画像のシフトや、表示素子１１と光線制御素子１２との距離（ギャップ）を調整することによって、視域の設定される位置等を制御する場合を説明する。図２７において、表示画像を例えば右方向（図２７（ｂ）中、矢印Ｒ方向参照）にシフトさせると、光線が左方向（図２７（ｂ）中、矢印Ｌ方向）に寄ることにより、視域は左方向に移動する（図２７（ｂ）中、視域Ｂ参照）。逆に、表示画像を、図２７（ａ）に比べて左方向に移動させると、視域は右方向に移動する（不図示）。

また、図２７（ａ）及び図２７（ｃ）に示すように、表示素子１１と光線制御素子１２との距離を短くするほど、表示部１０に近い位置に視域を設定することができる。なお、視域が表示部１０に近い位置に設定されるほど、光線密度は減る。また、表示素子１１と光線制御素子１２との距離を長くするほど、表示部１０から離れた位置に視域を設定することができる。

図２８を参照して、表示素子１１に表示する画素の並び（ピッチ）を調整することによって、視域が設定される位置等を制御する場合を説明する。表示素子１１の画面の右端、左端ほど、画素と光線制御素子１２との位置が相対的に大きくずれることを利用して、視域を制御することができる。画素と光線制御素子１２との位置を相対的にずらす量を大きくすると、視域は、図２８に示す視域Ａから視域Ｃに変化する。逆に、画素と光線制御素子１２との位置を相対的にずらす量を小さくすると、視域は、図２８に示す視域Ａから視域Ｂに変化する。なお、視域の幅の最大長（視域の水平方向の最大長）を視域設定距離と呼ぶ。

図２９を参照して、表示部１０の回転、変形、移動によって、視域の設定される位置等を制御する場合を説明する。図２９（ａ）に示すように、表示部１０を回転させることにより、基本状態における視域Ａを視域Ｂに変化させることができる。また、図２９（ｂ）に示すように、表示部１０を移動することにより、基本状態における視域Ａを視域Ｃに変化させることができる。さらに、図２９（ｃ）に示すように、表示部１０を変形させることにより、基本状態における視域Ａを視域Ｄに変化させることができる。以上のように、表示部１０の表示パラメータの組み合わせによって、視域の位置が定まる。

図３０は、第５実施形態の画像処理部３１４の機能構成例を示すブロック図である。上述の第４実施形態との差分は、第２決定部１０６および表示制御部１０７であるため、ここでは、差分についてのみ説明する。なお、上述の追跡検出部１０４をさらに備える形態であってもよい。

第２決定部１０６は、上述の推定部１０５により推定された３次元位置を含むように視域を決定する。より具体的には以下のとおりである。第２決定部１０６は、推定部１０５により推定された３次元位置において立体画像を観察可能な視域を示す視域情報を算出する。この視域情報の算出は、たとえば、予めメモリ（不図示）内に、各表示パラメータの組み合わせに対応する視域を示す視域情報を記憶しておく。そして、第２決定部１０６は、推定部１０５から取得した３次元位置を視域に含む視域情報を該メモリから検索することによって、視域情報を算出する。

なお、これに限らず、第２決定部１０６による決定方法は任意である。例えば第２決定部１０６は演算によって、推定部１０５により推定された３次元位置を含む視域の位置を決定することもできる。この場合、例えば３次元座標値と、当該３次元座標値を含む視域の位置を決める表示パラメータの組み合わせを求めるための演算式とを予め対応付けてメモリ（不図示）に記憶しておく。そして、第２決定部１０６は、推定部１０５により推定された３次元位置（３次元座標値）に対応する演算式をメモリから読み出し、その読み出した演算式を用いて表示パラメータの組み合わせを求めることで、当該３次元座標値を含む視域の位置を決定することもできる。

表示制御部１０７は、第２決定部１０６で決定された位置に視域が形成されるように表示部１０を制御する表示制御を行う。より具体的には、表示制御部１０７は、表示部１０の表示パラメータの組み合わせを制御する。これにより、表示部１０には、推定部１０５により推定されたオブジェクトの３次元位置を含む領域を視域とした立体画像が表示される。

以上に説明したように、本実施形態によれば、視域内に位置するように視聴者が自ら場所を移動する必要がないので、観察者の利便性が向上する。また、本実施形態においても、上述の各実施形態と同様に、入力画像を分割する複数の処理グループのうち、予め設定された存在確率が高い処理グループの検出処理が優先するように検出順序が決定されるので、オブジェクトが検出されるまでの期待待機時間を短縮できる。すなわち、本実施形態によれば、オブジェクトが検出されるまでの期待待機時間を短縮できることと、観察者の利便性を向上させることの両方を達成できる。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば上述の各実施形態では、光線制御素子１２は、その光学的開口１３の延伸方向が表示素子１１の第２方向（列方向）に対して、所定の傾きを有するように配置されているが、傾きの大きさは任意に変更可能である。また、例えば光線制御素子１２は、その光学的開口１３の延伸方向が、表示素子１１の第２方向に一致するように配置される構成（いわゆる垂直レンズ）であってもよい。

また、上述の各実施形態の画像処理部（３０、３００、３１０、３１２、３１４）は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部（取得部１０１、検出部１０２、第１決定部１０３、追跡検出部１０４、推定部１０５、第２決定部１０６、表示制御部１０７）の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を専用のハードウェア回路で実現することもできる。

また、上述の各実施形態の画像処理部（３０、３００、３１０、３１２、３１４）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態の画像処理部（３０、３００、３１０、３１２、３１４）で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態の画像処理部（３０、３００、３１０、３１２、３１４）で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

さらに、上述の各実施形態および変形は、任意に組み合わせることもできる。

１ 画像表示装置
１０ 表示部
１１ 表示素子
１２ 光線制御素子
１３ 光学的開口
２０ 撮影部
３０ 画像処理部
１０１ 取得部
１０２ 検出部
１０３ 第１決定部
１０４ 追跡検出部
１０５ 推定部
１０６ 第２決定部
１０７ 表示制御部
１０２１ 存在確率設定部
１０２２ 検出順序作成部

Claims (10)

1. 入力画像を取得する取得部と、
   前記入力画像を分割する複数の部分領域ごとに予め設定された、オブジェクトが存在する確率を示す存在確率に応じて、前記オブジェクトが存在するか否かを検出する検出処理を行う前記部分領域の順序を示す検出順序を決定する第１決定部と、
   前記検出順序に従って、前記入力画像のうち前記部分領域に対応する領域に前記オブジェクトが存在するか否かを検出する前記検出処理を行う検出部と、を備え、
   前記第１決定部は、予め定められた期間内において、各前記部分領域の前記検出処理が少なくとも１回は行われるように処理頻度を調節して前記検出順序を決定する、
   画像処理装置。
2. 前記第１決定部は、前記存在確率の高い前記部分領域の前記検出処理が優先的に行われるように前記検出順序を決定する、
   請求項１に記載の画像処理装置。
3. 前記第１決定部は、前記入力画像のうち、前記検出処理により前記オブジェクトが検出された領域に対応する前記部分領域の前記存在確率を増加させる、
   請求項１または請求項２に記載の画像処理装置。
4. 前記入力画像のうち、前記検出処理により検出された前記オブジェクトの近傍の領域に対してのみ、前記オブジェクトを探索するための探索窓を走査させて、前記オブジェクトが存在するか否かを検出する追跡検出部をさらに備える、
   請求項１に記載の画像処理装置。
5. 前記入力画像のうち、前記検出処理により検出された前記オブジェクトの位置およびサイズを示すオブジェクト位置情報に基づいて、実空間上の前記オブジェクトの３次元位置を推定する推定部をさらに備える、
   請求項１に記載の画像処理装置。
6. 前記推定部により推定された前記３次元位置を含むように、観察者が立体画像を観察可能な視域を決定する第２決定部と、
   前記第２決定部により決定された前記視域が形成されるように、前記立体画像を表示する表示部を制御する表示制御部と、をさらに備える、
   請求項５に記載の画像処理装置。
7. 入力画像を取得し、
   前記入力画像を分割する複数の部分領域ごとに予め設定された、オブジェクトが存在する確率を示す存在確率に応じて、前記オブジェクトが存在するか否かを検出する検出処理を行う前記部分領域の順序を示す検出順序を決定するとともに、予め定められた期間内において、各前記部分領域の前記検出処理が少なくとも１回は行われるように処理頻度を調節して前記検出順序を決定し、
   前記検出順序に従って、前記入力画像のうち前記部分領域に対応する領域に前記オブジェクトが存在するか否かを検出する前記検出処理を行う、
   画像処理方法。
8. コンピュータを、
   入力画像を取得する取得手段と、
   前記入力画像を分割する複数の部分領域ごとに予め設定された、オブジェクトが存在する確率を示す存在確率に応じて、前記オブジェクトが存在するか否かを検出する検出処理を行う前記部分領域の順序を示す検出順序を決定する決定手段と、
   前記検出順序に従って、前記入力画像のうち前記部分領域に対応する領域に前記オブジェクトが存在するか否かを検出する前記検出処理を行う検出手段として機能させ、
   前記決定手段は、予め定められた期間内において、各前記部分領域の前記検出処理が少なくとも１回は行われるように処理頻度を調節して前記検出順序を決定する、
   画像処理プログラム。
9. 複数の視差画像を含む立体画像を表示する表示部と、
   入力画像を取得する取得部と、
   前記入力画像を分割する複数の部分領域ごとに予め設定された、オブジェクトが存在する確率を示す存在確率に応じて、前記オブジェクトが存在するか否かを検出する検出処理を行う前記部分領域の順序を示す検出順序を決定する決定部と、
   前記検出順序に従って、前記入力画像のうち前記部分領域に対応する領域に前記オブジェクトが存在するか否かを検出する前記検出処理を行う検出部と、
   前記入力画像のうち、前記検出処理により検出された前記オブジェクトの位置およびサイズを示すオブジェクト位置情報に基づいて、前記オブジェクトの実空間上の３次元位置を推定する推定部と、
   前記推定部により推定された前記３次元位置を含むように、観察者が前記立体画像を観察可能な視域を決定する視域決定部と、
   前記視域決定部により決定された前記視域が形成されるように前記表示部を制御する表示制御部と、を備え、
   前記決定部は、予め定められた期間内において、各前記部分領域の前記検出処理が少なくとも１回は行われるように処理頻度を調節して前記検出順序を決定する、
   画像表示装置。
10. 前記決定部は、前記存在確率を前記処理頻度とした場合の処理時間が、設定された時間よりも大きい場合には前記存在確率の高い前記部分領域の前記処理頻度を低くする、
    請求項９に記載の画像表示装置。

Images