JP6613749B2 - 視差画像生成方法及び視差画像生成装置 - Google Patents

Description

本発明は視差画像の生成方法と装置に関し、より具体的には、ステレオカメラで撮影した画像フレームにより視差画像を生成する方法と装置に関する。

3次元復元、バーチャル・リアルティ等の技術発展に伴い、カメラと撮影した特定対象間の距離を示す視差情報は、例えば自動車運転支援等の応用に幅広く使用されている。ステレオカメラで同一場面を撮影した基準画像と参考画像に画像マッピングを行うことにより、基準画像と参照画像中でマッピングした画素点の対を探し出し、各画素点座標に対応する視差を算出することができる。更に視差を利用して場面の3次元空間情報を正確に描くことができる。

本発明の実施例の目的は、ステレオカメラで撮影した画像フレームにより視差画像を生成する方法と装置を提供することにあり、履歴フレームの強化ヒストグラムを利用し、重み付けを行い、目標ヒストグラムを生成することにより、上述の過度強化問題を解決する。

本発明の一の実施例は、ステレオカメラで撮影された画像フレームにより視差画像を生成する方法であって、前記ステレオカメラで第一時刻に撮影された第一画像フレームの第一基準画像の所定区域に基づいて、初期基準グレースケールヒストグラムを生成し、前記第一画像フレームの第一参考画像の所定区域に基づいて、初期参考グレースケールヒストグラムを生成するステップと、前記ステレオカメラで第一時刻より前の時刻に撮影された第二画像フレームの履歴情報に基づいて、前記第一基準画像の所定区域の目標基準グレースケールヒストグラム及び前記第一参考画像の所定区域の目標参考グレースケールヒストグラムを生成するステップと、前記初期基準グレースケールヒストグラムから前記目標基準グレースケールヒストグラムへの基準マッピング関数を計算し、前記初期参考グレースケールヒストグラムから前記目標参考グレースケールヒストグラムへの参考マッピング関数を計算するステップと、前記第一基準画像の所定区域に対して前記基準マッピング関数を実行し、前記第一画像フレームの強化基準画像を取得し、前記第一参考画像の所定区域に対して前記参考マッピング関数を実行し、前記第一画像フレームの強化参考画像を取得するステップと、前記第一画像フレームの強化基準画像と強化参考画像に基づいて、前記第一画像フレームに対応する第一視差画像を生成するステップと、を含む、視差画像生成方法を提供する。

本発明の他の実施例は、ステレオカメラで撮影された画像フレームにより視差画像を生成する装置であって、前記ステレオカメラで第一時刻に撮影された第一画像フレームの第一基準画像の所定区域に基づいて初期基準グレースケールヒストグラムを生成し、前記第一画像フレームの第一参考画像の所定区域に基づいて初期参考グレースケールヒストグラムを生成する、初期ヒストグラム生成手段と、前記ステレオカメラで第一時刻より前の時刻に撮影された第二画像フレームの履歴情報に基づいて、前記第一基準画像の所定区域の目標基準グレースケールヒストグラム及び前記第一参考画像の所定区域の目標参考グレースケールヒストグラムを生成する、目標ヒストグラム生成手段と、前記初期基準グレースケールヒストグラムから前記目標基準グレースケールヒストグラムへの基準マッピング関数を計算し、前記初期参考グレースケールヒストグラムから前記目標参考グレースケールヒストグラムへの参考マッピング関数を計算する、関数計算手段と、前記第一基準画像の所定区域に対して前記基準マッピング関数を実行して前記第一画像フレームの強化基準画像を取得し、前記第一参考画像の所定区域に対して前記参考マッピング関数を実行して前記第一画像フレームの強化参考画像を取得する、マッピング手段と、前記第一画像フレームの強化基準画像と強化参考画像に基づいて、前記第一画像フレームに対応する第一視差画像を生成する、視差画像生成手段と、を含む、視差画像生成装置を提供する。

上記発明の実施例に係る、ステレオカメラで撮影した画像フレームにより視差画像を生成する方法と装置においては、ステレオカメラで撮影した画像フレームによる履歴情報と現在の情報を用いて計算したマッピング関数により、当該カメラで現在時刻に撮影した画像フレーム中の基準画像と強化基準画像の所定区域の画素に対してマッピングを行い、正確な視差画像をより取得しやすくする強化基準画像と強化参考画像を取得し、また強化基準画像と強化参考画像に基づいて正確な視差画像を得ることで、ユーザーへより有効な情報を提供することが可能になる。

本発明の実施例に係る、ステレオカメラで撮影した画像フレームに基づいて視差画像を生成する方法のフローチャートを説明したものである。 本発明の実施例に係る、画素距離ヒストグラムの概念を示すものである。 本発明の実施例に係る、第二画像フレームの履歴情報に基づいて目標基準グレースケールヒストグラムと目標参考グレースケールヒストグラムを生成する方法のフローチャートを説明したものである。 本発明の実施例に係る、ステレオカメラで撮影した画像フレームに基づいて視差画像を生成する装置のモデル的構造ブロック図を示したものである。 本発明の実施例に係る関数計算部のモデル的構造ブロック図を示したものである。 本発明の実施例に係る、視差画像生成ハードウェア・システム600の全体ハードウェアブロック図を示すものである。

当業者に本発明をより良く理解していただくために、添付図を参考に本発明の好ましい実施例を詳細に説明する。なお、本明細書と添付図において、基本的に同じステップや要素をもつものは同じ記号を用いて表示し、かつこれらのステップや要素に対する重複説明は省略されることである。

図1は本発明の実施例に係る、ステレオカメラで撮影した画像フレームに基づいて視差画像を生成する方法のフローチャートを説明したものである。以下、図1を参照して本発明の実施例の、ステレオカメラで撮影した画像フレームに基づいて視差画像を生成する方法（以下、「視差画像生成方法」と略称する）を説明する。本発明の実施例では、ステレオカメラの具体的形式には二眼カメラを含むがこれに限らない。ステレオカメラで撮影した各画像フレームには基準画像と参考画像を含む。例えば、ステレオカメラを二眼カメラとする場合、各画像フレーム中の基準画像は二眼カメラで撮影した左眼画像でよく、参考画像は二眼カメラで撮影した右眼画像でよい。

図1に示すように、ステップS101で、第一画像フレームの第一基準画像の所定区域に基づいて初期基準グレースケールヒストグラムを生成し、また第一画像フレームの第一参考画像の所定区域に基づいて初期参考グレースケールヒストグラムを生成し、このうち第一画像フレームはステレオカメラで第一時刻に撮影したものである。本発明の実施例によれば、第一時刻は現在の時刻であってもよく、また第一画像フレームはステレオカメラで撮影した現在の画像フレームであってもよい。この他、ステップS101では、第一基準画像の所定区域中の画素のグレースケール値に基づいて初期参考グレースケールヒストグラムを生成してもよく、また類似的に、第一参考画像の所定区域中の画素のグレースケール値に基づいて初期参考グレースケールヒストグラムを生成してもよい。本発明の実施例では、グレースケールヒストグラムの縦座標軸は画素の個数を表し、グレースケールヒストグラムの横座標軸はグレースケール値を表してもよく、逆にしてもよい。

この他、所定区域は第一基準画像中の一部分であってもよく、代わりに、第一基準画像中の全部であってもよい。所定区域はステレオカメラで撮影した目標対象（例えば、運転中の車両等）が画像フレームの基準画像或いは参考画像中に所在する区域であることが好ましい。例えば、以前に目標対象を追跡して取得した目標対象の運動情報に基づいて所定区域を決定することができる。また、例えば、目標対象の運動情報に基づいて基準画像と参考画像中にそれぞれ所定区域を決定することができ、代わりに、目標対象の運動情報に基づいて基準画像と参考画像のうちの一つの画像中に所定区域を決定し、別の画像中の相応する区域を当該別画像の所定区域に決定してもよい。

ステップS102で、第二画像フレームの履歴情報に基づいて、第一基準画像の所定区域の目標基準グレースケールヒストグラムと第一参考画像の所定区域の目標参考グレースケールヒストグラムを生成し、このうち第二画像フレームはステレオカメラで第一時刻より前の時刻に撮影したものである。例えば、履歴情報には第二画像フレーム中の基準画像と参考画像に基づいて生成したグレースケールヒストグラム等を含んでもよいが、これについてはもう少し後で詳細に説明する。なお、ステップS101とステップS102は必ずしも図1に示す順序で実行する必要はないということである。ステップS101とステップS102は、逆に、或いは並行して行ってもよい。

その後、ステップS103で、初期基準グレースケールヒストグラムから目標基準グレースケールヒストグラムへの基準マッピング関数を計算し、また初期参考グレースケールヒストグラムから目標参考グレースケールヒストグラムへの参考マッピング関数を計算する。本発明の例によれば、ステップS101で取得した第一画像フレームの初期基準グレースケールヒストグラムに対してヒストグラムの平滑化を行い、第一画像フレームの初期基準グレースケールヒストグラムから当該画像フレームの平滑化された、或いは基本的に平滑化された基準グレースケールヒストグラムEへのマッピング関数G(p)を取得し、またステップS102で取得した第一画像フレームの目標基準グレースケールヒストグラムに対してヒストグラムの平滑化を行い、それによって第一画像フレームの目標基準グレースケールヒストグラムから上記の平滑化された、或いは基本的に平滑化された基準グレースケールヒストグラムEへのマッピング関数F(p)を取得する。その後、以下の公式（1）により、初期基準グレースケールヒストグラムから目標基準グレースケールヒストグラムへの基準マッピング関数D(p)を計算する。

この他、基準マッピング関数の計算と類似した方式で、初期参考グレースケールヒストグラムから目標参考グレースケールヒストグラムへの参考マッピング関数を計算してもよい。

続いて、ステップS104で、第一基準画像の所定区域に対して基準マッピング関数を実行し第一画像フレームの強化基準画像を取得し、また第一参考画像の所定区域に対して参考マッピング関数を実行し第一画像フレームの強化参考画像を取得する。具体的には、ステップS104で、第一基準画像の所定区域中の各画素のグレースケール値を上記基準マッピング関数に代入しグレースケール・マッピングを行うことにより、当該画素の強化グレースケール値を取得してもよい。その後、取得した各画素の強化グレースケール値に基づいて第一画像フレームの強化基準画像を生成する。この他、第一画像フレームの強化参考画像の生成と類似した方式で、第一画像フレームの強化参考画像を生成してもよい。グレースケールマッピングを経た後に、ステレオカメラで直接、撮影した第一基準画像と第一参考画像中の画素の元のグレースケール値とを比較し、強化基準画像と強化参考画像中の画素の強化フレースケール度値により、より容易に正確な視差値を計算することができる。

最後に、ステップS105で、第一画像フレームの強化基準画像と強化参考画像に基づいて、第一画像フレームに対応する第一視差画像を生成する。基準画像と参考画像に基づいて視差値を計算する、如何なる既知の方法を使用しても視差値を取得し、更に、取得した視差値に基づいて第一画像フレーム中の所定区域に対応する第一視差画像を生成してもよい。例えば、強化基準画像中の各画素pについて、画素pのグレースケール値と、強化参考画像中で同じ横座標をもつ各画素p'のグレースケール値とを比較し、そのグレースケール値と画素pのグレースケール値が最も相似した画素p'を選択してマッピング点とし、また画素pの横座標とマッピング点の横座標値に基づいて画素pの視差値を計算してもよい。

以上、図1を参照しながら、本発明の実施例に基づく視差画像生成方法を説明した。この他、本発明の例によれば、ステップS102で使用する第二画像フレームの履歴情報には、第二画像フレームの重み、予め保存した第二画像フレームの強化基準画像に基づいて生成した強化基準グレースケールヒストグラム、及び予め保存した第二画像フレームの強化参考画像に基づいて生成した強化参考グレースケールヒストグラムを含んでもよい。例えば、第二画像フレームの強化基準画像と強化参考画像が、当該第二画像フレームを、ステレオカメラで現在の時刻に撮影した現在の画像フレームとする時、図1に示す視差画像生成方法のステップS101からS104までに基づいて生成し保存したものであってもよい。

この他、本発明の別の例によれば、ステップS102では、第二画像フレーム中で視差値の信頼できる画素点の数と当該第二画像フレーム中の画素点の総数の比率に基づいて、当該第二画像フレームの重みを決定してもよい。例えば、第二画像フレームの性能因子を当該画像フレームの重みとし、また以下の公式（2）により当該画像フレームの性能因子Q_mを計算してもよい。

このうちP_mは第二画像フレームの所定区域において信頼できる視差値を有する画素数で、またR_mは第二画像フレームの所定区域中で信頼できる視差値を有する画素数と第二画像フレームの所定区域中の画素点の総数との比率である。

具体的には、図1に示す視差画像生成方法のステップS105により、上記第二画像フレームの強化基準画像と強化参考画像に基づいて、第二画像フレームに対応する第二視差画像を生成し、また第二視差画像に基づいて第二画像フレームの所定区域中で信頼できる視差値を有する画素の数P_mを決定してもよい。

好ましいのは、第二視差画像で示す画素の視差に基づいて、視差に対応する距離を計算することで、このうち視差に対応する距離とは当該画素の対応する実際の場面での対象とステレオカメラとの間の距離を指し、また計算した距離に基づいて画素距離ヒストグラムを生成する。図2は本発明の実施例による、画素距離ヒストグラムの概念を示すものである。図2に示すように、画素距離ヒストグラム200で、縦座標軸Yは画素数を指し、また横座標軸Xは視差に対応する距離を指す。画素距離ヒストグラム200でピーク値の距離210を決定し、またピーク値の距離との差が所定距離閾値（例えば1m）以下の距離（例えば、図2の2本の点線間の距離）に対応する視差を信頼できる視差とし、更にピーク値の距離との差が所定距離閾値以下の距離の画素数を信頼できる視差値を有する画素数P_mとしてもよい。

また例えば、第二画像フレームと第一画像フレーム間の時間間隔に基づいて、当該第二画像フレームの重みを決定してもよい。本発明の例によれば、第二画像フレームの時間因子を当該画像フレームの重みとし、また以下の公式（3）により当該画像フレームの時間因子T_mを計算してもよい。

このうちtは第一画像フレームの番号、mは第二画像フレームの番号、αは0と1の間の定数で、例えば0.5と設定してもよい。これにより第二画像フレームと第一画像フレーム間の時間間隔が小さい時ほどその重みは大きくなり、逆の場合はその重みは小さくなる。

この他、第二画像フレームの性能因子と時間因子に基づいて、共同して当該第二画像フレームの重みを決定してもよい。例えば、以下の公式（4）により、第二画像フレームの重みW_mを計算してもよい。

図3は本発明の実施例により、第二画像フレームの履歴情報に基づいて目標基準グレースケールヒストグラムと目標参考グレースケールヒストグラムを生成する方法のフローチャートを説明したものである。図3に示すように、第二画像フレームの履歴情報に、第二画像フレームの重み、予め保存した第二画像フレームの強化基準画像に基づいて生成した強化基準グレースケールヒストグラム、ならびに予め保存した第二画像フレームの強化参考画像に基づいて生成した強化参考グレースケールヒストグラムを含む場合は、ステップS301で、第二画像フレームの重みと強化基準グレースケールヒストグラムに基づいて、目標基準グレースケールヒストグラムを生成してもよい。本発明の例によれば、第二強化画像フレームの強化基準グレースケールヒストグラムのヒストグラムバー（bin）の加重値に基づいて目標基準グレースケールヒストグラムを生成してもよい。

例えば、以下の公式（5）により第一基準画像の所定区域の目標基準グレースケールヒストグラム
（外１）

を計算してもよい。

このうちNは1より大きい正の整数、
（外２）

は目標基準グレースケールヒストグラム
（外３）

の第nヒストグラムバーの値、Mは1以上の正の整数で、かつ目標基準グレースケールヒストグラム
（外４）

を計算するために用いる第二画像フレーム数を指す。正確性を高めるために、好ましいのは、複数の（例えば5個の）第二画像フレームの強化基準グレースケールヒストグラムに基づいて目標基準グレースケールヒストグラムを生成してもよい。

ステップS302で、第二画像フレームの重みと強化参考グレースケールヒストグラムに基づいて、目標参考グレースケールヒストグラムを生成する。目標基準グレースケールヒストグラムの計算と類似した方式で目標参考グレースケールヒストグラムを計算してもよい。なお、ステップS301とステップS302は必ずしも図3に示す順序で行う必要はないということである。ステップS301とステップS302は、逆に行ってもよいし、並行して行ってもよい。

この他、本発明の別の例によれば、図1に示す視差画像生成方法は、ステップS105で目標参考グレースケールヒストグラムを生成した後、第一画像フレームの強化基準画像、強化参考画像および第一視差画像を保存し、第三画像フレームに対応した第三視差画像を生成するために用い、このうち第三画像フレームはステレオカメラで第一時刻より後の時刻に撮影したものであるということも含んでもよい。言い換えれば、計算した第一画像フレームの強化基準画像、強化参考画像および第一視差画像を保存し、次のフレームの視差画像を計算する履歴情報としてもよい。

実施例による視差画像生成方法では、ステレオカメラで撮影した画像フレームの履歴情報と現在の情報に基づいて計算したマッピング関数を使用することにより、当該カメラで現在の時刻に撮影した画像フレーム中の基準画像と強化基準画像の所定区域の画素に対しマッピングを行い、正確な視差画像をより取得しやすい強化基準画像と強化参考画像を取得し、また強化基準画像と強化参考画像に基づいて正確な視差画像を得、ユーザーに、より多くの有効な情報を提供できるようにすることができる。

以下、図4を参照し、本発明の実施例の、ステレオカメラで撮影した画像フレームにより視差画像を生成する装置を説明する。図4は本発明の実施例による、ステレオカメラで撮影した画像フレームに基づいて視差画像を生成する装置（以下、「視差画像生成装置」と略称する）400のモデル的構造ブロック図を示したものである。図4に示すように、本実施例の視差画像生成装置400は、初期ヒストグラム生成部410、目標ヒストグラム生成部420、関数計算部430、マッピング部440および視差画像生成部450を含む。視差画像生成装置400の各部は、それぞれ上記図1中の視差画像生成方法の各ステップ/機能を実行することができる。このため、以下では視差画像生成装置400の主要部材についてのみ説明を行い、以上で既に図1を参照しながら説明した詳細内容は省略する。

例えば、初期ヒストグラム生成部410は、第一画像フレームの第一基準画像の所定区域に基づいて初期基準グレースケールヒストグラムを生成し、また第一画像フレームの第一参考画像の所定区域に基づいて初期参考グレースケールヒストグラムを生成し、このうち第一画像フレームはステレオカメラで第一時刻に撮影したものである。本発明の例によれば、第一画像フレームはステレオカメラで撮影した現在の画像フレームであってもよく、また第一時刻は現在の時刻であってもよい。第一基準画像の所定区域中の画素のグレースケール値に基づいて初期参考グレースケールヒストグラムを生成し、また類似的に、第一参考画像の所定区域中の画素のグレースケール値に基づいて、初期参考グレースケールヒストグラムを生成してもよい。

上記に述べたように、所定区域は第一基準画像の一部分であってもよいし、代わりに、第一基準画像の全部であってもよい。好ましいのは、所定区域が、ステレオカメラで撮影した目標対象（例えば、運転中の車両等）の、画像フレームの基準画像或いは参考画像中に所在する区域だということである。例えば、以前に目標対象を追跡して取得した目標対象の運動情報に基づいて所定区域を決定してもよい。また例えば、目標対象の運動情報に基づいて、基準画像と参考画像中にそれぞれ所定区域を決定してもよいし、代わりに、目標対象の運動情報に基づいて、基準画像と参考画像のうちの一つの画像中に所定区域を決定してもよいし、また別の画像中の相応区域を当該別の画像の所定区域に決定してもよい。

目標ヒストグラム生成部420は、第二画像フレームの履歴情報に基づいて、第一基準画像の所定区域の目標基準グレースケールヒストグラムと第一参考画像の所定区域の目標参考グレースケールヒストグラムを生成してもよく、このうち第二画像フレームはステレオカメラで第一時刻より前の時刻に撮影したものである。例えば、履歴情報は第二画像フレーム中の基準画像と参考画像に基づいて生成したグレースケールヒストグラム等を含んでもよいが、これについてはもう少し後で詳細に説明する。

その後、関数計算部430は、初期基準グレースケールヒストグラムから目標基準グレースケールヒストグラムへの基準マッピング関数を計算し、また初期参考グレースケールヒストグラムから目標参考グレースケールヒストグラムへの参考マッピング関数を計算してもよい。図5は本発明の実施例による関数計算部430のモデル的構造ブロック図を示したものである。図5に示すように、関数計算部430は第一関数計算モジュール510、第二関数計算モジュール520および第三関数計算モジュール530を含んでもよい。具体的には、第一関数計算モジュール510は、第一画像フレームの初期基準グレースケールヒストグラムに対してヒストグラム平滑化を行い、第一画像フレームの初期基準グレースケールヒストグラムから当該画像フレームの平滑化された基準グレースケールヒストグラムEへのマッピング関数G(p)を取得してもよい。第二関数計算モジュール520は、第一画像フレームの目標基準グレースケールヒストグラムに対しヒストグラム平滑化を行い、第一画像フレームの目標基準グレースケールヒストグラムから上記、平滑化された基準グレースケールヒストグラムEへのマッピング関数F(p)を取得してもよい。その後、第三関数計算モジュール530は、上記公式（1）により初期基準グレースケールヒストグラムから目標基準グレースケールヒストグラムへの基準マッピング関数D(p)を計算してもよい。この他、第一関数計算モジュール510、第二関数計算モジュール520および第三関数計算モジュール530は、基準マッピング関数の計算と類似した方式で、初期参考グレースケールヒストグラムから目標参考グレースケールヒストグラムへの参考マッピング関数を計算してもよい。

続いて、マッピング部440は、第一基準画像の所定区域に対し基準マッピング関数を実行し第一画像フレームの強化基準画像を取得し、また第一参考画像の所定区域に対し参考マッピング関数を実行し第一画像フレームの強化参考画像を取得してもよい。具体的には、マッピング部440は第一基準画像の所定区域中の各画素のグレースケール値を上記基準マッピング関数に代入し、グレースケールマッピングを行い、当該画素の強化グレースケール値を取得し、また取得した各画素の強化グレースケール値に基づいて第一画像フレームの強化基準画像を生成してもよい。この他、マッピング部440は、第一画像フレームの強化参考画像の生成と類似した方式で、第一画像フレームの強化参考画像を生成してもよい。マッピング部440でグレースケールマッピングを行った後、ステレオカメラで直接、撮影した第一基準画像と第一参考画像中の画素の元のグレースケール値を比較し、強化基準画像と強化参考画像中の画素の強化グレースケール値により、より容易に正確な視差値を計算することができる。

最後に、視差画像生成部450は、第一画像フレームの強化基準画像と強化参考画像に基づいて、第一画像フレームに対応する第一視差画像を生成する。基準画像と参考画像に基づいて視差値を計算する如何なる既知の方法を使用し、視差値を取得し、更に取得した視差値に基づいて第一画像フレーム中の所定区域に対応する第一視差画像を生成してもよい。例えば、視差画像生成部450は、強化基準画像中の各画素pについて、画素pのグレースケール値を強化参考画像中で同じ横座標を有する各画素p'のグレースケール値と比較し、そのグレースケール値が画素pのグレースケール値と最も相似した画素p'を選択してマッピング点とし、また画素pの横座標とマッピング点の横座標値に基づいて、画素pの視差値を計算してもよい。

以上、図4を参照しながら本発明の実施例による視差画像生成装置を説明した。この他、本発明の例によれば、視差画像生成装置400は記憶部を含み、第二画像フレームの履歴情報を保存してもよい。上記に述べたように、第二画像フレームの履歴情報には、第二画像フレームの重み、予め保存した第二画像フレームの強化基準画像に基づいて生成した強化基準グレースケールヒストグラム、ならびに予め保存した第二画像フレームの強化参考画像に基づいて生成した強化参考グレースケールヒストグラムを含んでもよい。

この他、目標ヒストグラム生成部420は、第二画像フレーム中で視差値の信頼できる画素点の数と当該第二画像フレーム中の画素点の総数との比率に基づいて、当該第二画像フレームの重みを決定してもよい。上記で述べたように、本発明の例によれば、目標ヒストグラム生成部420は、第二画像フレームの性能因子および/または時間因子を、当該画像フレームの重みに決定してもよい。この他、第二画像フレームの履歴情報が、第二画像フレームの重み、予め保存した第二画像フレームの強化基準画像に基づいて生成した強化基準グレースケールヒストグラム、及び予め保存した第二画像フレームの強化参考画像に基づいて生成した強化参考グレースケールヒストグラムを含む場合、目標ヒストグラム生成部420は、第二画像フレームの重みと強化基準グレースケールヒストグラムに基づいて目標基準グレースケールヒストグラムを生成してもよい。例えば、目標ヒストグラム生成部420は、上記公式（4）により第一基準画像の所定区域の目標基準グレースケールヒストグラムを計算してもよい。類似的に、目標ヒストグラム生成部420は、第二画像フレームの重みと強化参考グレースケールヒストグラムに基づいて、目標参考グレースケールヒストグラムを生成してもよい。

この他、記憶部は、視差画像生成部450が第一視差画像を生成した後、第一画像フレームの強化基準画像、強化参考画像および第一視差画像を保存し、第三画像フレームに対応した第三視差画像の生成に用いることもでき、このうち第三画像フレームはステレオカメラで第一時刻より後の時刻に撮影したものである。言い換えれば、記憶部は、計算した第一画像フレームの強化基準画像、強化参考画像および第一視差画像を保存し、次のフレームの視差画像を計算する履歴情報としてもよい。

本実施例に基づく視差画像生成装置では、ステレオカメラで撮影した画像フレームの履歴情報と現在の情報に基づいて計算したマッピング関数を使用することにより、当該カメラで現在の時刻に撮影した画像フレーム中の基準画像と強化基準画像の所定区域の画素に対しマッピングを行い、正確な視差画像をより取得しやすい強化基準画像と強化参考画像を取得することができ、また強化基準画像と強化参考画像に基づいて正確な視差画像を得、ユーザーに、より多くの有効な情報を提供できるようにすることができる。

この他、本発明の別の例によれば、本発明はステレオカメラで撮影した画像フレームに基づいて視差画像を生成するハードウェア・システム（以下、簡単に「視差画像生成ハードウェア・システム」と呼ぶ）により実施することもできる。図6は本発明の実施例に従った、視差画像生成ハードウェア・システム600の全体ハードウェアブロック図を示すものである。図6に示すように、視差画像生成ハードウェア・システム600は、外部から、例えばステレオカメラで撮影した画像フレーム、ステレオカメラのパラメータ、或いは初期視差画像等の関係画像或いは情報を入力するために用い、具体的な形式としてはキーボード、マウス、ならびに通信ネットワークおよびその接続する遠隔入力設備等を含むがこれに限らない入力装置610、本発明の実施例に従い視差画像を生成する上記方法に用い、具体的な形式としてはコンピュータの中央処理器或いは処理能力を有するその他のチップ等を含むがこれに限られず、この他、例えばインターネット・ネットワーク（未表示）にも接続し、処理過程の必要に応じ処理後の画像等を遠隔伝送する処理装置620、外部に向け、上記視差画像生成方法を実行して得られた結果を出力するために用い、例えばディスプレー、プリンター、ならびに通信ネットワークおよびその接続する遠隔出力設備等を含む出力装置630、ならびに揮発性或いは非揮発性方式で、例えば第二画像フレームの重み、第二画像フレームの強化基準画像が第二画像フレームの強化参考画像を生成すると言った類の上記履歴情報の保存に用い、例えば、ランダム・アクセス・メモリー（RAM）、読み取り専用メモリー（ROM）、ハードディスク、或いは半導体メモリー等の各種揮発性或いは非揮発性メモリーを含む記憶装置640を含むことができる。

技術分野に属する技術者であれば知っていることであるが、本発明はシステム、装置、方法或いはコンピュータ・プログラム製品に実現することができる。このため、本発明は具体的に、以下の形式、即ち、完全なハードウェアでも、完全なソフトウェア（ファームウェア、常駐ソフト、マイクロコード等を含む）でも、本文献で一般に「部材」、「モジュール」、「装置」或いは「システム」と呼ぶ、ハードウェアとソフトウェアの結合した形式でも実現することができる。この他、実施例においては、本発明を一つ或いは複数のコンピュータ読み取り可能媒体中のコンピュータ・プログラム製品の形式に実現することもでき、当該コンピュータ読み取り可能媒体にはコンピュータ読み取り可能なプログラムコードを含む。

一つ或いは複数のコンピュータ読み取り可能媒体の任意の組合せを用いることができる。コンピュータ読み取り可能媒体はコンピュータ読み取り可能信号媒体或いはコンピュータ読み取り可能記憶媒体である。コンピュータ読み取り可能記憶媒体は例えば電気、磁気、光、ソレノイド、赤外線、或いは半導体システム、装置または器材、或いは以上の任意の組合せであるがこれらに限られない。コンピュータ読み取り可能記憶媒体の更に具体的な例（全てのリストアップではない）は、一つ或いは複数の導線コネクター、ポータブルコンピュータ磁気ディスク、ハードディスク、随時アクセスメモリー（RAM）、読み取り専用メモリー（ROM）、消去可能プログラム可能読み取り専用メモリー（EPROM或いはフラッシュメモリー）、光ファイバー、ポータブル・コンパクトディスク読み取り専用メモリー（CD-ROM）、光メモリー器材、磁気メモリー器材、或いは上記の任意の適当な組み合わせを含む。本文献では、コンピュータ読み取り可能記憶媒体はプログラムを含む或いは記憶する如何なる有形媒体でもよく、当該プログラムはシステム、装置或いは器材を実行し使用するように或いはそれと結合して使用するように命令される。

コンピュータ読み取り可能信号媒体はベースバンド内の或いは搬送波の一部分として伝送されたデータ信号を含み、その中にコンピュータ読み取り可能プログラムコードがロードされている。この伝送データ信号は色々な形式を採用することができ、電磁信号、光信号、或いは上記の任意の適当な組み合わせを含むがこれらに限られない。コンピュータ読み取り可能信号媒体はコンピュータ読み取り可能記憶媒体以外の如何なるコンピュータ読み取り可能媒体も含み、当該コンピュータ読み取り可能媒体はシステム、装置或いは器材を実行し使用するように或いはそれと結合して使用するように命令するプログラムを発送し、広げ、或いは伝送することができる。

コンピュータ読み取り可能媒体に含まれるプログラムコードは如何なる適当な媒体を用いても伝送でき、無線、電線、光ケーブル、RF等々、或いは上記の任意の適当な組み合わせを含むがこれらに限られない。

一つ或いは複数のプログラム設計言語或いはその組合せによって本発明の操作に用いるコンピュータ・プログラムコードを編集することができ、前記プログラム設計言語には対象を配慮したプログラム設計言語―例えばJava、Smalltalk、C++を含み、常用の手続き型プログラム設計言語―例えば「C」言語或いは類似のプログラム設計言語も含む。プログラムコードは完全にユーザーのコンピュータ上で実行することも、部分的にユーザーのコンピュータ上で実行することも、一つの独立したソフトウェア・パッケージとして実行することも、一部はユーザーのコンピュータ上で一部はリモート・コンピュータ上で実行することも、或いは完全にリモート・コンピュータ或いはサーバー上で実行することもできる。リモート・コンピュータに関係する場合には、リモート・コンピュータは任意の種類のネットワーク―ローカルエリアネットワーク（LAN）或いは広域ネットワーク（WAN）を含む―を通じてユーザーのコンピュータに接続し、或いは、外部コンピュータと接続することができる（例えばインターネットサービスのプロバイダーを利用しインターネットを通じて接続する）。

以上、本発明の実施例の方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート及び/またはブロック図を参照して本発明を説明した。理解すべきことは、フローチャート及び/またはブロック図の各ブロック並びにフローチャート及び/またはブロック図の各ブロックの組み合わせは、全てコンピュータ・プログラムが命令して実現できることである。これらのコンピュータ・プログラムの命令が汎用コンピュータ、専用コンピュータ或いは他のプログラム可能データ処理装置の処理器に提供され、一つの機器を生み出し、これらのコンピュータ・プログラム命令がコンピュータ或いは他のプログラム可能データ処理装置を通じて実行され、フローチャートそして/またはブロック図のブロック中に規定された機能/操作を実現する装置を生み出す。

これらのコンピュータ・プログラム命令をコンピュータ或いは他のプログラム可能データ処理装置を特定の方式で作動させるコンピュータ読み取り可能媒体に記憶させることもでき、このようにして、コンピュータ読み取り可能媒体に保存した命令がフローチャート及び/またはブロック図のブッロク中に規定された機能/操作を実現することを含む命令装置（instruction means）の製品（manufacture）を生み出す。

コンピュータ・プログラム命令をコンピュータ、他のプログラム可能データ処理装置、或いはその他の設備にローディングし、コンピュータや、他のプログラム可能データ処理装置或いは他の設備上で一連の操作ステップを実行して、コンピュータが実現するプロセスを生み出し、コンピュータ或いは他のプログラム可能装置上で実行する命令によりフローチャート及び/またはブロック図のブロック中に規定する機能/操作の実現するプロセスを提供する。

添付図のフローチャート及びブロック図は本発明の幾つかの実施例に基づくシステムや、方法及びコンピュータ・プログラム製品の実現可能な構成体系、機能及び操作を示した。この点において、フローチャート或いはブロック図の各ブロックはモジュール、プログラム或いはコードの一部分を表し、前記モジュール、プログラム或いはコードの一部分は一つ或いは複数の規定されたロジック機能の実現に用いる実行可能な命令を含んでいる。ブロック図及び/またはフローチャート中の各ブロックや、ブロック図及び/またはフローチャート中のブロックの組み合わせは、規定された機能或いは操作を実行する専用のハードウェア・システムを用いて実現でき、或いは専用のハードウェアとコンピュータ命令の組み合わせを用いて実現できることにも注意が必要である。

以上、本発明の各実施例を説明したが、上記説明は例を示したもので、全てを説明し尽くしたわけではなく、また発表された各実施例に限るものでもない。多くの修正及び変更は、説明した各実施例の範囲及び考え方から外れていない場合、本技術分野の普通の技術者にしてみれば、全て明らかにそれと分かるものである。本文で用いた述語は、各実施例の原理や、実際の応用または市場における技術改良を最もよく説明すること、或いは本技術分野の他の普通の技術者が本文に発表した各実施例を理解できるようにすることを趣旨として選択したものである。

Claims (6)

1. ステレオカメラで撮影された画像フレームにより視差画像を生成する方法であって、
   前記ステレオカメラで第一時刻に撮影された第一画像フレームの第一基準画像の所定区域に基づいて、初期基準グレースケールヒストグラムを生成し、前記第一画像フレームの第一参考画像の所定区域に基づいて、初期参考グレースケールヒストグラムを生成するステップと、
   前記ステレオカメラで第一時刻より前の時刻に撮影された第二画像フレームの履歴情報に基づいて、前記第一基準画像の所定区域の目標基準グレースケールヒストグラム及び前記第一参考画像の所定区域の目標参考グレースケールヒストグラムを生成するステップと、
   前記初期基準グレースケールヒストグラムから前記目標基準グレースケールヒストグラムへの基準マッピング関数を計算し、前記初期参考グレースケールヒストグラムから前記目標参考グレースケールヒストグラムへの参考マッピング関数を計算するステップと、
   前記第一基準画像の所定区域に対して前記基準マッピング関数を実行し、前記第一画像フレームの強化基準画像を取得し、前記第一参考画像の所定区域に対して前記参考マッピング関数を実行し、前記第一画像フレームの強化参考画像を取得するステップと、
   前記第一画像フレームの強化基準画像と強化参考画像に基づいて、前記第一画像フレームに対応する第一視差画像を生成するステップと、を含み、
   前記第二画像フレームの履歴情報は、前記第二画像フレームの重み、予め保存された前記第二画像フレームの強化基準画像に基づいて生成された強化基準グレースケールヒストグラム、及び予め保存された前記第二画像フレームの強化参考画像に基づいて生成された強化参考グレースケールヒストグラムを含み、
   前記第二画像フレームの履歴情報に基づいて前記第一基準画像の所定区域の目標基準グレースケールヒストグラム及び前記第一参考画像の所定区域の目標参考グレースケールヒストグラムを生成するステップは、
   前記第二画像フレームの重みと前記強化基準グレースケールヒストグラムに基づいて、前記目標基準グレースケールヒストグラムを生成するステップと、
   前記第二画像フレームの重みと前記強化参考グレースケールヒストグラムに基づいて、前記目標参考グレースケールヒストグラムを生成するステップと、を含み、
   前記第二画像フレームにおける視差値の信頼できる画素点の数と当該第二画像フレームにおける画素点の総数との比率に基づいて、前記第二画像フレームの重みを決定するステップをさらに含む、視差画像生成方法。
2. 前記第二画像フレームと前記第一画像フレームとの間の時間間隔に基づいて、前記第二画像フレームの重みを決定するステップをさらに含む、請求項１に記載の視差画像生成方法。
3. 前記ステレオカメラで前記第一時刻より後の時刻に撮影される第三画像フレームに対応する第三視差画像を生成するために、前記第一画像フレームの強化基準画像、強化参考画像及び第一視差画像を保存するステップをさらに含む、請求項１に記載の視差画像生成方法。
4. ステレオカメラで撮影された画像フレームにより視差画像を生成する装置であって、
   前記ステレオカメラで第一時刻に撮影された第一画像フレームの第一基準画像の所定区域に基づいて初期基準グレースケールヒストグラムを生成し、前記第一画像フレームの第一参考画像の所定区域に基づいて初期参考グレースケールヒストグラムを生成する、初期ヒストグラム生成手段と、
   前記ステレオカメラで第一時刻より前の時刻に撮影された第二画像フレームの履歴情報に基づいて、前記第一基準画像の所定区域の目標基準グレースケールヒストグラム及び前記第一参考画像の所定区域の目標参考グレースケールヒストグラムを生成する、目標ヒストグラム生成手段と、
   前記初期基準グレースケールヒストグラムから前記目標基準グレースケールヒストグラムへの基準マッピング関数を計算し、前記初期参考グレースケールヒストグラムから前記目標参考グレースケールヒストグラムへの参考マッピング関数を計算する、関数計算手段と、
   前記第一基準画像の所定区域に対して前記基準マッピング関数を実行して前記第一画像フレームの強化基準画像を取得し、前記第一参考画像の所定区域に対して前記参考マッピング関数を実行して前記第一画像フレームの強化参考画像を取得する、マッピング手段と、
   前記第一画像フレームの強化基準画像と強化参考画像に基づいて、前記第一画像フレームに対応する第一視差画像を生成する、視差画像生成手段と、を含み、
   前記第二画像フレームの履歴情報は、前記第二画像フレームの重み、予め保存された前記第二画像フレームの強化基準画像に基づいて生成された強化基準グレースケールヒストグラム、及び予め保存された前記第二画像フレームの強化参考画像に基づいて生成された強化参考グレースケールヒストグラムを含み、
   前記目標ヒストグラム生成手段は、前記第二画像フレームの重みと前記強化基準グレースケールヒストグラムに基づいて、前記目標基準グレースケールヒストグラムを生成し、前記第二画像フレームの重みと前記強化参考グレースケールヒストグラムに基づいて、前記目標参考グレースケールヒストグラムを生成し、
   前記目標ヒストグラム生成手段は、前記第二画像フレームにおける視差値の信頼できる画素点の数と当該第二画像フレームにおける画素点の総数との比率に基づいて、当該第二画像フレームの重みを決定する、視差画像生成装置。
5. 前記目標ヒストグラム生成手段は、前記第二画像フレームと前記第一画像フレームとの間の時間間隔に基づいて、当該第二画像フレームの重みを決定する、請求項４に記載の視差画像生成装置。
6. 前記ステレオカメラで前記第一時刻より後の時刻に撮影される第三画像フレームに対応する第三視差画像を生成するために、前記第一画像フレームの強化基準画像、強化参考画像及び第一視差画像を保存する、記憶手段をさらに含む、請求項４に記載の視差画像生成装置。

Images