JP7086761B2 - 画像処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、情報処理方法及びプログラムに関する。

デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置を用いて撮影された映像に対しモーションブラ―の付与や、スローモーション映像の作成、手ぶれ補正を施すためには、連続するフレーム画像間の移動量を推定する必要がある。連続するフレーム画像間の移動量を推定する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影された連続するフレーム画像から移動量を推定したりする方法等がある。
連続するフレーム画像を用いた移動量推定の方法は従来から種々提案されているが、その代表的なものとして対応点探索による移動量推定や、テンプレートマッチングを利用した移動量推定がある。
特許文献１ではテンプレート内の輝度差が一定以上になるようテンプレートサイズを調整することで対応点探索の効率を上げている。

特開２００９－２９３９７１号公報

手ぶれ検出において、奥行が奥にあるほど手ぶれによる被写体の移動量は少なくなる。
特許文献１のように輝度差に応じてテンプレートサイズを変化させる場合、奥行が奥にあり、手ぶれによる被写体の移動量が少ない場合でも、輝度差が一定以上になるようテンプレートサイズを調整しなくてはならない。
また検出する移動量を大きくしたい場合はサーチサイズを広げる必要があるが、小さいテンプレートでテンプレートマッチングを施すと、サーチ領域内に似た模様が複数出現する可能性が高くなる。
以上の理由により、奥行情報を考慮しない場合は、奥行が奥の領域でも、所定の移動量を検出するためにはサーチサイズを大きくし、テンプレートサイズを大きくしなければならない。

本発明の画像処理装置は、第１の画像と、第２の画像と、前記第１の画像の奥行情報と、に基づき、前記第１の画像と前記第２の画像との間の画素毎の移動量を推定する推定手段を有し、前記推定手段は、前記奥行情報が近くだと密に移動量推定を行い、前記奥行情報が遠くだと疎に移動量推定を行う。

本発明によれば、精度を落とすことなく、高速な移動量推定を行うことができる。

画像処理装置のハードウェア構成を示す図である。 実施形態１の画像処理装置の機能構成を示す図である。 実施形態１の移動量推定部の機能構成を示す図である。 実施形態１の情報処理を示すフローチャートである。 実施形態１の移動量推定の情報処理を示すフローチャートである。 奥行情報と移動量推定の疎密との関係を示す図である。 画像内の動き量の模式を示す図である。 疎密推定方法の模式図（その１）である。 疎密推定方法の模式図（その２）である。 疎密推定方法の模式図（その３）である。 疎密推定方法の模式図（その４）である。 テンプレートマッチングの模式図である。 移動量マップ作成の模式図である。 実施形態２の移動量推定部の機能構成を示す図である。 実施形態２の移動量推定の情報処理を示すフローチャートである。 移動量補間方法を示す図（その１）である。 移動量補間方法を示す図（その２）である。 移動量補間方法を示す図（その３）である。 実施形態３の画像処理装置の機能構成を示す図である。 実施形態３の移動量推定部の機能構成を示す図である。 奥行情報の欠落している画素の相関値算出部の機能構成を示す図である。 欠落のある奥行情報を使用して移動量推定を行った模式図（その１）である。 欠落のある奥行情報を使用して移動量推定を行った模式図（その２）である。 欠落のある奥行情報を使用して移動量推定を行った模式図（その３）である。 実施形態３の情報処理を示すフローチャートである。 実施形態３の移動量推定の情報処理を示すフローチャートである。 奥行情報の欠落している画素の相関値算出処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、画像処理装置１００のハードウェア構成の一例を示す図である。
画像処理装置１００は、ハードウェア構成として、ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、ＨＤＤ１３、通信部１４、を含む。
ＣＰＵ１０は、画像処理装置１００の全体を制御する。ＣＰＵ１０は、ＲＯＭ１２又はＨＤＤ１３に記憶されたプログラムに基づき処理を実行することにより、後述する図２、図３、図１１、図１４－図１６の機能及び後述する図４、図５、図１２、図１８、図１９、図２０のフローチャートの処理が実現される。
ＲＡＭ１１は、ＣＰＵ１０がプログラムに基づき処理を実行する際の一次記憶領域として使用される。ＲＯＭ１２は、プログラム、及び設定値等を記憶する。ＨＤＤ１３は、プログラム、及び設定値等を記憶する。
通信部１４は、画像処理装置１００を例えばネットワーク等に接続し、外部装置との通信等を制御する。
なお、画像処理装置１００は、ユーザ操作を受け付ける操作部、画像等を表示する表示部等をハードウェア構成として更に含んでもよい。また、画像処理装置１００が撮像機能を有する場合、画像処理装置１００は、レンズ、撮像素子、絞り、シャッター等で構成された撮像部、被写体までの距離を測定するための距離センサ等をハードウェア構成として更に含んでもよい。

図２は、実施形態１の画像処理装置１００の機能構成の一例を示す図である。画像処理装置１００は、機能構成として、画像入力部１０１、画像メモリ１０２、奥行情報入力部１０３、移動量推定部１０４を含む。画像メモリ１０２は、例えば、ＲＡＭ１１に構成される。画像入力部１０１、奥行情報入力部１０３、移動量推定部１０４はＣＰＵ１０が、ＲＯＭ１２又はＨＤＤ１３に記憶されたプログラムに基づき処理を実行することにより実現される。
画像入力部１０１は、画像を入力するためのインタフェースであり、例えば自身の撮像部からの画像を入力したり、外部の撮像装置から出力された画像を入力したりするためのものである。画像メモリ１０２は、画像入力部１０１により入力された画像を１フレーム又は複数のフレーム、一時的に記憶保持する。本実施形態では画像メモリ１０２に記憶保持された画像を参照画像とし、画像メモリ１０２に記憶保持される前の画像を基準画像としているが、基準画像と参照画像とを逆にしてもよい。
奥行情報入力部１０３は、画像入力部１０１により入力される画像と対応している奥行情報を入力するためのインタフェースである。本実施形態では、奥行情報入力部１０３は、画像メモリ１０２に記憶保存される前の画像である、基準画像と対応する奥行情報を入力する。
移動量推定部１０４は、画像入力部１０１により入力された基準画像と、画像メモリ１０２に記憶保持された参照画像と、奥行情報入力部１０３によって入力された奥行情報と、を使用し各画素の移動量推定を行う。

図３に、実施形態１の移動量推定部１０４の機能構成を示す。
移動量推定部１０４は、移動量推定方法決定部１０４１、相関値算出部１０４２、移動量マップ作成部１０４３を含む。
移動量推定方法決定部１０４１は、入力された奥行情報に従い、各画素に対して移動量推定方法を決定する。移動量推定方法は、移動量推定の疎密を推定し、奥行情報が奥になるにつれて、疎に移動量推定を行う。移動量推定方法決定部１０４１は、推定された疎密情報に従い移動量推定数、移動量推定領域、移動量推定形状の少なくとも一つを決定する。
相関値算出部１０４２は、移動量推定方法決定部１０４１によって決定された移動量推定方法に従い、画像入力部１０１により入力された基準画像と、画像メモリ１０２に記憶保持された参照画像との間の相関値を計算する。
移動量マップ作成部１０４３は、相関値算出部１０４２によって算出された相関値に従い、各画素で移動量を計算し、移動量マップを作成する。

実施形態１の情報処理について図４に示すフローチャートを用いて詳細に説明する。
Ｓ３０１において、画像入力部１０１は、撮影された画像を、画像処理装置１００へ入力する。画像入力部１０１は、入力した画像を画像メモリ１０２に記憶保持する。本実施形態では画像メモリ１０２に記憶保持された画像を参照画像とし、画像メモリ１０２に記憶保持される前の画像を基準画像とする。
Ｓ３０２において、奥行情報入力部１０３は、奥行情報を、画像処理装置１００へ入力する。奥行情報入力方式は、例えば、赤外線を照射してから、読み取りにかかる時間を計測して奥行画像の撮影をするＴｉｍｅ ｏｆ ｆｌｉｇｈｔ方式や、多眼レンズで撮影した複数枚の画像の視差を求めて奥行情報の入力を行う方式でもよい。Ｓ３０１によって入力される画像と対応付けられる奥行情報の入力が可能であれば、方式の如何は問わない。
Ｓ３０３において、移動量推定部１０４は、Ｓ３０１で入力された基準画像と、画像メモリ１０２に記憶保持されている参照画像と、Ｓ３０２で入力される奥行情報と、を使用して各画素に対して移動量の推定を行う。

Ｓ３０３の移動量推定部１０４における処理を図３及び図５を用いて詳細に説明する。図５は、実施形態１の移動量推定の情報処理の一例を示すフローチャートである。
Ｓ４０１において、移動量推定方法決定部１０４１は、Ｓ３０１で入力された基準画像とＳ３０２で入力された奥行情報とを使用して、画素毎に行う移動量推定の方法を決定する。本実施形態では移動量推定にテンプレートマッチングを使用する。
移動量推定方法の決定方法は、移動量推定の疎密を推定する。奥行情報と疎密との関係は図６に示す。奥行情報が遠くになるにつれて、画像内の動き量は小さくなるため、移動量推定方法決定部１０４１は、疎に移動量推定を行う。奥行情報は欠落のある可能性もあり、奥行情報に欠落のある場合は、移動量推定方法決定部１０４１は、密に移動量推定を行う。
画像内の動き量の模式を、図７を用いて説明する。６０１は撮像装置、６０２には６０１を左へ移動したｔ秒後の撮像装置、６０３の三角錐と６０４の立方体は被写体である。図７において（ａ）は撮像装置６０１、撮像装置６０２、三角錐６０３、立方体６０４を上から俯瞰した図、図７（ｂ）は三角錐６０３と立方体６０４とを撮像装置６０１で撮影した画像、（ｃ）は三角錐６０３と立方体６０４とを撮像装置６０２で撮影した画像になる。図７（ｂ）、（ｃ）のグリッド１つは１画素を表す。（図７ａ）で示すように、三角錐６０３は立方体６０４に比べて撮像装置に近い。そのため図７（ｂ）の画像から図７（ｃ）の画像での画像内の移動量は立方体６０４に比べて三角錐６０３の方が大きくなる。

移動量推定部１０４は、疎密推定方法を、移動量推定数、移動量推定領域、移動量推定形状の少なくとも一つを奥行情報に従い変化させる。図８Ａ－図８Ｄに疎密推定方法の模式図を示す。図８Ａの（ａ）は基準画像、（ｂ）は参照画像、図８Ｂの（ａ）は図８Ａの（ａ）に対応する奥行情報である。図８Ａ（ａ）の基準画像、図８Ａ（ｂ）の参照画像、図８Ｂ（ａ）の奥行情報のグリッド１つは１画素を表す。図８Ｂ（ａ）の奥行情報は奥になるにつれ色が濃くなる。図８Ｂ（ｂ）は図８Ａ（ａ）の基準画像に対応した移動量推定数を示す。図８Ｃ（ａ）内の短形は図８Ａ（ａ）の基準画像に対応した移動量推定形状を示す。図８Ｃ（ｂ）は、図８Ａ（ａ）の基準画像に対応した移動量推定領域を示す。図８Ｄは、図８Ａ（ｂ）参照画像に対応した移動量推定領域を示す。本実施形態ではテンプレートマッチング方式で移動量推定を行う。７０１から７０３までは中心画素である７０４から７０７まではテンプレートブロックである。７０８から７１０まではサーチブロックである。

移動量推定数はテンプレートマッチング方式での中心画素の配置間隔に相当し奥行情報が奥になるに従い配置間隔を広くする。移動量推定部１０４は、図８Ｂ（ｂ）において、手前にある三角錐は中心画素７０１を全画素に配置するのに対し、例えば中間にある立方体に対しては３画素置きに中心画素７０２を配置し、一番奥の領域である背景領域には５画素置きに中心画素７０３を配置することで移動量の少ない領域の移動量推定数を減らす。
移動量推定形状はテンプレートマッチング方式でテンプレートブロックのサイズに相当し、奥行情報が奥になるに従いテンプレートブロックのサイズを小さくする。移動量推定部１０４は、図８Ｃ（ａ）において、手前にある三角錐に中心画素が配置された場合は、例えばテンプレートブロック７０４のサイズを１１×１１のサイズで格子状に配置する。移動量推定部１０４は、中間にある立方体に中心画素が配置された場合は、テンプレートブロック７０５のサイズを５×５のサイズで配置する。移動量推定部１０４は、一番奥の領域である背景領域に中心画素が配置された場合は、テンプレートブロック７０６のサイズを３×３のサイズで配置する。このように奥行情報が手前の領域に比べ奥の領域ではテンプレートブロックのサイズを小さくすることで移動量推定形状を小さくする。
移動量推定領域はテンプレートマッチング方式においてはサーチブロックに相当し、奥行情報が奥になるに従いサーチブロックを狭くする。図８Ｃ（ｂ）は図８Ａ（ａ）基準画像に奥行情報に関わらず、一定のサイズのテンプレートブロック７０７を配置した図になっている。移動量推定部１０４は、テンプレートブロックを格子状に配置する。移動量推定部１０４は、図８Ｄにおいて図８Ｃ（ｂ）で配置したテンプレートブロック７０７を図８Ａ（ｂ）の参照画像の各領域で相関値を算出する。このとき画像内、手前にある三角錐にテンプレートブロック７０７が配置された場合は、移動量推定部１０４は、例えばサーチブロック７０８のサイズを２５×２５のサイズで配置する。中間にある立方体にテンプレートブロック７０７が配置された場合は、移動量推定部１０４は、サーチブロック７０９のサイズを９×９のサイズで配置する。一番奥の領域である背景領域にテンプレートブロック７０７が配置された場合は、移動量推定部１０４は、サーチブロック７１０のサイズを７×７のサイズで配置する。このように奥行情報が手前の領域に比べ奥の領域ではサーチブロックのサイズを小さくすることで移動量推定領域を小さくする。

Ｓ４０２において、相関値算出部１０４２は、Ｓ４０１において決定された移動量推定方法を使用し、Ｓ３０１で入力された基準画像と、図２の画像メモリ１０２に記憶保持されている参照画像との間の相関値を画素毎に算出する。
図９にテンプレートマッチングの模式図を示す。図９において、（ａ）は基準画像、（ｂ）は参照画像である。８０１は中心画素、８０２はテンプレートブロック、８０３はサーチブロック、８０４は相関値算出領域である。相関値算出部１０４２は、図９（ａ）の８０２に示すように基準画像中の中心画素８０１にテンプレートブロックを配置し、テンプレートブロック８０２と参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には、８０３に示すように参照画像上の相関値を算出する矩形領域をサーチブロックとして設定する。テンプレートブロック８０２の大きさと、サーチブロック８０３の位置及び大きさと、の設定についてはＳ４０１によって決定される。
本実施形態では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤという）で説明する。ＳＡＤの計算式を（式１）に示す。

（式１）において、ｆ（ｉ，ｊ）はテンプレートブロック８０２内の座標（ｉ，ｊ）における輝度値を表しており、ｇ（ｉ，ｊ）はサーチブロック８０３において相関値算出の対象となる相関値算出領域８０４内の各輝度値を表す。そしてＳＡＤでは、両ブロック内の各輝度値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることができる。したがって、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレートブロック８０２と相関値算出領域８０４のブロック内のテクスチャとが類似していることを表している。
本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。

Ｓ４０３において、図３の移動量マップ作成部１０４３は、画素毎にＳ４０２において算出された相関値の最小値の位置情報から、基準画像上のテンプレートブロックの移動量を検出し、画素毎の移動量マップを作成する。図１０に移動量マップ作成の模式図を示す。図１０において図９と共通するものについては、同符号を付す。（ａ）（ｂ）（ｃ）は全て図９の基準画像と参照画像から作成した移動量マップになっており、（ａ）（ｂ）は作成途中の移動量マップ、（ｃ）は完成した移動量マップである。移動量は移動量が少なくなるにつれ色が濃くなる、但し白い画素は移動量推定がまだ行われていない画素になる。移動量マップ（ａ）は中心画素８０１の移動量を推定する。移動量マップ（ｂ）では、中心画素８０１の位置での移動量推定の後、中心画素８０１の隣の画素である中心画素９０１で同様に移動量推定を行う。移動量推定を全画素で行った図を（ｃ）に示す。

ここまで、実施形態１における本提案の動作について述べた。以上の処理を行うことにより奥行情報から移動量推定をすることでフレーム画像間での移動量推定の処理速度を上げることができる。

＜実施形態２＞
図１１に、実施形態２の移動量推定部１０４の機能構成を示す。図１１において実施形態１に示した構成要素と共通するものについては、同符号を付す。
本実施形態の画像処理装置１００は、実施形態１の移動量推定部１０４内に、移動量マップ補間部１００１が追加されている。移動量マップ補間部１００１は、移動量マップ作成部１０４３によって生成された移動量マップのうち、移動量推定方法決定部１０４１によって移動量推定数を疎に移動量推定された画素や、オクルージョン等の影響で移動量推定の失敗した画素において移動量の補間処理を行う。本実施形態では、移動量マップ補間部１００１は、補間処理において図２の奥行情報入力部１０３によって入力された奥行情報を使用し補間処理を行う。

図１２は、実施形態２の移動量推定の情報処理の一例を示すフローチャートである。図１２において図５に示したステップの処理と共通する処理については、図５と同符号を付し説明を割愛する。
Ｓ１１０１において、移動量マップ補間部１００１は、Ｓ４０３において作成された移動量マップ内で疎に移動量推定された画素、移動量推定の失敗した画素に対して移動量の補間処理を行う。図１３Ａ－図１３Ｃに移動量補間方法を示す。図１３Ａにおいて（ａ）は基準画像、（ｂ）は参照画像である。図１３Ｂにおいて（ａ）は図１３Ａの（ａ）に対応する奥行情報、図１３Ｂにおいて（ｂ）は図１３Ｂの（ａ）の奥行情報に従い移動量推定数を疎に推定した移動量マップである。図１３Ｃ（ａ）は図１３Ａ（ａ）の基準画像の画素のうち、奥行の違いによる被写体の移動量の差の影響により、図１３Ａ（ｂ）の参照画像でオクルージョンとなってしまった画素の移動量推定の失敗した様子を示す移動量マップである。図１３Ｃ（ｂ）は図１３Ｂ（ｂ）又は図１３Ｃ（ａ）の移動量マップを補間した移動量マップである。図１３Ｂ（ａ）の奥行情報は奥になるほど色が濃くなる。図１３Ｂの（ｂ）、図１３Ｃの（ａ）（ｂ）の移動量マップは移動量が小さいほど色が濃くなる。但し、図１３Ｂ（ｂ）において白い画素は移動量推定を疎に行った結果移動量推定が行われなかった画素であり、図１３Ｃ（ａ）において黒い画素は移動量推定を失敗した画素である。図１３Ａ（ａ）、（ｂ）、図１３Ｂ（ａ）、（ｂ）図１３Ｃ（ａ）、（ｂ）の格子１つは１画素を表す。
本実施形態では補間処理に奥行情報を使用したが、他にも隣の画素と同一の移動量で埋める、周辺８画素の平均の移動量で埋める等移動量を埋めることが可能であれば、方式の如何は問わない。

以上のようにＳ４０３によって作成された移動量マップをＳ１００１で補間処理を行うことで、移動量推定数を疎に移動量推定された画素や、オクルージョン等の影響で移動量推定の失敗した画素においても実施形態１よりも精度の高い移動量マップの作成を行うことが可能となる。

＜実施形態３＞
図１４は、実施形態３の画像処理装置１００の機能構成の一例を示す図である。図１４において図２に示した構成と共通するものについては、図２と同符号を付す。
本実施形態の画像処理装置１００は、図２に示した構成と、特徴値計算部１３０１と移動量推定部１３０２とが異なる。特徴値計算部１３０１は、画素ごとに２つのエッジの交点、及び曲率が極大である曲線状の点等のコーナー点を特徴評価式により特徴値として算出する。
移動量推定部１３０２は、画像入力部１０１により入力された基準画像と、画像メモリ１０２に記憶保持された参照画像と、奥行情報入力部１０３によって入力された奥行情報と、特徴値計算部１３０１によって算出された特徴値と、を使用し各画素の移動量推定を行う。

図１５に、移動量推定部１３０２の機能構成を示す。図１５において図３と図１１とに示した構成と共通するものについては、図３及び図１１と同符号を付す。
奥行情報の欠落している画素の相関値算出部１３０２１は、画像入力部１０１により入力された基準画像と、画像メモリ１０２に記憶保持された参照画像と、奥行情報入力部１０３によって入力された奥行情報と、特徴値計算部１３０１によって計算された特徴値と、相関値算出部１０４２によって算出された相関値と、を使用して欠落のある画素についての相関値算出処理を行う。
図１６に、奥行情報の欠落している画素の相関値算出部１３０２１の機能構成を示す。
奥行情報の欠落している画素の相関値算出部１３０２１は、特徴値判定部１３０２１１、周辺奥行情報判定部１３０２１２、相関値補間部１３０２１３、密な相関値算出部１３０２１４を含む。
特徴値判定部１３０２１１は、特徴値計算部１３０１によって算出された特徴値の高低を判定する。周辺奥行情報判定部１３０２１２は、奥行情報の欠落している画素の周辺の画素の奥行情報を比較する。相関値補間部１３０２１３は、周辺奥行情報判定部１３０２１２の比較結果に基づき、奥行情報の欠落している画素に対して相関値の補間処理を行う。密な相関値算出部１３０２１４は、特徴値計算部１３０１によって算出された特徴値の高低と、周辺奥行情報判定部１３０２１２の比較結果と、に基づき、奥行情報の欠落している画素に対して相関値推定を行う。

図１７Ａ－図１７Ｃに欠落のある奥行情報を使用して移動量推定を行った模式図を示す。図１７Ａ（ａ）は基準画像を示す。図１７Ａ（ｂ）は参照画像を示す。図１７Ｂ（ａ）は欠落のある奥行情報を示す。図１７Ｂ（ｂ）は全画素の特徴値を示す。図１７Ｃ（ａ）は図１７Ｂ（ａ）の奥行情報を使用した場合の移動量マップを示す。図１７Ｃ（ｂ）は補間処理後の移動量マップを示す。図１７Ｂ（ａ）の奥行情報は奥になるほど色が濃くなるが、黒の画素は奥行情報の欠落している画素である。図１７Ｂ（ｂ）の特徴値は特徴値が高くなるほど色が濃くなる。図１７Ｃ（ａ）（ｂ）の移動量マップは移動量が小さいほど色が濃くなる。但し白い画素は移動量推定を疎に行った結果移動量推定が行われなかった画素、又は奥行情報の欠落により移動量推定が行われなかった画素である。

実施形態３の情報処理について図１８に示すフローチャートを用いて詳細に説明する。図１８において図４に示したステップの処理と共通する処理については、図４と同符号を付し説明を割愛する。
Ｓ１７０１において、特徴値計算部１３０１は、Ｓ３０１によって入力された画像に対して特徴値の計算を行う。本実施形態では、特徴値計算部１３０１は、特徴値の計算にＨａｒｒｉｓ Ｃｏｒｎｅｒ検出器を使用する。特徴値計算部１３０１は、各画素に対し１次微分フィルタを水平、垂直に施し、それぞれ１次微分フィルタを施した結果に対しガウシアンフィルタを施す。特徴値計算部１３０１は、フィルタ処理された画像に対し、画素ごとに２つのエッジの交点、又は曲率が極大である曲線状の点等画素の周辺の微分値が多方向に大きい点を特徴評価式により特徴値として算出する。特徴値計算部１３０１は、水平微分フィルタと垂直微分フィルタとを施した結果から、自己相関行列Ｈを作成する。自己相関行列Ｈの式を（式２）に示す。

（式２）においてIxは水平微分フィルタを施した結果、Iyは垂直微分フィルタを施した結果を表しており、ガウシアンフィルタＧを畳み込む。Ｈａｒｒｉｓ検出器の特徴評価式を（式３）に示す。

（式３）においてαは定数であり、実験的に0.04～0.15の値がよいとされている。ｄｅｔは自己相関行列Ｈの行列式を表し、ｔｒは自己相関行列Ｈの主対角成分の和を表す。
本実施形態では特徴値の計算にＨａｒｒｉｓ Ｃｏｒｎｅｒ検出器を使用するが、これに限るものではなく、ＳＩＦＴ等を使用してもよい。
図１７Ｂ（ｂ）のように三角錐や立方体の辺の部分に比べ、三角錐の頂点や、立方体の角は特徴値が高くでて、面の部分は特徴値が低くでる。

Ｓ１７０２において、移動量推定部１３０２は、Ｓ３０１で入力された基準画像と、図１４の画像メモリ１０２に記憶保持されている参照画像と、Ｓ３０２で入力される奥行情報と、Ｓ１７０１で算出される特徴値と、を使用して各画素に対して移動量の推定を行う。
図１７Ｃの（ａ）の移動量マップのように図１７Ｂの（ａ）の欠落のある奥行情報を使用して移動量推定を行うと、移動量推定のされない画素が発生する。
移動量推定部１３０２の情報処理を図１９に示すフローチャートを用いて詳細に説明する。図１９は、実施形態３の移動量推定の情報処理の一例を示すフローチャートである。図１９において図５、図１２に示したステップの処理と共通する処理については、図５、図１２と同符号を付し説明を割愛する。
Ｓ１８０１において、奥行情報の欠落している画素の相関値算出部１３０２１は、Ｓ３０１で入力された基準画像と、図１４の画像メモリ１０２に記憶保持されている参照画像と、Ｓ３０２で入力される奥行情報と、Ｓ１７０１で算出される特徴値と、Ｓ４０２で算出される相関値を使用して、奥行情報の欠落している画素に対して相関値の算出を行う。

奥行情報の欠落している画素の相関値算出部１３０２１の情報処理を図２０に示すフローチャートを用いて詳細に説明する。
Ｓ１９０１において、特徴値判定部１３０２１１は、Ｓ１７０１で算出される特徴値が閾値以上か未満かを判定する。特徴値判定部１３０２１１は、特徴値が閾値以上ならばＳ１９０４に進み、閾値未満ならばＳ１９０２に進む。
Ｓ１９０２において、周辺奥行情報判定部１３０２１２は、奥行情報の欠落している画素の周辺の奥行情報を比較する。周辺奥行情報判定部１３０２１２は、周辺の奥行情報に差がない場合はＳ１９０３に進む。周辺の奥行情報に差がある場合はＳ１９０４へ進む。
Ｓ１９０３において、相関値補間部１３０２１３は、Ｓ４０２で算出された相関値を使用して奥行情報の欠落している画素の相関値に対して補間処理を行う。補間処理の方法は隣の画素と同一の相関値にする、周辺８画素の平均の相関値にする、等相関値の補間処理を行うことが可能であれば、方式の如何は問わない。
特徴値が低くかつ周辺の奥行情報に差がない画素は図１７Ｂ（ｂ）のように物体の平面や背景の可能性が高く、対象画素の相関値と周辺画素の相関値が同じである。そのため周辺の画素から補間処理を行っても問題ない。
Ｓ１９０４において、密な相関値算出部１３０２１４は、Ｓ３０１で入力された基準画像と、図１４の画像メモリ１０２に記憶保持されている参照画像との間の相関値を画素毎に算出する。このときに使用する移動量推定方法は図６において奥行情報が一番近い場合の方法を選択する。
特徴値が高い、又は周辺の奥行情報に差がある画素は図１７Ｂ（ｂ）のように物体の境界の可能性が高く、対象画素の相関値と周辺画素の相関値とが違う。そのため周辺の画素から補間処理を行うことができないので、奥行情報に関わらず、密な移動量推定を行う必要がある。

以上のように奥行情報の欠落している画素について、特徴値を利用して移動量推定を行うことで、奥行情報の欠落がある画素全てを密に移動量推定を行う場合に比べて、移動量推定の処理速度を上げることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、画像処理装置１００の機能構成の一部又は全てはハードウェア構成として画像処理装置１００に実装されてもよい。
また、画像処理装置１００のハードウェア構成としてＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、通信部は１つである必要はない。複数のＣＰＵがプログラムに基づき、複数のＲＯＭ、ＨＤＤ等に記憶されたデータを用いながら複数のＲＡＭを使用して処理を実行するようにしてもよい。また、ＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることとしてもよい。

以上、上述した各実施形態の処理によれば、精度を落とすことなく、高速な移動量推定を行うことができる。

１０ ＣＰＵ
１００ 画像処理装置

Claims (9)

1. 第１の画像と、第２の画像と、前記第１の画像の奥行情報と、に基づき、前記第１の画像と前記第２の画像との間の画素毎の移動量を推定する推定手段を有し、
   前記推定手段は、前記奥行情報が近くだと密に移動量推定を行い、前記奥行情報が遠くだと疎に移動量推定を行う画像処理装置。
2. 前記推定手段は、前記奥行情報が遠くだと移動量推定数を減らすことで疎に移動量推定を行う請求項１記載の画像処理装置。
3. 前記推定手段は、前記奥行情報が遠くだと移動量推定領域を広げることで疎に移動量推定を行う請求項１記載の画像処理装置。
4. 前記推定手段は、前記奥行情報が遠くだと移動量推定形状を広げることで疎に移動量推定を行う請求項１記載の画像処理装置。
5. 前記推定手段によって疎に移動量推定された画素に対して移動量の補間処理を行う補間手段を更に有する請求項１乃至４何れか１項記載の画像処理装置。
6. 前記補間手段は、更に、前記推定手段によって移動量推定に失敗した画素に対して移動量の補間処理を行う請求項５記載の画像処理装置。
7. 前記第１の画像の特徴値を求める手段を更に有し、
   前記推定手段は、前記奥行情報がない画素について、前記特徴値を使用して移動量推定を行う請求項１乃至６何れか１項記載の画像処理装置。
8. 画像処理装置が実行する情報処理方法であって、
   第１の画像と、第２の画像と、前記第１の画像の奥行情報と、に基づき、前記第１の画像と前記第２の画像との間の画素毎の移動量を推定する推定工程を含み、
   前記推定工程では、前記奥行情報が近くだと密に移動量推定を行い、前記奥行情報が遠くだと疎に移動量推定を行う情報処理方法。
9. コンピュータを、請求項１乃至７何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。

Images