JP5002066B1 - 画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体 - Google Patents

Abstract

【課題】両眼視野闘争の発生を効果的に抑制し、立体視を容易に行うことができる画像を生成すること。
【解決手段】左目用画像特徴点抽出部１３ｂ、および、右目用画像特徴点抽出部１３ｄが、左目用画像および右目用画像のそれぞれから特徴点を抽出し、非対応点個数算出部１３ｇが、左目用画像特徴点抽出部１３ｂ、および、右目用画像特徴点抽出部１３ｄにより抽出された左目用画像、および、右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない上記いずれか一方の画像の特徴点の個数を移動距離ごとに算出し、視差値調整部１３ｈが、移動距離ごとに算出された個数に基づいて、左目用画像、および、右目用画像間の視差値を調整する。
【選択図】図３

Description

本発明は、左目用画像および右目用画像間の視差値を調整する画像処理装置、画像処理方法、その画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム、および、そのコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体に関する。

近年、左目用画像と右目用画像とをディスプレイに表示し、立体視を可能とする立体画像表示装置が普及してきている。この立体視において、左目用画像と右目用画像との間の対応点の位置のずれは、視差と呼ばれる。視差が開散方向、若しくは、輻輳方向に著しく大きい場合、立体視を行うことが難しくなることが知られている。

左目用画像および右目用画像を人が観察する際、奥行きは両眼網膜像差により知覚される。両眼網膜像差とは、外界の対象により左右の網膜に投影される像の違いである。両眼網膜像差を検出するためには、両目の網膜像のどの点とどの点とが１つの対象によって生み出されるかを決定する必要がある。そして、非特許文献１には、網膜像差を検出する機構に関するモデルが紹介されている。

１つのモデルは、左右の像に含まれる輝度エッジが両眼像対応の基本特徴であると考え、コントラストの極性と方位がほぼ同じで近傍にある点同士を対応付けるものである。また、別のモデルとして、左右の像のそれぞれに対して方位選択性や大きさの異なる複数の空間フィルタを適用し、それらの出力によって構成されるベクトルによって像の各位置における局所的構造を特徴付け、左右の眼の各位置におけるベクトルの類似性が最も高い点同士を対応付けるものも紹介されている。

また、特許文献１には、左画像のブロックと右画像のブロックとを対応付け、両眼視差量を調整する立体ＴＶ装置が開示されている。この立体ＴＶ装置は、以下の式（１）により、左画像のブロックと右画像のブロックとの間の相関Ｃｏｒｒ（ｉ，ｊ）を算出する。

ここで、Ｇ_Ｌ（Ｘ_ｋ，Ｙ_ｋ）、Ｇ_Ｒ（Ｘ_ｋ，Ｙ_ｋ）は、それぞれ左画像、右画像の座標（Ｘ_ｋ，Ｙ_ｋ）における輝度値であり、ｎは、左画像および右画像のブロックの縦方向および横方向の画素数（ブロックに含まれる画素の総数はｎ×ｎ）であり、ｉ、ｊは、それぞれブロックの横方向、縦方向の平行移動量である。

そして、立体ＴＶ装置は、相関Ｃｏｒｒ（ｉ，ｊ）が最小となる平行移動量ｉ、ｊを探索することにより、左画像のブロックに右画像のブロックを対応付ける。すなわち、立体ＴＶ装置は、左画像のブロックに最も輝度値が類似する右画像のブロックを探索し、それらのブロックを互いに対応するブロックとして設定する。

特開平９−１２１３７０号公報

内川惠二 総編集／塩入諭 編、「視覚II−視覚系の中期・高次機能−」、朝倉書店、２００７年９月、ｐ．１１０−１１１

しかしながら、上述した従来技術では、左右の画像間で対応が取れない領域について考慮していないため、両眼視野闘争の発生を抑制することが難しいという問題がある。両眼視野闘争とは、対応が取れないような全く異なる領域が左右の画像に含まれる場合に、その領域において、左画像あるいは右画像のいずれか一方のみが見え、時間の経過に伴い、あるいは、見る位置によって見える像が入れ替わる不安定な状態をいう。例えば、両眼視野闘争は、両目の網膜に投影された像間の形状、明るさ、色などの差異によって発生する。このような両眼視野闘争が発生すると、立体視を行うことは非常に困難なものとなる。

本発明は、上記課題に鑑み、両眼視野闘争の発生を効果的に抑制し、立体視を容易に行うことができる画像を生成することが可能な画像処理装置、画像処理方法、その画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム、および、そのコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体を提供することを目的とする。

上記課題を解決する為に、本発明の第１の技術手段は、左目用画像、および、右目用画像間の視差値を調整する画像処理装置であって、前記左目用画像、および、前記右目用画像のそれぞれから特徴点を抽出する特徴点抽出部と、前記特徴点抽出部により抽出された前記左目用画像、および、前記右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点の個数を移動距離ごとに算出する非対応点個数算出部と、前記非対応点個数算出部により前記移動距離ごとに算出された前記個数に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整する視差値調整部と、を備えることを特徴とする。

本発明の第２の技術手段は、第１の技術手段において、前記特徴点抽出部は、所定の応答特性を有するフィルタによるフィルタリングを前記左目用画像、および、前記右目用画像に対して行い、該フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を前記左目用画像の特徴点、および、前記右目用画像の特徴点として抽出することを特徴とする。

本発明の第３の技術手段は、第２の技術手段において、前記特徴点抽出部は、互いに応答特性が異なる複数のフィルタをそれぞれ前記左目用画像、および、前記右目用画像の両方に対して適用するフィルタリングを実行し、各フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を前記左目用画像の特徴点、および、前記右目用画像の特徴点として抽出することを特徴とする。

本発明の第４の技術手段は、第２または第３の技術手段において、前記フィルタは、バンドパスフィルタであることを特徴とする。

本発明の第５の技術手段は、第１〜第４のいずれか１つの技術手段において、前記視差値調整部は、前記非対応点個数算出部により算出された個数を度数とし、前記左目用画像の特徴点と前記右目用画像の特徴点との間の距離を階級とする度数分布に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整することを特徴とする。

本発明の第６の技術手段は、第１〜第５のいずれか１つの技術手段において、前記非対応点個数算出部は、画素値が前記他方の画像の特徴点の画素値と所定の値以上離れている特徴点を、前記他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点に含め、前記いずれか一方の画像の特徴点の個数を算出することを特徴とする。

本発明の第７の技術手段は、第１〜第６のいずれか１つの技術手段において、前記視差値調整部により視差値が調整された前記左目用画像、および、前記右目用画像の表示処理を制御する表示制御部をさらに備えることを特徴とする。

本発明の第８の技術手段は、左目用画像、および、右目用画像間の視差値を調整する画像処理方法であって、前記左目用画像、および、前記右目用画像のそれぞれから特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにおいて抽出された前記左目用画像、および、前記右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点の個数を移動距離ごとに算出する非対応点個数算出ステップと、前記非対応点個数算出ステップにおいて前記移動距離ごとに算出された前記個数に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整する視差値調整ステップと、を含むことを特徴とする。

本発明の第９の技術手段は、上記画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラムである。

本発明の第１０の技術手段は、上記コンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体である。

本発明によれば、左目用画像、および、右目用画像のそれぞれから特徴点を抽出し、抽出された左目用画像、および、右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない上記いずれか一方の画像の特徴点の個数を移動距離ごとに算出し、移動距離ごとに算出された個数に基づいて、左目用画像、および、右目用画像間の視差値を調整することとしたので、両眼視野闘争の発生を効果的に抑制し、立体視が容易に可能となる画像を生成することができる。

本発明の第１の実施形態に係る画像処理装置の構成の一例を示す図である。 左目用画像および右目用画像の表示制御処理について説明する図である。 本発明の第１の実施形態に係る画像調整部の構成の一例を示す図である。 非対応度分布の算出結果の一例について示す図である。 本発明の第１の実施形態に係る画像処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施形態に係る画像調整部の構成の一例を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

（第１の実施形態）
まず、本発明の第１の実施形態に係る画像処理装置の構成について説明する。図１は、本発明の第１の実施形態に係る画像処理装置１０の構成の一例を示す図である。図１に示すように、画像処理装置１０は、入力部１１、入力画像処理部１２、画像調整部１３、表示制御部１４、表示部１５、メガネ同期部１６、通信処理部１７を備える。

入力部１１は、立体視用の入力画像を受け付ける処理部である。この入力画像は、放送局により放送されたり、ＤＶＤ（Digital Versatile Disk）やブルーレイディスクなどの記録媒体から電子的に読み出されたり、ネットワークを介して伝送されたりなど、さまざまな経路で画像処理装置１０に入力される。

また、入力画像は、立体視に用いられる左目用画像、右目用画像を含むものである。なお、入力画像は、画像データと、画像中に含まれる観察対象の奥行きのデータとを含むものであってもよい。

入力画像処理部１２は、入力画像から立体視に用いられる左目用画像、および、右目用画像を生成する処理部である。具体的には、入力画像処理部１２は、入力画像が左目用画像、右目用画像を含むものである場合は、入力画像から左目用画像、右目用画像を抽出する。入力画像が、画像データと、画像中に含まれる観察対象の奥行きのデータとを含むものである場合には、入力画像処理部１２は、奥行きのデータを視差に換算し、画像データを視差の分だけ水平方向にずらすことにより左目用画像、右目用画像を生成する。

画像調整部１３は、左目用画像、および、右目用画像の水平方向の視差値を調整する処理部である。具体的には、画像調整部１３は、左目用画像、および、右目用画像のそれぞれから特徴点を抽出する。そして、画像調整部１３は、抽出された右目用画像の特徴点と対応せず、右目用画像の特徴点と所定の距離離れている左目用画像の特徴点の個数を算出する。さらに、画像調整部１３は、算出された左目用画像の特徴点の個数に基づいて、左目用画像、および、右目用画像間の視差値の調整量を算出する。この画像調整部１３については、後に図３を用いて詳しく説明する。

表示制御部１４は、画像調整部１３により算出された視差値の調整量に基づいて、左目用画像、および、右目用画像の表示処理を制御する処理部である。具体的には、表示制御部１４は、画像調整部１３から左目用画像、および、右目用画像間の視差値の調整量ｈの情報を取得し、左目用画像および右目用画像をその調整量ｈの分だけずらして表示部１５に表示させる。

図２は、左目用画像および右目用画像の表示制御処理について説明する図である。図２（Ａ）は、入力画像から生成されたもとの左目用画像３０ａおよび右目用画像３０ｂである。

画像調整部１３から取得した視差値の調整量ｈが負の値の場合、表示制御部１４は、左目用画像３０ａを左方向にｈ／２画素分移動し、右目用画像３０ｂを右方向にｈ／２画素分移動する。その結果、表示部１５には、図２（Ｂ）に示すような左目用画像３１ａおよび右目用画像３１ｂが表示される。この場合、左目用画像３１ａの右側および右目用画像３１ｂの左側にはそれぞれ、画像が表示されないｈ／２画素の幅の領域が生じることになる。

画像調整部１３から取得した視差値の調整量ｈが正の値の場合、表示制御部１４は、左目用画像３０ａを右方向にｈ／２画素分移動し、右目用画像３０ｂを左方向にｈ／２画素分移動する。その結果、表示部１５には、図２（Ｃ）に示すような左目用画像３２ａおよび右目用画像３２ｂが表示される。この場合、左目用画像３２ａの左側および右目用画像３２ｂの右側にはそれぞれ、画像が表示されないｈ／２画素の幅の領域が生じることになる。

なお、視差値の調整量ｈが０の場合は、左目用画像３０ａおよび右目用画像３０ｂの移動は行われない。

表示部１５は、表示制御部１４による制御により左目用画像と右目用画像とを表示するディスプレイなどの表示装置である。メガネ同期部１６は、表示部１５による表示のタイミングと、シャッタメガネ２０が左目あるいは右目の視界を遮るタイミングとを同期させる処理部である。具体的には、メガネ同期部１６は、表示部１５が左目用画像を表示している間にシャッタメガネ２０が右目の視界を遮り、表示部１５が右目用画像を表示している間にシャッタメガネ２０が左目の視界を遮るように制御する制御信号を通信処理部１７に出力する。

通信処理部１７は、メガネ同期部１６により出力された制御信号を赤外線通信などによりシャッタメガネ２０に送信する処理部である。この制御信号を受信したシャッタメガネ２０は、制御信号により指示されたタイミングで左目あるいは右目の視界を遮る。

つぎに、図１に示した第１の実施形態に係る画像調整部１３の構成について詳しく説明する。図３は、図１に示した第１の実施形態に係る画像調整部１３の構成の一例を示す図である。図３に示すように、この画像調整部１３は、左目用画像前処理部１３ａ、左目用画像特徴点抽出部１３ｂ、右目用画像前処理部１３ｃ、右目用画像特徴点抽出部１３ｄ、非対応点個数算出部１３ｇ、視差値調整部１３ｈを備える。

左目用画像前処理部１３ａは、図１の入力画像処理部１２により出力された左目用画像（ＲＧＢ画像）を輝度画像に変換する処理部である。なお、左目用画像前処理部１３ａは、計算量を削減するための画像の縮小処理や、ノイズの除去処理などをさらに行うこととしてもよい。

左目用画像特徴点抽出部１３ｂは、左目用画像から生成した輝度画像において特徴点を抽出する処理を行う処理部である。具体的には、左目用画像特徴点抽出部１３ｂは、所定の応答特性を有するフィルタによるフィルタリングを輝度画像に対して行う。そして、左目用画像特徴点抽出部１３ｂは、フィルタリングの結果得られた輝度画像において、画素値が所定の閾値よりも大きい画素を特徴点として抽出する。

例えば、左目用画像特徴点抽出部１３ｂは、バンドパスフィルタを用いて輝度画像のフィルタリングを行う。ここで、バンドパスフィルタは、一次元のフィルタであってもよいし、二次元のフィルタであってもよい。

そして、左目用画像特徴点抽出部１３ｂは、バンドパスフィルタによるフィルタリング後の輝度画像において、画素値の絶対値が所定の閾値以上である画素を特徴点として検出し、検出した特徴点の座標（ｘ_Ｌｉ，ｙ_Ｌｉ）（１≦ｉ≦Ｍ：Ｍは検出した特徴点の個数）を内部メモリに左目用画像特徴点リスト１３ｅとして一時的に記憶し、記憶した左目用画像特徴点リスト１３ｅを非対応点個数算出部１３ｇに出力する。

右目用画像前処理部１３ｃは、図１の入力画像処理部１２により出力された右目用画像（ＲＧＢ画像）を輝度画像に変換する処理部である。なお、右目用画像前処理部１３ｃは、計算量を削減するための画像の縮小処理や、ノイズの除去処理などをさらに行うこととしてもよい。

右目用画像特徴点抽出部１３ｄは、右目用画像から生成した輝度画像において特徴点を抽出する処理を行う。具体的には、右目用画像特徴点抽出部１３ｄは、左目用画像特徴点抽出部１３ｂが用いるフィルタと同じフィルタを用いて、右目用画像から生成した輝度画像に対するフィルタリングを行う。そして、右目用画像特徴点抽出部１３ｄは、フィルタリングの結果得られた輝度画像において、画素値が所定の閾値よりも大きい画素を特徴点として抽出する。この所定の閾値は、左目用画像特徴点抽出部１３ｂが特徴点を抽出する際に用いた閾値と同じ値に設定される。

例えば、右目用画像特徴点抽出部１３ｄは、左目用画像特徴点抽出部１３ｂがバンドパスフィルタを用いる場合、そのバンドパスフィルタを用いて輝度画像のフィルタリングを行う。

そして、右目用画像特徴点抽出部１３ｄは、バンドパスフィルタによるフィルタリング後の輝度画像において、画素値の絶対値が所定の閾値以上である画素を特徴点として検出し、検出した画素の座標（ｘ_Ｒｊ，ｙ_Ｒｊ）（１≦ｊ≦Ｎ：Ｎは検出した特徴点の個数）を内部メモリに右目用画像特徴点リスト１３ｆとして一時的に記憶し、記憶した右目用画像特徴点リスト１３ｆを非対応点個数算出部１３ｇに出力する。

ここで、バンドパスフィルタは、人の視覚特性を摸したモデルと考えることができる。これは、人の視覚が画像の輝度成分に帯域通過型の空間周波数感度特性を有しているためである。

このように、人の視覚特性を模したバンドパスフィルタを用いて輝度画像のフィルタリングを行うことにより、人に知覚されやすい特徴点を効果的に抽出することができる。そして、抽出された特徴点を用いて、左目用画像と右目用画像との間の視差値を調整することとすれば、人の視覚にとって適切に視差値が調整された左目用画像と右目用画像とを得ることが可能となる。

非対応点個数算出部１３ｇは、左目用画像の特徴点を水平方向に所定の距離移動させた場合に、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を、左目用画像の特徴点の移動距離ごとに算出する処理部である。

具体的には、非対応点個数算出部１３ｇは、左目用画像特徴点抽出部１３ｂおよび右目用画像特徴点抽出部１３ｄから左目用画像特徴点リスト１３ｅおよび右目用画像特徴点リスト１３ｆを取得し、左目用画像の水平方向の各移動量ｓ（画素値）について、以下の式（２）〜式（４）により、非対応度分布Ｕ（ｓ）を算出する。

ここで、移動量ｓは、ｓ１≦ｓ≦ｓ２という条件を満たす。ｓ１およびｓ２は、それぞれ移動量ｓの予め定められた最小値および最大値である。正の移動量ｓは、左目用画像を右に移動させることを示し、負の移動量ｓは、左目用画像を左に移動させることを示す。

また、移動量ｔは、ｔ１≦ｔ≦ｔ２という条件を満たす。ｔ１およびｔ２は、それぞれ０以下および０以上の定数である。ｔ１≦ｔ≦ｔ２という条件は垂直網膜像差の許容範囲を表す。正の移動量ｔは、左目用画像を下に移動させることを示し、負の移動量ｔは、左目用画像を上に移動させることを示す。

なお、非対応点個数算出部１３ｇは、ｓ１≦ｓ≦ｓ２という関係を満たすすべての移動量ｓについて非対応度分布Ｕ（ｓ）を算出することとしてもよいし、ｓ１≦ｓ≦ｓ２という関係を満たす移動量ｓについて、所定の間隔（例えば、１画素おき）で非対応度分布Ｕ（ｓ）を算出することとしてもよい。

この非対応度分布Ｕ（ｓ）は、輻輳あるいは開散運動により左目および右目の網膜にそれぞれ投影された画像において、左目の画像が水平方向にｓだけ移動した場合に、右目の画像中の特徴点と対応しない左目の画像中の特徴点の個数を意味する。

なお、非対応点個数算出部１３ｇは、左目用画像の特徴点を水平方向に所定の距離移動させた場合に、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を、左目用画像の特徴点の移動距離ごとに算出することとしたが、右目用画像の特徴点を水平方向に所定の距離移動させた場合に、左目用画像の特徴点と対応しない右目用画像の特徴点の個数を、右目用画像の特徴点の移動距離ごとに算出することとしてもよい。

この場合、式（２）、式（４）はそれぞれ、以下の式（５）、式（６）に置き換えられる。

視差値調整部１３ｈは、非対応点個数算出部１３ｇにより算出された非対応度分布Ｕ（ｓ）に基づいて、左目用画像および右目用画像間の視差値を調整する処理部である。

具体的には、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域があるか否かを判定する。非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域がある場合、視差値調整部１３ｈは、その領域において、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を検出する。そして、視差値調整部１３ｈは、検出した移動量ｓの値を視差値の調整量として表示制御部１４に出力する。非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域がない場合、視差値調整部１３ｈは、特徴点の対応付けができないことを示すエラー信号を表示制御部１４に出力する。

図４は、非対応度分布Ｕ（ｓ）の算出結果の一例について示す図である。図４に示す非対応度分布Ｕ（ｓ）には、非対応度分布Ｕ（ｓ）に閾値Ｋ以下となる領域（ｓ３≦ｓ≦ｓ４、および、ｓ５≦ｓ≦ｓ６）が存在する。その領域において、非対応度分布Ｕ（ｓ）が最小となるのは、移動量ｓがｈのときである。

そのため、視差値調整部１３ｈにより、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値ｈが検出され、検出された値ｈが視差値の調整量として表示制御部１４に出力される。その後、この調整量ｈに基づいて、図２を用いて説明したような表示制御が表示制御部１４により行われる。これにより、両眼視差闘争の発生を抑制することが可能となる。

つぎに、本発明に係る画像処理の処理手順について説明する。図５は、本発明に係る画像処理の処理手順の一例を示すフローチャートである。図５に示すように、まず、画像処理装置１０の入力部１１は、入力画像を受け付ける（ステップＳ１０１）。そして、入力画像処理部１２は、受け付けた入力画像から左目用画像および右目用画像を生成する（ステップＳ１０２）。

その後、左目用画像前処理部１３ａは、左目用画像（ＲＧＢ画像）を輝度画像に変換し、右用画像前処理部１３ｂは、右目用画像（ＲＧＢ画像）を輝度画像に変換する（ステップＳ１０３）。

そして、左目用画像前処理部１３ａは、左目用画像の輝度画像に対してバンドパスフィルタによるフィルタリングを実行し、右目用画像前処理部１３ｂは、右目用画像の輝度画像に対してバンドパスフィルタによるフィルタリングを実行する（ステップＳ１０４）。

続いて、左目用画像特徴点抽出部１３ｂは、フィルタリング実行後の左目用画像の輝度画像において、画素値の絶対値が所定の閾値以上である画素の座標を内部メモリに左目用画像特徴点リスト１３ｅとして記憶する。また、右目用画像特徴点抽出部１３ｄは、フィルタリング実行後の右目用画像の輝度画像において、画素値の絶対値が所定の閾値以上である画素の座標を内部メモリに右目用画像特徴点リスト１３ｆとして記憶する（ステップＳ１０５）。

その後、非対応点個数算出部１３ｇは、左目用画像特徴点リスト１３ｅ、右目用画像特徴点リスト１３ｆとして記憶された特徴点の座標の値を用いて、左目用画像の水平方向の各移動量ｓについて、非対応度分布Ｕ（ｓ）を算出する（ステップＳ１０６）。

そして、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域があるか否かを判定する（ステップＳ１０７）。非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる部分がある場合（ステップＳ１０７においてＹＥＳの場合）、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）にある閾値Ｋ以下の領域のうち、非対応度分布Ｕ（ｓ）が最小となるｓの値ｈを左目用画像および右目用画像間の視差値の調整量として決定する（ステップＳ１０８）。

そして、表示制御部１４は、決定された視差値の調整量ｈの分だけ左目用画像および右目用画像を水平方向に移動し、表示部１５を制御して、視差を調整した左目用画像および右目用画像を表示部１５に表示させる（ステップＳ１０９）。なお、左目用画像および右目用画像それぞれの水平方向の移動量は、ｈ／２とすることが望ましい。

そして、メガネ同期部１６は、通信処理部１７を介してシャッタメガネ２０に制御信号を送信することにより、表示部１５が左目用画像あるいは右目用画像を表示するタイミングと、シャッタメガネ２０が左目あるいは右目の視界を遮るタイミングとを同期させる（ステップＳ１１０）。その後、この画像処理は終了する。

ステップＳ１０７において、非対応度分布Ｕ（ｓ）に予め定めた閾値Ｋ以下となる部分がない場合（ステップＳ１０７においてＮＯの場合）、視差値調整部１３ｈは、エラー信号を表示制御部１４に出力する（ステップＳ１１１）。

このエラー信号を受信した表示制御部１４は、左目用画像と右目用画像の視差の調整を行うことなく、表示部１５を制御して、入力画像処理部１２から取得した左目用画像および右目用画像を表示部１５に表示させる（ステップＳ１１２）。

そして、メガネ同期部１６は、通信処理部１７を介してシャッタメガネ２０に制御信号を送信することにより、表示部１５が左目用画像あるいは右目用画像を表示するタイミングと、シャッタメガネ２０が左目あるいは右目の視界を遮るタイミングとを同期させる（ステップＳ１１０）。その後、この画像処理は終了する。

なお、画像処理装置１０が動画を表示する場合は、動画を構成する各入力画像に対して上記画像処理が繰り返し実行される。

以上説明したように、本実施形態１では、左目用画像特徴点抽出部１３ｂ、および、右目用画像特徴点抽出部１３ｄが、左目用画像および右目用画像のそれぞれから特徴点を抽出し、非対応点個数算出部１３ｇが、抽出された左目用画像、および、右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない上記いずれか一方の画像の特徴点の個数を移動距離ごとに算出し、視差値調整部１３ｈが、移動距離ごとに算出された個数に基づいて、左目用画像および右目用画像間の視差値を調整することとしたので、両眼視野闘争が生じにくい画像の表示が可能となる。

また、左目用画像特徴点抽出部１３ｂ、および、左目用画像特徴点抽出部１３ｄが、所定の応答特性を有するフィルタによるフィルタリングを左目用画像および右目用画像から生成した輝度画像に対して行い、フィルタリングの結果得られた左目用画像および右目用画像において画素値が所定の閾値よりも大きい画素を特徴点として抽出することとしたので、人の視覚特性を精度よく模すフィルタ特性を有するフィルタによりフィルタリングを行って特徴点を抽出し、左目用画像の特徴点と右目用画像の特徴点との間で対応付けを行うことにより、両眼視野闘争が生じにくい画像の表示が可能となる。

また、左目用画像特徴点抽出部１３ｂ、および、左目用画像特徴点抽出部１３ｄは、バンドパスフィルタを用いてフィルタリングを実行することとしたので、人の視覚特性を模すバンドパスフィルタを用いて輝度画像のフィルタリングを行うことにより、人に知覚されやすい特徴点を効果的に抽出することができる。そして、抽出された特徴点を用いて、左目用画像と右目用画像との間の視差値を調整することとすれば、人の視覚にとって適切に視差値が調整された左目用画像と右目用画像とを得ることができる。

また、視差値調整部１３ｈは、非対応点個数算出部１３ｇにより算出された個数を度数とし、移動量ｓを階級とする度数分布（非対応度分布Ｕ（ｓ））に基づいて、左目用画像と右目用画像との間の視差値を調整することとしたので、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を容易に検出することができる。

また、画像処理装置１０は、視差値調整部１３ｈにより決定された視差値の調整量ｈに基づいて、左目用画像および右目用画像の表示処理を制御する表示制御部１４をさらに備えることとしたので、両眼視野闘争が生じにくい画像表示の制御が可能となる。

（第２の実施形態）
第２の実施形態では、左目用画像および右目用画像から特徴点を抽出する際、互いに応答特性が異なる複数のフィルタによるフィルタリングを左目用画像および右目用画像に対して適用する場合について説明する。

まず、本発明の第２の実施形態に係る画像処理装置について説明する。第２の実施形態に係る画像処理装置は、図１に示した画像処理装置１０と画像調整部１３の機能のみが異なる。よって、ここでは、第２の実施形態に係る画像調整部１３について説明する。

図６は、本発明の第２の実施形態に係る画像調整部１３の構成の一例を示す図である。この画像調整部１３は、左目用画像前処理部１３ａ、左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗ、右目用画像前処理部１３ｃ、右目用画像特徴点抽出部１３ｄ_１〜１３ｄ_ｗ、非対応点個数算出部１３ｇ、視差値調整部１３ｈを備える。

左目用画像前処理部１３ａは、図１の入力画像処理部１２により出力された左目用画像（ＲＧＢ画像）を輝度画像に変換する処理部である。なお、左目用画像前処理部１３ａは、計算量を削減するための画像の縮小処理や、ノイズの除去処理などをさらに行うこととしてもよい。

左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗは、左目用画像から生成した輝度画像において特徴点を抽出する処理を行う処理部である。具体的には、各左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗは、互いに応答特性が異なるｗ個のフィルタによるフィルタリングを左目用画像に対して行い、各フィルタリングの結果得られた左目用画像において画素値が所定の閾値よりも大きい画素を特徴点として抽出する。

例えば、各左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗは、互いに応答特性が異なるｗ個のバンドパスフィルタを用いて輝度画像のフィルタリングを行う。このようなバンドパスフィルタとして、例えば、ガボールフィルタが挙げられる。ガボールフィルタは、式（７）で表される。

ここで、ｋ、θ、σは所定のパラメータである。

このガボールフィルタでは、パラメータｋを変化させることにより、抽出するエッジの周波数を変化させることができ、また、パラメータθを変化させることにより、抽出するエッジの方向を変化させることができる。

各左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗは、これらのパラメータの組み合わせが互いに異なるガボールフィルタを用いて、左目用画像から生成した輝度画像のフィルタリングを実行する。

そして、各左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗは、フィルタリング後の輝度画像において、画素値の絶対値が予め定めた閾値以上である画素を特徴点として検出し、検出した画素の座標（ｘ_Ｌｉ，ｐ，ｙ_Ｌｉ，ｐ）（１≦ｉ≦Ｍ_ｐ，１≦ｐ≦ｗ：ｐは、パラメータの組み合わせが互いに異なるガボールフィルタの１つを示すインデックス、Ｍ_ｐは、インデックスｐに対応するガボールフィルタにより検出された特徴点の個数）を内部メモリに左目用画像特徴点リスト１３ｅ_１〜１３ｅ_ｗとして一時的に記憶し、記憶した左目用画像特徴点リスト１３ｅ_１〜１３ｅ_ｗを非対応点個数算出部１３ｇに出力する。ここで、左目用画像特徴点リスト１３ｅ_ｐ（１≦ｐ≦ｗ）は、インデックスｐに対応するガボールフィルタにより検出された画素の座標に対応する。

右目用画像前処理部１３ｃは、図１の入力画像処理部１２により出力された右目用画像（ＲＧＢ画像）を輝度画像に変換する処理部である。なお、右目用画像前処理部１３ｃは、計算量を削減するための画像の縮小処理や、ノイズの除去処理などをさらに行うこととしてもよい。

右目用画像特徴点抽出部１３ｄ_１〜１３ｄ_ｗは、右目用画像から生成した輝度画像において特徴点を抽出する処理を行う。具体的には、各右目用画像特徴点抽出部１３ｄ_１〜１３ｄ_ｗは、それぞれ左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗと同じｗ個のバンドパスフィルタを用いて輝度画像のフィルタリングを行う。

例えば、左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗがガボールフィルタを用いてフィルタリングを行う場合、右目用画像特徴点抽出部１３ｄ_ｐ（１≦ｐ≦ｗ）は、左目用画像特徴点抽出部１３ｂ_ｐと同様のパラメータ（式（７）におけるｋ、θ、σ）が設定されたガボールフィルタを用いてフィルタリングを行う。

そして、各右目用画像特徴点抽出部１３ｄ_１〜１３ｄ_ｗは、フィルタリング後の輝度画像において、画素値の絶対値が予め定めた閾値以上である画素を特徴点として検出し、検出した画素の座標（ｘ_Ｒｊ，ｐ，ｙ_Ｒｊ，ｐ）（１≦ｊ≦Ｎ_ｐ，１≦ｐ≦ｗ：Ｎ_ｐは、インデックスｐに対応するガボールフィルタにより検出された特徴点の個数）を内部メモリに右目用画像特徴点リスト１３ｆ_１〜１３ｆ_ｗとして一時的に記憶し、記憶した右目用画像特徴点リスト１３ｆ_１〜１３ｆ_ｗを非対応点個数算出部１３ｇに出力する。ここで、右目用画像特徴点リスト１３ｆ_ｐ（１≦ｐ≦ｗ）は、インデックスｐに対応するガボールフィルタにより検出された画素の座標に対応する。

このように、ガボールフィルタを用いてフィルタリングを行うことにより、さまざまな周波数と方向のエッジを検出し、特徴点を効果的に抽出することが可能となる。

非対応点個数算出部１３ｇは、左目用画像の特徴点を水平方向に所定の距離移動させた場合に、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を、左目用画像の特徴点の移動距離ごとに算出する処理部である。

具体的には、非対応点個数算出部１３ｇは、各左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗおよび各右目用画像特徴点抽出部１３ｄ_１〜１３ｄ_ｗから左目用画像特徴点リスト１３ｅ_１〜１３ｅ_ｗおよび右目用画像特徴点リスト１３ｆ_１〜１３ｆ_ｗを取得し、左目用画像の水平方向の各移動量ｓについて、以下の式（８）〜式（１０）により、フィルタごとの非対応度分布Ｖ_ｐ（ｓ）（１≦ｐ≦ｗ）を算出する。

ここで、移動量ｓは、ｓ１≦ｓ≦ｓ２という条件を満たす。ｓ１およびｓ２は、それぞれ移動量ｓの予め定められた最小値および最大値である。正の移動量ｓは、左目用画像を右に移動させることを示し、負の移動量ｓは、左目用画像を左に移動させることを示す。

また、移動量ｔは、ｔ１≦ｔ≦ｔ２という条件を満たす。ｔ１およびｔ２は、それぞれ０以下および０以上の定数である。ｔ１≦ｔ≦ｔ２という条件は垂直網膜像差の許容範囲を表す。正の移動量ｔは、左目用画像を下に移動させることを示し、負の移動量ｓは、左目用画像を上に移動させることを示す。

その後、非対応点個数算出部１３ｇは、左目用画像の水平方向の各移動量ｓについて、以下の式（１１）により、非対応度分布Ｕ（ｓ）を算出する。

なお、非対応点個数算出部１３ｇは、左目用画像の特徴点を水平方向に所定の距離移動させた場合に、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を、左目用画像の特徴点の移動距離ごとに算出することとしたが、右目用画像の特徴点を水平方向に所定の距離移動させた場合に、左目用画像の特徴点と対応しない右目用画像の特徴点の個数を、右目用画像の特徴点の移動距離ごとに算出することとしてもよい。

この場合、式（８）、式（１０）はそれぞれ、以下の式（１２）、式（１３）に置き換えられる。

視差値調整部１３ｈは、非対応点個数算出部１３ｇにより算出された非対応度分布Ｕ（ｓ）に基づいて、左目用画像および右目用画像間の視差値を調整する処理部である。

具体的には、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域があるか否かを判定する。非対応度分布Ｕ（ｓ）に閾値Ｋ以下となる領域がある場合、視差値調整部１３ｈは、その領域において、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を検出する。そして、視差値調整部１３ｈは、検出した移動量ｓの値を視差値の調整量として表示制御部１４に出力する。非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域がない場合、視差値調整部１３ｈは、特徴点の対応付けができないことを示すエラー信号を表示制御部１４に出力する。

なお、本実施形態２においては、非対応点個数算出部１３ｇは、式（１１）を用いて非対応度分布Ｕ（ｓ）を算出することとしたが、非対応度分布Ｕ（ｓ）を算出する式はこれに限定されない。例えば、非対応点個数算出部１３ｇは、非対応度分布Ｕ（ｓ）を以下の式を用いて算出することとしてもよい。

ここで、ａ_ｐ（１≦ｐ≦ｗ）は、フィルタごとの非対応度分布Ｖ_ｐ（ｓ）に対する重みである。

以上説明したように、本実施形態２では、左目用画像特徴点抽出部１３ｂ_１〜１３ｂ_ｗ、および、右目用画像特徴点抽出部１３ｄ_１〜１３ｄ_ｗが、互いに応答特性が異なる複数のフィルタをそれぞれ左目用画像、および、右目用画像の両方に対して適用するフィルタリングを実行し、各フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を左目用画像の特徴点、および、右目用画像の特徴点として抽出することとしたので、人の視覚特性を精度よく模すことができ、両眼視野闘争が生じにくい画像の表示が可能となる。

さて、これまで画像処理装置および画像処理方法の実施形態を中心に説明を行ったが、本発明はこれらの実施形態に限定されるものではなく、画像処理装置の機能を実現するためのコンピュータプログラムとしての形態、あるいは、当該コンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体の形態として本発明が実施されることとしてもよい。

ここで、記録媒体としては、ディスク系（例えば、磁気ディスク、光ディスク等）、カード系（例えば、メモリカード、光カード等）、半導体メモリ系（例えば、ＲＯＭ、不揮発性メモリ等）、テープ系（例えば、磁気テープ、カセットテープ等）等、さまざまな形態のものを採用することができる。

これら記録媒体に上記実施形態における画像処理装置の機能を実現させるコンピュータプログラム、または、画像処理方法をコンピュータに実行させるコンピュータプログラムを記録して流通させることにより、コストの低廉化、及び可搬性や汎用性を向上させることができる。

そして、コンピュータに上記記録媒体を装着し、コンピュータにより記録媒体に記録されたコンピュータプログラムを読み出してメモリに格納し、コンピュータが備えるプロセッサ（CPU：Central Processing Unit、MPU：Micro Processing Unit）が当該コンピュータプログラムをメモリから読み出して実行することにより、本実施形態に係る画像処理装置の機能を実現し、画像処理方法を実行することができる。

また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。

例えば、上記第１および第２の実施形態では、非対応点個数算出部１３ｇは、非対応度分布Ｕ（ｓ）を式（４）、式（１０）を用いて算出することとしたが、非対応度分布Ｕ（ｓ）を算出する式はこれに限定されない。例えば、非対応点個数算出部１３ｇは、式（４）の代わりに、以下の式（１５）、式（１６）を用いて非対応度分布Ｕ（ｓ）を算出することとしてもよい。

ここで、Ｌ（ｘ，ｙ）は、所定の応答特性を有するフィルタによりフィルタリングを行った左目用画像の輝度画像における座標（ｘ，ｙ）の画素値であり、Ｒ（ｘ，ｙ）は、所定の応答特性を有するフィルタによりフィルタリングを行った右目用画像の輝度画像における座標（ｘ，ｙ）の画素値である。また、ＴＨは、予め設定された閾値である。

また、例えば、非対応点個数算出部１３ｇは、式（１０）の代わりに、以下の式（１７）、式（１８）を用いて非対応度分布Ｕ（ｓ）を算出することとしてもよい。

ここで、Ｌ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、ＴＨは、式（１６）におけるＬ（ｘ，ｙ）、Ｒ（ｘ，ｙ）と同様のものである。

式（１５）〜式（１８）は、画素値が右目用画像の特徴点の画素値と閾値ＴＨ以上離れている左目用画像の特徴点を、右目用画像の特徴点と対応しない左目用画像の特徴点に含めて、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を算出する式である。すなわち、式（４）、式（１０）に、特徴点同士の対応は画素値が近い場合にのみ生じるという条件が追加されたものである。あるいは、非対応点個数算出部１３ｇは、画素値が左目用画像の特徴点の画素値と閾値ＴＨ以上離れている右目用画像の特徴点を、左目用画像の特徴点と対応しない右目用画像の特徴点に含めて、左目用画像の特徴点と対応しない右目用画像の特徴点の個数を算出することとしてもよい。

このように、非対応点個数算出部１３ｇが、画素値が他方の画像の特徴点の画素値と所定の値以上離れている特徴点を、上記他方の画像の特徴点と対応しない上記いずれか一方の画像の特徴点に含めることとしたので、画素値を考慮することにより人の視覚特性をさらに精度よく模すことができる。

また、上記第１および第２の実施形態では、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が閾値Ｋ以下となる領域において、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を視差値の調整量として設定することとしたが、視差値の調整量の設定方法はこれに限定されるものではない。

例えば、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が閾値Ｋ以下となる領域において、絶対値が最小となる移動量ｓ（図４の例では、ｓ４）を視差値の調整量として設定することとしてもよい。これにより、もとの左目用画像および右目用画像間の視差値をあまり変化させることなく、視差の調整を行うことが可能となる。

また、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が閾値Ｋ以下となる領域において、最大または最小である移動量ｓ（図４の例では、ｓ６およびｓ３）を視差値の調整量として設定することとしてもよい。これにより、立体視したときの観察対象の奥行きをより引っ込ませたり、飛び出させたりすることが可能となる。

また、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が閾値Ｋとなる移動量ｓ（図４の例では、ｓ３、ｓ４、ｓ５、および、ｓ６）を視差値の調整量として設定することとしてもよい。この移動量ｓは、非対応度分布Ｕ（ｓ）の値に対して許容される限界に対応する量である。

さらに、上記第１および第２の実施形態では、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が所定の閾値Ｋ以下となる領域において、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を検出することとしたが、閾値Ｋを移動量ｓに応じて変化する値に設定することとしてもよい。これは、移動量ｓが大きくなると、左目用画像の画像端近傍にある特徴点に対応する特徴点が右目用画像に含まれなくなり、非対応度分布Ｕ（ｓ）が大きくなる可能性が高くなるので、そのような状況を考慮したものである。

例えば、視差値調整部１３ｈは、上記第１または第２の実施形態における閾値Ｋの代わりに、以下の式（１９）により算出した閾値Ｋ（ｓ）を用いる。

ここで、α、βは、α＞βの関係を満たす定数であり、ｓ_Ｋは、予め設定された移動量である。

また、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）の統計量や、左目用画像特徴点リスト１３ｅ、右目用画像特徴点リスト１３ｆに登録された特徴点の個数Ｍ、Ｎ、左目用画像特徴点リスト１３ｅ_１〜１３ｅ_ｗ、右目用画像特徴点リスト１３ｆ_１〜１３ｆ_ｗに登録された特徴点の個数Ｍ_ｐ（１≦ｐ≦ｗ）、Ｎ_ｐ（１≦ｐ≦ｗ）に応じて閾値Ｋを変化させることとしてもよい。

例えば、視差値調整部１３ｈは、上記第１の実施形態における閾値Ｋの代わりに、以下の式（２０）により算出した閾値Ｋ（Ｍ，Ｎ）を用いることとしてもよい。

ここで、Ｋ_０、Ｋ_１は、所定の定数である。

また、視差値調整部１３ｈは、上記第２の実施形態における閾値Ｋの代わりに、以下の式（２１）により算出した閾値Ｋ（Ｍ_１，Ｍ_２，・・・，Ｍ_ｗ，Ｎ_１，Ｎ_２，・・・，Ｎ_ｗ）を用いてもよい。

ここで、Ｋ_２、Ｋ_３は、所定の定数である。式（２１）は、式（２０）のＭを、左目用画像特徴点リスト１３ｅ_１〜１３ｅ_ｗに登録された特徴点の個数Ｍ_ｐ（１≦ｐ≦ｗ）の平均値で置き換え、式（２０）のＮを、右目用画像特徴点リスト１３ｆ_１〜１３ｆ_ｗに登録された特徴点の個数Ｎ_ｐ（１≦ｐ≦ｗ）の平均値で置き換えたものである。

式（２０）、式（２１）では、特徴点の数が多くなるほど、閾値が大きくなる。これは、フィルタ処理によって人の視覚特性を完全に模すことは難しく、特徴点が多くなりすぎると特徴点の対応付けが難しくなるという問題に対処するためである。

また、上記第１および第２の実施形態では、視差値調整部１３ｈは、視差値の調整量を非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値ｈに設定することとしたが、人の目が像を融合できる視差角の範囲を考慮して、定数ａを用いて視差値の調整量をｈ＋ａ、ｈ−ａなどに設定することとしてもよい。

さらに、画像処理装置１０が動画を表示する場合は、視差値調整部１３ｈは、連続する複数の入力画像に対して算出した視差値の調整量を時間方向において平滑化し、その結果得られた値を視差値の調整量として用いることとしてもよい。これは、視差値の調整量の時間的な変化が大きいと、立体視が困難となるためである。

また、上記第１および第２の実施形態では、左目用画像特徴点抽出部１３ｂ、１３ｂ_１〜１３ｂ_ｗ、右目用画像特徴点抽出部１３ｄ、１３ｄ_１〜１３ｄ_ｗ、視差値調整部１３ｈを、表示部１５を有する画像処理装置１０に備えることとしたが、これらの処理部を、表示部１５を有する画像処理装置１０とは別の装置に備えることとしてもよい。例えば、これらの処理部を、ＤＶＤプレーヤやブルーレイディスクプレーヤなどの映像出力装置（記録メディア再生装置）に備えることとしてもよい。

１０…画像処理装置、１１…入力部、１２…入力画像処理部、１３…画像調整部、１３ａ…左目用画像前処理部、１３ｂ、１３ｂ_１〜１３ｂ_ｗ…左目用画像特徴点抽出部、１３ｃ…右目用画像前処理部、１３ｄ、１３ｄ_１〜１３ｄ_ｗ…右目用画像特徴点抽出部、１３ｅ、１３ｅ_１〜１３ｅ_ｗ…左目用画像特徴点リスト、１３ｆ、１３ｆ_１〜１３ｆ_ｗ…右目用画像特徴点リスト、１３ｇ…非対応点個数算出部、１３ｈ…視差値調整部、１４…表示制御部、１５…表示部、１６…メガネ同期部、１７…通信処理部、３０ａ、３１ａ、３２ａ…左目用画像、３０ｂ、３１ｂ、３２ｂ…右目用画像。

Claims (10)

1. 左目用画像、および、右目用画像間の視差値を調整する画像処理装置であって、
   前記左目用画像、および、前記右目用画像のそれぞれから特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部により抽出された前記左目用画像、および、前記右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点の個数を移動距離ごとに算出する非対応点個数算出部と、
   前記非対応点個数算出部により前記移動距離ごとに算出された前記個数に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整する視差値調整部と、
   を備えることを特徴とする画像処理装置。
2. 前記特徴点抽出部は、所定の応答特性を有するフィルタによるフィルタリングを前記左目用画像、および、前記右目用画像に対して行い、該フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を前記左目用画像の特徴点、および、前記右目用画像の特徴点として抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴点抽出部は、互いに応答特性が異なる複数のフィルタをそれぞれ前記左目用画像、および、前記右目用画像の両方に対して適用するフィルタリングを実行し、各フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を前記左目用画像の特徴点、および、前記右目用画像の特徴点として抽出することを特徴とする請求項２に記載の画像処理装置。
4. 前記フィルタは、バンドパスフィルタであることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記視差値調整部は、前記非対応点個数算出部により算出された個数を度数とし、前記左目用画像の特徴点と前記右目用画像の特徴点との間の距離を階級とする度数分布に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記非対応点個数算出部は、画素値が前記他方の画像の特徴点の画素値と所定の値以上離れている特徴点を、前記他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点に含め、前記いずれか一方の画像の特徴点の個数を算出することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記視差値調整部により視差値が調整された前記左目用画像、および、前記右目用画像の表示処理を制御する表示制御部をさらに備えることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 左目用画像、および、右目用画像間の視差値を調整する画像処理方法であって、
   前記左目用画像、および、前記右目用画像のそれぞれから特徴点を抽出する特徴点抽出ステップと、
   前記特徴点抽出ステップにおいて抽出された前記左目用画像、および、前記右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点の個数を移動距離ごとに算出する非対応点個数算出ステップと、
   前記非対応点個数算出ステップにおいて前記移動距離ごとに算出された前記個数に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整する視差値調整ステップと、
   を含むことを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。

Images