JP5954668B2 - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Description

本発明は、多視点画像を利用してデプスマップを作成する技術に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルスチルカメラやデジタルムービーカメラの高機能化および高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。

一方、表示装置に関しては、薄型の液晶ディスプレイやプラズマディスプレイが提供されている。液晶ディスプレイやプラズマディスプレイは、場所を取らず、高解像度かつ高コントラストな画像を表示することができ、高い性能を実現することができる。このような画像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。最近では、偏光メガネを用いて高画質な３次元画像を表示する３次元表示装置が開発され始めている。

また、代表的な３次元撮像技術として、２つのカメラから構成される撮像系を用いて、ステレオ画像（左画像および右画像）を取得する技術がある。このように取得されたステレオ画像を用いて、撮影シーンのデプスマップを作成する方法が提案されている。例えば、左画像および右画像において同じ対象物が写っている画素のペアを求め、求められた画素のペア間の画素位置のずれ量（視差）を用いて、三角測量の原理によってカメラから対象物までの距離（奥行き）を求めることにより、デプスマップを作成する。

このように作成されたデプスマップは、３次元画像の奥行き感の調整、あるいは奥行きに応じたぼかし処理などに利用される。例えば、奥行きが大きい領域ほどぼけ量が多くなるように３次元画像にぼかし処理を行うことができる。

特開２０１０−１２８６０８号公報 特開２０１０−１２８６２２号公報 特開２００３−１８７２６１号公報

「新編 画像解析ハンドブック」（高木幹夫・下田陽久監修、東京大学出版会刊、２００４年９月）、ｐ．１２８９−１４３５ "Ａｎ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｍｉｎ−Ｃｕｔ／Ｍａｘ−Ｆｌｏｗ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｅｎｅｒｇｙ Ｍｉｎｉｍｉｚａｔｉｏｎ ｉｎ Ｖｉｓｉｏｎ"（２００４），Ｙｕｒｉ Ｂｏｙｋｏｖ，Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｄａｖｉｄ Ｇ．Ｌｏｗｅ，"Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ，" ＩＣＣＶ １９９９． Ｄａｖｉｄ Ｇ． Ｌｏｗｅ，"Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，６０，２，ｐｐ．９１−１１０，２００４．

しかしながら、上記従来の方法では、奥行きを正確に求めることができずに、デプスマップの精度が大きく低下する場合がある。

そこで、本発明は、多視点画像を利用してデプスマップを作成する場合に、デプスマップの精度が大きく低下することを抑制することができる画像処理装置を提供する。

本発明の一態様に係る画像処理装置は、多視点画像を利用してデプスマップを作成する画像処理装置であって、前記多視点画像に対してエッジ検出またはコーナー検出を行うことにより、前記多視点画像に含まれる複数の画像の各々から少なくとも１つの特徴点を検出する検出部と、検出された前記特徴点の特徴量の類似性に基づいて、前記多視点画像に含まれる複数の画像間で対応する前記特徴点の組を対応点として導出する導出部と、導出された前記対応点に基づいて、デプスマップを作成する上での前記多視点画像に含まれる複数の画像間の対応関係の信頼度を算出する算出部と、算出された前記信頼度が閾値より高い第１信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成し、算出された前記信頼度が前記閾値以下の第２信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いずにデプスマップを作成する作成部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る画像処理装置は、多視点画像を利用してデプスマップの作成する場合に、デプスマップの精度が大きく低下することを抑制することができる。

図１は、実施の形態１に係る画像処理システムの構成を示す。 図２は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図３は、実施の形態１における画像処理装置の処理動作を示すフローチャートである。 図４は、実施の形態２に係る撮像装置の構成を示す。 図５は、実施の形態２に係る画像処理部の機能構成を示すブロック図である。 図６は、実施の形態２に係る画像処理部がデプスマップを作成する処理を示すフローチャートである。 図７は、実施の形態２におけるステレオ画像の平行化を説明するための図である。 図８は、実施の形態２における射影変換を説明するための図である。 図９は、実施の形態２におけるマッチング処理を説明するための図である。

（本発明の基礎となった知見）
特許文献１および特許文献２には、左画像および右画像において同じ対象物が写っている画素のペアを求める方法の１つとして、左画像および右画像間における局所領域の類似性を用いる方法が開示されている。この方法では、右画像において相関窓を移動させながら、左画像に設定された相関窓（局所領域）内の画素値パターンと最も類似する画素値パターンを有する相関窓の位置を探索することにより、左画像および右画像において同じ対象物が写っている画素のペアを求める。

また、特許文献３には、左画像および右画像において同じ対象物が写っている画素のペアを求める方法の他の１つとして、グラフカット法に代表される大域最適化に基づく方法が開示されている。この方法では、左画像および右画像間における局所領域の類似性と、デプスマップにおいて隣接する画素間における視差の変化の滑らかさ（視差分布の空間的な平滑性）とに基づいて、左画像および右画像において同じ対象物が写っている画素のペアを求める。具体的には、局所領域の類似性を表すデータ項と視差分布の空間的な平滑性を表す平滑化項とによって定義されたエネルギー関数が最小となる視差を求めることにより、デプスマップを作成する。グラフカットでは、各画素をグラフ構造とみなし、データ項と平滑化項とで算出されるエネルギーをグラフのノード間の重みとして設定する。そのグラフの最大流問題（Ｍａｘ−Ｆｌｏｗ）を解くことで、エネルギーが最小となる視差マップを得ることができる。最大流問題の解法については非特許文献２に記載されている。

しかしながら、上記方法では、左画像および右画像に特徴が少ない場合に、左画像および右画像において同じ対象物が写っている画素のペアを求めることが難しい。例えば、平坦しか存在しないシーン、あるいは、極端にテクスチャが少ないシーン（例えば、屋内の壁や空など）が撮影された場合には、平坦な領域が画像中の大部分を占める。また、カメラや被写体の動きが大きい場合、画像中の大部分が手ぶれや被写体ぶれによるぼやけを有する。これらの画像では、局所領域の類似性に基づいて左画像および右画像において同じ対象物が写っている画素のペアを求めることが難しい。

その結果、左画像および右画像において異なる対象物が写っている画素のペアが同じ対象物が写っている画素のペアとして求められることが多くなる。このように異なる対象物が写っている画素のペアに基づいて視差が算出された場合、デプスマップの精度が大きく低下する。

そこで、本発明の一態様に係る画像処理装置は、多視点画像を利用してデプスマップを作成する画像処理装置であって、前記多視点画像に含まれる複数の画像の各々から少なくとも１つの特徴点を検出する検出部と、検出された前記特徴点に基づいて、デプスマップを作成する上での前記多視点画像に含まれる複数の画像間の対応関係の信頼度を算出する算出部と、算出された前記信頼度が第１信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成し、算出された前記信頼度が前記第１信頼度よりも低い第２信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いずにデプスマップを作成する作成部とを備える。

この構成によれば、特徴点に基づいて算出された信頼度に応じて、多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成するか否かを切り替えることができる。複数の画像間の対応関係の信頼度は特徴点に依存する。例えば、特徴点が検出されないような平坦領域のみからなる複数の画像からは、正確な対応関係を得ることが難しい。したがって、特徴点に基づいて算出された信頼度に応じて、多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成するか否かを切り替えることにより、不正確な対応関係を用いてデプスマップが作成されることを減少させることができる。その結果、デプスマップの精度が大きく低下することを抑制することができる。

例えば、前記画像処理装置は、さらに、前記多視点画像に含まれる複数の画像間で対応する前記特徴点の組を対応点として導出する導出部を備え、前記算出部は、前記対応点に基づいて前記信頼度を算出してもよい。

この構成によれば、対応点に基づいて信頼度を算出することができる。複数の画像間の対応関係の信頼度は対応点の正確さに依存するので、より適切に信頼度を算出することが可能となる。その結果、デプスマップの精度が大きく低下することをさらに抑制することができる。

例えば、前記画像処理装置は、さらに、導出された少なくとも４つの対応点を用いて、前記多視点画像に含まれる第１画像を前記多視点画像に含まれる第２画像に射影変換するための変換パラメータを算出し、前記変換パラメータを用いて前記第１画像を変換する変換部を備え、前記算出部は、変換された前記第１画像の前記第２画像に対する誤差が小さいほど信頼度が高くなるように前記信頼度を算出してもよい。

この構成によれば、少なくとも４つの対応点を用いて第１画像を第２画像に射影変換するための変換パラメータを算出することができる。そして、このように算出された変換パラメータを用いて変換された第１画像の第２画像に対する誤差に基づいて信頼度を算出することができる。導出された対応点が正確であれば、変換された第１画像の第２画像に対する誤差は小さくなる。したがって、より適切に信頼度を算出することができ、デプスマップの精度が大きく低下することをさらに抑制することができる。

例えば、前記変換部は、導出されたＮ（Ｎ≧５）個の対応点から選択された互いに組合せが異なる複数組のＭ（４≦Ｍ＜Ｎ）個の対応点を用いて複数の変換パラメータをそれぞれ算出し、前記複数の変換パラメータを用いて前記第１画像を複数の変換された第１画像にそれぞれ変換し、前記算出部は、前記複数の変換された第１画像と前記第２画像との差分の二乗平均、絶対値平均、二乗和、および絶対値和のいずれかを前記誤差として算出し、前記誤差が小さいほど信頼度が高くなるように前記信頼度を算出してもよい。

この構成によれば、複数組のＭ個の対応点を用いて複数の変換された第１画像を得ることができる。そして、複数の変換された第１画像を用いて信頼度を算出することができる。したがって、安定的に信頼度を算出することができ、デプスマップの精度が大きく低下することをさらに抑制することができる。

例えば、前記検出部は、エッジを前記特徴点として検出し、前記算出部は、前記第２画像のうち、検出された前記エッジの強度が閾値を超える領域のみから、変換された前記第１画像の前記第２画像に対する誤差を算出してもよい。

この構成によれば、エッジが強い領域のみから誤差を算出することができる。エッジが強い領域は、複数の画像間の対応関係が得やすい領域である。したがって、確実に対応関係を得たい領域について信頼度を算出することができ、信頼度を算出するための負荷を低減することもできる。

例えば、前記算出部は、前記多視点画像に含まれる複数の画像の各々から検出された特徴点が多いほど信頼度が高くなるように前記信頼度を算出してもよい。

この構成によれば、特徴点の数に基づいて信頼度を算出することができる。特徴点が多いことは、画像が多くの特徴を有することを意味する。したがって、特徴点が多いほど信頼度が高くなるように信頼度を算出することにより、適切にかつ簡易に信頼度を算出することが可能となる。

例えば、前記算出部は、前記多視点画像に含まれる複数の画像の各々から検出された複数の特徴点の分布の中心が画像の中心に近いほど信頼度が高くなるように前記信頼度を算出してもよい。

この構成によれば、複数の特徴点の分布の中心が画像の中心に近いほど信頼度が高くなるように信頼度を算出することができる。画像の端の領域ほど、レンズ歪などの外乱によるノイズの影響を受けやすい。そのため、特徴点が画像全体に均等に散らばっており、かつ、特徴点集合の重心が画像の中心に近いほど、特徴点は、平均的に外乱の影響を受けにくい位置にあると考えることができる。したがって、特徴点の分布の中心と画像の中心との距離が近いほど信頼度が高くなるように信頼度を算出することにより、適切にかつ簡易に信頼度を算出することができる。

例えば、前記検出部は、前記多視点画像に含まれる複数の画像の各々からエッジを前記特徴点として検出し、前記算出部は、前記多視点画像に含まれる複数の画像の各々から検出された前記エッジの強度が高いほど信頼度が高くなるように前記信頼度を算出してもよい。

この構成によれば、エッジの強度に基づいて信頼度を算出することができる。エッジの強度が高いことは、画像が多くの特徴を有することを意味する。したがって、エッジの強度が高いほど信頼度が高くなるように信頼度を算出することにより、適切にかつ簡易に信頼度を算出することが可能となる。

例えば、前記作成部は、算出された前記信頼度が前記第１信頼度である場合に、局所領域の類似性に基づいて前記多視点画像に含まれる複数の画像間における視差を算出することにより、前記デプスマップを作成してもよい。

この構成によれば、信頼度が高い場合に、局所領域の類似性に基づいて視差を算出することにより、正確なデプスマップを作成することができる。

例えば、前記作成部は、算出された前記信頼度が前記第２信頼度である場合に、前記多視点画像に含まれる１つの画像における幾何的な情報、色の情報、および物体の動き情報のうちの少なくとも１つを利用して奥行きを推定することにより、前記デプスマップを作成してもよい。

この構成によれば、信頼度が低い場合に、１つの画像から奥行きを推定することにより、デプスマップを作成することができる。したがって、複数の画像間の不正確な対応関係を用いてデプスマップが作成されることを抑制することができ、デプスマップの精度が大きく低下することを抑制することが可能となる。

例えば、前記多視点画像は、多視点動画像に含まれており、前記作成部は、算出された前記信頼度が前記第２信頼度である場合に、前記多視点動画像に含まれる他の多視点画像であって前記多視点画像とは時間的に異なる他の多視点画像を用いて作成されたデプスマップを用いて前記多視点画像におけるデプスマップを作成してもよい。

この構成によれば、信頼度が低い場合に、他の多視点画像を用いて作成されたデプスマップを用いて、デプスマップを作成することができる。したがって、デプスマップの急激な時間変化を減らすことが可能となり、より適切にデプスマップを作成することができる。

例えば、前記作成部は、算出された前記信頼度が前記第２信頼度である場合に、前記他の多視点画像間における局所領域の対応関係を用いて作成されたデプスマップと、前記多視点画像に含まれる１つの画像における幾何的な情報、色の情報、および物体の動き情報のうちの少なくとも１つを利用して推定される奥行きとの両方を用いて前記デプスマップを作成してもよい。

この構成によれば、信頼度が低い場合に、他の多視点画像を用いて作成されたデプスマップと、処理対象の多視点画像から推定されて奥行きとの両方を用いて、デプスマップを作成することができる。したがって、複数の画像間の対応関係を用いずにデプスマップを作成する場合に、デプスマップの精度を向上させることができる。

例えば、前記作成部は、算出された前記信頼度が前記第２信頼度である場合に、前記他の多視点画像間における局所領域の対応関係を用いて作成されたデプスマップを前記多視点画像におけるデプスマップとして採用してもよい。

この構成によれば、信頼度が低い場合に、他の多視点画像を用いて作成されたデプスマップをそのまま処理対象の多視点画像におけるデプスマップとして採用することができる。したがって、より簡易にデプスマップを作成することができる。

例えば、前記多視点画像はステレオ画像であり、前記画像処理装置は、さらに、前記ステレオ画像においてエピポーララインが平行になるように前記ステレオ画像を平行化する変換部を備え、前記算出部は、算出された前記信頼度が前記第１信頼度である場合に、平行化された前記ステレオ画像間の対応関係を用いてデプスマップを作成してもよい。

この構成によれば、ステレオ画像の平行化を行うことができる。したがって、ステレオ画像間の対応関係を水平方向の関係に限定することができ、処理負荷を低減することが可能となる。

また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記多視点画像を撮影する撮像部とを備える。

この構成によれば、上記画像処理装置と同様の効果を奏することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、以下において必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明あるいは実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

また、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。

（実施の形態１）
図１は、実施の形態１に係る画像処理システムの構成を示す。この画像処理システムは、画像処理装置１０と、撮像装置２０とを備える。

画像処理装置１０は、例えばネットワークに接続されたサーバである。画像処理装置１０は、撮像装置２０から多視点画像を受信する。なお、画像処理装置１０は、１つのサーバによって実現されなくてもよく、クラウドサーバによって実現されてもよい。

撮像装置２０は、例えば、デジタルスチルカメラ、デジタルビデオカメラまたはカメラ機能付き携帯端末などである。撮像装置２０は、多視点画像を撮影する。

なお、多視点画像は、互いに異なる視点から略同一のシーンが撮影された複数の画像を含む。多視点画像の一例としては、左画像および右画像を含むステレオ画像がある。なお、多視点画像は、ステレオ画像でなくてもよい。多視点画像は、例えば、左画像、右画像、上画像および下画像の４つの画像を含んでもよい。

＜画像処理装置の機能構成＞
図２は、実施の形態１に係る画像処理装置１０の機能構成を示すブロック図である。この画像処理装置１０は、多視点画像を用いてデプスマップを作成する。

デプスマップとは、撮影シーンの奥行きを示す情報である。例えば、デプスマップは、奥行きを示す値を画素値として有する画像である。なお、デプスマップは、画素ごとではなく、複数の画素からなるブロックごとに奥行きを示す値を有してもよい。

奥行きを示す値は、例えば、カメラから対象物までの距離である。なお、奥行きを示す値は、カメラから対象物までの距離でなくてもよい。例えば、奥行きを示す値は、基準となる平面から対象物までの距離であってもよい。また例えば、奥行きを示す値は、多視点画像間における視差を示す値であってもよい。

図２に示すように、画像処理装置１０は、検出部１１と、算出部１２と、作成部１３とを備える。以下に、これらの各部について詳細に説明する。

検出部１１は、多視点画像に含まれる複数の画像の各々から少なくとも１つの特徴点を検出する。具体的には、検出部１１は、多視点画像に含まれる各画像において、例えばエッジ検出あるいはコーナー検出などを行うことにより、少なくとも１つの特徴点を検出する。

算出部１２は、検出された特徴点に基づいて、デプスマップを作成する上での多視点画像に含まれる複数の画像間の対応関係の信頼度を算出する。この信頼度が高いほど、多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップが作成された場合に正確なデプスマップが得られる可能性が高くなることを示す。なお、複数の画像間の対応関係とは、複数の画像間における局所領域（例えば、画素または画素の集合）の相関を意味する。

具体的には、算出部１２は、例えば、多視点画像に含まれる複数の画像の各々から検出された特徴点が多いほど信頼度が高くなるように信頼度を算出する。特徴点が多いことは、画像が多くの特徴を有することを意味する。したがって、算出部１２は、特徴点が多いほど信頼度が高くなるように信頼度を算出することにより、適切にかつ簡易に信頼度を算出することができる。

また例えば、算出部１２は、多視点画像に含まれる複数の画像の各々から検出された特徴点の画像中心からの距離が小さいほど信頼度が高くなるように信頼度を算出してもよい。画像の端の領域ほど、レンズ歪などの外乱によるノイズの影響を受けやすい。そのため、特徴点が画像全体に均等に散らばっており、かつ、特徴点集合の重心が画像の中心に近いほど、特徴点は、平均的に外乱の影響を受けにくい位置にあると考えることができる。したがって、算出部１２は、特徴点の分布の中心と画像の中心との距離が近いほど信頼度が高くなるように信頼度を算出することにより、適切にかつ簡易に信頼度を算出することができる。

また例えば、算出部１２は、検出部１１がエッジを検出する場合には、多視点画像に含まれる複数の画像の各々から検出されたエッジの強度が高いほど信頼度が高くなるように信頼度を算出してもよい。これにより、算出部１２は、適切にかつ簡易に信頼度を算出することができる。これは、エッジの強度が高いことは、画像が多くの特徴を有することを意味するからである。

作成部１３は、算出された信頼度に基づいて、多視点画像における撮影シーンのデプスマップを作成する。ここでは、作成部１３は、算出された信頼度に応じてデプスマップの作成方法を切り替える。

具体的には、算出された信頼度が第１信頼度である場合に、作成部１３は、多視点画像に含まれる複数の画像間における対応関係を用いてデプスマップを作成する。例えば、作成部１３は、多視点画像に含まれる複数の画像間においてマッチング処理を行うことにより、複数の画像間における視差を算出する。つまり、作成部１３は、多視点画像に含まれる複数の画像間において互いに類似する局所領域を探索することにより、複数の画像間における視差を算出する。そして、作成部１３は、複数の画像間における視差に対応する奥行きを算出することによりデプスマップを作成する。

一方、算出された信頼度が第１信頼度よりも低い第２信頼度である場合には、作成部１３は、多視点画像に含まれる複数の画像間の対応関係を用いずにデプスマップを作成する。例えば、作成部１３は、多視点画像に含まれる１つの画像から奥行きを推定することによりデプスマップを生成する。つまり、作成部１３は、多視点画像に含まれる複数の画像間においてマッチング処理を行わずにデプスマップを作成する。

＜画像処理装置の処理動作＞
次に、以上のように構成された画像処理装置１０の各種動作について説明する。図３は、実施の形態１における画像処理装置１０の処理動作を示すフローチャートである。

まず、検出部１１は、多視点画像に含まれる各画像から少なくとも１つの特徴点を検出する（Ｓ１１）。そして、算出部１２は、特徴点に基づいて信頼度を算出する（Ｓ１２）。次に、作成部１３は、信頼度を閾値と比較する（Ｓ１３）。この閾値は、複数の画像間の対応関係を用いてデプスマップを作成するか否かを判定する基準となる信頼度のレベルを示す。

ここで、信頼度が閾値より高い場合（Ｓ１３のＹｅｓ）、作成部１３は、多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成する（Ｓ１４）。つまり、ステップＳ１２において算出された信頼度が閾値より高い第１信頼度である場合に、作成部１３は、多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成する。

一方、信頼度が閾値より高くない場合（Ｓ１３のＮｏ）、作成部１３は、多視点画像に含まれる複数の画像間の対応関係を用いずにデプスマップを作成する（Ｓ１５）。つまり、ステップＳ１２において算出された信頼度が、閾値以下の（つまり第１信頼度より低い）第２信頼度である場合、多視点画像に含まれる複数の画像間の対応関係を用いずにデプスマップを作成する。

以上のように、本実施の形態に係る画像処理装置１０によれば、特徴点に基づいて算出された信頼度に応じて、多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成するか否かを切り替えることができる。複数の画像間の対応関係の信頼度は特徴点に依存する。例えば、特徴点が検出されないような平坦領域のみからなる複数の画像からは、正確な対応関係を得ることが難しい。したがって、画像処理装置１０は、特徴点に基づいて算出された信頼度に応じて、多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成するか否かを切り替えることにより、不正確な対応関係を用いてデプスマップが作成されることを減少させることができる。その結果、画像処理装置１０は、デプスマップの精度が大きく低下することを抑制することができる。

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、撮像装置が画像処理装置の機能を有する場合について説明する。

＜撮像装置の全体構成＞
図４は、実施の形態２に係る撮像装置１０００の構成を示す。本実施の形態に係る撮像装置１０００は、例えば、デジタル式の電子カメラである。撮像装置１０００は、撮像部１００ａと、撮像部１００ｂと、信号処理部２００とを備える。

撮像部１００ａおよび撮像部１００ｂは、互いに異なる視点から同一シーンを撮影することにより、ステレオ画像を生成する。撮像部１００ａおよび撮像部１００ｂは、例えば、人間の眼の間の距離（約６．５ｃｍ）だけ離れて配置される。また例えば、撮像装置１０００が狭い空間内に設置される必要がある場合には、撮像部１００ａおよび撮像部１００ｂは、人間の眼の間の距離よりも狭い間隔で配置されてもよい。

図４に示すように、撮像部１００ａおよび撮像部１００ｂの各々は、撮像素子１０１、透光板１０２、光学レンズ１０３、赤外カットフィルタ１０４、信号発生／受信部１０５、および、素子駆動部１０６を備える。

撮像素子１０１は、例えばＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサなどの固体撮像素子である。撮像素子１０１は、透光板１０２、光学レンズ１０３、および、赤外カットフィルタ１０４によって形成された光学像を電気信号に変換する。

なお、撮像素子１０１のサイズあるいは解像度は、撮影用途に適するように適宜決定されればよい。例えば、夜間など暗い環境で撮影が多く行われる場合には、解像度が低く、かつ、画素ピッチ（１画素のサイズ）が大きい撮像素子が用いられればよい。これにより、撮像装置１０００は、被写体を明るく撮影できる。

透光板１０２は、光学レンズ１０３を保護するためのカバーである。

光学レンズ１０３は、対象物からの光を撮像素子１０１の撮像面上に結像する。

赤外カットフィルタ１０４は、可視光を透過して、近赤外光をカットする。

信号発生／受信部１０５は、撮像素子１０１を駆動するための基本信号を発生する。さらに、信号発生／受信部１０５は、撮像素子１０１から出力された信号を受信し、当該信号を信号処理部２００に送信する。

素子駆動部１０６は、信号発生／受信部１０５によって発生された基本信号に基づいて撮像素子１０１を駆動する。信号発生／受信部１０５および素子駆動部１０６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。

信号処理部２００は、メモリ２１０と、画像処理部２２０と、インターフェース（ＩＦ）部２３０とを備える。

メモリ２１０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリである。メモリ２１０は、画像処理に用いられる各種のデータを格納する。例えば、メモリ２１０は、撮像部１００ａおよび撮像部１００ｂから出力された信号を一時的に格納する。

画像処理部２２０は、撮像部１００ａおよび撮像部１００ｂから出力された信号を処理してステレオ画像を生成する。さらに、画像処理部２２０は、ステレオ画像からデプスマップを作成する。そして、画像処理部２２０は、ステレオ画像およびデプスマップを含む画像データをインターフェース部２３０に出力する。

なお、画像処理部２２０は、公知のデジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのハードウェアと、画像処理を実行するソフトウェアとの組合せによって実現され得る。

インターフェース部２３０は、画像処理部２２０によって生成された画像データを記録媒体（図示しない）あるいは表示部（図示しない）に出力する。

なお、本実施の形態に係る撮像装置１０００は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施の形態に係る撮像装置１０００の理解に特に必要でないため省略する。

なお、撮像装置１０００は、図４に示すような２つの撮像部を備えなくてもよい。例えば、撮像装置１０００は、移動可能な１つの撮像部を備えてもよい。この場合、１つの撮像部によってステレオ画像が撮影される。

＜画像処理部の機能構成＞
次に、画像処理部２２０におけるデプスマップの作成に関して説明する。

図５は、実施の形態２に係る画像処理部２２０の機能構成を示すブロック図である。具体的には、図５は、デプスマップの作成に関する機能の構成を示す。画像処理部２２０は、対応点算出部２２１と、信頼度算出部２２２と、作成部２２３とを備える。

対応点算出部２２１は、ステレオ画像に含まれる左画像および右画像間で対応する特徴点のペアを対応点として導出する。対応点算出部２２１は、検出部２２１ａと、導出部２２１ｂとを備える。

検出部２２１ａは、左画像および右画像の各々から複数の特徴点を検出する。具体的には、検出部２２１ａは、例えばエッジ検出あるいはコーナー検出などを行うことにより、左画像および右画像の各々から複数の特徴点を検出する。

導出部２２１ｂは、左画像および右画像間で対応する特徴点のペアを対応点として導出する。具体的には、導出部２２１ｂは、例えば、左画像の特徴点ごとに、当該左画像の特徴点が有する特徴量に類似する特徴量を有する右画像の特徴点を探索することにより対応点を導出する。

信頼度算出部２２２は、導出された対応点に基づいて、デプスマップを作成する上での左画像および右画像間の対応関係の信頼度を算出する。信頼度算出部２２２は、変換部２２２ａと、算出部２２２ｂとを備える。

変換部２２２ａは、ステレオ画像においてエピポーララインが平行になるように、ステレオ画像の平行化（ｒｅｃｔｉｆｉｃａｔｉｏｎ）を行う。具体的には、変換部２２２ａは、左画像および右画像においてエピポーララインが平行となるように、左画像および右画像の少なくとも一方の座標変換を行うことにより、ステレオ画像の平行化を行う。

さらに、変換部２２２ａは、射影変換（ｈｏｍｏｇｒａｐｈｙ）を行う。具体的には、変換部２２２ａは、導出された少なくとも４つの対応点を用いて、左画像および右画像の一方（第１画像）を他方（第２画像）に射影変換するための変換パラメータを算出する。そして、変換部２２２ａは、算出された変換パラメータを用いて第１画像を変換する。

なお、変換部２２２ａは、ステレオ画像の平行化を行わなくてもよい。例えば、エピポーララインが平行なステレオ画像が撮影されるように撮像部１００ａと撮像部１００ｂとが適切に配置されている場合には、ステレオ画像の平行化は行われなくてもよい。

算出部２２２ｂは、変換された第１画像の第２画像に対する誤差が小さいほど信頼度が高くなるように信頼度を算出する。

作成部２２３は、算出された信頼度が第１信頼度である場合に、左画像および右画像間の対応関係を用いてデプスマップを作成する。一方、作成部２２３は、算出された信頼度が第１信頼度よりも低い第２信頼度である場合に、左画像および右画像間の対応関係を用いずにデプスマップを作成する。作成部２２３は、処理切替部２２３ａと、ステレオマッチング部２２３ｂと、非ステレオマッチング部２２３ｃとを備える。

処理切替部２２３ａは、ステレオマッチング部２２３ｂにデプスマップを作成させるか、非ステレオマッチング部２２３ｃにデプスマップを作成させるかを切り替える。具体的には、処理切替部２２３ａは、信頼度が第１信頼度である場合に、ステレオマッチング部２２３ｂにデプスマップを作成させる。一方、処理切替部２２３ａは、信頼度が第２信頼度である場合に、非ステレオマッチング部２２３ｃにデプスマップを作成させる。

ステレオマッチング部２２３ｂは、左画像および右画像間の対応関係を用いてデプスマップを作成する。具体的には、ステレオマッチング部２２３ｂは、例えば、局所領域の類似性に基づいて左画像および右画像間における視差を算出することにより、デプスマップを作成する。

非ステレオマッチング部２２３ｃは、左画像および右画像間の対応関係を用いずにデプスマップを作成する。具体的には、非ステレオマッチング部２２３ｃは、左画像および右画像の一方における幾何的な情報、色の情報、および物体の動き情報のうちの少なくとも１つを利用して奥行きを推定することによりデプスマップを作成する。

＜画像処理部２２０の処理動作＞
次に、以上のように構成された画像処理部２２０における各種動作について説明する。ここでは、左画像が第１画像であり、右画像が第２画像であるとする。

図６は、実施の形態２に係る画像処理部２２０がデプスマップを作成する処理を示すフローチャートである。

まず、検出部２２１ａは、左画像および右画像の各々から複数の特徴点を検出する（Ｓ１０１）。ここでは、検出部２２１ａは、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）あるいはＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などにより複数の特徴点を検出する（例えば、非特許文献３を参照）。

導出部２２１ｂは、左画像および右画像間で対応する特徴点のペアを対応点として導出する（Ｓ１０２）。具体的には、導出部２２１ｂは、例えば、特徴点が有する特徴量の類似性に基づいて対応点を導出する。また例えば、導出部２２１ｂは、特徴点を含む局所領域内の画素値パターンの類似性に基づいて対応点を導出してもよい。

変換部２２２ａは、左画像および右画像にアライメント処理を施す（Ｓ１０３）。具体的には、変換部２２２ａは、ステレオ画像の平行化および射影変換を行う。ステレオ画像の平行化および射影変換の詳細は後述する。

そして、算出部２２２ｂは、対応点に基づいて、デプスマップの作成する上での左画像および右画像間の対応関係の信頼度を算出する（Ｓ１０４）。具体的には、算出部２２２ｂは、変換された第１画像の第２画像に対する誤差が小さいほど信頼度が高くなるように信頼度を算出する。

なお、本実施の形態では、算出部２２２ｂは、信頼性が高いほど値が小さい信頼度を算出する。以下において、この信頼性が高いほど値が小さい信頼度を、信頼性が高いほど値が大きい信頼度と区別するために非信頼度と呼ぶ。

処理切替部２２３ａは、算出された非信頼度が閾値未満か否かを判定する（Ｓ１０５）。つまり、処理切替部２２３ａは、信頼度が第１信頼度であるか否かを判定する。

ここで、非信頼度が閾値未満であると判定された場合（Ｓ１０５のＹｅｓ）、ステレオマッチング部２２３ｂは、平行化された左画像および右画像においてステレオマッチング処理を行うことにより、デプスマップを作成する（Ｓ１０６）。ステレオマッチング処理とは、左画像および右画像間の対応関係を導出する処理である。具体的には、ステレオマッチング処理には、局所的な探索窓を用いる方法や大域的なエネルギー関数を用いる方法（例えばグラフカットやＢｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎなど）がある。このステレオマッチング処理の詳細は後述する。

一方、非信頼度が閾値以上であると判定された場合（Ｓ１０５のＮｏ）、非ステレオマッチング部２２３ｃは、ステレオマッチング処理とは異なる処理によりデプスマップを作成する（Ｓ１０７）。ステレオマッチング処理とは異なる処理とは、左画像および右画像間の対応関係を利用しない処理である。具体的には、ステレオマッチング処理とは異なる処理とは、例えば、左画像および右画像のうちの一方の性質を利用して奥行きを推定する処理（いわゆる２Ｄ−３Ｄ変換と呼ばれる擬似的な奥行き情報を生成する処理）等である。一般に、擬似的な奥行き情報によって得られる奥行き感は乏しい。しかし、マッチング処理によって正確なデプスマップが作成できない撮影シーンについても、デプスマップを用いて処理された画像が破綻しないようなデプスマップを作成することができる。

以降、図６に示す各ステップに関して、その詳細を説明する。

まず、ステップＳ１０３に関して詳しく説明する。ステップＳ１０３では、ステレオ画像の平行化と、射影変換とが行われる。まず、ステレオ画像の平行化について説明する。

ステレオカメラで撮影されたステレオ画像（左画像および右画像）は完全に平行であることは稀である。そこで、変換部２２２ａは、まず、ステレオ画像においてエピポーララインを平行に揃えるためにステレオ画像の平行化を行う。本実施の形態では、変換部２２２ａは、非特許文献１に記載された方法に基づいてステレオ画像を平行化する。

図７は、実施の形態２におけるステレオ画像の平行化を説明するための図である。ここでは、対象物Ｐが撮影された左画像と右画像とが示されている。左画像上の点Ｐ’Ｌに対応する右画像上の点Ｐ’Ｒは、左画像の投影中心ＯＬ、右画像の投影中心ＯＲ、および点Ｐ’Ｌを有する平面と、右画像の投影面とが交わる直線上に存在する。

この直線をエピポーララインと呼ぶ。また、対象物Ｐと左画像の投影中心ＯＬと右画像の投影中心ＯＲとを有する平面をエピポーラプレーンと呼ぶ。すなわち、エピポーラプレーンと左画像および右画像のそれぞれの投影面との交線がエピポーララインとなる。

平行化されていないステレオ画像では、エピポーララインは画像の走査線と一致しない。そのため、平行化されていないステレオ画像においてマッチング処理を行う場合、探索範囲が２次元となるので、マッチング処理の計算量が増加する。そこで、本実施の形態では、変換部２２２ａは、探索を簡単化するために、以下に示す方法でステレオ画像の平行化を行う。

まず、変換部２２２ａは、左画像の投影中心ＯＬを原点とし、ｘ’軸およびｙ’軸がそれぞれｕＬ軸およびｖＬ軸と平行になる座標系（ｘ’，ｙ’，ｚ’）を設定する。この座標系（ｘ’，ｙ’，ｚ’）をモデル座標系と呼ぶ。

モデル座標系では、左画像のセンサの投影中心ＯＬの位置が（０，０，０）となり、左画像のセンサの姿勢が（０，０，０）となる。また、右画像のセンサの投影中心ＯＲの位置は（Ｂｘ’，Ｂｙ’，Ｂｚ’）となり、右画像のセンサの姿勢は（ω’，φ’，χ’）となる。Ｂｘ’を単位長さと定義し、ｂｙ’＝Ｂｙ’／Ｂｘ’、ｂｚ’＝Ｂｚ’／Ｂｘ’と定義すれば、このモデル座標系とそれぞれの仮想投影面座標系との間の座標変換は、次の式（１）および式（２）のように表される。

この座標変換式における未知数は、右画像に関する（ｂｙ’，ｂｚ’）および（ω’，φ’，χ’）の５個である。この５個の未知数は、次の共面条件式（３）を満足するように決定される。

そこで、まず、変換部２２２ａは、導出部２２１ｂによって導出された５つ以上の対応点を用いて、仮想投影面座標を決定する。次に、変換部２２２ａは、決定された仮想投影面座標を用いて、式（３）に最小二乗法を適用することにより、（ｂｙ’，ｂｚ’）および（ω’，φ’，χ’）を決定する。

次に、変換部２２２ａは、以下の式（４）および式（５）に従って左画像Ｌ（ｕＬ，ｖＬ）および右画像Ｒ（ｕＲ，ｖＲ）の座標変換を行うことにより、ステレオ画像の平行化を行う。

この座標変換を行った後の左画像Ｌ’（ｕ’Ｌ，ｖ’Ｌ）および右画像Ｒ’（ｕ’Ｒ，ｖ’Ｒ）は、エピポーララインに沿って再配列された画像となる。これらの２つの画像において対応する画素のペアの垂直方向の座標値は等しくなる（ｖ’Ｌ＝ｖ’Ｒ）。すなわち、これらの２つの画像を用いてマッチング処理を行う場合は、探索範囲は水平方向の走査線上に限定される。したがって、ステレオ画像の平行化によってマッチング処理の負荷を軽減できる。

なお、ここでは中心投影を仮定した平行化処理について述べたが、透視投影あるいは弱透視投影などの場合も撮像系に応じた幾何モデルを用いて同様に平行化処理を行うことができる。

次に、射影変換について説明する。変換部２２２ａは、導出された少なくとも４つの対応点を用いて、第１画像を第２画像に射影変換するための変換パラメータを算出する。そして、変換部２２２ａは、算出された変換パラメータを用いて第１画像を変換する。

図８は、実施の形態２における射影変換を説明するための図である。本実施の形態では、変換部２２２ａは、左画像（第１画像）を、平行化処理が行われた右画像（第２画像）に射影変換するための射影変換行列（ホモグラフィ行列）を変換パラメータとして算出する。この射影変換行列Ｈは、以下の式（６）を満たす。

変換部２２２ａは、導出された少なくとも４つの対応点の座標を代入して得られる連立方程式を解くことにより、射影変換行列Ｈを算出する。そして、変換部２２２ａは、このようにして得られた射影変換行列を用いて左画像を変換する。

本実施の形態では、変換部２２２ａは、導出されたＮ（Ｎ≧５）個の対応点から選択された互いに組合せが異なる複数組のＭ（４≦Ｍ＜Ｎ）個の対応点を用いて複数の射影変換行列をそれぞれ算出する。そして、変換部２２２ａは、複数の射影変換行列を用いて第１画像を複数の変換された第１画像にそれぞれ変換する。

具体的には、変換部２２２ａは、導出されたＮ個の対応点からＫ組（Ｋ≧２）のＭ個の対応点を選択する。このＫ組のＭ個の対応点は、Ｍ個の対応点の組合せが互いに異なる。ただし、Ｋ組のＭ個の対応点は、Ｍ個の対応点のすべてが互いに異ならなくてもよい。つまり、Ｋ組のＭ個の対応点は、同一の対応点を含んでもよい。

さらに、変換部２２２ａは、選択されたＫ組のＭ個の対応点を用いてＫ個の射影変換行列Ｈｋ（１≦ｋ≦Ｋ）をそれぞれ算出する。そして、変換部２２２ａは、Ｋ個の射影変換行列Ｈｋを用いて左画像Ｌ’をＫ個の変換された左画像Ｌ’ｋにそれぞれ変換する。

次に、ステップＳ１０４の詳細について説明する。

一般的に、対応点には、誤差が含まれる。この対応点の誤差が小さいほど、対応点を用いて算出された射影変換行列を用いて変換された左画像の右画像に対する誤差が小さくなる。つまり、対応点の信頼度が高ければ、変換された左画像の右画像に対する誤差が小さくなる。

また、左画像および右画像間の対応関係の信頼度は、対応点の信頼度に依存する。つまり、対応点の信頼度が高いほど、左画像および右画像間の対応関係の信頼度も高くなる。

そこで、算出部２２２ｂは、射影変換行列を用いて変換された左画像の右画像に対する誤差が小さいほど信頼度が高くなるように信頼度を算出する。つまり、算出部２２２ｂは、変換された左画像の右画像に対する誤差が大きいほど非信頼度が高くなるように非信頼度を算出する。

具体的には、算出部２２２ｂは、Ｋ個の変換された左画像Ｌ’ｋの右画像Ｒ’に対する誤差の二乗平均、絶対値平均、二乗和、および絶対値和のいずれかが小さいほど信頼度が高くなるように信頼度を算出する。つまり、算出部２２２ｂは、Ｋ個の変換された左画像Ｌ’ｋの右画像Ｒ’に対する誤差の二乗平均、絶対値平均、二乗和、および絶対値和のいずれかが大きいほど非信頼度が高くなるように非信頼度を算出する。

ここで、本実施の形態における信頼度算出の具体例について説明する。まず、算出部２２２ｂは、Ｎ個の対応点を用いて平行化された右画像Ｒ’を取得する。次に、算出部２２２ｂは、Ｋ組のＭ個の対応点からそれぞれ算出されたＫ個の射影変換行列Ｈｋを用いて、左画像Ｌ’をＫ個の変換された左画像Ｌ’ｋに変換する。そして、算出部２２２ｂは、右画像Ｒ’とＫ個の変換された左画像Ｌ’ｋとの差分の二乗平均、絶対値平均、二乗和、または絶対値和等を誤差として算出する。

具体的には、算出部２２２ｂは、例えば式（７）に示すように、Ｋ個の変換された左画像Ｌ’ｋと右画像Ｒ’とにおける各画素値の差分の絶対値和を画像数と画素数とで平均化することで、非信頼度Ｃｏｎｆを算出する。ここで、ｐｉｘは、画像の画素数を示す。

このように算出された非信頼度は、ステレオ画像に含まれる左画像および右画像間の対応関係の信頼度の低さを表す。

次に、ステップＳ１０６の詳細について述べる。ここでは、ステレオマッチング部２２３ｂは、左画像および右画像間の対応関係を利用して左画像および右画像間における視差を算出することによりデプスマップを作成する。

具体的には、ステレオマッチング部２２３ｂは、例えば、局所領域の類似性に基づいて、左画像および右画像間における視差を算出する。すなわち、ステレオマッチング部２２３ｂは、例えばブロックマッチングを行うことにより視差を算出する。

より具体的には、ステレオマッチング部２２３ｂは、図９に示すように、平行化されたステレオ画像に含まれる左画像に相関窓を設定する。そして、ステレオマッチング部２２３ｂは、平行化されたステレオ画像に含まれる右画像において、左画像の相関窓と同一の位置から水平方向に相関窓を走査することにより、左画像の相関窓と最も類似する画素値パターンを有する右画像の相関窓の位置を探索する。このように探索された位置にある右画像の相関窓の代表画素（例えば中心画素）と左画像の相関窓の代表画素との水平方向のずれ量（例えば、画素数）が代表画素の視差に相当する。

なお、画素値パターンの類似性は、例えば、ＳＡＤ（差の絶対値の和）、ＳＳＤ（差の二乗誤差）、あるいはＮＣＯＲ（正規化相関）を用いて判定される。例えば、相関窓の左下の画素の座標が（ｘ，ｙ）であり、相関窓のサイズがＢｉ×Ｂｊの場合に、ＳＡＤは、式（８）のように算出される。

式（８）において、Ｌ（ｘ＋ｉ，ｙ＋ｊ）は、左画像の画素（ｘ＋ｉ，ｙ＋ｊ）の画素値を表す。また、Ｒ（ｘ’＋ｉ，ｙ＋ｊ）は、右画像の画素（ｘ’＋ｉ，ｙ＋ｊ）の画素値を表す。左画像の相関窓内の画素値と右画像の相関窓内の画素値との差分の絶対値の総和（ＳＡＤ）が小さいほど、左画像の相関窓と右画像の相関窓との類似性が高い。したがって、ステレオマッチング部２２３ｂは、右画像内においてＳＡＤが最小となる相関窓の位置を探索することにより、左画像内の相関窓の代表画素の視差ｄを算出することができる。

このような視差の算出を左画像の全画素に対して行うことで視差マップ（デプスマップ）が得られる。このようなステレオマッチング部２２３ｂにおけるデプスマップの作成方法は、特許文献１および特許文献２にも開示されているので、さらなる詳細な説明は省略する。

なお、ステレオマッチング部２２３ｂにおけるデプスマップの作成方法は、上記の方法に限定されない。例えば、ステレオマッチング部２２３ｂは、画素値パターンのではなく特徴量を用いて、局所領域の類似性を判定してもよい。

また例えば、ステレオマッチング部２２３ｂは、大局的な特徴点の類似性に基づいて、各画素の視差を算出してもよい。具体的には、ステレオマッチング部２２３ｂは、例えば、局所領域の類似性と視差分布の空間的な平滑性との両方に基づいてデプスマップを作成してもよい。具体的には、ステレオマッチング部２２３ｂは、例えば、特許文献３に開示された方法によりデプスマップを作成してもよい。つまり、ステレオマッチング部２２３ｂは、局所領域の類似性と視差分布の空間的な平滑性とに基づいて視差を算出することによりデプスマップを作成してもよい。また例えば、ステレオマッチング部２２３ｂは、非特許文献４に開示された方法によりデプスマップを作成してもよい。

次に、ステップＳ１０７の詳細について説明する。ここでは、非ステレオマッチング部２２３ｃは、左画像および右画像の一方のみを用いて奥行きを推定することにより、デプスマップを作成する。

具体的には、非ステレオマッチング部２２３ｃは、画像のシーンの解析結果（例えば、幾何的な情報、色の情報、および物体の動き情報等のうちの少なくとも１つ）を利用して奥行きを推定することにより、デプスマップを作成する。この方法では、非ステレオマッチング部２２３ｃは、２つの画像のマッチングによる視差の算出を行わないため、特徴点の算出が難しいシーンでもデプスマップの作成することが可能である。

この奥行きの推定は、いわゆる２Ｄ−３Ｄ変換と呼ばれるものである。具体的には、人間が両眼視差の情報以外に奥行きを理解するために利用している情報を用いて、２次元の画像から３次元の奥行きが推定される。そのような奥行きを理解するために利用している情報の例として、画像のボケ具合、動きの情報、あるいは典型的なシーンの事前知識などがある。

例えば、一眼レフカメラのように絞りの口径が大きいカメラを用いて画像が撮影された場合、主要な被写体に合焦し、背景がぼけた画像が撮影される。そこで、非ステレオマッチング部２２３ｃは、例えば、画像に含まれる画素毎に合焦度合いを解析し、解析結果に基づいてデプスマップを作成してもよい。

また、同じ速度で動く物体がある場合、遠くの物体ほど画像上での動き量が小さく、近くの物体ほど画像上での動き量が大きい。そこで、非ステレオマッチング部２２３ｃは、例えば、物体の移動量情報を利用して距離を推定することにより、デプスマップを作成してもよい。

また、例えば、海のシーンでは、画像の中央より上が青くかつ遠くなり、下に行くほど白く近くなる。このように特定のシーンにおいて、シーン中の色の配置と奥行きとに相関がある場合が存在する。そこで、非ステレオマッチング部２２３ｃは、例えば、予め記憶された典型的なシーンの色の配置と奥行きとを示すテンプレートと、入力された画像と比較することで、当該画像の撮影シーンの奥行きを推定することにより、デプスマップを作成してもよい。

また、非ステレオマッチング部２２３ｃは、例えば、画像から顔検出を行い、検出された顔領域の大きさに基づいて奥行きを推定してもよい。また、非ステレオマッチング部２２３ｃは、例えば、消失点を検出し、消失点に基づいて奥行きを推定してもよい。

以上のように、非ステレオマッチング部２２３ｃは、左画像および右画像間の対応関係を用いずに、１つの２次元画像からデプスマップを推定する。なお、非ステレオマッチング部２２３ｃは、左画像または右画像のみの情報を利用するため、高精度なデプスマップを作成することは難しい。しかしながら、非ステレオマッチング部２２３ｃは、左画像および右画像の特量が少ない場合であっても、デプスマップの精度が大きく低下することを抑制することができる。

なお、非ステレオマッチング部２２３ｃは、上記とは異なる方法でデプスマップを作成してもよい。例えば、ステレオ画像が連続的に入力される場合（つまり、ステレオ動画像が入力される場合）に、非ステレオマッチング部２２３ｃは、時間的に異なる他のステレオ画像を用いて作成されたデプスマップを用いて処理対象のステレオ画像におけるデプスマップを作成してもよい。

具体的には、非ステレオマッチング部２２３ｃは、例えば、ジャイロセンサの出力から手ぶれが瞬間的に生じたことが検出されたときには、時間的に前および後のフレームのステレオ画像から作成された２つのデプスマップを用いて補間を行うことにより、処理対象のステレオ画像におけるデプスマップを作成してもよい。これにより、非ステレオマッチング部２２３ｃは、デプスマップの急激な時間変化を減らすことができるため、デプスマップを用いて処理される画像の見た目の違和感を減らすことが可能になる。このように、非ステレオマッチング部２２３ｃは、時間的に異なるステレオ画像から得られるデプスマップを利用することで、より自然なデプスマップを作成することができる。

また例えば、非ステレオマッチング部２２３ｃは、ステレオマッチング部２２３ｂまたは非ステレオマッチング部２２３ｃが前のステレオ画像を用いて既に作成したデプスマップと、非ステレオマッチング部２２３ｃが処理対象のステレオ画像を用いて推定する奥行きとの少なくとも一方を用いて、処理対象のステレオ画像におけるデプスマップを作成してもよい。具体的には、非ステレオマッチング部２２３ｃは、例えば、他のステレオ画像を用いてステレオマッチング部２２３ｂが既に作成したデプスマップと、処理対象のステレオ画像を用いて非ステレオマッチング部２２３ｃが推定した奥行きとの両方を用いて、処理対象のステレオ画像におけるデプスマップを作成してもよい。より具体的には、非ステレオマッチング部２２３ｃは、例えば、他のステレオ画像を用いて作成されたデプスマップが示す奥行きと処理対象のステレオ画像を用いて推定された奥行きとの統計的な代表値（例えば、算術平均値あるいは加重平均値など）を用いて、処理対象のデプスマップを作成してもよい。これにより、非ステレオマッチング部２２３ｃは、左画像および右画像間の対応関係を用いずにデプスマップを作成する場合に、デプスマップの精度を向上させることができる。

また例えば、非ステレオマッチング部２２３ｃは、他のステレオ画像を用いてステレオマッチング部２２３ｂが既に作成したデプスマップを処理対象のステレオ画像におけるデプスマップとして採用してもよい。これにより、非ステレオマッチング部２２３ｃは、簡易にデプスマップを作成することができる。

以上のように、本実施の形態に係る画像処理部２２０によれば、あらゆるシーンにおいて、適切な方法でデプスマップを作成することが可能となる。例えばステレオマッチングが難しいシーンにおいて、画像処理部２２０は、一般に処理量が大きいとされるステレオマッチングを行わずに、デプスマップを作成することが可能となる。そのため、画像処理部２２０は、消費電力を低下させることができる。また、ステレオマッチングが難しいシーンにおいて、ステレオマッチングを行って得られるデプスマップの精度は大きく低下する。そのようなデプスマップを用いて処理された画像を表示した場合、人に違和感あるいは不快感を与えてしまう。そこで、画像処理部２２０は、ステレオマッチングが難しいシーンでは、ステレオマッチングを行わずにデプスマップを作成するので、デプスマップの精度が大きく低下することを抑制することができる。

また、本実施の形態に係る画像処理部２２０によれば、少なくとも４つの対応点を用いて第１画像を第２画像に射影変換するための変換パラメータを算出することができる。そして、画像処理部２２０は、このように算出された変換パラメータを用いて変換された第１画像の第２画像に対する誤差に基づいて信頼度を算出することができる。導出された対応点が正確であれば、変換された第１画像の第２画像に対する誤差は小さくなる。したがって、画像処理部２２０より適切に信頼度を算出することができ、デプスマップの精度が大きく低下することをさらに抑制することができる。

また、本実施の形態に係る画像処理部２２０によれば、Ｋ組のＭ個の対応点を用いて複数の変換された第１画像を得ることができる。そして、画像処理部２２０は、複数の変換された第１画像を用いて信頼度を算出することができる。したがって、画像処理部２２０は、安定的に信頼度を算出することができ、デプスマップの精度が大きく低下することをさらに抑制することができる。

なお、本実施の形態では、ステレオ画像を用いてデプスマップを作成する方法について説明したが、２つ以上の画像を含む多視点画像が入力されたときにも、同様の方法によりデプスマップを作成することができる。例えば、多視点画像に含まれる複数の画像の中から任意の２つの画像を用いてデプスマップが作成されればよい。

また、本実施の形態では、算出部２２２ｂは、式（７）に示すように、複数の変換された第１画像を用いて非信頼度を算出していたが、１つの変換された第１画像を用いて非信頼度を算出してもよい。この場合、変換部２２２ａは、１組のＭ個またはＮ個の対応点を用いて１つの射影変換行列を算出すればよい。

また、本実施の形態では、算出部２２２ｂは、例えば式（７）に示すように、第２画像の全領域から誤差を算出していたが、第２画像の一部領域から誤差を算出してもよい。例えば、算出部２２２ｂは、第２画像のうち、検出されたエッジの強度が閾値を超える領域のみから、変換された第１画像の第２画像に対する誤差を算出してもよい。これにより、算出部２２２ｂは、エッジが強い領域のみから誤差を算出することができる。エッジが強い領域は、複数の画像間の対応関係が得やすい領域である。したがって、算出部２２２ｂは、確実に対応関係を得たい領域について信頼度を算出することができ、信頼度を算出するための負荷を低減することもできる。

また、本実施の形態では、算出部２２２ｂは、射影変換された第１画像の第２画像に対する誤差に基づいて信頼度を算出していたが、対応点を構成する２つの特徴点間の類似性に基づいて信頼度を算出してもよい。具体的には、算出部２２２ｂは、対応点を構成する２つの特徴点間の類似性が高いほど信頼度が高くなるように信頼度を算出してもよい。つまり、算出部２２２ｂは、対応点に基づいて信頼度を算出すればよい。このような場合であっても、複数の画像間の対応関係の信頼度は対応点の正確さに依存するので、より適切に信頼度を算出することが可能となる。なお、２つの特徴点間の類似性に基づいて信頼度を算出する場合、信頼度算出部２２２は、変換部２２２ａを備えなくてもよい。

また、本実施の形態では、画像処理部は、撮像装置に含まれていたが、画像処理装置に含まれなくてもよい。つまり、実施の形態１と同様に、画像処理部は、画像処理装置として実現されてもよい。

以上、一つまたは複数の態様に係る画像処理装置および撮像装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、多視点画像を利用してデプスマップを作成する画像処理方法であって、前記多視点画像に含まれる複数の画像の各々から少なくとも１つの特徴点を検出する検出ステップと、検出された前記特徴点に基づいて、デプスマップを作成する上での前記多視点画像に含まれる複数の画像間の対応関係の信頼度を算出する算出ステップと、算出された前記信頼度が第１信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成し、算出された前記信頼度が前記第１信頼度よりも低い第２信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いずにデプスマップを作成する作成ステップとを含む画像処理方法を実行させる。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されない。以下のような変形例も本発明に含まれる。

（１）上記の画像処理装置または画像処理部は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＯＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、画像処理装置または画像処理部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の画像処理装置または画像処理部を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の画像処理装置または画像処理部を構成する構成要素の一部または全部は、撮像装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用できる。

１０ 画像処理装置
１１、２２１ａ 検出部
１２、２２２ｂ 算出部
１３、２２３ 作成部
２０、１０００ 撮像装置
１００ａ、１００ｂ 撮像部
１０１ 撮像素子
１０２ 透光板
１０３ 光学レンズ
１０４ 赤外カットフィルタ
１０５ 信号発生／受信部
１０６ 素子駆動部
２００ 信号処理部
２１０ メモリ
２２０ 画像処理部
２２１ 対応点算出部
２２１ｂ 導出部
２２２ 信頼度算出部
２２２ａ 変換部
２２３ａ 処理切替部
２２３ｂ ステレオマッチング部
２２３ｃ 非ステレオマッチング部
２３０ インターフェース（ＩＦ）部

Claims (14)

1. 多視点画像を利用してデプスマップを作成する画像処理装置であって、
   前記多視点画像に対してエッジ検出またはコーナー検出を行うことにより、前記多視点画像に含まれる複数の画像の各々から少なくとも１つの特徴点を検出する検出部と、
   検出された前記特徴点の特徴量の類似性に基づいて、前記多視点画像に含まれる複数の画像間で対応する前記特徴点の組を対応点として導出する導出部と、
   導出された前記対応点に基づいて、デプスマップを作成する上での前記多視点画像に含まれる複数の画像間の対応関係の信頼度を算出する算出部と、
   算出された前記信頼度が閾値より高い第１信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成し、算出された前記信頼度が前記閾値以下の第２信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いずにデプスマップを作成する作成部とを備える
   画像処理装置。
2. 前記画像処理装置は、さらに、
   導出された少なくとも４つの対応点を用いて、前記多視点画像に含まれる第１画像を前記多視点画像に含まれる第２画像に射影変換するための変換パラメータを算出し、前記変換パラメータを用いて前記第１画像を変換する変換部を備え、
   前記算出部は、変換された前記第１画像の前記第２画像に対する誤差が小さいほど信頼度が高くなるように前記信頼度を算出する
   請求項１に記載の画像処理装置。
3. 前記変換部は、導出されたＮ（Ｎ≧５）個の対応点から選択された互いに組合せが異なる複数組のＭ（４≦Ｍ＜Ｎ）個の対応点を用いて複数の変換パラメータをそれぞれ算出し、前記複数の変換パラメータを用いて前記第１画像を複数の変換された第１画像にそれぞれ変換し、
   前記算出部は、前記複数の変換された第１画像と前記第２画像との差分の二乗平均、絶対値平均、二乗和、および絶対値和のいずれかを前記誤差として算出し、前記誤差が小さいほど信頼度が高くなるように前記信頼度を算出する
   請求項２に記載の画像処理装置。
4. 前記検出部は、エッジを前記特徴点として検出し、
   前記算出部は、前記第２画像のうち、検出された前記エッジの強度が閾値を超える領域のみから、変換された前記第１画像の前記第２画像に対する誤差を算出する
   請求項２に記載の画像処理装置。
5. 前記作成部は、算出された前記信頼度が前記第１信頼度である場合に、局所領域の類似性に基づいて前記多視点画像に含まれる複数の画像間における視差を算出することにより、前記デプスマップを作成する
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記作成部は、算出された前記信頼度が前記第２信頼度である場合に、前記多視点画像に含まれる１つの画像における幾何的な情報、色の情報、および物体の動き情報のうちの少なくとも１つを利用して奥行きを推定することにより、前記デプスマップを作成する
   請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記多視点画像は、多視点動画像に含まれており、
   前記作成部は、算出された前記信頼度が前記第２信頼度である場合に、前記多視点動画像に含まれる他の多視点画像であって前記多視点画像とは時間的に異なる他の多視点画像を用いて作成されたデプスマップを用いて前記多視点画像におけるデプスマップを作成する
   請求項１〜５のいずれか１項に記載の画像処理装置。
8. 前記作成部は、算出された前記信頼度が前記第２信頼度である場合に、前記他の多視点画像間における局所領域の対応関係を用いて作成されたデプスマップと、前記多視点画像に含まれる１つの画像における幾何的な情報、色の情報、および物体の動き情報のうちの少なくとも１つを利用して推定される奥行きとの両方を用いて前記デプスマップを作成する
   請求項７に記載の画像処理装置。
9. 前記作成部は、算出された前記信頼度が前記第２信頼度である場合に、前記他の多視点画像間における局所領域の対応関係を用いて作成されたデプスマップを前記多視点画像におけるデプスマップとして採用する
   請求項７に記載の画像処理装置。
10. 前記多視点画像はステレオ画像であり、
    前記画像処理装置は、さらに、
    前記ステレオ画像においてエピポーララインが平行になるように前記ステレオ画像を平行化する変換部を備え、
    前記算出部は、算出された前記信頼度が前記第１信頼度である場合に、平行化された前記ステレオ画像間の対応関係を用いてデプスマップを作成する
    請求項１に記載の画像処理装置。
11. 前記画像処理装置は、集積回路として構成されている
    請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 請求項１〜１１のいずれか１項に記載の画像処理装置と、
    前記多視点画像を撮影する撮像部とを備える
    撮像装置。
13. 多視点画像を利用してデプスマップを作成する画像処理方法であって、
    前記多視点画像に対してエッジ検出またはコーナー検出を行うことにより、前記多視点画像に含まれる複数の画像の各々から少なくとも１つの特徴点を検出する検出ステップと、
    検出された前記特徴点の特徴量の類似性に基づいて、前記多視点画像に含まれる複数の画像間で対応する前記特徴点の組を対応点として導出する導出ステップと、
    導出された前記対応点に基づいて、デプスマップを作成する上での前記多視点画像に含まれる複数の画像間の対応関係の信頼度を算出する算出ステップと、
    算出された前記信頼度が閾値より高い第１信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いてデプスマップを作成し、算出された前記信頼度が前記閾値以下の第２信頼度である場合に、前記多視点画像に含まれる複数の画像間の対応関係を用いずにデプスマップを作成する作成ステップとを含む
    画像処理方法。
14. 請求項１３に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images