JP4586447B2 - 画像処理装置及び方法、プログラム - Google Patents

Description

本発明は、例えばテレビ会議システム或いはテレビ電話システム等に適用され、送受信する画像を撮像してこれを仮想カメラにより撮像した結果得られる仮想視点画像に再構成する画像処理装置及び方法、プログラムに関する。

テレビ電話システムやテレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所で相手の表示像を視認し、遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示するとともに、当該ディスプレイを視認するユーザを撮影対象として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の画像処理装置へ送信することにより、双方のユーザに対し臨場感を持たせることが可能となる。

従来におけるテレビ会議システムでは、ディスプレイの中心付近に写し出される相手の表示像を視認するユーザを、ディスプレイ上部にあるカメラにより撮像するため、ユーザが下を向いた状態の画像が相手側のディスプレイ上に表示されることになる。このため、実際にディスプレイを視認するユーザ間において視線が不一致の状態で対話がなされることになり、互いに違和感を与えてしまうという問題がある。

理想的には、相手の表示像が写し出される箇所にカメラを設置すれば、ユーザは自然とカメラ目線となるため、双方のユーザの視線を一致させた状態で対話を実現することができる。しかし、相手の表示像の上にカメラを設置すると非常に目障りになる問題がある。

このような視線不一致に関する問題点を解決すべく、ディスプレイの両側に配置された複数のカメラにより撮影された入力画像に基づいて被写体の３次元情報を抽出し、抽出した３次元情報と受信者の視点位置に関する情報に応じて被写体の出力画像を再構成し、これを相手側のディスプレイへ表示させる画像処理装置が提案されている（例えば、特許文献１参照。）。この画像処理装置では、一直線上に配置された複数のカメラ映像から生成されたエピポーラ平面画像を用いて画面中心の仮想視点カメラ映像を合成することにより、利用者の視線を一致させて臨場感の高いコミュニケーションを実現させている。

上記装置の他に、ＴＶ会議で互いの視線を一致させるべく、画面の左右に設置された２台のカメラで撮影し、得られた画像に基づいて３次元位置情報を生成する画像通信装置（例えば、特許文献２参照。）も提案されている。

ところで、ユーザを被写体として異なる視点から撮像することにより得られる画像Ｐｓ１,Ｐｓ２間において、図１７に示すように、繰り返しパターン（例えば、チェック柄）や、輝度変化が殆ど生じないいわゆる非特徴点（例えば単一色の壁）において対応付けが困難であった。

また、異なる視点から撮像することにより得られる画像Ｐｓ１,Ｐｓ２では、被写体からカメラに至るまでの距離に基づく視差により、例えば図１７に示す頬や耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。オクリュージョン領域では、上記視差により、一方の画像Ｐｓ１に表示されている対象物の対応点が他方の画像Ｐｓ２において隠れているため、対応付けを行う場合に不都合が生じる問題があった。

また、異なる視点から撮像することにより得られる画像Ｐｓ１,Ｐｓ２は、例えば窓の部分等のように見る方向によって明るさが異なる領域や、ユーザの鼻の部分等のように正反射が生じる領域において、輝度成分,色成分につき格差が生じ、対応付けに間違いが起こるため、対応付けに基づいて生成する仮想視点画像が乱れてしまうという問題点があった。

以上の改善策とは別の方法として、被写体を適切な位置・姿勢へ誘導させ、適切な映像を取得することを目的とした画像通信端末装置のユーザインタフェースが提案されている（例えば、特許文献３参照。）。このユーザインタフェースでは、カメラシステムからの被写体の位置や姿勢を検出した結果を用いて、当該被写体としてのユーザがカメラに対して接近し過ぎていてカメラフレームから逸脱している場合には、ユーザに適切な指示を与えることにより実写映像の改善を図る。しかしながら、この従来における画像通信端末装置では、実写映像を想定した環境下においてカメラフレーム内に被写体が収まるようにするという観点においては有効であるものの、仮想視点画像生成時は乱れの要因が被写体以外の物体(背景等)の特徴にあることが多いため、有効であるとはいい難い。さらに、複雑な背景と前景との奥行き・オクルージョンに配慮しながら被写体の適切な位置・姿勢を誘導させることは非常に困難である。

特開２００１−５２１７７号公報 特開２００２−３００６０２号公報 特開平８−２５１５６１号公報

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、各カメラから得られる画像から作成される仮想視点画像の乱れを自動的に効率的かつ高精度に除去することが可能な画像処理装置及び方法、プログラムを提供することにある。

本発明を適用した画像処理装置は、上述した課題を解決するために、少なくとも２台以上のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、画素毎に対応関係を求める第１のマッチング手段と、上記第１のマッチング手段と異なる手法に基づき画素毎に対応関係を求める第２のマッチング手段と、上記第１のマッチング手段により求められた対応関係に基づく視差と上記第２のマッチング手段により求められた対応関係に基づく視差との差分絶対値を上記画素毎に求め、求めた差分絶対値が第１の閾値を超える個数を判別し、判別した個数が第２の閾値を超えている場合に仮想的な視点である仮想視点がフレーム単位で上記カメラのいずれかへ段階的に近づくように上記仮想視点と上記各カメラとの間の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、上記第１のマッチング手段及び／又は第２のマッチング手段により互いに対応付けされた画素の位置並びに輝度成分から、上記情報生成手段により生成された上記仮想視点の相対位置情報に基づいて、上記仮想視点における仮想視点画像を構成する画素の位置並びにその輝度成分を求める画像生成手段とを備える。

本発明を適用した画像処理装置は、上述した課題を解決するために、少なくとも２台以上のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素毎に対応関係を求める第１のマッチング手段と、複数の画素を２次元的に配列させたブロックを上記各画像につき切り出し、切り出したブロック間での輝度成分の差分絶対値和を順次演算し、演算した差分絶対値和が最小となるブロックの組に基づき画素毎の対応関係を求める第２のマッチング手段と、上記第１のマッチング手段により求められた対応関係に基づく視差と上記第２のマッチング手段により求められた対応関係に基づく視差との差分絶対値を上記画素毎に求め、求めた差分絶対値が第１の閾値を超える個数を判別し、判別した個数が第２の閾値を超えている場合に仮想的な視点である仮想視点がフレーム単位で上記カメラのいずれかへ段階的に近づくように上記仮想視点と上記各カメラとの間の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、上記第１のマッチング手段及び／又は第２のマッチング手段により互いに対応付けされた画素の位置並びに輝度成分から上記情報生成手段により生成された相対位置情報に基づいて、上記仮想視点により生成すべき仮想視点画像を構成する画素の位置並びにその輝度成分を求める画像生成手段を備え、上記第１のマッチング手段は上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求める。

本発明を適用した画像処理方法は、上述した課題を解決するために、少なくとも２台以上のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素毎に対応関係を求める第１のマッチングステップと、複数の画素を２次元的に配列させたブロックを上記各画像につき切り出し、切り出したブロック間での輝度成分の差分絶対値和を順次演算し、演算した差分絶対値和が最小となるブロックの組に基づき画素毎の対応関係を求める第２のマッチングステップと、上記第１のマッチングステップで求められた対応関係に基づく視差と上記第２のマッチングステップで求められた対応関係に基づく視差との差分絶対値を上記画素毎に求め、求めた差分絶対値が第１の閾値を超える個数を判別し、判別した個数が第２の閾値を超えている場合に仮想的な視点である仮想視点がフレーム単位で上記カメラのいずれかへ段階的に近づくように上記仮想視点と上記各カメラとの間の相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、上記第１のマッチングステップ及び／又は第２のマッチングステップにより互いに対応付けした画素の位置並びに輝度成分から上記情報生成ステップにより生成した相対位置情報に基づいて、上記仮想視点により生成すべき仮想視点画像を構成する画素の位置並びにその輝度成分を求める画像生成ステップとを有し、上記第１のマッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求める。

本発明を適用したプログラムは、上述した課題を解決するために、少なくとも２台以上のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素毎に対応関係を求める第１のマッチングステップと、複数の画素を２次元的に配列させたブロックを上記各画像につき切り出し、切り出したブロック間での輝度成分の差分絶対値和を順次演算し、演算した差分絶対値和が最小となるブロックの組に基づき画素毎の対応関係を求める第２のマッチングステップと、上記第１のマッチングステップで求められた対応関係に基づく視差と上記第２のマッチングステップで求められた対応関係に基づく視差との差分絶対値を上記画素毎に求め、求めた差分絶対値が第１の閾値を超える個数を判別し、判別した個数が第２の閾値を超えている場合に仮想的な視点である仮想視点がフレーム単位で上記カメラのいずれかへ段階的に近づくように上記仮想視点と上記各カメラとの間の相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、上記第１のマッチングステップ及び／又は第２のマッチングステップにより互いに対応付けした画素の位置並びに輝度成分から上記情報生成ステップにより生成した相対位置情報に基づいて、上記仮想視点により生成すべき仮想視点画像を構成する画素の位置並びにその輝度成分を求める画像生成ステップとを有し、上記第１のマッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求めることをコンピュータに実行させる。

本発明では、当該比較結果より、生成すべき仮想視点画像につき乱れが生じることが確認された場合には、仮想視点位置を各カメラへ近づけていくことにより、視差のエラーによる画像の乱れが生じない仮想視点画像をユーザに表示させることができる。これにより、相手側のユーザに対して、乱れのある画像を生成することを防ぐことができ、違和感を与えることがなくなる。特に本発明では、仮想視点画像の作成時における乱れを自動的に除去することができることから、各ユーザがカメラとの関係において適切な位置へ移動するための配慮が軽減される。また、仮想視点画像の乱れを除去することにより、仮想視点画像における画質そのものを向上させることも可能となる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明を適用した通信システム１は、例えば図１に示すように、Ａ地点のユーザａと、Ｂ地点のユーザｂとの間で、互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムである。

Ａ地点には、撮影対象としてのユーザａを互いに異なる視点から撮像するカメラ１１ａ、カメラ１２ａと、Ｂ地点側で撮像されたユーザｂの画像をユーザａに対して表示するためのディスプレイ５ａと、カメラ１１ａ,１２ａより撮像された各画像Ｐａ１,Ｐａ２に基づいて仮想視点画像Ｉｍａを生成し、これをネットワーク７を介してＢ地点へ送信する画像処理装置２ａが配設されている。

Ｂ地点には、撮影対象としてのユーザｂを互いに異なる視点から撮像するカメラ１１ｂ、カメラ１２ｂと、Ａ地点側で撮像されたユーザａの画像をユーザｂに対して表示するためのディスプレイ５ｂと、カメラ１１ｂ,１２ｂより撮像された各画像Ｐｂ１,Ｐｂ２に基づいて仮想視点画像Ｉｍｂを生成し、これをネットワーク７を介してＡ地点へ送信する画像処理装置２ｂが配設されている。

なお、この画像処理装置２ａ,２ｂにより生成される上記仮想視点画像Ｉｍａ,Ｉｍｂは、相手の表示像が写し出されるディスプレイ５ａ,５ｂの中心付近において仮想的に設置された仮想カメラにより撮像される画像に相当する。

カメラ１１ａ,１１ｂは、それぞれユーザａ,ｂ側から見てディスプレイ５ａ,５ｂの左側面に設置されてなり、カメラ１２ａ,１２ｂは、それぞれユーザａ,ｂ側から見てディスプレイの右側面に設置されてなる。このカメラ１１、１２は、撮影方向、撮影画角が固定された状態で設置されるが、各ユーザａ,ｂからの入力される情報に基づき、これらを自在に変更するようにしてもよい。ちなみに、この通信システム１では、ユーザの視線の高さに合わせて設置された２台のカメラにより撮影対象を撮像する場合を例に挙げて説明をする。

ディスプレイ５ａ,５ｂは、それぞれネットワーク７を介して相手側地点から供給される仮想視点画像Ｉｍｂ,Ｉｍａに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ５ａ,５ｂにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Ｉｍｂ,Ｉｍａに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。

画像処理装置２ａ,２ｂは、通常、パーソナルコンピュータ（ＰＣ）等の電子機器で構成される。これらの画像処理装置２ａ,２ｂは、ネットワーク７を介して互いに通信するための機能を備え、相手側からの要求に応じて画像や音声を送信する。なお、画像処理装置２ａ,２ｂの構成については後において詳細に説明をする。

ネットワーク７は、例えば画像処理装置２と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの通信システム１を、一定の狭いエリア内で運用する場合には、このネットワーク７を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク７は、動画像を送信する場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信される。また静止画像を送信する場合には、動画像を送信するチャネルとは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク７には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、画像処理装置２による要求を受けて、自身に格納してある所定の情報を送信する。

次に、画像処理装置２の構成について、画像処理装置２ａを例にとり説明をする。画像処理装置２ａは、図２に示すように、接続されたカメラ１１ａ,１２ａより画像Ｐａ１,Ｐａ２が供給されるブロックマッチング部２８並びにＤＰマッチング部２９と、これらブロックマッチング部２８並びにＤＰマッチング部２９にそれぞれ接続されてなる情報生成部３３と、情報生成部３３に接続されてなる仮想視点画像生成部３０と、仮想視点画像生成部３０により生成された仮想視点画像Ｉｍａを相手側の端末装置２ｂへ送信するための出力制御部３１とを備えている。

ブロックマッチング部２８には、各カメラ１１ａ,１２ａによって撮像された画像Ｐａ１,Ｐａ２がそれぞれ供給される。このブロックマッチング部２８は、いわゆるブロックマッチング法に基づいて、複数の画素を２次元的に配列させたブロックを各画像Ｐａ１,Ｐａ２につき切り出し、切り出したブロック間で輝度成分の差分絶対値和を順次演算し、演算した差分絶対値和が最小となるブロック間で画素毎に対応関係を求める。

ＤＰマッチング部２９は、各カメラ１１ａ,１２ａによって撮像された画像Ｐａ１,Ｐａ２がそれぞれ供給される。このＤＰマッチング部２９は、これら画像Ｐａ１,Ｐａ２を構成する各画素位置につき対応関係を求める。

ちなみに、このＤＰマッチング部２９における対応付けは、ユーザａの顔を構成する同一の箇所にある画素位置と輝度成分を画像Ｐａ１,Ｐａ２間で抽出して対応をとるようにする。例えば図３に示すように、画像Ｐａ１のエピポーラ線Ｌ１上にある画素Ｐ１１の対応点については、画像Ｐａ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、最も類似する画素位置Ｐ１１’を対応点として検出することができる。ちなみにマッチング部２９は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、画像Ｐａ１,Ｐａ２を構成する全ての画素に対して実行してもよい。

情報生成部３３は、ブロックマッチング部２８により求められた対応関係と、ＤＰマッチング部２９により求められた対応関係とを画素毎に比較する。情報生成部３３は、仮想的に設置される仮想カメラにおける光学中心の各カメラ１１ａ,１２ａに対する相対的な位置関係を示す相対位置情報を当該比較結果に基づいて生成する。

仮想視点画像生成部３０は、情報生成部３３から通知される相対位置情報が通知される。またこの仮想視点画像生成部３０は、情報生成部３３からブロックマッチング部２８及び／又はＤＰマッチング部２９により互いに対応付けされた画素位置並びにその輝度成分が通知される。この仮想視点画像生成部３０は、情報生成部３３により生成された相対位置情報に基づいて、仮想カメラにより生成すべき仮想視点画像Ｉｍａを構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部３０は、求めた画素位置並びにその輝度成分により構成される仮想視点画像Ｉｍａを出力制御部３１へ送信する。

出力制御部３１は、送信された仮想視点画像Ｉｍａを、ネットワーク７を介して画像処理装置２ｂへ送信するように制御する。かかる場合において、この出力制御部３１は、カメラ１１ａ,１２ａにより生成された画像Ｐａ１,Ｐａ２を単独で画像処理装置２ｂへ送信するように制御してもよい。

次に、この画像処理装置２ａにおける具体的な動作につき説明をする。

撮影対象としてのユーザａは、カメラ１１ａ,１２ａにより互いに異なる角度から撮影される。その結果、カメラ１１ａ,１２ａにより生成される画像Ｐａ１,Ｐａ２上のユーザａの視線方向、顔の向き等は、互いに異なる状態となる。このような画像Ｐａ１,Ｐａ２は、ＤＰマッチング部２９において撮影対象と関連させつつ、画素位置毎に対応付けされる。

これら画像Ｐａ１とＰａ２につき、このＤＰマッチング部２９において対応付けを行う場合において、例えば図４(a)に示すように、被写体としてのユーザａがそれぞれ写し出された画像Ｐａ１におけるエピポーラ線Ｌ１上の画素と、画像Ｐａ２におけるエピポーラ線Ｌ１’上の画素とを対応付けする場合に、エピポーラ線Ｌ１上の特徴点の点Ｒ１を左から順に｛ａ１,ａ２,ａ３,ａ４,ａ５｝とし、またエピポーラ線Ｌ１’の特徴点の点Ｒ２を左から順に｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とする。ここで、互いのエピポーラ線Ｌ１,Ｌ１’上にある特徴点Ｒ１,Ｒ２を被写体との関係において対応付けるとき、先ず、ａ１に対してＬ１’上の特徴点はｂ１が該当し１：１で対応することとなるが、ユーザａの右耳を構成する特徴点ａ２,ａ３に対してＬ１’上の特徴点はｂ２が該当し、２：１で対応することとなる。同様に、ユーザａの左耳を構成する特徴点ａ４に対してＬ１’上の特徴点はｂ３,ｂ４が該当し、１：２で対応することとなる。なお、ａ５に対してＬ１’上の特徴点はｂ５が該当し１：１で対応することとなる。

このように、異なる視点から撮像することにより得られる画像Ｐａ１,Ｐａ２では、被写体からカメラに至るまでの距離に基づく視差により、ユーザａの耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の画像に表示されている被写体の対応点が他方の画像にて隠れてしまうため、従来と同様に、｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けてしまうと、誤差が生じることになる。

このため、本発明を適用した画像処理装置２ａにおけるＤＰマッチング部２９では、かかる視差を識別することにより、図４(a)に示される画像の特徴点の点列Ｒ１,Ｒ２を、結果的に図４(b)に示されるように｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ２）、（ａ４, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けられるように制御する。

具体的には、各画像Ｐａ１,Ｐａ２におけるエピポーラ線上にある全ての画素につき、図４(c)に示すようなDynamic Programming（ＤＰ：最短経路探索）を利用した動的な対応付けを行う。

この図４(c)におけるｘ軸にエピポーラ線Ｌ１上の特徴点の点列Ｒ１｛ａ１,ａ２,ａ３,ａ４,ａ５｝を配列し、またｙ軸をエピポーラ線Ｌ１’上の特徴点の点列Ｒ２｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とするとき、図４(b)に示される対応関係をこのグラフにあてはめると、図４(c)に示される太線で示される経路をとることになる。以下、この太線で示される対応点を結ぶ直線を最適経路という。

この最適経路において右上に線形増加する場合には、エピポーラ線Ｌ１,Ｌ１’上を左から右へシフトさせて対応付けする際に、互いの特徴点を１：１で順次シフトさせて対応させることを示している。右上に線形増加する最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ１, ｂ１）から左から右へそれぞれ一つずつシフトさせることにより特徴点（ａ２, ｂ２）を正確に対応付けすることができる。

また、この最適経路において水平方向にシフトする場合には、画像Ｐａ１,Ｐａ２間において視差が生じた結果、画像Ｐａ１において示されている特徴点が画像Ｐａ２において隠れてしまったことを示唆している。かかる場合には、画像Ｐａ２上にある１の特徴点に対して、画像Ｐａ１上にある複数の特徴点を対応付ける。この水平方向にシフトする最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ２, ｂ２）においてユーザａの右耳を示すｂ２は、上述した視差により更にａ３とも対応するため、ｂ２をそのまま維持しつつこれにａ３を対応付ける。

また、この最適経路において垂直方向へシフトする場合には、画像Ｐａ１,Ｐａ２間において視差が生じた結果、画像Ｐａ２において示されている特徴点が画像Ｐａ１において隠れてしまったことを示唆している。かかる場合には、画像Ｐａ１上にある１の特徴点に対して、画像Ｐａ２上にある複数の特徴点を対応付ける。この垂直方向にシフトする最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ４, ｂ３）においてユーザａの左耳を示すａ４は、上述した視差により更にｂ４とも対応するため、ａ４をそのまま維持しつつこれにｂ４を対応付ける。

ＤＰマッチング部２９は、これら対応付けを、互いの画像Ｐａ１,Ｐａ２を構成する全てを構成する、或いは一部を構成するエピポーラ線Ｌ１,Ｌ１’間において実行する。そしてエピポーラ線Ｌ１,Ｌ１’毎に上述した最適経路を求めることにより、特徴点の点列Ｒ１,Ｒ２間における対応付けを行う。

図５は、エピポーラ線Ｌ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合につき示している。

この特徴点（ｘ,ｙ）に至る最適経路は、特徴点（ｘ−１,ｙ−１）から左から右へそれぞれ一つずつシフトさせることにより図５に示されるグラフにおいて右上に線形増加し、或いは特徴点（ｘ−１,ｙ）においてｙをそのまま維持しつつ水平方向に１シフトさせることにより図５に示されるグラフにおいて特徴点（ｘ−１,ｙ）から水平方向へ移動する。さらに、この特徴点（ｘ,ｙ）に至る最適経路は、特徴点（ｘ,ｙ−１）においてｘをそのまま維持しつつ垂直方向へ１シフトさせることにより図５に示されるグラフにおいて特徴点（ｘ,ｙ−１）から垂直方向へ移動することになる。

即ち、特徴点（ｘ,ｙ）を通る最適経路は、図５に示すグラフにおいて、その左,左下,下に位置する特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）の何れかを経ることになる。ＤＰマッチング部２９は、何れの特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）を経て特徴点（ｘ,ｙ）へ至るのかにつき、以下に説明する関数を順次求めてゆくことにより決定する。

ＤＰマッチング部２９は、以下に示すマッチングコスト関数ｄ（ｘ,ｙ）と、動的なオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求め、求めた各関数に応じて上述した最適経路を求める。マッチングコスト関数ｄ（ｘ,ｙ）は、対応関係を求める各画素位置間における輝度成分及び色成分の類似度を示す関数であり、またオクリュージョンコスト関数ｄｘ（ｘ,ｙ）は、画像Ｐａ１の画像Ｐａ２に対する被写体画像の隠れ度合いを示す関数であり、またオクリュージョンコスト関数ｄｙ（ｘ,ｙ）は、画像Ｐａ２の画像Ｐａ１に対する被写体画像の隠れ度合いを示す関数である。これらオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、被写体の各画像間における視差が反映される形となる。

例えば図６に示すように一方のカメラ１１ａの視点Ｃ１のみから撮像することができる点ｗが他方のカメラ１２ａの視点Ｃ２からは撮像することができない場合に、被写体像の隠れ度合いが大きくなる。かかる場合には、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）が大きくなり、またかかる点ｗを含む領域は、オクリュージョン領域となる。

次にマッチングコスト関数ｄ（ｘ,ｙ）を求める方法につき説明をする。

ｄ（ｘ,ｙ）につき、比較する輝度成分又は色成分のうち何れに重み付けをするか決定する。この重み付けは、重み付け係数αを用いて、以下の式（１）に基づいて行う。
ｄ_ｋ（ｓ,ｔ）＝α×ｄＹ_ｋ（ｓ,ｔ）＋（１−α）ｄＣ_ｋ（ｓ,ｔ）・・・・・（１）
ここで（ｓ,ｔ）は、特徴点（ｘ,ｙ）に対応する画像Ｐａ１、画像Ｐａ２における画素位置を表している。またｋは、画像Ｐａ１、画像Ｐａ２の何行目に該当するかを示している（つまりｋ＝ｙ）。この式（１）においてｄＹ_ｋ（ｓ,ｔ）は、画像Ｐａ１と画像Ｐａ２との座標（ｓ,ｔ）間における輝度成分の差分絶対値を表し、以下の（２）式で定義される。
ｄＹ_ｋ（ｓ,ｔ）＝｜Ｙ１_ｋ（ｓ,ｔ）−Ｙ２_ｋ（ｓ,ｔ）｜・・・・・（２）
また、この式（１）においてｄＣ_ｋ（ｓ,ｔ）は、画像Ｐａ１と画像Ｐａ２との間における色成分の差分絶対値を表し、以下の（３）式で定義される。
ｄＣ_ｋ（ｓ,ｔ）＝｜Ｃ１_ｋ（ｓ,ｔ）−Ｃ２_ｋ（ｓ,ｔ）｜・・・・・（３）
即ち、上記式（１）においてαをより高く設定することにより、求めるｄ_ｋ（ｓ,ｔ）につき、輝度成分の差分絶対値ｄＹ_ｋ（ｓ,ｔ）の成分をより反映させることができる。また上記式（１）においてαをより小さく設定することにより、求めるｄ_ｋ（ｓ,ｔ）につき、色成分の差分絶対値ｄＣ_ｋ（ｓ,ｔ）の成分をより反映させることができる。ちなみに、このαについては、色成分のマッチングコストと、輝度成分のマッチングコストとの平均値を割り当てるようにしてもよい。

ｄ（ｘ,ｙ）は、（１）式により求められるｄ_ｋ（ｓ,ｔ）に基づいて、更に以下の（４）式により求められる。
ｄ（ｘ,ｙ）＝（Σｄ_ｋ（ｓ,ｔ））／２Ｋ ｋ＝−Ｋ，・・，Ｋ−１
・・・・・・・・・（４）
この（４）式は、エピポーラ線の上下に位置する各画素との間で平均をとることにより、ｄ（ｘ,ｙ）を求めることができることを意味している。この（４）式により、求めるｄ（ｘ,ｙ）につきエピポーラ線の上下に位置する各画素との相関関係を反映させることができる。これにより対応付け精度の向上を大幅に図ることが可能となる。

即ち、上述の方法により求められるマッチングコストｄ（ｘ,ｙ）は、画像Ｐａ１と画像Ｐａ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差分絶対値が大きくなるにつれて増加する。換言すれば、画像Ｐａ２と画像Ｐａ１の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差異が大きくなるにつれて増加し、またこれらが類似するにつれて小さくなる。即ち、このマッチングコストｄ（ｘ,ｙ）により、画像Ｐａ１と画像Ｐａ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度を識別することが可能となる。

次にオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求める方法につき説明をする。

これら各オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、情報生成部３３におより生成される視差情報に基づいて生成される。カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が小さくなるにつれて（視差が大きくなるにつれて）、オクリュージョン領域の発生する確率が高くなる。かかる場合において、ＤＰマッチング部２９は、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を下げることにより対応する。一方、カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が長くなるにつれて（視差が小さくなるにつれて）、オクリュージョン領域の発生する確率が小さくなる。かかる場合において、ＤＰマッチング部２９は、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を上げることにより対応する。

各オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、以下の式（５）、（６）に基づいて求めることができる。
ｄｘ（ｘ,ｙ）＝β×ｄｐ（ｘ,ｙ）＋Ｔ０・・・・・・・・（５）
ｄｙ（ｘ,ｙ）＝γ×ｄｐ（ｘ,ｙ）＋Ｔ１・・・・・・・・（６）
ここで、ｄｐ（ｘ,ｙ）は、上記取得される視差情報に支配され、視差がより大きくなるにつれて減少し、また視差がより小さくなるにつれて増加する。β、γは、ｄｐ（ｘ,ｙ）の変化率を表しており、予め実験的に求めることができる。またＴ０、Ｔ１は、初期オクリュージョンコスト定数であり、これについても予め実験的に求めることができる。

ＤＰマッチング部２９は、これら各関数ｄｘ（ｘ,ｙ）,ｄ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求めた後、それぞれ以下の式（７）〜式（９）に基づいて累積マッチングコストＣ（ｘ−１,ｙ）,Ｃ（ｘ−１,ｙ−１）,Ｃ（ｘ,ｙ−１）を加算し、総コストｋ１,ｋ２,ｋ３を算出する。
ｋ１＝Ｃ（ｘ−１,ｙ）＋ｄｘ（ｘ,ｙ）・・・・・・・・（７）
ｋ２＝Ｃ（ｘ−１,ｙ−１）＋ｄ（ｘ,ｙ）・・・・・・・（８）
ｋ３＝Ｃ（ｘ,ｙ−１）＋ｄｙ（ｘ,ｙ）・・・・・・・・（９）
ここでＣ（ｘ−１,ｙ）,Ｃ（ｘ−１,ｙ−１）,Ｃ（ｘ,ｙ−１）は、それぞれ特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）において求められた累積マッチングコストを示している。ちなみに、特徴点（ｘ,ｙ）における累積マッチングコストＣ（ｘ,ｙ）は、以下の式（１０）に示すように、求めたｋ１,ｋ２,ｋ３の中から最小となるものが割り当てられる。
Ｃ（ｘ,ｙ）＝ｍｉｎ｛ｋ１,ｋ２,ｋ３｝・・・・・・・（１０）
ＤＰマッチング部２９は、求めた総コストｋ１,ｋ２,ｋ３の中から最小となるものを選択することにより最適経路を求める。

ここで、ｋ１が最小となる場合には、視差が大きくなることにより、画像Ｐａ１において示されている特徴点が画像Ｐａ２において遮蔽されたことを意味している。かかる場合には、図５矢印Ｊ１に示すように特徴点（ｘ−１,ｙ）から水平方向にシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。

またｋ３が最小となる場合には、視差が大きくなることにより、画像Ｐａ２において示されている特徴点が画像Ｐａ１において遮蔽されたことを意味している。かかる場合には、図５矢印Ｊ３に示すように、特徴点（ｘ,ｙ−１）から垂直方向にシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。

更に、ｋ２が最小となる場合には、画像Ｐａ１と画像Ｐａ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度が高いことを意味している。かかる場合には、図５矢印Ｊ２に示すように特徴点（ｘ−１,ｙ−１）から水平、垂直方向に一つずつシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。

図７(b)は、図７(a)に示される画像Ｐａ１と画像Ｐａ２におけるエピポーラ線Ｌ１,Ｌ１’上にある各特徴点の画素成分（輝度又は色成分）の対応関係を示している。

この図７(a)に示す画像Ｐａ１において、ユーザａの両側に示される壁の凹部Ｌ２,Ｌ３、並びに画像Ｐａ２において、ユーザａの両側に示される壁の凹部Ｌ２’,Ｌ３’は、図７(b)において画素成分の差分としてライン状に明確に現れている。同様に、ユーザａを構成する画素成分については、図７(b)の中心付近において画素成分の差分として明確に現れている。

この図７(b)において、最適経路が、エピポーラ線Ｌ１,Ｌ１’上にある各特徴点において同一の画素成分の交点を通過している場合には、ｋ２が最小となる結果、当該画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度が高いことが優先されたことを意味している。これに対して、最適経路が、エピポーラ線Ｌ１,Ｌ１’上にある各特徴点において同一の画素成分の交点以外を通過している場合には、ｋ１又はｋ３が最小となる結果、視差により何れかの画像Ｐａ１,Ｐａ２が遮蔽されたことを意味している。

このようにして特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）の何れかから特徴点（ｘ,ｙ）に至るまでの最適経路が求められることになる。この最適経路が求められるということは、輝度成分及び色成分の類似度と、画像Ｐａ１,Ｐａ２間の視差に応じて最適な対応関係が求められていることを意味しており、上記（１０）式より得られるＣ（ｘ,ｙ）についても、画素位置毎に対応関係を求める上での最適な累積マッチングコストとして定義されることになる。これら累積マッチングコストＣ（ｘ,ｙ）を、上記グラフにおいて上、右上、右に位置する特徴点に至るまでの最適経路を求める際に累積的に参酌することができるため、対応付けの精度をより向上させることができる。

また、ＤＰマッチング部２９では、各関数ｄｘ（ｘ,ｙ）,ｄ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を全く異なるコンセプトに基づいて算出するため、得られた総コストｋ１,ｋ２,ｋ３を式（１０）に基づいて単純に比較する場合に、撮影環境や被写体に応じて誤差が生じる場合もある。かかる場合には、式（５）,（６）におけるβ,γ,Ｔ０,Ｔ１を撮影環境や被写体に応じて予め最適化しておくことにより、各関数ｄｘ（ｘ,ｙ）,ｄ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）間の格差を解消することができる。

このように本発明を適用した画像処理装置２ａにおけるＤＰマッチング部２９では、上記各画像Ｐａ１,Ｐａ２間における対応関係を求める際に、識別した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付ける。これにより、オクリュージョン領域が存在する場合においてもより正確な対応付けを行うことができる。また、上述の手法に基づいて対応付けを行うことにより、例えば両目部分等の繰り返しパターンや、輝度変化が殆ど生じないいわゆる非特徴点（例えば壁の部分）においても対応付けの精度を向上させることができる。更に、例えば窓の部分等のように見る方向によって明るさが異なる領域や、ユーザの鼻の部分等のように正反射が生じる領域においても、輝度成分,色成分の格差に支配されることが少なく、比較的に容易に対応付けを行うことができる。

なお、本発明を適用した画像処理装置２ａにおけるＤＰマッチング部２９では、あくまで上記類似度と上記視差を識別し、識別した類似度及び視差に応じて上記対応関係が求められていれば、上述の効果を得ることができることは勿論である。

このＤＰマッチング部２９において上記対応関係を求めるステップを図８中のステップＳ１１とする。ちなみに、このステップＳ１１と並行してブロックマッチング部２８においてブロックマッチング法に基づく対応関係が求められるが（ステップＳ１２）、かかる対応関係に基づいてカメラ１１ａ,１２ａにおける視差のヒストグラムを作成し、マッチング結果に対する画像の乱れの有無を検証する。

このステップＳ１２において、図９(a)に示すようにマッチング結果において差分絶対値和が小さくなる結果、互いにマッチングする頻度が高くなる複数のピークが存在する場合には、例えば、図９(b)に示すようにユーザａの顔と手がカメラ１１ａ,１２ａに対して互いに異なる距離にあることを意味している。

一般的に、ユーザの顔Ｕと手Ｖが図１０(a)に示すように、カメラ１１ａ,１２ａに対してほぼ同一の距離上にある場合には、例えばカメラ１１ａの視点Ｃ１からユーザａの顔Ｕと手Ｖを撮像した結果得られる顔の画像Ｕ’と手の画像Ｖ’の各位置に対して、カメラ１２ａの視点Ｃ２から撮像した結果得られる顔の画像Ｕ”と手の画像Ｖ”の各位置は順に整列することになる。即ち、顔Ｕと手Ｖとの間で視差が生じることが無いことから、マッチングの精度を確保でき、ひいては生成する仮想視点画像Ｉｍａの乱れを抑えることが可能となる。

これに対して、例えば図１０(b)に示すように、ユーザの顔Ａと手Ｖがカメラ１１ａ,１２ａに対して互いに異なる距離にある場合には、例えばカメラ１１ａの視点Ｃ１からユーザａの顔Ｕと手Ｖを撮像した結果得られる顔の画像Ｕ’と手の画像Ｖ’の各位置に対して、カメラ１２ａの視点Ｃ２から撮像した結果得られる顔の画像Ｕ”と手の画像Ｖ”の各位置は互いに逆転してしまうことになる。即ち、顔Ｕと手Ｖとの間で視差の逆転が生じる結果、マッチングの精度を確保することができず、ひいては生成する仮想視点画像Ｉｍａが乱れてしまう危険性が生じる。

このため、ステップＳ１３では、例えば図１１に示す手順に基づいてマッチング頻度のピークを介してこれらの視差の逆転が起きているか否かにつきより効率よく識別する。

ステップＳ１２におけるマッチング結果の検証を行うステップＳ１３の詳細を図１１に示す。この図１１では、先ずステップＳ２１においてかかるピークが２つ以上存在するか否か判別する。その結果、マッチング頻度のピークが２つ以上存在する場合にはステップＳ２２へ移行し、当該ピークが一つのみ存在する場合には、ステップＳ２５へ移行する。

またステップＳ２２へ移行した場合には、かかる２つ以上のピークの間隔が所定の閾値を超えているか否かを識別する。その結果、ピークの間隔が所定の閾値を超えている場合には、ピーク間隔は十分広いものであることを識別してステップＳ２３へ移行し、それ以外の場合にはステップＳ２５へ移行する。一般にオクリュージョンが発生しやすい状況というのは、図９(ａ)に示すような視差のヒストグラムにおいて離れた位置に異なる複数のピークが出ている場合が多いため、これを検出することにより、映像が乱れやすさを識別することが可能となる。

またステップＳ２３へ移行した場合には、２つのピーク近傍の画素数は相当量あるか否か検出する。この相当量あるか否かの判別は、ステップＳ２２と同様に画素数が閾値を超えているか否かに基づいて判別するようにしてもよい。画素数が相当量あるものと判別された場合には、ステップＳ２４へ移行し、それ以外の場合にはステップＳ２５へ移行する。

ステップＳ２４では、被写体につき視差が逆転しているため、生成すべき仮想視点画像Ｉｍａが乱れる可能性がある旨を判別する。かかる判別がなされた場合にはステップＳ１３からステップＳ１４へ移行することになる。

これに対してステップＳ２５へ移行した場合には、被写体につき視差が生じていないため、生成すべき仮想視点画像Ｉｍａが乱れる可能性がない旨を判別する。かかる判別がなされた場合にはステップＳ１３からステップＳ１７へ移行することになる。

ステップＳ１４においては、ステップＳ１１におけるＤＰマッチング部２９により得られる対応関係と、ステップＳ１２におけるブロックマッチング部２８により得られる対応関係とを比較する。

このステップＳ１４においては、図１２に示す手順に基づいてこれら対応関係を比較する。先ずこの図１２におけるステップＳ３１において、視差が異なる画素の数を計測するためのカウンタCounterを初期化する。次にステップＳ３２へ移行し、画像Ｐａ１並びに画像Ｐａ２を構成する全ての画素に対して、以下に説明する処理を実行する。

ステップＳ３３において、ステップＳ１２においてブロックマッチング法に基づき得られた視差Ｄ１と、ステップＳ１１におけるＤＰによるマッチングに基づき得られた視差Ｄ２の差分をとる。ちなみに、これら視差Ｄ１は、それぞれブロックマッチング部２８により得られる対応関係に基づくものであり、また視差Ｄ２は、ＤＰマッチング部２９により得られる対応関係に基づくものである。このステップＳ３３では、これら視差Ｄ１と視差Ｄ２との差分絶対値（＝｜Ｄ１−Ｄ２｜）が閾値Ｔｈｒを超えているか否かを識別する。その結果、かかる差分絶対値が閾値Ｔｈｒを超えている場合には、ステップＳ３４へ移行する。これに対して、差分絶対値が閾値Ｔｈｒ以下の場合には、ステップＳ３５へ移行する。

ステップＳ３４に移行した場合には、カウンタCounterの値に１を加算し、ステップＳ３５へ移行する。

ステップＳ３５へ移行した場合には、画像Ｐａ１並びに画像Ｐａ２を構成する全ての画素に対して、上述した処理を実行したか否か確認する。その結果、全ての画素につき上述した処理を実行した場合には、ステップＳ３６へ移行する。これに対して、全ての画素につき上述した処理の実行を終了させていない場合には、再びステップＳ３２へ移行し、残りの画素につき処理を繰り返す。その結果、カウンタCounterには、差分絶対値が閾値Ｔｈｒを超える画素数の分だけカウントされることになる。

即ち、差分絶対値が閾値Ｔｈｒを超えているか否かにつき、画像Ｐａ１並びに画像Ｐａ２を構成する全ての画素に対して実行することができる。これにより、差分絶対値が閾値Ｔｈｒを超える画素数を識別することができる。ちなみにかかる画素数は、ブロックマッチング部２８により得られる対応関係と、ＤＰマッチング部２９により得られる対応関係との間でズレがある全ての画素数に相当する。また、かかる画素は、生成すべき仮想視点画像Ｉｍａにつき視差による画像の乱れを誘発する可能性のあるものであるため、これらが画像全体のうちどの程度の割合を占めているかを以下のステップＳ３６において判別する。

ステップＳ３６では、カウンタCounterが閾値Ｒを超えているか否か判別する。なお、この閾値Ｒを、画像の乱れを誘発するために必要となる最低限の画素数に応じて予め最適化しておく。これにより、実際に識別した閾値Ｔｈｒを超える画素の数が画像の乱れを誘発するか否かを判別することが可能となる。このステップＳ３６において、カウンタCounterが閾値Ｒを超えている場合には、ステップＳ３７へ移行し、画像の乱れが検出されることを判別することになる。これに対して、このステップＳ３６において、カウンタCounterが閾値Ｒ以下の場合には、ステップＳ３８へ移行し、画像の乱れがないことを判別することになる。

再び図８の説明に戻る。ステップＳ１４において各対応関係が比較された結果、画像の乱れが検出されて上述のステップＳ３７へ到達した場合には、ステップＳ１５からステップＳ１６へ移行する。これに対して、画像の乱れが検出されず上述のステップＳ３８へ移行した場合には、ステップＳ１５を経てステップＳ１７へ移行することになる。

ステップＳ１７へ移行した場合には、ユーザａにおけるカメラ１１ａ、カメラ１２ａからの距離を識別する。その結果、かかるユーザａがカメラ１１ａ、カメラ１２ａにより接近している場合には、視差による画像の乱れが生じる可能性があるものとしてステップＳ１８へ移行する。ちなみに、このユーザａにおける各カメラ１１ａ、１２ａからの距離は、ステップＳ１２において求められた対応関係に基づく視差のヒストグラムを利用し、かかる距離が所定の閾値に対して大きいか否かに応じて判断するようにしてもよい。これに対して、ユーザａがカメラ１１ａ、カメラ１２ａから離れている場合には、視差による画像の乱れが生じる可能性がないものとしてステップＳ１９へ移行する。

なお、ステップＳ１６、Ｓ１８、Ｓ１９に移行した場合には、仮想視点画像生成部３０において仮想視点画像Ｉｍａを生成する際に、後述するような修正処理を施す。

先ず、この仮想視点画像生成部３０による仮想視点画像Ｉｍａの作成方法につき説明する。

仮想視点画像生成部３０では、上述の如くＤＰマッチング部２９において求められた対応関係、並びにブロックマッチング部２８において求められた対応関係に基づいて、仮想視点画像Ｉｍａを生成する。例えばＤＰマッチング部２９において、画像Ｐａ１における画素位置Ｐ１１に対して、画像Ｐａ２における画素位置Ｐ１１’がその対応点として特定されていた場合に、かかる画素位置Ｐ１１の座標を図１３に示すように（ｘ１,ｙ１）とし、また画素位置Ｐ１１’の座標を（ｘ２,ｙ２）とする。仮想視点画像生成部３１は、かかる画素位置Ｐ１１、Ｐ１１’に対応する仮想視点画像Ｉｍａ上の画素位置の座標（ｘｔ,ｙｔ）を、相対位置情報としてのｍ（≦１）に基づいて以下の式（１１）により決定することができる。
（ｘｔ,ｙｔ）＝（１−ｍ）×（ｘ１,ｙ１）＋ｍ×（ｘ２,ｙ２）・・・（１１）
また画素位置Ｐ１１、Ｐ１１’における輝度成分をそれぞれＪ１１, Ｊ１１’としたときに、かかる仮想視点画像Ｉｍａ上の画素位置Ｐｈにおける輝度成分Ｐｔを以下の式（１２）により決定することができる。

Ｐｔ＝（１−ｍ）×Ｊ１１＋ｍ×Ｊ１１’ ・・・（１２）
このように仮想視点画像生成部３１は、仮想視点画像Ｉｍａを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのｍに応じて決定することができる。なおｍは、図１４に示すように仮想カメラにおける仮想視点がカメラ１１ａに近くなるにつれて小さくなり、また仮想視点がカメラ１２ａに近くなるにつれて大きくなる。

このため、式（１１）に基づいて決定される座標（ｘｔ,ｙｔ）は、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の座標（ｘ１,ｙ１）に近づき、また仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１２の座標（ｘ２,ｙ２）に近づくことになる。即ち、座標（ｘｔ,ｙｔ）を、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像Ｉｍａ上に表示させるユーザａの位置を自在に変化させることができる。

また、式（１２）に基づいて決定される輝度成分Ｐｔは、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の輝度成分Ｊ１１に近づき、仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１１’の輝度成分Ｊ１１’に近づくことになる。即ち、仮想カメラの位置に応じて、仮想視点画像Ｉｍａ上のユーザａを構成する画素を輝度成分Ｊ１１、又は輝度成分Ｊ１１’に近づけることができる。

特に、カメラ１１ａとカメラ１２ａは互いに撮影方向が異なるため、画像Ｐａ１上にある画素位置Ｐ１１と、これに対応する画像Ｐａ２上にある画素位置Ｐ１１’との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのｍに応じて輝度成分Ｐｔを線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像Ｉｍａ上に表示させるユーザａを構成する画素の輝度成分を決定することが可能となる。また、この生成される仮想支点画像Ｉｍａは、上述したＤＰマッチング部２９において対応付けられた関係に基づいて生成されるため、得られる画像の画質劣化をより減少させることができる。

上述のようにして画素位置Ｐｈにおける座標（ｘｔ,ｙｔ）並びにその輝度成分Ｐｔを順次決定することにより、生成した仮想視点画像Ｉｍａは、表示されるユーザａの視線方向、顔の向き等は互いに異なっていた画像Ｐａ１,Ｐａ２に対して、常時正面を向いている状態となる。

生成された仮想視点画像Ｉｍａは、出力制御部３１による制御の下、ネットワーク７へ送出される。そして相手側の画像処理装置２ｂへ送信された仮想視点画像Ｉｍａは、画像処理装置２ｂにおける制御の下、ディスプレイ５ｂ上へ表示されることになる。ユーザｂは、ディスプレイ５ｂに表示される仮想視点画像Ｉｍａ上のユーザａを視認しつつ対話をすることになるが、ユーザａの顔、視線方向は正面を向いている状態にあるため、あたかも画面中央付近に設置された仮想カメラで撮像されたような画像を視認しているような感覚を味わうことができる。ユーザａについても同様にディスプレイ５ａに表示される仮想視点画像Ｉｍｂ上のユーザｂを視認しつつ対話をすることになるが、正面を向いているユーザｂを視認することができる。即ち、この通信システム１では、いわば対話するユーザ間において常時視線を一致させたビジュアルコミュニケーションを実現することができ、よりリアルで臨場感のある遠隔対話を実現することができる。

特にこの通信システム１では、少なくとも２台のカメラ１１,１２をディスプレイ５
の両側に配設すれば足り、また被写体の３次元情報をその都度抽出する必要もなくなるため、システム全体が複雑化することがなくなるという利点もある。

また、この通信システム１では、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を用いる必要もなく、簡易で安価なシステムを構成することができる。

なお、本発明を適用した通信システム１においては、画像に乱れが生ずるものと判別された結果、ステップＳ１６に移行した場合には、仮想視点画像Ｉｍａを生成する際に、以下に示す修正処理を施す。

先ず仮想カメラの初期位置が図１４における相対位置情報ｍが０．５で表される位置にあると仮定する。このとき仮想視点画像Ｉｍａの前フレームにおける仮想カメラの位置αｐが０より大きい場合には、仮想視点画像Ｉｍａの現フレームにおける仮想カメラの位置αｃを、以下の（１３）式に基づいて算出する。
αｃ＝Ｍａｘ｛（αｐ−Ｖｃ＿Ｓｔｅｐ）、０｝・・・・・・・・・・（１３）
ここでＶｃ＿Ｓｔｅｐは、仮想カメラの視点を初期位置からカメラ１１ａ、またはカメラ１２ａの視点へシフトさせる際のステップ幅を意味する。このステップ幅を前フレームにおける仮想カメラの位置αｐから差し引いた位置（αｐ−Ｖｃ＿Ｓｔｅｐ）は、ステップ幅Ｖｃ＿Ｓｔｅｐの分だけカメラ１１ａへ近づいた視点位置となる。かかる（αｐ−Ｖｃ＿Ｓｔｅｐ）と、０のうち何れが大きいかを判別する。その結果、（αｐ−Ｖｃ＿Ｓｔｅｐ）が大きい場合には、（１３）式に基づいて現フレームにおける視点位置αｃを（αｐ−Ｖｃ＿Ｓｔｅｐ）とする。

次のフレームに移った場合においても当該次のフレームを現フレームとした場合には、前フレームでは、ステップ幅Ｖｃ＿Ｓｔｅｐの分だけカメラ１１ａへ近づいた視点位置とされているため、さらにステップ幅Ｖｃ＿Ｓｔｅｐの分だけ差し引いた位置と、０のうち何れが大きいか判別されることになる。即ち、フレームが後方へ移るにつれて、仮想カメラの視点位置は、ステップ幅Ｖｃ＿Ｓｔｅｐだけカメラ１１ａへ徐々に近づくことになる。そして最終的に仮想カメラの視点位置は、カメラ１１ａの視点位置と同等になる。

即ち、ステップＳ１６に移行することにより、生成すべき仮想視点画像Ｉｍａにつき乱れが生じることが確認された場合には、仮想カメラの視点位置をステップ幅Ｖｃ＿Ｓｔｅｐ毎にカメラ１１ａへ近づけていくことにより、視差による画像の乱れが生じないカメラ１１ａによる視点の画像をユーザに表示させることができる。これにより、相手側のユーザｂに対して、乱れのある画像を表示させることを防ぐことができ、違和感を与えることがなくなる。特にこの通信システム１では、仮想視点画像Ｉｍａの作成時における乱れを自動的に除去することができることから、各ユーザがカメラ１１ａ,１２ａとの関係において適切な位置へ移動する必要もなくなる。また、仮想視点画像Ｉｍａの乱れを除去することにより、かかる画像における画質そのものを向上させることも可能となる。

なお、ステップ幅Ｖｃ＿Ｓｔｅｐは、撮影環境に応じてできるだけスムーズに視点位置を変更すべく、ユーザ側で自由に設定できるようにしてもよい。また、仮想カメラの視点位置をカメラ１１ａに近づけていく場合に限定されるものではなく、ステップ幅Ｖｃ＿Ｓｔｅｐ毎にカメラ１２ａの視点へ近づけていくようにしてもよい。このとき仮想カメラの視点位置をカメラ１１ａ、カメラ１２ａの何れに近づけていくかについては、例えばオクリュージョンの原因となるユーザの手Ｖの位置がカメラ１１ａ側にある場合には、カメラ１１ａへ仮想視点を近づけ、手Ｖの位置がカメラ１２ａ側にある場合には、カメラ１２ａへ仮想視点を近づけるようにしてもよい。
なお、仮想カメラの視点位置をカメラ１１ａの視点に合わせた後、画像の乱れが検出されず上述のステップＳ１９へ移行するようになった場合には、αｐ＜０．５であるときに以下の（１４）式に基づいて仮想カメラの視点位置を元に戻すようにしてもよい。
αｃ＝Ｍｉｎ｛（αｐ＋Ｖｃ＿Ｓｔｅｐ）、α０｝・・・・・・・・・・（１４）
この（１４）式に示すように、フレームが後方へ移るにつれて仮想カメラの視点位置はステップ幅Ｖｃ＿Ｓｔｅｐ毎にα０へ近づいていくことになる。そして最終的に元の仮想視点位置α０へ戻ることになる。

なお、本発明を適用した画像処理装置２は、上述した実施の形態に限定されるものではない。例えば図１５に示すようにステップＳ１４における上記対応関係の比較結果に応じた情報をユーザに通知する通知部１０１を実装した画像処理装置１１０として適用してもよい。この図１５において上述した図２に示す画像処理装置２と同一の構成要素、部材については、同一の番号を付して説明を省略する。

この通知部１０１は、情報生成部３３に接続されてなり、上述した対応関係の比較結果が送られてきた場合には、これに応じた適切な情報をユーザに対して通知する。
例えば、ブロックマッチング部２８によるオクリュージョンの検出結果より、ユーザａの位置がカメラ１１ａ,１２ａに対して接近し過ぎている旨を識別した場合には、その旨を映像又は音声等によりユーザａに通知する。かかる通知を受けたユーザａは自身の位置がカメラ１１ａ,１２ａに接近し過ぎている旨を認識し、後方へ移動する。その結果、視差の逆転を防ぐことができ、相手側のユーザｂに対して違和感のある仮想視点画像Ｉｍａが送信されることを防止することが可能となる。
またユーザａがより前方にある場合に限定されるものではなく、乱れのない仮想視点画像Ｉｍａを作成する観点において、カメラ１１ａ,１２ａに対するユーザａの位置を視差のない適切な位置へ誘導させるためのメッセージを出力するようにしてもよい。
さらに、ユーザａを適切な位置へ誘導させる場合に限定されるものではなく、ステップＳ１１やステップＳ１２における対応付け結果に基づいた情報であればいかなるものを通知するようにしてもよい。

図１６は、このような通知部１０１を設ける場合における動作手順を示している。各カメラ１１ａ,１２ａにより撮像された各画像Ｐａ１,Ｐａ２において、視差のズレの原因となる被写体（ユーザａの手等）が含まれる場合には、何ら修正処理がなされていないまま仮想視点位置α０において仮想視点画像Ｉｍａを作成すると、ステップＳ３１に示すような画像の乱れが生じてしまう。

かかる場合には、ステップＳ３２へ移行して、通知部１０１を介してユーザにエラー通知をし、例えば“前に出すぎています”等のメッセージを出力することにより、視差が生じない位置への移動を促すとともに、仮想視点をカメラ１１ａ又はカメラ１２ａの視点へ移動させることにより、画像の乱れを抑制した仮想視点画像Ｉｍａを作成し、これを相手側の画像処理装置２へ送信する。これにより、ユーザａが後方へ移動するまで、かかる視点位置を移動させた仮想視点画像Ｉｍａを送信し続け、ユーザａが後方に移動した後、再び仮想視点位置α０における仮想視点画像Ｉｍａを作成することも可能となり、ひいては、相手側ユーザに対して乱れのない仮想視点画像Ｉｍａを送信し続けることも可能となり、より自然なコミュニケーションを実現することが可能となる。

特に仮想視点画像を出力し続けたい場合において、通信システム１が適切な手段をユーザに対して提示し得ることから、従来法と比較して仮想視点画像が出力される可能性が高くなる。

なお、本発明は上述した実施の形態に限定されるものではなく、ＤＰマッチング部２９における対応付け方法並びに、ブロックマッチング部２８における対応付け方法は、互いに異なるものであればいかなる方法であってもよい。

本発明を適用した通信システムの概略を示す図である。 画像処理装置の構成につき説明するための図である。 マッチング部における対応付けにつき説明するための図である。 ＤＰを利用した対応付けにつき説明するための図である。 エピポーラ線Ｌ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合につき示す図である。 画像Ｐａ１と画像Ｐａ２との間で生じるオクリュージョンにつき説明するための図である。 画像Ｐａ１と画像Ｐａ２におけるエピポーラ線Ｌ１,Ｌ１’上にある各特徴点の画素成分（輝度又は色成分）の対応関係を示す図である。 画像処理装置における処理手順を示すフローチャートである。 カメラからの距離に対するマッチングの頻度を示す図である。 カメラに対するユーザの顔と手の位置に応じた視差の逆転現象につき説明するための図である。 マッチング頻度のピークを介してこれらの視差の逆転が起きているか否かにつき識別するフローチャートである。 ＤＰマッチングとブロックマッチングとにより求めた対応関係を比較する手順を示すフローチャートである。 仮想視点画像を作成する方法につき説明するための図である。 仮想視点位置を修正する方法につき示す図である。 通知部を備えた画像処理装置の構成につき説明するための図である。 通知部を設ける場合における動作手順を示す図である。 従来技術の問題点について説明するための図である。

符号の説明

１ 通信システム、２ 画像処理装置、５ ディスプレイ、７ ネットワーク、１１,１２ カメラ、２８ ブロックマッチング、２９ ＤＰマッチング部、３０ 仮想視点画像生成部、３１ 出力制御部、３３ 情報生成部

Claims (12)

1. 少なくとも２台以上のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、画素毎に対応関係を求める第１のマッチング手段と、
   上記第１のマッチング手段と異なる手法に基づき画素毎に対応関係を求める第２のマッチング手段と、
   上記第１のマッチング手段により求められた対応関係に基づく視差と上記第２のマッチング手段により求められた対応関係に基づく視差との差分絶対値を上記画素毎に求め、求めた差分絶対値が第１の閾値を超える個数を判別し、判別した個数が第２の閾値を超えている場合に仮想的な視点である仮想視点がフレーム単位で上記カメラのいずれかへ段階的に近づくように上記仮想視点と上記各カメラとの間の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
   上記第１のマッチング手段及び／又は第２のマッチング手段により互いに対応付けされた画素の位置並びに輝度成分から、上記情報生成手段により生成された上記仮想視点の相対位置情報に基づいて、上記仮想視点における仮想視点画像を構成する画素の位置並びにその輝度成分を求める画像生成手段とを備える画像処理装置。
2. 上記情報生成手段は、上記判別した個数が第２の閾値未満の場合、上記仮想視点が上記各カメラ間の中間位置へ段階的に近づけるように上記相対位置情報を生成する請求項１記載の画像処理装置。
3. 少なくとも２台以上のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素毎に対応関係を求める第１のマッチング手段と、
   複数の画素を２次元的に配列させたブロックを上記各画像につき切り出し、切り出したブロック間での輝度成分の差分絶対値和を順次演算し、演算した差分絶対値和が最小となるブロックの組に基づき画素毎の対応関係を求める第２のマッチング手段と、
   上記第１のマッチング手段により求められた対応関係に基づく視差と上記第２のマッチング手段により求められた対応関係に基づく視差との差分絶対値を上記画素毎に求め、求めた差分絶対値が第１の閾値を超える個数を判別し、判別した個数が第２の閾値を超えている場合に仮想的な視点である仮想視点がフレーム単位で上記カメラのいずれかへ段階的に近づくように上記仮想視点と上記各カメラとの間の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
   上記第１のマッチング手段及び／又は第２のマッチング手段により互いに対応付けされた画素の位置並びに輝度成分から上記情報生成手段により生成された相対位置情報に基づいて、上記仮想視点により生成すべき仮想視点画像を構成する画素の位置並びにその輝度成分を求める画像生成手段を備え、
   上記第１のマッチング手段は上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求める画像処理装置。
4. 上記情報生成手段は、上記判別した個数が第２の閾値未満の場合，上記仮想視点が上記各カメラ間の中間位置へ段階的に近づけるように上記相対位置情報を生成する請求項３記載の画像処理装置。
5. 上記第２のマッチング手段は、上記被写体の上記各カメラに対する幾何学的な位置関係に基づく視差を識別し、
   上記情報生成手段は、さらに上記第２のマッチング手段により識別された視差に基づいて、上記相対位置情報を生成する請求項３記載の画像処理装置。
6. 上記第１のマッチング手段は、上記各画像間における対応関係を求める際に、上記識別した類似度及び視差のうちいずれを優先させるか決定し、類似度を優先させる場合には、上記水平ライン上にある同一画素位置間において対応付けを行い、視差を優先させる場合には対応させる画素の位置に対し同一の水平ライン上にある複数の画素位置を対応付ける請求項３記載の画像処理装置。
7. 上記第１のマッチング手段は、上記類似度を識別する際に比較する輝度成分又は色成分のうち何れかに重み付けをする請求項３記載の画像処理装置。
8. 上記第１のマッチング手段は、上記水平ラインの上下に位置する各画素位置における輝度成分及び色成分との相関関係を反映させつつ、上記類似度を識別する請求項３記載の画像処理装置。
9. 少なくとも２台以上のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素毎に対応関係を求める第１のマッチングステップと、
   複数の画素を２次元的に配列させたブロックを上記各画像につき切り出し、切り出したブロック間での輝度成分の差分絶対値和を順次演算し、演算した差分絶対値和が最小となるブロックの組に基づき画素毎の対応関係を求める第２のマッチングステップと、
   上記第１のマッチングステップで求められた対応関係に基づく視差と上記第２のマッチングステップで求められた対応関係に基づく視差との差分絶対値を上記画素毎に求め、求めた差分絶対値が第１の閾値を超える個数を判別し、判別した個数が第２の閾値を超えている場合に仮想的な視点である仮想視点がフレーム単位で上記カメラのいずれかへ段階的に近づくように上記仮想視点と上記各カメラとの間の相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、
   上記第１のマッチングステップ及び／又は第２のマッチングステップにより互いに対応付けした画素の位置並びに輝度成分から上記情報生成ステップにより生成した相対位置情報に基づいて、上記仮想視点により生成すべき仮想視点画像を構成する画素の位置並びにその輝度成分を求める画像生成ステップとを有し、
   上記第１のマッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求める画像処理方法。
10. 上記情報生成ステップでは、上記判別した個数が第２の閾値未満の場合、上記仮想視点が上記各カメラ間の中間位置へ段階的に近づけるように上記相対位置情報を生成する請求項９記載の画像処理方法。
11. 少なくとも２台以上のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素毎に対応関係を求める第１のマッチングステップと、
    複数の画素を２次元的に配列させたブロックを上記各画像につき切り出し、切り出したブロック間での輝度成分の差分絶対値和を順次演算し、演算した差分絶対値和が最小となるブロックの組に基づき画素毎の対応関係を求める第２のマッチングステップと、
    上記第１のマッチングステップで求められた対応関係に基づく視差と上記第２のマッチングステップで求められた対応関係に基づく視差との差分絶対値を上記画素毎に求め、求めた差分絶対値が第１の閾値を超える個数を判別し、判別した個数が第２の閾値を超えている場合に仮想的な視点である仮想視点がフレーム単位で上記カメラのいずれかへ段階的に近づくように上記仮想視点と上記各カメラとの間の相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、
    上記第１のマッチングステップ及び／又は第２のマッチングステップにより互いに対応付けした画素の位置並びに輝度成分から上記情報生成ステップにより生成した相対位置情報に基づいて、上記仮想視点により生成すべき仮想視点画像を構成する画素の位置並びにその輝度成分を求める画像生成ステップとを有し、
    上記第１のマッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求めることをコンピュータに実行させるためのプログラム。
12. 上記情報生成ステップでは、上記判別した個数が第２の閾値未満の場合，上記仮想視点が上記各カメラ間の中間位置へ段階的に近づけるように上記相対位置情報を生成する請求項１１記載のプログラム。

Images