JP3733359B2 - 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 - Google Patents
視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 Download PDFInfo
- Publication number
- JP3733359B2 JP3733359B2 JP2003154401A JP2003154401A JP3733359B2 JP 3733359 B2 JP3733359 B2 JP 3733359B2 JP 2003154401 A JP2003154401 A JP 2003154401A JP 2003154401 A JP2003154401 A JP 2003154401A JP 3733359 B2 JP3733359 B2 JP 3733359B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- initial
- estimation
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、多視点画像の伝送方法及び多視点画像の表示方法に関する。また、本発明は、多視点画像の中間視点画像生成方法及び視差推定方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来、立体映像方式には様々なものが提案されているが、特殊な眼鏡をかけることなく立体動画像を複数人数で観察できる方式として、多視点画像による多眼式立体映像方式が有望である。多眼式立体映像方式においては、使用するカメラ台数及び表示装置台数が多いほど、観察者に対して自然な運動視差を感じさせることができ、また、多人数での観察が容易になる。しかしながら、撮像系の規模やカメラの光軸の設定等の制約により、実用的に用いることができるカメラ台数には限度がある。また、伝送、蓄積過程においては、カメラ台数に比例して増大する情報量を低減することが望まれる。
【０００３】
そこで、表示側において、２眼式ステレオ画像から中間視点画像を生成することにより多眼式立体画像を表示できれば、撮像系の負担を軽減し、伝送、蓄積時の情報量を低減することができることになる。視点の異なる複数の画像から、その異なる視点間の任意の視点で見えるべき中間視点画像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。
【０００４】
また、動画像をデジタル伝送するための画像圧縮方式として、ＭＰＥＧ−１、ＭＰＥＧ−２が提案されている。さらに、ＭＰＥＧ−２を拡張して多視点画像を伝送する試みも行われている（ISO/IEC13818-2/PDAM3）。図２８は、ＭＰＥＧ−２シンタックスの概略図である。ＭＰＥＧ−２による伝送は、Sequence、ＧＯＰ（Group Of Picture）、Picture という階層構造を持つ画像データの符号化、復号化によって行われる。ISO/IEC13818-2/PDAM3によると、ＭＰＥＧ−２の拡張による多視点画像の伝送は、（明記されていないためはっきりしないが）ＧＯＰ層を拡張して実現されるようである。
【０００５】
図２９は、伝送される多視点画像の時空間方向の関係を示すものである。従来のＭＰＥＧ−２で用いられてきた動き補償に加えて、視差補償を用いることによって符号化効率を高めようとしている。多視点画像を伝送する際には、各カメラに関する情報（カメラの位置、カメラの光軸の向き等のカメラパラメータ）を付加して伝送する必要がある。ISO/IEC13818-2/PDAM3には、カメラパラメータは図２８のPic.Extension（Picture層の拡張）に含めて伝送することが述べられているが、具体的なカメラパラメータの記述については述べられていない。
【０００６】
カメラパラメータの記述に関しては、ＣＧ言語であるＯｐｅｎＧＬにおいて、カメラの位置、カメラの光軸の向き、カメラの位置と画像面との距離がカメラパラメータとして定義されている（「オープン ジーエル プログラミングガイド」（OpenGL Programming Guide,The Official Guide to Learning OpenGL,Release 1,Addison-Wesley Publishing Company,1993））。
【０００７】
図３０は、ＯｐｅｎＧＬによるカメラパラメータの定義を示す説明図である。図３０において、Ａはレンズ中心、Ｂは画像面（すなわち撮像面）の中心、ＣはＢから画像上端におろした垂線と画像上端の交点を示す。Ａ，Ｂ，Ｃの座標値はそれぞれ、
（optical center X,optical center Y,optical center Z）,（image plane center X,image plane center Y,image plane center Z）,（image plane vertical X,image plane vertical Y,image plane vertical Z）として定義されている。
【０００８】
上記のＯｐｅｎＧＬで定義されるカメラパラメータの情報をPic.Extensionに付加して多視点画像を伝送することが容易に考えられる。
【０００９】
【発明が解決しようとする課題】
しかしながら上記のような従来の方法では、中間視点画像生成のための画像間の対応づけにおける根本的な問題は、奥行きが不連続に変化する物体輪郭線において、オクルージョンが生じるために画像間の対応を精度よく求めるのは困難なことである。しかし、この物体輪郭線近傍での視差の推定値は、生成される中間視点画像における物体の輪郭位置を決定するため、中間視点画像の合成時には非常に重要である。すなわち、視差推定時に物体輪郭線近傍で視差の推定誤差が生じると、前景領域の画素が背景側にはりついたり、逆に背景領域の画素が前景にはりつき、物体の輪郭線が乱れたり、物体輪郭線近傍の背景領域に偽輪郭が生じることになる。
【００１０】
本発明はかかる点に鑑み、物体輪郭線近傍での視差の急激な変化（不連続な変化）を精度よく推定する視差推定方法およびその装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
第１の本発明（請求項１対応）は、２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき、前記物体輪郭線を含む前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、前記信頼性の低い領域の周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行うことを特徴とする視差推定方法である。
また、第２の本発明（請求項２対応）は、初期視差の信頼性の低い領域における視差は、前記視差と、前記物体輪郭線とを用いて定義した視差分布のエネルギーを最小化するように決定することを特徴とする第１の本発明の視差推定方法である。
また、第３の本発明（請求項３対応）は、前記エッジ検出は、周波数特性の異なる方向別フィルタの各出力を統合して行うことを特徴とする第１又は第２の本発明の視差推定方法である。
また、第４の本発明（請求項４対応）は、前記エッジ検出は、前記周波数特性の異なる方向別フィルタの各出力の統合結果に対して、更に稜線抽出を行うことを特徴とする第３の本発明の視差推定方法である。
また、第５の本発明（請求項５対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和を用いることを特徴とする第１〜第４のいずれか本発明の視差推定方法である。
また、第６の本発明（請求項６対応）は、前記初期視差の信頼性評価値は、初期視差計算時の１画素当たりの残差平方和を用いることを特徴とする第１〜第４のいずれか本発明の視差推定方法である。
また、第７の本発明（請求項７対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和、画像のノイズレベル、及び輝度勾配を用いて計算することを特徴とする第１〜第４のいずれか本発明の視差推定方法である。
また、第８の本発明（請求項８対応）は、前記初期視差の信頼性評価値は、左右双方の画像を基準として計算した初期視差の対応の差異を用いて計算することを特徴とする第１〜第４のいずれか本発明の視差推定方法である。
また、第９の本発明（請求項９対応）は、前記初期視差の信頼性評価値は、第５〜第８のいずれか本発明の前記視差推定方法の２つ以上を組み合わせて計算することを特徴とする視差推定方法である。
また、第１０の本発明（請求項１０対応）は、２眼式画像から左右それぞれの画像を基準とした初期視差と前記初期視差の信頼性評価値を計算し、初期視差が正しく計算できない領域での視差は請求項１〜９のいずれかに記載の方法によって再計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差から前記２眼式画像の他方の画像を予測して予測誤差を計算し、前記一方の画像を基準とした視差から他方の画像を基準とした前記再計算後の視差を予測して予測誤差を計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差と前記２眼式画像の他方の画像の予測誤差と前記他方の画像を基準とした再計算後の視差の予測誤差とを符号化し伝送する画像伝送方法である。
また、第１１の本発明（請求項１１対応）は、第１０の本発明の画像伝送方法により伝送された符号化信号を受信し、その受信信号から２眼式画像及び再計算後の視差を復号化し、その復号化された２眼式画像及び復号化された再計算後の視差を用いて中間視点画像を生成し、その中間視点画像及び前記２眼式画像を併せて多眼式画像として表示する画像表示方法である。
また、第１２の本発明（請求項１２対応）は、多眼式画像から代表画像を選択し、選択されなかった画像は、２枚の代表画像をそれぞれ基準画像として、２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検 出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定することにより、前記物体輪郭線において不連続に変化する視差推定を行う視差推定方法によって計算した視差と前記２枚の代表画像とを用いて予測し、前記選択されなかった画像と予測画像の残差を計算し、前記代表画像と前記選択されなかった画像の予測誤差を符号化して伝送することを特徴とする多視点画像伝送方法である。
また、第１３の本発明（請求項１３対応）は、第１２の本発明の画像伝送方法により伝送された符号化信号を受信し、前記代表画像を復号化し、前記代表画像をそれぞれ基準画像として第１〜第４のいずれかの本発明の方法によって視差を計算し、送信部で代表画像に選択されなかった画像を前記代表画像と前記視差を用いて予測し、前記選択されなかった画像の予測誤差を復号化し、前記予測誤差を前記予測画像に重畳して多視点画像を復元することを特徴とする多視点画像復元方法である。
また、第１４の本発明（請求項１４対応）は、前記代表画像の符号化は、１枚の代表画像と当該代表画像を基準として他の代表画像について計算した視差から他の代表画像を予測し、前記一枚の代表画像と前記他の代表画像の予測誤差を符号化することにより行うことを特徴とする第１２の本発明の多視点画像伝送方法である。
また、第１５の本発明（請求項１５対応）は、２つの撮像画像の初期視差を計算する初期視差推定部と、前記初期視差の信頼性評価値と計算する信頼性評価部と、前記画像のエッジを検出する輪郭検出部と、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき、前記物体輪郭線を含む前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、前記信頼性の低い領域の周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行う視差推定部を備えたことを特徴とする視差推定装置である。
【００１２】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
（第１の実施の形態）
図４は、本発明の第１の実施の形態における画像伝送方法で定義するパラメータを示す図である。図４において、A1，A2はカメラのレンズ中心の位置を示し、B1，B2は撮像面の中心を示す（説明を簡単にするために、撮像面をレンズ中心に対して被写体側に折り返して考えている）。
【００１３】
ＯｐｅｎＧＬでは図４のA1B1，A2B2の距離をカメラのレンズの焦点距離として定義しているが、本発明においては、カメラのレンズ中心と撮像面の距離を該レンズの焦点距離とは独立に定義する。この定義により、合焦時のレンズ中心と撮像面との距離を被写体の距離に応じて計算でき、正確な視野角を計算できる。視野角は、撮像面のサイズと、レンズ中心と撮像面との距離から計算できる。
【００１４】
以下に図２を用いて、合焦時のレンズ中心と撮像面との距離が、被写体とレンズ中心との距離によって変化することを説明する。図２は、被写体の位置、合焦時の撮像面の位置と焦点距離の関係を示す図である。図２において、Ａは被写体の位置、ＢはＡからの光が結像する点、Ｏはレンズの中心、Ｆは平行光がレンズにより結像する点、ａは被写体とレンズ中心Ｏとの距離、ｂはＡからの光が結像する点Ｂとレンズ中心Ｏとの距離、ｆはレンズの焦点距離を示す。ａ，ｂ，ｆの間には（数１）の関係が成り立つことが知られている。
【００１５】
【数１】
【００１６】
（数１）より、被写体が焦点距離を無視できるくらいレンズから遠い（ａ>>ｆ）場合には、１／ａ → ０となりｂ ＝ ｆと近似できる。しかし、被写体が比較的レンズに近い場合には、１／ａの項を無視できず、ｂ≠ｆとなる。従って、被写体が比較的レンズに近い場合にも正しく視野角を計算するためには、レンズ中心と結像面との距離を焦点距離とは独立に定義する必要がある。そして、撮像面の幅をｗin、高さをｈinとすると、撮像時の視野角は（数２）で表される。
【００１７】
【数２】
【００１８】
よって、表示時の画像の幅をｗout、高さをｈoutとすると、撮像時の視野角を再現する観察距離は、
【００１９】
【数３】
【００２０】
となる。
【００２１】
次に、画像内の最近点、最遠点に基づく表示側における見やすさの改善について説明する。図３は、２つのプロジェクタを用いて輻輳投影をする場合の輻輳距離、最近点、最遠点の位置関係を説明するための図である。図３において、Ｃは輻輳点、Ａは最近点、Ｂは最遠点を示す。
【００２２】
輻輳のある投射においては、観察者が輻輳点Ｃを見る場合に視差が０となる（図３において、両眼とも画像の中心を見ることになるので、左右の目が見る画像内の相対的な位置の違いはなくなる）。そして、最近点Ａを見る場合にはいわゆる寄り目の状態となり、画像上で寄り目の方向にＤａの視差が生じる。図３において観察者は、輻輳点Ｃを見るときと比べて、両目とも内側にＤａ／２ずれた点を見る。また、逆に最遠点Ｂを見る場合にはいわゆる離れ目の状態となり、画像上で離れ目の方向にＤｂの視差が生じる。
【００２３】
また、図１は平行投影の場合の最近点、最遠点、観察者の輻輳と調節が一致する点の位置関係を示す図である。図１において、Ａは表示される画像の最近点、Ｂは最遠点、Ｃは観察者の輻輳と調節が一致する点を示す。図１に示す平行投影の場合、Ｄc の視差がある画像を表示すると、スクリーン上では同じ点に表示され、観察者の輻輳と調節が一致する。
【００２４】
上述の図３と図１の画像内における視差は、観察者にスクリーン面（Ｃを含む面）に対して手前か奥かという立体感として知覚されるが、視差が大きくなると融合しなくなったり（２重に見える状態）、観察者に違和感・不快感を与えたりする。
【００２５】
観察者の見やすさの改善は、最近点、最遠点、撮像時の輻輳点をもとに、画像を図３に示す方向（画像１、画像２を各々の投射軸の垂直面内で水平方向）にずらすことにより、輻輳点と最遠距離、最近距離との位置関係を変化させることで可能となる。画像のずらし方については、例えば画像間の視差の平均値を相殺するようにずらすことによって、画像全体を均一に見やすくできる。
【００２６】
図５は、そのような処理のブロック図である。図５では、簡単のために２眼式（２視点）のデータについての例を示している。図５において、１は画像復号手段、２は視差推定手段、３は平均視差演算手段、４ａ，４ｂは画像シフト手段、５ａ，５ｂは画像表示手段である。以下に各手段の動作について説明する。
【００２７】
画像復号手段１は、送信側で符号化された多視点画像データを受信し、これを復号する。画像復号手段１により復号された左右の画像は視差推定手段２に送られる。視差推定手段２は、画像復号手段１によって復号された左右の画像から各画素における視差（視差地図）を計算する。例えば、左画像を基準としてブロックマッチングにより視差を計算する場合について、図６を用いて以下に説明する。まず、左画像中に窓領域を設定する。次に、（数４）に示す残差平方和(ＳＳＤ)を計算する。
【００２８】
【数４】
【００２９】
（数４）の計算は、dminからdmaxの範囲のｄについて１画素間隔で計算する。そして、dminからdmaxの範囲でＳＳＤを最小にするｄの値を、設定した窓領域での視差とする。画像の各画素における視差は、窓領域を順次ずらして設定し、上記の計算をすることによって得られる。
【００３０】
ＳＳＤを計算する範囲dmin、dmaxは、最近点、最遠点の情報より計算できる。図７、図８を用いて、平行撮影時と輻輳撮影時の場合のdmin、dmaxの求め方について以下に説明する。
【００３１】
図７は、平行撮影の場合を示す図である。図７に示す座標系において、左右のレンズ中心の座標値を（−Ｄ／２，０）、（Ｄ／２，０）、撮像面とレンズ中心との距離をｂ、３次元空間中の物体位置の水平座標値をＸ0 、奥行き方向の座標値をＺ0 、左右の撮像面で位置（Ｘ0、Ｚ0）の物体からの光が撮像される水平位置をそれぞれｘl0, ｘr0とする（ｘl0, ｘr0はカメラの光軸と撮像面の交点を原点とする平面座標系の水平座標）と、図形的な関係より、
【００３２】
【数５】
【００３３】
となる。よって、左右の画像を基準とした視差はそれぞれ、（数６）に示す式で表される。
【００３４】
【数６】
【００３５】
ここで、画像中の最近点の奥行き値をＺmin、最遠点の奥行き値をＺmaxとすると、ＳＳＤを計算する範囲の上限dmaxと下限dminは（数７）で表される。
【００３６】
【数７】
【００３７】
また、図８は輻輳撮影の場合を示す図である。図８に示す座標系において、輻輳点（左右のカメラの光軸の交点）の座標値を（０，Ｃ）、左右のレンズ中心の座標値を（−Ｄ／２，０）、（Ｄ／２，０）、撮像面とレンズ中心との距離をｂ、３次元空間中の物体位置の水平座標値をＸ0、奥行き方向の座標値をＺ0、左右の撮像面で位置（Ｘ0、Ｚ0）の物体からの光が撮像される水平位置をそれぞれｘl0，ｘr0とする（ｘl0，ｘr0はカメラの光軸と撮像面の交点を原点とする平面座標系の水平座標）と、図形的な関係より、
【００３８】
【数８】
【００３９】
となる。したがって、左右の画像を基準とした時の視差はそれぞれ、（数９）に示す式で表される。
【００４０】
【数９】
【００４１】
（数９）の式中にＸ0が残っていることから、輻輳撮像では奥行きが同じであっても、水平方向の位置によって視差が異なる（即ち、再生される立体像が歪む）ことがわかる。今、簡単のためにＸ0＝０（即ちＺ軸）上の点における視差を考えると、（数９）にＸ0＝０を代入して（数１０）を得る。
【００４２】
【数１０】
【００４３】
（数１０）より、画像中の最近点の奥行き値Ｚmin、最遠点の奥行き値Ｚmax、輻輳点の奥行き値Ｃの位置関係と、水平画素数ｎｘ、撮像面(ＣＣＤ)の幅ｗinから視差の上限画素数dmax、下限画素数dminを決定できる。
【００４４】
Ｚ軸上以外の点における視差を考慮する場合には、（数９）の最大値、最小値を計算することによって、視差の上限dmax、下限dminを決定できる。
【００４５】
以上説明したように、画像中の最近点の奥行き値、最遠点の奥行き値、カメラの位置、カメラの光軸の向きが与えられると、視差の取るべき値の範囲を計算でき、視差演算時にＳＳＤを計算する範囲を決定できる。平均視差演算手段３は、視差推定手段２によって計算された視差地図の平均を演算する。視差地図の平均は（数１１）を計算することによって得られる。
【００４６】
【数１１】
【００４７】
画像シフト手段４ａ、４ｂは、平均視差演算手段３によって得られる平均視差を有する奥行きの点が、表示面と同じ奥行き（すなわち表示面上で視差０となるように）に表示されるように画像をシフトする。
【００４８】
平行投影による表示を示す図１において、Ａは表示する画像中の最近点の奥行き、Ｂは最遠点の奥行き、Ｃは平均視差の奥行きを示す。図１から、平行投影では左右の画像間で（数１２）で示すＤc の視差がある場合に、スクリーン上で視差がなくなり、輻輳と調節が一致した自然な表示となることがわかる。
【００４９】
【数１２】
【００５０】
画像シフト手段４ａは、（数１３）に示すシフト量（右方向へのシフトを正としている）だけ左画像をシフトする。
【００５１】
【数１３】
【００５２】
そして、画像シフト手段４ｂは、逆方向に同じ量だけ右画像をシフトする。画像シフト手段４ａおよび４ｂによるシフトの結果、平均視差を有する点がスクリーンと同一の奥行きに表示されるようになる。
【００５３】
また、輻輳投影による表示を示す図３において、Ａは表示する画像中の最近点の奥行き、Ｂは最遠点の奥行き、Ｃは平均視差の奥行きを示す。輻輳投影では、画像の中心で視差が０の場合に、スクリーンと同一の奥行きに表示されることになる。したがって、輻輳投影の場合画像シフト手段４ａおよび４ｂは平均視差を−１／２倍した値だけ左右の画像をシフトする。
【００５４】
以上のように本実施の形態によれば、多視点画像を伝送する際に、画像内の最近点、最遠点の情報を付加することにより、表示側で目の疲れない表示（視差制御）を行うことができる。
【００５５】
また、カメラの撮像面（ＣＣＤ）のサイズ、撮像面とレンズ中心との距離、及びレンズの焦点距離に関する情報を付加して伝送することにより、撮影時の視野角に応じた表示を行おうとする際、被写体に接近して撮影した映像についても、表示側で撮影時の視野角を精度よく計算することができる。
【００５６】
なお、多視点画像中の最近点、最遠点に関する情報を付加せずに伝送する場合には、最近点、最遠点に関する情報の変わりに、最近点、最遠点に関する情報が付加されていないことを示す専用の符号を付加して伝送し、表示側において、予め設定した範囲内で視差の計算を行うことにより、画像内の最近点、最遠点での視差を推定することができ、本発明に含まれる。
【００５７】
さらに、伝送側において、多視点画像中の最近点、最遠点に関する情報を特定の奥行き値に設定することにより、その設定された特定の奥行き範囲での視差が融合範囲に入るように視差制御することができ、本発明に含まれる。
【００５８】
また、本発明においては視差の計算を表示側で行う例について説明したが、符号化された画像中に含まれる視差を用いてもよく、本発明に含まれる。図１０を用いてそのような例について説明する。
【００５９】
図１０において、画像復号手段６以外の構成の動作は、図５に示す視差制御方式と同一であるので説明を省略し、以下画像復号手段６の動作について説明する。画像復号手段６は、符号化された画像データを復号し、左右の画像と左画像を基準とした視差を出力する。ＭＰＥＧ−２による多視点画像伝送方式で２眼式画像を伝送する際には、左画像を基準とする視差補償により圧縮率を高めている。符合化された画像データ中から視差を取り出すことにより、表示側で視差の計算をする必要がなくなり、表示側での演算量を低減できる。
【００６０】
なお、平均視差演算手段３による視差の平均の計算は、画面の中央部を重視して（数１４）による重み付け平均値を用いてもよい。こうのようにすれば、画像の中心部で、より融合しやすい視差制御を行え、本発明に含まれる。
【００６１】
【数１４】
【００６２】
図９（ａ）（ｂ）（ｃ）は、（数１４）による重み付け平均の計算に用いる重みの分布の例を示す。簡単のため１次元的に示しているが、実際には、画像中央部で周辺部よりも大きな値となる２次元的な分布である。また、重みの値はすべて０以上の値（負でない値）である。
（第２の実施の形態）
図１１は、本発明の第２の実施の形態における視差制御方式のブロック図である。図１１において、頻度計算手段７、シフト量演算手段８以外の構成は、第１の実施の形態におけるものと同一の動作を行うものであるため、第１の実施の形態での説明図と同一の符号を付し、説明を省略する。以下に頻度計算手段７、シフト量演算手段８の動作について説明する。
【００６３】
頻度計算手段７は、画像復号手段６によって復号された左画像基準の視差の頻度を計算する。視差の頻度とは、画像のある領域（たとえば、画像全体でもよいし、いっての基準で決めた特定の領域でもよい）内における視差の各値毎に計算した画素数である。シフト量演算手段８は、頻度計算手段７によって計算された（画像間での）視差の頻度と画像の視野角に応じた人の目の融合範囲とから、融合範囲内の視差の頻度の和が最大になるシフト量を演算し、画像シフト手段４ａ, ４ｂに出力する。
【００６４】
図１２は、シフト演算手段８の構成の一例を示す。図１２において、９はＭＰＵ、１０は融合範囲テーブルである。ＭＰＵ９は画像表示面の幅と観察距離から（数１５）に示す水平方向の視野角を計算し、該視野角における融合範囲を融合範囲テーブル１０から読み出す。
【００６５】
【数１５】
【００６６】
図１３は融合範囲テーブルの特性の１例を示す。図１３において、横軸は画像表示面の水平方向の視野角であり、縦軸は視差の融合範囲（（数１６）により角度換算している）である。
【００６７】
【数１６】
【００６８】
なお、図１３の縦軸の符号は負の側が表示面よりも手前に知覚される視差、正の側が表示面よりも奥に知覚される視差を示している。図１４は、（数１６）の図形的な意味を示す図である。図１４は、角度換算した視差θは画像表示面上での視差Δを視野角に換算したものであることを示す。
【００６９】
一方、図１および図３に示す平行投影と輻輳投影において、画像の位置（例えば液晶プロジェクタであれば液晶上の画素の位置）ｘl1,ｘr1 と表示面上での位置Ｘl,Ｘr の位置関係は、それぞれ（数１７）（数１９）となり、表示面上での視差は（数１８）（数２０）となる。
【００７０】
【数１７】
【００７１】
【数１８】
【００７２】
【数１９】
【００７３】
【数２０】
【００７４】
そして、撮影時の撮影面上での座標値（ｘl0,ｙl0），（ｘr0,ｙr0）と、投影時の画像の位置（ｘl1,ｙl0），（ｘr1,ｙr1）（例えば液晶プロジェクタであれば液晶上の画素の位置）との関係は、（数２１）で表される。
【００７５】
【数２１】
【００７６】
ここで、撮像面の幅ｗinはカメラパラメータから得られ、表示時の画像幅ｗoutは表示系固有の値である。
【００７７】
撮像時の条件（平行撮影／輻輳撮影）に応じて（数５）もしくは（数８）を用いてｘl0,ｘr0を計算し、（数２１）によりｘl1,ｘr1に変換する。更に、投影時の条件（平行投影／輻輳投影）に応じて、（数１８）もしくは（数２０）を計算することにより、撮像条件、投影条件の双方を考慮して、表示画面上での視差を計算できる。
【００７８】
ＭＰＵ９は、融合範囲テーブル１０から読み出した融合範囲を表示面上での視差(距離)に換算し、画像表示面上での視差の融合範囲を決定する。そして、ＭＰＵ９は、上述した画像データにおける視差と画像表示面上での視差の関係とを用いて、融合範囲内の視差の頻度の和が最大になるような、画像データに対するシフト量を計算する（視差制御による画像のシフトは、視差の頻度分布を図１５において水平方向に移動させることを意味する）。
【００７９】
画像シフト手段４ａ，４ｂによって該出力シフト量だけ逆方向に画像をシフトし、画像表示手段５ａ，５ｂによって表示することにより、融合範囲内での視差の頻度の和が最大（すなわち画像内で融合する画素の面積が最大）になる表示を行うことができる。
【００８０】
以上説明したように、本実施の形態によれば、人の目の融合範囲に応じた視差制御を行うことによって、表示時に画像のより多くの部分で視差を融合範囲内に入るようにすることができる。
【００８１】
なお、本実施の形態では、融合範囲内での視差頻度の和が最大になる視差制御について説明したが、視差の平均値が融合範囲の中央になるように視差制御してもほぼ同等の効果を得ることができ、本発明に含まれる。
【００８２】
また、伝送側において、最近点及び最遠点を、実際の画像中の最近点及び最遠点とは異なる値に設定し、表示側において該設定値の最近点及び最遠点に相当する各々の視差の平均の視差が、融合範囲の中央になるように視差制御することにより、画像作成者の意図する奥行きでの画像を優先的に観察者に提示することができ、本発明に含まれる。
（第３の実施の形態）
本発明の第３の実施の形態は、１組の画像対を入力し、初期視差と初期視差の信頼性とを計算し、基準画像と初期視差の信頼性とから物体輪郭線を検出し、初期視差と初期視差の信頼性と検出された物体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の低い領域での視差を決定する。このとき視差は、物体輪郭線において変化し、かつ、周囲の視差とは滑らかに接続するように決定する視差推定方法およびその装置である。
【００８３】
本実施の形態では前述した構成により、基準画像と参照画像の１組の画像対から、初期視差と初期視差の信頼性とを計算し、基準画像と初期視差の信頼性とから物体輪郭線を検出し、初期視差と初期視差の信頼性と検出された物体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の低い領域での視差が、物体輪郭線において変化し、かつ、周囲の視差とは滑らかに接続するように決定する。
【００８４】
図１６は、本発明の第３の実施の形態における視差推定装置のブロック図である。
【００８５】
図１６において、２０１はブロックマッチングによる初期視差を計算する初期視差推定部、２０２は初期視差推定時の信頼性評価部、２０３は輪郭検出部、２０４は物体輪郭付近での視差推定部である。
【００８６】
以下に上記構成の動作について説明する。
【００８７】
初期視差推定部２０１は、（数２２）に示す残差平方和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅｓ 以下ＳＳＤ）の計算を行う。（数２２）によるＳＳＤの値は、基準画像に設定した窓領域と参照画像中に設定した窓領域内の画素値の分布が似ているところでは小さな値となり、逆に双方の窓領域内での画素値の分布が異なるところでは大きな値となる。初期視差推定部２０１は、所定の探索範囲内でＳＳＤの値を最小とする画像間のずれ量ｄを着目点（ｘ，ｙ）における視差とし、その視差の値を物体輪郭付近での視差推定部２０４に出力し、探索範囲内でのＳＳＤの最小値を初期視差推定時の信頼性評価部２０２に出力する。
【００８８】
【数２２】
【００８９】
図１７は、初期視差推定部２０１による上記初期視差推定（ブロックマッチング）を説明する図である。図１７において、着目点（ｘ，ｙ）を中心にして設定した窓領域が、（数２２）の積分領域Ｗを示す。窓領域を順次ずらして設定し、上記のＳＳＤの計算を行うことにより画像全体での初期視差を得ることができる。
【００９０】
初期視差推定時の信頼性評価部２０２は、初期視差推定部２０１による視差計算で得られたＳＳＤの探索範囲中での最小値、窓領域（ブロック）内の画素数、画像間のノイズの分散、窓領域内での基準画像の水平垂直方向の輝度こう配の２乗の平均値から、（数２３）に示す対応付けの信頼性評価値を計算する。
【００９１】
【数２３】
【００９２】
（数２３）の値は、小さいほど視差推定の信頼性が高いことを示し、逆に大きいほど信頼性が低いことを示す。
【００９３】
図１８は、輪郭検出部２０３の構成の一例を示すブロック図である。図１８において、２０５は基準画像を輝度成分と色成分に分離するＹＣ分離回路、２０６Ａ，２０６Ｂ，２０６Ｃは、上記分離された輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙからそれぞれエッジを検出するエッジ検出回路、２０７はエッジ検出結果の稜線における強度のみを出力する稜線検出部、２０８は初期視差推定値の信頼性の低い領域で１の重みを出力し、初期視差推定値の信頼性の高い領域では０の重みを出力する重み発生回路である。
【００９４】
以下に上記構成の動作について説明する。
【００９５】
ＹＣ分離回路２０５は、基準画像を輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙに分離し出力する。
【００９６】
エッジ検出回路２０６Ａ，２０６Ｂ，２０６Ｃはそれぞれ、上記Ｙ，Ｒ−Ｙ，Ｂ−Ｙ成分からエッジ成分を検出する。図１９は、エッジ検出回路２０６の構成の一例を示すブロック図である。図１９において、２０９Ａ，２０９Ｂ，２０９Ｃはそれぞれ低空間周波数域、中空間周波数域、高空間周波数域におけるエッジ成分を検出する方向別フィルタ群である。２１０、２１１、２１２、２１３は、それぞれの方向別フィルタ群を構成する方向別フィルタである。図２０は、上記方向別フィルタの空間的な重みの一例であり。図２０（ａ），（ｂ），（ｃ）は垂直方向に連続するエッジを、（ｄ），（ｅ），（ｆ）は斜め方向のエッジを検出するものである。
【００９７】
尚、（ａ），（ｄ）が高空間周波数域、（ｂ），（ｅ）が中空間周波数域、（ｃ），（ｆ）が低空間周波数域用の重みの分布の一例を示す。水平および他方の斜め方向のエッジ検出は、図２０の計数の配置を９０度回転させればよい。また、エッジの方向は４５度刻みに限る必要はなく、３０度刻みなどでもよいのは当然である。
【００９８】
また、方向別フィルタの空間的な重みは図２０に示すものに限る必要はなく、方向毎についての微分型の重み分布になっていればよいのは当然である。各方向別のエッジ強度の算出法を式で示すと（数２４）になる。
【００９９】
【数２４】
【０１００】
統合部２１４は方向別フィルタ２１０，２１１，２１２，２１３の出力を統合する。統合部２１４による統合の一例を式で示すと（数２５）になる。
【０１０１】
【数２５】
【０１０２】
尚、統合部２１４による統合は（数２５）で示される２乗和の形式のものに限る必要はなく、絶対値和の形式のものなどでもよいのは当然である。
【０１０３】
輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙについて、高空間周波数域、中空間周波数域、低空間周波数域でそれぞれ統合部２１４Ａ，２１４Ｂ，２１４Ｃにより統合されたエッジ強度は、乗算され出力される。そして、Ｙ，Ｒ−Ｙ，Ｂ−Ｙ各成分についての上記エッジ強度は、加算され稜線検出部７に転送される。
【０１０４】
尚、輪郭検出部２０３における基準画像の輝度成分、色成分への分離はＹ，Ｒ−Ｙ，Ｂ−Ｙに限る必要はなく、Ｒ，Ｇ，Ｂ等他の成分へ分離してもよいのは当然である。また、Ｙ，Ｒ−Ｙ，Ｂ−Ｙについての上記エッジ強度は加算後に稜線検出部２０７に転送するものに限る必要はなく、乗算後に稜線検出部２０７に転送してもよい。
【０１０５】
図１８に戻って、稜線検出部２０７は、上記Ｙ，Ｒ−Ｙ，Ｂ−Ｙについて加算されたエッジ強度の稜線における値のみを出力する。図２１は、稜線検出部２０７の構成の一例である。図２１において、水平稜線検出回路２１５は着目画素でのエッジ強度が着目点の上下の画素でのエッジ強度の双方よりも大きい場合に１を出力し、そうでない場合には０を出力する。
【０１０６】
同様に、垂直稜線検出回路２１６は着目画素でのエッジ強度が着目点の左右の画素でのエッジ強度の双方よりも大きい場合に１を出力し、そうでない場合には０を出力する。水平稜線検出回路２１５と垂直稜線検出回路２１６の出力は、ＯＲ演算され、更に入力信号と乗算して出力される。すなわち、稜線検出部２０７は、水平方向もしくは垂直方向に隣接する画素でのエッジ強度よりも強いエッジ強度を有する画素（すなわち稜線となっている画素）におけるエッジ強度のみを出力し、その他の画素については０を出力する。
【０１０７】
再び図１８に戻って、重み発生回路２０８は、初期視差推定値の信頼性評価値がしきい値以上の時１を出力し、しきい値未満の時には０を出力する。重み発生回路２０８の出力を稜線検出部２０７の出力と乗算することにより、初期視差推定値の信頼性が低いところでのエッジ、すなわち視差が不連続に変化する物体輪郭線を抽出できる。また、重み発生回路２０８の出力は、後述する物体輪郭付近での視差推定部２０４の演算領域メモリに記憶される。物体輪郭線の抽出を式で示すと（数２６）となる。
【０１０８】
【数２６】
【０１０９】
尚、エッジ検出結果２０６Ａ，２０６Ｂ，２０６Ｃの出力を加算して稜線検出部７に入力するように限る必要はなく、乗算して稜線検出部２０７に入力してもよい。また、稜線検出部２０７の出力と乗算される重み発生回路２０８による重み発生の方法は、０と１の２値に限る必要はなく、初期視差推定時の信頼性に応じて連続的な値を出力してもよいのは当然である。
【０１１０】
物体輪郭付近での視差推定部２０４は、物体輪郭線近傍の初期視差推定値の信頼性の低い領域での視差を、輪郭強度、初期視差から再計算する。物体輪郭付近での視差推定部２０４は、（数２７）で定義される視差の分布についてのエネルギーを最小化する視差分布を計算する。
【０１１１】
【数２７】
【０１１２】
重み関数ｗ（ｘ，ｙ）は滑らかさのパラメータと輪郭強度により（数２８）として定義する。
【０１１３】
【数２８】
【０１１４】
（数２７）を最小にする視差分布の条件は（数２９）である。
【０１１５】
【数２９】
【０１１６】
（数２９）の微分方程式は、有限要素法（ＦＥＭ）等の公知の技術によって数値的に解くことができる。
【０１１７】
図２２は、物体輪郭付近での視差推定部２０４の構成の一例を示すブロック図である。図２２において、２１７は視差分布エネルギー用の重みを発生する視差分布エネルギー用重み発生回路、２１８は演算領域メモリ、２１９は視差メモリ、２２０は重みメモリ、２２１はＦＥＭ演算回路である。
【０１１８】
視差分布エネルギー用重み発生回路２１７は、輪郭強度と滑らかさのパラメータλから（数２８）の重み関数の値を計算し、重みメモリ２２０に書き込む。ＦＥＭ演算回路２２１は、（数２９）を有限要素法により解き、視差分布を計算する。
【０１１９】
以上のように本実施の形態によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２０】
また、本実施の形態によれば、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２１】
尚、物体輪郭付近での視差推定は、視差が物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに接続すればよく、（数２７）に示すエネルギーを最小化する視差として計算する方法に限る必要はない。そのような例について、以下に説明する。
（第４の実施の形態）
図２３は、本発明の第４の実施の形態における視差推定装置の構成を示すブロック図である。図２３において、２０１はブロックマッチングによる初期視差を計算する初期視差推定部、２０２は初期視差推定時の信頼性評価部、２２２は輪郭検出部、２２３は物体輪郭付近での視差推定部である。
【０１２２】
上記構成において、輪郭検出部２２２、物体輪郭付近での視差推定部２２３以外の構成の動作は本発明の第３の実施の形態と同一であるので説明を省略し、以下に輪郭検出部２２２、物体輪郭付近での視差推定部２２３の動作について説明する。
【０１２３】
まず、輪郭検出部２２２は、本発明の第３の実施の形態における輪郭検出部と同様の輪郭検出を行ない、検出結果を２値化（例えば、０と１）して出力する。物体輪郭付近での視差推定部２２３は、物体輪郭線近傍の初期視差推定値の信頼性の低い領域での視差を、初期視差と輪郭検出部２２２によって検出された物体輪郭線とから計算する。
【０１２４】
図２４は、物体輪郭付近での視差推定部２２３による視差推定の様子を示す図である。図２４において、２９１は初期視差推定値の信頼性の低い領域、２９２は輪郭検出部２２２によって検出された物体輪郭線、２９３は初期視差推定値の信頼性の高い領域、２９４は視差を計算しようとする着目点、２９５は着目点を含むように設定した窓領域である。
【０１２５】
着目点２９４（ｘ，ｙ）における視差は、設定窓領域内で初期視差推定値の信頼性の低い領域２９１と接する周囲の領域（この場合は、初期視差推定値の信頼性の高い領域２９３ａ）での視差を用い、着目点２９４での視差が、周囲の領域と着目点２９４との距離に応じて、周囲の領域での視差の値の影響を受けるように決定する。この時、周囲の領域における視差は、物体輪郭線２９２を越えて着目点２９４に影響を与えないようにすることにより、物体輪郭線２９２の所で変化し、かつ、周囲の視差と滑らかに接続するするように視差を決定できる。物体輪郭付近での視差推定部２２３による視差推定を一例として式で表すと（数３０）となる。
【０１２６】
【数３０】
【０１２７】
ただし、物体輪郭付近での視差推定部２２３による視差推定は、（数３０）に限る必要はなく、視差が物体輪郭線で変化し、かつ、周囲の視差と滑らかに接続するものであればよいのは当然である。
【０１２８】
以上のように本実施の形態によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２９】
また、本実施の形態によれば、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１３０】
さらに、本実施の形態によれば、初期視差推定値の信頼性の低い領域において、着目点近傍で比較的少数の周囲の視差を参照して視差を計算することにより、少ないメモリ容量と演算量で視差の計算を行うことができる。
【０１３１】
また、第３と第４の実施の形態で説明した視差推定の結果を用いて、左右の画像をシフトし統合することにより、それら左右の画像に対応する各々の視点の間の所定の中間視点における画像を生成できる。ここで、視差推定と中間視点画像生成とは異なる場所で行ってもよい。以下に、視差推定と中間視点画像生成とを異なる場所で行う際の伝送、受信方法について説明する。
（第５の実施の形態）
図２５は、本発明の第５の実施の形態において、送信側で視差推定（もしくは動き推定）を行うシステムの送信ブロックの一例である。
【０１３２】
図２５において、１７０は左画像を基準とした視差ＶL を推定する視差推定手段、１７１は右画像を基準とした視差ＶR を推定する視差推定手段、１７２ａ〜ｄは符号化器、１７３ａ，ｂは復号化器、１７４は左画像Ｌと左画像を基準とした視差ＶL から右画像Ｒを予測する予測手段、１７５は左画像を基準とした視差ＶLから右画像を基準とした視差ＶRを予測する予測手段、１７６ａ，ｂは視差が正しく推定されない領域での視差を決定する穴埋め手段である。以下に上記構成の動作について説明する。
【０１３３】
まず、左画像Ｌは符号化器１７２ａによって符号化される。また、視差推定手段１７０、１７１によって左右の画像をそれぞれ基準とした視差ＶL，ＶRが推定される。オクルージョン等により視差が正しく推定されない領域については、第３または第４の実施の形態で説明した視差推定方法を用いた穴埋め手段１７６ａ，１７６ｂによって視差が決定される。
【０１３４】
次に、左画像を基準とした穴埋め後の視差は符号化器１７２ｂにより符号化される。符号化された左画像を基準とした穴埋め後の視差は、復号化器１７３ａにより復号化され、予測器１７４による右画像Ｒの予測と、予測器１７５による穴埋め後の右画像を基準とした視差の予測に用いられる。予測器１７５による右画像を基準とした視差ＶR の予測は、左画像を基準とした視差を用いて、（数３１）として計算する。
【０１３５】
【数３１】
【０１３６】
右画像Ｒは予測器１７４による予測画像との残差をとり、符号化器１７２ｄによって符号化される。右画像を基準とした穴埋め後の視差ＶR は、予測器１７５による予測視差との残差をとり、符号化器１７２ｃにより符号化される。
【０１３７】
図２６は、受信側で視差推定を行うシステムの受信ブロックの一例である。図２６において、１８１ａ〜ｄは復号化器、１７４は右画像Ｒの予測器、１７５は右画像を基準とした視差の予測器である。符号化された左画像Ｌ、左画像基準の視差ＶL、右画像基準の視差ＶRの予測誤差、右画像Ｒの予測誤差はそれぞれ復号化器１８１ａ〜１８１ｄにより復号化される。右画像Ｒは予測器１７４による予測結果と復号化された右画像の予測誤差とを加算して復元される。右画像基準の視差ＶR は、予測器１７５による予測結果と復号化された予測誤差とを加算して復元される。
【０１３８】
左画像Ｌ、右画像Ｒ、左画像基準の視差ＶL、右画像基準の視差ＶRが復元されると、例えば特願平７−１０９８２１号に示される中間視点画像生成方法により左右の画像の中間視点での画像を生成することができ、左画像、右画像と併せて多視点画像として表示することができる。
【０１３９】
以上説明したように、上記の構成により、送信側で視差推定と穴埋め処理を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。
【０１４０】
また、多視点画像を伝送する際に、送信側で中間視点画像生成を行うことにより伝送量を低減した画像伝送を行うことができる。そのような例について以下に説明する。
（第６の実施の形態）
図２７は、本発明の第６の実施の形態における多視点画像圧縮伝送システムの送信側の構成図である。図２７において、１０１ａ〜１０１ｄは各視点位置での画像を撮像するカメラ、１０２はカメラ１の画像とカメラ４の画像を圧縮し符号化する画像圧縮符号化部、１０３ａは画像圧縮符号化部１０２が圧縮符号化した画像データを復号化伸長する復号化画像伸長部、１０４ａは復号化画像伸長部１０３ａが復号化伸長したカメラ１の画像とカメラ４の画像から、カメラ２の視点とカメラ３の視点での画像を予測し生成する中間視点画像生成部、１０５はカメラ２の画像とカメラ３の画像について中間視点画像生成部１０４ａが生成した画像との残差を圧縮し符号化する残差圧縮符号化部である。以下に上記構成の動作について説明する。
【０１４１】
画像圧縮符号化部１０２は、多視点画像中の複数の画像（本実施の形態では４視点の画像の両端の視点の画像）を、画像間のブロック相関等を利用した既存の技術により圧縮し符号化する。図３１は、画像圧縮符号化部１０２の構成の一例を示す。図３１において、１０７ａ，１０７ｂは８×８画素もしくは１６×１６画素毎にＤＣＴ計算を行いＤＣＴ係数を計算するＤＣＴ手段、１０８ａ，１０８ｂはＤＣＴ係数を量子化する量子化手段、１０９ａは逆量子化手段、１１０ａは逆ＤＣＴ計算をおこなう逆ＤＣＴ手段、１１１は視差検出手段、１１２ａは視差補償手段、１１３ａは量子化されたＤＣＴ係数と視差を符号化する符号化手段である。以下に上記構成の動作について説明する。
【０１４２】
ＤＣＴ手段１０７ａは、カメラ１の画像をブロック毎に処理し、各ブロックについてＤＣＴ係数を計算する。量子化手段１０８ａは、そのＤＣＴ係数を量子化する。逆量子化手段１０９ａは、その量子化されたＤＣＴ係数を逆量子化する。逆ＤＣＴ手段１１０ａは、その逆量子化されたＤＣＴ係数を逆変換し、受信側で得られるカメラ１の画像を復元する。視差検出手段１１１は復元されたカメラ１の画像とカメラ４の画像間でブロックマッチングを行い、カメラ１の画像を基準とした視差をブロック毎に計算する。視差補償手段１１２ａは、上記復元されたカメラ１の画像とブロック毎の視差を用いてカメラ４の画像を予測する（すなわち、動画像の動き補償に相当する処理を行う）。ＤＣＴ手段１０７ｂは、カメラ４の画像と上記予測画像の残差をブロック毎に処理しＤＣＴ係数を計算する。量子化手段１０８ｂはその残差のＤＣＴ係数を量子化する。符号化手段１１３ａは、カメラ１の画像の量子化されたＤＣＴ係数、ブロック毎の視差、視差補償の残差の量子化されたＤＣＴ係数を符号化する。
【０１４３】
また、復号化画像伸長部１０３ａは、画像圧縮符号化部１０２によって圧縮符号化された画像データを復号化し伸長する。図３２は、復号化画像伸長部１０３ａの構成の一例を示す図である。図３２において、１１４ａは復号化手段、１０９ｂ、１０９ｃは逆量子化手段、１１０ｂ，１１０ｃは逆ＤＣＴ手段、１１２ｂは視差補償手段である。以下に上記構成の動作について説明する。
【０１４４】
復号化手段１１４ａは、圧縮符号化されたデータを復号化し、カメラ１の画像の量子化されたＤＣＴ係数、ブロック毎の視差、視差補償の残差の量子化されたＤＣＴ係数を伸長する。カメラ１の画像の量子化されたＤＣＴ係数は、逆量子化手段１０９ｂによって逆量子化され、逆ＤＣＴ手段１１０ｂによって画像として伸長される。動き補償手段１１２ｂは、その伸長されたカメラ１の画像と復号化された視差から、カメラ４の予測画像を生成する。そして、逆量子化手段１０９ｃ、逆ＤＣＴ手段１１０ｃによって伸長された残差を上記予測画像に加えることにより、カメラ４の画像を伸長する。
【０１４５】
中間視点画像生成部１０４ａは、本発明の第３もしくは第４のいずれかの実施の形態に示す方法によって、カメラ１とカメラ４の画像から画素毎の視差を計算し、カメラ２とカメラ３の画像を予測し生成する。
【０１４６】
残差圧縮符号化部１０５は、カメラ２とカメラ３の画像と上記予測画像の残差を圧縮し符号化する。中間視点画像生成部１０４ａは、視差を画素毎に計算するため、ブロックマッチングによるブロック毎の視差計算と比較して、精度よく視差を推定できる。その結果、中間視点画像の予測誤差（すなわち残差）を小さくすることができ、圧縮効率を高めることができるとともに、より有効なビット割り当てを行うことができ、画質を維持した圧縮を行える。図３３は、残差圧縮符号化部の構成の一例を示す。図３３において、１０７ｃ，１０７ｄはＤＣＴ手段、１０８ｃ，１０８ｄは量子化手段、１１３ｂは符号化手段である。カメラ２、カメラ３の画像の残差はそれぞれＤＣＴ手段１０７ｃ，１０７ｄによってＤＣＴ係数に変換され、量子化手段１０８ｃ，１０８ｄによって量子化され、符号化手段１１３ｂによって符号化される。
【０１４７】
図３４は、本発明の第６の実施の形態における多視点画像圧縮伝送システムの受信側の構成図である。図３４において、１０３ｂは送信側の画像圧縮符号化部１０２が圧縮符号化したカメラ１とカメラ４の画像データを復号化伸長する復号化画像伸長部、１０４ｂは復号化画像伸長部１０３ｂが復号化伸長したカメラ１とカメラ４の画像から、カメラ２とカメラ３の視点での画像を予測し生成する中間視点画像生成部、１０６はカメラ２とカメラ３の視点での予測画像の予測誤差（残差）を復号化し伸長する復号化残差伸長部である。復号化画像伸長部１０３ｂおよび中間視点画像生成部１０４ｂの動作については、送信側の復号化画像伸長部１０３ａおよび中間視点画像生成部１０４ａの動作と同一であるので説明を省略し、以下に復号化残差伸長部の動作について説明する。
【０１４８】
復号化残差伸長部１０６は、送信側の残差圧縮符号化部１０５によって圧縮符号化されたカメラ２とカメラ３の視点での予測画像の予測誤差（残差）を復号化し伸長する。図３５は、復号化残差伸長部１０６の構成の一例を示す。図３５において、１１４ｂは復号化手段、１０９ｄ，１０９ｅは逆量子化手段、１１０ｄ，１１０ｅは逆ＤＣＴ手段である。圧縮符号化されたカメラ２とカメラ３の画像の残差データは、復号化手段１１４ｂによって復号化され、それぞれ、逆量子化手段１０９ｄ，１０９ｅにより逆量子化され、逆ＤＣＴ手段１１０ｄ，１１０ｅにより伸長される。復号化伸長されたカメラ２とカメラ３の画像の残差を、中間視点画像生成部１０４ｂによって生成された画像にそれぞれ重畳することにより、カメラ２とカメラ３の視点の画像を復元する。
【０１４９】
以上のように、本実施の形態によれば、送信側で、多視点画像中の隣接しない２つの画像からその中間視点の画像を生成し、その生成した中間視点画像とその中間視点の実際の画像との残差を求め、上記２つの画像と中間視点画像の残差とを圧縮符号化して伝送する。受信側で、伝送されてきた２つの画像と中間視点画像の残差とを復号化伸長し、２つの画像から中間視点の画像を生成し、復号化伸長した中間視点画像の残差を重畳して中間視点での実際の画像に対応する画像を復元する。このようにすることにより、多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。
【０１５０】
なお、中間視点画像の生成は、多視点画像の両端の２視点（カメラ１とカメラ４の視点）での画像から中間視点での画像を生成する構成に限る必要はなく、例えば、カメラ２とカメラ４の画像からカメラ１とカメラ３の視点での画像を生成してもよく、カメラ１とカメラ３の画像からカメラ２とカメラ４の視点での画像を生成してもよい。更には、カメラ２とカメラ３の画像からカメラ１とカメラ４の視点での画像を生成してもよく、それぞれ本発明に含まれる。
【０１５１】
また、多視点画像の視点数は４視点に限る必要はなく、また、２視点以上の視点での画像からそれぞれの視点間の中間視点画像を生成してもよいのは明らかであり、本発明に含まれる。
【０１５２】
また、本発明の第３および第４の実施の形態において、初期視差推定値の信頼性評価値としては、（数２３）に示すものに限る必要はなく、（数２３）の分子のみを信頼性評価値としても、参照画像の輝度こう配の影響を受けるがほぼ同様の効果を得ることができ本発明に含まれる。
【０１５３】
また、画像のノイズレベルが低い場合には、信頼性評価値としてノイズ項を無視した値を計算しても同様の効果が得られるのは当然であり本発明に含まれる。
【０１５４】
さらに簡略化して、信頼性評価値として、１画素当たりの残差平方和の最小値、あるいは残差平方和の最小値を用いてもよく、より簡単な回路で計算が可能となり、本発明に含まれる。
【０１５５】
また、初期視差推定値の信頼性評価値としては、（数３２）に示す双方向に推定した視差の差異を用いてもよく、本発明に含まれる。
【０１５６】
【数３２】
【０１５７】
また、初期視差推定の信頼性評価値としては、上記のものを２つ以上組み合わせて用いることにより、より安定した信頼性評価をすることができ、本発明に含まれる。
【０１５８】
また、本発明の第３および第４の実施の形態において、初期視差推定のための画像間の相関演算は残差平方和（ＳＳＤ）に限る必要はなく、残差絶対値和（ＳＡＤ）を用いても同様の効果を得ることができ、そのような実施の形態ももちろん本発明に含まれる。
【０１５９】
また、本発明の第６の実施の形態において、隣接しない２つの視点での画像の圧縮符号化の方法としては、画像間（視点間）の相関を利用したものに限る必要はなく、時間方向の相関を利用したものを用いてもよく、本発明に含まれる。
【０１６０】
【発明の効果】
以上のように本発明によれば、カメラの撮像面（ＣＣＤ）のサイズと、撮像面とレンズ中心との距離と、レンズの焦点距離に関する情報とを付加して伝送することにより、撮影時の視野角に応じた表示を行おうとする際、被写体に接近して撮影した映像についても、表示側で撮影時の視野角を精度よく計算することができ、撮影時と同一の視野角を再現する観察距離を精度よく決定できる。
【０１６１】
また、多視点画像を伝送する際に画像内の最近点、最遠点の情報を付加することにより、表示時に目の疲れない表示（視差制御）を行うことができる。
【０１６２】
また、人の目の融合範囲に応じた視差制御を行うことによって、表示時に画像のより多くの部分で視差を融合範囲内に入るようにすることができる。
【０１６３】
また、伝送側において、付加する最近点、最遠点の情報として、実際の画像中の最近点、最遠点とは異なる値を設定し、表示側において該設定値の最近点に相当する視差と、最遠点に相当する視差の平均の視差が、融合範囲の中央になるように視差制御することにより、画像作成者の意図する奥行きでの画像を優先的に観察者に提示することができる。
【０１６４】
また、本発明によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１６５】
また、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。。
【０１６６】
また、送信側で視差の穴埋め処理（本発明による、視差が物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに接続する視差推定処理）を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。
【０１６７】
また、多視点画像伝送システムの送信側と受信側の双方で中間視点画像の生成を行うことにより、中間視点画像の伝送量（残差の伝送量）を少なくすることができ、その結果多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における平行投影の場合の最近点、最遠点、観察者の輻輳と調節が一致する点の位置関係を示す図
【図２】同被写体の位置、合焦時の撮像面の位置と焦点距離の関係を示す図
【図３】同２つのプロジェクタを用いて輻輳投影をする場合の輻輳距離、最近点、最遠点の位置関係を示す図
【図４】本発明の第１の実施の形態における画像伝送方法で定義するパラメータを示す図
【図５】画像間の視差の平均値を相殺するようにずらす処理のブロック図
【図６】左画像を基準としてブロックマッチングにより視差を計算する場合を示す図
【図７】平行撮影の場合を示す図
【図８】輻輳撮影の場合を示す図
【図９】（ａ）〜（ｃ）は、（数１４）による重み付け平均の計算に用いる重みの分布の例を示す図
【図１０】画像復号手段の動作を示す図
【図１１】本発明の第２の実施の形態における視差制御方式のブロック図
【図１２】シフト演算手段の構成の一例を示す図
【図１３】融合範囲テーブルの特性図
【図１４】（数１６）の図形的な意味を示す図
【図１５】視差の頻度分布図
【図１６】本発明の第３の実施の形態による視差推定装置の構成図
【図１７】同ブロックマッチングを示す図
【図１８】同輪郭検出部の構成図
【図１９】同エッジ検出部の構成の一例を示す構成図
【図２０】（ａ）〜（ｆ）は、同方向別のフィルタの重み係数の例を示す図
【図２１】同稜線検出部の構成図
【図２２】同物体輪郭付近での視差推定部の構成図
【図２３】本発明の第４の実施の形態による視差推定装置の構成図
【図２４】同物体輪郭線近傍での視差推定を示す図
【図２５】本発明の第５の実施の形態で送信側で視差推定を行うシステムの送信部の構成図
【図２６】本発明の第５の実施の形態で送信側で視差推定を行うシステムの受信部の構成図
【図２７】本発明の第６の実施の形態における多視点画像伝送システムの送信部の構成図
【図２８】ＭＰＥＧ−２シンタックスの概略図
【図２９】伝送される多視点画像の時空間方向の関係図
【図３０】ＯｐｅｎＧＬによるカメラパラメータの定義を示す図
【図３１】本発明の第６の実施の形態における多視点画像伝送システムの画像圧縮符号化部の構成の一例を示す図
【図３２】本発明の第６の実施の形態における多視点画像伝送システムの復号化画像伸長部の構成の一例を示す図
【図３３】本発明の第６の実施の形態における多視点画像伝送システムの残差圧縮符号化部の構成の一例を示す図
【図３４】本発明の第６の実施の形態における多視点画像伝送システムの受信部の構成図
【図３５】本発明の第６の実施の形態における多視点画像伝送システムの復号化残差伸長部の構成の一例を示す図
【符号の説明】
Ａ 表示される画像の最近点
Ｂ 最遠点
Ｃ 観察者の輻輳と調節が一致する点
Ａ１，Ａ２ カメラのレンズ中心
Ｂ１，Ｂ２ 画像面の中心
Ｃ１ 輻輳点
２０１ 初期視差推定部
２０２ 初期視差推定時の信頼性評価部
２０３ 輪郭検出部
２０４ 物体輪郭付近での視差推定部
【発明の属する技術分野】
本発明は、多視点画像の伝送方法及び多視点画像の表示方法に関する。また、本発明は、多視点画像の中間視点画像生成方法及び視差推定方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来、立体映像方式には様々なものが提案されているが、特殊な眼鏡をかけることなく立体動画像を複数人数で観察できる方式として、多視点画像による多眼式立体映像方式が有望である。多眼式立体映像方式においては、使用するカメラ台数及び表示装置台数が多いほど、観察者に対して自然な運動視差を感じさせることができ、また、多人数での観察が容易になる。しかしながら、撮像系の規模やカメラの光軸の設定等の制約により、実用的に用いることができるカメラ台数には限度がある。また、伝送、蓄積過程においては、カメラ台数に比例して増大する情報量を低減することが望まれる。
【０００３】
そこで、表示側において、２眼式ステレオ画像から中間視点画像を生成することにより多眼式立体画像を表示できれば、撮像系の負担を軽減し、伝送、蓄積時の情報量を低減することができることになる。視点の異なる複数の画像から、その異なる視点間の任意の視点で見えるべき中間視点画像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。
【０００４】
また、動画像をデジタル伝送するための画像圧縮方式として、ＭＰＥＧ−１、ＭＰＥＧ−２が提案されている。さらに、ＭＰＥＧ−２を拡張して多視点画像を伝送する試みも行われている（ISO/IEC13818-2/PDAM3）。図２８は、ＭＰＥＧ−２シンタックスの概略図である。ＭＰＥＧ−２による伝送は、Sequence、ＧＯＰ（Group Of Picture）、Picture という階層構造を持つ画像データの符号化、復号化によって行われる。ISO/IEC13818-2/PDAM3によると、ＭＰＥＧ−２の拡張による多視点画像の伝送は、（明記されていないためはっきりしないが）ＧＯＰ層を拡張して実現されるようである。
【０００５】
図２９は、伝送される多視点画像の時空間方向の関係を示すものである。従来のＭＰＥＧ−２で用いられてきた動き補償に加えて、視差補償を用いることによって符号化効率を高めようとしている。多視点画像を伝送する際には、各カメラに関する情報（カメラの位置、カメラの光軸の向き等のカメラパラメータ）を付加して伝送する必要がある。ISO/IEC13818-2/PDAM3には、カメラパラメータは図２８のPic.Extension（Picture層の拡張）に含めて伝送することが述べられているが、具体的なカメラパラメータの記述については述べられていない。
【０００６】
カメラパラメータの記述に関しては、ＣＧ言語であるＯｐｅｎＧＬにおいて、カメラの位置、カメラの光軸の向き、カメラの位置と画像面との距離がカメラパラメータとして定義されている（「オープン ジーエル プログラミングガイド」（OpenGL Programming Guide,The Official Guide to Learning OpenGL,Release 1,Addison-Wesley Publishing Company,1993））。
【０００７】
図３０は、ＯｐｅｎＧＬによるカメラパラメータの定義を示す説明図である。図３０において、Ａはレンズ中心、Ｂは画像面（すなわち撮像面）の中心、ＣはＢから画像上端におろした垂線と画像上端の交点を示す。Ａ，Ｂ，Ｃの座標値はそれぞれ、
（optical center X,optical center Y,optical center Z）,（image plane center X,image plane center Y,image plane center Z）,（image plane vertical X,image plane vertical Y,image plane vertical Z）として定義されている。
【０００８】
上記のＯｐｅｎＧＬで定義されるカメラパラメータの情報をPic.Extensionに付加して多視点画像を伝送することが容易に考えられる。
【０００９】
【発明が解決しようとする課題】
しかしながら上記のような従来の方法では、中間視点画像生成のための画像間の対応づけにおける根本的な問題は、奥行きが不連続に変化する物体輪郭線において、オクルージョンが生じるために画像間の対応を精度よく求めるのは困難なことである。しかし、この物体輪郭線近傍での視差の推定値は、生成される中間視点画像における物体の輪郭位置を決定するため、中間視点画像の合成時には非常に重要である。すなわち、視差推定時に物体輪郭線近傍で視差の推定誤差が生じると、前景領域の画素が背景側にはりついたり、逆に背景領域の画素が前景にはりつき、物体の輪郭線が乱れたり、物体輪郭線近傍の背景領域に偽輪郭が生じることになる。
【００１０】
本発明はかかる点に鑑み、物体輪郭線近傍での視差の急激な変化（不連続な変化）を精度よく推定する視差推定方法およびその装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
第１の本発明（請求項１対応）は、２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき、前記物体輪郭線を含む前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、前記信頼性の低い領域の周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行うことを特徴とする視差推定方法である。
また、第２の本発明（請求項２対応）は、初期視差の信頼性の低い領域における視差は、前記視差と、前記物体輪郭線とを用いて定義した視差分布のエネルギーを最小化するように決定することを特徴とする第１の本発明の視差推定方法である。
また、第３の本発明（請求項３対応）は、前記エッジ検出は、周波数特性の異なる方向別フィルタの各出力を統合して行うことを特徴とする第１又は第２の本発明の視差推定方法である。
また、第４の本発明（請求項４対応）は、前記エッジ検出は、前記周波数特性の異なる方向別フィルタの各出力の統合結果に対して、更に稜線抽出を行うことを特徴とする第３の本発明の視差推定方法である。
また、第５の本発明（請求項５対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和を用いることを特徴とする第１〜第４のいずれか本発明の視差推定方法である。
また、第６の本発明（請求項６対応）は、前記初期視差の信頼性評価値は、初期視差計算時の１画素当たりの残差平方和を用いることを特徴とする第１〜第４のいずれか本発明の視差推定方法である。
また、第７の本発明（請求項７対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和、画像のノイズレベル、及び輝度勾配を用いて計算することを特徴とする第１〜第４のいずれか本発明の視差推定方法である。
また、第８の本発明（請求項８対応）は、前記初期視差の信頼性評価値は、左右双方の画像を基準として計算した初期視差の対応の差異を用いて計算することを特徴とする第１〜第４のいずれか本発明の視差推定方法である。
また、第９の本発明（請求項９対応）は、前記初期視差の信頼性評価値は、第５〜第８のいずれか本発明の前記視差推定方法の２つ以上を組み合わせて計算することを特徴とする視差推定方法である。
また、第１０の本発明（請求項１０対応）は、２眼式画像から左右それぞれの画像を基準とした初期視差と前記初期視差の信頼性評価値を計算し、初期視差が正しく計算できない領域での視差は請求項１〜９のいずれかに記載の方法によって再計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差から前記２眼式画像の他方の画像を予測して予測誤差を計算し、前記一方の画像を基準とした視差から他方の画像を基準とした前記再計算後の視差を予測して予測誤差を計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差と前記２眼式画像の他方の画像の予測誤差と前記他方の画像を基準とした再計算後の視差の予測誤差とを符号化し伝送する画像伝送方法である。
また、第１１の本発明（請求項１１対応）は、第１０の本発明の画像伝送方法により伝送された符号化信号を受信し、その受信信号から２眼式画像及び再計算後の視差を復号化し、その復号化された２眼式画像及び復号化された再計算後の視差を用いて中間視点画像を生成し、その中間視点画像及び前記２眼式画像を併せて多眼式画像として表示する画像表示方法である。
また、第１２の本発明（請求項１２対応）は、多眼式画像から代表画像を選択し、選択されなかった画像は、２枚の代表画像をそれぞれ基準画像として、２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検 出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定することにより、前記物体輪郭線において不連続に変化する視差推定を行う視差推定方法によって計算した視差と前記２枚の代表画像とを用いて予測し、前記選択されなかった画像と予測画像の残差を計算し、前記代表画像と前記選択されなかった画像の予測誤差を符号化して伝送することを特徴とする多視点画像伝送方法である。
また、第１３の本発明（請求項１３対応）は、第１２の本発明の画像伝送方法により伝送された符号化信号を受信し、前記代表画像を復号化し、前記代表画像をそれぞれ基準画像として第１〜第４のいずれかの本発明の方法によって視差を計算し、送信部で代表画像に選択されなかった画像を前記代表画像と前記視差を用いて予測し、前記選択されなかった画像の予測誤差を復号化し、前記予測誤差を前記予測画像に重畳して多視点画像を復元することを特徴とする多視点画像復元方法である。
また、第１４の本発明（請求項１４対応）は、前記代表画像の符号化は、１枚の代表画像と当該代表画像を基準として他の代表画像について計算した視差から他の代表画像を予測し、前記一枚の代表画像と前記他の代表画像の予測誤差を符号化することにより行うことを特徴とする第１２の本発明の多視点画像伝送方法である。
また、第１５の本発明（請求項１５対応）は、２つの撮像画像の初期視差を計算する初期視差推定部と、前記初期視差の信頼性評価値と計算する信頼性評価部と、前記画像のエッジを検出する輪郭検出部と、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき、前記物体輪郭線を含む前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、前記信頼性の低い領域の周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行う視差推定部を備えたことを特徴とする視差推定装置である。
【００１２】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
（第１の実施の形態）
図４は、本発明の第１の実施の形態における画像伝送方法で定義するパラメータを示す図である。図４において、A1，A2はカメラのレンズ中心の位置を示し、B1，B2は撮像面の中心を示す（説明を簡単にするために、撮像面をレンズ中心に対して被写体側に折り返して考えている）。
【００１３】
ＯｐｅｎＧＬでは図４のA1B1，A2B2の距離をカメラのレンズの焦点距離として定義しているが、本発明においては、カメラのレンズ中心と撮像面の距離を該レンズの焦点距離とは独立に定義する。この定義により、合焦時のレンズ中心と撮像面との距離を被写体の距離に応じて計算でき、正確な視野角を計算できる。視野角は、撮像面のサイズと、レンズ中心と撮像面との距離から計算できる。
【００１４】
以下に図２を用いて、合焦時のレンズ中心と撮像面との距離が、被写体とレンズ中心との距離によって変化することを説明する。図２は、被写体の位置、合焦時の撮像面の位置と焦点距離の関係を示す図である。図２において、Ａは被写体の位置、ＢはＡからの光が結像する点、Ｏはレンズの中心、Ｆは平行光がレンズにより結像する点、ａは被写体とレンズ中心Ｏとの距離、ｂはＡからの光が結像する点Ｂとレンズ中心Ｏとの距離、ｆはレンズの焦点距離を示す。ａ，ｂ，ｆの間には（数１）の関係が成り立つことが知られている。
【００１５】
【数１】
（数１）より、被写体が焦点距離を無視できるくらいレンズから遠い（ａ>>ｆ）場合には、１／ａ → ０となりｂ ＝ ｆと近似できる。しかし、被写体が比較的レンズに近い場合には、１／ａの項を無視できず、ｂ≠ｆとなる。従って、被写体が比較的レンズに近い場合にも正しく視野角を計算するためには、レンズ中心と結像面との距離を焦点距離とは独立に定義する必要がある。そして、撮像面の幅をｗin、高さをｈinとすると、撮像時の視野角は（数２）で表される。
【００１７】
【数２】
よって、表示時の画像の幅をｗout、高さをｈoutとすると、撮像時の視野角を再現する観察距離は、
【００１９】
【数３】
となる。
【００２１】
次に、画像内の最近点、最遠点に基づく表示側における見やすさの改善について説明する。図３は、２つのプロジェクタを用いて輻輳投影をする場合の輻輳距離、最近点、最遠点の位置関係を説明するための図である。図３において、Ｃは輻輳点、Ａは最近点、Ｂは最遠点を示す。
【００２２】
輻輳のある投射においては、観察者が輻輳点Ｃを見る場合に視差が０となる（図３において、両眼とも画像の中心を見ることになるので、左右の目が見る画像内の相対的な位置の違いはなくなる）。そして、最近点Ａを見る場合にはいわゆる寄り目の状態となり、画像上で寄り目の方向にＤａの視差が生じる。図３において観察者は、輻輳点Ｃを見るときと比べて、両目とも内側にＤａ／２ずれた点を見る。また、逆に最遠点Ｂを見る場合にはいわゆる離れ目の状態となり、画像上で離れ目の方向にＤｂの視差が生じる。
【００２３】
また、図１は平行投影の場合の最近点、最遠点、観察者の輻輳と調節が一致する点の位置関係を示す図である。図１において、Ａは表示される画像の最近点、Ｂは最遠点、Ｃは観察者の輻輳と調節が一致する点を示す。図１に示す平行投影の場合、Ｄc の視差がある画像を表示すると、スクリーン上では同じ点に表示され、観察者の輻輳と調節が一致する。
【００２４】
上述の図３と図１の画像内における視差は、観察者にスクリーン面（Ｃを含む面）に対して手前か奥かという立体感として知覚されるが、視差が大きくなると融合しなくなったり（２重に見える状態）、観察者に違和感・不快感を与えたりする。
【００２５】
観察者の見やすさの改善は、最近点、最遠点、撮像時の輻輳点をもとに、画像を図３に示す方向（画像１、画像２を各々の投射軸の垂直面内で水平方向）にずらすことにより、輻輳点と最遠距離、最近距離との位置関係を変化させることで可能となる。画像のずらし方については、例えば画像間の視差の平均値を相殺するようにずらすことによって、画像全体を均一に見やすくできる。
【００２６】
図５は、そのような処理のブロック図である。図５では、簡単のために２眼式（２視点）のデータについての例を示している。図５において、１は画像復号手段、２は視差推定手段、３は平均視差演算手段、４ａ，４ｂは画像シフト手段、５ａ，５ｂは画像表示手段である。以下に各手段の動作について説明する。
【００２７】
画像復号手段１は、送信側で符号化された多視点画像データを受信し、これを復号する。画像復号手段１により復号された左右の画像は視差推定手段２に送られる。視差推定手段２は、画像復号手段１によって復号された左右の画像から各画素における視差（視差地図）を計算する。例えば、左画像を基準としてブロックマッチングにより視差を計算する場合について、図６を用いて以下に説明する。まず、左画像中に窓領域を設定する。次に、（数４）に示す残差平方和(ＳＳＤ)を計算する。
【００２８】
【数４】
（数４）の計算は、dminからdmaxの範囲のｄについて１画素間隔で計算する。そして、dminからdmaxの範囲でＳＳＤを最小にするｄの値を、設定した窓領域での視差とする。画像の各画素における視差は、窓領域を順次ずらして設定し、上記の計算をすることによって得られる。
【００３０】
ＳＳＤを計算する範囲dmin、dmaxは、最近点、最遠点の情報より計算できる。図７、図８を用いて、平行撮影時と輻輳撮影時の場合のdmin、dmaxの求め方について以下に説明する。
【００３１】
図７は、平行撮影の場合を示す図である。図７に示す座標系において、左右のレンズ中心の座標値を（−Ｄ／２，０）、（Ｄ／２，０）、撮像面とレンズ中心との距離をｂ、３次元空間中の物体位置の水平座標値をＸ0 、奥行き方向の座標値をＺ0 、左右の撮像面で位置（Ｘ0、Ｚ0）の物体からの光が撮像される水平位置をそれぞれｘl0, ｘr0とする（ｘl0, ｘr0はカメラの光軸と撮像面の交点を原点とする平面座標系の水平座標）と、図形的な関係より、
【００３２】
【数５】
となる。よって、左右の画像を基準とした視差はそれぞれ、（数６）に示す式で表される。
【００３４】
【数６】
ここで、画像中の最近点の奥行き値をＺmin、最遠点の奥行き値をＺmaxとすると、ＳＳＤを計算する範囲の上限dmaxと下限dminは（数７）で表される。
【００３６】
【数７】
また、図８は輻輳撮影の場合を示す図である。図８に示す座標系において、輻輳点（左右のカメラの光軸の交点）の座標値を（０，Ｃ）、左右のレンズ中心の座標値を（−Ｄ／２，０）、（Ｄ／２，０）、撮像面とレンズ中心との距離をｂ、３次元空間中の物体位置の水平座標値をＸ0、奥行き方向の座標値をＺ0、左右の撮像面で位置（Ｘ0、Ｚ0）の物体からの光が撮像される水平位置をそれぞれｘl0，ｘr0とする（ｘl0，ｘr0はカメラの光軸と撮像面の交点を原点とする平面座標系の水平座標）と、図形的な関係より、
【００３８】
【数８】
となる。したがって、左右の画像を基準とした時の視差はそれぞれ、（数９）に示す式で表される。
【００４０】
【数９】
（数９）の式中にＸ0が残っていることから、輻輳撮像では奥行きが同じであっても、水平方向の位置によって視差が異なる（即ち、再生される立体像が歪む）ことがわかる。今、簡単のためにＸ0＝０（即ちＺ軸）上の点における視差を考えると、（数９）にＸ0＝０を代入して（数１０）を得る。
【００４２】
【数１０】
（数１０）より、画像中の最近点の奥行き値Ｚmin、最遠点の奥行き値Ｚmax、輻輳点の奥行き値Ｃの位置関係と、水平画素数ｎｘ、撮像面(ＣＣＤ)の幅ｗinから視差の上限画素数dmax、下限画素数dminを決定できる。
【００４４】
Ｚ軸上以外の点における視差を考慮する場合には、（数９）の最大値、最小値を計算することによって、視差の上限dmax、下限dminを決定できる。
【００４５】
以上説明したように、画像中の最近点の奥行き値、最遠点の奥行き値、カメラの位置、カメラの光軸の向きが与えられると、視差の取るべき値の範囲を計算でき、視差演算時にＳＳＤを計算する範囲を決定できる。平均視差演算手段３は、視差推定手段２によって計算された視差地図の平均を演算する。視差地図の平均は（数１１）を計算することによって得られる。
【００４６】
【数１１】
画像シフト手段４ａ、４ｂは、平均視差演算手段３によって得られる平均視差を有する奥行きの点が、表示面と同じ奥行き（すなわち表示面上で視差０となるように）に表示されるように画像をシフトする。
【００４８】
平行投影による表示を示す図１において、Ａは表示する画像中の最近点の奥行き、Ｂは最遠点の奥行き、Ｃは平均視差の奥行きを示す。図１から、平行投影では左右の画像間で（数１２）で示すＤc の視差がある場合に、スクリーン上で視差がなくなり、輻輳と調節が一致した自然な表示となることがわかる。
【００４９】
【数１２】
画像シフト手段４ａは、（数１３）に示すシフト量（右方向へのシフトを正としている）だけ左画像をシフトする。
【００５１】
【数１３】
そして、画像シフト手段４ｂは、逆方向に同じ量だけ右画像をシフトする。画像シフト手段４ａおよび４ｂによるシフトの結果、平均視差を有する点がスクリーンと同一の奥行きに表示されるようになる。
【００５３】
また、輻輳投影による表示を示す図３において、Ａは表示する画像中の最近点の奥行き、Ｂは最遠点の奥行き、Ｃは平均視差の奥行きを示す。輻輳投影では、画像の中心で視差が０の場合に、スクリーンと同一の奥行きに表示されることになる。したがって、輻輳投影の場合画像シフト手段４ａおよび４ｂは平均視差を−１／２倍した値だけ左右の画像をシフトする。
【００５４】
以上のように本実施の形態によれば、多視点画像を伝送する際に、画像内の最近点、最遠点の情報を付加することにより、表示側で目の疲れない表示（視差制御）を行うことができる。
【００５５】
また、カメラの撮像面（ＣＣＤ）のサイズ、撮像面とレンズ中心との距離、及びレンズの焦点距離に関する情報を付加して伝送することにより、撮影時の視野角に応じた表示を行おうとする際、被写体に接近して撮影した映像についても、表示側で撮影時の視野角を精度よく計算することができる。
【００５６】
なお、多視点画像中の最近点、最遠点に関する情報を付加せずに伝送する場合には、最近点、最遠点に関する情報の変わりに、最近点、最遠点に関する情報が付加されていないことを示す専用の符号を付加して伝送し、表示側において、予め設定した範囲内で視差の計算を行うことにより、画像内の最近点、最遠点での視差を推定することができ、本発明に含まれる。
【００５７】
さらに、伝送側において、多視点画像中の最近点、最遠点に関する情報を特定の奥行き値に設定することにより、その設定された特定の奥行き範囲での視差が融合範囲に入るように視差制御することができ、本発明に含まれる。
【００５８】
また、本発明においては視差の計算を表示側で行う例について説明したが、符号化された画像中に含まれる視差を用いてもよく、本発明に含まれる。図１０を用いてそのような例について説明する。
【００５９】
図１０において、画像復号手段６以外の構成の動作は、図５に示す視差制御方式と同一であるので説明を省略し、以下画像復号手段６の動作について説明する。画像復号手段６は、符号化された画像データを復号し、左右の画像と左画像を基準とした視差を出力する。ＭＰＥＧ−２による多視点画像伝送方式で２眼式画像を伝送する際には、左画像を基準とする視差補償により圧縮率を高めている。符合化された画像データ中から視差を取り出すことにより、表示側で視差の計算をする必要がなくなり、表示側での演算量を低減できる。
【００６０】
なお、平均視差演算手段３による視差の平均の計算は、画面の中央部を重視して（数１４）による重み付け平均値を用いてもよい。こうのようにすれば、画像の中心部で、より融合しやすい視差制御を行え、本発明に含まれる。
【００６１】
【数１４】
図９（ａ）（ｂ）（ｃ）は、（数１４）による重み付け平均の計算に用いる重みの分布の例を示す。簡単のため１次元的に示しているが、実際には、画像中央部で周辺部よりも大きな値となる２次元的な分布である。また、重みの値はすべて０以上の値（負でない値）である。
（第２の実施の形態）
図１１は、本発明の第２の実施の形態における視差制御方式のブロック図である。図１１において、頻度計算手段７、シフト量演算手段８以外の構成は、第１の実施の形態におけるものと同一の動作を行うものであるため、第１の実施の形態での説明図と同一の符号を付し、説明を省略する。以下に頻度計算手段７、シフト量演算手段８の動作について説明する。
【００６３】
頻度計算手段７は、画像復号手段６によって復号された左画像基準の視差の頻度を計算する。視差の頻度とは、画像のある領域（たとえば、画像全体でもよいし、いっての基準で決めた特定の領域でもよい）内における視差の各値毎に計算した画素数である。シフト量演算手段８は、頻度計算手段７によって計算された（画像間での）視差の頻度と画像の視野角に応じた人の目の融合範囲とから、融合範囲内の視差の頻度の和が最大になるシフト量を演算し、画像シフト手段４ａ, ４ｂに出力する。
【００６４】
図１２は、シフト演算手段８の構成の一例を示す。図１２において、９はＭＰＵ、１０は融合範囲テーブルである。ＭＰＵ９は画像表示面の幅と観察距離から（数１５）に示す水平方向の視野角を計算し、該視野角における融合範囲を融合範囲テーブル１０から読み出す。
【００６５】
【数１５】
図１３は融合範囲テーブルの特性の１例を示す。図１３において、横軸は画像表示面の水平方向の視野角であり、縦軸は視差の融合範囲（（数１６）により角度換算している）である。
【００６７】
【数１６】
なお、図１３の縦軸の符号は負の側が表示面よりも手前に知覚される視差、正の側が表示面よりも奥に知覚される視差を示している。図１４は、（数１６）の図形的な意味を示す図である。図１４は、角度換算した視差θは画像表示面上での視差Δを視野角に換算したものであることを示す。
【００６９】
一方、図１および図３に示す平行投影と輻輳投影において、画像の位置（例えば液晶プロジェクタであれば液晶上の画素の位置）ｘl1,ｘr1 と表示面上での位置Ｘl,Ｘr の位置関係は、それぞれ（数１７）（数１９）となり、表示面上での視差は（数１８）（数２０）となる。
【００７０】
【数１７】
【数１８】
【数１９】
【数２０】
そして、撮影時の撮影面上での座標値（ｘl0,ｙl0），（ｘr0,ｙr0）と、投影時の画像の位置（ｘl1,ｙl0），（ｘr1,ｙr1）（例えば液晶プロジェクタであれば液晶上の画素の位置）との関係は、（数２１）で表される。
【００７５】
【数２１】
ここで、撮像面の幅ｗinはカメラパラメータから得られ、表示時の画像幅ｗoutは表示系固有の値である。
【００７７】
撮像時の条件（平行撮影／輻輳撮影）に応じて（数５）もしくは（数８）を用いてｘl0,ｘr0を計算し、（数２１）によりｘl1,ｘr1に変換する。更に、投影時の条件（平行投影／輻輳投影）に応じて、（数１８）もしくは（数２０）を計算することにより、撮像条件、投影条件の双方を考慮して、表示画面上での視差を計算できる。
【００７８】
ＭＰＵ９は、融合範囲テーブル１０から読み出した融合範囲を表示面上での視差(距離)に換算し、画像表示面上での視差の融合範囲を決定する。そして、ＭＰＵ９は、上述した画像データにおける視差と画像表示面上での視差の関係とを用いて、融合範囲内の視差の頻度の和が最大になるような、画像データに対するシフト量を計算する（視差制御による画像のシフトは、視差の頻度分布を図１５において水平方向に移動させることを意味する）。
【００７９】
画像シフト手段４ａ，４ｂによって該出力シフト量だけ逆方向に画像をシフトし、画像表示手段５ａ，５ｂによって表示することにより、融合範囲内での視差の頻度の和が最大（すなわち画像内で融合する画素の面積が最大）になる表示を行うことができる。
【００８０】
以上説明したように、本実施の形態によれば、人の目の融合範囲に応じた視差制御を行うことによって、表示時に画像のより多くの部分で視差を融合範囲内に入るようにすることができる。
【００８１】
なお、本実施の形態では、融合範囲内での視差頻度の和が最大になる視差制御について説明したが、視差の平均値が融合範囲の中央になるように視差制御してもほぼ同等の効果を得ることができ、本発明に含まれる。
【００８２】
また、伝送側において、最近点及び最遠点を、実際の画像中の最近点及び最遠点とは異なる値に設定し、表示側において該設定値の最近点及び最遠点に相当する各々の視差の平均の視差が、融合範囲の中央になるように視差制御することにより、画像作成者の意図する奥行きでの画像を優先的に観察者に提示することができ、本発明に含まれる。
（第３の実施の形態）
本発明の第３の実施の形態は、１組の画像対を入力し、初期視差と初期視差の信頼性とを計算し、基準画像と初期視差の信頼性とから物体輪郭線を検出し、初期視差と初期視差の信頼性と検出された物体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の低い領域での視差を決定する。このとき視差は、物体輪郭線において変化し、かつ、周囲の視差とは滑らかに接続するように決定する視差推定方法およびその装置である。
【００８３】
本実施の形態では前述した構成により、基準画像と参照画像の１組の画像対から、初期視差と初期視差の信頼性とを計算し、基準画像と初期視差の信頼性とから物体輪郭線を検出し、初期視差と初期視差の信頼性と検出された物体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の低い領域での視差が、物体輪郭線において変化し、かつ、周囲の視差とは滑らかに接続するように決定する。
【００８４】
図１６は、本発明の第３の実施の形態における視差推定装置のブロック図である。
【００８５】
図１６において、２０１はブロックマッチングによる初期視差を計算する初期視差推定部、２０２は初期視差推定時の信頼性評価部、２０３は輪郭検出部、２０４は物体輪郭付近での視差推定部である。
【００８６】
以下に上記構成の動作について説明する。
【００８７】
初期視差推定部２０１は、（数２２）に示す残差平方和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅｓ 以下ＳＳＤ）の計算を行う。（数２２）によるＳＳＤの値は、基準画像に設定した窓領域と参照画像中に設定した窓領域内の画素値の分布が似ているところでは小さな値となり、逆に双方の窓領域内での画素値の分布が異なるところでは大きな値となる。初期視差推定部２０１は、所定の探索範囲内でＳＳＤの値を最小とする画像間のずれ量ｄを着目点（ｘ，ｙ）における視差とし、その視差の値を物体輪郭付近での視差推定部２０４に出力し、探索範囲内でのＳＳＤの最小値を初期視差推定時の信頼性評価部２０２に出力する。
【００８８】
【数２２】
図１７は、初期視差推定部２０１による上記初期視差推定（ブロックマッチング）を説明する図である。図１７において、着目点（ｘ，ｙ）を中心にして設定した窓領域が、（数２２）の積分領域Ｗを示す。窓領域を順次ずらして設定し、上記のＳＳＤの計算を行うことにより画像全体での初期視差を得ることができる。
【００９０】
初期視差推定時の信頼性評価部２０２は、初期視差推定部２０１による視差計算で得られたＳＳＤの探索範囲中での最小値、窓領域（ブロック）内の画素数、画像間のノイズの分散、窓領域内での基準画像の水平垂直方向の輝度こう配の２乗の平均値から、（数２３）に示す対応付けの信頼性評価値を計算する。
【００９１】
【数２３】
（数２３）の値は、小さいほど視差推定の信頼性が高いことを示し、逆に大きいほど信頼性が低いことを示す。
【００９３】
図１８は、輪郭検出部２０３の構成の一例を示すブロック図である。図１８において、２０５は基準画像を輝度成分と色成分に分離するＹＣ分離回路、２０６Ａ，２０６Ｂ，２０６Ｃは、上記分離された輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙからそれぞれエッジを検出するエッジ検出回路、２０７はエッジ検出結果の稜線における強度のみを出力する稜線検出部、２０８は初期視差推定値の信頼性の低い領域で１の重みを出力し、初期視差推定値の信頼性の高い領域では０の重みを出力する重み発生回路である。
【００９４】
以下に上記構成の動作について説明する。
【００９５】
ＹＣ分離回路２０５は、基準画像を輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙに分離し出力する。
【００９６】
エッジ検出回路２０６Ａ，２０６Ｂ，２０６Ｃはそれぞれ、上記Ｙ，Ｒ−Ｙ，Ｂ−Ｙ成分からエッジ成分を検出する。図１９は、エッジ検出回路２０６の構成の一例を示すブロック図である。図１９において、２０９Ａ，２０９Ｂ，２０９Ｃはそれぞれ低空間周波数域、中空間周波数域、高空間周波数域におけるエッジ成分を検出する方向別フィルタ群である。２１０、２１１、２１２、２１３は、それぞれの方向別フィルタ群を構成する方向別フィルタである。図２０は、上記方向別フィルタの空間的な重みの一例であり。図２０（ａ），（ｂ），（ｃ）は垂直方向に連続するエッジを、（ｄ），（ｅ），（ｆ）は斜め方向のエッジを検出するものである。
【００９７】
尚、（ａ），（ｄ）が高空間周波数域、（ｂ），（ｅ）が中空間周波数域、（ｃ），（ｆ）が低空間周波数域用の重みの分布の一例を示す。水平および他方の斜め方向のエッジ検出は、図２０の計数の配置を９０度回転させればよい。また、エッジの方向は４５度刻みに限る必要はなく、３０度刻みなどでもよいのは当然である。
【００９８】
また、方向別フィルタの空間的な重みは図２０に示すものに限る必要はなく、方向毎についての微分型の重み分布になっていればよいのは当然である。各方向別のエッジ強度の算出法を式で示すと（数２４）になる。
【００９９】
【数２４】
統合部２１４は方向別フィルタ２１０，２１１，２１２，２１３の出力を統合する。統合部２１４による統合の一例を式で示すと（数２５）になる。
【０１０１】
【数２５】
尚、統合部２１４による統合は（数２５）で示される２乗和の形式のものに限る必要はなく、絶対値和の形式のものなどでもよいのは当然である。
【０１０３】
輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙについて、高空間周波数域、中空間周波数域、低空間周波数域でそれぞれ統合部２１４Ａ，２１４Ｂ，２１４Ｃにより統合されたエッジ強度は、乗算され出力される。そして、Ｙ，Ｒ−Ｙ，Ｂ−Ｙ各成分についての上記エッジ強度は、加算され稜線検出部７に転送される。
【０１０４】
尚、輪郭検出部２０３における基準画像の輝度成分、色成分への分離はＹ，Ｒ−Ｙ，Ｂ−Ｙに限る必要はなく、Ｒ，Ｇ，Ｂ等他の成分へ分離してもよいのは当然である。また、Ｙ，Ｒ−Ｙ，Ｂ−Ｙについての上記エッジ強度は加算後に稜線検出部２０７に転送するものに限る必要はなく、乗算後に稜線検出部２０７に転送してもよい。
【０１０５】
図１８に戻って、稜線検出部２０７は、上記Ｙ，Ｒ−Ｙ，Ｂ−Ｙについて加算されたエッジ強度の稜線における値のみを出力する。図２１は、稜線検出部２０７の構成の一例である。図２１において、水平稜線検出回路２１５は着目画素でのエッジ強度が着目点の上下の画素でのエッジ強度の双方よりも大きい場合に１を出力し、そうでない場合には０を出力する。
【０１０６】
同様に、垂直稜線検出回路２１６は着目画素でのエッジ強度が着目点の左右の画素でのエッジ強度の双方よりも大きい場合に１を出力し、そうでない場合には０を出力する。水平稜線検出回路２１５と垂直稜線検出回路２１６の出力は、ＯＲ演算され、更に入力信号と乗算して出力される。すなわち、稜線検出部２０７は、水平方向もしくは垂直方向に隣接する画素でのエッジ強度よりも強いエッジ強度を有する画素（すなわち稜線となっている画素）におけるエッジ強度のみを出力し、その他の画素については０を出力する。
【０１０７】
再び図１８に戻って、重み発生回路２０８は、初期視差推定値の信頼性評価値がしきい値以上の時１を出力し、しきい値未満の時には０を出力する。重み発生回路２０８の出力を稜線検出部２０７の出力と乗算することにより、初期視差推定値の信頼性が低いところでのエッジ、すなわち視差が不連続に変化する物体輪郭線を抽出できる。また、重み発生回路２０８の出力は、後述する物体輪郭付近での視差推定部２０４の演算領域メモリに記憶される。物体輪郭線の抽出を式で示すと（数２６）となる。
【０１０８】
【数２６】
尚、エッジ検出結果２０６Ａ，２０６Ｂ，２０６Ｃの出力を加算して稜線検出部７に入力するように限る必要はなく、乗算して稜線検出部２０７に入力してもよい。また、稜線検出部２０７の出力と乗算される重み発生回路２０８による重み発生の方法は、０と１の２値に限る必要はなく、初期視差推定時の信頼性に応じて連続的な値を出力してもよいのは当然である。
【０１１０】
物体輪郭付近での視差推定部２０４は、物体輪郭線近傍の初期視差推定値の信頼性の低い領域での視差を、輪郭強度、初期視差から再計算する。物体輪郭付近での視差推定部２０４は、（数２７）で定義される視差の分布についてのエネルギーを最小化する視差分布を計算する。
【０１１１】
【数２７】
重み関数ｗ（ｘ，ｙ）は滑らかさのパラメータと輪郭強度により（数２８）として定義する。
【０１１３】
【数２８】
（数２７）を最小にする視差分布の条件は（数２９）である。
【０１１５】
【数２９】
（数２９）の微分方程式は、有限要素法（ＦＥＭ）等の公知の技術によって数値的に解くことができる。
【０１１７】
図２２は、物体輪郭付近での視差推定部２０４の構成の一例を示すブロック図である。図２２において、２１７は視差分布エネルギー用の重みを発生する視差分布エネルギー用重み発生回路、２１８は演算領域メモリ、２１９は視差メモリ、２２０は重みメモリ、２２１はＦＥＭ演算回路である。
【０１１８】
視差分布エネルギー用重み発生回路２１７は、輪郭強度と滑らかさのパラメータλから（数２８）の重み関数の値を計算し、重みメモリ２２０に書き込む。ＦＥＭ演算回路２２１は、（数２９）を有限要素法により解き、視差分布を計算する。
【０１１９】
以上のように本実施の形態によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２０】
また、本実施の形態によれば、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２１】
尚、物体輪郭付近での視差推定は、視差が物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに接続すればよく、（数２７）に示すエネルギーを最小化する視差として計算する方法に限る必要はない。そのような例について、以下に説明する。
（第４の実施の形態）
図２３は、本発明の第４の実施の形態における視差推定装置の構成を示すブロック図である。図２３において、２０１はブロックマッチングによる初期視差を計算する初期視差推定部、２０２は初期視差推定時の信頼性評価部、２２２は輪郭検出部、２２３は物体輪郭付近での視差推定部である。
【０１２２】
上記構成において、輪郭検出部２２２、物体輪郭付近での視差推定部２２３以外の構成の動作は本発明の第３の実施の形態と同一であるので説明を省略し、以下に輪郭検出部２２２、物体輪郭付近での視差推定部２２３の動作について説明する。
【０１２３】
まず、輪郭検出部２２２は、本発明の第３の実施の形態における輪郭検出部と同様の輪郭検出を行ない、検出結果を２値化（例えば、０と１）して出力する。物体輪郭付近での視差推定部２２３は、物体輪郭線近傍の初期視差推定値の信頼性の低い領域での視差を、初期視差と輪郭検出部２２２によって検出された物体輪郭線とから計算する。
【０１２４】
図２４は、物体輪郭付近での視差推定部２２３による視差推定の様子を示す図である。図２４において、２９１は初期視差推定値の信頼性の低い領域、２９２は輪郭検出部２２２によって検出された物体輪郭線、２９３は初期視差推定値の信頼性の高い領域、２９４は視差を計算しようとする着目点、２９５は着目点を含むように設定した窓領域である。
【０１２５】
着目点２９４（ｘ，ｙ）における視差は、設定窓領域内で初期視差推定値の信頼性の低い領域２９１と接する周囲の領域（この場合は、初期視差推定値の信頼性の高い領域２９３ａ）での視差を用い、着目点２９４での視差が、周囲の領域と着目点２９４との距離に応じて、周囲の領域での視差の値の影響を受けるように決定する。この時、周囲の領域における視差は、物体輪郭線２９２を越えて着目点２９４に影響を与えないようにすることにより、物体輪郭線２９２の所で変化し、かつ、周囲の視差と滑らかに接続するするように視差を決定できる。物体輪郭付近での視差推定部２２３による視差推定を一例として式で表すと（数３０）となる。
【０１２６】
【数３０】
ただし、物体輪郭付近での視差推定部２２３による視差推定は、（数３０）に限る必要はなく、視差が物体輪郭線で変化し、かつ、周囲の視差と滑らかに接続するものであればよいのは当然である。
【０１２８】
以上のように本実施の形態によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２９】
また、本実施の形態によれば、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１３０】
さらに、本実施の形態によれば、初期視差推定値の信頼性の低い領域において、着目点近傍で比較的少数の周囲の視差を参照して視差を計算することにより、少ないメモリ容量と演算量で視差の計算を行うことができる。
【０１３１】
また、第３と第４の実施の形態で説明した視差推定の結果を用いて、左右の画像をシフトし統合することにより、それら左右の画像に対応する各々の視点の間の所定の中間視点における画像を生成できる。ここで、視差推定と中間視点画像生成とは異なる場所で行ってもよい。以下に、視差推定と中間視点画像生成とを異なる場所で行う際の伝送、受信方法について説明する。
（第５の実施の形態）
図２５は、本発明の第５の実施の形態において、送信側で視差推定（もしくは動き推定）を行うシステムの送信ブロックの一例である。
【０１３２】
図２５において、１７０は左画像を基準とした視差ＶL を推定する視差推定手段、１７１は右画像を基準とした視差ＶR を推定する視差推定手段、１７２ａ〜ｄは符号化器、１７３ａ，ｂは復号化器、１７４は左画像Ｌと左画像を基準とした視差ＶL から右画像Ｒを予測する予測手段、１７５は左画像を基準とした視差ＶLから右画像を基準とした視差ＶRを予測する予測手段、１７６ａ，ｂは視差が正しく推定されない領域での視差を決定する穴埋め手段である。以下に上記構成の動作について説明する。
【０１３３】
まず、左画像Ｌは符号化器１７２ａによって符号化される。また、視差推定手段１７０、１７１によって左右の画像をそれぞれ基準とした視差ＶL，ＶRが推定される。オクルージョン等により視差が正しく推定されない領域については、第３または第４の実施の形態で説明した視差推定方法を用いた穴埋め手段１７６ａ，１７６ｂによって視差が決定される。
【０１３４】
次に、左画像を基準とした穴埋め後の視差は符号化器１７２ｂにより符号化される。符号化された左画像を基準とした穴埋め後の視差は、復号化器１７３ａにより復号化され、予測器１７４による右画像Ｒの予測と、予測器１７５による穴埋め後の右画像を基準とした視差の予測に用いられる。予測器１７５による右画像を基準とした視差ＶR の予測は、左画像を基準とした視差を用いて、（数３１）として計算する。
【０１３５】
【数３１】
右画像Ｒは予測器１７４による予測画像との残差をとり、符号化器１７２ｄによって符号化される。右画像を基準とした穴埋め後の視差ＶR は、予測器１７５による予測視差との残差をとり、符号化器１７２ｃにより符号化される。
【０１３７】
図２６は、受信側で視差推定を行うシステムの受信ブロックの一例である。図２６において、１８１ａ〜ｄは復号化器、１７４は右画像Ｒの予測器、１７５は右画像を基準とした視差の予測器である。符号化された左画像Ｌ、左画像基準の視差ＶL、右画像基準の視差ＶRの予測誤差、右画像Ｒの予測誤差はそれぞれ復号化器１８１ａ〜１８１ｄにより復号化される。右画像Ｒは予測器１７４による予測結果と復号化された右画像の予測誤差とを加算して復元される。右画像基準の視差ＶR は、予測器１７５による予測結果と復号化された予測誤差とを加算して復元される。
【０１３８】
左画像Ｌ、右画像Ｒ、左画像基準の視差ＶL、右画像基準の視差ＶRが復元されると、例えば特願平７−１０９８２１号に示される中間視点画像生成方法により左右の画像の中間視点での画像を生成することができ、左画像、右画像と併せて多視点画像として表示することができる。
【０１３９】
以上説明したように、上記の構成により、送信側で視差推定と穴埋め処理を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。
【０１４０】
また、多視点画像を伝送する際に、送信側で中間視点画像生成を行うことにより伝送量を低減した画像伝送を行うことができる。そのような例について以下に説明する。
（第６の実施の形態）
図２７は、本発明の第６の実施の形態における多視点画像圧縮伝送システムの送信側の構成図である。図２７において、１０１ａ〜１０１ｄは各視点位置での画像を撮像するカメラ、１０２はカメラ１の画像とカメラ４の画像を圧縮し符号化する画像圧縮符号化部、１０３ａは画像圧縮符号化部１０２が圧縮符号化した画像データを復号化伸長する復号化画像伸長部、１０４ａは復号化画像伸長部１０３ａが復号化伸長したカメラ１の画像とカメラ４の画像から、カメラ２の視点とカメラ３の視点での画像を予測し生成する中間視点画像生成部、１０５はカメラ２の画像とカメラ３の画像について中間視点画像生成部１０４ａが生成した画像との残差を圧縮し符号化する残差圧縮符号化部である。以下に上記構成の動作について説明する。
【０１４１】
画像圧縮符号化部１０２は、多視点画像中の複数の画像（本実施の形態では４視点の画像の両端の視点の画像）を、画像間のブロック相関等を利用した既存の技術により圧縮し符号化する。図３１は、画像圧縮符号化部１０２の構成の一例を示す。図３１において、１０７ａ，１０７ｂは８×８画素もしくは１６×１６画素毎にＤＣＴ計算を行いＤＣＴ係数を計算するＤＣＴ手段、１０８ａ，１０８ｂはＤＣＴ係数を量子化する量子化手段、１０９ａは逆量子化手段、１１０ａは逆ＤＣＴ計算をおこなう逆ＤＣＴ手段、１１１は視差検出手段、１１２ａは視差補償手段、１１３ａは量子化されたＤＣＴ係数と視差を符号化する符号化手段である。以下に上記構成の動作について説明する。
【０１４２】
ＤＣＴ手段１０７ａは、カメラ１の画像をブロック毎に処理し、各ブロックについてＤＣＴ係数を計算する。量子化手段１０８ａは、そのＤＣＴ係数を量子化する。逆量子化手段１０９ａは、その量子化されたＤＣＴ係数を逆量子化する。逆ＤＣＴ手段１１０ａは、その逆量子化されたＤＣＴ係数を逆変換し、受信側で得られるカメラ１の画像を復元する。視差検出手段１１１は復元されたカメラ１の画像とカメラ４の画像間でブロックマッチングを行い、カメラ１の画像を基準とした視差をブロック毎に計算する。視差補償手段１１２ａは、上記復元されたカメラ１の画像とブロック毎の視差を用いてカメラ４の画像を予測する（すなわち、動画像の動き補償に相当する処理を行う）。ＤＣＴ手段１０７ｂは、カメラ４の画像と上記予測画像の残差をブロック毎に処理しＤＣＴ係数を計算する。量子化手段１０８ｂはその残差のＤＣＴ係数を量子化する。符号化手段１１３ａは、カメラ１の画像の量子化されたＤＣＴ係数、ブロック毎の視差、視差補償の残差の量子化されたＤＣＴ係数を符号化する。
【０１４３】
また、復号化画像伸長部１０３ａは、画像圧縮符号化部１０２によって圧縮符号化された画像データを復号化し伸長する。図３２は、復号化画像伸長部１０３ａの構成の一例を示す図である。図３２において、１１４ａは復号化手段、１０９ｂ、１０９ｃは逆量子化手段、１１０ｂ，１１０ｃは逆ＤＣＴ手段、１１２ｂは視差補償手段である。以下に上記構成の動作について説明する。
【０１４４】
復号化手段１１４ａは、圧縮符号化されたデータを復号化し、カメラ１の画像の量子化されたＤＣＴ係数、ブロック毎の視差、視差補償の残差の量子化されたＤＣＴ係数を伸長する。カメラ１の画像の量子化されたＤＣＴ係数は、逆量子化手段１０９ｂによって逆量子化され、逆ＤＣＴ手段１１０ｂによって画像として伸長される。動き補償手段１１２ｂは、その伸長されたカメラ１の画像と復号化された視差から、カメラ４の予測画像を生成する。そして、逆量子化手段１０９ｃ、逆ＤＣＴ手段１１０ｃによって伸長された残差を上記予測画像に加えることにより、カメラ４の画像を伸長する。
【０１４５】
中間視点画像生成部１０４ａは、本発明の第３もしくは第４のいずれかの実施の形態に示す方法によって、カメラ１とカメラ４の画像から画素毎の視差を計算し、カメラ２とカメラ３の画像を予測し生成する。
【０１４６】
残差圧縮符号化部１０５は、カメラ２とカメラ３の画像と上記予測画像の残差を圧縮し符号化する。中間視点画像生成部１０４ａは、視差を画素毎に計算するため、ブロックマッチングによるブロック毎の視差計算と比較して、精度よく視差を推定できる。その結果、中間視点画像の予測誤差（すなわち残差）を小さくすることができ、圧縮効率を高めることができるとともに、より有効なビット割り当てを行うことができ、画質を維持した圧縮を行える。図３３は、残差圧縮符号化部の構成の一例を示す。図３３において、１０７ｃ，１０７ｄはＤＣＴ手段、１０８ｃ，１０８ｄは量子化手段、１１３ｂは符号化手段である。カメラ２、カメラ３の画像の残差はそれぞれＤＣＴ手段１０７ｃ，１０７ｄによってＤＣＴ係数に変換され、量子化手段１０８ｃ，１０８ｄによって量子化され、符号化手段１１３ｂによって符号化される。
【０１４７】
図３４は、本発明の第６の実施の形態における多視点画像圧縮伝送システムの受信側の構成図である。図３４において、１０３ｂは送信側の画像圧縮符号化部１０２が圧縮符号化したカメラ１とカメラ４の画像データを復号化伸長する復号化画像伸長部、１０４ｂは復号化画像伸長部１０３ｂが復号化伸長したカメラ１とカメラ４の画像から、カメラ２とカメラ３の視点での画像を予測し生成する中間視点画像生成部、１０６はカメラ２とカメラ３の視点での予測画像の予測誤差（残差）を復号化し伸長する復号化残差伸長部である。復号化画像伸長部１０３ｂおよび中間視点画像生成部１０４ｂの動作については、送信側の復号化画像伸長部１０３ａおよび中間視点画像生成部１０４ａの動作と同一であるので説明を省略し、以下に復号化残差伸長部の動作について説明する。
【０１４８】
復号化残差伸長部１０６は、送信側の残差圧縮符号化部１０５によって圧縮符号化されたカメラ２とカメラ３の視点での予測画像の予測誤差（残差）を復号化し伸長する。図３５は、復号化残差伸長部１０６の構成の一例を示す。図３５において、１１４ｂは復号化手段、１０９ｄ，１０９ｅは逆量子化手段、１１０ｄ，１１０ｅは逆ＤＣＴ手段である。圧縮符号化されたカメラ２とカメラ３の画像の残差データは、復号化手段１１４ｂによって復号化され、それぞれ、逆量子化手段１０９ｄ，１０９ｅにより逆量子化され、逆ＤＣＴ手段１１０ｄ，１１０ｅにより伸長される。復号化伸長されたカメラ２とカメラ３の画像の残差を、中間視点画像生成部１０４ｂによって生成された画像にそれぞれ重畳することにより、カメラ２とカメラ３の視点の画像を復元する。
【０１４９】
以上のように、本実施の形態によれば、送信側で、多視点画像中の隣接しない２つの画像からその中間視点の画像を生成し、その生成した中間視点画像とその中間視点の実際の画像との残差を求め、上記２つの画像と中間視点画像の残差とを圧縮符号化して伝送する。受信側で、伝送されてきた２つの画像と中間視点画像の残差とを復号化伸長し、２つの画像から中間視点の画像を生成し、復号化伸長した中間視点画像の残差を重畳して中間視点での実際の画像に対応する画像を復元する。このようにすることにより、多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。
【０１５０】
なお、中間視点画像の生成は、多視点画像の両端の２視点（カメラ１とカメラ４の視点）での画像から中間視点での画像を生成する構成に限る必要はなく、例えば、カメラ２とカメラ４の画像からカメラ１とカメラ３の視点での画像を生成してもよく、カメラ１とカメラ３の画像からカメラ２とカメラ４の視点での画像を生成してもよい。更には、カメラ２とカメラ３の画像からカメラ１とカメラ４の視点での画像を生成してもよく、それぞれ本発明に含まれる。
【０１５１】
また、多視点画像の視点数は４視点に限る必要はなく、また、２視点以上の視点での画像からそれぞれの視点間の中間視点画像を生成してもよいのは明らかであり、本発明に含まれる。
【０１５２】
また、本発明の第３および第４の実施の形態において、初期視差推定値の信頼性評価値としては、（数２３）に示すものに限る必要はなく、（数２３）の分子のみを信頼性評価値としても、参照画像の輝度こう配の影響を受けるがほぼ同様の効果を得ることができ本発明に含まれる。
【０１５３】
また、画像のノイズレベルが低い場合には、信頼性評価値としてノイズ項を無視した値を計算しても同様の効果が得られるのは当然であり本発明に含まれる。
【０１５４】
さらに簡略化して、信頼性評価値として、１画素当たりの残差平方和の最小値、あるいは残差平方和の最小値を用いてもよく、より簡単な回路で計算が可能となり、本発明に含まれる。
【０１５５】
また、初期視差推定値の信頼性評価値としては、（数３２）に示す双方向に推定した視差の差異を用いてもよく、本発明に含まれる。
【０１５６】
【数３２】
また、初期視差推定の信頼性評価値としては、上記のものを２つ以上組み合わせて用いることにより、より安定した信頼性評価をすることができ、本発明に含まれる。
【０１５８】
また、本発明の第３および第４の実施の形態において、初期視差推定のための画像間の相関演算は残差平方和（ＳＳＤ）に限る必要はなく、残差絶対値和（ＳＡＤ）を用いても同様の効果を得ることができ、そのような実施の形態ももちろん本発明に含まれる。
【０１５９】
また、本発明の第６の実施の形態において、隣接しない２つの視点での画像の圧縮符号化の方法としては、画像間（視点間）の相関を利用したものに限る必要はなく、時間方向の相関を利用したものを用いてもよく、本発明に含まれる。
【０１６０】
【発明の効果】
以上のように本発明によれば、カメラの撮像面（ＣＣＤ）のサイズと、撮像面とレンズ中心との距離と、レンズの焦点距離に関する情報とを付加して伝送することにより、撮影時の視野角に応じた表示を行おうとする際、被写体に接近して撮影した映像についても、表示側で撮影時の視野角を精度よく計算することができ、撮影時と同一の視野角を再現する観察距離を精度よく決定できる。
【０１６１】
また、多視点画像を伝送する際に画像内の最近点、最遠点の情報を付加することにより、表示時に目の疲れない表示（視差制御）を行うことができる。
【０１６２】
また、人の目の融合範囲に応じた視差制御を行うことによって、表示時に画像のより多くの部分で視差を融合範囲内に入るようにすることができる。
【０１６３】
また、伝送側において、付加する最近点、最遠点の情報として、実際の画像中の最近点、最遠点とは異なる値を設定し、表示側において該設定値の最近点に相当する視差と、最遠点に相当する視差の平均の視差が、融合範囲の中央になるように視差制御することにより、画像作成者の意図する奥行きでの画像を優先的に観察者に提示することができる。
【０１６４】
また、本発明によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１６５】
また、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。。
【０１６６】
また、送信側で視差の穴埋め処理（本発明による、視差が物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに接続する視差推定処理）を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。
【０１６７】
また、多視点画像伝送システムの送信側と受信側の双方で中間視点画像の生成を行うことにより、中間視点画像の伝送量（残差の伝送量）を少なくすることができ、その結果多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における平行投影の場合の最近点、最遠点、観察者の輻輳と調節が一致する点の位置関係を示す図
【図２】同被写体の位置、合焦時の撮像面の位置と焦点距離の関係を示す図
【図３】同２つのプロジェクタを用いて輻輳投影をする場合の輻輳距離、最近点、最遠点の位置関係を示す図
【図４】本発明の第１の実施の形態における画像伝送方法で定義するパラメータを示す図
【図５】画像間の視差の平均値を相殺するようにずらす処理のブロック図
【図６】左画像を基準としてブロックマッチングにより視差を計算する場合を示す図
【図７】平行撮影の場合を示す図
【図８】輻輳撮影の場合を示す図
【図９】（ａ）〜（ｃ）は、（数１４）による重み付け平均の計算に用いる重みの分布の例を示す図
【図１０】画像復号手段の動作を示す図
【図１１】本発明の第２の実施の形態における視差制御方式のブロック図
【図１２】シフト演算手段の構成の一例を示す図
【図１３】融合範囲テーブルの特性図
【図１４】（数１６）の図形的な意味を示す図
【図１５】視差の頻度分布図
【図１６】本発明の第３の実施の形態による視差推定装置の構成図
【図１７】同ブロックマッチングを示す図
【図１８】同輪郭検出部の構成図
【図１９】同エッジ検出部の構成の一例を示す構成図
【図２０】（ａ）〜（ｆ）は、同方向別のフィルタの重み係数の例を示す図
【図２１】同稜線検出部の構成図
【図２２】同物体輪郭付近での視差推定部の構成図
【図２３】本発明の第４の実施の形態による視差推定装置の構成図
【図２４】同物体輪郭線近傍での視差推定を示す図
【図２５】本発明の第５の実施の形態で送信側で視差推定を行うシステムの送信部の構成図
【図２６】本発明の第５の実施の形態で送信側で視差推定を行うシステムの受信部の構成図
【図２７】本発明の第６の実施の形態における多視点画像伝送システムの送信部の構成図
【図２８】ＭＰＥＧ−２シンタックスの概略図
【図２９】伝送される多視点画像の時空間方向の関係図
【図３０】ＯｐｅｎＧＬによるカメラパラメータの定義を示す図
【図３１】本発明の第６の実施の形態における多視点画像伝送システムの画像圧縮符号化部の構成の一例を示す図
【図３２】本発明の第６の実施の形態における多視点画像伝送システムの復号化画像伸長部の構成の一例を示す図
【図３３】本発明の第６の実施の形態における多視点画像伝送システムの残差圧縮符号化部の構成の一例を示す図
【図３４】本発明の第６の実施の形態における多視点画像伝送システムの受信部の構成図
【図３５】本発明の第６の実施の形態における多視点画像伝送システムの復号化残差伸長部の構成の一例を示す図
【符号の説明】
Ａ 表示される画像の最近点
Ｂ 最遠点
Ｃ 観察者の輻輳と調節が一致する点
Ａ１，Ａ２ カメラのレンズ中心
Ｂ１，Ｂ２ 画像面の中心
Ｃ１ 輻輳点
２０１ 初期視差推定部
２０２ 初期視差推定時の信頼性評価部
２０３ 輪郭検出部
２０４ 物体輪郭付近での視差推定部
Claims (15)
- ２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき、前記物体輪郭線を含む前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、前記信頼性の低い領域の周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行うことを特徴とする視差推定方法。
- 初期視差の信頼性の低い領域における視差は、前記視差と、前記物体輪郭線とを用いて定義した視差分布のエネルギーを最小化するように決定することを特徴とする請求項１記載の視差推定方法。
- 前記エッジ検出は、周波数特性の異なる方向別フィルタの各出力を統合して行うことを特徴とする請求項１、又は２記載の視差推定方法。
- 前記エッジ検出は、前記周波数特性の異なる方向別フィルタの各出力の統合結果に対して、更に稜線抽出を行うことを特徴とする請求項３記載の視差推定方法。
- 前記初期視差の信頼性評価値は、初期視差計算時の残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
- 前記初期視差の信頼性評価値は、初期視差計算時の１画素当たりの残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
- 前記初期視差の信頼性評価値は、初期視差計算時の残差平方和、画像のノイズレベル、及び輝度勾配を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
- 前記初期視差の信頼性評価値は、左右双方の画像を基準として計算した初期視差の対応の差異を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
- 前記初期視差の信頼性評価値は、請求項５〜８のいずれかに記載の前記視差推定方法の２つ以上を組み合わせて計算することを特徴とする視差推定方法。
- ２眼式画像から左右それぞれの画像を基準とした初期視差と前記初期視差の信頼性評価値を計算し、初期視差が正しく計算できない領域での視差は請求項１〜９のいずれかに記載の方法によって再計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差から前記２眼式画像の他方の画像を予測して予測誤差を計算し、前記一方の画像を基準とした視差から他方の画像を基準とした前記再計算後の視差を予測して予測誤差を計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差と前記２眼式画像の他方の画像の予測誤差と前記他方の画像を基準とした再計算後の視差の予測誤差とを符号化し伝送することを特徴とする画像伝送方法。
- 請求項１０記載の画像伝送方法により伝送された符号化信号を受信し、その受信信号から２眼式画像及び再計算後の視差を復号化し、その復号化された２眼式画像及び復号化された再計算後の視差を用いて中間視点画像を生成し、その中間視点画像及び前記２眼式画像を併せて多眼式画像として表示することを特徴とする画像表示方法。
- 多眼式画像から代表画像を選択し、選択されなかった画像は、２枚の代表画像をそれぞれ基準画像として、２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定することにより、前記物体輪郭線において不連続に変化する視差推定を行う視差推定方法によって計算した視差と前記２枚の代表画像とを用いて予測し、前記選択されなかった画像と予測画像の残差を計算し、前記代表画像と前記選択されなかった画像の予測誤差を符号化して伝送することを特徴とする多視点画像伝送方法。
- 請求項１２記載の画像伝送方法により伝送された符号化信号を受信し、前記代表画像を復号化し、前記代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって視差を計算し、送信部で代表画像に選択されなかった画像を前記代表画像と前記視差を用いて予測し、前記選択されなかった画像の予測誤差を復号化し、前記予測誤差を前記予測画像に重畳して多視点画像を復元することを特徴とする多視点画像復元方法。
- 前記代表画像の符号化は、１枚の代表画像と当該代表画像を基準として他の代表画像について計算した視差から他の代表画像を予測し、前記一枚の代表画像と前記他の代表画像の予測誤差を符号化することにより行うことを特徴とする請求項１２記載の多視点画像伝送方法。
- ２つの撮像画像の初期視差を計算する初期視差推定部と、前記初期視差の信頼性評価値と計算する信頼性評価部と、前記画像のエッジを検出する輪郭検出部と、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき、前記物体輪郭線を含む前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、前記信頼性の低い領域の周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行う視差推定部を備えたことを特徴とする視差推定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003154401A JP3733359B2 (ja) | 1996-04-05 | 2003-05-30 | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8368896 | 1996-04-05 | ||
| JP11871196 | 1996-05-14 | ||
| JP2003154401A JP3733359B2 (ja) | 1996-04-05 | 2003-05-30 | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08359997A Division JP3477023B2 (ja) | 1996-04-05 | 1997-04-02 | 多視点画像伝送方法および多視点画像表示方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004007707A JP2004007707A (ja) | 2004-01-08 |
| JP2004007707A5 JP2004007707A5 (ja) | 2005-05-26 |
| JP3733359B2 true JP3733359B2 (ja) | 2006-01-11 |
Family
ID=30448913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003154401A Expired - Fee Related JP3733359B2 (ja) | 1996-04-05 | 2003-05-30 | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3733359B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9070223B2 (en) | 2010-12-03 | 2015-06-30 | Sharp Kabushiki Kaisha | Image processing device, image processing method, and image processing program |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102077246A (zh) * | 2008-06-24 | 2011-05-25 | 汤姆森特许公司 | 利用运动补偿进行图像的深度提取的系统和方法 |
| JP5409107B2 (ja) * | 2009-05-13 | 2014-02-05 | 任天堂株式会社 | 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム |
| JP5405264B2 (ja) | 2009-10-20 | 2014-02-05 | 任天堂株式会社 | 表示制御プログラム、ライブラリプログラム、情報処理システム、および、表示制御方法 |
| JP4754031B2 (ja) | 2009-11-04 | 2011-08-24 | 任天堂株式会社 | 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム |
| JP5625342B2 (ja) | 2009-12-10 | 2014-11-19 | ソニー株式会社 | 画像処理方法、画像処理装置、プログラム |
| JP5041382B2 (ja) * | 2010-03-25 | 2012-10-03 | Ｎｅｃシステムテクノロジー株式会社 | ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム |
| JP2015215235A (ja) * | 2014-05-09 | 2015-12-03 | トヨタ自動車株式会社 | 物体検出装置及び物体検出方法 |
| US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
| JP7147292B2 (ja) | 2018-06-29 | 2022-10-05 | 株式会社デンソー | 勾配方向算出装置 |
| CN110933441B (zh) * | 2019-12-12 | 2023-05-30 | 西安邮电大学 | 一种深度图轮廓预测的并行实现方法 |
-
2003
- 2003-05-30 JP JP2003154401A patent/JP3733359B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9070223B2 (en) | 2010-12-03 | 2015-06-30 | Sharp Kabushiki Kaisha | Image processing device, image processing method, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004007707A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3477023B2 (ja) | 多視点画像伝送方法および多視点画像表示方法 | |
| US6163337A (en) | Multi-view point image transmission method and multi-view point image display method | |
| US5625408A (en) | Three-dimensional image recording/reconstructing method and apparatus therefor | |
| KR101185870B1 (ko) | 3ｄ 입체 영상 처리 장치 및 방법 | |
| JP5414947B2 (ja) | ステレオ撮影装置 | |
| JP5140210B2 (ja) | 撮影装置および画像処理方法 | |
| US7944444B2 (en) | 3D image processing apparatus and method | |
| EP3104603B2 (en) | Efficient image receiver for multiple views | |
| US8063930B2 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
| JP5204350B2 (ja) | 撮影装置、再生装置、および画像処理方法 | |
| JP3769850B2 (ja) | 中間視点画像生成方法および視差推定方法および画像伝送方法 | |
| JP4942106B2 (ja) | 奥行データ出力装置及び奥行データ受信装置 | |
| JP5204349B2 (ja) | 撮影装置、再生装置、および画像処理方法 | |
| US20120139906A1 (en) | Hybrid reality for 3d human-machine interface | |
| JPH09289638A (ja) | ３次元画像符号化復号方式 | |
| JP3733359B2 (ja) | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 | |
| JP3733358B2 (ja) | 画像伝送装置、送信装置、受信装置、送信方法および受信方法 | |
| JP3735617B2 (ja) | 多視点画像伝送方法、多視点画像表示方法および多視点画像表示装置 | |
| JP4815004B2 (ja) | 多視点画像符号化装置 | |
| Kim et al. | Efficient disparity vector coding for multiview sequences | |
| Lagendijk et al. | Stereoscopic image processing | |
| JP2004242000A (ja) | 符号化装置および方法、並びに復号装置および方法 | |
| Joachimiak et al. | Complete processing chain for 3D video generation using Kinect sensor | |
| IL166305A (en) | Method for converting a sequence of monoscopic images to a sequence of stereoscopic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |