JP6853928B2 - 三次元動画像表示処理装置、並びにプログラム - Google Patents

Description

本発明は、ディスプレイを観る者に立体的オブジェクトの存在を感じさせる表示をするために、少なくとも２つの動画情報を入力し、これらの動画情報に基づいて所定の処理を行い、ステレオ画像ディスプレイに対し処理結果を表示させる表示処理装置に関する。
詳しくは、時系列に連続的に供給される少なくとも２系列の画像を得て、これらの画像のうちひとつを主たる表示画像とする一方、ステレオ画像表示をするために必要な奥行きを把握するための演算では、画素を間引いて高速化を図るとともに、画素を採る位置を工夫することで、原動画における高い解像度を維持しつつ、奥行き推定演算における２画像の微少な偏位を鋭敏に処理結果に反映させることができる表示処理装置に関する。

（１．本発明に係る現在的状況）
近時、所謂ステレオ・ビューについて、様々なアプローチがされている。ステレオ・ビューは一般に、近隣に設置した少なくとも２つのカメラで同時に撮影した画像に対してコンピュータで処理を行い、これをディスプレイ装置によって観者に見せる際、観者の右目・左目にそれぞれ微妙に異なる画像として看取させることによって、カメラ被写体を立体的に表示させるようになっている。

このような装置は、観者に臨場感を与えることができるのは勿論、医療行為においても有用である。たとえば、内視鏡を用いた手術においては、プローブにカメラを取り付けてこれを患者体内に挿入することで、切開領域を狭めた施術が実現でき、患者に与える負担の軽減に寄与することが分かっている。

内視鏡では、撮像デバイスの取り付け方も数々工夫されている。セルフォック（登録商標）レンズなどの集束型光ファイバーレンズや、リレーレンズなどによって、プローブ先端で受けた光を体外まで引き出し、その後部に撮像デバイスを配置するなど、体内挿入部分の小型化を図り、更なる負担軽減が実現されている。

一方、このようなデバイス配置の工夫に加え、カメラを複数設け、ステレオ画像として取得するというような、機能上の工夫も求められる。この機能により、施術者はより患者の体内患部の把握を迅速かつ的確に把握することができ、更なる患者負担の軽減を図ることにも貢献する。

ところで、このような手術では、複数の医師が、執刀、指導、観察の役割をもって手術にあたることがある。この場合、直接執刀に当たらない医師はカメラの画像を頼りに体内患部を観察するしかない。

しかし、前記執刀の際、観察・指導の役割をもった医師は患者の状況にも配慮しなければならないところ、患部のみの画像を観るだけでは足りない。ステレオ画像の再現性に拘泥するあまり、頭部装着型ディスプレイ（ヘッドマウントディスプレイ。以下、「ＨＭＤ」という。）を使うのでは、不都合なことが多い。

この点、近時はレンチキュラーレンズを用い、一般の据え置き乃至壁掛け型の平面ディスプレイに、多視点ステレオ画像を表示する技術が提案されている。このような技術を用いれば、ＨＭＤを用いる場合と異なり、前記手術の場面で執刀に当たらない観察医等が、患部ばかりでなく、他の測定機器を通して、若しくは直接に患者の様態をも自然に把握することができるようになり、手術の更なる安全性向上を図ることができるとみられている。

発明者は、上記の医療分野における現在的状況を重視して本分野における貢献を手掛かりに、ひいては汎用的な三次元表示装置の提供を図ろうと考えている。かかる装置によれば、航空機エンジン整備、原子力設備内部点検・状況把握、建設現場内部把握、水中の状況把握、その他産業用の内視鏡や、民生用娯楽機器などにも実装することができるものと確信している。

（２．本発明に係るステレオ・ビューの技術類型）
ステレオ・ビューを実現するには、用途によって、
［Ａ］ 近時の映画やゲームに多く採用されているように、オブジェクト（有体物）をコンピュータ内でモデル化し、これから観者視点の画像を生成して表示するアプローチ
［Ｂ］ 視差ある複数のカメラでオブジェクト（有体物）を撮像し、各カメラが撮像した画像間の微妙な違いから奥行きを推定し、これに基づいて観者に対する表示を修正するアプローチ
［Ｃ］ 前ふたつの技術を融合したアプローチ
による技術に大別できる。本発明は、このうち［Ｂ］のアプローチに属するものである。

（３．本発明に係る背景技術）
視差有る複数のカメラで撮像した画像に基づいて奥行きを推定する発明には、例えば、特許文献１のような提案がある。

特許文献１の発明では、左右２つのカメラで撮像した画像から奥行き推定をするものであるが、その際片方のカメラからの画像を主画像とし、他方のカメラからの画像を従画像とし、従画像に基づいて奥行き推定の演算をするようになっている。そしてこの奥行き推定演算には、主画像と従画像との差を使うことになるが、主画像の解像度と従画像の解像度とを異なるものとし、「従来のステレオアルゴリズムを利用しつつ、従来のステレオ法では得ることのできなかった、広い視野と精度のよい奥行きとが推定できると共に、視野の一部については高い解像度の画像を得ることができる」ように工夫されている。

一方、ステレオアルゴリズムのうち、特に奥行き推定をする発明については、動的計画法（以下、「ＤＰ」という。）を基調とした技術の提案がある。

たとえば、特許文献２の発明では、縦方向につき１段階目のＤＰマッチング行ってＤＰコスト格子空間を作成し，横方向につき２段階目のＤＰマッチングでＤＰコスト格子空間におけるＤＰパスを求めることで２つの画像間の画像要素の対応関係を求め、その奥行き推定演算をする。これにより３次元モデルを作成することなく、２つの画像の間にある任意の視点から見た画像を作成できるように工夫されている。

特許第２９９８７９１号公報 特開２００５−２７５４８２号公報

特許文献１によれば、前記の効果が期待できることは勿論、主画像が高精細化した場合でも、従画像の解像度を一定以下に抑えれば演算速度も然程増えることがなく、実時間処理にも堪えうると思われる。

しかし、同一の撮像系で解像度の異なるカメラを設けると、
（１） 解像度の異なるカメラを用いると、形状も画一的でなく、機械な位置決めが難しくなること、
（２） 同一の撮像素子を用いるよりも製造工程が複雑化すること、
などの憾みがある。

更に、主画像の高精細化とともに、空間周波数の高い画像が入力した場面を想定してみると、従画像は主画像に比べて低解像度であるから、高い空間周波数成分を有するオブジェクトを把握することができない。一方、画像表示には主として主画像が用いられることから、そのオブジェクトは比較的強く人間の目に認識されることになる。そうすると、観者には鋭く把握されるオブジェクトであるにもかかわらず、その奥行きを推定することができなくなる虞がある。この場合、何らかの他の処理により曖昧な部分を補正しなければならなくなる憾みがある。

また、低解像度のカメラから取得した画像は、同じ場面を高解像度のカメラで撮像したものに対してLow Pass Filter処理をしたものと同じものが得られるので、高解像度で得られたオブジェクトの画像と低解像度で得られたオブジェクトの画像との間で、位相差が生じてしまう。このため、ステレオアルゴリズムにＤＰマッチングを用いたときに、奥行き誤差を生じることになる。これはカメラを左右にパンする場面では、パンに従って奥行きが前後に繰り返し変化することになると想像できる。

次に特許文献２についてみると、物理的意義の明示はないが、第一段目のＤＰマッチングは、少なくとも左右のカメラの縦位置ズレを補正するのに役立っているものと思料される。
しかし、ＤＰマッチングの演算は並行処理をするのに馴染まず、並列スレッド処理をすることができるＣＰＵを用いても、その処理はシーケンシャルに行う必要がある。このため、ＤＰマッチング処理を二段階で行うとなると、相当のＣＰＵの能力が必要になるという憾みがある。

（１． 文言定義）
課題を解決するための手段の説明に先立ち、説明の便宜上、本願明細書における文言を以下のように定義する。

「動画」とは、時系列に並べた複数の画像の束であって、当該画像を順次観者に表示することで、視覚がもつ残像現象の作用によって被写体が連続的に動くように見えるようになっている情報群のことをいう。

「撮像系」とは、撮影対象を同時に撮影するために配置された複数のカメラの集合であり、それらの相対的位置関係も含めた概念である。

「それぞれが離散的となる画素」とは、縦横格子状に連続して整列した画素につき、それぞれが隣接しない画素のことをいう。従って、p(i,j)なる画素に着目したとき、少なくとも、
p(i-1,j-1)、 p(i-1,j)、 p(i-1,j+1)、
p(i-1,j) 、p(i+1,j)、
p(i+1,j-1)、 p(i+1,j)、 p(i+1,j+1)
の８つの画素は、「それぞれが離散的となる画素」ではない。

「画素」とは、縦横格子状に連続して平面上に整列すると像を構成する要素であって、その内容が所謂ＲＧＢのような色情報構造体であるか、単一の輝度情報であるかを問わない。

「オフセット値を求めるための基礎情報」とは、本発明に係る三次元動画像表示処理装置のうち、オフセット加算部がオフセットを計算する際に必須の情報のことをいう。

「動画情報体」とは、動画とその動画とは視点の異なる位置で撮影した動画とを組み合わせた情報の全体をいい、立体視可能な動画表示をする最小限情報となる。

「動画情報集合」とは、動画情報体に、所定の情報を加えた情報の全体をいう。

「基準読出位置」とは、フレーム・メモリ中に記録され、同一の撮像系で同一のオブジェクトを同時に撮像した際に得られる動画情報体中の動画情報につき、視差以外の要因によるズレが生じていないと仮定した場合に、読み出すべき位置のことをいう。

「シーン」とは、撮像系と撮影対象たるオブジェクトとの距離が大きく変らない限りで時間連続する動画情報の単位のことであって、動画情報体を構成する一要素である。

「偏位」とは、参照する２つの画像において、一の画像中で着目した画素につき、他の画像中の対応する画素が、対応する走査線上の座標で異なることをいう。

（２．課題を解決するための手段の説明）
本願発明は上記課題の低減を図るものであり、その目的とするところは、動画について、人間のもつ視覚（脳の機能も含む）の補完力と、見たオブジェクトを脳内で再構成する力との助けを借りて、ＤＰマッチングを用いつつも、簡便で安定した動画像の立体視を実現する三次元動画像表示処理装置等を提供するものである。
ここで、所謂ステレオ・ビューの着想背景に戻って説明する。

そもそも、２つのカメラで撮影した視差の異なる画像からＤＰを用いて奥行きを推定するアルゴリズムでは、両カメラが置かれた面を基準としてこれと水平となる方向に走査を行う。

走査方向をこのように採るのは、カメラは人間の目の代替手段であることから、カメラを目と同様に配置して、左のカメラで撮像した画像を左目で、右のカメラで撮像した画像を右目でそれぞれ認識すれば、脳の作用によって遠近感を感覚することができるという着想に基づく。

視差のある画像が観者に立体を看取させる最も有意な画像は、オブジェクトのエッジや特徴的模様の境界線が、左目の視点中心と右目の視点中心とを結ぶ線上を大きな角度をもって跨ぐようになっているものである。そして、人は必要であれば首を傾けるなどして、有意な画像を得ようとする。そこで、人間の脳の作用と同様の作用を２つのカメラに接続した処理装置で実現しようとするのであれば、走査方向を水平にして、走査線方向に視差によるカメラ出力画像の差異を追跡できれば良いはずであるという事実を基調としている。

しかし、そもそも、３次元のオブジェクトを処理装置内で完全にモデル化することはできない。即ち、２次元で、しかも一方向からのものしか取得できていない情報から３次元の情報を再現するのは情報量の点から無理がある。もっとも、一方向からの情報でも、３次元形態を「ある程度、予測」することは可能である。ステレオ・ビュー技術分野における様々な試みは、無意識に作用する人間の視覚並びに脳の助けを借り、その予測可能な範囲で自然な表現を工夫するというものである。そして、視覚並びに脳の機能のうち、いずれを利用するのかによって、表示処理装置の構成が決まっているとみることができる。

本発明は、脳はオブジェクトの形状は短時間で大きく変化しないと知っていること、奥行きについての測距能力は相対的でありオブジェクトの絶対距離を認知することは困難であること、動きを追跡することでも立体形状を認識すること、などの視覚並びに脳の作用を利用しつつ、動画情報を処理する点に特化して、上記課題の低減を試みるのである。

なお、本項目では各請求項に基づいて説明するが、この際理解促進のために、図１を用いる。もっともここで図を用いるのは理解促進のためであり、各情報の流れ・要素の構成が図に描かれたものに制限されるものではない。

［請求項１について］
請求項１の三次元動画像表示処理装置に係る発明は、第１の動画情報（102）と、第２の動画情報（103）とを入力し、これを処理することでディスプレイ（111）に対して三次元画像を表示させる三次元動画像表示処理装置に係る。

そして、２つの間引き画像抽出部（第１の間引き画像抽出部（104）と第２の間引き画像抽出部（105））と、それぞれの間引き画像抽出部から得られる間引かれた画像情報（112，113）に基づいてＤＰマッチングによる演算を行うＤＰマッチング処理部（109）と、オフセット加算部（106）と、表示情報生成部（110）とを具備する。

ここで、第２の動画情報（103）は、第１の動画情報（102）と視差ある位置で同時に撮像されたものである。また、第１の動画情報と第２の動画情報とは、概ね同じ解像度であって、動画情報体を構成する。視差ある位置で同時に撮像されていることは、撮像するオブジェクトの奥行きを推定する手掛かりとなるように作用する。また、概ね同じ解像度であることは、画像の大きさの比率による演算を不要とするように作用する。

第１の間引き画像抽出部（104）は、同装置が入力する第１の動画情報を構成する画素について、それぞれが離散的な位置を特定するとともに、その特定された位置の画素を抽出して出力するようになっている。即ち、動画を構成する１画像について、所定方向並びにその法線方向にそれぞれ間引いた画像を取得できるように作用する。
また、間引くことによって、その後の計算対象となる画素数を減少させるように作用する。

第２の間引き画像抽出部（105）は、第１の間引き画像抽出部と同様に、同装置が入力する第２の動画情報を構成する画素について、それぞれが離散的な位置を特定するとともに、その特定された位置の画素を抽出して出力するようになっている。

加えて、その特定する位置は、第１の画像間引き画像抽出部の特定する位置と１対１に対応する位置になるようになっている。ここで、「対応する」というのは、第１の画像間引き画像抽出部から得られた画像（以下、「第１の間引後画像」（112）という。）のうち、一の画素と隣接した画素とについては、第２の画像間引き画像抽出部から得られた画像（以下、「第２の間引後画像」（113）という。）のうち、一の画素についても隣接した画素との関係になることを言う。もっとも、実装の仕方によっては第１の間引後画像の周辺境界付近、並びに第２の間引後画像の周辺境界付近において、間引後画像が欠落することがあり、対応関係がとれなくなることはあるが、主たる表示領域でこの対応関係が維持されれば足りる趣旨である。

ここで対応関係を維持することは、動画情報に含まれる空間周波数の高い領域の振幅を見逃すことがないように作用する。また、その位相が大きくずれることを避けるように作用する。

ＤＰマッチング処理部（109）は、前記２つの間引後画像をコストとしてＤＰマッチングによってコストパスを求めるようになっている。この際、第１の動画情報の視点中心と第２の画像情報の視点中心とを結ぶ線分の方向をマッチング走査方向とする。

このマッチング走査方向でＤＰマッチングによるコストパスを求めることにより、第１の間引後画像と第２の間引後画像との間で被写体となっているオブジェクトがどの程度ずれているのかを把握できるようになっている。即ち、そのもととなった第１の動画情報と第２の動画情報との間での奥行き情報を得ることができるように作用する。

表示情報生成部（110）は、第１の動画情報と第２の動画情報とのいずれかに対し、ＤＰマッチング処理部より得た奥行き情報を適用することによって、ディスプレイが求める立体映像情報を生成するようになっている。

オフセット加算部（106）は、前記第１の間引き画像抽出部で特定する位置について、前記第２の間引き画像抽出部で特定する位置について、または第１の間引き画像抽出部で特定する位置と前記第２の間引き画像抽出部で特定する位置との双方について、オフセット値を加える。

オフセット値は、動画情報を生成した撮像系を構成するカメラの相対的位置関係に基づいて決められる。これにより、カメラの相対的位置が異なる様々な撮像系によっても、ペナルティ・マトリックスを正規化するように作用する。

また、逆視差を採るステレオ動画など、第１の動画情報と第２の動画情報との視差が大きい動画情報を入力した際にも、正のオフセット値を設定することにより、後段となる前記ＤＰマッチング処理部で逆進走査の要を放逐するように作用する。

［請求項２について］
請求項２の三次元動画像表示処理装置に係る発明は、前記オフセット加算部において、更に、第１の動画情報の視点中心と第２の画像情報の視点中心とを結ぶ線分の方向を成分に有するベクトル（以下、「カメラ位置相対関係ベクトル」という。）に基づく要素を含める。

カメラ位置相対関係ベクトルがオフセットに加算されると、第１の動画情報と第２の動画情報との間での走査上、カメラの撮像面の法線を軸として捻れる方向のズレを吸収しながら追跡できるように作用する。

［請求項３について］
請求項３の三次元動画像表示処理装置に係る発明は、ルック・アップ・テーブルを使ったオフセット加算部でオフセットを加えるようになっている。この際、離散基準読出位置決定部を具備する。

一方、第１の間引き画像抽出部並びに第２の間引き画像抽出部には、それぞれ、動画情報を記録するフレーム・メモリとともにルック・アップ・テーブルとを具備する。

ここで、離散基準読出位置決定部は、連続する基準読出位置のなかから、離散的な位置を順次特定する。そして、第１・第２の両間引き画像抽出部が画素を間引き抽出する際に、その離散基準読出位置を決定するように作用する。

フレーム・メモリは入力した動画情報を一定時間記録することで、動画を構成する１フレームで、ランダムなアドレス指定があったときにそのアドレスに対応する画素情報を出力することができるように作用する。

また、ルック・アップ・テーブルは、上記基準読出位置に対して第１の間引き画像抽出部並びに第２の間引き画像抽出部それぞれで独立して離散基準読出位置決定部の示す読出し位置情報に同テーブルに記録された変換を加えるようになっている。

ルック・アップ・テーブルは、予めした計算結果に基づいて任意の関数演算をすることができる。このため、複雑な演算を要するものであっても実時間で演算結果を求めることができるようになっている。従って、入力する動画情報に歪みがあったとしても、瞬時に歪みを除いた位置を特定し、その位置の画素を取得させるように作用する。

表示情報生成部は、第１の動画情報と第２の動画情報のいずれかに対し、ＤＰマッチング処理部より得た奥行き情報を適用することによって、ディスプレイが求める立体映像情報を生成するようになっている。
ここで、第１の動画情報と第２の動画情報については、フレーム・メモリに入力した動画情報のうち、ルック・アップ・テーブルによって指定されて読み出されたものを「動画情報」として扱うようになっている。オフセットが付加されることにより、歪み補正における長さの伸張があっても、これと同じ伸張がある動画情報を処理できるように作用する。

［請求項４について］
請求項４は、請求項１から請求項３に係る三次元動画像表示処理装置をコンピュータによって実現する場合に用いるプログラムに係るものであり、その説明は前記請求項１から請求項３の記載に同じである。

以上の通りであるが、各請求項に係る発明相互関係把握容易を図るため、各請求項の関係表を挙げる。

請求項１に記載の発明に係る三次元動画像表示処理装置によれば、シーケンシャルな演算を主とするＤＰマッチング処理量を減らすので、比較的汎用的なプロセッサを用いても所謂「Full-HD」と呼ばれるような高分解能の動画を実時間で処理することができる。

また、異なる撮像系での同時撮影する視差あるカメラの相対的な位置関係を正規化することができる。このため、同じオブジェクトを撮像しても、異なるカメラ配置の撮像系を用いると、異なる動画情報体になるにもかかわらず、これを補正して、同じ動画表示をできるようになる。言い換えれば、動画情報撮影のシステムの機械的配置構成設計に大きな自由度を与えることができる。また、視差の大きい動画情報を入力してもマッチング処理のミスを減少させることができる。

請求項２に記載の発明に係る三次元動画像表示処理装置によれば、更に異なる撮像系での同時撮影する視差ある複数のカメラにつき、カメラの撮像面に対して法線方向を軸とする回転方向のズレを吸収するから、加工精度の低い撮像系で得た動画情報体からでも、奥行き推定誤りの少ない動画表示ができる。

請求項３に記載の発明に係る三次元動画像表示処理装置によれば、ルック・アップ・テーブルにより高速に間引き画像抽出できるから、実時間の立体画像の生成に寄与することができる。また、ルック・アップ・テーブルによれば複雑な関数演算ができるから、実時間で非線形な修正をかけることができ、レンズ収差があっても奥行き推定誤りが少ない動画表示をすることができるようになる。即ち、撮像系のレンズ系設計に比較的安価なものを使用することができる。

請求項４に記載のプログラムによれば、コンピュータをして請求項１乃至請求項３に記載の三次元動画像表示処理装置として機能させることができる。

図１は、課題を解決するための手段についての概要図である。 図２は、第１の実施の形態の構成図である。 図３は、ＤＰコストパスの概念図である。 図４は、第２の実施の形態における間引き抽出部周辺の構成図である。 図５は、第２の実施の形態におけるオフセット状況発生例説明図である。 図６は、第２の実施の形態における間引き作用例説明図である。 図７は、第３の実施の形態における間引き抽出部周辺の構成図である。 図８は、第３の実施の形態におけるオフセット状況発生例説明図である。 図９は、第３の実施の形態における間引き作用例説明図である。 図１０は、第４の実施の形態におけるオフセット状況発生例説明図である。 図１１は、第４の実施の形態における間引き抽出部周辺の構成図である。 図１２は、第４の実施の形態における動画情報に着目した間引き作用例説明図である。 図１３は、第４の実施の形態における基準読出位置からフレーム・メモリ読出位置へのアドレス変換説明図である。 図１４は、キャリブレーション・プレートの一例図である。 図１５は、順視差・逆視差にあるオブジェクトをディスプレイ上で表示すべき位置関係説明図である。

本考案を実施するための形態については、以下の目次に沿って説明する。
-------------［目次］-------------
（１． 本発明に係る各実施の形態に渡って共通する事項）
（１．１． 「左」「右」について）
（１．２． 共通する構成上の特徴）
（１．２．１． 表示の際の主画像）
（１．２．２． 奥行き推定で利用する画像）
（１．３． 各実施の形態に係る影響低減目的）
（２． 第１の実施の形態）
（２．１． 入力する動画情報）
（２．２． ディスプレイ）
（２．３． フレーム・メモリ）
（２．４． 間引き画像抽出部）
（２．４．１． 基準アドレス決定部）
（２．４．２． オフセット加算部）
（２．４．３． 間引画素決定・抽出部）
（２．５． ＤＰマッチング処理部）
（２．５．１． ＤＰマッチング処理の概要）
（２．５．２． ＤＰマッチング処理における縦方向のズレの影響）
（２．５．３． ＤＰマッチング処理における横方向のズレの影響）
（２．５．４． 逆方向探索が必要なＤＰマッチング処理の弊害）
（２．５．５． 本実施の形態における逆方向探索回避の技法）
（２．６． 表示情報生成部）
（２．７． 第１の実施の形態の動作）
（３． 第２の実施の形態）
（３．１． オフセット加算部）
（３．１．１． オフセット加算の背景と意義）
（３．１．２． オフセット加算部周辺構成）
（３．２． ＤＰマッチング処理部）
（３．３． 第２の実施の形態の動作）
（４． 第３の実施の形態）
（４．１． オフセット加算部）
（４．１．１． オフセット加算の背景と意義）
（４．１．２． オフセット加算部周辺構成）
（４．２． ＤＰマッチング処理部）
（４．３． 第３の実施の形態の動作）
（５． 第４の実施の形態）
（５．１． オフセット加算部）
（５．１．１． ルック・アップ・テーブル実装の背景と意義）
（５．１．２． ルック・アップ・テーブルを用いたオフセット加算部構成）
（５．２． ＤＰマッチング処理部）
（５．３． 第４の実施の形態の動作）
（６． 動画情報を記録する媒体）
（７． 動画情報を記録するサーバ）
（７．１． サーバの構成概要）
（７．２． サーバの情報記録）
（８． その他）
（８．１． コンピュータにプログラムを実装して動作させる場合）
（８．２． アライメント誤差についてのキャリブレーション手法の提案）
（８．３． 脳疲労対策について）
（９． 前記実施の形態と発明特定事項との対応）

-------------［本文］-------------
（１． 本発明に係る各実施の形態に渡って共通する事項）
はじめに、本発明に係る各実施の形態に共通する事項について触れる。

（１．１． 「左」「右」の用語について）
本発明は、撮像系を構成するカメラについて、これを水平面に配置するかどうかは問わない。もっとも、一般的には、観者はディスプレイを普段生活をしているのと同じ環境で見ることが殆どである。このため、本実施の形態の説明においては、理解容易のために、撮像系を構成する２つのカメラは水平面に配置されたものと仮定して、それぞれを「左」「右」と表現する。従って、実施にあたっては、撮像系を構成するカメラが水平になっていることに限られるわけではない。

（１．２． 共通する構成上の特徴）
（１．２．１． 表示の際の主画像）
本実施の形態についてはいずれも、撮像系から得られた動画情報のうち、左右いずれか一方の動画情報をほぼそのままディスプレイで利用する。即ち、画素間での演算を経ず、実質的に解像度を落とすことなくディスプレイ上に表現されるようになっている。

（１．２．２． 奥行き推定で利用する画像）
本実施の形態ではいずれも、撮像系から得られた動画情報のうち、左右２つの動画情報を奥行き推定に利用する。もっとも、奥行き推定には、撮像系から得られた解像度を維持した画像を用いるのではない。所定の間隔毎にサンプリングした結果である間引いた画像から奥行き推定をするのである。

（１．３． 各実施の形態に係る影響低減目的）
以下、本発明に係る実施の形態について順次述べるが、理解容易を図るため、予め各実施の形態の特徴部分並びに影響低減を図る対象を対照表に示しておく。

（２． 第１の実施の形態）
次に、本実施の形態の構成について図２乃至図３を用いて説明する。図２は、本実施の形態における構成図である。また、図３は、ＤＰコストパスの概念を示した図である。なお、機能上の説明をするにあたり、図１に触れる場合がある。また、視差の説明をするにあたり、図１５に触れる場合がある。

本発明の要部は画像表示処理部（201）に実装されるところ、同画像表示処理部にはステレオ・ビューの基礎となる左動画情報（214）と右動画情報(215)とが入力される。また、処理結果はディスプレイ（222）に出力される。
（２．１． 入力する動画情報）
左動画情報（214）と右動画情報(215)とは、それぞれ動画情報である。そして、左動画情報（214）と右動画情報(215)とは視差をもった画像で同時に撮像されたものであり、かつ概ね同解像度となっている。

たとえば、視差ある場所に設置したカメラによって撮影対象を同時に撮像したものがこれにあたる。また、視差があり、同時撮影・概ね同解像度であればよいので、カメラによって撮影したものでなくても、計算機上で三次元モデルをもち、これより生成した動画情報であっても構わない。

また、ステレオ・ビューを前提に記録された映画などの動画情報も、左右に分離すればこれにあたる。

なお、本実施の形態においては、横方向の走査線に従って動画情報を取得し（即ち水平走査をし）、この走査が完了したところで次の行の走査を行うという垂直走査を行う動画情報を前提として説明するが、フレーム・メモリによって走査方式を変えられるのであれば、これに拘る必要はない。

（２．２． ディスプレイ）
画像表示処理部（201）が処理した結果である三次元の表示情報は、これに接続したディスプレイに出力して、観者に看取させることができる。

ところで近時、レンチキュラーレンズを用いた裸眼立体視用ディスプレイが市販されていて、各実施の形態においても、これをディスプレイとして用いることができる。裸眼立体視用のディスプレイとしてはどのような入力形式をとるものでも利用できるが、各実施の形態ではこのうち、２Ｄ映像（230）とデプスマップ映像（229）とを入力する方式のディスプレイを用いることを前提として説明する。

このようなディスプレイは、原則として２Ｄ映像（230）を表示する一方、ディスプレイ内部でデプスマップ映像（229）に基づいて視差ある画像を作る。そして、レンチキュラーレンズの作用によって、ディスプレイの観者の左目に二次元映像を届ける。一方、右目にも同じく二次元画像ではあるが、左目とは視差のある映像を届けるようになっている。これにより正しくデプスマップ映像を作りだせれば、ディスプレイの観者は裸眼立体視可能な撮影対象を視認することができるようになる。

すなわち、このようなディスプレイに対して裸眼立体視動画を表示させる三次元動画像表示処理装置は、左右それぞれの動画情報から、実時間で、左動画情報を２Ｄ映像としてそのまま送出するとともに、左右動画情報から演算した奥行き推定情報に変換した情報をデプスマップ映像として送出するような処理を実時間で行うことが要求される機能となる。

このようなディスプレイには、レンチキュラーレンズの作用によって、所謂多視点裸眼立体画像表示機能（被写体に対して複数の視点位置から見たときの画像を生成し、それぞれ異なった方向に向けて表示する機能）をもたせることが通常であり、複数の観者がひとつのディスプレイを見ることで、それぞれが立体を看取することができるようになっている。

（２．３． フレーム・メモリ）
フレーム・メモリは、入力した動画像情報を少なくとも１フレーム分記録するとともに、指定した場所（アドレス）の画素を読み出すことができるようになっている。
もっとも、指定アドレスの読出しは、連続して大きく離れた位置をアクセスすることはなく、高々数列離れたデータをアクセスする程度に止まる。従って、指定アドレスを読出すといっても、実験的には便利ではあるが、完全なランダムアクセスができるものである必要はない。シフトレジスタを数段シリーズに繋げたストリームラインバッファの態様で実装することも可能である。

本実施の形態においては、左動画情報（214）と右動画情報（215）とを入力するので、これにともなう左フレーム・メモリ（216）と右フレーム・メモリ（217）を設けている。

（２．４． 間引き画像抽出部）
次に間引き画像処理部について説明する。本実施の形態では、左間引き画像抽出部（204）と右間引き画像抽出部（205）とを実装する。

左間引き画像抽出部（204）には、左間引画素決定・抽出部（224）と、必要に応じて左オフセット加算部（218）とを備える。

また、右間引き画像抽出部（205）には、右間引画素決定・抽出部（225）とオフセット加算部（219）とを備える。

間引き画像抽出部には併せて基準アドレス決定部（220）を備え、この出力にあたる決定アドレスは、左間引き画像抽出部（204）と右間引き画像抽出部（205）とで共用される。

左右の両間引き画像抽出部は、前記フレーム・メモリから動画情報を取り出し、所定の方法でこれを間引き、その結果を奥行き推定のためにＤＰマッチング処理部（209）に渡すようになっている。

後述するＤＰマッチング処理部は、通常同解像度の画像同士で処理するものであるから、左フレーム・メモリ（216）と右フレーム・メモリ（217）とに対応して、それぞれ左間引き画像抽出部（104）と右間引き画像抽出部（105）とが実装されている。もっとも、撮像系のカメラアライメントが精度よく加工されているときには、左オフセット加算部は不要となる。

（２．４．１． 基準アドレス決定部）
基準アドレス決定部（220）は、左右の間引き画像抽出部が奥行き推定に利用する画素をフレーム・メモリから取得するにあたり、その基準読出位置を生成して決定するようになっている。また、基準アドレス決定部（220）は、２Ｄ映像情報の基礎となる情報を左フレーム・メモリから読み出す際の場所（画素）指定アドレスとすることができるようになっている。

本実施の形態においては、動画情報が水平走査を基調とするので、基準アドレス決定部（220）は、横方向のカウンタと縦方向のカウンタとを備えれば、これを実装することができる。

（２．４．２． オフセット加算部）
オフセット加算部（106）は、基準アドレス決定部（220）で決定した読出し場所について、所定のオフセットを加える。オフセット値をどのように採るかによって、効果が大きく異なる。
第１の実施の形態においては、水平側に正とする定数をオフセット値とする。

オフセット加算部（106）は、通常、左右間引き画像抽出部（104,105）のうち、いずれかに実装すれば足りる。この点、表示情報生成部に概ねそのまま引渡すのとは異なる側の間引き画像抽出部に実装するのが望ましい。ディスプレイでは可能な限り原画のまま表示されるようにすることが求められるからである。また、主として左右カメラを撮像した原画のうち主とした表示させたい範囲、撮像系の加工精度その他の理由も、配慮要素となる。

たとえば、実装するハードウエアその他の制限により加算部の演算ビット数に制限あるときなどには、これを設けることに意義がある。

（２．４．３． 間引画素決定・抽出部）
左間引画素決定・抽出部（224）は、左動画情報（214）を記録した左フレーム・メモリ（216）から、間引き画像を抽出する。同様に、右間引画素決定・抽出部（225）は、右動画情報（215）を記録した右フレーム・メモリ（217）から、間引き画像を抽出する。
いずれも、前記基準アドレス決定部（220）によって決定された基準読出位置が間引き処理により抽出すべき画素のアドレスとなったときに、その画素位置で各フレーム・メモリから対応する画素を取り出すようになっている。
この際、読出アドレスは、オフセット加算部（218,219）に渡され、所定のオフセットが加えられた上で、決せられる。

各フレーム・メモリから抽出した画素の集合は、ひとつの動画情報としてみることができる。すなわちこれが「間引後画像」である。間引後画像はもとの動画情報サイズより、間引いた分サイズが小さくなっている。もっとも、低域フィルタなどのフィルタを用いた縮小化ではないので、抽出すべき画素については、その原動画情報の輝度等をそのまま引き出すことになっている。

（２．５． ＤＰマッチング処理部）
ＤＰマッチング処理部（209）は、左右の間引き画像抽出部（204,205）から間引後画像を取得して、原則として同一高さの走査線同士で動的計画法に基づくパターンマッチング処理を行い、対応する画素の僅かな左右の偏差を検出するようになっている。そしてその結果を奥行き推定情報として後段の表示情報生成部（221）に渡すようになっている。
処理内容について、図３を用いてより具体的に説明する。図３は、ＤＰコストパスの概念図である。

（２．５．１． ＤＰマッチング処理の概要）
ステレオ・ビューは左右の画像で撮像したオブジェクトの同一部分が左右で偏位していることによってディスプレイ観者に立体感を生む。

先に（１． 本発明に係る各実施の形態に渡って共通する事項）に記したようにカメラを設置すると、左動画情報の視点中心と右動画情報の視点中心とを結ぶ線分方向と走査方向とは同じである。そして、左右の動画情報において同じ垂直位置における水平走査線に着目し、撮影された同一オブジェクトの対応点の偏位がディスプレイ観者の左右の目により視差を作るのに最も貢献するのである。従って、必要な奥行き推定は、左右の動画情報につき、同じ垂直位置における水平走査線同士で同一オブジェクトの対応点の偏位を求めることによって実現するのがよいことが分かる。

このような背景から、本実施の形態では、同一オブジェクトの対応点の偏位検出にＤＰマッチング処理を行う。ＤＰマッチング処理は、２つの画像の類似度を判定するアルゴリズムであるが、ＤＰコストパス（332）を求めることは、即ちこの偏位を求めることと同じ演算であるので、そのまま利用する意義がある。

具体的には、左目に供する動画情報並びに右目に供する動画情報につき、同じ垂直位置ｍにおける水平走査線上の画素データ列をそれぞれＬｐ（ｐ，ｍ）、Ｒｐ（ｑ，ｍ）としてこれを横軸・縦軸とする（ｐ、ｑ）マトリックスを作る。ここで、ｐ、ｑはそれぞれ左目に供する動画情報と右目に供する動画情報との水平位置であって、ＤＰマッチング処理に供される水平画素数を最大値とする任意の数値である。以下、このように特定の垂直位置（乃至「行」）ｍについて相対する水平画素同士で処理する行列を本明細書では単に「ペナルティ・マトリックス」と言う。

次に、ペナルティ・マトリックスの各格子点のコストを求めるが、これはその格子点を作る画素の情報の差とする。すなわち、｜Ｌｐ（ｐ，ｍ）−Ｒｐ（ｑ，ｍ）｜とする。そして、マトリックスの左下（０，０）から右上（ｐmax、ｑmax）までをこのコストが最小になるパス（332）を選んで到達させる。パスは、たとえば起点１（334-0）に着目した場合、水平方向の順停進パス（334-3）、垂直方向の停順進パス（334-1）に加え、斜め上方向の順順進パス（334-2）を採るものが候補となる。

なお、逆進するパスはここでは採る必要がない。これについては、（２．５．４．逆方向探索が必要なＤＰマッチング処理の弊害）の項目で触れる。

こうして辿ったパス（332）は順停進パスをとったところは右に偏位、停順進パスをとったところは左に偏位していることがわかるので、これに基づいて奥行き推定ができるようになる。

なお、ここでＤＰパスは１画素毎の停進、順進しかとっていないが、目で観察できるオブジェクトは連続していることが普通であり、このようなものが立体視に貢献するのであるから、連続しない部位が長く続く点（すなわち、非連続点）を追跡する必要性は低い。

ところで、脳には時間軸方向でのオブジェクトの変化から無意識に立体把握をする作用がある。たとえば、「ねぶた」が垂線を軸とした回転をしながら道を練り歩く「ねぶた祭り」の動画を片眼だけで見ると、それだけで「ねぶた」の立体的形状を把握することができるのが分かる。片眼だけで見ているのであるから、これがステレオ・ビューによる作用でないことは明らかである。このことから、脳には時間軸方向でのオブジェクトの変化から立体把握をする作用があることも確信できるわけである。

本実施の形態においてＤＰマッチングをするデータは、原動画情報ではなく間引後画像である。このことは処理の高速化に貢献している。加えて動画を扱っている以上、上記のような時間軸方向でのオブジェクトの変化から立体把握をする脳の作用、並びに一時的な予測ミスがあっても無意識に連続性を維持するように理解する脳の作用も組み合わせて利用しており、その有用性を理解することができるのである。

（２．５．２． ＤＰマッチング処理における縦方向のズレの影響）
ここで、ＤＰマッチング処理における縦方向のズレの影響について考察する。
たとえば、取り付け精度などの影響で、左カメラで撮影した画像と、右カメラで撮影した画像とで垂直方向にズレが生じているとする。具体的には、左カメラが右カメラより高い位置に設置されていたとする。

このとき、水平方向にエッジが伸びる置物Ａ、置物Ａの背後に置物Ｂがあり、これらが見える状況を撮像すると、左カメラでは置物Ａのエッジより若干高い位置を走査すると、置物Ｂを撮像していることになる。一方、左カメラより低い位置にある右カメラでは、既にこの時点で置物Ａを撮像していることになる。そうすると、この水平走査線上では右カメラと左カメラとで、異なるオブジェクトを見ていることになり、その奥行き推定に失敗する。

このような場面を想定し、一般的にＤＰマッチングを採るステレオ・ビューの処理アルゴリズムでは、ＤＰマッチングをする前処理として、縦方向に平均値をとるなど、フィルタ処理をすることで、その影響を低減する技法が採られている。

本実施の形態においては、このような技法は採っていないが、後述する第２の実施の形態以降には、この対策が採られている。

（２．５．３． ＤＰマッチング処理における横方向のズレの影響）
ＤＰマッチング処理における横方向のズレの影響について考察する。
通常、横方向のズレが生じているとき、スタートポイントでズレが生じたときには、コストパスは順停進を続けるか、停順進を続けるかを繰り返すことで、マッチングをすることになる。しかし、場面によってはコストが大きくなりすぎ、マッチングに失敗する虞がある。

更に、たとえば逆視差となる撮影がされた場合にも問題がある。
この点について、図１５を用いて説明する。図１５は、順視差・逆視差にあるオブジェクトをディスプレイ上で表示すべき位置関係図である。

図１５（a）は、眼球位置（1579）から遠い位置にあるオブジェクトＡ（1578）と、近い位置にあるオブジェクトＢ（1576）とを見たときに、ディスプレイとの関係でどの位置に像を表示させることになるかを示している。図１５（b）は、これらオブジェクトＡを前後に微少量δyaだけ動かしたとき、並びにオブジェクトＢを前後に微少量δybだけ動かしたときに、その像をディスプレイ上でどの程度左右に動かさなければならないかを表わしたグラフである。

グラフから明らかなように、スクリーンより遠方にあるオブジェクトを微少量（δya）前後に移動させてもディスプレイ上では微少な左右偏位（Δxa）をさせれば済むが、スクリーンより手前にあるオブジェクトを微少量（δyb）前後に移動させた場合には、ディスプレイ上で相当量の左右偏位（Δxb）をさせなければならない。すなわち、撮像対象が近づいたときには、左眼では正方向に、右眼では負方向にそれぞれ像を移動させることになるが、それがディスプレイより近いものを表現する逆視差の場合には、その割合比が飛躍的に増大することになる。

立体映画のうちのいくつかは、逆視差画像として配給されているが、上記のような事情があるため、これを動画入力とすると、ズレが大きいが故にマッチングがとれなくなることがある。そのようなときには、コストパスとして逆進を許すという技法も考えられないではない。

（２．５．４． 逆進探索が必要なＤＰマッチング処理の弊害）
この点、上記のような場面で逆進を許すということは、パス候補を、起点２（333-0）から選ぶ場合、水平方向（333-3）、垂直方向（333-1）に加え、斜め左下方向（333-2）に辿ることを意味する。加えて斜め左上方向のパスを加えることも考えられないではない。
しかしこれには大きな弊害がある。即ち、探索方向が増えるに従って、考えられるパスは飛躍的に増大する。また、そもそもＤＰアルゴリズムの趣旨から逸脱する。

仮にＤＰとは異なるアルゴリズムだとしてこれを容認しても、逆進探査を認めると、一旦辿ったパスに再び入り込むことがある。この場面では、更に同じパスを辿ることになり、無限にループする。これを避けるためには、重複パスを再び辿らないように、パス決定に際して多くの複雑な条件分岐をしなければならない。
これでは実時間で処理しなければならない動画の処理に耐えられない。

（２．５．５． 本実施の形態における逆進探索回避の技法）
本実施の形態では、右間引後画像の読み込みに際し、その読出し位置をオフセット加算部により意図的にずらしている。

そもそも、上記のような逆進探索が必要となるのは、主として前記逆視差画像を記録した動画を表示しようとするときであるから、カメラ設置のバラツキであれば、予め把握できるので、その分のオフセットをつければよい。

一方で、逆視差画像を記録した立体映画であっても、著しく大きな視差があるならば、そもそも脳内で立体画像を構成できなくなってしまうので、視差は一定の範囲内に収まっているはずである。視差を意図的に過大に採って立体効果を狙った動画も含め、そのシーンにいてそれぞれ対応する画素の左右偏位の最大値若しくは最小値となった画像につき、左右動画情報間のマッチングがとれるのであれば十分であり、即ち、その最大視差乃至最小視差になったときの左右間引後画像の視差分だけオフセット値をとっておけば、マッチング開始後のミスを減少させることができるようになるわけである。

本実施の形態は、オフセット加算部の作用によってこれら最大値若しくは最小値をとった場面でマッチングミスが最小になるようなオフセット値を採ることで、逆視差画像を処理する場面での不都合を回避する。

（２．６． 表示情報生成部）
表示情報生成部（221）は、ＤＰマッチング処理部で得られた奥行き推定情報と左の動画情報とに基づいてレンチキュラーレンズ型のディスプレイ（222）に表示可能なフォーマットに整える。具体的には、左フレーム・メモリの内容と奥行き推定情報とから、２Ｄ映像（230）とデプスマップ映像（229）とに変換して出力するようになっている。

本実施の形態では、２Ｄ映像として、左動画情報をほぼそのまま利用する。ここで、ＤＰマッチング処理で数フレーム分の処理時間がかかるようであれば、要する処理時間分のフレームバッファを備え、ＤＰマッチング処理の対象となったもとの間引後画像と対応する左動画情報が同期してディスプレイに出力されるようにする。

（２．７． 第１の各実施の形態の動作）
次に、本実施の形態を動画情報の流れの観点から説明する。
デジタルで記録された記録媒体、デジタル動画を配信する情報配信サーバ、ステレオ・カメラなどから得られた左右の動画情報（214,215）は一旦、左右のフレーム・メモリ（216,217）に蓄えられる。

フレーム・メモリに蓄積された動画情報は、左の動画情報については奥行き推定とディスプレイの表示情報生成に利用される。また、右の動画情報については、奥行き推定に利用される。このとき、基準アドレス決定部（220）が、このフレーム・メモリ（216,217）に蓄えられる動画情報を走査的に順次読み出していく基準読出位置を決定する。決定された基準読出位置は左フレーム・メモリ（216）の読出し位置として直接与えられ、フレーム・メモリから読み出された動画情報が表示情報生成部（221）で２Ｄ映像生成の基礎となる。

一方、フレーム・メモリに記録された情報は、左間引画素決定・抽出部（224）、右間引画素決定・抽出部（225）で間引処理がされる。この際、右フレーム・メモリに記録された動画情報は、右オフセット加算部（219）によってオフセットが加算されているので、ＤＰマッチング処理部で逆進探をする必要がない位置の読出しがされる。
そして読み出された間引後画像に基づいてＤＰマッチング処理により奥行きが推定される。

推定された奥行きは、左フレーム・メモリに記録された動画情報と同期が取られるとともに、ディスプレイに送られ、立体視画像を観者に提供する。

なお、各処理で必要となる基礎情報の理解を助けるため、各情報の関係を表にまとめる。

（３． 第２の実施の形態）
次に第２の実施の形態について、図４乃至図６を用いて説明する。
第２の実施の形態は、カメラの取り付け精度に難があり、アライメントズレが生じているような撮像系のものでも正しく奥行き推定をできるように、前記第１の形態におけるオフセット加算部周辺を変更したものとなっている。
具体的には、第1の実施の形態における基準アドレス決定部（220）、両オフセット加算部（218,219）、並びに間引画素決定・抽出部（224,225）に変更を加える。ここでは変更部分について触れ、共通する部分の説明を割愛する。

（３．１． オフセット加算部）
（３．１．１． オフセット加算の背景と意義）
ペナルティ・マトリックスを用いて奥行き推定をするにあたり、左右の処理対象画像間での縦方向のズレに影響を与えるものに、撮像系を構成する左右のカメラの取付け加工精度に起因するものがある。

本発明は、左右で同じ解像度のカメラを用いることが前提となっている。そしてその解像度は高いものであって、加えて奥行き推定処理においても間引処理をすることから、取り付け精度が奥行き推定処理に与える影響は大きい。
一方、現実の実装をする上で、取り付け精度を向上させることはコストアップの原因ともなるので、最終商品との関係で合目的的な精度でも効果的な対策が望まれるわけである。

（３．１．２． オフセット加算部周辺構成）
本実施の形態では、上記オフセット発生の背景事情に対処する。以下、図４を用いて説明する。図４は、第２の実施の形態における間引き抽出部周辺の構成図である。

横インデックスカウンタ（442）は、左フレーム・メモリから動画に係る画素情報を読み出すにあたり水平方向の位置を決定するためのカウンタであって、横方向の走査にともないそのカウンタ値がインクリメント（＋１）するようになっている。

縦インデックスカウンタ（441）は、左フレーム・メモリから動画に係る画素情報を読み出すにあたり垂直方向の位置を決定するカウンタであって、縦方向の走査にともないそのカウンタ値がインクリメント（＋１）するようになっている。

縦インデックスカウンタ（441）と横インデックスカウンタ（442）とは、両者で基準アドレスを示すようになっている。従って、縦インデックスカウンタ（441）で上位１０ビット、横インデックスカウンタ（442）で下位１０ビットの連続したカウンタとして実装すれば、Full-HDと呼ばれる1920×1080の解像度をもつディスプレイ・動画入力に対応できる。

左フレーム・メモリ（416）と右フレーム・メモリ（417）はそれぞれ、第1の実施の形態に同じである。

基礎アドレス計算部（444）は、前記縦インデックスカウンタ（441）と横インデックスカウンタ（442）との値に基づいて、図示しない表示情報生成部（221）に対して左フレーム・メモリから読み出して供給するメモリ番地を生成し、その読出しに供するようになっている。こうしてメモリ番地が特定された上で読出された画素はＤＰマッチング処理部に供給されるようになる。

基礎アドレス計算部（444）はまた、前記縦インデックスカウンタ（441）と横インデックスカウンタ（442）との値に基づいて、間引後の読出位置となるメモリ番地を求める。たとえば、３画素にひとつの画素を抽出するのであれば、前記縦インデックスカウンタ（441）と横インデックスカウンタ（442）とがそれぞれ３の剰余系の値が所定数（予め定めた０，１，若しくは２）になったとき、それを間引画素と決定し、左フレーム・メモリ（416）の読出し番地として左フレーム・メモリに供する。

オフセット決定部（443）は、縦・横について独立した定数を保持し、アドレス加算部（445）にこの定数を参照させられるようになっている。ここで、横方向のオフセット定数は正のみ、縦方向は正負いずれの値も採ることがある。

この定数のうち縦の定数は撮像系製造後、その撮像系毎に測定した値を用いる。よって、本三次元動画像表示処理装置が不特定のカメラで撮影した動画を対象として表示させるのであるならば、縦オフセット値は、書換え可能とし、表示する動画毎に決められた値を装置外部から設定できるようにするのが望ましい。この場合、操作者の手入力によるのでも良いが、後述する情報媒体、情報提供サーバのように、撮像系毎に測定した値が供給され、これをオフセット値として登録するように構成すれば、操作者の手間を軽減するので望ましい。

アドレス加算部（445）は、基礎アドレス計算部（444）の間引後の読出し位置たるメモリ番地とオフセット決定部（443）を参照して得られる定数とを加える。この際、縦横方向の値を加えることができるようになっている。基礎アドレス計算部からは、間引抽出する画素のメモリ番地が指定されるので、間引数毎の離散値が指定されることになるが、加算は基礎アドレス計算部（444）の元の数値に対して行われる。

（３．２． ＤＰマッチング処理部）
本実施の形態においてＤＰマッチング処理部には第1の実施の形態から特に変更すべきところはない。

なお、ＤＰマッチング部に供給される左間引後画像は左の原動画情報を単に縦横で等間隔に並べたものである一方、右間引画像は右の原動画情報に対してはオフセットがつけられた上で縦横等間隔に並べたものとなる。

（３．３． 第２の実施の形態の動作）
以上の構成を採る本実施の形態の動作を、図５と図６とを用いて説明する。図５は、第２実施の形態におけるオフセット状況発生例説明図である。図６は、第２の実施の形態における間引き作用例説明図である。

図５に示す通り、左動画情報（a）と右動画情報（b）とは、後方のオブジェクトが前方のオブジェクトに隠れるなど、いずれか片方の像にのみ現われるオブジェクトを除き、上下のズレが生じること無く単に視差のみに起因してオブジェクトの前後関係が左右の偏位として表われることが望ましい。即ち、望ましい画像である図５（a）と（b）とは、ともに板の手前側に球がある像であるところ、球頂上部付近に着目すると、板右縦端線との関係に微妙な差がついていて、右動画情報の方が球頂上部の位置が板右縦端線より離れた像となっている。これら左右動画情報をそれぞれ左眼・右眼で見ると、この微妙な差により観者の脳は板と球の前後関係を認識できるようになるわけである。

しかし、左右上下でアライメントがずれた撮像系でこれを撮像すると（ｃ）のような像となる。すなわち本来の像（551）ではなく、注視するオブジェクト付近は概ねカメラのアライメントズレである横ズレ（553）、縦ズレ（554）が反映された像（552）となる。そこで、オフセット決定部で、縦ズレを補正する方向で、縦方向のアライメントを採るわけである。

このような撮像系では横方向でもアライメントズレが生まれることは当然である。
しかし、
（１）視差をつくることで立体的オブジェクトを脳に再構成させるという方式上の特徴、
（２）並びに、奥行き情報は像として表われる複数のオブジェクトの相対的な前後関係が重要なのであって、奥行きの絶対値を演算できることはあまり意味がないという、実質的な特徴、
などを考慮すると、横方向のアライメントズレは無視しうるものである。よって横方向のオフセット加算で重要なのは第１の実施の形態の説明でも指摘したとおり、逆視差によるＤＰマッチング処理エラーを低減することにある。よって、横方向のオフセットについては、第１の実施の形態において指摘した視点で設定することになる。

オフセット決定部（443）における横方向のオフセット定数は正のみ、縦方向は正負いずれの値も採るとしたのはこのような理由からである。

なお、アライメントズレは、撮像系の左右カメラの相対的位置の誤差であるから、特に左フレーム・メモリ（416）に対してオフセットをかけることは必要とまではいえない。

ここで動画情報に着目し、図６を用いて簡単に整理する。なお、図６では、縦方向のアライメントが右カメラで＋１画素分ずれていた場合を示している。
左右で得られた動画情報（602,603）は間引き画像抽出部（605,606）を経て左右の間引後画像（626,627）となる。この際、オフセット加算の作用によって、原動画情報が離散的に抽出され、左と右の原画像に対して図中黒点で示した画素（612,613）が得られる。これらはＤＰマッチング処理、表示情報生成処理を介してディスプレイに出力されることになる。

以上説明したように、本実施の形態によれば、オフセット加算部の作用によって、カメラの上下左右方向のアライメントのずれによる不都合は回避されるとともに、逆視差の場面でも有効な奥行き推定をすることができる。

（４． 第３の実施の形態）
次に第３の実施の形態について、図７〜図９を用いて説明する。
第３の実施の形態は、前記第２の実施の形態と同じく、カメラの取り付け精度に難があり、アライメントズレが生じているような撮像系のものでも正しく奥行き推定をできるようにオフセット加算部周辺を変更したものとなっている。もっとも、第２の実施の形態と異なり、アライメントに傾き成分がある場合も考慮している。より正しくは、撮像系のカメラの撮像面に対して法線方向を軸とする回転方向のアライメント誤差を考慮している。
本実施の形態は、構成上第２の実施の形態と概ね同様となるが、オフセット決定部周辺の構成・動作が異なる。

（４．１． オフセット加算部）
ペナルティ・マトリックスを用いて奥行き推定をする上で、左右の処理対象画像間での縦方向のズレの影響を与えるものに、カメラの傾きに起因するものがある。
第３の実施の形態は、左右カメラの取り付け精度由来のアライメント誤差のうち、カメラの傾き方向を意識して、これに対処する。この場合、画像中心より周辺に拡がるに従って縦方向のズレが拡大することになる。本実施の形態では、このような縦方向のズレへの対処を図っている。

（４．１．１． オフセット加算の背景と意義）
本実施の形態も前記第２の実施の形態と同じく、縦方向のずれに対処するものである。もっとも、本実施の形態が対処しようとしているズレは周辺に向かうに従って次第に拡がるものであるから、前記第２の実施の形態のように定数を加えるだけでは足りない。
この点、単純に横方向に数画素進んだときに１画素分縦方向にオフセットを加える（または減ずる）というカウンタ型のオフセット加算をする手法が考えられる。
しかしこの技法には難がある。即ち、左の動画情報ではｎ画素進んだときの移動距離は単にｎであるが、これに対応する右の動画情報ではＳＱＲＴ（ｎ×ｎ＋１）分の長さを進むことになる。僅かな左右の違いで立体を感じさせる本表示処理装置において、この差は致命傷になりかねない憾みがある。

他方、原画像にアファイン変換をして縮尺を整えるという手法もないわけではない。しかしこれをすると演算量が飛躍的に増大し、専用のプロセッサを用いるなどする必要が生じてくる。

そこで、本実施の形態では、左右の動画情報の間引後画像が同一縮尺で引き延ばすように、左右のメモリ抽出場所双方にオフセットを加算することとした。具体的には、撮像系のカメラの撮像面に対して法線方向を軸とする回転方向のズレ（ズレ角θ）があるときには、オフセット加算をするにあたり、双方が水平面に対してθ／２となるようなオフセットを作ることにする。以下、具体的な構成について説明する。これにより左右双方のフレーム・メモリから読み出した画像は、走査線上の現実の長さよりＳＱＲＴ（ｎ×ｎ＋１）分伸張するが、左右での縮尺は同程度であるから、ＤＰマッチング処理をする際の左右ミス発生を低減させることができるようになる。

（４．１．２． オフセット加算部周辺構成）
本実施の形態では、上記オフセット発生の背景事情に対処する。以下、図７を用いて説明する。図７は、第３の実施の形態における間引き抽出部周辺の構成図である。

左フレーム・メモリ（716）、右フレーム・メモリ（717）、横インデックスカウンタ（741）、縦インデックスカウンタ（742）、基礎アドレス計算部（744）、並びにアドレス加算部（745）は前記第２の実施の形態と同じ構成、同じ作用を奏するので説明を省略する。

左右のオフセット決定部（743-1,743-2）は、フレーム・メモリの読出し位置につき、縦方向、横方向とも走査を辿るに従って、次第にオフセットの絶対値が大きくなるような値を出力する。このため、左右のオフセット決定部（743-1,743-2）はそれぞれ縦横インデックスカウンタによって決する基準読出位置によって、そのオフセット値は変化することになる。この結果は基礎アドレス計算部の出力に加えられ、若しくは減じられる。
この際、左のオフセット決定部と右のオフセット決定部によって決定されるオフセットは、抽象的に完全水平である基礎アドレスに対して所定の傾きを持つことになるが、その傾きは、正負の差こそあれども、左右で同一値になるようになっている。

（４．２． ＤＰマッチング処理部）
本実施の形態においてＤＰマッチング処理部には第1の実施の形態から特に変更すべきところはない。

もっとも、ＤＰマッチング部に供給される左右の間引後画像について、特に左の間引後画像は左原動画情報を単に縦横等間隔に並べたものではなく、左右間引画像ともに左右それぞれの原動画情報に対してオフセットがつけられた上で縦横等間隔に並べたものとなる点で異なる。

（４．３． 第３の実施の形態の動作）
第３の実施の形態の動作について、図8と図９を用いて説明する。図８は、第３の実施の形態におけるオフセット状況発生例説明図である。また、図９は第３の実施の形態における間引き作用例説明図である。

第２の実施の形態におけるものと同じく、図８に示す通り、左動画情報（a）と右動画情報（b）とは、後方のオブジェクトが前方のオブジェクトに隠れるなど、いずれか片方の像にのみ現われるオブジェクトを除き、上下のズレが生じること無く単に視差のみに起因してオブジェクトの前後関係が左右の偏位として表われることが望ましい。

しかし、撮像系のカメラの撮像面に対して法線方向を軸とする捻れ方向にアライメントがずれた撮像系を用いてオフセットを撮像すると（ｃ）のような像となる。すなわち本来あるべき像（851）よりも、注視するオブジェクト付近は概ねカメラのアライメント誤差による傾きズレ角θ（855）（以下、「アライメント誤差角」という。）の影響を受ける像（852）となる。

そこで、オフセット決定部では、左右で同じ角度の補正を行う。すなわち、アライメント誤差角θの補正を左右オフセット決定部が等しく負担して回転抽出による補正を行う。これによって、結果として縦方向のアライメントの整合性が維持できるようになるわけである。

なお、第2の実施の形態と同じく、横方向でのオフセットについては、動画情報が逆視差となる場合を考慮して別のオフセットが必要である。よって、上記走査に従って数値を増やすことに加え、逆視差用のオフセットを更に加算することになる。

以上の動作を動画情報のデータ面で整理して、図９を用いて説明する。なお、図９では、アライメント誤差角がθとなった場合を示している。

左右オフセット決定部のオフセットの値は、アドレス加算部（745）の作用によって、基礎アドレス計算部によって計算された基礎読出位置に、加えられ若しくは減じられる。これによりフレーム・メモリから読み出すメモリ番地が決定する。こうして左右で得られた動画情報は、間引画像抽出処理を経る。これにより、左右の間引後画像（926,927）が得られる。この際、左右のオフセット加算の作用によって、原動画情報の位置としては、左と右の原画像に対して図中黒点で示した画素（912,913）が抽出される結果となる。

図では、左間引き画像抽出する画素行（956-1）が水平線（959-1）と、また、右間引き画像抽出する画素行（956-2）が水平線（959-2）と、各々θ／２だけ傾いている結果、間引き画像抽出した画素行は相互にθの傾きを持っていることを表わしている。

これらはＤＰマッチング処理、表示情報生成処理を介してディスプレイに出力されることになる。

なお、左フレーム・メモリから表示情報生成処理に送られる左の原動画情報も左オフセット決定部による演算が加えられた読出し位置のものを用いる。これによって、距離計算に使われた奥行き推定と２Ｄ映像との位置対応が完全に一致することになる。

もっとも、この操作をコンピュータプログラムで実現しようとすると、単純にオフセット加算量が２倍になるので、パフォーマンス上問題が生じる場合がある。このようなときには、左側のオフセット加算をすることなく、右側のオフセット加算のみで対応することは可能である。ただし、この場合には、正しく奥行き推定ができないことがあり、全体として画像周辺部の奥行き歪みが生じる結果となる。

とはいえ、このような歪みをコンテンツ製作者が意図している場合がある。そのような場合には、著作者の同一性保持権を保護するべく、オフセット加算は右側のみに留めるという選択肢を用意しておくことになる。

本実施の形態によると、画像周辺で画素を切り捨てなければならない場面が生じる。この付近では、強制的にブラックアウトさせるなどの工夫をすれば、自然な動画の表現を維持することは可能である。

以上説明したように、本実施の形態によれば、オフセット加算部の作用によって、カメラのアライメント誤差角発生による不都合は回避されるとともに、逆視差の場面でも有効な奥行き推定をすることができる。

（５． 第４の実施の形態）
次に第４の実施の形態について、図１０〜図１３を用いて説明する。
第４の実施の形態は、前２形態と同様に、撮像した画像に難があるものでも正しく奥行き推定をできるようにオフセット加算部周辺を変更したものとなっている。もっとも、第２・第３の実施の形態と異なり、アライメントに起因する誤差ばかりでなく、レンズ収差による画像の歪みにも配慮している。

本実施の形態は、構成上前２形態と概ね同様となるが、オフセット決定部周辺の構成・動作が異なる。

（５．１． オフセット加算部）
ペナルティ・マトリックスを用いて奥行き推定をする上で、左右の処理対象画像間での縦方向のズレの影響を与えるものに、レンズ歪みに起因するものがある。
レンズ収差が作用するとオブジェクト像の直線が湾曲するような歪みとなって現れる。第４の実施の形態は、このような歪みへの対処を図っている。即ち、本実施の形態では、これまで示してきた撮像系のアライメント誤差等に加え、上記レンズ収差など、全ての事情による不都合性に対処する。もっとも、この実施の形態では製造コストも高まるが、三次元表示の内容・目的・表示画像の大きさ・動体速度・表示態様などを総合的に考慮して、いずれの実施の形態を採用するのがよいかを判断すればよい。

（５．１．１． ルック・アップ・テーブル実装の背景と意義）
撮像系は、ピンホールカメラ等のレンズを有しない特別な場合を除き、レンズを通して撮像することになる。この際、そのレンズの形状等の影響を受け、撮像対象となるオブジェクトはレンズ位置を境にその反対側におかれた撮像面で、同じ形状とはならず若干歪んだものとなる。この状況は図１０に示したように、撮像対象のオブジェクトが平面であっても、樽型湾曲と呼ばれるような中央が膨脹するような歪み（図中（d）参照）を生じたり、糸巻型湾曲と呼ばれるような中央に向かって周囲が湾曲するような歪み（図示しない）を生じたりすることがある。このような場合には、望ましい右動画情報例（図中の（b））のような画像は得られず、周囲が湾曲した画像（図中の（c））が得られることになる。これでは、対象となる左動画情報（図中（a））との間で縦方向の不一致を生じてしまうことになる。

本実施の形態も前第２形態と同じく、主として縦方向のずれの弊害を低減しようとするものである。もっとも、本実施の形態が対処しようとしているズレは、湾曲したものをもとの直線となるように補正しようとするものであるから、前２形態のように整数的な加減算を繰り返すだけでは足りない。

そこで、本実施の形態では、上記背景を考慮して、ルック・アップ・テーブルを用いて、実時間処理を可能とする。また、左右のフレーム・メモリに対してルック・アップ・テーブルによるアドレス変換を行うことによって、２Ｄ映像との対応を確実なものにする。

（５．１．２． ルック・アップ・テーブルを用いたオフセット加算部構成）
オフセット加算部について、図１１を用いて説明する。図１１は、第４の実施の形態における間引き抽出部周辺の構成図である。

左フレーム・メモリ（1116）、右フレーム・メモリ（1117）、横インデックスカウンタ（1141）、縦インデックスカウンタ（1142）は前二形態と同じ構成、同じ作用を奏するので説明を省略する。

左ルック・アップ・テーブル（1161）は、横インデックスカウンタ（1141）、縦インデックスカウンタ（1142）の示す縦横のインデックスを入力し、これに１：１に対応した値を出力するようになっている。その出力値は、左フレーム・メモリ（1116）の画像の読出しアドレスとするようになっている。
また、左ルック・アップ・テーブル（1161）は、縦横インデックスカウンタが所定の間引抽出画素を示すアドレスになったときに、その旨を検出して別途左フレーム・メモリ（1116）の記録画像から該当する読出しアドレスの画素を抽出できるようになっている。

右ルック・アップ・テーブル（1162）は、同じく横インデックスカウンタ（1141）、縦インデックスカウンタ（1142）の示す縦横のインデックスを入力し、これに１：１に対応した値を出力するようになっている。その出力値は、左フレーム・メモリ（1116）の画像の読出しアドレスに対応するようになっている。
また、右ルック・アップ・テーブル（1163）も、縦横インデックスカウンタが所定の間引抽出画素を示すアドレスになったときに、その旨を検出して別途右フレーム・メモリ（1117）の記録画像から該当する読出しアドレスの画素を抽出できるようになっている。

即ち、左ルック・アップ・テーブル（1161）と右ルック・アップ・テーブル（1162）との差は、補正しようとしている対象動画情報が左右別のフレーム・メモリに記録されているという違いだけであり、それぞれの動画情報を撮像したカメラの収差が異っても、その変換テーブルに記録したデータが違うというだけである。

（５．２． ＤＰマッチング処理部）
本実施の形態においてもＤＰマッチング処理部には第３の実施の形態から特に変更すべきところはない。唯一間引後画像の原動画情報上の位置がオフセット加算等の演算に基づくのではなく、ルック・アップ・テーブル（1161,1162）によって決まったものである点のみが異なる。

（５．３． 第４の実施の形態の動作）
第４の実施の形態の動作について、図１２、及び図１３を用いて説明する。図１２は第４の実施の形態における動画情報に着目した間引き作用例説明図である。図１３は、図１２と概ね同様であるが、前記構成に着目した基準アドレス変換状況説明図である。
なお、図１２と図１３では、レンズ収差による樽型湾曲が生じた例を示している。

左右で得られた動画情報（1202,1203）はそれぞれ前記ルック・アップ・テーブルの作用によって間引画像抽出処理を経る。これにより、左右の間引後画像（1226,1227）が得られる。この際、左右のルック・アップ・テーブルの作用によって、原動画情報の位置としては、左と右の原画像に対して図中黒点で示した画素（1212,1213）が抽出される結果となる。

すなわち、ルック・アップ・テーブルには収差・カメラアライメント誤差に応じた読出し位置が記録されているので、左右の画像にあった収差（1265,1266）に対応して、フレーム・メモリからの読出し画素も複雑な演算をすることなく、図中黒点のように収差の影響を回避しつつ、読み出すことになる。これらはＤＰマッチング処理部、表示情報生成処理部を介してディスプレイに出力されることになる。

なお、左フレーム・メモリから表示情報生成処理に送られる左の原動画情報も左ルック・アップ・テーブルによるアドレス変換が加えられた読出し位置のものを用いる。これにより、距離計算に使われた奥行き推定と２Ｄ映像との位置関係が完全に一致することになる。

また、ルック・アップ・テーブルによる横方向の修正については、動画情報が逆視差となる場合を考慮して別のオフセットが必要である。ルック・アップ・テーブルによれば、これも含めた読出しアドレスの変換が可能になる点で都合がよい。

一部重複するが、これらの動作を構成面で整理して図１３を用いて説明する。
縦横インデックスカウンタ（1141,1142）で示された基準読出位置（1320）は、左右のルック・アップ・テーブル（1361,1362）で変換元アドレスとして参照される。左右フレーム・メモリのアクセスは画像情報を書き込む場面を除き、全てこれらルック・アップ・テーブルによって変換されたアドレスで読み出される。特に左フレーム・メモリから得られた動画情報は図示しない表示情報生成部でディスプレイに合わせた規格の動画情報に変換されていく。

基準読出位置（1320）において間引抽出すべき図中黒丸の位置は左右のルック・アップ・テーブル（1361,1362）によって収差等の影響を受けた位置に変換され、左フレーム・メモリ（1316）、右フレーム・メモリ（図示しない）上の画素を指定する。このため、読み出された画素は収差等の影響が除かれたものとなっている。指定された画素は左右間引画像抽出処理（1304,1305）の結果として、ＤＰマッチング処理部に渡される。
以上のように、基準読出位置（1320）は、動画情報のフレーム・メモリへの記録の場面を除き、左右のルック・アップ・テーブル（1361,1362）に対して直接読出しアクセスアドレスをして使われることはない点が本実施の形態における特徴となっている。

以上説明したように、本実施の形態によれば、ルック・アップ・テーブルの作用によって、カメラのアライメント誤差角発生による不都合、レンズ収差が作用奥行き推定への影響の低減、並びに逆視差の場面での有効な奥行き推定をすることができる。

（６． 動画情報を記録する媒体）
以上までで三次元動画像表示処理装置についての説明を終えるが、この装置の利用に供する動画情報記録媒体について簡単に触れる。

前記説明で明らかなように、実施の形態としての本三次元動画像表示処理装置は、究極的には動画表示の実時間性を目指すとともに、動画を処理する観者の脳の作用を利用しつつ、縦方向のアライメント等のズレによるＤＰマッチングミスを低減させることを図っている。

このようなアライメント等のズレは撮像系の加工精度、レンズ精度その他の影響から生じるものであるから、殆どが撮像系の個性に依存しているといえる。

そうすると、３Ｄなどコンピュータ内でのみ生成されるものを除き、動画情報は全て撮像系と一対一に対応して、一の撮像系から得られる動画像は等しく同様の個性を引き継いでいるといえる。

このため、本三次元動画像表示処理装置で再生する動画情報を動画記録媒体に記録して配布するのであれば、その媒体の中にアライメントに係る情報、レンズ収差に係る情報を含めておき、再生時にこれを活用すれば、処理装置を利用する者から設定操作を放逐することができる。
具体的には、以下の通りである。

第１の実施の形態に係る三次元動画像表示処理装置での再生を目的とする動画記録媒体には、そのなかにオフセットとなる定数を記録し、三次元動画像表示処理装置でこの定数を読み出して、オフセット加算部で使用するオフセット値として設定すればよい。

第２の実施の形態に係る三次元動画像表示処理装置での再生を目的とする動画記録媒体には、そのなかにオフセットとなる縦横それぞれのオフセット値を記録し、三次元動画像表示処理装置でこの値を読み出して、左右オフセット加算部で使用するオフセット値として設定すればよい。

第３の実施の形態に係る三次元動画像表示処理装置での再生を目的とする動画記録媒体には、そのなかにオフセットとなる縦横それぞれのオフセット初期値、並びにオフセットを増加減少する割合等を記録し、三次元動画像表示処理装置でこれらの値を読み出して、左右オフセット加算部に設定すればよい。

第４の実施の形態に係る三次元動画像表示処理装置での再生を目的とする動画記録媒体には、そのなかに左右ルック・アップ・テーブルの全変換データを記録し、三次元動画像表示処理装置でこのデータを読み出して、ルック・アップ・テーブルに記録すればよい。

もちろんこれらオフセット値、ルック・アップ・テーブルの変換データ（以下、両者あわせて「変換データ等」という。）を重畳的に記録しておき、適宜選択的にこれらを抽出して記録するようにしても構わない。

また、一の動画記録媒体に変換データ等をひとつに限って記録する必要はなく、複数のコンテンツを記録してこれを観者が選択して動画参照をできるようにするならば、そのコンテンツの毎の変換データ等を記録するのでも構わない。また、一のコンテンツであっても複数のシーンによって構成されているのであれば、シーン毎にこれを記録しておくのでも構わない。

この場合、シーン毎にオフセット値を更新するように三次元動画像表示処理装置を構成すればよい。構成上は特に前記した実施の形態と変るところはない。単に再生されるシーンを表示する前にオフセット値の更新を終わるようにバッファ付のオフセット値更新手段を設け、これを適宜切り替えて利用すれば足りる。

シーンによっては焦点位置が違えば異なる変換データ等を用いた方が適切な場合がある。変換データ等は主として撮像系に依存するものの、このような場合には、同一の撮像系を用いたときでも撮影シーンによって変更できるような記録をすることも採りうる手法である。

なお、変換データ等の記録の仕方に拘る必要はない。動画情報のなかに重ねあわせておいて、再生時にこれを分離するようにする手法や、動画情報とは別のトラックに記録しておき、これを三次元動画像表示処理装置が予め取得してから動画情報を入力する手法などが採りうる。

（７． 動画情報を記録するサーバ）
動画情報記録媒体について、変換データ等を動画情報に対応して記録しておくのは前述のとおりであるが、これと同様に、クラウド上に記録した動画情報を保管する場合についても同様に変換データ等を紐付けて記録し、要求に応じてこれを配信するという手法も採りうる。
各実施の形態によって如何なる変換データ等を配信すればよいかは、上記動画情報記録媒体と同じ状況なので、説明を省略する。

（７．１． サーバの構成概要）
サーバとしては、通常のhttp乃至httpsのプロトコルを処理できるものであれば足りる。たとえば、「ジ アパッチ ソフトウェア ファウンデイション」が統括する「ＡＰＡＣＨＥ（登録商標）」サーバを用いればよい。

（７．２． サーバの情報記録）
サーバに記録するデータも、前記動画情報記録媒体とかわるところはない。
ひとつの動画情報を要求するhttpリクエストに対してレスポンスする動画情報のなかに重ねあわせておいて、クライアント側でこれを分離するようにする手法でも、別のリクエストに対して、変換データ等をレスポンスするようにしても構わない。
（８． その他）
以下、上記各実施の形態において説明しきれていない点について簡単に触れておく。

（８．１． コンピュータにプログラムを実装して動作させる場合）
各実施の形態についてコンピュータに画像表示処理装置として機能させるためには、各機能を実装させるプログラムをデプロイすればよい。

この場合、各フレーム・メモリ（216,217,・・・）はコンピュータの主メモリに割り当てればよく、また表示情報生成部中の画像バッファにも同じくコンピュータの主メモリに割り当てればよい。このとき、間引き画像抽出部、ＤＰマッチング処理で処理時間が短く、表示情報生成部（221）でのバッファ処理が不要なときは、フレーム・メモリ（216,217,・・・）として用意した主メモリ中の領域をそのまま利用すればよい。

（８．２． アライメント誤差についてのキャリブレーション手法の提案）
次に、各実施の形態における変換データ等のキャリブレーションについて簡単に触れる。
第１乃至第３の実施の形態において、オフセット値は僅かな情報量なので、簡単にキャリブレーション用のオブジェクトを撮像しながら適切なオフセット値を決定すればよい。

一方、第４の実施の形態におけるルック・アップ・テーブル（1161,1162）に記録する変換データは、単純な測定結果からだけでは生成が難しいので、若干の工夫を要する。

この点、キャリブレーション・プレートを用いるのが簡便である。ここでは、ルック・アップ・テーブルに記録する変換データを生成するのに好適なキャリブレート手法について説明する。

具体的には、図１４に示すような点が記録されている板を用いる。この板に描かれたパターンを現実の撮像系で撮影し、その撮像結果に基づいてルック・アップ・テーブルの変換データを決する手法である。

図１４は、キャリブレーション・プレートの表示例である。なお、図１４では２つの例を（a）（b）あわせて示している。

まず、原始的には図中（a）に示すように、等間隔に配列したドット群を撮像し、これが撮像系にある左右カメラでどのように写るかを把握して、ドット（1471,1472）にあった部分を間引抽出位置に決める手法がある。このため、ドットは概ね撮像デバイスの１画素に相当する程度にすることが簡単である。その際にはドット間隔は引間間隔に相当するになる。

もっとも、間引抽出画素につき数個をグループとして、これを代表するものとして、１つのドットを描くという手法も採りうる。この場合、間引抽出点に対応する点全てを撮像した画像から把握することはできないので、その間を内挿補完することになる。

一方、図中（b）に示すように、千鳥格子状に配列したドット群を撮像し、これが撮像系にある左右カメラでどのように写るかを把握して、ドット（1473,1474）に基づいて間引抽出位置に決める手法がある。この場合、間引抽出点に対応する点全てを撮像した画像から把握することはできないので、その間を内挿して補完することになる。

このようにすることで、左右いずれのドットが対応するのかを把握しやすくすることができる。更に、数個のドットにひとつ形状の異なるドット（1475）をおき、これを手掛かりにすれば、左右で撮像したドットの対応付けを容易にすることができる。

（８．３． 脳疲労対策等について）
ところで、三次元画像は、両目から入ってくる微妙に異なる視差有る画像に基づいて立体物を構成する、無意識の脳の作用を利用するのであるから、人が長時間これを見続けると、脳に疲労が生じることも想像できなくはない。このため、本実施の形態に係る装置におけるＤＰマッチング処理部において得られた奥行き推定値を所定の比率で縮小するなどし、視差を縮小して脳の作用を軽減させ、疲労に対する緩和を図ることは可能である。

また、撮像系で得られる視差は一定なのに対し、個々人がもつ視差は当然違いがあり、同じ三次元画像であるとしても、個々人で異なった距離感をもつことになる。上記と同様にＤＰマッチング処理部において得られた奥行き推定値を所定の比率で増減することにより、個々人がもつ固有の視差の違いを吸収し、誰がディスプレイを見ても同じ距離感を維持させることができるようになる。

（９． 前記実施の形態と発明特定事項との対応）
ここでは、本願発明について請求項に用いた文言と、実施の形態において用いた文言との対応関係に触れる。この点、これまで述べてきた発明を実施するための形態の説明では、理解容易の観点で用語を選択しているので、それが一般社会的な意味と異なる場合であっても、請求項に用いた文言を制限する趣旨ではないことは勿論である。また、同一の文言を用いている場合には、そのまま対応関係を維持する。

「第１の動画情報」、「第１の動画情報」は、通常、左の動画情報、右の動画情報に対応する。利用態様・実装態様によっては、この逆の関係になっても構わないし、２つの限る必要もない。同様に「第１の間引き画像抽出部」「第２の間引き画像抽出部」についても、通常は左右の「間引き画像抽出部」に対応するが、この逆の関係になっても構わない。以下、「第１」並びに「第２」は省略する。

「間引き画像抽出部」は以下の通りである。
第１の実施の形態では、基準アドレス決定部（220）、オフセット加算部（218,219）、間引画素決定部・抽出部（224，225）の総体に相当する。
第２の実施の形態では、縦横インデックスカウンタ（441,442）、オフセット決定部（443）、基礎アドレス計算部（444）の総体に相当する。
第３の実施の形態では、縦横インデックスカウンタ（741,742）、オフセット決定部（741-1,741-2）、基礎アドレス計算部（744）、アドレス加算部（745-1,745-2）の総体に相当する。
第４の実施の形態では、縦横インデックスカウンタ（1141,1142）、ルック・アップ・テーブル（1161,1162）の総体に相当する。

本発明は、三次元の動画像表示処理装置として、装置生産業において利用可能である。また、この装置のために供する情報記録媒体の生産業においても利用可能である。さらに、この装置のために情報を提供する情報提供業においても利用可能である。

図面中の符号は先頭の数値が図面番号を表す。なお、異なる図面においても下位２桁が同一のものは機能上概ね同意義のものとなるように配番してある。
101 画像表示処理部
102 第１の動画情報
103 第２の動画情報
104 第１の間引き画像抽出部
105 第２の間引き画像抽出部
106 オフセット加算部
109 ＤＰマッチング処理部
110 表示情報生成部
111 ディスプレイ
112 第１の間引後画像
113 第２の間引後画像
204 左間引き画像抽出部
205 右間引き画像抽出部
209 ＤＰマッチング処理部
214 左-動画情報
215 右-動画情報
216 左フレーム・メモリ
217 右フレーム・メモリ
218 左オフセット加算部
219 右オフセット加算部
220 基準アドレス決定部
221 表示情報生成部
222 レンチキュラーレンズ型ディスプレイ
224 左間引画素決定・抽出部
225 右間引画素決定・抽出部
226 左-間引後画像
227 右-間引後画像
229 デプスマップ映像
230 ２Ｄ映像
332 コストパス
333-0 起点１
333-1 停逆進パス
333-2 逆逆進パス
333-3 逆停進パス
334-0 起点２
334-1 停順進パス
334-2 順順進パス
334-3 順停進パス
416 左フレーム・メモリ
417 右フレーム・メモリ
441 縦インデックスカウンタ
442 横インデックスカウンタ
443 オフセット計算部
444 基礎アドレス計算部
445 アドレス加算部
551 望ましい右動画情報例
552 現実の右動画情報例
553 現実との差分（横成分）
554 現実との差分（縦成分）
602 左-動画情報
603 右-動画情報
604 左-間引画像抽出処理
605 右-間引画像抽出処理
612 左-動画情報からの抽出位置例
613 右-動画情報からの抽出位置例
716 左フレーム・メモリ
717 右フレーム・メモリ
741 縦インデックスカウンタ
742 横インデックスカウンタ
743-1 左オフセット決定部
743-2 右オフセット決定部
744 基礎アドレス計算部
745-1 左アドレス加算部
745-2 右アドレス加算部
851 望ましい右動画情報例
852 現実の右動画情報例
855 カメラアライメント誤差根拠
902 左-動画情報
903 右-動画情報
904 左-間引画像抽出処理
905 右-間引画像抽出処理
912 左-動画情報からの抽出位置例
913 右-動画情報からの抽出位置例
956 右-動画情報からの抽出による誤差修正方向例
1057-1 左ルック・アップ・テーブル
1057-2 右ルック・アップ・テーブル
1058-1 左変換アドレス読出部
1058-2 右変換アドレス読出部
1016 左フレーム・メモリ
1017 右フレーム・メモリ
1202 左動画情報
1203 右動画情報
1204 左間引き画像抽出処理
1205 右間引き画像抽出処理
1212 左間引き抽出画素
1213 右間引き抽出画素
1265 左収差補正軌跡例
1266 右収差補正軌跡例
1304 左間引き画像抽出処理
1305 右間引き画像抽出処理
1316 左フレーム・メモリ
1318 オフセット加算部
1319 オフセット加算部
1320 基準アドレス
1321 表示情報生成部
1471 抽出位置指示ポイント１
1472 抽出位置指示ポイント２
1473 白地
1474 抽出位置指示ポイント３
1474 形状の異なる抽出位置指示ポイント
1576 オブジェクトＢ
1577 ディスプレイ
1578 オブジェクトＡ
1579 眼球位置
1580 オブジェクトＡＢ間位置差分
1580 オブジェクトＡＢ間位置差分
1580 左眼側オブジェクトＡＢ間位置差分
1580 右眼側オブジェクトＡＢ間位置差分

Claims (4)

1. 第１の動画情報と、第１の動画情報とは視差ある位置で同時に撮像され、概ね同解像度である第２の動画情報とを入力し、これらを処理することでディスプレイに対して三次元画像を表示させる三次元動画像表示処理装置において、
   第１の動画情報を構成する画素についてそれぞれが離散的な位置を特定し、第１の動画情報から該特定位置の画素を抽出する第１の間引き画像抽出部と、
   第１間引位置画像抽出部が特定した位置に対応する位置であって、第２の動画情報を構成する画素についてそれぞれが離散的となる位置を特定し、第２の動画情報から該特定位置の画素を抽出する第２の間引き画像抽出部と、
   第１の動画情報の視点中心と第２の画像情報の視点中心とを結ぶ線分の方向をマッチング走査方向とし、第１の間引き画像抽出部と第２の間引き画像抽出部とで抽出された画素について、ＤＰマッチングによって奥行き予測情報を得るＤＰマッチング処理部と、
   第１の間引き画像抽出部若しくは第２の間引き画像抽出部で特定する位置について、該動画情報を生成したカメラの相対的位置に基づいて決められたオフセットを加算するオフセット加算部と、
   第１の動画情報と第２の動画情報のいずれかの動画情報と、該ＤＰマッチング処理部より得た奥行き情報とにより該ディスプレイに対する映像表示情報を生成する、表示情報生成部と、
   を具備することを特徴とする三次元動画像表示処理装置。
2. 前記オフセット加算部は更に、第１の動画情報の視点中心と第２の画像情報の視点中心とを結ぶ線分の方向を成分に有するベクトルに基づくオフセットを加えることを特徴とする、請求項１に記載の三次元動画像表示処理装置。
3. 第１の動画情報と、第１の動画情報とは視差ある位置で同時に撮像され、概ね同解像度である第２の動画情報とを入力し、これらを処理することでディスプレイに対して三次元画像を表示させる三次元動画像表示処理装置において、
   順次離散的な位置を特定する離散基準読出位置決定部と、
   第１の動画情報を記録する第１フレーム・メモリと、該離散基準読出位置決定部の示す読出し位置と第１フレーム・メモリの読出位置とを対応付ける第１ルック・アップ・テーブルと、を具備し、第１ルック・アップ・テーブルで参照される位置の画素を第１フレーム・メモリから抽出する第１の間引き画像抽出部と、
   第２の動画情報を記録する第２フレーム・メモリと、該離散基準読出位置決定部の示す読出し位置と第２フレーム・メモリの読出位置とを対応付ける第２ルック・アップ・テーブルと、を具備し、第２ルック・アップ・テーブルで参照される位置の画素を第２フレーム・メモリから抽出する第２の間引き画像抽出部と、
   第１の動画情報の視点中心と第２の画像情報の視点中心とを結ぶ線分の方向をマッチング走査方向とし、第１の間引き画像抽出部と第２の間引き画像抽出部とで抽出された画素について、ＤＰマッチングによって奥行き予測情報を得るＤＰマッチング処理部と、
   第1のフレーム・メモリから第１ルック・アップ・テーブルを用いて読み出された動画情報、若しくは第２のフレーム・メモリから第２ルック・アップ・テーブルを用いて読み出された動画情報のいずれかの動画情報と、該ＤＰマッチング処理部より得た奥行き情報とにより該ディスプレイに対する映像表示情報を生成する表示情報生成部と、
   を具備することを特徴とする三次元動画像表示処理装置。
4. コンピュータに、請求項１乃至請求項３のいずれかに記載の三次元動画像表示処理装置として動作させるプログラム。
   

Images