JP5296218B2 - 立体映像表示方法及び立体映像表示装置 - Google Patents

Description

被写体を撮影して立体映像を表示する立体映像表示方法及び立体映像表示装置に関する。

３次元画像（立体映像）を表示可能とする表示装置には、種々の方式が知られている。近年、特にフラットパネルタイプで、且つ、専用の眼鏡等を必要としないで立体映像を表示する方式の要望が高くなっている。直視型或いは投影型の立体動画表示装置、例えば、液晶表示装置或いはプラズマ表示装置等のような平面上に画素が固定されている表示パネル（表示装置）の表示面前面に表示パネルからの光線を制御して観察者に光線を向ける視差バリア（光線制御子とも称する。）を設置する方式が開発されている。この方式は、比較的容易に立体映像を表示することができる実用化可能な方式とされている。

視差バリアは、一般的には、パララクスバリアとも称せられ、同一位置の視差バリアが観察されても、視認する角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）を与える場合には、視差バリアとしてスリット或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられる。左右視差と上下視差（垂直視差）を与える場合には、視差バリアとしてピンホールアレイ或いはレンズアレイが用いられている。この明細書においては、視差バリアの構成単位である一つのスリット或いは一つレンズを射出瞳と称している。

視差バリアを用いる方式には、さらに２眼式、多眼式、超多眼式（多眼式に超多眼条件が付されている方式）及びインテグラルイメージング方式（以下、単にＩＩ式と称する）に分類される。これらの基本的な原理は、１００年程度前に発明され立体写真の方式と実質上同一である。ただし、表示装置の画素数が有限であることから、射出瞳の一つに割り当てられる画素の数も有限となっている。この明細書においては、この射出瞳に割り当てられている画素数を視差数と称し、また、この各射出瞳に割り当てられている画素で構成される平面画像を要素画像と称している。

尚、ＩＩ方式は、立体写真の用語であり、インテグラルフォトグラフィー（以下、ＩＰとも云う）と称せられる場合もある。

これらＩＩ方式で立体映像を表示するためには、複数方向から撮影した画像（多視点画像）が必要とされる。即ち、二眼式の立体映像表示方法では、２つの多視点画像が用意され、多眼式或いはＩＩ式の立体映像表示方法では、射出瞳の夫々に割り当てられる視差数に相当する画素数の多視点画像が用意される。この明細書で画素は、最小表示単位を意味している。基本的には、多視点画像は、画素と射出瞳との関係を前提にして撮影される。多視点画像の生成方法には、実写撮影或いはＣＧレンダリング等と複数の生成方法がある。しかし、通常、多視点画像は、カメラを用いて被写体を撮影する実写撮影で用意される。

カメラでの実写撮影では、具体的には、射出瞳及びこれに対応した画素位置の関係に対して相似になるように、多視点画像撮影のためのカメラが視差数だけレイアウトされる。このように多視点画像撮影のためにレイアウトされたカメラは、マルチカメラと称せられている。表示装置の画素は、平面上に配置されていることから、マルチカメラも同様に平面上に配置される。立体表示装置において、画素の間隔がｐｐ及び射出瞳と表示装置の画素面との間隔がgで与えられると、立体表示装置においては、マルチカメラ１の撮影基準距離Ｌｃと間隔x_cが下記（１）式で与えられる。

ｇ：ｐｐ＝Ｌｃ：x_c ・・・（１）
この撮影条件は、立体撮影装置におけるマルチカメラ及び立体表示装置における平面表示部においては、上記撮影条件を充足させる為には、マルチカメラの撮影基準面のサイズ及び解像度が表示装置における平面表示部のサイズ及び解像度に一致させることが最も効率が良いことを意味している。ここで、撮影基準面は、表示面に一致させる前提の下で投影面と称せられ、撮影基準距離が３次元ディスプレイの観察基準視距離に、撮影位置が３次元ディスプレイの観察基準面上の視点に設定され、撮影と再生の光線が同一になり、撮影対象が実寸大で表示される。

但し、この実写撮影の条件は、必ずしも厳密に充足される必要はないとされている。近年、隣接した画素の情報がある程度混入して見えるように設計することにより、視距離からはずれても、立体映像が見えるように工夫をすることができるとされている（非特許文献１）。さらに、視差バリア方式の３次元ディスプレイは、そのｚ方向（表示面に直交する方向）の表示範囲が限定されている。（非特許文献２）従って、視点数より多い多視点画像を撮影するマルチカメラが用意され、このマルチカメラから設計値より狭い間隔x_cの多視点画像が選択されて、ｚ方向に潰された画像が表示される場合もある。（特許文献１）ここで、ｚ方向は、３次元ディスプレイ面の水平方向ｘ及び垂直方向ｙに直交するディスプレイ面の背面に相当する奥行き方向を意味している。また、既にある多視点画像について、視差画像として利用する切り出し範囲、即ち、クリッピングの仕方を調節することで、立体映像を表示するときのｚ座標をずらしたり、ｘｙ方向に拡大縮小したりして、表示範囲内に立体映像を表示する方法も知られている（特許文献２）。いずれも、これらの非特許文献及び特許文献は、既に撮影してしまった多視点画像の選択、或いは、クリッピング範囲の調整で表示する立体映像の表示方法を開示しているにすぎない。

特開２００５−３３１８４４ 特開２００４−３４３２９０

R. Fukushima et al., Proceedings of SPIE-IS&T Electronic Imaging, 7237,72370W-1 (2009) J. Opt. Soc. Am. A vol.15, p. 2059 (1998)

立体映像を表示する際のｚ座標を変更するには、具体的には、視差画像として利用する範囲の視点画像毎のシフト値が変更されれば良い。しかし、実写撮影にあっては、多視点画像が透視投影であることから、シフト値が変更されて投影面がｚ軸に沿って前方或いは後方にシフトされる場合は、撮影基準距離が３次元ディスプレイの観察基準視距離と異なるために、厳密には、ひずみが生じるという問題がある。立体映像をひずみなく表示するには、取得した多視点画像が後処理されて立体映像の表示の為に再構成されるに代えて、主に表示したい対象までの撮影基準距離が３次元ディスプレイの観察基準視距離と等しく設定される必要がある。ところが、撮影者が撮影基準距離を正しく把握するための手法がなく、撮影基準距離を正しく設定できない問題がある。また、遠隔地にいる３次元ディスプレイの観察者がどの対象を主に立体的に表示したいと意図しているかを撮影者が知る方法がない。この立体表示対象が判明しないことも原因として、撮影基準距離を設定できないとされている。

この発明は、上記事情を考慮してなされたものであり、その目的は、視差バリア方式における３次元ディスプレイ用多視点画像を実写で取得して表示する方法において、適切な撮影基準距離を撮影者に知らせて所望の表示対象を３次元ディスプレイの表示範囲内に適切に表示させることができる立体映像表示装置を提供することにある。

この発明の一態様によれば、
所定幅を有する画素が垂直方向並びに水平方向を有する表示面内にマトリックス状に配列されている表示部及び前記表示部の前面に設置され、前記画素からの光線の射出方向を制御する光学的開口部が前記画素の略整数倍に相当する間隔で水平方向に配置されている視差バリアであって、観察基準視距離に依存して幅が定められ、且つ、この光学的開口に夫々対応する要素画像が表示される要素画像領域に前記表示面を分割する視差バリアから構成され、前記光学的開口を介して観察される画素であって、観察方向に依存して定められる視差画像を当該画素に配分して前記要素画像を前記要素画像領域に表示させ、連続視点の立体映像を生成する第１の３次元表示装置と、
前記視差画像を生成する為に複数方向からの実物体の多視点画像をマルチカメラ画角で撮影するマルチカメラであって、ある間隔で配置され、ある撮影画角を有する複数の撮影部が配列されて構成され、撮影基準面としての投影面を有するマルチカメラと、
このマルチカメラからの前記多視点画像を処理する画像処理部であって、
この撮影部で撮影された多視点画像を記憶する多視点画像記憶部と、
視差画像生成に必要な視差画像として利用する範囲及びこの利用する範囲内で選定可能なクリッピング領域に対応して定められるシフト値を記憶するクリッピング条件記憶部と、
このクリッピング条件記憶部の情報に基づいて、前記多視点画像記憶部に記憶された多視点画像からから視差画像として利用する範囲をクリッピングして視差画像データとして記憶する視差画像生成部と、
前記視差画像生成部から読み出した視差画像データを前記表示部に表示するための画像データに並び替える並び替え処理部と、
前記表示部に歪みなく３次元画像を表示するための多視点画像の撮影条件を記憶する撮影条件記憶部と、
前記表示部に表示された３次元画像を参照して撮影対象物を投影面近傍に所望のサイズで表示するためのパラメータを調整する表示条件調節部と、
から構成され、前記パラメータと前記撮影条件から、歪なく表示するための修正撮影基準距離及び修正カメラ間隔を導出し、この修正した撮影基準距離に関する情報を前記表示部に明示して撮影者に撮影距離の変更を促す画像処理部と、
を具備することを特徴とする立体映像表示装置が提供される。

この発明の立体映像を撮影する立体映像表示装置によれば、視差バリア方式における３次元ディスプレイ用多視点画像を実写で取得して表示する方法において、適切な撮影基準距離を撮影者に知らせて所望の表示対象を３次元ディスプレイの表示範囲内に適切に表示させることができる。

図１は、この発明の実施の形態に係る立体映像を撮影するマルチカメラ撮影システムを示すブロック図であって、マルチカメラ、撮影対象の実物体及び投影面との配置関係を概略的に示すブロック図である。 図２は、図１に示される立体映像を撮影するシステムにおけるマルチカメラ、撮影対象の実物体及び投影面との関係を示す平面配置図。 図３は、図１に示される立体映像を表示する装置おける表示装置、可視領域及び観察基準面との関係を示す平面配置図を示している。 図４Ａは、図２に示されるマルチカメラの左側撮像素子で撮像した画像を概略的に示す平面図である。 図４Ｂは、図２に示されるマルチカメラの右側撮像素子で撮像した画像を概略的に示す平面図である。 図５は、図１に示すマルチカメラ撮影システムにおいて、被写体を撮像して立体映像として表示する実施の形態に係る立体映像撮影表示装置を概略的に示すブロック図である。 図６は、図５に示される立体映像撮影表示装置において、マルチカメラで取得された画像から立体映像を表示する方法を示すフローチャートである。 図７は、図４に示す立体映像の撮像方法において撮影基準距離を調整する方法説明する為の配置図である。 図８は、図４に示す立体映像の撮像方法において撮影基準距離を調整する方法説明する為の配置図である。 図９は、図４に示す立体映像の撮像方法において撮影基準距離を調整する方法説明する為の配置図である。 図１０は、図１に示すマルチカメラ撮影システムにおいて、被写体を撮像して立体映像として表示する他の実施の形態に係る立体映像撮影表示装置を概略的に示すブロック図である。 図１１は、図１０に示される立体映像撮影表示装置において、マルチカメラで取得された画像から立体映像を表示する方法を示すフローチャートでる。 図１２は、図１１に示す立体画像を表示する為の表示部で表示される表示面の一例を概略的に示す略図である。

以下、図面を参照して、この発明の実施の形態に係る立体映像を表示する為の撮像画像の取得方法並びに取得された画像から立体映像を表示する方法及び装置を詳細に説明する。

この発明の実施の形態の以下の説明では、３次元ディスプレイの視差の提示方向を一次元（水平方向：X方向）に限定して説明する。しかし、この一次元方向（水平方向：X方向）に直交する方向（垂直方向：Y方向）についても、視差情報を表示させる表示方法及び装置にも適用することができる。即ち、水平方向（X方向）と同様に垂直方向（Y方向）にも本発明を適用すれば、同様に二次元方向（水平及び垂直方向：X及びY方向）に視差情報を与えることができる。従って、この発明の立体映像表示方法及び装置は、一次元方向にのみ視差の提示する実施例に限らず、実質的に二次元方向にも視差を提示する実施の形態を含むものである。

図１は、この発明の実施の形態に係る立体映像を撮影するマルチカメラ撮影システムを示している。この図１には、このマルチカメラ１で撮影されるべき撮影対象の実物体３−１，３−２及び３−３及び投影面２の配置関係が概略的に示されている。

図１に示すように、マルチカメラ１及び投影面２に対して、○で示される実物体３―１が投影面２よりＺ方向に沿って手前に配置され、又は、△で示される実物体３―２が投影面２上に配置され、或いは、□で示される実物体３―３が投影面２よりＺ方向に沿って奥に配置させることができる。ここで、投影面２を基準としてマルチカメラ１の側が手前とされ、マルチカメラ１の反対側が投影面２より奥と定義される。図１には、マルチカメラ１、実物体３−１，３−２及び３−３及び投影面２の配置関係を明瞭にすべく座標軸（Ｘ，Ｙ，Ｚ）が示されている。この座標軸を参照すると、投影面２は、Ｚ軸に直交するＸ及びＹ軸内に広がる面と定義され、図１の例では、実物体３―１〜３―３がＺ軸に沿って配列されている。

図１に示されるマルチカメラ１によってある画角で撮影された撮影画像のデータは、画像処理部４０で立体映像の表示の為に加工されて要素画像データに変換される。この要素画像のデータがビューワー装置としてマルチカメラ１の筐体に設けられた撮影者用表示部４２の駆動回路部４４に供給される。リアルタイムで表示パネル４６に表示されて視差バリア４７を介して立体映像が撮影者によって撮影画像として観察される。後に詳述するように撮影者が撮影画像を参照しながら、入力部４５から画像処理部４０に指示を与える。これにより、撮影者が関心を寄せる撮影対象、例えば、実物体３―１〜３―３のいずれかを特定することができる。この特定された撮影対象を表示するに最適な撮影条件を設定することができる。この撮影条件に従って撮影者が被写体を撮影することができる。

また、図１に示される撮影システムにおいては、画像処理部４０からの要素画像のデータは、送受信部４８を介して観察者の為の観察用表示装置５２の送受信部５８に転送される。ここで、撮影用表示装置４２は、スタジオで被写体を撮影する為に撮影者によって視認されて立体撮影の為に利用される。これに対して、観察用表示装置５２は、スタジオから離れたモニタ室に設置される表示装置或いは立体映像の番組を視聴する一般視聴者が視認する表示装置が該当している。観察者用表示装置５２は、撮影者用表示装置４２と同様に送受信部５８に転送された要素画像のデータが供給される駆動回路部５４を備えている。この駆動回路部５４によって、リアルタイムで要素画像が表示パネル５６に表示されて視差バリア５７を介して立体映像が観察者によって撮影画像として観察される。後に詳述するように観察者が撮影画像を参照しながら、入力部５５から画像処理部４０に指示を与える。これにより、観察者が関心を寄せる撮影対象、例えば、実物体３―１〜３―３のいずれかを特定することができる。この特定された撮影対象を表示するに最適な撮影条件を設定することができる。この撮影条件に従って撮影者が被写体を撮影することができる。

図２に示すように、マルチカメラ１は、レンズ４，４―１〜４−ｎ及び撮像素子５，５―１〜５−ｎの夫々の組み合わせに係る複数の撮影部３０−１〜３０−ｎがＸ方向に沿って平面上に直線的に配列されて構成される。ここで、ｎは、視差数に相当し、レンズ４―１〜４−ｎの配列間隔(カメラピッチ）は、カメラ間隔Ｌｓと称せられる。カメラ間隔Ｌｓは、撮像素子５―１〜５−ｎの配列間隔(カメラピッチ）で与えられても良い。

この図２に示す平面配置では、説明を簡素化するために２台のカメラに相当する２つの撮影部３０−１，３０−ｎのみが示されている。撮影部３０−１，３０−ｎは、夫々レンズ４―１，４−ｎと撮像素子５―１，５−ｎで構成され、このレンズ４―１，４−ｎと撮像素子５―１，５−ｎとの間隔は、結像距離ｆに定められている。レンズ４―１，４−ｎから有限の距離Ｌｃ（撮影距離Ｌｃと称する。）及びその周辺の空間を効率よく撮影するには、レンズ４―１，４−ｎと撮像素子５との間の相対位置がずらされて両者間の結像距離ｆ（Z方向に沿った距離）が調整されば良い。即ち、撮像素子５に対してレンズ４―１，４−ｎがシフトされて撮像素子５に対するレンズ４―１，４−ｎの結像関係が変更されて撮影範囲が変更される。このレンズ４―１，４−ｎの結像関係を調整することで、マルチカメラ１の撮影範囲は、斜線で示すように撮影基準距離Ｌｃで重畳させることができる。レンズ４―１，４−ｎは、ある画角を有し、この画角及び撮影基準距離Ｌｃでマルチカメラ１の撮影範囲が定められる。

この撮影範囲が重畳した空間における撮影基準距離ＬのＸＹ平面の範囲は、後に説明する一定の条件下で投影面２と定義される。投影面２の前後には、図２に示すように撮影範囲６が広がっている。この撮影範囲６内であれば、実物体３―１を投影面２より距離z_nだけ手前(飛び出し方向）に位置させる。または、実物体３―２を投影面２上に位置させ、または、実物体３―３を投影面２より距離z_fだけ奥（奥行き方向）に位置させて被写体を撮影しても表示装置で立体映像として表示することができる。この立体映像として表示することができるこの距離z_n、z_fは、表示装置側における飛び出し表示領域及び奥行き表示領域に相当している。即ち、距離z_n、z_fは、マルチカメラにおける立体撮影限界領の域をも定めている。

図３に示すように、各表示装置４２，５２は、平面表示パネル４６，５６の前方に視差バリア４７、５７が前面に設けられて構成されている。平面表示パネル４６，５６と視差バリア４７、５７との間には、ギャップｇが空けられている。平面表示パネル４６，５６は、垂直方向並びに水平方向を有する表示面を備えている。この表示面には、夫々所定幅を有する画素がマトリックス状に一定の画素ピッチｐｐで配列されている。視差バリア４７、５７は、一次元ＩＩにあっては、レンチュキュラーシート或いはスリットシートで構成されている。視差バリア４７、５７は、水平方向（ｘ方向）に沿って多数のシリンドリカルレンズ或いはスリットがレンズピッチＰｅで配列される。また、視差バリア４７、５７は、２次元ＩＩにあっては、フライアイレンズシート或いはピンホールシートで構成され、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って多数のマイクロレンズ或いはピンホールがレンズピッチＰｅ（Ｈ）及びＰｅ（Ｖ）で配列される。これらシリンドリカルレンズ、スリット、マイクロレンズ或いはピンホールは、光学的開口或いは光学的瞳と称せられる。ＩＩ方式の立体画像表示システムにあっては、光学的開口或いは光学的瞳の配列ピッチＰｅ（水平ピッチＰｅ（Ｈ）或いは垂直ピッチＰｅ（Ｖ））は、表示面上に画素が配列される画素ピッチｐｐの整数倍に定められている。

平面表示パネル４６，５６の表示面は、光学的開口或いは光学的に瞳に対向する領域に分割されてセグメント化された要素画像領域６０に定められている。即ち、一次元ＩＩ方式の立体画像表示システムにあっては、シリンドリカルレンズ或いはスリットの夫々に対応して要素画像が表示される領域６０が定められ、この要素画像６０の領域がｘ方向に沿って連続して配列されている。２次元ＩＩ方式の立体画像表示システムにあっても、マイクロレンズ或いはピンホールの夫々に対応して要素画像が表示される領域６０が定められ、この要素画像の領域６０がｘ方向及びｙ方向に沿って連続してマトリックス状に配列されている。要素画像領域６０は、表示装置４２，５６において定められた正常に立体視することができる範囲の基準となる観察基準視距離Ｌｏ及び観察基準視距離Ｌｏ上の観察基準面６２に依存して定められる。マルチカメラで撮影された種々の方向の視差画像が要素画像領域に配分されて要素画像がこの要素画像領域６０に表示される。この視差画像の要素画像領域への配分の詳細に関しては、一例として特許文献１を参照されたい。

マルチカメラ１に関しては、既に説明したように撮影基準距離Ｌｃと間隔x_cは、（１）式で与えられる。

ｇ：ｐｐ＝Ｌｃ：x_c ・・・（１）
ここで、ｐｐは、表示パネル４６，５６上の画素間隔（画素ピッチ）であり、ｇは、視差バリア４７，５７と表示パネル４６，５６の表示面との間隔（ギャップ長さ）を示している。（１）式が成立し、撮影基準距離Ｌｃが観察基準視距離Ｌｏに設定されると、実物体３―１〜３―３と同一サイズの立体像が表示装置４２，５２の前方或いは後方に形成される。ここで、実物体３―１〜３―３と同一サイズの立体像が表示装置４２，５２の前方或いは後方に形成される関係が成立する撮影基準距離Ｌｃは、図２に示す投影面２と称せられる。この投影面２を撮影基準面とすることで、撮影データで表示装置４２，５２に高い解像度で歪みのない立体映像を表示させることができる。この撮影基準面としての投影面２は、被写体の像にピントを合わせてその被写体が撮像素子３０−１〜３０ｎに像として形成される際の被写体まで距離で定まる撮影面とは異なる。表示装置４２，５２に高い解像度で歪みのない立体映像を表示させることができる撮影データを得ることが可能な撮影基準面として投影面２が定められている。

投影面２は、表示装置４２，５２の表示面に一致される撮影基準面に相当する。撮影基準距離が３次元ディスプレイの観察基準視距離に、撮影位置が３次元ディスプレイの観察基準面上の視点に設定され、撮影対象が実寸大で表示される。この投影面２は、図１に示される表示装置４２、５２に表示される表示面に相当し、撮影の基準面としての投影面２を基準に被写体が撮影されることが好ましい。投影面２を表示装置４２、５２内に表示するに代えて、他の方法で投影面までの撮影距離に関連した数値或いは他の表示、例えば、マルチカメラを現在位置から前方或いは後方に移動させることを要求する表示をするようにしても良い。

図２に示す撮影光学系において、マルチカメラ１の撮影範囲６の内で、視差画像として利用する範囲をクリッピング編集(切り取り編集）することで、いずれの実物体が撮影されても、３次元ディスプレイの表示面近傍に立体像として拡大表示することができる。この視差画像として利用する範囲の制御について、図４Ａ及び図４Ｂを参照して説明する。

図４Ａは、図２に示されるマルチカメラ１の左端の撮像素子５―１で撮像した画像８―１を示し、図４Ｂは、図２に示されるマルチカメラ１の右端の撮像素子５―ｎで撮像した画像８−ｎを示している。撮像幅W_sを有する撮像素子５―１〜５−ｎは、同一サイズを有して同一サイズの視差画像が出力される。投影面２から距離z_nの飛び出し位置に位置する実物体（○で図示）は、図４Ａに示ように、撮像素子５―１上で右端に写され、図４Ｂに示ように、撮像素子５―ｎ上で左端に写される。また、投影面２上、即ち、撮影基準距離Ｌｃ上の実物体（△で図示）は、図４Ａ及び図４Ｂのいずれにあっても、左或いは右にシフトされることなく、撮像素子５上の中央に写される。更に、距離z_fの奥行き位置に位置する実物体（□で図示）は、図４Ａでは、撮像素子５―１上の左端に写され、図４Ｂでは、撮像素子５―ｎ上の右端に写される。

この撮像素子５―１〜５−ｎで撮影された視差画像は、画像処理部４０で処理されて表示に利用する範囲に応じて切りに抜かれる。切り抜かれた視差画像に応じて立体映像を表示装置４２に表示することができる。図４Ａ及び図４Ｂには、視差画像として利用する範囲、即ち、視差画像として利用する為に切り抜かれるクリッピング領域７―１．７−２，７−３が太線で囲って示されている。ここで、クリッピング領域７―１．７−２，７−３は、全ての撮像素子５―１〜５−ｎの撮影面上に同一サイズに設定される。クリッピング領域７―１．７−２，７−３の中央基準線１０は、（２）式で定義されるシフト値s_nまたはs_fだけ撮像素子５−１，５―ｎの中心１２からシフトされる。クリップする対象である実物体（○、△或いは□で図示）が定まれば、いずれの実物体（○、△或いは□で図示）が撮影されても、その撮影画像を３次元ディスプレイに表示して表示面近傍に立体映像を表示させることができる。ここで、シフト値s_n（又はs_f）には、３角形の相似の関係から、（２）式が成立する。

s_n：x_c＝z_n：Ｌｃ ・・・（２）
ここで、x_cは、カメラ１の中心（中央基準線１０に相当する。）を基準としたレンズ４−１，４−ｎのX座標を示している。

また、透視投影の場合、飛び出し位置の実物体（○）は、大きく、奥行き位置の実物体（□）は、小さく写る。従って、飛び出し位置の実物体（○）は、クリッピング範囲７を広く、奥行き位置の実物体（□）は、クリッピング範囲７を狭く設定することで、恒常的な大きさの表示も可能になる。

クリッピング範囲７の画像が画素レベルに分解され、要素画像の成分として表示パネル４６の表示面に割り付けられる。射出瞳とその背面の画素群で構成された３次元ディスプレイの画素は、見る角度に応じて情報が変わり、しかも、視差情報が提示される画素として振舞って表示パネル４６によって立体画像が表示される。従って、表示パネル４６には、クリップされた撮影者が興味を示す対象３―１〜３−３が表示されるクリップ画像が表示される。

上述したように、撮影される多視点画像８―１及び８−ｎのうち、視差画像として用いる領域、即ち、クリッピング領域７―１．７−２，７−３が選択される。撮影範囲６内で実物体３−１〜３−３が撮影されている限り、この撮影画像を基にして３次元画像として表示面近傍に表示することが可能である。より詳細に述べるならば、クリッピング範囲７―１〜７−３の大きさが３次元ディスプレイに表示された場合の画像の大きさを示し、クリッピング範囲７―１〜７−３の視点画像毎の位置のシフト値s_n又はs_fが表示面に表示される奥行き或いは飛び出しを定義している。換言すれば、シフト値s_n又はs_fは、投影面２から奥行き方向或いは飛び出し方向の距離に相関を有している。

このクリッピング領域７―１．７−２，７−３を制御する手法には、投影面２上の実物体（△で図示）以外の他の実物体（○又は□で図示）を表示面近傍に表示する場合には、画像が歪むという問題を含んでいる。図２に示されるマルチカメラ１のレイアウトは、図３を参照して説明したように３次元ディスプレイの画素と射出瞳の関係を反映した設計であるべきである。しかし、投影面２より手前又は奥の実物体がクリッピング範囲の調整で表示面近傍に表示される場合、観察基準視距離と撮影基準距離が異なることから、厳密には、透視度の不一致が生じる。表示においては、この透視度の不一致は、歪として現れる。距離z_ｎまたはz_fが小さい値の場合には顕著ではないが、やはり、表示画像は、歪なく表示されることが好ましい。さらに、撮像素子５に対しるレンズ４―１，４−ｎのシフト位置が固定の場合、投影面２のある撮影基準距離Ｌｃで撮影範囲が重畳していることから、撮影したい対象が予め定まっている場合、投影面２がその撮影対象に略一致するような位置から、即ち、撮影対象から撮影基準距離Ｌｃだけ離れた位置から撮影することが望ましい。主に表示したい対象物３−１〜３−３が投影面２からあまりに離れて配置されている場合には、前述した透視度の問題に加えて次の問題があるためである。第１の問題は、シフト値（s_n、s_f）を考慮してクリッピングしようとする場合に撮影範囲が不足する虞がある。ここで、図２に○を基準としたクリッピング範囲７が撮影範囲に相当している。また、第２の問題は、シフト値（s_n、s_f）を考慮してクリッピングしようとする場合に解像度が不足する虞がある。ここで、図２に□を基準としたクリッピング範囲７でクリッピングされることから、解像度が不足する虞がある。このような観点からも、撮影基準距離の調整（修正）が好ましい。

撮像素子５に対しるレンズ４―１，４−ｎのシフト位置を変更できる場合は、撮影範囲が不足する虞はないが、観察基準視距離と撮影基準距離が異なることによる歪や、前述の解像度が不足する虞については解決できない。

以上の観点から、撮影対象として撮影者或いは観察者の興味の対象とされる被写体が投影面に設定されている限りにいて、その撮影対象がクリップされても、透視度の不一致が生ずることがなく、表示画像を歪なく表示させることができる。

図１に示される本発明の実施の形態に係るマルチカメラシステムでは、撮影者が主に表示したい対象３−１〜３−３を決める場合或いは３次元ディスプレイの観察者が主に表示したい対象を決める場合のいずれにあっても、撮影者が対象を把握して最適とすることができる。撮影者が表示したい対象である被写体３−１〜３−３を決める場合には、表示装置４２における表示を参照して入力部４５を介して表示対象を特定して表示対象を特定する表示対象面が表示されて表示対象が確定される。また、観察者が主に表示したい対象を決める後者の例としては、遠隔地に３次元表示部５２が設置されていて、３次元表示部５２に表示されているコンテンツを見ながら、より詳細に見たい範囲を指定する指示が入力部５５を介して送られてくる場合が想定される。より詳細に見たい範囲を指定する指示に従い、表示対象を特定する表示対象面が表示されて表示対象が確定されても良い。この表示対象面は、投影面の一致されるように表示対象に対するマルチカメラの撮影距離が修正されてクリッピングされも解像度が不足することがないマルチカメラ撮影が実行される。

図６は、図５にブロックで示す画像処理部４０を利用して撮影者が主に表示したい対象を決めて最適撮影を実施する為のフローチャートを示している。図５に示す画像処理部４０おいて、表示部５は、図１に示す表示装置４２に相当し、デジタルカメラのビューワーのように、マルチカメラ１に設けられたビューワーに相当している。図５及び図６を参照してこの発明の実施形態における多視点画像の処理手順を以下に説明する。

上述したように、マルチカメラ１のレイアウトは、立体画像表示装置における表示部の構成を反映している。従って、好ましくは、表示部５としてのビューワーの表示面が投影面２に一致するようにマルチカメラ１が構成される。また、このような構成でマルチカメラが設計されることがマルチカメラ１の使い勝手を向上することができる。

マルチカメラ１で撮影が開始されると（ステップＳ１０）、初めに、撮影を開始した状態（初期状態）で主に表示したい対象が表示部４２としてのビューワー内に表示される投影面２の近傍に立体像として表示されているかが確認される（ステップＳ１１）。このビューワー内に表示される投影面近傍に表示対象が表示されていない場合には、３次元画像表示装置であるビューワーを見ながら撮影位置が前後されて、表示対象が投影面２に表示されるような撮影位置が探される（ステップＳ１２）。投影面２に表示対象が略表示された状態で、対象物が適切な表示サイズで表示されているかが判断される（ステップＳ１３）。このステップＳ１３において、表示対象物の表示サイズを調整したい場合、表示範囲(クリッピング範囲）を変更する指示がマルチカメラ１に入力される（ステップＳ１４）。具体的には、クリッピング領域７―１．７−２，７−３のシフト値（s_n、s_f）は、そのままに維持され、対象物の表示サイズが拡大縮小される処理が施される。

クリッピング領域７―１．７−２，７−３の範囲を拡大或いは縮小する場合に透視度を維持するためには、撮影基準距離にフィードバックを与えて撮影基準距離及びカメラ間隔が調整（修正）される。（ステップＳ１５）図７及び図８には、撮影基準距離が距離Lから距離Ｌ‘に変更され、この撮影距離の変更に基づいて撮影基準距離を調整する処理の様子が示されている。

図７及び図８は、クリッピング範囲７―１が投影面２より狭い範囲に設定された場合に、歪のない映像を表示する為の撮影部３０−１〜３０−ｎの撮影位置を示している。投影面２の幅をW_ｔ、クリッピング領域７―１、即ち、クリッピング範囲の幅をW_cに設定した場合には、撮影基準距離Ｌ’及びカメラ位置ｘ＿c’は、（３）式を満たすように変更される（ステップＳ１５）。

W_ｃ／W_ｔ＝ｘ＿ｃ’／ｘ＿ｃ＝Ｌ’／Ｌ ・・・（３）
撮影位置を維持したまま、図７に示すようにクリッピング範囲７−１が変更される場合には、理想的な撮影基準距離Ｌが距離Ｌ‘と短く設定される。従って、クリッピング範囲７−１の変更後の投影面２は、図７に示すクリッピング範囲の変更前の従来の投影面２に比較して図８に示すように手前に定められる。その結果、ビューワーに表示された表示対象物のｚ座標は、相対的に奥に移動される。これによって、撮影者に、撮影基準距離より離れて撮影していることが知らしめられて、撮影者が撮影基準距離で撮影するために、撮影位置を変更する（具体的には前に出る）ことを促す。

上述した処理で、撮影部３０−１〜３０−ｎのカメラ位置ｘ＿cがカメラ位置ｘ＿c’に変更されるが、この変更は、撮影部３０−１〜３０−ｎから選定される有効撮影データとして利用される撮影部３０−ｋ〜３０−ｍの変更に相当している。（ｋ及びｍは、１＜ｋ＜ｍ＜ｎの関係にある整数）撮影部３０−ｋ〜３０−ｍへの変更に伴い、ステップＳ１６に示すように撮影部３０−ｋ〜３０−ｍからの画像は、補間処理されて必要とされる視差画像数の視差画像が用意される。この補間処理された視差画像は、補間されたものであることを明示する為に他の視差画像とは異なる画像に着色されることが好ましい。

撮影者は、上述したように、クリッピング範囲の変更に伴い撮影距離が変更され、投影２が表示画面内で変更されたことを確認してこの表示結果を見ながら、撮影するマルチカメラ位置を撮影対象までの距離を縮めるように移動すれば良い。カメラ座標ｘ＿ｃについては、理想的には変更するべきであるが、カメラ間隔ｘ＿ｃを狭くすることは、マルチカメラの構造上、特に実現が難しい。従って、マルチカメラの実際のカメラピッチは、そのままとすることが好ましい。そして、カメラピッチは、そのままとして撮影条件に依存して内挿或いは外挿のいずれかの方法により、画像補間の処理により、撮影位置（ｘ座標）ｘ＿ｃ’を変えた多視点画像を生成してこの多視点画像が使用されれば良い（ステップＳ１６）。この補間多視点画像で画面が表示され、この表示画面に従って、ステップＳ１２が実行される。

以上のように、撮影位置の移動と画像補間により表示対象が表示位置に表示することができたしたとしても、表示対象物の奥行きが大きい、即ち、厚みのあるために、３次元ディスプレイの奥行き方向の表示範囲に入らない場合もある（ステップＳ１７におけるＮＯ）。このような場合には、図９に示されるようにカメラ座標ｘ＿ｃが例えば、１／２となるように撮影部３０−１〜３０−ｎがシフトされれば、表示された状態の空間をｚ方向に略１／２に縮小することができる（ステップＳ１８）。マルチカメラでは、実際上撮影部３０−１〜３０−ｎのシフトは、できないことから、このカメラ座標ｘ＿ｃで撮影された映像に対しても画像補間処理で１／２カメラ間隔の撮影データが用意されれば良い。

ステップＳ１７において、３次元ディスプレイの奥行き方向の表示範囲に表示対象が納まる場合には、或いは、ステップＳ１８の処理で３次元ディスプレイの奥行き方向の表示範囲に表示対象が納まるようになった場合には、この撮影条件で撮影部３０−１〜３０−ｎ或いは３０−ｋ〜３０−ｍからの画像データが表示用画像に並べ替え処理されて要素画像のデータが作成され、記憶装置（図示せず）に格納される。（ステップＳ１９）このように要素画像のデータが用意されて一連の処理が終了される。（ステップＳ１７）必要であれば詳細設定の為にステップＳ２１からの処理が再び繰り返される。

上述したフローを実行する映像処理部は、図５に示されるように、マルチカメラ１で撮影した多視点画像を記憶する記憶部２０及びこのマルチカメラ１での撮影条件を記憶する撮影条件記憶部２４を備えている。マルチカメラ１で撮影した多視点画像における次のようなクリッピング条件Ｃ１〜Ｃ３がクリッピング条件記憶部２２に記憶される。

（Ｃ１） クリッピングサイズ（初期値は、規格化した値として１）
（Ｃ２） マルチカメラ１の間隔（初期値、規格化した値として１）
（Ｃ３） 撮影基準距離（シフト値（初期値は０）で擬似的に調整が可能）
このクリッピング条件記憶部２２に記憶されたマルチカメラ１の位置に従って、画像取得位置の変更が必要な場合における画像補間処理及びクリッピング処理が視差画像生成部２６で実行される。この視差画像生成部２６で作成した視差画像は、並べ替え処理部２８において、画素単位で並び替え処理され、３次元ディスプレイに表示するフォーマットに変更される。ここで、３次元ディスプレイ用のフォーマットとは、要素画像がタイル状に並んだ要素画像アレイを意味している。

並び替え処理部２８で作成された要素画像アレイは、表示部５に供給されて表示部５によって３次元画像が表示される。表示部５に供給される要素画像アレイは、表示条件調整部３２に供給される。ここで、表示部５に表示された映像を看ながら、表示条件調整部３２でクリッピングサイズ及びマルチカメラ１の位置（間隔）が調整される。ここで、既に説明されたようにマルチカメラ１の位置（間隔）の調整は、画像補間によって用意される撮影データが取得可能な仮想上のカメラ位置或いはカメラ間隔を含んでいる。表示条件調整部３２で調整、特に、クリッピングサイズが変更された場合は、撮影条件を反映させて、撮影条件のレイアウトと相似を保ちながら、撮影基準距離及びカメラ間隔を修正する必要がある。撮影基準距離の変更は、クリッピング範囲７−１、７−２，７−３のシフト値を調整することで擬似的に実現することができる。しかし、基本的には、表示条件調整部３２においてクリッピング範囲のシフト値の調整で対処せずに、あくまでも撮影基準距離の変更を促すことを基本とする。表示条件調整部で調整されたパラメータは、クリッピング条件記憶部２４の内容に反映され、この結果、リアルタイムに表示部５の３次元画像の表示状態が更新される。

ここで、表示条件調節部３２に設定された表示条件を反映して表示部５に表示する場合に、多視点画像の撮影範囲が不足する場合が想定される。この撮影範囲が不足する領域の画像は、隣接し、既に得られている多視点画像の視差情報で置換する処理で補充されても良い。この置換した視差画像は、置換である旨を表示する為に置換部分に着色して観察者に知らしても良い。

また、表示条件調節部３２は、表示面近傍に表示しようとした対象物を画像処理にて認識し、撮影条件の変化、撮影対象の移動があっても対象物をトラッキング（追跡）することができるトラッキング処理部（図示せず）を含むことが好ましい。このトラッキング処理部は、クリッピング条件記憶部２２に記憶されるパラメータを自動的に変更或いは更新して対象物を常に表示面に表示させることが好ましい。

図１０及び図１１は、３次元ディスプレイの観察者が主に表示したい対象物を決定することが可能な画像処理部４０及びこの画像処理部４０における処理フローを示している。図１０に示される装置は、図５に示される処理装置と異なり、図１に示したように２つの表示部５−１，５−２を備えている。ここで、一方の表示部５−１は、マルチカメラ１に設けられたビューワーに相当し、他方の表示部５−２は、３次元ディスプレイに相当している。

図６に示すフロートにおける処理と同様にマルチカメラ１で撮影が開始される。（ステップＳ１０）初めに、撮影を開始した状態（初期状態）での３次元画像が観察者によって観察され、観察者によってパラメータが調整される。パラメータの調整は、表示部５−２を見ながら実施され、この表示部５−２に調整パラメータが表示されるとともに入力部５５を介してパラメータが送受信部４８、５８介して画像処理部４０の表示条件調整部３２に入力される。(ステップＳ２１）従って、パラメータとしてのシフト量以外のパラメータが反映された画像が表示部５−２に表示される。シフト量から換算された仮想投影面２の画像がＣＧで生成される。この投影面２が表示部５−２内に着色されて表示される。（ステップＳ２２）ここで、撮影者と異なり、観察者は、撮影基準距離Ｌを変更できないことから、パラメータとしてのシフト量が操作されても、３次元ディスプレイの表示面上に投影面２が表示されるに過ぎないこととなる。撮影者は、観察者が観察する画面と同様な画面を表示部４２としてのビューワー内に観察することとなる。このビューワー内に表示される投影面近傍に表示対象が表示されていない場合には、３次元画像表示装置であるビューワーを見ながら撮影位置が前後されて、表示対象が投影面２に表示されるような撮影位置が探されることとなる（ステップＳ１２）。

観察者は、撮影者の移動によって、投影面２に表示対象が略表示された状態で、対象物が適切な表示サイズで表示されているかを判断する（ステップＳ１３）。このステップＳ１３において、観察者が表示対象物の表示サイズを調整したい場合、表示範囲(クリッピング範囲）を変更する指示が観察者によって入力部を介して画像処理部４０に入力される（ステップＳ１４）。具体的には、クリッピング領域７―１．７−２，７−３のシフト値（s_n、s_f）は、そのままに維持して対象物の表示サイズが拡大縮小される処理が施される。

クリッピング領域７―１．７−２，７−３の範囲を拡大或いは縮小する場合には、実際には、図７及び図８を参照して説明したように、撮影基準距離にフィードバックを与えて撮影基準距離及びカメラ間隔が調整される。（ステップＳ１５）その後、撮影基準距離の変更に伴う画像補間の処理が実行されて、撮影位置（ｘ座標）ｘ＿ｃ’を変えた多視点画像が生成される。（ステップＳ１６）この補間多視点画像で画面が表示され、この表示画面に従って、ステップＳ１２が実行される。

表示対象物の奥行きが大きい、即ち、厚みのあるために、３次元ディスプレイの奥行き方向の表示範囲に入らない場合（ステップＳ１７におけるＮＯ）には、図９に示されるようにカメラ座標ｘ＿ｃがシフトされ、表示された状態の空間をｚ方向に縮小（圧縮）することができる（ステップＳ１８）。マルチカメラでは、実際上撮影部３０−１〜３０−ｎのシフトは、できないことから、このカメラ座標ｘ＿ｃで撮影された映像に対しても画像補間処理で１／２カメラ間隔の撮影データが用意されれば良い。

ステップＳ１７において、３次元ディスプレイの奥行き方向の表示範囲に表示対象が納まる場合には、或いは、ステップＳ１８の処理で３次元ディスプレイの奥行き方向の表示範囲に表示対象が納まるようになった場合には、この撮影条件で撮影部３０−１〜３０−ｎ或いは３０−ｋ〜３０−ｍからの画像データが表示用画像に並べ替え処理されて要素画像のデータが作成され、記憶装置（図示せず）に格納される。（ステップＳ１９）このように要素画像のデータが用意されて一連の処理が終了される。（ステップＳ１７）必要であれば詳細設定の為にステップＳ２１からの処理が再び繰り返される。

尚、入力されたクリッピング領域のクリッピングサイズ及びこれに連動するカメラ間隔、そして、更に奥行き方法の潰し表示処理のカメラ間隔操作が勘案されてクリッピング条件としてクリッピング条件記憶部２２に記憶される。この処理では、シフト値は、反映させていない。なぜなら、表示部１にシフトの表示をして、撮影者に対して撮影位置の移動を促す必要があるからである。このとき、撮影対象のどこを表示面にしたいかは、観察者が表示条件調整部３２で操作したシフト値から、表示面にしたいシフト値、即ち、撮影基準距離が割り出される。例えば図１２に示すように、ＣＧで擬似的に撮影対象の平面９が表示される。撮影者は、この撮影対象面９を投影面に一致するように撮影位置を前後すればよいこととなる。

以上のべた方法により、３次元画像表示において歪の原因になる、撮影基準距離の理想値からの乖離を、撮影者に知らしめ、理想の撮影基準距離に移動するための指針を与えることができる。

尚、画像補間処理については詳細を記載していないが、公知のバイリニア法、バイキュービック法等の既存の方法が用いられれば良い。また、カメラには、ズームイン、アウト、レンズシフト、焦点距離の移動といった機能があることが予想されるが、これらの動作においても、この発明適用することができることは明らかである。

視差バリアを備える３次元ディスプレイの表示範囲内に、表示対象物を歪みなく表示するための多視点画像取得が可能となる立体映像を表示する為の撮像画像の取得方法並びに取得された画像から立体映像を表示する方法及び装置を提供することができる。

１．．．マルチカメラ、２．．．投影面、３−１，３−２、３−３．．．実物体、４―１〜４−ｎ．．．レンズ、５―１〜５−ｎ．．．撮像素子、７―１〜７−ｎ．．．クリッピング領域、６．．．撮影範囲、３０−１〜３０−ｎ．．．撮影部、４０．．．画像処理部、４２．．．撮影者用表示部、４４．．．駆動回路、４５．．．入力部、４６．．．表示パネル、４７．．．視差バリア、５２．．．観察者用表示部、５４．．．駆動回路部、５５．．．入力部、５６．．．表示パネル、５７．．．視差バリア、６０．．．要素画像領域

Claims (5)

1. 表示領域内に画素が行と列とのマトリックス状に並んだ表示部と、及び
   前記表示部の前面に設置され、前記表示部が射出する光線の方向を制御する光学的制御部と、
   を備え、制御される前記光線の方向に応じて定まる前記表示領域内の要素画像領域に、視差画像データを並び替えた要素画像データを表示することで立体画像を生成する第１の３次元表示装置と、
   複数方向からの実物体の多視点画像を撮影するマルチカメラであって、特定の間隔で配置された複数の撮影部を有し、撮影基準面としての投影面を有するマルチカメラと、
   このマルチカメラからの前記多視点画像を処理する画像処理部であって、前記多視点画像から、前記視差画像を生成するために利用する範囲に関するクリッピング領域情報に基づいて、前記多視点画像から前記視差画像として利用する範囲をクリッピングして視差画像データを生成する視差画像生成部と、
   前記視差画像データの各画素の値を前記要素画像データに並び替える並び替え処理部と、
   前記多視点画像の撮影条件を記憶する撮影条件記憶部と、
   前記実物体を投影面近傍に所望のサイズで表示するためのパラメータを調整する表示条件調節部と、
   前記パラメータと前記撮影条件から、特定の立体像が表示されるための修正した撮影基準距離に関する情報を前記表示部に表示する画像を生成する画像処理部と、
   を具備することを特徴とする立体映像表示装置。
2. 第２表示領域内に画素が行と列とのマトリックス状に並んだ第２表示部と、
   前記第２表示部の前面に設置され、前記第２表示部が射出する光線の方向を制御する第２光学的制御部と、
   を備え、前記第２表示領域内の領域であって前記第２光学的制御部によって制御される前記光線の方向に応じて定まる領域に、視差画像データを並び替えた要素画像データを表示することで立体画像を生成する第２の３次元表示装置と、
   指示を入力するための入力部と、
   を具備する請求項１に記載の立体映像表示装置。
3. 前記表示条件調整部は、前記入力部にクリッピング条件に関する指示が入力された場合、入力されたクリッピング条件に基づいて前記パラメータを調整し、
   前記視差画像生成部は、調整された前記パラメータに従った前記視差画像データを生成し、
   前記画像処理部は、前記入力されたクリッピング条件に基づいて、仮想投影面を求め、前記仮想投影面を前記表示部に表示させることを特徴とする請求項２に記載の立体映像表示装置。
4. 前記視差画像生成部は、前記表示条件調節部で設定された表示条件を反映した前記視差画像を生成する際に、前記多視点画像の撮影範囲が不足する場合には、既に得られている隣接する前記多視点画像の視差情報を前記不足する領域の画像に置換し、この置換した前記視差画像を着色することを特徴とする請求項３の立体映像表示装置。
5. 前記表示条件調節部は、前記実物体をトラッキングするトラッキング処理部を含む、ことを特徴とする請求項１の立体映像表示装置。

Images