JP2842735B2 - 複数視点３次元画像入力装置、画像合成装置、及びその画像出力装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータビジョン
（ＣＶ）及びコンピュータグラフィックス（ＣＧ）等の
３次元画像情報技術において、３次元画像を入力し、そ
れを合成し、３次元に画像を表示する等の複数視点３次
元画像入力装置、画像合成装置、及びその画像出力装置
に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。 文献１；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２ 文献２；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０ 従来、３次元画像入力方式には、受動的手法（パッシブ
手法）と能動的手法（アクティブ手法）とがある。能動
的手法とは、３次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー（光波、電波、音波）を
対象に照射する手法のことを指す。これに対して受動的
手法とは、対象に対して通常の照明等は行うにしても、
計測に関して意味のあるエネルギーを利用しない計測の
ことをいう。一般的にいって、能動的手法の方が、受動
的手法のものより計測の信頼性が高くなる。受動的手法
の代表的なものがステレオ画像法であり、それを図２に
示す。

【０００３】図２は、前記文献２に記載された従来の３
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、２次元画像入力装置
である２台のカメラ１，２を所定距離離して配置し、左
右のカメラ１，２で撮られた被写体３の結像位置の差、
即ち位相差を利用し、三角測量法によって被写体３まで
の距離を計る方法である。

【０００４】図３（ａ）〜（ｃ）は、図２のステレオ画
像法で得られた信号の濃淡画像と距離画像の２枚の画像
の説明図である。濃淡画像は、図２のカメラ１，２で得
られるカラーや白黒の画像である。距離画像は、３次元
位置に関する画像であり、マトリクスデータで一つ一つ
の画素が対象物（被写体３）の奥行きに関する情報を持
つものである。このような濃淡画像と距離画像とから、
偏光フイルタを用いた両眼融合方式によって立体画像表
示を行ったり、レンチキュラ板を用いて立体画像表示を
行ったりしている。立体画像表示の一例を図４に示す。

【０００５】図４は、前記文献１に記載された従来の３
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板１０
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。１個のレンズ板内にはａ，ｂ，
ｃ，…，ｆの部分に、それぞれａ₁ ，ｂ₁ ，ｃ₁ ，…，
ｆ₁ という多方向から撮像したストライプ状の多眼像１
１を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像１１は左右の眼１２，１３に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記構
成の装置では、３次元画像表示方式として、レンチキュ
ラ板１０を使用した場合、平面画像を立体的に見れるも
のの、観察者の視線を変えたときのものの見え方は、立
体視可能な観察領域として約５ｍ離れて見たときに、左
右方向で５〜１０cm、前後方向に±３０cm程度と狭い。
また、両眼融合方式においては、平面画像の立体的表現
のみで、視線を変えても、画像そのものは変わらないと
いう問題があり、それらを解決することが困難であっ
た。本発明は、前記従来技術が持っていた課題として、
観察視域が狭い、視線を変えても画像が変わらない等の
点について解決した複数視点３次元画像入力装置、画像
合成装置、及びその画像出力装置を提供するものであ
る。

【０００７】

【課題を解決するための手段】前記課題を解決するため
に、本発明のうちの第１の発明は、複数視点３次元画像
入力装置において、左右１対のレンズを有し、該１対の
レンズを介して入力した被写体の画像に基づき該被写体
を表現する第１の濃淡画像及び第１の距離画像の信号を
生成して出力する第１の３次元カメラ（以下、３Ｄカメ
ラという）と、左右１対のレンズを有し、該１対のレン
ズを介して入力した前記被写体の画像に基づき該被写体
を表現する第２の濃淡画像及び第２の距離画像の信号を
生成して出力する第２の３Ｄカメラとを備えている。そ
して、前記第１と第２の３Ｄカメラを所定距離Ｌだけ離
し、かつ、該第１と第２の３Ｄカメラの光軸が交差する
ように配置している。第２の発明では、第１の発明の複
数視点３次元画像入力装置において、前記１対のレンズ
における光軸間の距離ｄ ₀ が前記距離Ｌより小さくなる
ように該１対のレンズを配置している。第３の発明で
は、画像合成装置において、設定された撮像条件に基づ
き、第１の発明の第１，第２の距離画像及び第１，第２
の濃淡画像から、観察者の視点軌跡に従い、視点角度を
変えた画像を合成するようにしている。第４の発明で
は、第３の発明の画像合成装置において、前記視点角度
を、前記第１と第２の３Ｄカメラの光軸の交点を中心に
設定するようにしている。第５の発明では、画像出力装
置において、第３の発明の画像合成装置で合成された画
像情報を外部へ出力するようにしている。第６の発明で
は、画像出力装置において、第３の発明の画像合成装置
によって観察者の視点角度を変えた画像を合成する際
に、その視点角度における立体画像表示用の信号を作成
して画像表示するようにしている。

【０００８】

【作用】第１及び第２の発明によれば、以上のように複
数視点３次元画像入力装置を構成したので、第１及び第
２の３Ｄカメラは、被写体の画像を、左右１対のレンズ
を介して入力して第１及び第２の濃淡画像と第１及び第
２の距離画像とをそれぞれ出力する。第３及び第４の発
明によれば、第１及び第２の３Ｄカメラから出力された
濃淡画像及び距離画像から、観察者の視点に合わせた画
像合成を行う。第５及び第６の発明によれば、前記画像
合成装置の出力に基づき、観察者の視線を変えると、そ
れに追従して合成画像を表示したり、あるいはその合成
画像の信号を外部へ出力する。従って、前記課題を解決
できるのである。

【０００９】

【実施例】図１は、本発明の実施例を示す複数視点３次
元画像入力装置の構成ブロック図である。この複数視点
３次元画像入力装置は、自然光等を照明光とする照明の
与え方がパッシブ（受動）型の第１及び第２の３次元画
像入力装置を備えている。この第１，第２の３次元画像
入力装置は、例えば第１及び第２の３Ｄカメラ１００−
１，１００−２でそれぞれ構成されている。この第１と
第２の３Ｄカメラ１００−１，１００−２は、距離Ｌだ
け離間し、視線角度（視角）θ₁ ，θ₂ を形成する光軸
（視線）Ｈ１０１，１０２が交点Ｋで交わるように配置
されている。第１の３Ｄカメラ１００−１は、第１の濃
淡画像Ｓ１０１Ｌと第１の距離画像Ｓ１０２Ｌを出力す
る機能を有し、さらに第２の３Ｄカメラ１００−２は、
第２の濃淡画像Ｓ１０１Ｒと第２の距離画像Ｓ１０２Ｒ
を出力する機能を有している。第１，第２の３Ｄカメラ
１００−１，１００−２の出力側には、視角を合わせた
画像合成装置２００が接続され、さらにその出力側に、
画像出力装置である画像表示装置３００が接続されてい
る。画像合成装置２００は、画像表示装置３００を観察
する観察者の視角に合わせて、第１，第２の濃淡画像Ｓ
１０１Ｌ，Ｓ１０１Ｒ、及び第１，第２の距離画像Ｓ１
０２Ｌ，Ｓ１０２Ｒを合成する装置である。この場合、
観察者の位置を変えないでも、画像そのものの見える角
度も視角としている。画像表示装置３００は、画像合成
装置２００からの信号を表示する装置であり、それに
は、観察者が見たい角度を設定する表示視線設定装置４
００が接続されている。この表示視線設定装置４００で
は、観察者がダイアル等の制御で設定してもよいし、あ
るいは人間のいる位置に自動的に追従して角度設定して
もよい。

【００１０】また、画像合成装置２００には、撮像条件
設定記憶装置５００が接続されると共に、その画像合成
装置２００及び表示視線設定装置４００に、視点軌跡設
定装置６００が接続されている。撮像条件設定記憶装置
５００は、カメラ間隔やカメラ視角等のカメラ配置条件
と、焦点距離、倍率、画角といったレンズ等の光学系設
定条件とを、記憶しておく装置である。視点軌跡設定装
置６００は、観察者の視角に合わせた画像合成をする際
の視点軌跡を設定する装置である。

【００１１】図５は、図１中の各３Ｄカメラ１００−
１，１００−２の概略の構成図である。図１中の各３Ｄ
カメラ１００−１，１００−２は、被写体１１０を結像
する左目用のレンズ１１１と右目用のレンズ１１２とを
備え、それらのレンズ１１１，１１２の結像位置には、
左目用の固体撮像素子、例えば電荷結合素子（以下、Ｃ
ＣＤという）１２１と、右目用の固体撮像素子、例えば
ＣＣＤ１２２とが設けられている。左目用のレンズ１１
１の光軸Ｈ１１１と、右目用のレンズ１１２の光軸Ｈ１
１２とは、距離ｄ₀ だけ離れている。左目用のレンズ１
１１の画角（視野）はθ₁₁₁ 、右目用のレンズ１１２の
画角（視野）はθ₁₁₂ である。

【００１２】図６（ａ），（ｂ）は、図５に示すような
２眼カメラからなる３Ｄカメラ１００−１（または１０
０−２）を用いて被写体１１０を撮像したときの左側画
像と右側画像の説明図である。図５のような３Ｄカメラ
１００−１（または１００−２）を用いて被写体１１０
を撮像すると、図６（ｂ）の左側画像と図６（ａ）の右
側画像とが得られる。図５のレンズ１１１の光軸Ｈ１１
１とレンズ１１２の光軸Ｈ１１２とは、ある距離ｄ₀ だ
け離れているので、得られる被写体１１０の画面内の位
置に差が出てくる。

【００１３】例えば、距離が異なる２つの被写体１１０
ａ，１１０ｂを配置して撮像した場合、被写体１１０
ａ，１１０ｂにおいてそれぞれ位置差Δ₁ ＝ｘ₁₂−ｘ₁₁
及び位置差Δ₂ ＝ｘ₂₂−ｘ₂₁が得られる。ここで、ｘ₁₁
は左側画像の第１の被写体１１０ａの画面内水平方向位
置、ｘ₂₁は左側画像の第２の被写体１１０ｂの画面内水
平方向位置である。同様に、Ｘ₁₂，Ｘ₂₂は、右側画像の
第１，第２の被写体１１０ａ，１１０ｂの画面内水平方
向位置である。この場合、Δ₁ ＞Δ₂ の関係があり、位
置差の小さい方が遠方にあることになる。この関係を図
７に示す。図７は、図５の３Ｄカメラ１００−１（また
は１００−２）のレンズ１１１と１１２の距離ｄ₀ を２
０cmとして、各レンズ１１１，１１２の画角θ₁₁₁ ，θ
₁₁₂ を７０°で使用したときの距離とビットずれの相関
図ある。図６の左側画像と右側画像の位置差が解れば、
図７の関係から距離が求まることになる。その結果例を
図８（ａ），（ｂ）に示す。図８（ａ），（ｂ）は、図
５の３Ｄカメラ１００−１（または１００−２）で得ら
れた濃淡画像と距離画像の説明図である。この図では、
濃淡画像と距離画像という形で画素毎のマップとして示
されている。図９は、図１の３Ｄカメラ１００−１，１
００−２の配置条件の例を示す図である。

【００１４】第１の３Ｄカメラ１００−１の光軸Ｈ１０
１の視角θ₁ と、第２の３Ｄカメラ１００−２の光軸Ｈ
１０２の視角θ₂ とを、例えばθ₁ ＝θ₂ ＝７０°と
し、該第１と第２の３Ｄカメラ１００−１，１００−２
間の距離Ｌを２ｍとする。この場合、２台の３Ｄカメラ
１００−１，１００−２の光軸Ｈ１０１とＨ１０２は、
その２台の３Ｄカメラ１００−１と１００−２を結んだ
線の中央の点Ｏから、直角方向に約２．７５ｍの距離ｌ
で交わる構成となっている。次に、図１の装置の３次元
画像入力動作（１）、画像合成動作（２）、３次元画像
表示動作（３）、及びその他の動作（４）を説明する。

【００１５】（１） ３次元画像入力動作 本実施例は、図１に示すように、２台の３Ｄカメラ１０
０−１，１００−２を用いてそれらの光軸Ｈ１０１とＨ
１０２が交点Ｋで交わるように配置したことを第１の特
徴としている。以下、図１０〜図１２を参照しつつ、３
次元画像入力動作を説明する。図１０は、図１の３Ｄカ
メラ１００−１，１００−２の撮影方向に対して直角の
方向、つまりカメラ配置を上から見た図である。左側の
３Ｄカメラ１００−１と右側の３Ｄカメラ１００−２と
の間の距離Ｌは、図５に示す３Ｄカメラ単体での光軸間
距離ｄ₀ よりも広く設定されている。左側の３Ｄカメラ
１００−１の光軸Ｈ１０１と右側の３Ｄカメラ１００−
２の光軸Ｈ１０２とは、交点Ｋで交わるようにしてあ
る。左側の３Ｄカメラ１００−１と右側の３Ｄカメラ１
００−２とを結んだ仮想線１０５上に、交点Ｋより垂線
を下ろした点を０とする。仮想線１０５と光軸Ｈ１０１
とのなす角（視角）をθ₁ 、仮想線１０５と光軸Ｈ１０
２とのなす角（視角）をθ₂ とする。説明の簡単化のた
めに、視角θ₁ ＝θ₂ とし、点０は２台の３Ｄカメラ１
００−１と１００−２の中心になっている。左側の３Ｄ
カメラ１００−１の画角ψ₁ と、右側の３Ｄカメラ１０
０−２の画角ψ₂ とは、同一の３Ｄカメラを用いた場合
には同一である。また、被写体１１０は、説明の簡単化
のために、例えば点Ａ，Ｂ，Ｃ，Ｄからなる立方体とし
ている。

【００１６】図１０において、２台の３Ｄカメラ１００
−１，１００−２で被写体１１０を撮影すると、それら
の３Ｄカメラ１００−１，１００−２から、濃淡画像と
距離画像がそれぞれ出力される。図１１（ａ）〜（ｄ）
は、図１０における被写体１１０の見え方を説明する図
である。図１１（ａ），（ｂ）は、各３Ｄカメラ１００
−１，１００−２での２次元画像の例を示す。立方体の
被写体１１０の４点Ａ，Ｂ，Ｃ，Ｄのうち、左側の３Ｄ
カメラ１００−１では図１１（ａ）に示すように点Ａと
Ｂのみが撮像され、右側の３Ｄカメラ１００−２では図
１１（ｂ）に示すように点Ａ，Ｂ，Ｃの３点が撮像され
る。ここで、図１１（ａ）のｘ_1a，ｙ_1aは点Ａの２次元
画像内の座標、ｘ_1b，ｙ_1bは点Ｂの２次元画像内の座標
である。図１１（ｃ），（ｄ）は、各３Ｄカメラ１００
−１，１００−２から見た点Ａ，Ｂ，Ｃ，Ｄからなる被
写体１１０のｘｙ座標、及び距離ｌを示す図である。距
離ｌ_1aは３Ｄカメラ１００−１の点Ａの距離を示し、ｌ
_1b等もそれぞれに対応する距離である。これらの被写体
１１０の点Ａ，Ｂ，Ｃ，Ｄのｘｙ座標及び距離ｌの信号
が、図１の画像合成装置２００へ送られる。

【００１７】（２） 画像合成動作 図１の画像合成装置２００では、２台の３Ｄカメラ１０
０−１，１００−２から出力された第１，第２の濃淡画
像Ｓ１０１Ｌ，Ｓ１０１Ｒと第１，第２の距離画像Ｓ１
０２Ｌ，Ｓ１０２Ｒとから、観測者の視線に合わせた画
像を合成する。これは、例えば図１０の点０から被写体
１１０を見たときの画像として表示しようとするもので
ある。図１２は、従来より知られている公知の簡単な幾
何光学の図である。図１２のｌ₁ はレンズ１１１（また
は１１２）から被写体１１０までの被写体距離、ｌ₂ は
レンズ１１１（または１１２）から結像された像１１０
ｃまでの像距離である。焦点距離ｆは、１／ｌ₁ ＋１／
ｌ₂ ＝１／ｆの関係にあり、倍率（縮率）ｍ₀ ＝ｌ₂ ／
ｌ₁ である。そして、レンズ１１１（または１１２）か
ら被写体１１０までの被写体距離ｌ₁ が遠いと、結像さ
れた像１１０ｃは小さくなる。

【００１８】従来のごとく、２次元画像入力装置である
単眼カメラを２台、広い間隔で離間して配置し、該２台
の単眼カメラで撮像した場合、被写体位置により像の大
きさが変わってしまい、それを合成することがほとんど
できなかった。また、２台の単眼カメラを広い間隔で配
置すると、その２台の単眼カメラの被写体をとらえる角
度の差が大きくなってしまい、該被写体の輝度がその角
度差により大きく変わり、その２台の単眼カメラからの
画像の対応点探索が非常に困難であった。これに対し、
本実施例では図１に示すように、各３Ｄカメラ１００−
１，１００−２中の光軸間距離ｄ₀ が例えば２０cmと狭
いので、３ｍ程度の距離にある被写体１１０を見た場合
には、視線のなす角度差が小さいので、該被写体１１０
の輝度の変化も１％以下と小さく抑えられ、２枚の濃淡
画像Ｓ１０１Ｌ，Ｓ１０１Ｒから距離を算出する際の対
応点を探し易くなる。そのため、従来のように２台の単
眼カメラを広い間隔で配置するよりも、距離画像Ｓ１０
２Ｌ，Ｓ１０２Ｒを検出し易い利点がある。これが第２
の特徴である。また、本実施例では、被写体１１０まで
の距離が距離画像Ｓ１０２Ｌ，Ｓ１０２Ｒとして得られ
ているので、像の大きさを特定でき、合成が容易に行え
る利点がある。これが第３の特徴である。

【００１９】次に、画像合成方法について説明する。図
１３は、本実施例において点０を視点として被写体１１
０を画像合成するときの計算例を示す図である。図１３
において、ｌ_1aは被写体１１０の点Ａまでの距離、ｄ_1a
は３Ｄカメラ１００−１の像中心からの点Ａの結像点Ａ
₂ までの距離、θ₁ は３Ｄカメラ１００−１の視角（設
定角）である。３Ｄカメラ１００−１と１００−２間の
仮想線１０５は視点軌跡である。被写体１１０の点Ａに
着目して説明すると、３Ｄカメラ１００−１が見ている
点ＡはＡ₂ と等価な位置にある。即ち、３Ｄカメラ１０
０−１の中心０₁ からＡ₂ までの座標に位置している。
なお、結像されている像は一般的には縮小されている
が、レンズによる縮小画像が線形であると仮定できる光
軸近傍を取り扱うので、縮小率に比例するだけの相似形
となる。そのため、説明のしやすさから、図１３のよう
な作図とした。

【００２０】図１３の場合、図１の画像合成装置２００
では、撮像条件設定記憶装置５００に設定された値を用
いて、簡単な三角関数で、点０から見たときの点Ａの投
影点Ａ₁ が得られる。点００₁ 間の距離は予め設定した
値なので、点０₁ から点Ａ₁までの距離Ｘ_2aは次式から
求まる。 ｘ_2a＝ｌ_1a cosθ₁ −ｄ_1a sinθ₁ そして、点０Ａ₁ 間の距離は、次式より求まる。 ０Ａ₁ ＝Ｌ_s −Ｘ_2a 同様に、仮想線１０５からの距離Ｌ_2a（これは視点から
の平行な距離である）も次式より求められる。 Ｌ_2a＝ｌ_1a sinθ₁ −ｄ_1a cosθ₁ 被写体１１０の他の点Ｂ，Ｃ，Ｄも前記と同様に求めら
れ、結果として点０からの座標に変換される。これが第
４の特徴である。

【００２１】（３） ３次元画像表示動作 図１４（ａ）〜（ｃ）は、本実施例において視点０から
見たときの画像表示方法の説明図である。図１４（ａ）
において、被写体１１０の点Ａの１対１の写像時の点３
０１は、奥行きが距離比（３０２）だけ小さく見え、さ
らにＹ方向も距離比（３０３）だけ小さく見えるので、
新たな点３０４が表示点となる。図１４（ｂ）におい
て、３０５は表示点、大きさの比は tanη₂ ／tan
η₁ 、表示係数をｍとすると、表示位置の差はｍ×（ t
anη₂ − tanη₁ ）となる。

【００２２】図１の画像合成装置２００の出力信号によ
って画像表示装置３００で表示する場合、図１４に示す
ように、近くのものは大きく、遠くのもは小さく表示さ
れる。その場合、視点から見た像の大きさは、視点から
見た像のなす角の大きさによって決まる。そこで、画像
表示装置３００で表示される被写体１１０の大きさは、
３Ｄカメラ１００−１から見た被写体１１０の点Ａに対
する角度η₁ で決まり、その角度η₁ が距離ｌ_1a及び２
次元画像の座標ｄ_1aから求められるので、容易に求めら
れる。また、点０から見た場合も、距離Ｌ_2a及び２次元
画像の座標Ａ₁が得られるので、容易に角度η₂ が求ま
る。この角度η₂ により画像表示装置３００で表示する
結果、表示された点Ａの位置は見える被写体１１０の大
きさに応じてずれ、点０から見た大きさの表示がされ
る。これが第５の特徴である。

【００２３】２次元画像のｘ方向の画像表示について説
明したが、ｙ方向も同様に求まる。また、３Ｄカメラ１
００−２から見た場合も同様に求められる。以上のよう
に、図１の撮像条件設定記憶装置５００の情報と、３Ｄ
カメラ１００−１，１００−２から出力される濃淡画像
Ｓ１０１Ｌ，Ｓ１０１Ｒ、及び距離画像Ｓ１０２Ｌ，Ｓ
１０２Ｒとから、画像合成装置２００で簡単に画像合成
でき、それを画像表示装置３００で立体的に表示でき
る。

【００２４】（４） その他の動作 被写体１１０が複数存在する場合には、同じ角度η₂ で
複数点存在する場合があるが、そのときには、観察者の
視線から見た法線方向（例えば、角度η₂ 方向）の距離
の短い方の点を取れば重複しない。これが第６の特徴で
ある。また、観察者の視線によっては、３Ｄカメラ１０
０−１，１００−２の遠距離の情報が表示画角内に入ら
ない場合があるが、そのような場合は考えなくてもよ
い。

【００２５】図１５は、本発明の実施例の他の画像合成
の計算例を示す図である。即ち、この図１５は、視線軌
跡を２台の３Ｄカメラ１００−１，１００−２を結んだ
線上としたときの、任意の視線方向への画像合成の計算
例を示す、任意方向から見たときの投影図である。２台
の３Ｄカメラ１００−１，１００−２を任意の位置ＣＭ
１，ＣＭ２に設置した場合、各３Ｄカメラ１００−１，
１００−２の光軸Ｈ１０１とＨ１０２の交点Ｋから、直
線ＣＭ１・ＣＭ２間上に垂線を引いたとき、その交点を
ＣＴとする。交点Ｋにおける光軸Ｈ１０１とＨ１０２の
なす角度をδとすると、直接ＣＭ１・ＣＭ２間上の点Ｃ
Ｔ，ｃは角度δにより決まる。 Ｐ₁ ＝ＣＭ１・ｃ、Ｐ₂ ＝ｂ・ｃ、Ｐ₃ ＝ａ・ｂ、Ｐ₄ ＝ＣＭ１・ｂ、 Ｐ₅ ＝ＣＭ１・ａ、Ｐ₆ ＝Ａ₂ ・ＣＭ１、 Ｐ₇ ＝Ａ₂ ・Ａ₃ 、 Ｐ₈ ＝Ａ₃ ・ａ、 Ｐ₉ ＝Ａ₃ ・ｂ₁ 、 Ｌ_1a＝Ａ・Ａ₁ 、 Ｌ_2a＝Ａ・Ａ₃ 、 ｌ_1a＝Ａ・Ａ₂ の場合、Ｐ₆ ，ｌ_1aを測定値とすると、角度δ₁ 時の投
影面において、求める角度δ₁ 時の中心からの位置Ｐ₉
と、求める角度δ₁ 時の被写体１１０までの距離Ｌ_1aと
は、次の三角関数式より求めることができる。 Ｐ₄ ＝Ｐ₁ ・cos （π−θ₁ −δ₁ ） Ｐ₂ ＝Ｐ₁ ・sin （π−θ₁ −δ₁ ） Ｐ₃ ＝Ｐ₄ ・tan δ₁ Ｐ₇ ＝ｌ_1a・tan δ₁ Ｐ₅ ＝Ｐ₄ ／cos δ₁ Ｐ₈ ＝Ｐ₆ ＋Ｐ₅ −Ｐ₇ Ｐ₉ ＝（Ｐ₈ ／Ｐ₅ ）・Ｐ₄ Ｌ_1a＝ｌ_1a／ cosδ₁ −Ｐ₂ −（Ｐ₈ ／Ｐ₅ ）・Ｐ₃ 図１６は、本発明の実施例の他の画像合成の計算例を示
すもので、視線軌跡を２台の３Ｄカメラ１００−１，１
００−２の光軸交点Ｋを中心とした円周上としたとき
の、任意の視線方向への画像合成の計算例を示す図であ
る。観察点を、２台の３Ｄカメラ１００−１と１００−
２を結んだ直線上ではなく、それらの光軸Ｈ１０１とＨ
１０２の交点Ｋを中心として、３Ｄカメラ１００−１の
中心及び３Ｄカメラ１００−２の中心を通る円周上を観
察点（視点）とした場合、図１６において、γ＝Ｋ・Ｃ
Ｍ１、γ₁ ＝Ｋ・Ｂ₁ 、ＰＰ１＝ＣＴ０・Ｂ₁ であるか
ら、三角関数式 γ₁ ＝ＰＰ１／ sin（π−θ₁ −δ₁ ） ｄ＝γ−γ₁ より、距離＝Ｌ_1a＋ｄと、位置（＝直線時と同じ）を求
めることができる。このように、円周上で観察点を動か
したときには、表示される画像の大きさの変化が小さい
ので、視覚的な異和感が小さい利点を有する。以上のよ
うに、視点をどうとるかは、図１の視点軌跡設定装置６
００に予め何種類か視点軌跡を設定しておけば、観察者
の好きな軌跡にそって変更が可能である。これが第７の
特徴である。また、被写体１１０の形状によっては、死
角があり得るが、その場合には３Ｄカメラ１００−１と
１００−２の間に、第３あるいは第ｎの３Ｄカメラを設
置することにより、死角の問題を解決できる。

【００２６】以上説明した実施例の利点をまとめれば、
次のようになる。 （ｉ） 濃淡画像Ｓ１０１Ｌ，Ｓ１０１Ｒと距離画像Ｓ
１０２Ｌ，Ｓ１０２Ｒを出力可能な３Ｄカメラ１００−
１，１００−２を少なくとも２台、それらの光軸Ｈ１０
１，Ｈ１０２が交わるように配置したので、該３Ｄカメ
ラ１００−１から３Ｄカメラ１００−２までの範囲を、
表示視線設定装置４００を制御することにより、観察者
の視点とした画像を得ることができ、立体像を視点を変
えて見ることができるようになる。 （ii） ３Ｄカメラ１００−１，１００−２の光軸Ｈ１
０１，１０２の交点Ｋから角度を取るので、異和感のな
い画像表示が行える。これが第８の特徴である。 (iii） ある視点を固定した場合、濃淡画像Ｓ１０１
Ｌ，Ｓ１０１Ｒと距離画像Ｓ１０２Ｌ，Ｓ１０２Ｒを持
っているので、レンチキュラ板を使用した３次元画像表
示装置、あるいは両眼融合方式の３次元画像表示装置等
での表示も可能で、より立体的な表示が行える。

【００２７】なお、本発明は上記実施例に限定されず、
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。 （ａ） 上記実施例の装置を何組か用意し、被写体１１
０の後部に配置する等すれば、視野３６０°に亘った撮
像も可能である。また、上記実施例の装置を一組、被写
体１１０の後面に亘って回転して撮像する構成にして
も、視野３６０°に亘った撮像が可能となる。 （ｂ） 図１の３Ｄカメラ１００−１，１００−２は、
図５以外の構成に変更してもよい。

【００２８】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、左右１対のレンズをそれぞれ有し、濃淡画像
と距離画像をそれぞれ出力する３Ｄカメラを少なくとも
２台、所定距離Ｌだけ離し、かつ該第１と第２の３Ｄカ
メラの光軸が交差するように配置したので、それらの濃
淡画像と距離画像から、視点を変えて見たときの画像と
して合成することが容易になる。第２の発明によれば、
第１の発明の各３Ｄカメラは、左右１対のレンズの各光
軸間の距離ｄ₀ が３Ｄカメラ間の距離Ｌよりも小さくな
るように配置したので、各３Ｄカメラから出力される濃
淡画像と距離画像から、各３Ｄカメラ間の広い間隔
（Ｌ）で配置した範囲内を、視点を変えて見たときの画
像として容易に合成できるようになる。第３の発明によ
れば、第１の発明の第１，第２の距離画像及び第１，第
２の濃淡画像から、観測者の視点軌跡に従い、視点角度
を変えた画像を合成する構成にしたので、広い間隔で配
置した第１と第２の３Ｄカメラ間の範囲内を、視点を変
えて見たときの画像として的確に合成できる。従って、
その合成結果に基づき、被写体を観測者の制御で好きな
角度から見ることができるようになる。第４の発明によ
れば、第３の発明の視点角度は、第１と第２の３Ｄカメ
ラの光軸の交点を中心に設定する構成したので、画像合
成結果を表示すれば、観察者が動いても、表示される画
像の大きさの変化が小さいので、視覚的な異和感が小さ
くなる。第５及び第６の発明によれば、画像合成装置で
合成された画像情報を外部へ出力したり、あるいは画像
表示装置で表示するようにしたので、距離画像によって
より立体的な表示が可能となる。さらに、第１と第２の
３Ｄカメラの濃淡画像と距離画像を、例えば記憶してお
くだけ、あるいは送信するだけで、観察者か見たい角度
の表示が行え、観察者のあらゆる角度の情報を蓄えるこ
とに比較し、記憶容量を小さくできる効果や、短時間で
回線を通して情報伝送が行える等の効果がある。また、
例えば表示装置に対面している観察者の位置を、超音波
センサや光センサ等を用いて測定し、該表示装置からの
観察者の相対位置を計ることで、観察者の移動に伴う視
角の変化を自動追従させることができる。

【００２９】以上のような効果を有しているので、３Ｄ
カメラを空間的に動かさずに種々の視点から見た画像を
表示でき、さらに、その画像を記憶する記憶装置の容量
を小さくできると共に、さらに情報伝送量が少なくてす
む等のユーザフレンドリーな画像入力装置、画像合成装
置、及び画像出力装置を実現できる。また、画像出力装
置を画像表示装置で構成した場合、該画像表示装置を個
人個人が持って画像表示を見る場合、同じ画像情報から
個人の好みに合わせた視線を選択でき、テレビジョン会
議等における個人個人の臨場感が持てる撮像表示システ
ムも作り上げることが可能となる。

【図面の簡単な説明】

【図１】本発明の実施例を示す複数視点３次元画像入力
装置の構成ブロック図である。

【図２】従来の３次元画像入力方式の一つであるステレ
オ画像法の説明図である。

【図３】従来の濃淡画像と距離画像の説明図である。

【図４】従来の３次元画像表示方式の一つである多眼式
レンチキュラ方式の原理説明図である。

【図５】図１中の３Ｄカメラの構成図である。

【図６】図５の３Ｄカメラでの左側画像と右側画像の説
明図である。

【図７】図５の３Ｄカメラの距離とビットずれの相関図
である。

【図８】図５の３Ｄカメラで得られる濃淡画像と距離画
像の説明図である。

【図９】図１の３Ｄカメラの配置例を示す図である。

【図１０】図１の３Ｄカメラの配置を上から見た図であ
る。

【図１１】図１０における被写体の見え方の説明図であ
る。

【図１２】公知の簡単な幾何光学の図である。

【図１３】本実施例における視点を点０としたときの画
像合成の計算例を示す図である。

【図１４】本実施例の視点０から見たときの画像表示方
法の説明図である。

【図１５】本実施例の他の画像合成の計算例を示す図で
ある。

【図１６】本実施例の他の画像合成の計算例を示す図で
ある。

【符号の説明】

１００−１，１００−２ ３次元カメラ（３Ｄ
カメラ） １１１，１１２ レンズ １２１，１２２ ＣＣＤ ２００ 画像合成装置 ３００ 画像表示装置 ４００ 表示視線設定装置 ５００ 撮像条件設定記憶装
置 ６００ 視点軌跡設定装置 Ｓ１０１Ｌ，Ｓ１０１Ｒ 濃淡画像 Ｓ１０２Ｌ，Ｓ１０２Ｒ 距離画像

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 左右１対のレンズを有し、該１対のレン
   ズを介して入力した被写体の画像に基づき該被写体を表
   現する第１の濃淡画像及び第１の距離画像の信号を生成
   して出力する第１の３次元カメラと、左右１対のレンズを有し、該１対のレンズを介して入力
   した 前記被写体の画像に基づき該被写体を表現する第２
   の濃淡画像及び第２の距離画像の信号を生成して出力す
   る第２の３次元カメラとを備え、 前記第１と第２の３次元カメラを所定距離Ｌだけ離し、
   かつ、該第１と第２の３次元カメラの光軸が交差するよ
   うに配置したことを特徴とする複数視点３次元画像入力
   装置 。
2. 【請求項２】 請求項１記載の複数視点３次元画像入力
   装置において、前記各３次元カメラは、前記１対のレン
   ズにおける光軸間の距離ｄ ₀ が前記距離Ｌより小さくな
   るように該１対のレンズを配置したことを特徴とする複
   数視点３次元画像入力装置。
3. 【請求項３】 設定された撮像条件に基づき、請求項１
   の第１，第２の距離画像及び第１，第２の濃淡画像か
   ら、観察者の視点軌跡に従い、視点角度を変えた画像を
   合成する構成にしたことを特徴とする画像合成装置。
4. 【請求項４】 請求項３記載の画像合成装置において、 前記視点角度は、前記第１と第２の３次元カメラの光軸
   の交点を中心に設定する構成にしたことを特徴とする画
   像合成装置。
5. 【請求項５】 請求項３の画像合成装置で合成された画
   像情報を外部へ出力する画像出力装置。
6. 【請求項６】 請求項３の画像合成装置によって観察者
   の視点角度を変えた画像を合成する際に、その視点角度
   における立体画像表示用の信号を作成して画像表示する
   ことを特徴とする画像出力装置。