JPH0634343A - 複数視点３次元画像入力装置、画像合成装置、及びその画像出力装置 - Google Patents

Abstract

(57)【要約】 【目的】 観察視域が広く、視線を変えれば、それに応
じて表示画像が変わる。 【構成】 複数の２次元画像入力装置からなる第１と第
２の３次元画像入力装置１００−１と１００−２を所定
距離Ｌだけ離し、かつそれらの光軸Ｈ１０１とＨ１０２
が交差するように配置している。各３次元画像入力装置
１００−１，１００−２では、被写体の画像を入力して
濃淡画像Ｓ１０１Ｌ，Ｓ１０１Ｒ及び距離画像Ｓ１０２
Ｌ，Ｓ１０２Ｒをそれぞれ出力する。これらの濃淡画像
Ｓ１０１Ｌ，Ｓ１０１Ｒ及び距離画像Ｓ１０２Ｌ，Ｓ１
０２Ｒは、画像合成装置２００によって合成され、その
合成画像が画像表示装置３００により、観察者の視線を
変えると、それに追従した立体表示が行われる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータビジョン
（ＣＶ）及びコンピュータグラフィックス（ＣＧ）等の
３次元画像情報技術において、３次元画像を入力し、そ
れを合成し、３次元に画像を表示する等の複数視点３次
元画像入力装置、画像合成装置、及びその画像出力装置
に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。 文献１；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２ 文献２；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０ 従来、３次元画像入力方式には、受動的手法（パッシブ
手法）と能動的手法（アクティブ手法）とがある。能動
的手法とは、３次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー（光波、電波、音波）を
対象に照射する手法のことを指す。これに対して受動的
手法とは、対象に対して通常の照明等は行うにしても、
計測に関して意味のあるエネルギーを利用しない計測の
ことをいう。一般的にいって、能動的手法の方が、受動
的手法のものより計測の信頼性が高くなる。受動的手法
の代表的なものがステレオ画像法であり、それを図２に
示す。

【０００３】図２は、前記文献２に記載された従来の３
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、２次元画像入力装置
である２台のカメラ１，２を所定距離離して配置し、左
右のカメラ１，２で撮られた被写体３の結像位置の差、
即ち位相差を利用し、三角測量法によって被写体３まで
の距離を計る方法である。

【０００４】図３は、図２のステレオ画像法で得られた
信号の濃淡画像と距離画像の２枚の画像の説明図であ
る。濃淡画像は、図２のカメラ１，２で得られるカラー
や白黒の画像である。距離画像は、３次元位置に関する
画像であり、マトリクスデータで一つ一つの画素が対象
物（被写体３）の奥行きに関する情報を持つものであ
る。このような濃淡画像と距離画像とから、偏光フイル
タを用いた両眼融合方式によって立体画像表示を行った
り、レンチキュラ板を用いて立体画像表示を行ったりし
ている。立体画像表示の一例を図４に示す。

【０００５】図４は、前記文献１に記載された従来の３
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板１０
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。１個のレンズ板内にはａ，ｂ，
ｃ，…，ｆの部分に、それぞれａ₁ ，ｂ₁ ，ｃ₁ ，…，
ｆ₁ という多方向から撮像したストライプ状の多眼像１
１を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像１１は左右の眼１２，１３に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記構
成の装置では、３次元画像表示方式として、レンチキュ
ラ板１０を使用した場合、平面画像を立体的に見れるも
のの、観察者の視線を変えたときのものの見え方は、立
体視可能な観察領域として約５ｍ離れて見たときに、左
右方向で５〜１０cm、前後方向に±３０cm程度と狭い。
また、両眼融合方式においては、平面画像の立体的表現
のみで、視線を変えても、画像そのものは変わらないと
いう問題があり、それらを解決することが困難であっ
た。本発明は、前記従来技術が持っていた課題として、
観察視域が狭い、視線を変えても画像が変わらない等の
点について解決した複数視点３次元画像入力装置、画像
合成装置、及びその画像出力装置を提供するものであ
る。

【０００７】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、複数視点３次元画像入力装置におい
て、照射された被写体の画像を入力して第１の濃淡画像
及び第１の距離画像の信号を出力する第１の３次元画像
入力装置と、前記被写体の画像を入力して第２の濃淡画
像及び第２の距離画像の信号を出力する第２の３次元画
像入力装置と、前記第１と第２の３次元画像入力装置を
所定距離Ｌだけ離し、かつ該第１と第２の３次元画像入
力装置の光軸が交差するように配置している。第２の発
明では、第１の発明の複数視点３次元画像入力装置にお
いて、前記各３次元画像入力装置は、複数の２次元画像
入力装置を備え、それらの各光軸間の距離ｄ₀ を前記距
離Ｌよりも小さくして該複数の２次元画像入力装置を配
置している。第３の発明では、画像合成装置において、
設定された撮像条件に基づき、第１の発明の第１，第２
の距離画像及び第１，第２の濃淡画像から、観察者の視
点軌跡に従い、視点角度を変えた画像を合成するように
している。第４の発明では、第３の発明の画像合成装置
において、前記視点角度を、前記第１と第２の３次元画
像入力装置の光軸の交点を中心に設定するようにしてい
る。第５の発明では、画像出力装置において、第３の発
明の画像合成装置で合成された画像情報を外部へ出力す
るようにしている。第６の発明では、画像出力装置にお
いて、第３の発明の画像合成装置によって観察者の視点
角度を変えた画像を合成する際に、その視点角度におけ
る立体画像表示用の信号を作成して画像表示するように
している。

【０００８】

【作用】第１及び第２の発明によれば、以上のように複
数視点３次元画像入力装置を構成したので、第１及び第
２の３次元画像入力装置は、被写体の画像を入力して第
１及び第２の濃淡画像と第１及び第２の距離画像とをそ
れぞれ出力する。第３及び第４の発明によれば、第１及
び第２の３次元画像入力装置から出力された濃淡画像及
び距離画像から、観察者の視点に合わせた画像合成を行
う。第５及び第６の発明によれば、前記画像合成装置の
出力に基づき、観察者の視線を変えると、それに追従し
て合成画像を表示したり、あるいはその合成画像の信号
を外部へ出力する。従って、前記課題を解決できるので
ある。

【０００９】

【実施例】図１は、本発明の実施例を示す複数視点３次
元画像入力装置の構成ブロック図である。この複数視点
３次元画像入力装置は、自然光等を照明光とする照明の
与え方がパッシブ（受動）型の第１及び第２の３次元画
像入力装置を備えている。この第１，第２の３次元画像
入力装置は、例えば第１及び第２の３次元カメラ（以
下、３Ｄカメラという）１００−１，１００−２でそれ
ぞれ構成されている。この第１と第２の３Ｄカメラ１０
０−１，１００−２は、距離Ｌだけ離間し、視線角度
（視角）θ₁ ，θ₂ を形成する光軸（視線）Ｈ１０１，
１０２が交点Ｋで交わるように配置されている。第１の
３Ｄカメラ１００−１は、第１の濃淡画像Ｓ１０１Ｌと
第１の距離画像Ｓ１０２Ｌを出力する機能を有し、さら
に第２の３Ｄカメラ１００−２は、第２の濃淡画像Ｓ１
０１Ｒと第２の距離画像Ｓ１０２Ｒを出力する機能を有
している。第１，第２の３Ｄカメラ１００−１，１００
−２の出力側には、視角を合わせた画像合成装置２００
が接続され、さらにその出力側に、画像出力装置である
画像表示装置３００が接続されている。画像合成装置２
００は、画像表示装置３００を観察する観察者の視角に
合わせて、第１，第２の濃淡画像Ｓ１０１Ｌ，Ｓ１０１
Ｒ、及び第１，第２の距離画像Ｓ１０２Ｌ，Ｓ１０２Ｒ
を合成する装置である。この場合、観察者の位置を変え
ないでも、画像そのものの見える角度も視角としてい
る。画像表示装置３００は、画像合成装置２００からの
信号を表示する装置であり、それには、観察者が見たい
角度を設定する表示視線設定装置４００が接続されてい
る。この表示視線設定装置４００では、観察者がダイア
ル等の制御で設定してもよいし、あるいは人間のいる位
置に自動的に追従して角度設定してもよい。

【００１０】また、画像合成装置２００には、撮像条件
設定記憶装置５００が接続されると共に、その画像合成
装置２００及び表示視線設定装置４００に、視点軌跡設
定装置６００が接続されている。撮像条件設定記憶装置
５００は、カメラ間隔やカメラ視角等のカメラ配置条件
と、焦点距離、倍率、画角といったレンズ等の光学系設
定条件とを、記憶しておく装置である。視点軌跡設定装
置６００は、観察者の視角に合わせた画像合成をする際
の視点軌跡を設定する装置である。

【００１１】図５は、図１中の各３Ｄカメラ１００−
１，１００−２の概略の構成図である。図１中の各３Ｄ
カメラ１００−１，１００−２は、被写体１１０を結像
する左目用のレンズ１１１と右目用のレンズ１１２とを
備え、それらのレンズ１１１，１１２の結像位置には、
左目用の固体撮像素子、例えば電荷結合素子（以下、Ｃ
ＣＤという）１２１と、右目用の固体撮像素子、例えば
ＣＣＤ１２２とが設けられている。左目用のレンズ１１
１の光軸Ｈ１１１と、右目用のレンズ１１２の光軸Ｈ１
１２とは、距離ｄ₀ だけ離れている。左目用のレンズ１
１１の画角（視野）はθ₁₁₁ 、右目用のレンズ１１２の
画角（視野）はθ₁₁₂ である。

【００１２】図６（ａ），（ｂ）は、図５に示すような
２眼カメラからなる３Ｄカメラ１００−１（または１０
０−２）を用いて被写体１１０を撮像したときの左側画
像と右側画像を示す図である。図５のような３Ｄカメラ
１００−１（または１００−２）を用いて被写体１１０
を撮像すると、図６（ｂ）の左側画像と図６（ａ）の右
側画像とが得られる。図５のレンズ１１１の光軸Ｈ１１
１とレンズ１１２の光軸Ｈ１１２とは、ある距離ｄ₀ だ
け離れているので、得られる被写体１１０の画面内の位
置に差が出てくる。

【００１３】例えば、距離が異なる２つの被写体１１０
ａ，１１０ｂを配置して撮像した場合、被写体１１０
ａ，１１０ｂにおいてそれぞれ位相差Δ₁ ＝ｘ₁₂−ｘ₁₁
及び位相差Δ₂ ＝ｘ₂₂−ｘ₂₁が得られる。ここで、ｘ₁₁
は左側画像の第１の被写体１１０ａの画面内水平方向位
置、ｘ₂₁は左側画像の第２の被写体１１０ｂの画面内水
平方向位置である。同様に、Ｘ₁₂，Ｘ₂₂は、右側画像の
第１，第２の被写体１１０ａ，１１０ｂの画面内水平方
向位置である。この場合、Δ₁ ＞Δ₂ の関係があり、位
相差の小さい方が遠方にあることになる。この関係を図
７に示す。図７は、図５の３Ｄカメラ１００−１（また
は１００−２）のレンズ１１１と１１２の距離ｄ₀ を２
０cmとして、各レンズ１１１，１１２の画角θ₁₁₁ ，θ
_{11 2} を７０°で使用したときの距離とビットずれの相関
図ある。図６の左側画像と右側画像の位相差が解れば、
図７の関係から距離が求まることになる。その結果例を
図８に示す。図８は、図５の３Ｄカメラ１００−１（ま
たは１００−２）で得られた濃淡画像と距離画像を示す
図である。この図では、濃淡画像と距離画像という形で
画素毎のマップとして示されている。図９は、図１の３
Ｄカメラ１００−１，１００−２の配置条件の例を示す
図である。

【００１４】第１の３Ｄカメラ１００−１の光軸Ｈ１０
１の視角θ₁ と、第２の３Ｄカメラ１００−２の光軸Ｈ
１０２の視角θ₂ とを、例えばθ₁ ＝θ₂ ＝７０°と
し、該第１と第２の３Ｄカメラ１００−１，１００−２
間の距離Ｌを２ｍとする。この場合、２台の３Ｄカメラ
１００−１，１００−２の光軸Ｈ１０１とＨ１０２は、
その２台の３Ｄカメラ１００−１と１００−２を結んだ
線の中央の点Ｏから、直角方向に約２．７５ｍの距離ｌ
で交わる構成となっている。次に、図１の装置の３次元
画像入力動作（１）、画像合成動作（２）、３次元画像
表示動作（３）、及びその他の動作（４）を説明する。

【００１５】（１） ３次元画像入力動作 本実施例は、図１に示すように、２台の３Ｄカメラ１０
０−１，１００−２を用いてそれらの光軸Ｈ１０１とＨ
１０２が交点Ｋで交わるように配置したことを第１の特
徴としている。以下、図１０〜図１２を参照しつつ、３
次元画像入力動作を説明する。図１０は、図１の３Ｄカ
メラ１００−１，１００−２の撮影方向に対して直角の
方向、つまりカメラ配置を上から見た図である。左側の
３Ｄカメラ１００−１と右側の３Ｄカメラ１００−２と
の間の距離Ｌは、図５に示す３Ｄカメラ単体での光軸間
距離ｄ₀ よりも広く設定されている。左側の３Ｄカメラ
１００−１の光軸Ｈ１０１と右側の３Ｄカメラ１００−
２の光軸Ｈ１０２とは、交点Ｋで交わるようにしてあ
る。左側の３Ｄカメラ１００−１と右側の３Ｄカメラ１
００−２とを結んだ仮想線１０５上に、交点Ｋより垂線
を下ろした点を０とする。仮想線１０５と光軸Ｈ１０１
とのなす角（視角）をθ₁ 、仮想線１０５と光軸Ｈ１０
２とのなす角（視角）をθ₂ とする。説明の簡単化のた
めに、視角θ₁ ＝θ₂ とし、点０は２台の３Ｄカメラ１
００−１と１００−２の中心になっている。左側の３Ｄ
カメラ１００−１の画角ψ₁ と、右側の３Ｄカメラ１０
０−２の画角ψ₂ とは、同一の３Ｄカメラを用いた場合
には同一である。また、被写体１１０は、説明の簡単化
のために、例えば点Ａ，Ｂ，Ｃ，Ｄからなる立方体とし
ている。

【００１６】図１０において、２台の３Ｄカメラ１００
−１，１００−２で被写体１１０を撮影すると、それら
の３Ｄカメラ１００−１，１００−２から、濃淡画像と
距離画像がそれぞれ出力される。図１１（ａ）〜（ｄ）
は、図１０における被写体１１０の見え方を説明する図
である。図１１（ａ），（ｂ）は、各３Ｄカメラ１００
−１，１００−２での２次元画像の例を示す。立方体の
被写体１１０の４点Ａ，Ｂ，Ｃ，Ｄのうち、左側の３Ｄ
カメラ１００−１では図１１（ａ）に示すように点Ａと
Ｂのみが撮像され、右側の３Ｄカメラ１００−２では図
１１（ｂ）に示すように点Ａ，Ｂ，Ｃの３点が撮像され
る。ここで、図１１（ａ）のｘ_1a，ｙ_1aは点Ａの２次元
画像内の座標、ｘ_1b，ｙ_1bは点Ｂの２次元画像内の座標
である。図１１（ｃ），（ｄ）は、各３Ｄカメラ１００
−１，１００−２から見た点Ａ，Ｂ，Ｃ，Ｄからなる被
写体１１０のｘｙ座標、及び距離ｌを示す図である。距
離ｌ_1aは３Ｄカメラ１００−１の点Ａの距離を示し、ｌ
_1b等もそれぞれに対応する距離である。これらの被写体
１１０の点Ａ，Ｂ，Ｃ，Ｄのｘｙ座標及び距離ｌの信号
が、図１の画像合成装置２００へ送られる。

【００１７】（２） 画像合成動作 図１の画像合成装置２００では、２台の３Ｄカメラ１０
０−１，１００−２から出力された第１，第２の濃淡画
像Ｓ１０１Ｌ，Ｓ１０１Ｒと第１，第２の距離画像Ｓ１
０２Ｌ，Ｓ１０２Ｒとから、観測者の視線に合わせた画
像を合成する。これは、例えば図１０の点０から被写体
１１０を見たときの画像として表示しようとするもので
ある。図１２は、従来より知られている簡単な幾何光学
の図である。図１２のｌ₁ はレンズ１１１（または１１
２）から被写体１１０までの被写体距離、ｌ₂ はレンズ
１１１（または１１２）から結像された像１１０ｃまで
の像距離である。焦点距離ｆは、１／ｌ₁ ＋１／ｌ₂ ＝
１／ｆの関係にあり、倍率（縮率）ｍ₀ ＝ｌ₂ ／ｌ₁ で
ある。そして、レンズ１１１（または１１２）から被写
体１１０までの被写体距離ｌ₁ が遠いと、結像された像
１１０ｃは小さくなる。

【００１８】従来のごとく、２次元画像入力装置である
単眼カメラを２台、広い間隔で離間して配置し、該２台
の単眼カメラで撮像した場合、被写体位置により像の大
きさが変わってしまい、それを合成することがほとんど
できなかった。また、２台の単眼カメラを広い間隔で配
置すると、その２台の単眼カメラの被写体をとらえる角
度の差が大きくなってしまい、該被写体の輝度がその角
度差により大きく変わり、その２台の単眼カメラからの
画像の対応点探索が非常に困難であった。これに対し、
本実施例では図１に示すように、各３Ｄカメラ１００−
１，１００−２中の光軸間距離ｄ₀ が例えば２０cmと狭
いので、３ｍ程度の距離にある被写体１１０を見た場合
には、視線のなす角度差が小さいので、該被写体１１０
の輝度の変化も１％以下と小さく抑えられ、２枚の濃淡
画像Ｓ１０１Ｌ，Ｓ１０１Ｒから距離を算出する際の対
応点を探し易くなる。そのため、従来のように２台の単
眼カメラを広い間隔で配置するよりも、距離画像Ｓ１０
２Ｌ，Ｓ１０２Ｒを検出し易い利点がある。これが第２
の特徴である。また、本実施例では、被写体１１０まで
の距離が距離画像Ｓ１０２Ｌ，Ｓ１０Ｒ２Ｒとして得ら
れているので、像の大きさを特定でき、合成が容易に行
える利点がある。これが第３の特徴である。

【００１９】次に、画像合成方法について説明する。図
１３は、点０を視点として被写体１１０を画像合成する
ときの計算例を示す図である。図１３において、ｌ_1aは
被写体１１０の点Ａまでの距離、ｄ_1aは３Ｄカメラ１０
０−１の像中心からの点Ａの結像点Ａ₂ までの距離、θ
₁ は３Ｄカメラ１００−１の視角（設定角）である。３
Ｄカメラ１００−１と１００−２間の仮想線１０５は視
点軌跡である。被写体１１０の点Ａに着目して説明する
と、３Ｄカメラ１００−１が見ている点ＡはＡ₂ と等価
な位置にある。即ち、３Ｄカメラ１００−１の中心０₁
からＡ₂ までの座標に位置している。なお、結像されて
いる像は一般的には縮小されているが、レンズによる縮
小画像が線形であると仮定できる光軸近傍を取り扱うの
で、縮小率に比例するだけの相似形となる。そのため、
説明のしやすさから、図１３のような作図とした。

【００２０】図１３の場合、図１の画像合成装置２００
では、撮像条件設定記憶装置５００に設定された値を用
いて、簡単な三角関数で、点０から見たときの点Ａの投
影点Ａ₁ が得られる。点００₁ 間の距離は予め設定した
値なので、点０₁ から点Ａ₁までの距離Ｘ_2aは次式から
求まる。 ｘ_2a＝ｌ_1a cosθ₁ −ｄ_1a sinθ₁ そして、点０Ａ₁ 間の距離は、次式より求まる。 ０Ａ₁ ＝Ｌ_s −Ｘ_2a 同様に、仮想線１０５からの距離Ｌ_2a（これは視点から
の平行な距離である）も次式より求められる。 Ｌ_2a＝ｌ_1a sinθ₁ −ｄ_1a cosθ₁ 被写体１１０の他の点Ｂ，Ｃ，Ｄも前記と同様に求めら
れ、結果として点０からの座標に変換される。これが第
４の特徴である。

【００２１】（３） ３次元画像表示動作 図１４（ａ）〜（ｃ）は、視点０から見たときの画像表
示方法の説明図である。図１４（ａ）において、被写体
１１０の点Ａの１対１の写像時の点３０１は、奥行きが
距離比（３０２）だけ小さく見え、さらにＹ方向も距離
比（３０３）だけ小さく見えるので、新たな点３０４が
表示点となる。図１４（ｂ）において、３０５は表示
点、大きさの比は tanη₂ ／tan η₁ 、表示係数をｍと
すると、表示位置の差はｍ×（ tanη₂ − tanη₁ ）と
なる。

【００２２】図１の画像合成装置２００の出力信号によ
って画像表示装置３００で表示する場合、図１４に示す
ように、近くのものは大きく、遠くのもは小さく表示さ
れる。その場合、視点から見た像の大きさは、視点から
見た像のなす角の大きさによって決まる。そこで、画像
表示装置３００で表示される被写体１１０の大きさは、
３Ｄカメラ１００−１から見た被写体１１０の点Ａに対
する角度η₁ で決まり、その角度η₁ が距離ｌ_1a及び２
次元画像の座標ｄ_1aから求められるので、容易に求めら
れる。また、点０から見た場合も、距離Ｌ_2a及び２次元
画像の座標Ａ₁が得られるので、容易に角度η₂ が求ま
る。この角度η₂ により画像表示装置３００で表示する
結果、表示された点Ａの位置は見える被写体１１０の大
きさに応じてずれ、点０から見た大きさの表示がされ
る。これが第５の特徴である。

【００２３】２次元画像のｘ方向の画像表示について説
明したが、ｙ方向も同様に求まる。また、３Ｄカメラ１
００−２から見た場合も同様に求められる。以上のよう
に、図１の撮像条件設定記憶装置５００の情報と、３Ｄ
カメラ１００−１，１００−２から出力される濃淡画像
Ｓ１０１Ｌ，Ｓ１０１Ｒ、及び距離画像Ｓ１０２Ｌ，Ｓ
１０２Ｒとから、画像合成装置２００で簡単に画像合成
でき、それを画像表示装置３００で立体的に表示でき
る。

【００２４】（４） その他の動作 被写体１１０が複数存在する場合には、同じ角度η₂ で
複数点存在する場合があるが、そのときには、観察者の
視線から見た法線方向（例えば、角度η₂ 方向）の距離
の短い方の点を取れば重複しない。これが第６の特徴で
ある。また、観察者の視線によっては、３Ｄカメラ１０
０−１，１００−２の遠距離の情報が表示画角内に入ら
ない場合があるが、そのような場合は考えなくてもよ
い。

【００２５】図１５は、本発明の実施例の他の画像合成
の計算例を示す図である。即ち、この図１５は、視線軌
跡を２台の３Ｄカメラ１００−１，１００−２を結んだ
線上としたときの、任意の視線方向への画像合成の計算
例を示す、任意方向から見たときの投影図である。２台
の３Ｄカメラ１００−１，１００−２を任意の位置ＣＭ
１，ＣＭ２に設置した場合、各３Ｄカメラ１００−１，
１００−２の光軸Ｈ１０１とＨ１０２の交点Ｋから、直
線ＣＭ１・ＣＭ２間上に垂線を引いたとき、その交点を
ＣＴとする。交点Ｋにおける光軸Ｈ１０１とＨ１０２の
なす角度をδとすると、直接ＣＭ１・ＣＭ２間上の点Ｃ
Ｔ，ｃは角度δにより決まる。 Ｐ₁ ＝ＣＭ１・ｃ、Ｐ₂ ＝ｂ・ｃ、Ｐ₃ ＝ａ・ｂ、Ｐ₄
＝ＣＭ１・ｂ、 Ｐ₅ ＝ＣＭ１・ａ、Ｐ₆ ＝Ａ₂ ・ＣＭ１、 Ｐ₇
＝Ａ₂ ・Ａ₃ 、 Ｐ₈ ＝Ａ₃ ・ａ、 Ｐ₉ ＝Ａ₃ ・ｂ₁ 、 Ｌ_1a
＝Ａ・Ａ₁ 、 Ｌ_2a＝Ａ・Ａ₃ 、 ｌ_1a＝Ａ・Ａ₂ の場合、Ｐ₆ ，ｌ_1aを測定値とすると、角度δ₁ 時の投
影面において、求める角度δ₁ 時の中心からの位置Ｐ₉
と、求める角度δ₁ 時の被写体１１０までの距離Ｌ_1aと
は、次の三角関数式より求めることができる。 Ｐ₄ ＝Ｐ₁ ・cos （π−θ₁ −δ₁ ） Ｐ₂ ＝Ｐ₁ ・sin （π−θ₁ −δ₁ ） Ｐ₃ ＝Ｐ₄ ・tan δ₁ Ｐ₇ ＝ｌ_1a・tan δ₁ Ｐ₅ ＝Ｐ₄ ／cos δ₁ Ｐ₈ ＝Ｐ₆ ＋Ｐ₅ −Ｐ₇ Ｐ₉ ＝（Ｐ₈ ／Ｐ₅ ）・Ｐ₄ Ｌ_1a＝ｌ_1a／ cosδ₁ −Ｐ₂ −（Ｐ₈ ／Ｐ₅ ）・Ｐ₃ 図１６は、視線軌跡を２台の３Ｄカメラ１００−１，１
００−２の光軸交点Ｋを中心とした円周上としたとき
の、任意の視線方向への画像合成の計算例を示す図であ
る。観察点を、２台の３Ｄカメラ１００−１と１００−
２を結んだ直線上ではなく、それらの光軸Ｈ１０１とＨ
１０２の交点Ｋを中心として、３Ｄカメラ１００−１の
中心及び３Ｄカメラ１００−２の中心を通る円周上を観
察点（視点）とした場合、図１６において、γ＝Ｋ・Ｃ
Ｍ１、γ₁ ＝Ｋ・Ｂ₁ 、ＰＰ１＝ＣＴ０・Ｂ₁ であるか
ら、三角関数式 γ₁ ＝ＰＰ１／ sin（π−θ₁ −δ₁ ） ｄ＝γ−γ₁ より、距離＝Ｌ_1a＋ｄと、位置（＝直線時と同じ）を求
めることができる。このように、円周上で観察点を動か
したときには、表示される画像の大きさの変化が小さい
ので、視覚的な異和感が小さい利点を有する。以上のよ
うに、視点をどうとるかは、図１の視点軌跡設定装置６
００に予め何種類か視点軌跡を設定しておけば、観察者
の好きな軌跡にそって変更が可能である。これが第７の
特徴である。また、被写体１１０の形状によっては、死
角があり得るが、その場合には３Ｄカメラ１００−１と
１００−２の間に、第３あるいは第ｎの３Ｄカメラを設
置することにより、死角の問題を解決できる。

【００２６】以上説明した実施例の利点をまとめれば、
次のようになる。 （ｉ） 濃淡画像Ｓ１０１Ｌ，Ｓ１０１Ｒと距離画像Ｓ
１０２Ｌ，Ｓ１０２Ｒを出力可能な３Ｄカメラ１００−
１，１００−２を少なくとも２台、それらの光軸Ｈ１０
１，Ｈ１０２が交わるように配置したので、該３Ｄカメ
ラ１００−１から３Ｄカメラ１００−２までの範囲を、
表示視線設定装置４００を制御することにより、観察者
の視点とした画像を得ることができ、立体像を視点を変
えて見ることができるようになる。 （ii） ３Ｄカメラ１００−１，１００−２の光軸Ｈ１
０１，１０２の交点Ｋから角度を取るので、異和感のな
い画像表示が行える。これが第８の特徴である。 (iii） ある視点を固定した場合、濃淡画像Ｓ１０１
Ｌ，Ｓ１０１Ｒと距離画像Ｓ１０２Ｌ，Ｓ１０２Ｒを持
っているので、レンチキュラ板を使用した３次元画像表
示装置、あるいは両眼融合方式の３次元画像表示装置等
での表示も可能で、より立体的な表示が行える。

【００２７】なお、本発明は上記実施例に限定されず、
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。 （ａ） 上記実施例の装置を何組か用意し、被写体１１
０の後部に配置する等すれば、視野３６０°に亘った撮
像も可能である。また、上記実施例の装置を一組、被写
体１１０の後面に亘って回転して撮像する構成にして
も、視野３６０°に亘った撮像が可能となる。 （ｂ） 図１の３Ｄカメラ１００−１，１００−２は、
図５以外の構成に変更してもよい。

【００２８】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、濃淡画像と距離画像を出力する３次元画像入
力装置を少なくとも２台、所定距離Ｌだけ離し、かつ該
第１と第２の３次元画像入力装置の光軸が交差するよう
に配置したので、それらの濃淡画像と距離画像から、視
点を変えて見たときの画像として合成することが容易に
なる。第２の発明によれば、第１の発明の各３次元画像
入力装置は、複数の２次元画像入力装置を備え、それら
の各光軸間の距離ｄ₀ を３次元画像入力装置間の距離Ｌ
よりも小さくして該複数の２次元画像入力装置を配置し
たので、各３次元画像入力装置から出力される濃淡画像
と距離画像から、各３次元画像入力装置間の広い間隔
（Ｌ）で配置した範囲内を、視点を変えて見たときの画
像として容易に合成できるようになる。第３の発明によ
れば、第１の発明の第１，第２の距離画像及び第１，第
２の濃淡画像から、観測者の視点軌跡に従い、視点角度
を変えた画像を合成する構成にしたので、広い間隔で配
置した第１と第２の３次元画像入力装置間の範囲内を、
視点を変えて見たときの画像として的確に合成できる。
従って、その合成結果に基づき、被写体を観測者の制御
で好きな角度から見ることができるようになる。第４の
発明によれば、第３の発明の視点角度は、第１と第２の
３次元画像入力装置の光軸の交点を中心に設定する構成
したので、画像合成結果を表示すれば、観察者が動いて
も、表示される画像の大きさの変化が小さいので、視覚
的な異和感が小さくなる。第５及び第６の発明によれ
ば、画像合成装置で合成された画像情報を外部へ出力し
たり、あるいは画像表示装置で表示するようにしたの
で、距離画像によってより立体的な表示が可能となる。
さらに、第１と第２の３次元画像入力装置の濃淡画像と
距離画像を、例えば記憶しておくだけ、あるいは送信す
るだけで、観察者か見たい角度の表示が行え、観察者の
あらゆる角度の情報を蓄えることに比較し、記憶容量を
小さくできる効果や、短時間で回線を通して情報伝送が
行える等の効果がある。また、例えば表示装置に対面し
ている観察者の位置を、超音波センサや光センサ等を用
いて測定し、該表示装置からの観察者の相対位置を計る
ことで、観察者の移動に伴う視角の変化を自動追従させ
ることができる。

【００２９】以上のような効果を有しているので、３次
元画像入力装置を空間的に動かさずに種々の視点から見
た画像を表示でき、さらに、その画像を記憶する記憶装
置の容量を小さくできると共に、さらに情報伝送量が少
なくてすむ等のユーザフレンドリーな画像入力装置、画
像合成装置、及び画像出力装置を実現できる。また、画
像出力装置を画像表示装置で構成した場合、該画像表示
装置を個人個人が持って画像表示を見る場合、同じ画像
情報から個人の好みに合わせた視線を選択でき、テレビ
ジョン会議等における個人個人の臨場感が持てる撮像表
示システムも作り上げることが可能となる。

【図面の簡単な説明】

【図１】本発明の実施例を示す複数視点３次元画像入力
装置の構成ブロック図である。

【図２】従来の３次元画像入力方式の一つであるステレ
オ画像法の構成図である。

【図３】従来の濃淡画像と距離画像の説明図である。

【図４】従来の３次元画像表示方式の一つである多眼式
レンチキュラ方式の原理説明図である。

【図５】図１中の３Ｄカメラの構成図である。

【図６】図５の３Ｄカメラでの左側画像と右側画像の説
明図である。

【図７】図５の３Ｄカメラの距離とビットずれの相関図
である。

【図８】図５の３Ｄカメラで得られる濃淡画像と距離画
像の説明図である。

【図９】図１の３Ｄカメラの配置例を示す図である。

【図１０】図１の３Ｄカメラの配置を上から見た図であ
る。

【図１１】図１０における被写体の見え方の説明図であ
る。

【図１２】公知の簡単な幾何光学の図である。

【図１３】本実施例における視点を点０としたときの画
像合成の計算例を示す図である。

【図１４】本実施例の視点０から見たときの画像表示方
法の説明図である。

【図１５】本実施例の他の画像合成の計算例を示す図で
ある。

【図１６】本実施例の他の画像合成の計算例を示す図で
ある。

【符号の説明】

１００−１，１００−２ ３次元カメラ（３Ｄ
カメラ） １１１，１１２ レンズ １２１，１２２ ＣＣＤ ２００ 画像合成装置 ３００ 画像表示装置 ４００ 表示視線設定装置 ５００ 撮像条件設定記憶装
置 ６００ 視点軌跡設定装置 Ｓ１０１Ｌ，Ｓ１０１Ｒ 濃淡画像 Ｓ１０２Ｌ，Ｓ１０２Ｒ 距離画像

Claims (6)

【特許請求の範囲】
1. 【請求項１】 照射された被写体の画像を入力して第１
   の濃淡画像及び第１の距離画像の信号を出力する第１の
   ３次元画像入力装置と、 前記被写体の画像を入力して第２の濃淡画像及び第２の
   距離画像の信号を出力する第２の３次元画像入力装置
   と、 前記第１と第２の３次元画像入力装置を所定距離Ｌだけ
   離し、かつ該第１と第２の３次元画像入力装置の光軸が
   交差するように配置したことを特徴とする複数視点３次
   元画像入力装置。
2. 【請求項２】 請求項１記載の複数視点３次元画像入力
   装置において、 前記各３次元画像入力装置は、複数の２次元画像入力装
   置を備え、それらの各光軸間の距離ｄ₀ を前記距離Ｌよ
   りも小さくして該複数の２次元画像入力装置を配置した
   ことを特徴とする複数視点３次元画像入力装置。
3. 【請求項３】 設定された撮像条件に基づき、請求項１
   の第１，第２の距離画像及び第１，第２の濃淡画像か
   ら、観察者の視点軌跡に従い、視点角度を変えた画像を
   合成する構成にしたことを特徴とする画像合成装置。
4. 【請求項４】 請求項３記載の画像合成装置において、 前記視点角度は、前記第１と第２の３次元画像入力装置
   の光軸の交点を中心に設定する構成にしたことを特徴と
   する画像合成装置。
5. 【請求項５】 請求項３の画像合成装置で合成された画
   像情報を外部へ出力する画像出力装置。
6. 【請求項６】 請求項３の画像合成装置によって観察者
   の視点角度を変えた画像を合成する際に、その視点角度
   における立体画像表示用の信号を作成して画像表示する
   ことを特徴とする画像出力装置。