JPH06105340A

JPH06105340A - 複数視点３次元画像入力装置

Info

Publication number: JPH06105340A
Application number: JP4246818A
Authority: JP
Inventors: Mitsuo Oshima; 光雄大島
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1992-09-16
Filing date: 1992-09-16
Publication date: 1994-04-15

Abstract

(57)【要約】【目的】情報量が少なく、高分解能で、距離精度のよ
い複数視点３次元画像入力装置を提供する。【構成】少なくとも２台以上の３Ｄカメラ３０−１〜
３０−ｎを備え、それらによって被写体の画像を入力
し、濃淡画像Ｓ３０−１ａ〜Ｓ３０−ｎａと距離画像Ｓ
３０−１ｂ〜Ｓ３０−ｎｂをそれぞれ出力する。被写体
表現最大画素数選択装置３２では、被写体を表現する画
素数が最大画素数で表現される３Ｄカメラの濃淡画像を
選択する。この選択された濃淡画像を用いて画像合成装
置３３で画像合成し、表示装置３４で表示すれば、高い
分解能の画像再成が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータビジヨン
（ＣＶ）及びコンピュータグラフィックス（ＣＧ）等の
３次元画像情報技術において、３次元画像を入力してそ
れを合成した後に表示する等の複数視点３次元画像入力
装置、特に高分解能で距離精度を向上し、画像合成時間
を短縮すると共に、信号量の削減可能な複数視点３次元
画像入力装置に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。文献；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２文献；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０従来、３次元画像入力方式には、受動的手法（パッシブ
手法）と能動的手法（アクティブ手法）とがある。能動
的手法とは、３次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー（光波、電波、音波）を
対象に照射する手法のことを指す。これに対して受動的
手法とは、対象に対して通常の照明等は行うにしても、
計測に関して意味のあるエネルギーを利用しない計測の
ことをいう。一般的にいって、能動的手法の方が、受動
的手法のものより計測の信頼性が高くなる。受動的手法
の代表的なものがステレオ画像法であり、それを図２に
示す。

【０００３】図２は、前記文献２に記載された従来の３
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、２次元画像入力装置
である２台のカメラ１，２を所定距離離間して配置し、
左右のカメラ１，２で撮られた被写体３の結像位置の
差、即ち位相差を利用し、三角測量法によって被写体３
までの距離を計る方法である。

【０００４】図３は、図２のステレオ画像法で得られた
信号の濃淡画像と距離画像の２枚の画像の説明図であ
る。濃淡画像は、図２のカメラ１，２で得られるカラー
や白黒の画像である。距離画像は、３次元位置に関する
画像であり、マトリクスデータで一つ一つの画素が対象
物（被写体３）の奥行きに関する情報を持つものであ
る。このような濃淡画像と距離画像とから、偏光フイル
タを用いた両眼融合方式によって立体画像表示を行った
り、レンチキュラ板を用いて立体画像表示を行ったりし
ている。立体画像表示の一例を図４に示す。

【０００５】図４は、前記文献１に記載された従来の３
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板１０
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。１個のレンズ板内にはａ，ｂ，
ｃ，…，ｆの部分に、それぞれａ₁，ｂ₁，ｃ₁，…，
ｆ₁という多方向から撮像したストライプ状の多眼像１
１を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像１１は左右の眼１２，１３に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記構
成の装置では、次のような課題があった。（１）３次元画像表示方式として、レンチキュラ板１
０を使用した場合、平面画像を立体的に見れるものの、
観察者の視線を変えたときのものの見え方は、立体視可
能な観察領域として約５ｍ離れて見たときに、左右方向
で５〜１０cm、前後方向に±３０cm程度と狭い。また、
両眼融合方式においては、平面画像の立体的表現のみ
で、視線を変えても、画像そのものは変わらないという
問題があった。

【０００７】（２）そこで、本願発明者は、前記の観
察視野が狭いとか、視線を変えても画像が変わらない等
の問題を除去するため、先に特願平４−１９２２７２号
明細書（以下、先の提案という）において複数視点３次
元画像入力装置に関する提案を行った。図５は、先の提
案の複数視点３次元画像入力装置を含む画像処理装置の
概略の構成ブロック図である。この複数視点３次元画像
入力装置は、自然光等を照明光とする照明の与え方がパ
ッシブ（受動）型の複数台、（例えば、少なくとも２
台）の３次元画像入力装置を備えている。この少なくと
も２台の３次元画像入力装置は、３次元カメラ（以下、
３Ｄカメラという）２０−１，２０−ｎでそれぞれ構成
されている。２台の３Ｄカメラ２０−１と２０−ｎは、
所定距離だけ離間し、それらの光軸（視線）Ｈ２０−１
とＨ２０−ｎが交点Ｋで交わるように配置されている。
各３Ｄカメラ２０−１，２０−ｎは、濃淡画像Ｓ２０−
１ａ，Ｓ２０−ｎａと距離画像Ｓ２０−１ｂ，Ｓ２０−
ｎｂをそれぞれ出力する機能を有している。これらの３
Ｄカメラ２０−１，２０−ｎの出力側には、視線角度
（視角）を合わせた画像合成装置２１が接続され、さら
にその出力側に画像表示装置２２が接続されている。画
像合成装置２１は、画像表示装置２２を観察する観察者
の視線イ，ロ，ハに合わせて、濃淡画像Ｓ２０−１ａ，
Ｓ２０−ｎａ、及び距離画像Ｓ２０−１ｂ，Ｓ２０−ｎ
ｂを合成する装置である。画像表示装置２２は、画像合
成装置２１からの信号を表示する装置であり、それに
は、観察者が見たい角度を設定する表示視線設定装置２
３が接続されている。また、画像合成装置２１には、撮
像条件設定記憶装置２４が接続されている。この撮像条
件設定記憶装置２４は、カメラ間隔やカメラ視角等のカ
メラ配置条件と、焦点距離、倍率、画角といったレンズ
等の光学系設定条件とを、記憶しておく装置である。

【０００８】この種の複数視点３次元画像入力装置で
は、各３Ｄカメラ２０−１，２０−ｎにより、図示しな
い被写体の画像を入力して濃淡画像Ｓ２０−１ａ，Ｓ２
０−ｎａ及び距離画像Ｓ２０−１ｂ，Ｓ２０−ｎｂを出
力する。画像合成装置２１では、濃淡画像Ｓ２０−１
ａ，Ｓ２０−ｎａと距離画像Ｓ２０−１ｂ，Ｓ２０−ｎ
ｂとから、表示用画像を合成し、それを画像表示装置２
２で表示するようにしている。このような装置では、観
察者が視線イ，ロ，ハを変えると、それに追従して画像
の表示が行われ、表示視線設定装置２３によって観察者
が任意に見たい視線を選択するか、あるいは視線を自動
的に検知すると、その視線に合わせた画像が表示され、
ユーザフレンドリーな装置になっている。

【０００９】（３）ところが、図５の装置では、各３
Ｄカメラ２０−１，２０−ｎ毎に濃淡画像Ｓ２０−１
ａ，Ｓ２０−ｎａと距離画像Ｓ２０−１ｂ，Ｓ２０−ｎ
ｂとを持つので、その３Ｄカメラ２０−１，２０−ｎの
台数が多くなると、それに伴なって情報量が多くなり、
記憶装置の記憶容量が大きくなるばかりか、情報を伝送
する場合にも時間がかかる。さらに、画像合成装置２１
で画像合成を行う場合にも、全ての画像の画素に対して
距離計算等の対応点決定処理等を行うので、計算時間が
多量にかかるという問題がある。また、各３Ｄカメラ２
０−１，２０−ｎの信号では、同一被写体を表現する信
号が重複していることが多く、どのカメラ信号を使うか
によっては濃淡画像Ｓ２０−１ａ，Ｓ２０−ｎａの分解
能に差が生じてしまったり、距離においても距離精度が
悪かったりする問題が生じ、未だ技術的に充分満足のい
く複数視点３次元画像入力装置を得ることが困難であっ
た。本発明は、前記従来技術が持っていた課題として、
記憶装置の記憶容量が大きくなる、情報伝送時間が長く
なる、画像合成する際に対応点決定処理に要する時間が
長くなる、濃淡画像の分解能に差が生じる、及び距離精
度が悪い等の点について解決した複数視点３次元画像入
力装置を提供するものである。

【００１０】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、照射された被写体の画像を入力して
その被写体を表現する濃淡画像及び距離画像の信号をそ
れぞれ出力する３次元画像入力装置を２台以上備え、前
記各３次元画像入力装置を所定距離離間しかつそれらの
光軸が交差するように配置した複数視点３次元画像入力
装置において、被写体表現最大画素数選択装置を設けて
いる。この被写体表現最大画素数選択装置は、前記複数
台の３次元画像入力装置の中で、前記被写体を表現する
画素数が最大画素数で表現される３次元画像入力装置の
濃淡画像を選択して出力する機能を有している。

【００１１】第２の発明では、第１の発明において、前
記被写体を表現する画素数が最大画素数で表現される３
次元画像入力装置以外の３次元画像入力装置の表現画素
に対応する部分の画素信号を除去しあるいは不要な信号
に置き換える廃棄情報置換装置を設けている。第３の発
明では、第２の発明において、前記被写体を表現する画
素数が最大画素数で表現される３次元画像入力装置の濃
淡画像に対応した距離画像を、該画像に対し最短距離に
ある３次元画像入力装置の該画像に対応した距離画像の
距離値を用いて演算し、その演算値で置換する距離精度
変換書換え装置を設けている。

【００１２】

【作用】第１の発明によれば、以上のように複数視点３
次元画像入力装置を構成したので、被写体表現最大画素
数選択装置は、複数台の３次元画像入力装置の濃淡画像
の中で、対応する面を表現する画像のうち、最大画素数
で表現される面を持つ３次元画像入力装置の信号を選択
し、濃淡画像の分解能の差を解消する働きがある。

【００１３】第２の発明によれば、廃棄情報置換装置
は、第１の発明において最大画素数で表現される面を持
たない他の３次元画像入力装置のその面に対応した画素
部分を除去し、あるいは不要な信号に置き換えること
で、記憶容量の増大、情報伝送時間の長大、及び画像合
成処理時間の長大の問題を解消する。

【００１４】第３の発明によれば、距離精度変換書換え
装置は、第１及び第２の発明において、最大画素数の面
を持つ３次元画像入力装置の画素に対応した同じ３次元
画像入力装置の距離画像の画素の距離値を、複数の３次
元画像入力装置の距離画像の中で、その面を表現する距
離値の中の最短距離画像で換算し、置き換えることで、
距離精度の向上を図る。これにより、情報量が少なく、
高分解能で、距離精度の良い複数視点３次元画像入力装
置が得られる。従って、前記課題を解決できるのであ
る。

【００１５】

【実施例】第１の実施例図１は、本発明の第１の実施例を示す複数視点３次元画
像入力装置を備えた画像処理装置の構成ブロック図であ
る。この装置は、自然光等を照明光とする照明の与え方
がパッシブ型の複数台の３次元画像入力装置を備えてい
る。複数台の３次元画像入力装置は、それぞれ３Ｄカメ
ラ３０−１〜３０−ｎで構成されている。各３Ｄカメラ
３０−１〜３０−ｎは、レンズ及び電荷結合素子（以
下、ＣＣＤという）等の固体撮像素子等で構成され、濃
淡画像Ｓ３０−１ａ〜Ｓ３０−ｎａと距離画像Ｓ３０−
１ｂ〜Ｓ３０−ｎｂとをそれぞれ出力する機能を有して
いる。各３Ｄカメラ３０−１〜３０−ｎは、所定距離離
間し、それらの各視線Ｈ３０−１〜Ｈ３０−ｎがある交
点Ｋで交わるように配置されている。各３Ｄカメラ３０
−１〜３０−ｎから出力される濃淡画像Ｓ３０−１ａ〜
Ｓ３０−ｎａと距離画像Ｓ３０−１ｂ〜Ｓ３０−ｎｂと
は、ＬＳＩメモリ等に記憶されるようになっている。

【００１６】また、図１の装置には、各３Ｄカメラ３０
−１〜３０−ｎの視線Ｈ３０−１〜Ｈ３０−ｎ、及び３
Ｄカメラ配置間隔等の撮像条件を設定するための情報を
記憶する撮像条件設定記憶装置３１が設けられている。
３Ｄカメラ３０−１〜３０−ｎの出力側には、被写体表
現最大画素数選択装置３２が接続され、その出力側に視
角を合わせた画像合成装置３３が接続され、さらにそれ
らの装置３２，３３に撮像条件設定記憶装置３１が接続
されている。画像合成装置３３には、表示装置３４及び
表示視線設定装置３５が接続されている。

【００１７】被写体表現最大画素数選択装置３２は、各
３Ｄカメラ３０−１〜３０−ｎの濃淡画像Ｓ３０−１ａ
〜Ｓ３０−ｎａと距離画像Ｓ３０−１ｂ〜Ｓ３０−ｎｂ
とを入力し、それらの各３Ｄカメラ３０−１〜３０−ｎ
の濃淡画像Ｓ３０−１ａ〜Ｓ３０−ｎａのうち、被写体
を表現し得る画素数が最大になる３Ｄカメラの番号の濃
淡画像を選択して記憶しておく機能を有している。視角
に合わせた画像合成装置３３は、被写体表現最大画素数
選択装置３２の出力を入力し、表示装置３４側の表示視
線設定装置３５の設定値に応じて、視角に合わせた画像
を合成し、それを記憶しておく装置である。表示装置３
４は、視角に合わせた画像合成装置３３の出力を表示す
る装置であり、ブラウン管（ＣＲＴ）等で構成されてい
る。表示視線設定装置３５は、表示装置３４を観察する
観察者が、どの角度方向から見たいかの観察者の視線
イ，ロ，ハ，…を観察者の指示によってその値を記憶し
ておく装置である。

【００１８】次に、図６〜図１０を参照しつつ、図１の
装置の動作を説明する。図６は、図１において例えば２
台の３Ｄカメラ３０−１，３０−２を所定間隔離間して
配置し、観察者の視線方向を２台の３Ｄカメラ３０−
１，３０−２の配置の中心Ｏから被写体４０を見る視線
方向への該３Ｄカメラ３０−１，３０−２の画像からの
変換方法の一例を示す図である。図６において、説明の
簡単化のために例えば被写体４０を点Ａ，Ｂ，Ｃ，Ｄで
表現される立方体と仮定する。３Ｄカメラ３０−１，３
０−２の光軸Ｈ３０−１，Ｈ３０−２は交点Ｋで交わ
る。θ₁は３Ｄカメラ３０−１の設定角、（即ち、３Ｄ
カメラ３０−１の光軸Ｈ３０−１の視角）、θ₂は３Ｄ
カメラ３０−２の光軸Ｈ３０−２の視角である。３６は
３Ｄカメラ３０−１と３０−２を結ぶ視点軌跡である。
３Ｄカメラ３０−１の中心点Ｏ₁から被写体４０の点Ａ
までの距離をｌ_1aとし、該３Ｄカメラ３０−１の像中心
からの被写体４０の点Ａの結像点Ａ₂までの距離をｄ_1a
とすると、３Ｄカメラ３０−１の中心点Ｏ₁から点Ａ₁
までの距離Ｘ_1a1と、被写体４０の点Ａから点Ａ₁まで
の距離Ｌ_1a1と、中心点Ｏから点Ａ₁までの距離ＯＡ₁
は、次式で表わされる。

【００１９】Ｘ_1a1＝ｌ_1aｃｏｓθ₁−ｄ_1aｓｉｎθ₁ Ｌ_1a1＝ｌ_1aｓｉｎθ₁＋ｄ_1aｃｏｓθ₁ ＯＡ₁＝Ｌ_s−Ｘ_1a1 図６において、例えば被写体４０の点Ｂは、３Ｄカメラ
３０−１では該３Ｄカメラ３０−１の中心点Ｏ₁から距
離ＯＢ₂の位置に結像されている。この３Ｄカメラ３０
−１の画像を用いて、２台の３Ｄカメラ３０−１，３０
−２の配置の中心点Ｏから被写体４０を見た場合の画像
に変換するには、簡単な三角関数を用いて点Ｂの投影点
Ｂ₁が得られる。観察視線の中心点Ｏからは距離Ｂ₁Ｏ
の位置に投影される。同様に、被写体４０の点Ａ，Ｂを
結ぶ線分ＡＢも、中心点Ｏから見た画像に変換される。
また、３Ｄカメラ３０−２から被写体４０を見た画像
も、中心点Ｏから見た画像に変換される。例えば、被写
体４０の点Ｂは点Ｂ₂に投影される。

【００２０】２台の３Ｄカメラ３０−１，３０−２の配
置関係等は図１の撮像条件設定記憶装置３１に記憶され
ているので、前記の計算は簡単な三角関数の計算で容易
に行える。この場合、中心点Ｏから見た被写体４０の点
Ｂ₂，Ｂまでの距離Ｂ₂Ｂがほぼ等しいときに、３Ｄカ
メラ３０−１と３０−２は同じ被写体４０を見ていると
判断できるので、それらの２台の３Ｄカメラ３０−１，
３０−２で見た被写体４０の画像を容易に特定できる。
なお、距離も量子化された値で表現されているので、３
Ｄカメラ３０−１による距離Ｂ₁Ｂと３Ｄカメラ３０−
２による距離Ｂ₂Ｂの値は、一般的には完全に一致する
わけではないので、ある距離だけプラス、マイナスした
距離に応じた測定精度内（例えば、１画素ずれ分による
距離変化値）等を使って判断する。

【００２１】以上のように、少なくとも２台の３Ｄカメ
ラ３０−１，３０−２を配置して被写体４０を撮像する
と、観察者の希望する視線への画像合成が行えるが、前
述したように３Ｄカメラ３０−１と３０−２から点Ｂが
点Ｂ₁及び点Ｂ₂へ投影され、２つの投影点Ｂ₁，Ｂ₂
が出てくる。この場合、いずれの信号を使用するかによ
り、濃淡画像の分解能に差が生じるおそれがある。そこ
で、本実施例では次のように解決している。

【００２２】図７は、図１の装置において３台の３Ｄカ
メラ３０−１，３０−２，３０−３を用いて被写体４０
を見たときの該被写体４０の見え方を説明する図であ
る。図７において、左に３Ｄカメラ３０−１を、右に３
Ｄカメラ３０−２を、それらの中心に３Ｄカメラ３０−
３を配置し、該３Ｄカメラ３０−１，３０−２，３０−
３の中心点をＯ₁，Ｏ₂，Ｏ₃で表わす。左に配置され
た３Ｄカメラ３０−１からは、被写体４０における点
Ａ，Ｂの線分ＡＢが見えている。右に配置された３Ｄカ
メラ３０−２からは、被写体４０の点Ａ，Ｂ，Ｃにおけ
る線分ＡＢと線分ＢＣが見えている。中心に配置された
３Ｄカメラ３０−３からも、線分ＡＢと線分ＢＣが見え
ている。

【００２３】各３Ｄカメラ３０−１，３０−２，３０−
３を例えば固体撮像素子で構成し、その固体撮像素子で
被写体４０を撮像した場合、３Ｄカメラ３０−１の最大
画角ψ₀が固体撮像素子の最大有効画素数に対応してい
る。この場合、今撮像されている被写体４０がどの程度
の画素数に対応するかは、点ｗ₀と点ｗ₀₁の線分ｗ₀ｗ
₀₁の比として求めることができる。即ち、３Ｄカメラ３
０−１の中心点Ｏ₁から一定距離、例えばｌ₀をとり、
該３Ｄカメラ３０−１の画角ψ₀で挾まれる、３Ｄカメ
ラ３０−１の見る方向の中心線Ｏ₁Ｏ₁₁に直角な線分ｗ
₀ｗ₀₁が、最大画素数となる。そこで、図７の場合に
は、線分Ｏ₁Ａ及び線分Ｏ₁Ｂより、画角ψ₁₁及び画角
ψ₁₂で挟まれる線分ｗ₁ｗ₁₁の長さから、線分ｗ₀ｗ₀₁
の比として被写体４０の大きさを求めることができる。
他の３Ｄカメラ３０−２，３０−３も、前記と同様にし
て被写体４０の大きさを求めることができる。被写体４
０の特定は、前述したように、該被写体４０のある面へ
投影したときのその面からの距離がほぼ等しくなる各３
Ｄカメラ３０−１，３０−２，３０−３の距離画像Ｓ３
０−１ｂ，Ｓ３０−２ｂ，Ｓ３０−３ｂに対応した濃淡
画像部分が同じ被写体４０を表現していることがわか
る。

【００２４】図８は、前述の対応により、同じ被写体４
０と特定された部分の各３Ｄカメラ３０−１，３０−
２，３０−３の距離画像Ｓ３０−１ｂ，Ｓ３０−２ｂ，
Ｓ３０−３ｂの距離値の例を示す図である。この距離画
像Ｓ３０−１ｂ，Ｓ３０−２ｂ，Ｓ３０−３ｂから、距
離の変化分を画素Ｎｏ．方向に示した例が図９である。
図８及び図９に示すように、被写体４０が平面であれ
ば、距離の変化割合は一定値を示すので、距離変化画像
を作成してその変化割合を見れば、平面部分の特定がで
きる。平面部分が特定されると、その平面をいくつの画
素で空間サンプリングしているかで再成画像の分解能が
決まり、多くの画素でサンプリングしている方が高い分
解能が得られる。そこで、この例の場合には、被写体３
５の点Ａ，Ｂからなる平面ＡＢを表現する画素数が、３
Ｄカメラ３０−１では（ｂ₁−ａ₁）、３Ｄカメラ３０
−２では（ｂ₂−ａ₂）、３Ｄカメラ３０−３では（ｂ
₃−ａ₃）である。例えば、（ｂ₃−ａ₃）＞（ｂ₁−
ａ₁）＞（ｂ₂−ａ₂）であれば、平面ＡＢを表現する
濃淡画像は、３Ｄカメラ３０−３の信号を用いれば最も
高い分解能が得られる。そのため、平面ＡＢを観察者の
視線方向へ投影する場合には、３Ｄカメラ３０−３の信
号を使用し、全ての視線方向へ投影させる。

【００２５】図１０は、被写体表現最大画素数ｍからあ
る視線時（この場合、ｎ個の画素数に相当するとする）
への画素密度変換（濃淡画像変換）の一例を示す図であ
る。次式（１）は、被写体表現最大画素数から所望画素
数への演算式の例、つまりｍ／ｎ＜２以下の場合の変換
の一般式である。

【００２６】

【数１】例えば、ｎ＝６、ｍ＝１１としたときの被写体表現最大
画素数の１画素毎への変換係数は表１のようになる。

【００２７】

【表１】この表１において、ｉ＝１₁，２₁，…，６₁は所望表
現画素数側、ｊ＝１，２，…，１１は被写体表現最大画
素数側である。６／６，５／６，…は演算係数である。
表１に示すように、被写体表現最大画素数の濃淡画像か
ら、その他の視線への濃淡画像変換ができ、かつ他の３
Ｄカメラ３０−４，…で見た被写体４０も、表現画素数
が少ないために、空間量子化誤差を多く含んでいること
を考慮すれば、被写体４０をより正確に表現できること
になる。なお、一般的に、量子化雑音はΔ／√１２で表
現され、Δは被写体３５をサンプリングする数の逆数に
比例する。また、前記において、他の被写体面も同様
に、どれかの３Ｄカメラ番号の信号として表現される。

【００２８】以上のように、本実施例では、複数の３Ｄ
カメラ３０−１〜３０−ｎの中の濃淡画像Ｓ３０−１ａ
〜Ｓ３０−ｎａと距離画像Ｓ３０−１ｂ〜Ｓ３０−ｎｂ
を用い、被写体表現最大画素数選択装置３２により、被
写体表現最大画素数を持つ面を特定し、３Ｄカメラ３０
−１〜３０−ｎの番号を特定し、その濃淡画像を用いて
画像合成装置３３で画像合成した後、表示装置３４で表
示するようにしている。そのため、高い分解能を持って
所望観察者視線の濃淡画像として表現することができ、
高い分解能の画像再成が可能となる。

【００２９】第２の実施例図１１は、本発明の第２の実施例を示す複数視点３次元
画像入力装置を備えた画像処理装置の構成ブロック図で
あり、第１の実施例を示す図１中の要素と共通の要素に
は共通の符号が付されている。この装置では、複数台の
３Ｄカメラ３０−１〜３０−ｎの出力側に新たに廃棄情
報置換装置５１が設けられ、さらにその出力側に、図１
の画像合成装置３１と異なる構成の、廃棄部分は処理し
ない視角に合わせた画像合成装置５３が接続されてい
る。撮像条件設定記憶装置３１の出力側は、被写体表現
最大画素数選択装置３２、廃棄情報置換装置５１、及び
廃棄部分は処理しない視角に合わせた画像合成装置５３
に接続され、その画像合成装置５３に、表示装置３４及
び表示視線設定装置３５が接続されている。廃棄情報置
換装置５１は、被写体表現最大画素数選択装置３２で３
Ｄカメラ３０−１〜３０−ｎの信号を選択した場合に、
その面を表現している画像が、選択されなかった３Ｄカ
メラにも存在しているので、その部分の信号を廃棄し、
不要な信号あるいは意味のない信号に置き換える装置で
ある。画像合成装置５３は、廃棄情報置換装置５１から
不要な信号あるいは意味のない信号が入力された場合
に、その画素に対応したところは計算せずに、視角に合
わせた画像合成を行う装置である。

【００３０】次に、図１２〜図１５を参照しつつ、図１
１の装置の動作を説明する。図１２及び図１３は、第１
の実施例の図８及び図９に対応しており、図１２は図１
１に示す各３Ｄカメラ３０−１〜３０−ｎの距離画像Ｓ
３０−１ｂ〜Ｓ３０−ｎｂの距離値例を示す図、及び図
１３は図１１の各３Ｄカメラ３０−１〜３０−ｎの距離
画像Ｓ３０−１ｂ〜Ｓ３０−ｎｂの距離変化分の例を示
す図である。図１４は、各３Ｄカメラ３０−１〜３０−
ｎの濃淡画像Ｓ３０−１ａ〜Ｓ３０−ｎａをＸ−Ｙの２
次元で表示した図である。ａ，ｂ，ｃ，ｄは図７の被写
体４０の点Ａ，Ｂ，Ｃ，Ｄに対応した点である。図７の
被写体４０の点Ａ，Ｂ，Ｃ，Ｄの下方には図示しない点
Ｅ，Ｆ，Ｇ，Ｈが位置しており、そのＥがＡの下、Ｆが
Ｂの下、ＧがＣの下、ＨがＤの下に位置している。これ
らの点Ｅ，Ｆ，Ｇに対応する点が図１４及び図１５の
ｅ，ｆ，ｇである。

【００３１】第１の実施例の処理により、図１４に示す
ように、被写体表現最大画素数選択装置３２により、３
Ｄカメラ３０−３の画像の点ａ，ｅ，ｆ，ｂで表わされ
る斜線部分の四角形が、被写体表現最大画素数に対応し
た濃淡画像Ｓ３０−３ａとして選択される。同様に、３
Ｄカメラ３０−２の画像の点ｂ，ｆ，ｇ，ｃで表わされ
る斜線部分の四角形が、被写体表現最大画素数選択装置
３２により、被写体表現最大画素数に対応した濃淡画像
Ｓ３０−２ａとして選択される。この場合、３Ｄカメラ
３０−１のＸＹ画像内の四角形ａｅｆｂ、及び３Ｄカメ
ラ３０−２内の四角形ａｅｆｂの信号部分は、３Ｄカメ
ラ３０−３の四角形ａｅｆｂ内の信号で再成できるので
不要である。同様に、３Ｄカメラ３０−３内の四角形ｂ
ｆｇｃも、３Ｄカメラ３０−２内の四角形ｂｆｇｃで再
成できるので不要である。

【００３２】そこで、それら不要部分には、廃棄情報置
換装置５１により、例えば濃淡画像Ｓ３０−１ａ〜Ｓ３
０−３ａとして、マイナス値を入れるとか、対応した距
離画像部分に現実的に有り得ない０を入れる等を行い、
不要部分である旨表現されるようにしておく。このよう
にしておけば、画像合成装置５３により、視線に合わせ
た画像合成を行う際に、不要部分であることが容易に判
別でき、例えばその画素の演算を飛ばして次の画素の処
理を行う等の手段を講じることにより、画像合成時の時
間短縮が可能となる。また、画像を圧縮して転送するよ
うな場合、例えばランレングス法等で圧縮すると、不要
部分が同じ値となっているので、大幅に圧縮され、伝送
時間を短縮できる利点がある。本実施例では、３台の３
Ｄカメラ３０−１〜３０−３の場合について説明した
が、３Ｄカメラ台数が増加した場合には、より有効に機
能する。

【００３３】以上は、被写体表現最大画素数をＸ方向
（例えば、水平方向）に選択したときの説明であるが、
Ｙ方向（例えば、垂直方向）に対し被写体表現最大画素
数を被写体表現最大画素数選択装置３２で選択した図を
図１５に示す。図１５では、Ｘ方向で選択した濃淡画像
Ｓ３０−１ａ〜Ｓ３０−３ａよりも、Ｙ方向において被
写体表現画素数が多い面を選択するもので、この場合、
３Ｄカメラ３０−３の四角形ｂｆｇｃが選択される。こ
の結果、Ｘ方向とＹ方向の被写体表現最大画素数に対応
した濃淡画像は、図１４及び図１５の斜線で示した部
分、即ち３Ｄカメラ３０−３の画像ａｅｆｇｃｂと３Ｄ
カメラ３０−２の画像ｂｆｇｃの部分が選択されて残さ
れる。このように、Ｘ方向とＹ方向で選択される面が異
なる場合には、不要部分が減少するが、やはり、この例
では３Ｄカメラ３０−１の画像ａｅｆｂ及び３Ｄカメラ
３０−２の画像ａｅｆｂが廃棄情報置換装置５１で不要
とされ、処理時間及び伝送時間の短縮が行われる。な
お、Ｘ方向とＹ方向のどちらの被写体表現最大画素数を
使用するかは、観察者視線と３Ｄカメラ視線との関係で
決定すればよい。

【００３４】以上のように、本実施例では、廃棄情報置
換装置５１により、被写体表現最大画素数を持たない３
Ｄカメラ番号の当該部分の信号を不要信号あるいは意味
のない信号に置き換えるようにしたので、画像合成装置
５３による画像合成時の処理時間を短縮でき、さらに情
報伝送時間の削減、及び撮像条件設定記憶装置３１の記
憶容量を削減できる。

【００３５】第３の実施例図１６は、本発明の第３の実施例を示す複数視点３次元
画像入力装置を備えた画像処理装置の構成ブロック図で
あり、第２の実施例を示す図１１中の要素と共通の要素
には共通の符号が付されている。この装置では、３Ｄカ
メラ３０−１〜３０−ｎの出力側に新たに距離精度変換
書換え装置５２が設けられ、その出力側に、廃棄部分は
処理しない視角に合わせた画像合成装置５３が接続され
ている。また、撮像条件設定記憶装置３１の出力側は、
距離精度変換書換え装置５２にも接続されている。その
他の構成は、図１１の装置と同一である。距離精度変換
書換え装置５２は、被写体表現最大画素数選択装置３２
により、被写体表現最大画素数として選択された濃淡画
像に対応した距離画像の距離値よりも、他の３Ｄカメラ
から見たその対応部分の距離値の方が小さい場合に、そ
の短い値を用いて、該被写体表現最大画素数選択装置３
２で選択された濃淡画像に対応した距離画像の画素に近
い値からの換算値を計算して書換える装置である。次
に、図１７〜図２１を参照しつつ、図１６の装置の動作
を説明する。図１７は、図１６の装置において５台の３
Ｄカメラ３０−１〜３０−５を配置して被写体４０を撮
像したときの該被写体４０と各３Ｄカメラ３０−１〜３
０−５との距離の関係例を示す説明図である。図１８
は、図１６の装置において５台の３Ｄカメラ３０−１〜
３０−５を配置して撮像したときの該被写体４０と各３
Ｄカメラ３０−１〜３０−５との被写体表現最大画素数
の関係例を示す説明図である。

【００３６】図１７では、５台の３Ｄカメラ３０−１〜
３０−５を同一の円周上に配置したときの被写体４０の
点Ｂに着目し、各３Ｄカメラ３０−１〜３０−５からの
距離を表現している。例えば、３Ｄカメラ３０−１の中
心点をＯ₁とし、その中心点Ｏ₁からある中心方向に対
し、点Ｂから垂線をおろした点から中心点Ｏ₁までの長
さｌ₁が、３Ｄカメラ３０−１から見た被写体４０の点
Ｂまでの距離である。同様に、各３Ｄカメラ３０−２〜
３０−５からの距離も、それぞれｌ₂〜ｌ₅として求ま
る。この図の場合、距離がｌ₁＜ｌ₂＜ｌ₃＜ｌ₄＜ｌ
₅となり、距離ｌ₁が一番小さい例となる。従って、３
Ｄカメラ３０−１の距離画像を優先して選択する。

【００３７】一方、図１８は、被写体表現最大画素数ｗ
₁〜ｗ₅をどの３Ｄカメラ３０−１〜３０−５がとるか
の説明図である。この図の場合、被写体表現最大画素数
がｗ₄＞ｗ₃＞ｗ₅＞ｗ₂＞ｗ₁となり、３Ｄカメラ３
０−４の被写体表現最大画素数ｗ₄が一番大きな値を示
す。従って、３Ｄカメラ３０−４の濃淡画像を優先す
る。このように、被写体表現最大画素数ｗ₄をとる３Ｄ
カメラ３０−４の番号と、被写体４０までの距離が一番
短い３Ｄカメラ３０−１の番号とが、一致しない場合が
ある。このような場合に、次のような問題が生じる。

【００３８】図１９は、図６の装置の距離とビットずれ
の相関図の一例である。この図では、空間量子化を行っ
ている固体撮像素子からなる３Ｄカメラにおいて、１画
素のビットずれΔＢｉｔで何ｃｍの距離変化Δｌを検知
できるかを示している。図１９から、Δｌ／ΔＢｉｔの
小さい方が精度良く距離の検出ができることになる。し
かし、距離とビットずれは非線形な関係であり、距離が
遠くなる程、Δｌ／ΔＢｉｔが大きくなり、距離精度が
悪くなってしまう。

【００３９】図２０（ａ），（ｂ−１），（ｂ−２）
は、濃淡画像と距離画像で距離画像を最短距離値による
換算値に書換えた距離精度変換書換え例を示す図であ
り、同図（ａ）は被写体表現最大画素数を持つ３Ｄカメ
ラ番号の濃淡画像、同図（ｂ−１）はその３Ｄカメラ番
号の距離画像であり、それぞれの画素番地が対応してい
る。例えば、図１７及び図１８で説明したように、被写
体表現最大画素数ｗ₄を持つ３Ｄカメラ３０−４の番号
と、被写体表現最大画素数で表現される面までの距離が
一番短いｌ₁の３Ｄカメラ３０−１の番号とが異なる場
合、距離精度変換書換え装置５２では一番短い３Ｄカメ
ラ３０−１の番号の距離値を用いて、３Ｄカメラ３０−
１〜３０−５のそれぞれの配置関係を元に、被写体表現
最大画素数を持つ３Ｄカメラ番号からの距離に換算す
る。この距離への換算は、図６に示すように三角関数で
容易に換算できる。そして、換算した距離値を、被写体
表現最大画素数を持つ３Ｄカメラ３０−４の番号の距離
画像の対応した番地に書換えると、濃淡画像の分解能を
高く保ち、距離画像の距離精度も高めることができる。
ここで、最短距離値を示す濃淡画像の画素数は、当然、
被写体表現最大画素数よりも少ない。そのため、足りな
い画素部分は、最短距離値を用いて計算した結果から内
挿して求め、新たな距離画像として距離画像内に収納す
る。この模式図を図２０（ｂ−２）に示す。

【００４０】図２１は、図１６の装置において被写体表
現最大画素数内で距離精度が向上した例を示す説明図で
ある。図２１のＳ３０−ａは濃淡画像、５０は近距離画
像を用いて計算した内挿線、５１は近距離画像のサンプ
リング点、５２は元の濃淡情報に対応した距離精度、及
び５３は被写体表現最大画素数である。図２０のような
操作を行うと、図２１に示すように、被写体表現最大画
素数５３の範囲ｂｃ内で距離精度５２の向上した情報と
して扱うことが可能となる。以上のように、本実施例で
は、距離精度変換書換え装置５２により、被写体表現最
大画素数の濃淡画像に対応した距離画像の距離値を最短
距離値で換算し、より距離精度の良い値に書換えるの
で、距離再現性の良い画像再成が可能となる。従って、
高分解能で、距離精度の向上した複数視点３次元画像入
力装置が得られる。

【００４１】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、被写体表現最大画素数選択装置を設けたの
で、複数の３次元画像入力装置の中の濃淡画像と距離画
像から、被写体表現最大画素数を持つ面を特定し、該３
次元画像入力装置の番号を特定できる。そのため、特定
した濃淡画像を用いることにより、高い分解能を持って
所望観察者視線の濃淡画像として表現でき、分解能の高
い画像再成が可能となる。第２の発明によれば、廃棄情
報置換装置を設けたので、被写体表現最大画素数を持た
ない３次元画像入力装置番号の当該部分の信号を不要信
号あるいは意味のない信号に置き換えることができる。
これにより、画像合成時の処理時間の短縮や、情報伝送
時間の削減、及び記憶容量の削減ができる。第３の発明
によれば、距離精度変換書換え装置を設けたので、被写
体表現最大画素数の濃淡画像に対応した距離画像の距離
値を最短距離値で換算し、より距離精度の良い値に置き
換えることができる。これにより、距離再現性の良い画
像再成が可能となる。従って、高分解能で、距離精度の
向上した複数視点３次元画像入力装置が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す複数視点３次元画
像入力装置を備えた画像処理装置の構成ブロック図であ
る。

【図２】従来の３次元画像入力方式の１つであるステレ
オ画像法の説明図である。

【図３】図２における濃淡画像と距離画像の説明図であ
る。

【図４】従来の３次元画像表示方式の１つである多眼式
レンチキュラ方式の原理図である。

【図５】先の提案の複数視点３次元画像入力装置を備え
た画像処理装置の構成ブロック図である。

【図６】図１の装置における任意視線への変換例を示す
図である。

【図７】図１の装置における被写体の見え方を説明する
図である。

【図８】図１の装置における各３Ｄカメラの距離画像の
距離値例を示す図である。

【図９】図１の装置における各３Ｄカメラの距離画像の
距離変化分の例を示す図である。

【図１０】図１の装置における被写体表現最大画素数か
ら所望画素数への濃淡画像の変換例を示す図である。

【図１１】本発明の第２の実施例を示す複数視点３次元
画像入力装置を備えた画像処理装置の構成ブロック図で
ある。

【図１２】図１１の装置における各３Ｄカメラの距離画
像の距離値例を示す図である。

【図１３】図１１の装置における各３Ｄカメラの距離画
像の距離変化分の例を示す図である。

【図１４】図１１の装置におけるＸ方向（水平方向）の
被写体表現最大画素数の面の例を示す図である。

【図１５】図１１の装置におけるＹ方向（垂直方向）の
被写体表現最大画素数の面の例を示す図である。

【図１６】本発明の第３の実施例を示す複数視点３次元
画像入力装置を備えた画像処理装置の構成ブロック図で
ある。

【図１７】図１６の装置における被写体と各３Ｄカメラ
との距離の関係例を説明する図である。

【図１８】図１６の装置における被写体と各３Ｄカメラ
との被写体表現最大画素数の関係例を示す説明図であ
る。

【図１９】図１６の装置における距離とビットずれの相
関図である。

【図２０】図１６の装置における距離精度変換書換え例
を示す図である。

【図２１】図１６の装置における距離精度が向上した説
明図である。

【符号の説明】

３０−１〜３０−ｎ３Ｄカメラ（３次元画像入力装
置）３１撮像条件設定記憶装置３２被写体表現最大画素数選択装置３３視角に合わせた画像合成装置３４表示装置３５表示視線設定装置５１廃棄情報置換装置５２距離精度変換書換え装置５３廃棄部分は処理しない視角に合
わせた画像合成装置Ｓ３０−１ａ〜Ｓ３０−ｎａ濃淡画像Ｓ３０−１ｂ〜Ｓ３０−ｎｂ距離画像

Claims

【特許請求の範囲】

【請求項１】照射された被写体の画像を入力してその
被写体を表現する濃淡画像及び距離画像の信号をそれぞ
れ出力する３次元画像入力装置を２台以上備え、前記各
３次元画像入力装置を所定距離離間しかつそれらの光軸
が交差するように配置した複数視点３次元画像入力装置
において、前記複数台の３次元画像入力装置の中で、前記被写体を
表現する画素数が最大画素数で表現される３次元画像入
力装置の濃淡画像を選択して出力する被写体表現最大画
素数選択装置を設けたことを特徴とする複数視点３次元
画像入力装置。
【請求項２】請求項１記載の複数視点３次元画像入力
装置において、前記被写体を表現する画素数が最大画素数で表現される
３次元画像入力装置以外の３次元画像入力装置の表現画
素に対応する部分の画素信号を除去しあるいは不要な信
号に置き換える廃棄情報置換装置を設けたことを特徴と
する複数視点３次元画像入力装置。
【請求項３】請求項２記載の複数視点３次元画像入力
装置において、前記被写体を表現する画素数が最大画素数で表現される
３次元画像入力装置の濃淡画像に対応した距離画像を、
該画像に対し最短距離にある３次元画像入力装置の該画
像に対応した距離画像の距離値を用いて演算し、その演
算値で置換する距離精度変換書換え装置を設けたことを
特徴とする複数視点３次元画像入力装置。