JP2795784B2 - 複数視点３次元画像入力装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータビジョン
（ＣＶ）及びコンピュータグラフィックス（ＣＧ）等の
３次元画像情報技術において、３次元画像を入力し、そ
れを合成して３次元に画像を表示する等の複数視点３次
元画像入力装置、特に死角検出法を用いて被写体の死角
を除去する複数視点３次元画像入力装置に関するもので
ある。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。 文献１；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２ 文献２；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０ 従来、３次元画像入力方式には、受動的手法（パッシブ
手法）と能動的手法（アクティブ手法）とがある。能動
的手法とは、３次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー（光波、電波、音波）を
対象に照射する手法のことを指す。これに対して受動的
手法とは、対象に対して通常の照明等は行うにしても、
計測に関して意味のあるエネルギーを利用しない計測の
ことをいう。一般的にいって、能動的手法の方が、受動
的手法のものより計測の信頼性が高くなる。受動的手法
の代表的なものがステレオ画像法であり、それを図２に
示す。

【０００３】図２は、前記文献２に記載された従来の３
次元画像入力方式の１つであるステレオ画像法の説明図
である。このステレオ画像法では、２次元画像入力装置
である２台のカメラ１，２を所定距離離間して配置し、
左右のカメラ１，２で撮られた被写体３の結像位置の
差、即ち位相差を利用し、三角測量法によって被写体３
までの距離を計る方法である。

【０００４】図３（ａ）〜（ｃ）は、図２のステレオ画
像法で得られた信号の濃淡画像と距離画像の２枚の画像
の説明図である。濃淡画像は、図２のカメラ１，２で得
られるカラーや白黒の画像である。距離画像は、３次元
位置に関する画像であり、マトリクスデータで一つ一つ
の画素が対象物（被写体３）の奥行きに関する情報を持
つものである。このような濃淡画像と距離画像とから、
偏光フイルタを用いた両眼融合方式によって立体画像表
示を行ったり、レンチキュラ板を用いて立体画像表示を
行ったりしている。立体画像表示の一例を図４に示す。

【０００５】図４は、前記文献１に記載された従来の３
次元画像表示方式の１つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板１０
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。１個のレンズ板内にはａ，ｂ，
ｃ，…，ｆの部分に、それぞれａ₁ ，ｂ₁ ，ｃ₁ ，…，
ｆ₁ という多方向から撮像したストライプ状の多眼像１
１を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像１１は左右の眼１２，１３に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記構
成の装置では、次のような課題があった。 （１） ３次元画像表示方式として、レンチキュラ板１
０を使用した場合、平面画像を立体的に見れるものの、
観察者の視線を変えたときのものの見え方は、立体視可
能な観察領域として約５ｍ離れて見たときに、左右方向
で５〜１０cm、前後方向に±３０cm程度と狭い。また、
両眼融合方式においては、平面画像の立体的表現のみ
で、視線を変えても、画像そのものは変わらないという
問題があった。

【０００７】（２） そこで、前記の観察視野が狭いと
か、視線を変えても画像が変わらない等の問題を解決す
るため、本願発明者は先に特願平４−１９２２７２号公
報の提案を行った。この提案では、被写体の画像を入力
して濃淡画像と距離画像の２枚の画像を出力するための
少なくとも２台の３次元画像入力装置を離間して配置し
ている。各３次元画像入力装置は、例えば３次元カメラ
（以下、３Ｄカメラという）でそれぞれ構成されてい
る。そして、離間した２台の３Ｄカメラにより、被写体
の画像を入力して該被写体を表現する濃淡画像と距離画
像の信号を出力し、該濃淡画像と距離画像から表示画像
を表示して３次元の画像表示を行うようになっている。
ところが、２台の３Ｄカメラを用いた場合には、撮像で
きる被写体が限定され、特に凹部のある被写体では死角
が生じてしまう。これを補償するため、本願発明者は図
５に示すように３Ｄカメラの台数を増やす方法を提案し
た。

【０００８】（３） 図５は、本願発明者が先に提案し
たもので、３Ｄカメラを２台から５台に増やした複数視
点３次元画像入力装置の概略の構成ブロック図である。
この複数視点３次元画像入力装置は、５台の３Ｄカメラ
２０−１〜２０−５を備え、それらの光軸が交点Ｋで交
わるように配置されている。各３Ｄカメラ２０−１〜２
０−５では、被写体の画像を入力して該被写体を表現す
る濃淡画像２１−１ｖ〜２１−５ｖと距離画像２２−１
ｒ〜２２−５ｒをそれぞれ出力する。これらの濃淡画像
２１−１ｖ〜２１−５ｖと距離画像２２−１ｒ〜２２−
５ｒのデータに基づき、各３Ｄカメラ２０−１〜２０−
５毎の被写体を特定する処理を行い、最適画像を選択
し、観察者が望む視線方向の表示画像を表示装置に３次
元表示するようになっている。しかし、このような構成
では、各３Ｄカメラ２０−１〜２０−５毎の濃淡画像２
１−１ｖ〜２１−５ｖと距離画像２２−１ｒ〜２２−５
ｒのデータを全て用い、被写体特定処理とその最適画像
の選択を行うので、多量のデータ処理が必要であり、そ
れを処理する処理回路の規模が増大すると共に処理時間
が長くなるという問題があり、未だ技術的に充分満足の
ゆく複数視点３次元画像入力装置を得ることが困難であ
った。本発明は、前記従来技術が持っていた課題とし
て、データ処理回路の回路規模が増大し、処理時間が長
くなるという点について解決した複数視点３次元画像入
力装置を提供するものである。

【０００９】

【課題を解決するための手段】第１の発明では、前記課
題を解決するために、照射された被写体の画像を入力し
てその被写体を表現する濃淡画像の信号を出力する少な
くとも２個の２次元画像入力装置を有する３次元画像入
力装置を、複数台備えた複数視点３次元画像入力装置に
おいて、撮像指定領域を設け、その撮像指定領域は前記
各３次元画像入力装置の全ての視野に位置し、該撮像指
定領域の距離幅の中心線の交点が一点に集まるように前
記各３次元画像入力装置を配置している。第２の発明で
は、第１の発明において、撮像指定領域外の画像データ
は３次元的に全て廃棄する不要領域データ廃棄手段を設
けている。第３の発明では、第１の発明において、撮像
指定領域幅内の最大距離値以上の画素には所定の記号を
書込む記号代入手段を設けている。第４の発明では、第
１の発明において、撮像指定領域の最長距離において距
離検出精度が所望表示画像の画素幅より狭くなるように
３次元画像入力装置の出力画像に対して画素密度変換を
行って濃淡画像を合成する表示密度画像作成手段を、各
３次元画像入力装置毎に設けている。

【００１０】第５の発明では、第４の発明の表示密度画
素作成手段は、画素密度変換を行うときに各画素の距離
値の分布をもとに新たな距離値とする機能を有してい
る。第６の発明では、第４の発明の表示密度画素作成手
段は、画素密度変換を行った後の濃淡画像値において、
新たな距離値に対応する画素の濃淡値のみを選択処理し
て新たな濃淡画像値とする機能を有している。第７の発
明では、第４の発明において、前記複数台の３次元画像
入力装置中の両端の３次元画像入力装置側に設けられた
前記表示密度画素作成手段の出力に基づき前記被写体面
の向きを判定する対向面判定手段と、前記対向面判定手
段の判定結果に基づき前記被写体の死角を検出する死角
検出手段と、前記両端の３次元画像入力装置以外の３次
元画像入力装置側に設けられた前記表示密度画素作成手
段の出力に基づき前記対向面判定手段及び死角検出手段
の処理領域について最適画像を選択し当てはめる死角対
応選択手段と、前記死角対応選択手段の当てはめ状況か
ら残存死角の有無を判断する死角有無判断手段とを、備
えた死角対処手段を、前記複数の表示密度画素作成手段
の出力側に接続している。

【００１１】第８の発明では、第４の発明において、２
次元画像入力装置の位相差検出方向において、前記表示
密度画像作成手段で合成した表示画素密度により決まる
位相差の画素数分だけ、所定の光軸間隔に対して前記２
次元画像入力装置の相対位置にオフセットを設けてい
る。第９の発明では、第７の発明の死角検出手段は、前
記被写体の距離値により死角判別値を規格化する機能を
有している。第１０の発明では、第７の発明の死角有無
判断手段は、前記被写体の３次元位置により残存死角の
判断基準となる画素数を変更する機能を有している。

【００１２】

【作用】第１の発明によれば、以上のように複数視点３
次元画像入力装置を構成したので、撮像指定領域を設け
ることにより、被写体の撮像領域（例えば、幅及び距
離）が指定され、生成される濃淡画像及び距離画像のデ
ータ数が少なくなり、少ないデータ処理量で、被写体特
定処理とその最適画像の選択を行うことによって死角部
分の検出とその除去が簡単に行える。第２の発明によれ
ば、不要領域データ廃棄手段は、濃淡画像及び距離画像
のデータ数を減少する働きがある。第３の発明によれ
ば、記号代入手段は、処理すべき濃淡画像及び距離画像
のデータ数を削減する働きがある。

【００１３】第４の発明によれば、表示密度画素作成手
段は、撮像指定領域の距離最大値において距離検出精度
（例えば、１位相差分）が濃淡画像の１画素の幅を越え
ないように、即ち距離検出精度（１位相差分）が表示画
像の１画素分以下になるように、元の濃淡画像が所定の
数、合成される。これにより、濃淡画像の１画素の大き
さは、２次元画像入力装置の１画素を何画素か合成した
大きさをもって表示濃淡画像の１画素となる。第５の発
明によれば、表示密度画素作成手段は、画素密度変換を
行うときに各画素の距離値の分布をもとに新たな距離値
とし、画素密度の変換を容易にする働きがある。第６の
発明によれば、表示密度画素作成手段は、新たな距離値
に対応する画素の濃淡値のみを選び出して処理し、新た
な濃淡画像値として画素密度変換後の濃淡画像値を生成
する。画素密度変換をするときに距離値に該当する濃淡
画像を選択して新たな濃淡画像値とすることにより、そ
の濃淡画像値が少なくとも被写体の濃淡値の合成値とな
り、他の被写体の濃淡値が紛れ込まない純度の高い濃淡
値を生成する働きがある。

【００１４】第７の発明によれば、対向面判定手段及び
死角検出手段は、両端の３次元画像入力装置の距離画像
に基づき死角及び被写体面の傾きを検出する。死角対応
選択手段は、死角領域及び被写体面の傾きが不都合な領
域のみに、中間の３次元画像入力装置の中の最適画像を
当てはめる。死角有無判断手段は、残存死角の有無を判
定する。第８の発明によれば、２次元画像入力装置の相
対位置に設けたオフセットは、該２次元画像入力装置の
位相差検出領域を拡大する働きがある。第９の発明によ
れば、死角検出手段は、被写体の距離値により死角判別
値を規格化し、死角の検出を容易にする働きがある。第
１０の発明によれば、死角有無判断手段は、被写体の３
次元位置により残存死角の判定基準となる画素数を変更
し、死角有無の判断を容易にする働きがある。従って、
前記課題を解決できるのである。

【００１５】

【実施例】図１は、本発明の実施例を示す複数視点３次
元画像入力装置の構成ブロック図である。この実施例で
は、５台の３次元画像入力装置（例えば、３Ｄカメラ）
を用いた場合について説明するが、少なくとも３台以上
ならば何台でも良い。複数視点３次元画像入力装置は、
５台の３次元画像入力装置（例えば、３Ｄカメラ）３０
−１〜３０−５を備え、それらの光軸Ｈ３０−１〜Ｈ３
０−５が交点Ｋで交わるように配置されている。各３Ｄ
カメラ３０−１〜３０−５は、照射された被写体の画像
を入力してその被写体を表現する少なくとも２枚の濃淡
画像の信号を出力する機能を有し、その出力側には撮像
指定領域内画像作成装置４０−１〜４０−５がそれぞれ
接続されている。

【００１６】各撮像指定領域内画像作成装置４０−１〜
４０−５は、各３Ｄカメラ３０−１〜３０−５から出力
される少なくとも２枚の濃淡画像に基づき、撮像指定領
域内において所定の濃淡画像Ｓ４４及び距離画像Ｓ４５
を作成する装置であり、領域限定対応点検索手段４１を
有している。領域限定対応点検索手段４１は、各３Ｄカ
メラ３０−１〜３０−５から出力された２枚の濃淡画像
に対して必要領域（撮像指定領域）のみを走査して対応
点検索し、濃淡画像と距離画像の信号を出力する機能を
有し、その出力側には、不要領域データ廃棄手段４２及
び記号代入手段４３を介して記憶手段（例えば、ＬＳＩ
メモリ等で構成される濃淡画像メモリ４４及び距離画像
メモリ４５）が接続されている。不要領域データ廃棄手
段４２は、領域限定対応点検索手段４１の出力画像を入
力し、不要領域（撮像指定領域以外）のデータを廃棄す
る機能を有している。記号代入手段４３は、不要領域デ
ータ廃棄手段４２の出力画像を入力し、指定領域外、つ
まり撮像指定領域外の距離値を持つ画像データを特定記
号に置換し、撮像指定領域内の濃淡画像Ｓ４４及び距離
画像Ｓ４５を出力し、濃淡画像メモリ４４及び距離画像
メモリ４５へそれぞれ格納する機能を有している。

【００１７】各撮像指定領域内画像作成装置４０−１〜
４０−５の出力側には、表示密度画素作成装置５０−１
〜５０−５がそれぞれ接続され、さらにその出力側に死
角対処装置６０が接続されている。各表示密度画素作成
装置５０−１〜５０−５は、各濃淡画像メモリ４４及び
距離画像メモリ４５に格納された濃淡画像Ｓ４４及び距
離画像Ｓ４５を入力し、表示画像の画素密度に変換して
画素密度変換された濃淡画像Ｓ５２及び距離画像Ｓ５３
を作成する装置であり、該表示画像の画素密度と濃淡画
像Ｓ４４の画素密度とを交換する画素密度変換手段５１
と、変換された濃淡画像Ｓ５２を格納する濃淡画像メモ
リ５２と、画素密度変換された距離画像Ｓ５３を格納す
る距離画像メモリ５３とを、備えている。

【００１８】死角対処装置６０は、各表示密度画素作成
装置５０−１〜５０−５の出力画像から死角部分を取り
除き、その死角部分の取り除かれた濃淡画像及び距離画
像を出力すると共に、その死角部分のデータ等を出力す
る機能を有している。この死角対処装置６０は、両端の
３Ｄカメラ３０−１，３０−５側の表示密度画素作成装
置５０−１，５０−５の出力距離画像Ｓ５３から被写体
面の向きを判定する対向面判定手段６１を備え、その出
力側に、死角部分の検出を行う死角検出手段６２が接続
されている。死角検出手段６２の出力側には、対向面判
定手段６１及び死角検出手段６２の処理領域を記憶して
おく処理領域メモリ６３が接続され、その出力側に、死
角対応選択手段６４を介して死角有無判断手段６５が接
続されている。死角対応選択手段６４は、処理領域メモ
リ６３及び各表示密度画素作成装置５０−１〜５０−５
の出力距離画像Ｓ５３を入力し、該処理領域メモリ６３
に格納された処理領域について、中間の表示密度画素作
成装置５０−２〜５０−４の出力距離画像Ｓ５３をもと
に、死角対応領域の位相差変化の最小画像（最適画像）
を選択し当てはめる機能を有している。死角有無判断手
段６５は、処理領域メモリ６３に格納された処理領域が
全て死角対応選択手段６４で当てはめられたか否か、つ
まり死角対応領域が埋まったか否かを判断し、残存死角
の有無を検出する機能を有している。

【００１９】死角有無判断手段６５の出力側には、死角
部分Ｓ７０を記憶する死角記憶メモリ７０が接続されて
いる。表示密度画素作成装置５０−１内の濃淡画像メモ
リ５２、対向面判定手段６１、及び死角検出手段６２の
出力側には、第１の３Ｄカメラ３０−１の死角部分及び
被写体不適面を取り除いた最終濃淡画像Ｓ７１を格納す
る濃淡画像メモリ７１と、その距離画像Ｓ７２を格納す
る距離画像メモリ７２とが接続されている。死角対処装
置６０の出力側には、他の配置端の第５の３Ｄカメラ３
０−５の死角部分及び被写体不適面を取り除いた最終濃
淡画像Ｓ７３を格納する濃淡画像メモリ７３と、その距
離画像Ｓ７４を格納する距離画像メモリ７４とが接続さ
れている。また、死角対応選択手段６４の出力側には、
該死角対処装置６０から出力された死角部分及び被写体
不適面に最適画像を記憶する際の３Ｄカメラ番号（画
角、設置角）及び該画像内番地（Ｘ方向、Ｙ方向）とい
った画素番号Ｓ７５を格納する画素番号付け用の画素番
号メモリ７５と、該画素番号Ｓ７５に対応した濃淡画像
Ｓ７６を格納する濃淡画像メモリ７６と、その距離画像
Ｓ７７を格納する距離画像メモリ７７とが、接続されて
いる。

【００２０】次に、図６（ａ）〜（ｃ）、図７、図８、
及び図９を参照しつつ、図１中の３Ｄカメラ３０−１〜
３０−５の構成を説明する。図６（ａ）〜（ｃ）は図１
の３Ｄカメラの説明図であり、同図（ａ）は３Ｄカメラ
の構成図、同図（ｂ）は３Ｄカメラの距離−位相差特性
例を示す図、及び同図（ｃ）は２次元画像入力装置の画
角と画素数の関係の説明図である。図７は図１の装置に
おける撮像指定距離範囲の説明図、及び図８は図１の装
置における撮像指定領域の説明図である。図６（ａ）に
示すように、図１中の３Ｄカメラは、電荷結合素子（以
下、ＣＣＤという）等のエリアセンサからなる２つの２
次元画像入力装置３１，３２を備え、それらが一定間隔
（光軸間隔）Ｌ₀ 離間して配置されている。各２次元画
像入力装置３１，３２に使用されているレンズ３３，３
４の光軸Ｈ３３，Ｈ３４を平行にした場合に、次式
（１），（２）のように距離ｌと位相差ΔＢが反比例す
る関係にある。その関係が図６（ｂ）に示されている。

【００２１】

【数１】 一方、図６（ｃ）に示すように、１つの２次元画像入力
装置（例えば、３１）の画角δは、一定距離にある被写
体をどれだけの幅でとらえるかで決まり、その画角δを
達成するレンズ３３が通常選ばれている。この場合、１
画素の幅ｗで見る寸法は、次式（３），（４）により決
まる。 ｗ＝２ｌｔａｎ（δ／２） ・・・（３） Δｗ＝Ｗ／Ｎ ・・・（４） 但し、δ；画角 Δｗ；１画素の視野 Ｎ；画角δ内の画素数 そこで、３Ｄカメラとして構成したときの距離精度値、
即ち位相差１画素変化分の値と、被写体幅１画素分の幅
との関係（１位相差変化による距離変化内にいくつの画
素が含まれるか）を求めると、（２），（３），（４）
式より次式（５）が得られる。

【００２２】

【数２】 この（５）式の意味は、ある位相差ΔＢに対応する距離
値より短い距離にある被写体の１位相差変化の距離変化
値が、許容係数ｋ₂ 倍の被写体幅１画素分の幅以下にな
ることを意味している。つまり、（５）式は、ある位相
差ΔＢ以上の１位相差変化では許容係数ｋ₂ 倍の濃淡画
像の画素数以下になることを意味している。この（５）
式の関係に基づき、任意である許容係数ｋ₂ を例えば８
とし、以下の説明を続ける。例えば、２次元画像入力装
置３１，３２の水平方向（位相差検出方向）の画素数を
５００個、レンズ３３，３４の画角δを５０度、２次元
画像入力装置３１，３２の光軸間隔Ｌ₀ を２０cmとした
ときの距離と位相差特性が図７に示されている。この図
のＬは撮像指定範囲、ΔＢ _min は所望最低位相差であ
る。この例では、許容係数ｋ₂ を８としているので、
（５）式を解くと、位相差ΔＢが約６７画素となる。そ
のため、位相差ΔＢが６７画素以上となる距離（約２
ｍ）を撮像指定最長距離としてある。

【００２３】一方、図１に示すように５台の３Ｄカメラ
３０−１〜３０−５の画角内に被写体を置く必要性か
ら、撮像指定最短距離（約１．４ｍ）が求まる。但し、
両端の３Ｄカメラ３０−１，３０−５の光軸Ｈ３０−
１，Ｈ３０−５の設置角θは６５度の例となっている。
設置角θは、両端の３Ｄカメラ３０−１，３０−５の主
点を結んだ点と両端の光軸Ｈ３０−１，Ｈ３０−５の成
す角度である。この模様が図８に示されている。図８に
おいて、Ｏ₁ ，Ｏ₂ ，Ｏ₃ ，Ｏ₄ ，Ｏ₅ は３Ｄカメラ３
０−１〜３０−５の主点であり、それらの主点Ｏ₁ 〜Ｏ
₅ の各光軸Ｈ３０−１〜Ｈ３０−５が交点Ｋで交わるよ
うに設置されている。また、各光軸Ｈ３０−１〜Ｈ３０
−５は、交点Ｋにおける挟角を等分割するようにして、
後の計算処理を楽にしてある。但し、等分割でなくとも
良い。図８の斜線部分が撮像指定領域ＬＳとなってい
る。主点Ｏ₁ とＯ₅ の間隔は２ｍの設定であるが、撮像
領域を広げるために、主点Ｏ₂ ，Ｏ₃ ，Ｏ₄ の配置位置
を多少凹形に配置してある。即ち、撮像指定距離幅の中
心Ｏが、各３Ｄカメラ３０−１〜３０−５共に一点に集
めてある。

【００２４】図９は、図６に示す２次元画像入力装置３
１，３２のオフセット配置の説明図である。図８に示す
ように、３Ｄカメラ３０−１〜３０−５では、一定距離
範囲内を撮像すれば良いので、遠距離（即ち低位相差）
の画像は取り扱わない。そのため、図９に示すように、
図６（ａ）における２次元画像入力装置３１，３２の配
置関係で、所望最低位相差ΔＢ _min （例えば６７画素
分）だけずらしてオフセットを設け、配置することも可
能である。このようなオフセットを設ければ、２次元画
像入力装置３１，３２の位相差検出領域を拡大できる。

【００２５】次に、図１０（ａ）〜（ｃ）、及び図１１
〜図２０を参照しつつ、図１の装置の動作を説明する。
図１０（ａ）〜（ｃ）は、図１の各撮像指定領域内画像
作成装置４０−１〜４０−５の処理内容を示す説明図で
ある。図１１は、図１の各撮像指定領域内画像作成装置
４０−１〜４０−５における対応点検索領域の限定領域
を示す説明図である。図１の各３Ｄカメラ３０−１〜３
０−５では、照射された被写体の画像を入力して図１１
に示す２枚の濃淡画像Ｓ３０ａ，Ｓ３０ｂの信号をそれ
ぞれ出力する。これらの各２枚の濃淡画像Ｓ３０ａ，Ｓ
３０ｂの信号は、通常、ＬＳＩメモリ等に格納され、各
撮像指定領域内画像作成装置４０−１〜４０−５へ出力
される。各撮像指定領域内画像作成装置４０−１〜４０
−５では、図１０（ａ）〜（ｃ）に示すような処理を行
う。

【００２６】図１０（ａ）は、２つの濃淡画像Ｓ３０
ａ，Ｓ３０ｂの例えば１つＳ３０ａを表わしている。撮
像領域が指定されているので、他の濃淡画像Ｓ３０ｂの
位相差は、図１１に示す例では６０〜１１５画素の範囲
までに存在し、一方の濃淡画像Ｓ３０ａに対し、６５画
素ずれた領域から、他端の領域から１１５画素ずれた領
域までを対応点検索を行って距離画像を検出してるのが
図１０（ａ）である。この対応点検索は、図１の領域限
定対応点検索手段４１によって行われる。つまり、領域
検定対応点検索手段４１では、位相差検出時において図
１０（ａ）に示すように、必要な領域（撮像指定領域）
ＬＳのみを走査し、一対の濃淡画像と距離画像を生成
し、不要領域データ廃棄手段４２へ送る。

【００２７】不要領域データ廃棄手段４２では、図１０
（ｂ）に示すように、撮像指定領域ＬＳ以外の不要領域
Ｌ４２の画像を除去し、記号代入手段４３へ送る。な
お、各３Ｄカメラ３０−１〜３０−５の画像データＳ３
０ａ，Ｓ３０ｂを格納するメモリ容量を、予め必要な容
量値にしておけば、不要領域データ廃棄手段４２を省略
できる。記号代入手段４３では、図１０（ｃ）に示すよ
うに、撮像指定領域ＬＳの幅範囲において、図１０
（ｃ）の斜線部分のように、撮像指定領域ＬＳの一定距
離範囲以外（指定距離外）Ｌ４３の被写体について、そ
の画像データを除去し、代わりに距離範囲外の記号を例
えば０として代入し、その結果得られた濃淡画像Ｓ４４
と距離画像Ｓ４５を濃淡画像メモリ４４及び距離画像メ
モリ４５にそれぞれ格納する。この段階で、濃淡画像メ
モリ４４及び距離画像メモリ４５には、撮像指定領域幅
内の所定距離範囲の画像と記号が記憶されることにな
る。濃淡画像メモリ４４及び距離画像メモリ４５に格納
された濃淡画像Ｓ４４及び距離画像Ｓ４５は、図１２及
び図１３に示すように、各表示密度画素作成装置５０−
１〜５０−５によってそれぞれ次のような処理が行われ
る。

【００２８】図１２は、図１の画素密度変換例を示す説
明図、及び図１３はその画素密度変換方法を示す説明図
である。この例の場合、許容係数ｋ₂ が８であるので、
画素密度変換手段５１では、まず処理５１１により、距
離画像Ｓ４５を水平方向Ｈを８個、垂直方向Ｖを８個の
群に順次分割していく。なお、垂直方向Ｖは８個以外の
数でも良い。処理５１２では、各分割した群の中で距離
画像値（ｒ₁ ，ｒ₂ ，…）の分布の最大分布を示す距離
値を当該群の距離値ｒ_new とし、それを処理５１３へ送
る。本実施例では、距離値ｒ±１位相差分を累積して数
えるようにしている。

【００２９】次に、処理５１３では、距離値ｒ_new を持
つ画素に対応した濃淡画像の濃淡値のみの平均値をと
り、当該群の濃淡値Ｅ_new とする。これらの画面全体に
亘った処理の結果、濃淡画像Ｓ５２及び距離画像Ｓ５３
が得られ、それが濃淡画像メモリ５２と距離画像メモリ
５３にそれぞれ格納される。各３Ｄカメラ３０−１〜３
０−５の出力画像については、各撮像指定領域内画像作
成装置４０−１〜４０−５と表示密度画像作成装置５０
−１〜５０−５でほぼ同様に処理される。但し、横方向
の撮像指定領域ＬＳが各３Ｄカメラ３０−１〜３０−５
によって異なるので、各撮像指定領域内画像作成装置４
０−１〜４０−５内の撮像指定領域ＬＳには違いが設け
られている。両端の３Ｄカメラ３０−１，３０−５側の
表示密度画素作成装置５０−１，５０−５で画素密度変
換された濃淡画像Ｓ５２及び距離画像Ｓ５３は、死角対
処装置６０において図１４〜図２０に示すような処理が
行われる。

【００３０】図１４は、図１の対向面判定手段６１の処
理内容を示すもので、被写体の面の３Ｄカメラ３０−
１，３０−５に対する面の傾きの説明図である。図１４
中のＯ₁ 〜Ｏ₅ は３Ｄカメラ３０−１〜３０−５の主点
である。例えば、右端の３Ｄカメラ３０−５の主点Ｏ₅
を用いて対向面判定手段６１の処理内容を説明する。な
お、左端の３Ｄカメラ３０−１の主点Ｏ₁ についても、
傾き面の正負のとり方が逆になるだけで、基本的な処理
内容は同様である。図１５は、右端の３Ｄカメラ３０−
５（Ｏ₅ ）に着目したときの図１の被写体面の向きの判
定方法を示す説明図である。及び、図６は、図１の被写
体面の成す角と３Ｄカメラ設置角を示す説明図である。
対向面判定手段６１では、例えば画素を時計回りに走査
する。この場合、距離変化分を１画素（即ち、画素密度
変化された画素のことをいい、以下同様の意味に使用す
る）で除した値が一定値以上のときには、３Ｄカメラ３
０−５で見る面が最も適した面で、それ以外の３Ｄカメ
ラ３０−１〜３０−４ではより急峻な面となってしま
う。そこで、これらの面については、右端の３Ｄカメラ
３０−５（Ｏ₅ ）で見た濃淡画像Ｓ７１及び距離画像Ｓ
７２を濃淡画像メモリ７１及び距離画像メモリ７２にそ
れぞれ記憶する。前記の一定値とは、この例では等角に
５台の３Ｄカメラ３０−１〜３０−５を用いているの
で、１画素当りの距離変化分ｄｌ／ｄＢが１／４・（π
／２−θ）で表現される値のことである。例えば、図１
６に示すように、画角θは６５度であるので、光軸Ｈ３
０−５と直角を成す線に対して−６．２５度の傾きを持
つ面がその一定値となる。そして、規格化された距離変
化分が画素幅の約１／９画素分に相当するので、画素幅
方向に９画素走査したときの距離変化が１画素以下の面
ということになる。

【００３１】なお、規格化された距離変化分とは、その
距離値における画素幅と同じ寸法となる位相差変化分に
相当する。例えば、６７画素の位相差を示す距離の被写
体では１／９画素分であるが、１１５画素の位相差を示
す距離では約１／５画素分となる。即ち、５画素幅方向
に走査したとき、１位相差変化分が−６．２５度に相当
する。この判定基準を次の表１に示す。

【００３２】

【表１】 この表１において、位相差及び画素数共に計数値である
ので、量子化誤差が小さくなるように、計算結果の画素
数を四捨五入にて決定する方法をとっている。表１は、
検出された面の向きにより、他の３Ｄカメラ３０−１，
…のデータの処理手順の優先順位付けをするもので、判
定基準内の３Ｄカメラ３０−５のデータから当てはめる
ようにしている。この対向面判定手段６１においては、
１位相差変化までの被写体面について取り扱う。１位相
差変化よりも大きい位相差変化は、次の死角検出手段６
２にて処理される。

【００３３】図１７は、図１の死角検出手段６２におけ
る死角の説明図である。最短距離においても、規格化距
離は１．７位相差である。そのため、死角検出手段６２
において、位相差変化分は２位相差以上の変化が画素間
にあるところを死角として定義付けしている。図１７に
示すように、死角には２通りの死角が存在する。１つは
撮像指定領域内の被写体自身の影となってしまう部分で
ある死角可能性領域Ｉである。他の１つは、被写体全体
が撮像指定領域ＬＳの遠端に落とす影の部分である死角
可能性領域ＩＩである。死角可能性領域Ｉは、３Ｄカメ
ラ３０−５（Ｏ₅ ）においては負の２位相差変化以上の
変化の領域に相当し、正の値のときは無視する形で検出
される。３Ｄカメラ３０−１（Ｏ₁ ）では正負が逆とな
る。この位相差変化の大きさにより、死角部分の幅が計
算されるので、その死角部分を埋めるように他の３Ｄカ
メラ３０−１，…のデータを死角対応選択手段６４にて
当てはめていく。このときは、３Ｄカメラ３０−１（Ｏ
₁ ）から当てはめていき、３Ｄカメラ３０−４までその
処理を行うが、死角部分の画素を埋めつくした時点で処
理を終了させる。

【００３４】図１８は、図１の死角有無判断手段６５で
死角有無を判別する際に用いる補正係数メモリ（例えば
ＲＯＭ）の構成例を示す図である。図１９は、図１の死
角部分とその死角を埋める他の３Ｄカメラの設置角との
説明図である。及び、図２０は、図１の画角位置と補正
係数値との一例を示す図である。前記の死角部分の寸法
値は、各３Ｄカメラ３０−１〜３０−５の設置角によっ
て埋めつくす画素数に違いがある。そこで、この死角部
分の寸法値は、例えば図１８に示すような補正係数ＲＯ
Ｍを作成しておき、距離値ｌと画像位置Ｘで定まる係数
を乗算して判定するようにしている。

【００３５】このような補正係数の決め方の一例を、図
１９及び図２０を参照しつつ説明する。補正係数は、死
角と検出される向きに対して直角な方向から見る３Ｄカ
メラ３０−１〜３０−５の視線のとき最大となり、その
値を１とする。図２０は、その直角な視線上を３Ｄカメ
ラ３０−５（Ｏ₅ ）の有効画素内（例えば、−２５度〜
＋５度）についての係数値を示している。画角位置は各
３Ｄカメラ３０−１〜３０−５を構成する２次元画像入
力装置の撮像位置（画素番号）に対応する。そのため、
３Ｄカメラ３０−１〜３０−５の距離値と画像位置によ
り、他の３Ｄカメラの補正係数値が求められる。なお、
図１８の補正係数ＲＯＭは、３Ｄカメラ３０−５
（Ｏ₅ ）に対し、残りの３Ｄカメラ３０−１（Ｏ₁ ）〜
３０−４（Ｏ₄）に対してそれぞれ設けられている。そ
の死角の大きさは、処理領域メモリ６３に記憶される。

【００３６】以上のように、図１７に示す死角可能性領
域Ｉに他の３Ｄカメラ３０−１〜３０−４のデータを当
てはめる際も、対向面の角度を判断基準として、他の３
Ｄカメラ３０−１〜３０−４のデータ（位相差変化の小
さい面）が優先的に当てはめられる。当てはめる面で、
撮像指定遠端の記号を含めて全部埋めつくされなかった
場合には、それが死角有無判断手段６５で判断され、そ
の死角部分Ｓ７０が死角記憶メモリ７０に格納される。

【００３７】次に、図１７に示す死角可能性領域ＩＩ
は、各３Ｄカメラ３０−１〜３０−５の濃淡画像Ｓ５２
及び距離画像Ｓ５３の記号で置換した部分以外の距離値
を持った画像のその距離値から、撮像指定領域遠端まで
の距離範囲が全てこの死角可能性領域ＩＩとなる。とこ
ろが、この死角可能性領域ＩＩまでの間は、死角可能性
領域Ｉとして３Ｄカメラ３０−１（Ｏ₁ ）及び３０−５
（Ｏ₅ ）にて処理されているし、かつ死角可能性領域Ｉ
Ｉに対して表示については無効な記号に置き換えてある
ので、無視してよい領域といえる。つまり、死角対処装
置６０では、死角可能性領域Ｉのみの死角処理で良く、
かつ表示画素の大きさよりも位相差変化の距離の方が小
さいので、両端の３Ｄカメラ３０−１，３０−５のみで
死角の有無を検出できる。また、その死角部分を他の３
Ｄカメラ３０−２〜３０−４のデータで埋めていき、そ
れでも残った部分を図１の装置では検出不能な死角とし
て認識できるようになっている。このように、中間の３
Ｄカメラ３０−２〜３０−４の死角部分は、両端の３Ｄ
カメラ３０−１，３０−５の死角を埋めていく処理過程
で、位相差変化の小さい画像を選択しながら埋めていく
ので、位相差の大きい死角部分が使われず、特に死角処
理の必要がない。

【００３８】以上のようにして得られた死角部分以外の
画像について、カメラ番号（画角、設置角）や画素番号
（Ｘ方向、Ｙ方向）といった画素番号Ｓ７５、濃淡画像
Ｓ７６、及び距離画像Ｓ７７の組として画素番号メモリ
７５、濃淡画像メモリ７６、及び距離画像メモリ７７に
順次記憶される。本実施例では、次のような利点を有し
ている。 （ａ） 撮像指定領域内画像作成装置４０−１〜４０−
５により撮像指定領域ＬＳを設け、表示密度画素作成装
置５０−１〜５０−５により、該撮像指定領域ＬＳの最
長距離において、距離検出精度（１位相差分）が表示画
像の１画素分以下の値になるように濃淡画像Ｓ５２を合
成するようにしたので、両端の３Ｄカメラ３０−１，３
０−５側の表示密度画素作成装置５０−１，５０−５の
出力距離画像Ｓ５３のみに対向面判定手段６１で対向面
の判定、及び死角検出手段６２で死角検出を行えば、死
角部分と被写体面不適部分を簡単に特定できる。しか
も、中間の３Ｄカメラ３０−２〜３０−４側の表示密度
画素作成装置５０−２〜５０−４の出力距離画像Ｓ５３
は、死角部分と被写体面不適部分に対応させれば良いの
で、従来の全画面を走査するのに比較し、画面の一部の
走査で良く、処理時間を短縮できる。さらに、中間の３
Ｄカメラ３０−２〜３０−４の信号に対しては、対向面
判定手段６１及び死角検出手段６２が不要となり、規模
の小さな死角対応選択手段６４で処理できるので、装置
規模を小型化できる。

【００３９】（ｂ） 死角有無判断手段６５により、複
数視点３次元画像入力装置として、残存死角の有無がわ
かるので、得られた画像の残存死角による画質の劣化度
合を知ることができ、画像のファイリングの際のファイ
ル可否の判断ができる。 （ｃ） 表示密度画素作成装置５０−１〜５０−５で画
素密度変換を行うときに、距離値に該当する濃淡画像Ｓ
４４を選択して新たな濃淡画像値としているので、その
濃淡画像値は少なくとも被写体の濃淡値の合成値とな
り、他の被写体の濃淡値が紛れ込まない、純度の良い濃
淡値が得られる。なお、本発明は上記実施例に限定され
ず、例えば、図１の撮像指定領域内画像作成装置４０−
１〜４０−５、表示密度画素作成装置５０−１〜５０−
５、及び死角対処装置６０等を、図示以外の構成に変更
する等、種々の変形が可能である。

【００４０】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、撮像指定領域を設け、その撮像指定領域は複
数設置された個々の３次元画像入力装置の全ての視野に
少なくとも位置し、該撮像指定領域の距離幅の中心線の
交点が一点に集まるようにその個々の３次元画像入力装
置を設置したので、少ないデータ処理量で、被写体特定
処理とその最適画像の選択を行って死角部分の除去が行
える。そのため、処理回路規模の削減化と処理時間の短
縮化が可能となる。第２の発明によれば、撮像指定領域
外の画像データは３次元的に全て廃棄する不要領域デー
タ廃棄手段を設けたので、より少ないデータ処理量で死
角部分と被写体面不適部分を特定でき、より処理回路規
模の削減化と処理時間の短縮化が可能となる。

【００４１】第３の発明によれば、撮像指定領域幅内の
最大距離値以上の画素には所定の記号を書込む記号代入
手段を設けたので、少ないデータ量で濃淡画像と距離画
像の作成が行える。第４の発明によれば、表示密度画素
作成手段を設けたので、撮像指定領域の最長距離におい
て、距離検出精度（例えば、１位相差分）が表示画素の
１画素分以下の値になるように濃淡画像が合成される。
そのため、複数台の３次元画像入力装置の両端の信号の
みに例えば対向面判定や死角検出を行えば、死角部分と
被写体面不適部分を簡単に特定できる。そして、中間に
配置した３次元画像入力装置の信号を死角部分と被写体
面不適部分に対応させることにより、従来の全画面を走
査するのに比較し、画面の一部の走査で良く、処理時間
の短縮化が可能となる。

【００４２】第５の発明によれば、表示密度画素作成手
段は画素密度変換を行うときに各画素の距離値の分布を
もとに新たな距離値とする機能を有するので、画素密度
変換が簡単に行える。第６の発明によれば、表示密度画
素作成手段は、画素密度変換を行った後の濃淡画像値に
おいて、新たな距離値に対応する画素の濃淡値のみを選
択処理して新たな濃淡画像値とする機能を有するので、
その新たな濃淡画像値を用いた死角検出が容易になる。
第７の発明によれば、死角対処手段を設けたので、両端
の３次元画像入力装置の信号のみに対向面判定及び死角
検出を行えば、死角部分と被写体面不適部分を簡単に特
定できる。そして、中間の３次元画像入力装置の信号は
死角部分と被写体面不適部分に対応させることになり、
従来の全画面を走査するのに比較し、画面の一部の走査
で良く、処理時間の短縮化が可能となる。しかも、中間
の３次元画像入力装置の信号に対しては対向面判定及び
死角検出の処理が不要となり、回路規模の小さな死角対
応選択手段で処理できるので、装置規模の小型化が可能
となる。

【００４３】第８の発明によれば、２次元画像入力装置
の相対位置にオフセットを設けたので、２次元画像入力
装置の位相差検出領域が広がる。第９の発明によれば、
死角検出手段は被写体の距離値により死角判別値を規格
化する機能を有するので、死角の検出が容易になる。第
１０の発明によれば、死角有無判断手段は、被写体の３
次元位置により残存死角の判断基準となる画素数を変更
する機能を有するので、死角有無の判断が容易になる。

【図面の簡単な説明】

【図１】本発明の実施例を示す複数視点３次元画像入力
装置の構成ブロック図である。

【図２】従来の３次元画像入力方式の１つであるステレ
オ画像法の説明図である。

【図３】図２のステレオ画像法で得られた濃淡画像と距
離画像の説明図である。

【図４】従来の３次元画像表示方式の１つである多眼式
レンチキュラ方式の原理図である。

【図５】先の提案の複数視点３次元画像入力装置の概略
の構成ブロック図である。

【図６】図１の３Ｄカメラの説明図である。

【図７】図１の撮像指定距離範囲の説明図である。

【図８】図１の撮像指定領域の説明図である。

【図９】図６に示す２次元画像入力装置のオフセット配
置の説明図である。

【図１０】図１の撮像指定領域内画像作成装置の処理内
容を示す説明図である。

【図１１】図１の対応点検索領域の限定領域を示す説明
図である。

【図１２】図１の画素密度変換例を示す説明図である。

【図１３】図１の画素密度変換方法を示す説明図であ
る。

【図１４】図１の被写体面の傾きを示す説明図である。

【図１５】図１の被写体面の判定方法を示す説明図であ
る。

【図１６】図１の被写体面のなす角と３Ｄカメラ設置角
を示す説明図である。

【図１７】図１の死角の説明図である。

【図１８】図１の死角有無を判別する際に用いる補正係
数ＲＯＭの構成例を示す図である。

【図１９】図１の死角部分と死角を埋める他の３Ｄカメ
ラの設置角との説明図である。

【図２０】図１の画角位置と補正係数値との一例を示す
図である。

【符号の説明】

３０−１〜３０−５ ３Ｄカメラ ３１，３２ ２次元画像入力装置 ４０−１〜４０−５ 撮像指定領域内画像作成装置 ４１ 領域限定対応点検索手段 ４２ 不要領域データ廃棄手段 ４３ 記号代入手段 ４４，５２，７１，７３，７６ 濃淡画像メモリ ４５，５３，７２，７４，７７ 距離画像メモリ ５０−１〜５０−５ 表示密度画素作成装置 ５１ 画素密度変換手段 ６０ 死角対処装置 ６１ 対応面判定手段 ６２ 死角検出手段 ６３ 処理領域メモリ ６４ 死角対応選択手段 ６５ 死角有無判断手段 ７０ 死角記憶メモリ ７５ 画素番号メモリ

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 照射された被写体の画像を入力してその
   被写体を表現する濃淡画像の信号を出力する少なくとも
   ２個の２次元画像入力装置を有する３次元画像入力装置
   を、複数台備えた複数視点３次元画像入力装置におい
   て、 撮像指定領域を設け、その撮像指定領域は前記各３次元
   画像入力装置の全ての視野に位置し、該撮像指定領域の
   距離幅の中心線の交点が一点に集まるように前記各３次
   元画像入力装置を配置したことを特徴とする複数視点３
   次元画像入力装置。
2. 【請求項２】 前記撮像指定領域外の画像データは３次
   元的に全て廃棄する不要領域データ廃棄手段を、設けた
   ことを特徴とする請求項１記載の複数視点３次元画像入
   力装置。
3. 【請求項３】 前記撮像指定領域幅内の最大距離値以上
   の画素には所定の記号を書込む記号代入手段を、設けた
   ことを特徴とする請求項１記載の複数視点３次元画像入
   力装置。
4. 【請求項４】 前記撮像指定領域の最長距離において距
   離検出精度が所望表示画素の画素幅より狭くなるように
   前記３次元画像入力装置の出力画像に対し画素密度変換
   を行って濃淡画像を合成する表示密度画素作成手段を、
   前記各３次元画像入力装置毎に設けたことを特徴とする
   請求項１記載の複数視点３次元画像入力装置。
5. 【請求項５】 前記表示密度画素作成手段は、画素密度
   変換を行うときに各画素の距離値の分布をもとに新たな
   距離値とする機能を有することを特徴とする請求項４記
   載の複数視点３次元画像入力装置。
6. 【請求項６】 前記表示密度画素作成手段は、画素密度
   変換を行った後の濃淡画像値において、新たな距離値に
   対応する画素の濃淡値のみを選択処理して新たな濃淡画
   像値とする機能を有することを特徴とする請求項４記載
   の複数視点３次元画像入力装置。
7. 【請求項７】 前記複数台の３次元画像入力装置中の両
   端の３次元画像入力装置側に設けられた前記表示密度画
   素作成手段の出力に基づき前記被写体面の向きを判定す
   る対向面判定手段と、 前記対向面判定手段の判定結果に基づき前記被写体の死
   角を検出する死角検出手段と、 前記両端の３次元画像入力装置以外の３次元画像入力装
   置側に設けられた前記表示密度画素作成手段の出力に基
   づき前記対向面判定手段及び死角検出手段の処理領域に
   ついて最適画像を選択し当てはめる死角対応選択手段
   と、 前記死角対応選択手段の当てはめ状況から残存死角の有
   無を判断する死角有無判断手段とを、備えた死角対処手
   段を、 前記複数の表示密度画素作成手段の出力側に接続したこ
   とを特徴とする請求項４記載の複数視点３次元画像入力
   装置。
8. 【請求項８】 前記２次元画像入力装置の位相差検出方
   向において、前記表示密度画素作成手段で合成した表示
   画素密度により決まる位相差の画素数分だけ、所定の光
   軸間隔に対して前記２次元画像入力装置の相対位置にオ
   フセットを設けたことを特徴とする請求項４記載の複数
   視点３次元画像入力装置。
9. 【請求項９】 前記死角検出手段は、前記被写体の距離
   値により死角判別値を規格化する機能を有することを特
   徴する請求項７記載の複数視点３次元画像入力装置。
10. 【請求項１０】 前記死角有無判断手段は、前記被写体
    の３次元位置により残存死角の判断基準となる画素数を
    変更する機能を有することを特徴とする請求項７記載の
    複数視点３次元画像入力装置。