JPH09231370A

JPH09231370A - 画像情報入力装置

Info

Publication number: JPH09231370A
Application number: JP8057058A
Authority: JP
Inventors: Katsumi Iijima; 克己飯島; Katsuhiko Mori; 克彦森; Motohiro Ishikawa; 基博石川; Sunao Kurahashi; 直倉橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-02-21
Filing date: 1996-02-21
Publication date: 1997-09-05

Abstract

(57)【要約】【課題】被写体を目的とする画像形態に変換するため
の処理に柔軟に対応可能な奥行き情報を得ることができ
る画像情報入力装置を提供する。【解決手段】奥行き情報抽出処理では、複数視点から
撮像された被写体像を処理し、その処理によって奥行き
情報を不等間隔のボクセル空間上に求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、任意の位置から撮
像した被写体像に基づきその被写体の奥行き情報を抽出
する画像情報入力装置に関する。

【０００２】

【従来の技術】従来、物体の三次元形状を求める技術と
しては、大別して受動的手法と能動的手法とがある。

【０００３】受動的手法の代表的なものとして、２台の
カメラを用いて三角測量を行うステレオ画像法があり、
このステレオ画像法では、左右の画像から同じものが写
し出されている場所を探索し、その場所を示す位置のず
れ量から被写体の三次元位置を計測する。

【０００４】これに対し、能動的手法の代表的なものと
しては、被写体に対し所定位置から光を投影し、被写体
からの反射光がその所定位置に戻るまでの時間を計測
し、その計測した時間から被写体までの距離を求める手
法があり、この手法は光レーダ型のレンジファインダー
などに適用されている。

【０００５】また、被写体に対しスリット状の光パター
ンを投影し、その被写体に写るパターン形状の変位から
その被写体の三次元形状を測定するスリット光投影法な
どがある。

【０００６】これらの方法で得られた被写体の三次元デ
ータから被写体を任意の視点から見た場合における被写
体像を生成し、その被写体上を２次元のディスプレイな
どに表示するなど、上述の物体の三次元形状を求める技
術は、画像処理分野で広く用いられている。

【０００７】近年、パーソナルコンピュータの普及およ
びその急速な性能向上に伴い、パーソナルコンピュータ
によって、電子カメラで撮像した画像を取り込み、その
画像編集を行うことが可能なアプリケーションソフトが
出現している。例えば、電子カメラで風景を複数の画像
に分けて撮影するとすると、この複数の画像はパーソナ
ルコンピュータに取り込まれ、パーソナルコンピュータ
では、アプリケーションソフトを起動することによっ
て、その取り込まれた画像に対しその画像の編集などの
処理を施すなど、取り込まれた画像をある限定された範
囲で処理することが可能である。

【０００８】

【発明が解決しようとする課題】しかし、上述のステレ
オ画像法においては、カメラが設置されている特定位置
からの距離情報算出が主目的であり、被写体の立体形状
そのものを直接計測することを目的としていない。

【０００９】また、能動的手法では、被写体に対する投
影を、レーザ光などを被写体に照射することによって行
うから、その利用において煩雑な作業が必要である。

【００１０】さらに、受動的手法、能動的手法のいずれ
かを、ある物体をその周囲を移動しながら撮像するよう
な動的な撮像方式に適用することにより、その物体に対
する奥行き情報を抽出する方法があるが、その方法によ
っては、画像処理に柔軟に対応可能な奥行き情報を抽出
することはできない。

【００１１】さらに、処理された画像は２次元ディスプ
レイまたは紙などに出力されることが多く、またその画
像形態は自然画である場合、被写体を輪郭線で表す線画
である場合などの各種形態の場合からなる。すなわち、
上述の手法などで得られた距離情報などに基づき被写体
形状を２次元ディスプレイまたは紙などに忠実に出力す
ることに主眼がおかれているから、一般的には、被写体
の三次元データを様々な側面から加工するための画像処
理に柔軟に対応可能な奥行き情報の抽出は行われておら
ず、柔軟に対応可能な奥行き情報が必要とされる画像形
態へ被写体を変換することは行われていない。

【００１２】一方、電子カメラで撮像した画像を取り込
み、その画像編集を行うことが可能なアプリケーション
ソフトは出現しているが、アプリケーションソフトで
は、被写体の三次元データを様々な側面から加工するた
めの画像処理に柔軟に対応可能な奥行き情報が得られな
いから、その取り込まれた画像に対する処理内容が制限
され、被写体を目的とする画像形態に変換することはで
きない。

【００１３】本発明の目的は、被写体を目的とする画像
形態に変換するための処理に柔軟に対応可能な奥行き情
報を得ることができる画像情報入力装置を提供すること
にある。

【００１４】

【課題を解決するための手段】請求項１記載の発明は、
少なくとも１つの光学系を介して被写体を撮像し、その
被写体像を出力する撮像手段と、前記撮像手段で任意の
位置から撮像した被写体像に基づきその被写体の奥行き
情報を抽出する奥行き情報抽出手段を備える画像情報入
力装置において、前記奥行き情報抽出手段は、複数視点
から撮像された被写体像を処理し、その処理によって前
記奥行き情報を不等間隔のボクセル空間上に得ることを
特徴とする。

【００１５】請求項２記載の発明は、請求項１記載の画
像情報入力装置において、前記不等間隔のボクセル空間
は、直交座標系、極座標系、円筒座標系のいづれかで表
される空間からなることを特徴とする。

【００１６】請求項３記載の発明は、請求項２記載の画
像情報入力装置において、前記不等間隔のボクセル空間
は、その原点がパッド内に設けられ、前記パッドから離
れるに従い間隔が狭くなることを特徴とする。

【００１７】請求項４記載の発明は、請求項１記載の画
像情報入力装置において、前記不等間隔のボクセル空間
は、各視点から見た際にその間隔が適応的に変換するこ
とを特徴とする請求項１記載の画像情報入力装置。

【００１８】請求項５記載の発明は、請求４記載の画像
情報入力装置において、前記間隔が適応的に変化する不
等間隔のボクセル空間とは、その原点がパッド内に設け
られ、各視点から前記パッドまでの距離に応じて変化す
る空間からなることを特徴とする。

【００１９】請求項６記載の発明は、請求項５記載の画
像情報入力装置において、前記各視点から前記パッドま
での距離に応じて変化するボクセル空間は、前記撮像手
段から離れるに従い間隔が広くなることを特徴とする。

【００２０】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて図を参照しながら説明する。

【００２１】（実施の第１形態）図１は本発明の画像情
報入力装置の実施の第１形態の構成を示すブロック図で
ある。

【００２２】画像情報入力装置は、図１に示すように、
被写体を撮像するカメラヘッド１を備える。本例では、
カメラヘッド１は、背面３を背景とする検出物（被写
体）２を撮像する。

【００２３】カメラヘッド１は、左右に設けられている
撮像レンズ１００Ｌ，１００Ｒと、撮像レンズ１００Ｌ
と撮像レンズ１００Ｒとの間に配置されている照明部２
００とを有する。

【００２４】撮像レンズ１００Ｌは装置側からみて左側
に、撮像レンズ１００Ｒは装置側からみて右側にそれぞ
れ配置されている。撮像レンズ１００Ｌによる撮像範囲
は、図中の１０Ｌで表される範囲からなり、撮像レンズ
１００Ｒによる撮像範囲は、図中の１０Ｒで表される範
囲からなる。カメラヘッド１は、各撮像レンズ１００
Ｌ，１００Ｒを介して捕らえられた被写体をＣＣＤから
なる撮像素子（図示せず）に結像し、ＣＣＤは被写体像
を光電変換によって対応する電気信号に変換し、この電
気信号はアナログ・デジタル変換によってデジタル信号
の画像データに変換される。

【００２５】カメラヘッド１の姿勢および位置は、カメ
ラ姿勢位置検知部４で検知される。カメラ姿勢位置検知
部４は、ジャイロなどのセンサからの検出信号に基づき
角度情報を算出する手段と、背面３から得られる情報に
基づき画像処理を行うことによって姿勢位置情報を算出
する手段とを有し、これらの手段によってカメラヘッド
１の姿勢、位置を検出する。本実施の形態では、カメラ
ヘッド１はＡ０−Ａｎ間の位置を撮像位置として移動さ
れ、そのカメラヘッド１の位置はカメラ姿勢位置検知部
４で検知される。

【００２６】カメラヘッド１で得られた画像データおよ
びそれに対応するカメラ姿勢位置検知部４で得られた姿
勢位置情報は、各画像メモリ５ａ，５ｂの一方に対応付
けられて格納される。画像メモリ５ａ，５ｂに格納され
た画像データおよびそれに対応する姿勢位置情報は、奥
行き情報演算部６に与えられる。

【００２７】奥行き情報演算部６は、画像データとそれ
に対応する姿勢位置情報に基づき演算を行い、この演算
によって被写体の立体形状を規定する３次元画像データ
（奥行き情報）を算出する。

【００２８】この算出された３次元画像データは２次元
画像データ演算部７に与えらえ、２次元画像データ演算
部７は、３次元画像データに基づき使用者が指定する画
像形態および指定された視点から見ることを条件に被写
体の２次元画像データを算出する。この算出された被写
体の２次元画像データからは、使用者が指定する画像形
態でかつ指定された視点から見た２次元画像が得られる
ことになる。この画像形態の指定および視点の指定は操
作手段１１から行われ、この視点は任意の位置に指定す
ることが可能である。

【００２９】２次元画像データ演算部７は、カメラヘッ
ド１、カメラ姿勢位置検知部４、各画像メモリ５ａ，５
ｂ、奥行き情報演算部６と共働して画像情報入力装置を
構成する。

【００３０】２次元画像データ演算部７で算出された２
次元画像データは、操作手段１１、データ合成手段１０
００またはプリンタ９に供給される。

【００３１】データ合成手段１０００は、操作手段１１
の指示に基づき文章データ作成手段１００１が作成した
文章に供給された２次元画像データが示す画像をはめ込
むための合成処理を行い、その合成処理の結果は操作手
段１１を介してモニタ８に表示される。

【００３２】プリンタ９は操作手段１１に指示に基づき
供給された２次元画像データが示す画像を印刷するとと
もに、操作手段１１を介して供給された画像合成文章を
印刷する。

【００３３】操作手段１１は、上述した条件などの設定
を行うとともに、データ合成手段１０００およびプリン
タ９への指示、供給された２次元画像データが示す画
像、供給された画像合成文章のモニタ８への表示などを
行う。

【００３４】本画像情報入力装置による撮影動作につい
て説明する。

【００３５】まず、カメラヘッド１が、その初期位置と
して例えばＡ０の位置において検出物２に向けられる。
次いで、使用者によってレリーズボタン（図示せず）が
操作され、位置Ａ０において検出物２の撮影が行われ
る。

【００３６】位置Ａ０における撮影が終了すると、カメ
ラヘッド１は検出物２を中心に順次位置Ａ０から位置Ａ
ｎに向けて所定の移量角度量で円弧上を移動される。カ
メラ姿勢位置検知部４がカメラヘッド１の所定角度量の
移動を検出すると、次の撮影が行われ、以降順に位置Ａ
ｎまでの撮影が行われる。例えば、Ａ０〜Ａｎ間が１８
０度で３度の移動ピッチで撮影が順に行われると、６０
個の画像データが得られることになる。

【００３７】この移動角度量の設定は、カメラ姿勢位置
検知部４のジャイロなどのセンサの検知性能および求め
たい奥行き情報の分解能から決定される。例えば、ジャ
イロの検出能力が９０度／ｓｅｃであるとき、移動角度
量として３度／フレーム速度に設定される。

【００３８】この撮影中、画像データとその撮影位置お
よび方向に対する変位量とは、対応付けて画像メモリ５
ａ，５ｂに格納される。また、カメラヘッド１の位置お
よび方向の少なくとも一方が所定より大きく移動する
と、警告手段（図示せず）から警告が発せられる。さら
に、検出物２の奥行き情報の演算に対し十分な画像デー
タが得られると、撮影終了報知手段（図示せず）で十分
な画像データが得られた旨が使用者に通知され、使用者
はその通知に基づき撮影を終了する。

【００３９】撮影が終了すると、画像メモリ５ａ，５ｂ
に格納された画像データおよびそれに対応する姿勢位置
情報は奥行き情報演算部６に与えら、奥行き情報演算部
６は、画像データとそれに対応する姿勢位置情報に基づ
き演算を行い、この演算によって被写体の立体形状を規
定する３次元画像データ（奥行き情報）が算出される。

【００４０】この算出された３次元画像データは２次元
画像データ演算部７に与えらえ、２次元画像データ演算
部７は、３次元画像データに基づき使用者が指定する画
像形態および指定された視点から見ることを条件に被写
体の２次元画像データを算出する。この算出された被写
体の２次元画像データからは、使用者が指定する画像形
態でかつ指定された視点から見た２次元画像が得られ、
この得られた２次元画像はモニタ８に表示される。この
画像形態および視点の変更が操作手段１１から行われる
と、変更した画像形態でかつ視点から見た２次元画像が
得られる。

【００４１】次に、画像情報入力装置の詳細な構成につ
いて図２ないし図４を参照しながら説明する。図２およ
び図３は図１の画像情報入力装置の詳細な構成を示すブ
ロック図、図４は図２のシステムコントローラの構成を
示すブロック図である。

【００４２】カメラヘッド１は、図２および図３に示す
ように、左右撮像レンズ１００Ｌ，１００Ｒに対しほぼ
対象に構成されている。

【００４３】撮像レンズ１００Ｌは、図２に示すよう
に、ズーム機構（図示せず）およびオートフォーカス機
構（図示せず）を有し、ズーム機構はズーム制御部１０
６Ｌで、オートフォーカス機構はフォーカス制御部１０
７Ｌでそれぞれ駆動、制御される。

【００４４】撮像レンズ１００Ｌの後方には光量を調節
するための絞り１０１Ｌが配置され、絞り１０１Ｌの絞
り量は絞り制御部１０８Ｌで駆動、制御される。

【００４５】光量が調節された被写体像はイメージセン
サ（ＣＣＤ）１０２Ｌに結像され、イメージセンサ１０
２Ｌは光電変換によって被写体像を対応する電気信号に
変換する。イメージセンサ１０２Ｌはイメージセンサド
ライバ１２０Ｌで駆動、制御される。

【００４６】イメージセンサ１０２Ｌの電気信号はＡ／
Ｄ変換部１０３Ｌでデジタル信号に変換され、このデジ
タル信号は各メモリ８３，８５に格納される。

【００４７】撮像レンズ１００Ｒは、撮像レンズ１００
Ｌと同様に、ズーム機構（図示せず）およびオートフォ
ーカス機構（図示せず）を有し、ズーム機構はズーム制
御部１０６Ｒで、オートフォーカス機構はフォーカス制
御部１０７Ｒでそれぞれ駆動、制御される。

【００４８】撮像レンズ１００Ｒの後方には光量を調節
するための絞り１０１Ｒが配置され、絞り１０１Ｒの絞
り量は絞り制御部１０８Ｒで駆動、制御される。

【００４９】光量が調節された被写体像はイメージセン
サ（ＣＣＤ）１０２Ｒに結像され、イメージセンサ１０
２Ｒは光電変換によって被写体像を対応する電気信号に
変換する。イメージセンサ１０２Ｒはイメージセンサド
ライバ１２０Ｒで駆動、制御される。

【００５０】イメージセンサ１０２Ｒの電気信号はＡ／
Ｄ変換部１０３Ｒでデジタル信号に変換され、このデジ
タル信号は各メモリ７３，７５に格納される。

【００５１】ズーム制御部１０６Ｌ、フォーカス制御部
１０７Ｌ、絞り制御部１０８Ｌ、イメージセンサドライ
バ１２０Ｌ、ズーム制御部１０６Ｒ、フォーカス制御部
１０７Ｒ、絞り制御部１０８Ｒ、イメージセンサドライ
バ１２０Ｒにはシステムコントローラ２１０から制御内
容を示す指示が与えられる。

【００５２】システムコントローラ２１０は、照明２０
０を駆動制御するとともに、カメラ姿勢位置検知部４か
ら姿勢位置情報を監視し、上述した警告音を発するため
の発音体９７の駆動を制御する。発音体９７は、警告音
とともに、システムコントローラ２１０からの指示に基
づき撮影終了通知の旨を示す撮影終了通知音を発する。
発音体９７は、上述の警告手段と撮影終了報知手段とを
構成する。

【００５３】各メモリ８３、８５に格納されている画像
データは、図３に示すように、映像信号処理部１０４Ｌ
およびオーバラップ検出部９２に与えられる。

【００５４】映像信号処理部１０４Ｌは、各メモリ８
３，８５のデジタル信号を適正な形態の輝度信号および
色信号に変換するための変換処理を行う。映像信号処理
部１０４Ｌの輝度信号および色信号は、被写体分離部１
０５Ｌおよび表示部２４０に与えられる。

【００５５】被写体分離部１０５Ｌは、映像信号処理部
１０４Ｌの輝度信号および色信号から奥行き情報の計測
対象となる主被写体とその背景とを分離する。この分離
方法としては、例えば、予め背面の映像を撮像し、その
画像をメモリに保持した後に、計測対象となる主被写体
をその背景とともに撮像し、撮像した映像と予めメモリ
に格納している背面の映像とのマッチングおよび差分処
理を施し、背面領域を分離する方法が用いられる。この
方法に代えて、色またはテクスチャの情報に基づき主被
写体とその背景とを分離する方法を用いることもでき
る。なお、本実施の形態では、主被写体として検出物２
が背面３から分離される。

【００５６】被写体分離部１０５Ｌで背景と分離された
主被写体の画像は、画像処理部２２０および合焦検出部
２７０に与えられる。

【００５７】同様に、各メモリ７３、７５に格納されて
いる画像データは、映像信号処理部１０４Ｒおよびオー
バラップ検出部９２に与えられる。

【００５８】映像信号処理部１０４Ｒは、各メモリ７
３，７５のデジタル信号を適正な形態の輝度信号および
色信号に変換するための変換処理を行う。映像信号処理
部１０４Ｒの輝度信号および色信号は、被写体分離部１
０５Ｒおよび表示部２４０に与えられる。

【００５９】被写体分離部１０５Ｒは、映像信号処理部
１０４Ｒの輝度信号および色信号から奥行き情報の計測
対象となる主被写体とその背景とを分離する。この分離
方法としては、上述した方法と同じ方法である。

【００６０】被写体分離部１０５Ｒで背景と分離された
主被写体の画像データは、画像処理部２２０および合焦
検出部２７０に与えられる。

【００６１】オーバーラップ検出部９２は、各撮像レン
ズ１００Ｌ，１００Ｒで捕らえられた各画像データに基
づき各撮像レンズ１００Ｌ，１００Ｒで捕らえられた被
写体の重りの程度を検出し、その検出結果情報はシステ
ムコントローラ２１０（図２に示す）に与えられる。

【００６２】画像処理部２２０は、各撮像レンズ１００
Ｌ，１００Ｒで捕らえられた各主被写体の画像データに
基づき被写体の奥行き情報を抽出するとともに、その抽
出した各撮像地点における被写体の奥行き情報をカメラ
姿勢位置検知部４から得られる姿勢位置情報に基づき統
合し、出力する。この奥行き情報の抽出およびその統合
については後述する。なお、この画像処理部２２０に
は、図１に示す、画像メモリ５ａ，５ｂ、奥行き情報演
算部６、２次元画像データ演算部７が含まれている。画
像処理部２２０で抽出された奥行き情報は、記録部２５
０に記録される。

【００６３】表示部２４０は、各撮像レンズ１００Ｌ，
１００Ｒで捕らえられた被写体画像を表示する。

【００６４】合焦検出部２７０は、各主被写体の画像デ
ータに基づき演算を行い、その演算によって各撮像レン
ズ１００Ｌ，１００Ｒにおける焦点距離情報を求める。
この求められた各撮像レンズ１００Ｌ，１００Ｒにおけ
る焦点距離情報は、システムコントローラ２１０に与え
られる。

【００６５】システムコントローラ２１０には、オーバ
ラップ検出部９２、映像信号処理部１０４Ｌ，１０４
Ｒ、被写体分離部１０５Ｌ，１０５Ｒ、画像処理部２２
０、れリーズボタン２３０、合焦検出部２７０および外
部入力Ｉ／Ｆ７６０が接続され、これらのブロック間の
情報の転送制御、動作制御を行う。

【００６６】外部入力Ｉ／Ｆ７６０はコンピュータなど
の外部装置に接続され、外部装置からの設定指示が外部
入力Ｉ／Ｆ７６０を介してシステムコントローラ２１０
に与えられる。

【００６７】システムコントローラ２１０は、図４に示
すように、マイクロコンピュータ９００、メモリ９１
０、および画像演算処理部９２０から構成されている。

【００６８】次に、本画像情報入力装置における奥行き
情報の抽出動作について図を参照しながら説明する。

【００６９】まず、画像処理部２２０（図３に示す）に
おける奥行き情報の抽出処理について詳細に説明する。

【００７０】画像処理部２２０は、各撮像レンズ１００
Ｌ，１００Ｒで捕らえられた各主被写体の撮像時の各パ
ラメータに基づき各主被写体に対する奥行き情報の抽出
処理（奥行き情報抽出処理＃１という）と、奥行き情報
の計測対象となる各主被写体の輝度信号および色信号に
基づき視差を求め、この求められた視差から奥行き情報
を抽出する抽出処理（奥行き情報抽出処理＃２という）
とを行い、処理＃１による奥行き情報と処理＃２による
奥行き情報とを組み合わせて全体の奥行き情報を求め
る。

【００７１】また、焦点距離の設定は、距離情報に基づ
き設定される。この焦点距離と距離情報との関係は次の
（１）式で表される。

【００７２】

【数１】なお、ｒは距離、ｂは基線長、ｄは視差、ｆは焦点距離
をそれぞれ表す。

【００７３】ここで、視差により決定される距離分解能
をパラメータとすると、次の（２），（３）式から焦点
距離ｆが算出される。

【００７４】

【数２】

【００７５】

【数３】よって、外部入力Ｉ／Ｆ７６０を介してコンピュータな
どから分解能を設定し、この分解能の値に基づき焦点距
離ｆを設定することも可能である。

【００７６】次に、奥行き情報抽出処理＃１について図
５ないし図９を参照しながら説明する。図５は極座標ボ
クセル空間を用いた奥行き情報抽出処理を概念的に示す
図、図６は１視点の輪郭画像から奥行き情報を抽出する
手法を概念的に示す図、図７は多視点の輪郭画像から奥
行き情報を抽出する手法を概念的に示す図、図８は等間
隔のボクセル空間における誤差を表す図、図９は不等間
隔のボクセル空間を表す図である。

【００７７】奥行き情報抽出処理＃１には、不等間隔の
ボクセル空間座標系において、背景と分離された主被写
体の画像から奥行き情報を抽出する手法が用いられる。
この手法では、まず、被写体分離部１０５Ｌ，１０５Ｒ
で、映像信号処理部１０４Ｌ，１０４Ｒの輝度信号およ
び色信号から奥行き情報の計測対象となる主被写体とそ
の背景とが分離される。この分離処理によって、図５に
示すように、カメラヘッド１の撮像基準点を示す主点１
１１０で撮像された画像は背景１１０２と被写体１１０
１とが分離された背景分離画像１１００になる。この分
離方法は上述した方法であり、分離後の主被写体には奥
行き計測対象の被写体であることを示すフラグ「１」
が、背景１１０２にはフラグ「０」がそれぞれセットさ
れ、これによって背景分離画像１１００が得られる。こ
の背景１１０２と分離された被写体１１０１の輪郭から
は主点１１１０を通る複数の線分１１３０〜１１３４が
極座標で表される不等間隔のボクセル空間１１２０を横
切るように伸ばされ、各線分１１３０〜１１３４によっ
てボクセル空間１１２０が切られる。このボクセル空間
１１２０を切る行為とは、この線分１１３０〜１１４０
より外側部分を被写体でないとして捨てることである。
この捨てられる部分に対しては、識別するためのフラグ
がセットされる。

【００７８】次に、主点を変えながら、上述したよう
に、被写体の輪郭からは主点を通る複数の線分でボクセ
ル空間を切る処理が行われる。本実施の形態では、カメ
ラヘッド１は被写体を中心に順次位置Ａ０から位置Ａｎ
に向けて所定の移量角度量で円弧上に沿って移動するも
のとし、そのカメラヘッド１の移動断面を見ながら本処
理の説明を行う。

【００７９】例えば、図６（ａ）に示すように、カメラ
ヘッド１が主点をすなわち視点を順に位置１２００〜１
２０３に変えながら撮影することによってセンサ面１２
４０〜１２４３に得られた各被写体毎にその輪郭から各
主点１２００〜１２０３を経てボクセル空間１２１０に
向けて伸びる境界線１２２０〜１２２７が引かれ、その
各境界線１２２０〜１２２７によって領域１２３０が規
定される。その領域１２３０は各境界線１２２０〜１２
２７によって囲まれた領域からなり、その領域は切り落
とし処理後に残された領域となる。例えば、センサ面１
２４０に得られた被写体の輪郭から各主点１２００を経
てボクセル空間１２１０に向けて伸びる境界線１２２
０，１２２１が引かれる。

【００８０】この多視点からの被写体を用いることによ
って、ボクセル空間１２１０上には被写体の抽出結果と
してａｂｃｄｅｆｇｈで囲まれる領域１２３０が得られ
る。

【００８１】この得られた領域１２３０は、図６（ｂ）
に示すように、真の被写体形状１２３１を含む形状にな
り、さらに視点を増すことにより、ボクセル空間上に得
られる形状は真の被写体形状に近く付くことが分かる。

【００８２】上述の説明では、処理をかメラヘッド１の
移動が２次元平面に沿って行われるものとしてしている
が、この処理を３次元的に行う場合には、例えば図７に
示すように、ボクセル空間側の位置（Ｘ，Ｙ，Ｚ）から
逆に主点を通る線分を計算し、その線分の画像に対する
投影位置を計算し、その投影位置に対する画像のフラグ
を参照して背景を示すか被写体を示すかを判断すること
により、ボクセル空間上に被写体に対する領域が得られ
る。この操作はボクセル空間の原点（０，０，０）から
（Ｘ０，Ｙ０，Ｚ０）まで繰り返し行われる。

【００８３】ここで、投影される点を（ｘ，ｙ）とする
と、ｘ，ｙは次の（４），（５），（６）式から求めら
れる。

【００８４】

【数４】

【００８５】

【数５】

【００８６】

【数６】ただし、（ａ，ｂ，ｃ）は主点１１１０の座標を示し、
簡単化するために、Ｘ，Ｙ，Ｚは直交座標系で示してい
る。

【００８７】その投影位置（ｘ，ｙ）が背景領域か被写
体領域かの判断は、その投影位置のフラグを参照するこ
とによって行われるが、ｘ，ｙが整数値でないときに
は、近傍領域のフラグから背景領域か被写体領域かの判
断を行う。

【００８８】このようにボクセル空間側から画像に向け
て線分を引く操作を主点を変えながら繰り返し行うこと
によって、被写体の奥行き情報がボクセル空間上に抽出
される。

【００８９】さらに処理の高速化を図るために、例えば
まず極座標におけるｒで規定され得る外郭すなわち取り
得る最大値を求め、次にθ，φで上述の処理を行う方法
を用いることもできる。

【００９０】なお、これまでの奥行き情報を求める説明
は簡単化のために、カメラヘッド１位置とパッドとの相
対的な距離に関しては省略したが、実際には、相対距離
それぞれに応じて精度が異なるから、それに対処した処
理が施される。

【００９１】次に、この処理について図８を参照しなが
ら説明する。

【００９２】カメラヘッド１で撮像された画像は、図８
（ａ）に示すように、上述した分離処理によって背景１
１０２と被写体１１０１とが分離された背景分離画像１
１００になる。

【００９３】カメラヘッド１に主点からの距離ｒ１の位
置には、ボクセル空間内における投影面２２００が規定
され、距離ｒ０の位置には投影面２２０１が規定されて
いる。この投影面２２００の面積は、距離ｒ１が距離ｒ
０より長いことにより、投影面２２０１の面積より大き
い。

【００９４】例えば、等間隔のボクセル空間の断面２３
０２においては、図８（ｂ）に示すように、投影面に投
影されるシルエット画像の誤差δｘ（２３０４）が生じ
ると、切り落とされるボクセル空間部分は距離が離れる
に従い大きくなる。すなわち、センサ断面２３０１から
主点２３００を経て伸びる線分（境界線）２３０６が誤
差δｘによって線分２３０７側に近付き、線分２３０６
によって切り落とされるボクセル空間部分２４００は本
来線分２３０５によって切り落とされるボクセル空間部
分より大きくなる。このように、等間隔のボクセル空間
においては、誤差δｘが大きくなるに従い正確なボクセ
ル空間部分を切り落とすことができない。

【００９５】これに対し、不等間隔のボクセル空間の断
面２３０３においては、図８（ｂ）に示すように、投影
面に投影されるシルエット画像の誤差δｘ（２３０４）
が生じても、正確なボクセル空間部分２５００を切り出
すことができる。すなわち、センサ断面２３０１から主
点２３００を経て伸びる線分（境界線）２３０８が誤差
δｘによって線分２３１０側に近付くが、ボクセル空間
の間隔は不等間隔に設定されているから、線分２３０９
によって切り落とされるボクセル空間部分２４００は本
来線分２３０９によって切り落とされるボクセル空間部
分より大きくならず、正確なボクセル空間部分２５００
を切り出すことができる。

【００９６】不等間隔のボクセル空間では、図９
（ａ），（ｂ）に示すように、パッドから離れた位置に
おいて間隔を規定するボクセルが小さくなるように設定
され、パッド付近において間隔を規定するボクセルが大
きくなるように設定されている。このボクセル空間の断
面を見ると、図９（ｃ）に示すように、順々にボクセル
が小さくなるように設定されていることが分かる。この
ように、不等間隔のボクセル空間はパッド上に形成され
るから、パッドからカメラヘッド１までの距離に応じて
間隔を変化させるために、パッドから順々にボクセルが
小さくなるように設定されている。

【００９７】なお、予め細かなボクセルを設定し、この
ボクセルに対し切り出し処理を行い、後処理で距離に応
じてスムージング処理を行う手法を用いることもできる
が、この手法に比して不等間隔のボクセル空間を用いる
手法のほうが、処理速度の向上、メモリの削減を図るこ
とができる。

【００９８】次に、ステレオ画像からの奥行き情報抽出
処理について図１０ないし図１３を参照しながら説明す
る。図１０は輪郭画像から奥行き情報を抽出する処理過
程を示す図、図１１は点プレートマッチングを示す図、
図１２はステレオ画像からの奥行き情報の算出を概略的
に示す図、図１３はステレオ画像からの奥行き情報の算
出時における誤差を示す図である。

【００９９】まず、ステレオ画像から奥行き情報を抽出
する処理手順について図１０を参照しながら説明する。

【０１００】図１０を参照するに、画像メモリに格納さ
れている、Ｒ画像１１０Ｒ（以下、画像１１０Ｒとい
う）と共働してステレオ画像を構成するＬ画像１１０Ｌ
（以下、画像１１０Ｌという）は、エッジ抽出部１１１
Ｌ、特徴点抽出部１１７Ｌ、ステレオ画像対応点抽出部
１１２に与えられる。同様に、画像１１０Ｒは、エッジ
抽出部１１１Ｒ、特徴点抽出部１１７Ｒ、ステレオ画像
対応点抽出部１１２に与えられる。

【０１０１】各エッジ抽出部１１１Ｌ，１１１Ｒは、対
応する画像からエッジを抽出した画像を生成する。特徴
点抽出部１１７Ｌ，１１７Ｒは、背面部の特徴を同定す
る処理を行う。ステレオ画像対応点抽出部１１２は、各
画像の画素の対応関係を抽出する処理を行う。

【０１０２】各エッジ抽出部１１１Ｌ，１１１Ｒで生成
された画像はエッジ画像対応点抽出部１１３に与えら
れ、エッジ画像対応点抽出部１１３は各画像の画素の対
応関係を抽出する処理を行い、この処理では、各画像の
輝度値からそれぞれの画素の対応関係を抽出する。

【０１０３】エッジ画像対応点抽出部１１３で抽出され
た対応関係は、ステレオ画像対応点抽出部１１２で抽出
された対応関係とともに除去処理部１１４に与えられ
る。除去処理部１１４は、エッジ画像対応点抽出部１１
３で抽出された対応関係と、ステレオ画像対応点抽出部
１１２で抽出された対応関係との間に矛盾があるか否か
を判定し、その判定結果に応じて各対応関係間における
矛盾箇所を除去する処理を行う。この処理では、エッジ
画像対応点抽出部１１３で抽出された対応関係と、ステ
レオ画像対応点抽出部１１２で抽出された対応関係とが
一致しないとき、その対応関係は信頼性が低いとして排
除される。また、各対応関係に重み付けをして判断を行
うようすることもできる。

【０１０４】除去処理部１１４の処理結果は、オクルー
ジョン領域判定処理部１１５および奥行き情報分布算出
処理部１１６に与えられる。

【０１０５】オクルージョン領域判定処理部１１５は、
除去処理部１１４の処理結果から求められた対応点箇所
と、対応点を求める途中で使用している相関の程度を表
す指数、例えば残差からオクルージョン領域を判断し、
その判断結果に信頼性を付加して出力する。例えば、相
関の程度を表す指数として、相関係数または残差を用い
て、その相関係数が低いときまたはその残差が大きいと
きには、対応関係の信頼が低いと判断し、その低い部分
をオクルージョン領域または対応がない領域として取り
扱う。

【０１０６】奥行き情報分布算出処理部１１６は、各対
応関係から三角測量の原理で奥行き情報分布を算出し、
その算出された奥行き情報分布は出力される。この奥行
き情報分布の算出には、後述する補正データ算出処理部
１１８からの撮影パラメータ、位置検出情報などが用い
られる。なお、この三角測量については（１）式で説明
した通りである。

【０１０７】各特徴点抽出部１１７Ｌ，１１７Ｒで同定
された背面部の特徴点は補正データ算出処理部１１８に
与えられ、補正データ算出処理部１１８は撮影パラメー
タを取得するとともに、ジャイロ８８０で検出された角
度変化などの情報からカメラヘッド１の姿勢、移動関係
を取得する。この取得された撮影パラメータ、およびカ
メラヘッド１の姿勢、移動関係を含む位置検出情報は奥
行き情報分布算出処理部１１６に与えられる。

【０１０８】次に、エッジ画像対応点抽出部１１３にお
ける対応点抽出方法について図１１を参照しながら説明
する。

【０１０９】エッジ画像対応点抽出部１１３における対
応点抽出方法の代表的なものとしては、テンプレートマ
ッチング法がある。テンプレートマッチング法は、図１
１に示すように、Ｎ×Ｎ画素のテンプレート画像が左の
撮像レンズから得られた画像から切り出される。この切
り出されたＮ×Ｎ画素は右の撮像レンズから得られた画
像のＭ×Ｍ画素の入力画素内の探索領域範囲ＲＡ（以下
の（７）式で表される領域）上で動かされ、残差Ｒ
（ａ，ｂ）（以下の（８）式で求められる）が最小にな
るようにテンプレート画像の位置が求められる。この求
められた位置がＮ×Ｎのテンプレート画像の中心画素位
置とされる。

【０１１０】

【数７】

【０１１１】

【数８】次に、エッジ抽出方法について図１２を参照しながら説
明する。

【０１１２】エッジ抽出方法としては、例えばロバート
フィルタなどの手法が用いられ、またこれに代えて、ゾ
ーベルフィルタを用いることもできる。

【０１１３】ロバートフィルタを用いるとき、入力画像
ｆ（ｉ，ｊ）、出力画像ｇ（ｉ，ｊ）とすると、出力画
像ｇ（ｉ，ｊ）は次の（９）式または（１０）式から求
められる。

【０１１４】

【数９】

【０１１５】

【数１０】ゾーベルフィルタの場合、次の（１１），（１２），
（１３）式から求められる。

【０１１６】

【数１１】

【０１１７】

【数１２】

【０１１８】

【数１３】このようにして、エッジ部が強調された画像に対し２値
化処理を行うことによってエッジ成分が抽出される。な
お、２値化処理は、適当な閾値を用いて行われる。

【０１１９】以上の手法によれば、図１２に示すよう
に、○印で示す奥行き情報が得られる。なお、Ｂは基線
長を示し、図７と同じ部材、線分などには同じ符号を付
してある。

【０１２０】このステレオ画像からの奥行き情報抽出処
理においては、上述の切り落とし処理において相対距離
に応じてその精度が異なることと同様に、相対距離が大
きくなるほどその精度が悪くなるから、不等間隔のボク
セル空間を用いることによって精度の悪化を未然に防止
することが可能になる。

【０１２１】次に、ステレオ画像からの奥行き情報抽出
処理における誤差について図１３を参照しながら説明す
る。

【０１２２】まず、図１３（ａ）を参照するに、図中の
左側センサ断面３５００の対応点３６００に対しカメラ
主点３３００を経て伸びる境界線から決定される領域
と、右側センサ断面３５００の対応点３６０１に対しカ
メラ主点３３０１を経て伸びる境界線から決定される領
域とが重なり合う領域３３００が誤差範囲になる。

【０１２３】これに対し、図１３（ｂ）を参照するに、
図中の左側センサ断面３５０１の対応点３６０２に対し
カメラ主点３３０２を経て伸びる境界線から決定される
領域と、右側センサ断面３５０１の対応点３６０３に対
しカメラ主点３３０３を経て伸びる境界線から決定され
る領域とが重なり合う領域３４００が誤差範囲になる。

【０１２４】この図１３（ａ），（ｂ）から明らかなよ
うに、距離が離れるに従い誤差範囲となる領域が大きく
なることが分かる。例えば、抽出した視差が１画素分ず
れた場合、奥行き情報の誤差範囲は、図１３（ａ）に示
すように、拡大した領域３３００になる。これに対し、
距離が近いと、図１３（ｂ）に示すように、奥行き情報
の誤差範囲は、領域３３００により小さい領域３４００
になる。

【０１２５】よって、奥行き情報の誤差範囲は小さくす
るために、相対的に距離が遠いものはボクセルを大きく
すれば良く、すなわち、被写体が置かれたパッドから離
れるに従い間隔を規定するボクセルが小さくなるような
不等間隔のボクセル空間を用いれば良いことになる。

【０１２６】次に、多視点でのステレオ画像より得られ
た奥行き情報の処理について図１４を参照しながら説明
する。図１４は多視点ステレオ画像からの奥行き情報を
統合する処理の流れを示す図である。

【０１２７】多視点で撮像されたステレオ画像のそれぞ
れからは、上述の１視点のステレオ画像からの奥行き情
報抽出処理によって個々の視点の奥行き情報が抽出さ
れ、各奥行き情報を順に加えらることによって統合され
る。

【０１２８】各視点のステレオ画像から得られた奥行き
情報１２０は、図１４に示すように、対応するカメラヘ
ッドの位置方向情報１２５とともに、座標系変換手段１
２１に供給される。

【０１２９】座標系変換手段１２１は、各視点毎に得ら
れた奥行き情報を対応するカメラヘッドの位置方向情報
１２５に基づき任意の統一された座標系の情報に変換さ
れる。この統一された座標系の一例としては、極座標系
のボクセル空間が用いられる。各視点毎に得られた奥行
き情報を任意の統一された座標系の情報に変換すること
によって、後に行われる多視点の奥行き情報の統合が容
易になる。また、奥行き情報を統一された座標系の情報
に変換する方法としては、アフィン変換などを用いてオ
イラー角を同じにする方法が用いられる。

【０１３０】統一座標系の奥行き情報は、オクルージョ
ン領域情報送出手段１２３から送出されたオクルージョ
ン情報とともに、奥行き情報統合手段１２２に与えら
れ、奥行き情報統合手段１２２は、オクルージョン情報
に対応する奥行き情報を排除しながら各統一座標系の奥
行き情報を統合する処理を行う。この統合処理では、少
なくとも２つ以上の任意の位置からの被写体の奥行き情
報１２０に対し局所的なずれ情報を得、そのずれ情報に
基づき同一座標系から見た奥行き情報にするように各奥
行き情報１２０が位置する点を決めるとともに、その点
の座標間の補間を行い、さらに、少なくとも３つ以上の
複数視点で得られた各奥行き情報の内の、重複する領域
の奥行き情報を多数決する処理を行う。

【０１３１】奥行き情報統合手段１２２で統合された奥
行き情報は、オクルージョン領域情報送出手段１２３か
らのオクルージョン情報とともに表示部１２４に与えら
れ、表示部１２４は、統合された奥行き情報とオクルー
ジョン情報とを表示する。

【０１３２】次に、奥行き情報統合手段１２２の処理に
ついて図１５を参照しながら説明する。図１５は図１４
の奥行き情報統合手段１２２における多数決処理の内容
を示す図である。

【０１３３】各視点における奥行き情報として、図１５
に示すように、３つの視点における奥行き情報が得られ
たとし、その１つは△（２００００）で示す奥行き情報
であり、その奥行き情報には２００２０〜２００２２ま
での情報が含まれている。他の１つは○（２０００１）
で示す奥行き情報であり、さらに他の１つは□（２００
０２）で示す奥行き情報である。なお、本例では、簡単
化のために、奥行き情報はｒ−θの２次元座標で示さ
れ、被写体はφ軸方向に変化がないものとする。

【０１３４】現在、３視点からの奥行き情報、△（２０
０００），○（２０００１）、□（２０００２）が得ら
れており、その情報が重複領域２００１０において、複
数求められている。

【０１３５】しかし、奥行き情報２００２０〜２００２
２は他の視点から得られた情報に比して異なることがあ
る。これは、例えば被写体の表面の鏡面反射成分が強い
場合が考えられる。一般に、鏡面反射が強い場合は、そ
の輝度強度が他に比して突出していたりする。このよう
な場合では、対応点抽出処理はその強い輝度情報に影響
され、視差情報を正確に求めることができない。従っ
て、上述したように、奥行き情報２００２０〜２００２
２が他の視点から得られた情報に比して異なるような状
況が発生する。

【０１３６】奥行き情報２００２０〜２００２２の信頼
性は低いと見做され、この奥行き情報２００２０〜２０
０２２は他の視点の奥行き情報を利用して除去される。
視点が変わると、別の箇所に強い輝度成分をもたらすか
ら、この奥行き情報２００２０〜２００２２は他の場所
本例ではθ軸方向における他の場所という意味で図中が
いに移動している。

【０１３７】このことから、少なくとも３視点からの奥
行き情報が重複する領域２００１０で２つ以上が同じ奥
行きを示す場合を採用し、１つだけ大きく異なる奥行き
情報は除去されることになる。本例では、奥行き情報２
００２０〜２００２２が除去される。この除去の基準に
は閾値が用いられ、この閾値を超えた奥行き情報は除去
される。

【０１３８】信頼性の低い奥行き情報２００２０〜２０
０２２が除去された後には、奥行き情報、△（２０００
０），○（２０００１）、□（２０００２）から平均を
取り、その平均した結果として☆（２０００３）で示す
奥行き情報が得られる。

【０１３９】奥行き情報は重複領域２００１０内で得ら
れるから、全体を得るために、他の３視点による重複領
域を用いてその領域の奥行き情報を得る操作が順に行わ
れ、鏡面反射成分の悪影響を取り除いた形で奥行き情報
を得ることが可能になる。

【０１４０】次に、平均処理、１つの選択処理の他に局
所的なずれを補間する処理があり、この処理について図
１６および図１７を参照しながら説明する。図１６は多
視点ステレオ画像からの奥行き情報の統合の様子を模擬
的に示す図、図１７は中間点補間方法を示す図である。
本説明では、説明の簡単化のために、３視点からの情報
を扱わずに、２視点からの情報を扱うものとする。

【０１４１】多視点ステレオ画像からの奥行き情報の統
合処理において、図１６（ａ）に示すように、１つの視
点（ｔ）で得られた奥行き情報はｒｔ（θ，φ）であ
り、次の視点（ｔ＋δｔ）で得られた奥行き情報ｒｔ＋
δｔ（θ，φ）は、図１６（ｂ）に示すように、統一さ
れた方向から見ると、ｒ´ｔ＋δｔ（θ，φ）となる。

【０１４２】次いで、図１６（ｃ）に示すように、奥行
き情報ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，φ）とがぞ
れぞれ局所的に（ｉ０，ｊ０）ずれていると、図１６
（ｄ）に示すように、ずれ（ｉ０，ｊ０）分の移動によ
って奥行き情報ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，
φ）とはほぼ重ね合わされた状態になる。

【０１４３】カメラ姿勢位置検知部（図１に示す）が非
常に高精度であり、ステレオ画像からの奥行き抽出精度
も高精度であるとき、局所的ずれ（ｉ０，ｊ０）は小さ
い値となる。また、既に鏡面反射成分の悪影響は除去さ
れている。

【０１４４】上述のずれ量は次の（１４）式に基づき算
出される。

【０１４５】

【数１４】この式中のＱの内、最小のＱを与える（ｉ０，ｊ０）が
導き出され、その（ｉ０，ｊ０）をずれ量として奥行き
情報が移動され、例えば図１５（ｄ）に示すように奥行
き情報ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，φ）とがほ
ぼ重ね合わされる。

【０１４６】この重ね合わせが行われた後に、同一点が
存在すれば、その同一点の排除が行われるとともに、中
間点の補間が行われる。

【０１４７】この同一点の排除では、同一点と判断され
た点の中の１つを取り出し、他の点を排除する。よっ
て、情報量の削減が図られる。この同一点であるか否か
の判断は、次の（１５）式または（１６）式で示す関係
を満足するか否かによって行われる。

【０１４８】

【数１５】

【０１４９】

【数１６】ただし、ε１，ε２は基準値、ａ，ｂ，ｃ，ｄは適当に
選択された係数である。例えば、ｂ＝ｃ＝１、ａ＝２と
することによって、距離の違いに対してより敏感に判定
することが可能になる。

【０１５０】次に求められた点の座標から補間が行われ
る。この補間方法について図１７を参照しながら説明す
る。

【０１５１】奥行き情報ｒｔ（θ，φ）は、図１７に示
すように、○印で、（ｉ０，ｊ０）シフトされたｒ´ｔ
＋δｔ（θ，φ）は●印でそれぞれ表され、奥行き情報
ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，φ）とは、１次元
平面であるＺ−Ｘ平面に投影されている。この奥行き情
報ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，φ）とに対する
中間補間によって、□印で表される中間データが得ら
れ、この中間データが新たな奥行き情報ｒｎｅｗとな
る。

【０１５２】この補間方法としては、線形補間、スプラ
イン補間などを用いることができる。

【０１５３】このように、鏡面反射成分からの悪影響を
取り除き、補間された奥行き情報が得られることになる
が、さらに、撮像系の深度情報からのフラグに基づき奥
行き情報の座標の信頼性を判断することによって、信頼
性がより高い奥行き情報を得ることができる。この処理
では、撮像レンズの焦点深度情報に基づき信頼性が低い
情報を排除する。また、オクルージョン情報によって情
報の取捨選択が行われる。

【０１５４】次に、輪郭からの奥行き情報とステレオ画
像からの奥行き情報との統合について図１８を参照しな
がら説明する。図１８は輪郭からの奥行き情報とステレ
オ画像からの奥行き情報との統合処理内容を示す図であ
る。

【０１５５】輪郭からの奥行き情報とステレオ画像から
の奥行き情報との統合処理では、図１８に示すように、
輪郭からの奥行き情報抽出処理＃１（図１８（ａ）に示
す）で得られた奥行き情報と、ステレオ画像からの奥行
き情報抽出処理＃２（図１８（ｂ）に示す）で得られた
奥行き情報とがある断面において単純に組み合わされ、
この組み合わせによってその断面には、図１８（ｃ）に
示すように、処理＃１で得られた奥行き情報（ハッチン
グ入り矩形で示す）と処理＃２で得られた奥行き情報
（白丸で示す）とが単純に並べられる。

【０１５６】この図１８（ｃ）から明らかなように、奥
行き情報１０００１，１０００２は輪郭線より外側に位
置することが分かり、奥行き情報１０００１，１０００
２が何らかの誤差により輪郭線より外側に位置すると考
えられるから、奥行き情報１０００１，１０００２は採
用されない。これに対し、奥行き情報１０００３は輪郭
線より外側に位置するから、新たな奥行き情報として採
用され、また奥行き情報１００４は削除される。このこ
とは、輪郭からの奥行き情報において、一般に凸部は適
正に抽出可能であるが、凹部は適正に抽出できないとい
う性質に基づくものである。

【０１５７】したがって、輪郭線の奥行き情報より外側
に位置する情報の除去、輪郭線の奥行き情報より凹部を
表現可能な情報の採用、輪郭からの情報とステレオ画像
かららの情報とを繋ぐ処理に用いる残りの情報の採用な
どを含む統合処理が行われ、その処理結果、図１８
（ｄ）に示すように、被写体に忠実で滑らかな奥行き情
報が得られる。

【０１５８】（実施の第２形態）次に、本発明の実施の
第２形態について説明する。

【０１５９】本実施の形態は、実施の第１形態と同じ構
成を有し、本実施の形態では、実施の第１形態と異なる
ボクセル空間を用いる。

【０１６０】実施の第１形態では、パッドから離れるに
従いボクセルの密度が密になるように設定されている
が、本実施の形態では、ボクセルの空間座標系を予め細
かく設定し、視点に応じて相対的にその祖で扱う部分、
密で扱う部分を決める方式を採用している。

【０１６１】したがって、距離に応じて適応的にボクセ
ルをさらに柔軟に取り扱うことができる。なお、切り出
し方法は実施の第１形態と同じである。

【０１６２】ただし、距離に応じて扱う細かさが変わる
ので、同一点を示す情報に対して、視点毎に抽出したボ
クセルの分解能が異なる場合、いずれの分解能を使用し
てその同一点を示すかを考慮する必要があるが、本例で
は、細かいボクセルを採用するように設定している。

【０１６３】

【発明の効果】以上に説明したように、請求項１記載の
画像情報入力装置によれば、奥行き情報抽出手段で、複
数視点から撮像された被写体像を処理し、その処理によ
って奥行き情報を不等間隔のボクセル空間上に得るか
ら、被写体を目的とする画像形態に変換するための処理
に柔軟に対応可能な奥行き情報を得ることができる。

【０１６４】請求項２記載の画像情報入力装置によれ
ば、不等間隔のボクセル空間が、直交座標系、極座標
系、円筒座標系のいずれかで表される空間からなるか
ら、処理に適した座標系からなるボクセル空間を用いる
ことができる。

【０１６５】請求項３記載の画像情報入力装置によれ
ば、不等間隔のボクセル空間が、その原点がパッド内に
設けられ、パッドから離れるに従い間隔が狭くなるか
ら、抽出される奥行き情報の誤差を小さく抑制すること
ができる。

【０１６６】請求項４記載の画像情報入力装置によれ
ば、不等間隔のボクセル空間が、各視点から見た際にそ
の間隔が適応的に変換するから、ボクセル空間に対する
取扱を柔軟にすることができる。

【０１６７】請求項５記載の画像情報入力装置によれ
ば、間隔が適応的に変化する不等間隔のボクセル空間
が、その原点がパッド内に設けられ、各視点からパッド
までの距離に応じて変化する空間からなるから、ボクセ
ル空間に対する取扱をさらに柔軟にすることができる。

【０１６８】請求項６記載の画像情報入力装置によれ
ば、各視点から記パッドまでの距離に応じて変化するボ
クセル空間が、撮像手段から離れるに従い間隔が広くな
るから、抽出される奥行き情報の誤差を小さく抑制する
ことができる。

【図面の簡単な説明】

【図１】本発明の画像情報入力装置の実施の第１形態の
構成を示すブロック図である。

【図２】図１の画像情報入力装置の詳細な構成を示すブ
ロック図である。

【図３】図１の画像情報入力装置の詳細な構成を示すブ
ロック図である。

【図４】図２のシステムコントローラの構成を示すブロ
ック図である。

【図５】極座標ボクセル空間を用いた奥行き情報抽出処
理を概念的に示す図である。

【図６】１視点の輪郭画像から奥行き情報を抽出する手
法を概念的に示す図である。

【図７】多視点の輪郭画像から奥行き情報を抽出する手
法を概念的に示す図である。

【図８】等間隔のボクセル空間における誤差を表す図で
る。

【図９】不等間隔のボクセル空間を表す図である。

【図１０】輪郭画像から奥行き情報を抽出する処理過程
を示す図である。

【図１１】点プレートマッチングを示す図である。

【図１２】ステレオ画像からの奥行き情報の算出を概略
的に示す図である。

【図１３】ステレオ画像からの奥行き情報の算出時にお
ける誤差を示す図である。

【図１４】多視点ステレオ画像からの奥行き情報を統合
する処理の流れを示す図である。

【図１５】図１４の奥行き情報統合手段１２２における
多数決処理の内容を示す図である。

【図１６】多視点ステレオ画像からの奥行き情報の統合
の様子を模擬的に示す図である。

【図１７】中間点補間方法を示す図である。

【図１８】輪郭からの奥行き情報とステレオ画像からの
奥行き情報との統合処理内容を示す図である。

【符号の説明】

１カメラヘッド４カメラ姿勢位置検知部５ａ，５ｂ画像メモリ６奥行き情報演算部７２次元画像データ演算部１００Ｌ，１００Ｒ撮像レンズ１０１Ｌ，１０１Ｒ絞り１０２Ｌ，１０２Ｒイメージセンサ１０４Ｌ，１０４Ｒ映像信号処理部１０５Ｌ，１０５Ｒ被写体分離部２２０画像処理部２５０記録部２７０合焦検出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者倉橋直東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】少なくとも１つの光学系を介して被写体
を撮像し、その被写体像を出力する撮像手段と、前記撮
像手段で任意の位置から撮像した被写体像に基づきその
被写体の奥行き情報を抽出する奥行き情報抽出手段を備
える画像情報入力装置において、前記奥行き情報抽出手
段は、複数視点から撮像された被写体像を処理し、その
処理によって前記奥行き情報を不等間隔のボクセル空間
上に得ることを特徴とする画像情報入力装置。
【請求項２】前記不等間隔のボクセル空間は、直交座
標系、極座標系、円筒座標系のいずれかで表される空間
からなることを特徴とする請求項１記載の画像情報入力
装置。
【請求項３】前記不等間隔のボクセル空間は、その原
点がパッド内に設けられ、前記パッドから離れるに従い
間隔が狭くなることを特徴とする請求項２記載の画像情
報入力装置。
【請求項４】前記不等間隔のボクセル空間は、各視点
から見た際にその間隔が適応的に変換することを特徴と
する請求項１記載の画像情報入力装置。
【請求項５】前記間隔が適応的に変化する不等間隔の
ボクセル空間とは、その原点がパッド内に設けられ、各
視点から前記パッドまでの距離に応じて変化する空間か
らなることを特徴とする請求４記載の画像情報入力装
置。
【請求項６】前記各視点から前記パッドまでの距離に
応じて変化するボクセル空間は、前記撮像手段から離れ
るに従い間隔が広くなることを特徴とする請求項５記載
の画像情報入力装置。