JPH09231371A

JPH09231371A - 画像情報入力装置及び画像情報入力方法

Info

Publication number: JPH09231371A
Application number: JP8057059A
Authority: JP
Inventors: Katsumi Iijima; 克己飯島; Katsuhiko Mori; 克彦森; Sunao Kurahashi; 直倉橋; Motohiro Ishikawa; 基博石川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-02-21
Filing date: 1996-02-21
Publication date: 1997-09-05

Abstract

(57)【要約】【課題】あらゆる被写体について、任意の視点からの
高精度で利用価値の高い奥行き情報を容易に且つ高速で
得ることができる画像情報入力装置及び画像情報入力方
法を提供する。【解決手段】極座標で表現されるボクセル空間１１２
０から、線分１１３０〜１１３４よりも外側にあるボク
セルデータは被写体部分でないものとして除去し、内側
にあるボクセルのみで形成される立体形状を被写体の形
状であるとみなす。

Description

【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は、被写体を撮像して
得た画像から、ＣＧ（コンピュータグラフィックス）、
ＣＡＤ（キャド）または文書ファイルとの合成等、各種
目的に利用される三次元形状情報を抽出する画像情報入
力装置及び画像情報入力方法に関する。【０００２】【従来の技術】従来より、被写体の三次元形状を求める
手法には、大別すると、受動的手法と能動的手法があ
る。【０００３】受動的手法の代表的なものではいわゆるス
テレオ画像法があり、この手法は、二台のカメラを用い
て三角測量を行うものである。すなわち、左右のカメラ
で得られる各画像中に、同一物点が写っている箇所を探
索し、その位置のずれ量から物点の三次元位置を計測す
るものである。【０００４】一方、能動的手法の代表的なものには、投
影した光が帰ってくるまでの時間を計測して距離を求め
る光レーダ型のレンジファインダや、スリット状の光パ
ターンを投影して被写体に写るパターン形状の変位から
三次元形状を測定するスリット光投影法等がある。【０００５】ところで、従来より、被写体を任意の視点
からみた場合の像を、得られた被写体の三次元情報に基
づき二次元のディスプレイ等に出力・再生することが一
般に行われている。【０００６】また、パーソナルコンピュータの普及に伴
い、電子カメラで撮像した画像を取り込んで、編集する
ことが可能になった。例えば、電子カメラで複数の画像
に分けて撮像された風景画像を、パーソナルコンピュー
タに取り込んで、アプリケーションソフトにより任意に
加工・処理を施すことも既に可能となっている。【０００７】このような背景から、多様な被写体につい
て、目的に応じた精度の高い三次元形状情報を取得する
ことが必要となってきている。例えば、オフィス等で一
般に扱われる画像情報は、最終的には紙に出力されるこ
とが多く、利用が要求される画像形態は、自然画だけで
なく、被写体を輪郭線のみで表す線画もある。従って、
被写体の画像情報をあらゆる側面（視点）から捉え、自
由に加工・処理できるようにすることが望まれている。【０００８】【発明が解決しようとする課題】しかしながら、例えば
ステレオ画像法のような受動的手法では、測定情報は離
散的であり、被写体表面の鏡面反射成分等によるノイズ
を含む場合もある。また、特定位置からの距離情報の算
出を主目的とするため、被写体の立体形状そのものを計
測するには必ずしも十分ではない。そのため、高精度で
なめらかな三次元形状情報を得ることは困難である。【０００９】一方、能動的手法では、被写体へのレーザ
光線照射等を必要とする場合があるため、測定対象とな
る被写体の種類に一定の制限があり、その測定自体も煩
雑で、容易でない。【００１０】また、上記受動的手法、能動的手法のいず
れにおいても、被写体の周囲を移動しながら撮像するよ
うな動的な撮像方法に柔軟に対応して、任意の視点によ
る精度の高い距離測定（以下「奥行き情報抽出」ともい
う）を行うことは困難であった。【００１１】そのため、例えばオフィスでパーソナルコ
ンピュータにより文章を作成する際に、電子カメラで撮
像した画像を用いて被写体の三次元形状情報を抽出し、
被写体を任意の視点から見た場合の画像に変換した上
で、この変換された被写体画像を取入れた文章を作成す
るというようなアプリケーションも知られていなかっ
た。【００１２】このように、従来の画像情報入力装置で
は、被写体の種類に制限を受けることなく、任意の視点
による高精度の奥行き情報を得て、目的に応じた利用を
図る上で、改善の余地があった。【００１３】本発明は上記従来技術の問題を解決するた
めになされたものであり、その目的は、あらゆる被写体
について、任意の視点からの高精度で利用価値の高い奥
行き情報を容易に且つ高速で得ることができる画像情報
入力装置及び画像情報入力方法を提供することにある。【００１４】【課題を解決するための手段】上記目的を達成するため
に本発明の請求項１の画像情報入力装置は、複数の視点
により被写体を撮像して得られた複数の画像に基づき前
記被写体の各部位の奥行き情報を抽出する奥行き情報抽
出手段を備えた画像情報入力装置において、前記奥行き
情報抽出手段は、曲線座標を用いた所定の処理により前
記被写体の各部位の奥行き情報を抽出することを特徴と
する。【００１５】同じ目的を達成するために本発明の請求項
２の画像情報入力装置は、上記請求項１の構成におい
て、前記奥行き情報抽出手段は、前記被写体の画像を前
記複数の視点に投影し、該投影された複数の画像の輪郭
に基づき前記被写体の各部位の奥行き情報を抽出する輪
郭計測手段、及び前記被写体を二つの視点により撮像
し、該二つの視点により撮像された被写体の二つの画像
から視差を用いて前記被写体の各部位の奥行き情報を抽
出するステレオ計測手段の少なくとも一方を備えたこと
を特徴とする。【００１６】同じ目的を達成するために本発明の請求項
３の画像情報入力装置は、上記請求項１または２の構成
において、前記所定の処理は、前記被写体の画像を前記
複数の視点に投影し、該投影された複数の画像の輪郭の
外側に係る座標情報を前記被写体を含む座標空間の各座
標を表現する空間座標情報から除去することにより、前
記空間座標情報に残された座標情報に基づいて前記被写
体の各部位の奥行き情報を抽出する処理であることを特
徴とする。【００１７】同じ目的を達成するために本発明の請求項
４の画像情報入力装置は、上記請求項１〜３のいずれか
１項の構成において、前記曲線座標は、極座標であるこ
とを特徴とする。【００１８】同じ目的を達成するために本発明の請求項
５の画像情報入力装置は、上記請求項１〜３のいずれか
１項の構成において、前記曲線座標は、円柱座標である
ことを特徴とする。【００１９】同じ目的を達成するために本発明の請求項
６の画像情報入力装置は、上記請求項１〜５のいずれか
１項の構成において、前記奥行き情報抽出手段は、撮像
方向における前記被写体の背後に所定の基準面を想定
し、前記曲線座標の原点を前記所定の基準面内に設定す
ることを特徴とする。【００２０】同じ目的を達成するために本発明の請求項
７の画像情報入力方法は、複数の視点により被写体を撮
像して得られた複数の画像に基づき前記被写体の各部位
の奥行き情報を抽出する奥行き情報抽出段階を含む画像
情報入力方法において、前記奥行き情報抽出段階は、曲
線座標を用いた所定の処理により前記被写体の各部位の
奥行き情報を抽出することを特徴とする。ここで、「奥
行き」とは、被写体各部位の視点からの距離を意味す
る。【００２１】【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。【００２２】（実施の第１形態）以下に、本発明の実施
の第１形態に係る画像情報入力装置を説明する。【００２３】まず、図１を用いて極座標について説明
し、次に図２〜図４を用いて画像情報入力装置の構成
を、図５〜図１３を用いて奥行き情報抽出処理を、図１
４を用いて奥行き情報の統合処理を説明し、加えて図１
５を用いて円柱座標について説明する。【００２４】まず、図１を用いて、本実施の形態におけ
る被写体の奥行き情報抽出処理が行われる「極座標（球
座標ともいう）」について説明する。【００２５】本実施の形態で用いる極座標では、同図の
左下の半球図に示すように、点Ｏを原点とする直交座標
軸Ｘ，Ｙ，Ｚを執る（いわゆる左手系）。そして、原点
Ｏを中心とする半径ｒの球面、Ｚ軸を含みＺＸ面と角φ
をなす半平面、及びＺ軸を軸とし原点Ｏを頂点とする頂
角２θの円錐面の三面が交わる点を交点Ｐとすると、交
点Ｐの座標は（ｒ，θ，φ）で表わすことができる。【００２６】同図中、１１２０は極座標で表わされる空
間を所定の座標間隔で区切ったボクセル空間であり、奥
行き情報抽出処理をする上で、上記交点Ｐの座標を表現
するのと同様に、各ボクセルが（ｒ，θ，φ）により表
現される。【００２７】図２は、本実施の形態に係る画像情報入力
装置と、その周辺環境の概略を示すブロック図である。【００２８】同図において、画像情報入力装置２０には
撮像ヘッド部（カメラヘッド）１の他、カメラ姿勢位置
検知部４、画像メモリ５、奥行き情報演算部６及び２次
元画像データ演算部７から成る処理部２１が含まれる。【００２９】撮像ヘッド部１は、撮像開始の位置Ａ０か
ら撮像終了の位置Ａｎまで、円弧状に移動しながら検出
対象である被写体２を撮像する。左側の撮像レンズ１０
０Ｌの撮像範囲は円弧１０Ｌで、右側の撮像レンズ１０
０Ｒの撮像範囲は円弧１０Ｒで示されている。照明部２
００は、撮像環境に応じて照明光を被写体２に照射す
る。また、被写体２の背後には、撮像の基準面となるパ
ッド（以下「背面」という）３が配置され、ボクセル空
間１１２０の原点は、この背面３内に設定される。【００３０】カメラ姿勢位置検知部４は、ジャイロ等の
センサにより角度情報を算出すると共に、背面３から得
られる情報に基づく画像処理により、姿勢・位置情報を
算出することにより、撮像系の姿勢・位置を検知する。【００３１】なお、撮像ヘッド部１によるＡ０−Ａｎ間
の各撮像地点における位置の情報は、このカメラ姿勢位
置検知部４から周辺機器等へ送出される。【００３２】画像メモリ５は、撮像ヘッド１で得られた
画像情報とカメラ姿勢位置検知部４で得られた撮像ヘッ
ド部１の位置情報とを記憶する。【００３３】奥行き情報演算部６は、画像メモリ５に記
憶された上記画像情報、位置情報に基づき被写体２の立
体形状を演算する。【００３４】２次元画像データ演算部７は、上記演算さ
れた被写体２の立体形状に係る三次元情報に基づいて、
任意の視点から見た場合の被写体２について、使用者の
指定する画像形態での２次元画像情報を演算する。【００３５】次に、本装置の使用時の処理を略説する。【００３６】まず使用者は、撮像ヘッド部１を被写体２
に向け図示しないレリーズボタンを操作すると、被写体
２の撮像が行われ、最初の画像情報が画像メモリに５に
記憶される。【００３７】次に使用者が撮像ヘッド部１を、被写体２
を中心に位置Ａ０から位置Ａｎへ移動させる。位置Ａ０
からＡｎへ移動している最中に、位置Ａ０に対して撮像
ヘッド部１の位置および撮像方向が所定量変化したこと
をカメラ姿勢検知部４が検知すると、次に２度目の撮像
が行なわれ、以下順々にｎ度目まで同様に撮像が行われ
る。【００３８】例えば３°毎の角度間隔で撮像されるとす
ると、位置Ａ０〜Ａｎが１８０°である場合には、合計
６０回撮像されることになる。角度間隔の設定は、ジャ
イロ等の性能及び求めたい奥行き情報の分解能から決定
する。例えばジャイロの検出能力が９０°／ｓｅｃなら
ば、３°／フレーム速度と設定する。【００３９】被写体２の画像情報は、カメラ姿勢位置検
知部４により得られた撮像ヘッド部１の位置Ａ０に対す
る位置の変位量及び撮像方向の変位量と共に、画像メモ
リ５に記憶される。そして、この位置の変位量および方
向の変位量の少なくとも一方が所定量より大きい場合に
は、警告が行われる。【００４０】この撮像動作が数回繰り返され、被写体２
の奥行き情報を演算するのに十分な数の画像情報が得ら
れると、図示しない撮影終了検知器等でその旨が使用者
に知らされ、撮像が終了する。【００４１】次に、奥行き情報演算部６では画像メモリ
５に記憶された画像情報とそれぞれの画像データに対応
する撮像ヘッド部１の位置情報とから、被写体２の三次
元画像情報が演算される。２次元画像データ演算部７
は、画像情報入力装置２０に接続された操作部１１によ
り指定された画像形態で、かつ被写体２を最初に撮影し
た位置Ａ０から見た場合の二次元画像情報を、被写体２
の三次元画像情報に基づき演算し、操作部１１に接続さ
れたモニタ８に表示させる。【００４２】使用者は、操作部１１を操作して、２次元
画像データ演算部７に操作に応じた演算を行わせること
により、二次元画像情報を、被写体２を任意の視点から
見た場合の情報に変更することができる。さらに、操作
部１１の操作により、モニタ８に表示される被写体２の
画像形態を変更することができる。【００４３】なお、プリンタ９は処理部２１及び操作部
１１に接続され、各種情報を印刷出力する。また、画像
情報入力装置２０及び文章データ作成部１００１に接続
されたデータ合成部１０００は、画像情報入力装置２０
から送られてきた画像情報と文章データ作成部１００１
により作成され送られてきた文書ファイルとを合成す
る。【００４４】図３は、本実施の形態に係る画像情報入力
装置の全体構成図であり、図２の撮像ヘッド部１及び処
理部２１の構成要素を詳細に示したものである。【００４５】同図中、図２と同一の要素には同一符号を
付してある。【００４６】システムコントローラ２１０には、照明部
２００、カメラ姿勢位置検知部４、ズーム制御部１０６
Ｌ，１０６Ｒ、フォーカス制御部１０７Ｌ，１０７Ｒ、
絞り制御部１０８Ｌ，１０８Ｒ、発音体９７、イメージ
センサドライバ１０２Ｌ１，１０２Ｒ１、映像信号処理
部１０４Ｌ，１０４Ｒ、被写体分離部１０５Ｌ，１０５
Ｒ、合焦検出部２７０、画像処理部２２０、レリーズボ
タン２３０、外部入力Ｉ／Ｆ（インタフェイス）部７６
０、オーバラップ検出部９２が接続され、システムコン
トローラ２１０は、これら全体を制御する。【００４７】レリーズボタン２３０が押下されると、被
写体からの光像は、ズームレンズからなる撮像レンズ１
００Ｌ，１００Ｒを経て絞り１０１Ｌ，１０１Ｒによっ
て絞られ、ＣＣＤ等を用いてイメージセンサ１０２Ｌ
２，１０２Ｒ２により電気信号に交換される。なお、イ
メージセンサ１０２Ｌ２，１０２Ｒ２は、それぞれに接
続されたイメージセンサドライバ１０２Ｌ１，１０２Ｒ
１を介して制御される。【００４８】上記電気信号は、イメージセンサ１０２Ｌ
２，１０２Ｒ２に接続されたＡ／Ｄ変換部１０３Ｌ，１
０３Ｒによってアナログ信号からデジタル信号に変換さ
れ、Ａ／Ｄ変換部１０３Ｌに接続されたメモリ８３及び
メモリ８５、並びにＡ／Ｄ変換部１０３Ｒに接続された
メモリ７３及びメモリ７５にそれぞれ格納される。【００４９】メモリ８３，８５及びメモリ７３，７５に
格納されたデジタル信号は、映像信号処理部１０４Ｌ及
び映像信号処理部１０４Ｒによって適切な形態の輝度信
号及び色信号から成る映像信号に変換される。【００５０】上記変換された映像信号は、映像信号処理
部１０４Ｌ，１０４Ｒに接続された被写体分離部１０５
Ｌ，１０５Ｒによって立体形状情報として抽出されるべ
き被写体２の信号と背面３の信号とに分離される。【００５１】ここで、分離は例えば次のようにして行
う。【００５２】予め背面３を撮像してその画像情報をメモ
リに保持しておき、その後被写体２を上記背面３の前部
に配置して被写体２ごと撮像する。そして、メモリに保
持された背面３のみの画像とのマッチング処理及び差分
処理を施すことにより背面領域のみを分離する。【００５３】このようにして分離された被写体２の映像
信号は、被写体分離部１０５Ｌ，１０５Ｒに接続された
画像処理部２２０により、撮像時のパラメータに基づく
奥行き情報の抽出処理（以下「第１処理」といい、詳細
は後述する）が施された後、記録部２５０に記録され
る。【００５４】一方、映像信号処理部１０４Ｌ，１０４Ｒ
で得られた輝度信号及び色信号から成る映像信号は、画
像処理部２２０により、視差を用いた奥行き情報の抽出
処理（以下「第２処理」といい、詳細は後述する）が施
された後、記録部２５０に記録される。【００５５】そして、上記第１処理及び第２処理により
得られた奥行き情報を、システムコントローラ２１０の
制御により画像処理部２２０にて、取捨選択することに
より統合し、被写体２全体の最終的奥行き情報を求める
（後述）。【００５６】また、被写体分離部１０５Ｌ，１０５Ｒに
接続された合焦検出部２７０により、合焦が行われる。【００５７】焦点距離の設定は、次のようにして行う。【００５８】まず、距離情報は下記数式１により表わさ
れる。【００５９】【数１】Ｚ＝ｆｂ／ｄここに、Ｚは視点と被写体２との距離を、ｆは焦点距離
を、ｂは基線長を、ｄは二つの視点の視差を示す。視差
により決まる距離分離能をパラメータとして考え、下記
数式２を得る。【００６０】【数２】∂Ｚ／∂ｄ＝−ｆｂ／ｄ² よって、焦点距離は、下記数式３により与えられる。【００６１】【数３】ｆ＝（−ｄ²／ｂ）・（∂Ｚ／∂ｄ）また、外部入力Ｉ／Ｆ７６０を介してコンピュータ等か
ら分解能を設定し、この値に基づいて、焦点距離ｆを設
定することも可能である。【００６２】この他、表示部２４０は、映像信号処理部
１０４Ｌ，１０４Ｒに接続され、種々の画像情報を出力
表示する。【００６３】また、オーバーラップ検出部９２は、メモ
リ７３，７５，８３，８５に接続されている。【００６４】図４は、システムコントローラ２１０の構
成を示すブロック図である。同図に示すように、システ
ムコントローラ２１０は、マイクロコンピュータ９００
に、画像情報の演算処理を行う画像演算処理部９２０
と、画像情報を格納するメモリ９１０とがバスにて接続
されている。【００６５】以下に、第１処理を図１、図５及び図６を
用いて説明する。【００６６】図１は、本実施の形態において、第１処理
を説明するための図である。【００６７】ボクセル空間１１２０は、球形状の被写体
２全体を内包し、被写体２表面の各部位の位置情報は、
カメラの主点１１１０からの奥行き情報として三次元座
標により表現される。【００６８】また、１１００は、得られた画像に前述し
た手法により被写体２と背面３との分離処理が施された
背景分離画像であり、被写体画像１１０１と背景画像１
１０２とから成る。【００６９】ここで、背景分離画像１１００は、画像の
各部分について、被写体２を表す部分か背面３を表す部
分かが判断されたものであり、上記分離処理の後に、例
えば被写体２を表す部分の画像情報にはフラグ「１」を
付加すると共に、背面３を表わす部分の画像情報にはフ
ラグ「０」を付加することにより得ることができる。【００７０】線分１１３０〜１１３４は、分離された被
写体画像の輪郭部から主点１１１０を通り、被写体２に
接する。被写体２の表面上の点Ｐ１，Ｐ２，Ｐ３，Ｐ
４，Ｐ５は、被写体画像１１０１の輪郭上の点ｐ１，ｐ
２，ｐ３，ｐ４，ｐ５に対応し、それぞれ線分１１３
０，１１３１，１１３２，１１３３，１１３４により結
ばれる。【００７１】第１処理は、ボクセル空間１１２０から被
写体２の輪郭の外部を除去することにより行う。すなわ
ち、外側のボクセルデータを多数の線分で切るのであ
る。これは、例えば線分１１３０〜１１３４よりも外側
にあるボクセルは、被写体部分ではないものとして扱
い、内側のボクセルのみで形成される立体形状が被写体
２の形状であるとみなすことを意味する。具体的な処理
は、各ボクセルについて、フラグを立て、例えばフラグ
「０」ならそのボクセルの座標情報をボクセル空間１１
２０の空間座標から除去し、フラグ「１」なら採用する
ことにより行う。【００７２】図５は、第１処理による座標情報除去処理
を模式的に示したものであり、被写体２の断面図を示し
たものである。本図では、説明を容易化するため、被写
体２を撮像するカメラを二次元的に移動させ、同一平面
内で処理を行った場合について示している。【００７３】同図中、（ａ）の１２１０はボクセル空間
の一部（平面で捉えたものである）であり、その中に平
面体としての被写体２がある。【００７４】本図では撮像する視点は４つとし、各カメ
ラの主点１２００〜１２０３がそれに該当する。【００７５】被写体２の画像は各主点１２００〜１２０
３を経て、イメージセンサ１２０Ｌ２等の断面１２４０
〜１２４３に投影される。【００７６】被写体２の輪郭に接する線分１２２０〜１
２２７は、被写体２の内側の境界線となる。線分１２２
０，１２２１は主点１２００を通り、線分１２２２，１
２２３は主点１２０１を通り、線分１２２４，１２２５
は主点１２０２を通り、線分１２２６，１２２７は主点
１２０３を通る。【００７７】ここで、各線分１２００〜１２０７により
被写体２の外側の部分をボクセル空間の一部１２１０か
ら除去すると、同図に示す交点ａ，ｂ，ｃ，ｄ，ｅ，
ｆ，ｇ，ｈで囲まれた領域１２３０が、境界線の内側と
して残る。同図の（ｂ）は、本処理が施された領域を抽
出し、被写体２の真の領域１２３１をオーバラップさせ
て示したものである。【００７８】このような処理を三次元的に行うことで、
被写体２の立体的輪郭を把握できる。【００７９】なお、このような処理は、ボクセル空間１
１２０側から投影画像を見て、三次元的に行うこともで
きる。すなわち、例えばボクセル空間１１２０内のある
座標から、逆に主点１１１０を通る線分を計算すると共
に、その座標に係る点が背景分離画像１１００のどこに
投影されるかを計算し、その投影点が被写体画像１１０
１を示すかそれとも背景画像１１０２を示すかを、フラ
グにより判断するようにしてもよい。そして、この処理
をボクセル空間の原点（０，０，０）から原点ら最も離
れた点（ｒ₀，θ₀，φ₀）まで、各点について行うので
ある。【００８０】この処理は、以下のような算術処理により
行われる。【００８１】まず、極座標では、直交座標との関係から
Ｘ，Ｙ，Ｚは下記数式４、数式５、数式６により表わさ
れる。【００８２】【数４】Ｘ＝ｒsinθcosφ 【００８３】【数５】Ｙ＝ｒsinθsinφ 【００８４】【数６】Ｚ＝ｒcosθ ボクセル空間１１２０側とカメラの主点１１１０との関
係は、下記数式７により与えられる。なお、主点１１１
０の極座標で表わした座標を（ａ₀，ｂ₀，ｃ₀）と、座
標のねじれを反映した直交座標を（Ｘ′，Ｙ′，Ｚ′）
とする。【００８５】【数７】よって、ボクセル空間座標（ｒ，θ，φ）に対応する背
景分離画像１１００への投影点を（ｘ，ｙ）とすると、
投影点（ｘ，ｙ）は、下記数式８、数式９により求めら
れる。【００８６】【数８】ｘ＝ｆＸ′／Ｚ′ 【００８７】【数９】ｙ＝ｆＹ′／Ｚ′ ここに、ω₁は、Ｘ軸に関し、Ｙ軸からＺ軸方向へ回転
する方向へのねじれ角であり、ω₂は、Ｙ軸に関し、Ｚ
軸からＸ軸方向へ回転する方向へのねじれ角であり、ω
₃は、Ｚ軸に関し、Ｘ軸からＹ軸方向へ回転する方向へ
のねじれ角である。これらのねじれ角ω₁，ω₂，ω
₃は、カメラの主点１１１０の座標系と、ボクセル空間
１１２０の直交座標系とのねじれ関係を示すパラメータ
である。【００８８】次に、投影点（ｘ，ｙ）のフラグを参照す
ることにより、当該ボクセルが被写体２の内部に属する
ものであるか否かを判別する。なお、ｘ，ｙの値が整数
値でない場合は、その近傍領域からフラグを判断する。
そして、この処理を多視点から繰り返し行うことによ
り、被写体２の奥行き情報がボクセル空間１１２０の中
に抽出される。この処理の過程を、図６に示す。同図
中、図１と同一の要素には同一符号を付してある。【００８９】以上説明した第１処理により、被写体２の
輪郭を把握できる。【００９０】さらに、この処理を高速化するためには、
例えば半径ｒに関する処理を先に行うようにしてもよ
い。すなわち、半径ｒが取りうる最大値を求め、その外
郭部をまず除去してしまい、次にθ，φに関して上記処
理を行うようにする。このようにすれば、被写体２の外
郭部をいわゆる「そぎ落とす」処理をより効果的に行え
るので、直交座標系における処理と比べると、一段と高
速な処理が可能となる。【００９１】以下に、図７〜図１３を用いて、上記第２
処理について説明する。【００９２】図７は、第２処理により被写体２の奥行き
情報を抽出する手順を示すブロック図である。【００９３】本処理は、いわゆるステレオ画像から奥行
き情報を求めるものである。ステレオ画像１１０は画像
メモリ５に蓄積されており、左画像と右画像とからな
る。【００９４】ステレオ画像１１０は、エッジ抽出部１１
１に入力され、後述する手法によりエッジが抽出された
エッジ画像が生成される。このエッジ画像は、エッジ画
像対応点抽出部１１３により、左右の画像中の各画素
が、互いにどのような対応関係になっているかが判断さ
れ、その対応関係の情報は矛盾排除処理部１１４に出力
される。【００９５】一方、ステレオ画像１１０は、ステレオ画
像対応点抽出部１１２にも入力され、後述する手法に
て、ステレオ画像１１０の輝度値から各画素が互いにど
のような対応関係になっているかが判断されて、その対
応関係の情報が矛盾排除処理部１１４に出力される。【００９６】矛盾排除処理部１１４では、エッジ画像対
応点抽出部１１３で求められた対応関係と、ステレオ画
像対応点抽出部１１２で求められた対応関係とを比較
し、両者に矛盾があるかどうかを判別する。そして、両
者に矛盾があるときは、対応関係の信頼性が低いものと
してその情報を排除する。このときの判断においては、
両者に適当に重み付けをするようにしてもよい。【００９７】矛盾排除処理部１１４の処理結果はオクル
ージョン領域判定処理部１１５に出力される。ここで
は、既に求められた対応点の個所と、対応点を求める途
中で使用されている相関の程度を表す指数、例えば残差
とにより、オクルージョン領域を判断される。これは、
対応点抽出処理により一応の結果は得られるが、その信
頼性をさらに高めるために行われるものである。【００９８】相関の程度を表す指数としては相関係数ま
たは残差が用いられ、例えば残差が非常に大きいときや
相関係数が低いときは、対応関係の信頼性が低いと判断
される。そして、この信頼性の低い部分が、オクルージ
ョン領域または対応関係が存在しない領域として扱われ
る。【００９９】奥行き情報分布算出処理部１１６では、得
られた対応関係に基づいて、三角測量の原理により、被
写体２の奥行き情報が算出される。なお三角測量は、前
記数式１を用いて行う。【０１００】ステレオ画像１１０は、さらに特徴点抽出
部１１７にも入力され、背景部の特徴点が同定処理され
る。その処理結果は補正データ算出処理部１１８に出力
され、背景部の特徴点を利用して、撮像パラメータ，姿
勢及び移動関係が取得される。その際、ジャイロ８８０
による角度変化等の情報が補正データ算出処理部１１８
に出力される。【０１０１】ここで、上記ステレオ画像対応点抽出部１
１２による対応点抽出処理方法の代表として、テンプレ
ートマッチング法について説明する。【０１０２】図８は、ステレオ画像１１２によるテンプ
レートマッチング法を説明するための図である。【０１０３】同図のように、例えば左画像からＮ×Ｎ画
素のテンプレート画像を切り出す。そしてこれを、右画
像から得られたＭ×Ｍ画素の入力画像内の探索領域（Ｍ
−Ｎ＋１）²上で動かす。さらに、下記数式１０に基づ
き、残差Ｒ（ａ１，ｂ１）が最小となるようなテンプレ
ート画像の位置を求め、Ｎ×Ｎ画素のテンプレート画像
の中心画素を一致個所として求める。【０１０４】【数１０】ここで、（ａ１，ｂ１）はＮ×Ｎ画素のテンプレート画
像の左上位置を示し、Ｉ_R(a1,b1)（ｉ，ｊ）は右画像の
部分画像に、Ｔ_L（ｉ，ｊ）は、左画像から切り出した
テンプレート画像に対応する。【０１０５】次に、エッジ抽出部１１１によるエッジ抽
出方法を説明する。エッジ抽出には、例えばロバートフ
ィルタ等の手法のほかゾーベルフィルタを用いることも
できる。【０１０６】ロバートフィルタによれば、入力画像をｆ
（ｉ，ｊ）とすると、出力画像をｇ（ｉ，ｊ）は下記数
式１１または下記数式１２により算出される。【０１０７】【数１１】g(i,j)=[{f(i,j)-f(i+1,j+1)}²+{f(i+1,j)-f
(i,j+1)²]^1/2 ^{【０１０８】} 【数１２】 g(i,j)=|{f(i,j)-f(i+1,j+1)}|+|{f(i+1,j)-f(i,j+1)}| ゾーベルフィルタによれば、下記数式１３及び数式１４
によりマトリックスｆｘ，ｆｙを得た後、下記数式１５
によりエッジの強さの方向を表わす指数θ₁が算出され
る。【０１０９】【数１３】【０１１０】【数１４】【０１１１】【数１５】θ₁＝ｔａｎ^-1（ｆｙ／ｆｘ）このようにして、エッジ部が強調された画像に対し二値
化処理を行いエッジ成分を抽出する。なお、二値化処理
は適当な閾値を用いて行う。【０１１２】以上のような処理によりステレオ画像に基
づいて求められた奥行き情報を、図９に示す。【０１１３】同図において、図１と同一要素には同一符
号を付してその説明を省略する。同図中、点Ｑ₁〜Ｑ
₇は、奥行き情報が求められた点を示し、点ｑ₁〜ｑ
₇は、各点Ｑ₁〜Ｑ₇に対応する背景分離画像１１００中
の投影点を示す。また、左右の画像から得られた２つの
背景分離画像の中心間の距離を基線長Ｂとする。【０１１４】次に、多視点においてステレオ画像から得
られた奥行き情報の統合処理を、図１０〜図１３に基づ
き説明する。【０１１５】図１０は、第２処理における奥行き情報統
合処理の手順を示すブロック図である。【０１１６】例えば同図に示す第１の視点ｔによる奥行
き情報Ｚ^t、次に第２の視点ｔ＋δｔによる奥行き情報
Ｚ^t+δtというように、１対のステレオ画像からは、奥
行き情報１２０が時々刻々と生成される。【０１１７】各視点による奥行き情報は、座標系変換部
１２１に入力され、カメラ姿勢位置検知部４からも入力
される位置情報を用いて、後述する手法により、任意の
統一された座標系に変換される。統一された座標系とし
て、例えば図１に示すようなボクセル空間１１２０と同
様の座標系を採用してもよい。統一された座標系への変
換には、アフィン変換等を用い、オイラー角が同一にな
るようにする。このように変換することにより、多視点
で得られた奥行き情報の統合処理を容易にできるのであ
る。【０１１８】上記統一された座標系に変換された各奥行
き情報は、奥行き情報統合部１２２にて、オクルージョ
ン領域情報送出部１２３からの情報をも用いて統合され
る。その処理の詳細は後述する。【０１１９】ここでいう「統合」とは、少なくとも二つ
以上の任意の視点による被写体２の奥行き情報１２０に
対して、各々の局所的なずれ量に係る情報を得て、得ら
れたずれ情報を基に、同一座標系から見た奥行き情報と
するように処理することをいう。具体的には、同一点は
同一であると判断すること、求められた各点の座標の間
を補間することのほか、少なくとも三つの複数視点によ
り得られた奥行き情報の内、互いに重複する抽出領域の
奥行き情報を多数決により取捨選択すること等の処理の
ことである。【０１２０】なお、統合された奥行き情報及びオクルー
ジョン領域情報送出部からの情報は、表示部１２４によ
り表示される。【０１２１】次に、奥行き情報統合部１２２による統合
処理を図１１〜図１３を用いて説明する。【０１２２】まず、多数決処理を図１１を用いて説明す
る。【０１２３】同図では、説明を簡単にするために、被写
体２はφ軸方向に変化の無いものと仮定し、縦軸ｒ、横
軸θの二次元座標で奥行き情報を示している。【０１２４】同図の（ａ）において、ある第１の視点ｔ
による奥行き情報２００００を三角印で示し、次の第２
の視点ｔ＋δｔによる奥行き情報２０００１を丸印で示
し、さらにその次の第３の視点ｔ＋２δｔによる奥行き
情報２０００２を四角印で示す。【０１２５】これら三つの視点による奥行き情報抽出領
域が重複している領域が重複領域２００１０であり、こ
の領域２００１０にて多数決処理が行われる。【０１２６】同図（ａ）によれば、重複領域２００１０
では、奥行き情報２００００と奥行き情報２０００２と
は同一部位につきほぼ同一の値を示しているが、奥行き
情報２０００１については、例えば値２００２０，値２
００２１，値２００２２のように、著しく異なった値を
執っている。【０１２７】これは、被写体２表面の鏡面反射成分が強
いために生じた誤差と考えられる。すなわち、鏡面反射
が強い場合は一般にその輝度の強度が他の部位に比べ突
出している。そのため、対応点抽出処理では、その強い
輝度情報に影響を受け、視差情報を正しく出さないから
であると考えられる。【０１２８】そこで、この誤った奥行き情報を除去する
ために、他の視点による奥行き情報を利用するのであ
る。なお、視点が変われば強い輝度成分は別の個所にも
たらされる。従って、奥行き情報２００００，２０００
２についても、θ軸方向のいずれかの個所でその影響が
出る領域があるはずである。ただし、図１１中にはそれ
は表わされていない。【０１２９】このような鏡面反射を考慮して、少なくと
も三つの視点による奥行き情報抽出領域が重複する領域
において、二つ以上の視点による奥行き情報が略同一の
値を示す場合はこれを採用し、他方、一つだけ異なる値
を示す奥行き情報は除去するように処理する。図１１の
（ａ）では、値２００２０，２００２１，２００２２が
除去される。これを多数決処理と称す。【０１３０】ここで、多数決処理をする上で、近傍領域
中の複数の視点による奥行き情報の内、同一部位に係る
奥行き情報と比べて突出しているもの、または所定の閾
値を越えるものを除去するようにしてもよい。【０１３１】そして、奥行き情報の除去がされ、残され
た奥行き情報について平均値を執り、これをその部位に
係る最終的奥行き情報とする。【０１３２】この処理を重複領域２００１０内における
全ての部位に係る奥行き情報について行い、求められた
最終的奥行き情報を次々と繋げていく。これにより、
（ｂ）に示す奥行き情報２０００３が得られる。【０１３３】このようにして、被写体２の鏡面反射成分
の悪影響が排除された精度の高い奥行き情報を得ること
ができる。【０１３４】なお、上記残された奥行き情報の平均値を
執る代わりに、残された奥行き情報の内のいずれか一つ
を採用するようにしてもよい。あるいは、局所的なずれ
を補間するようにしてもよい。【０１３５】上記多数決処理における局所的なずれの補
間処理について図１２を用いて説明する。同図では、説
明を簡略化するために、三視点ではなく二視点からの奥
行き情報を図示する。同図の（ａ）は、第１の視点ｔに
より得られた奥行き情報ｒ^t（θ，φ）を一例として描
いたものである。【０１３６】（ｂ）は、次の第２の視点ｔ＋δｔにより
得られた奥行き情報ｒ^t+δt（θ′，φ′）を、統一さ
れた方向から見た場合の奥行き情報ｒ′^t+δt（θ′，
φ′）を描いたものである。【０１３７】（ｃ）は、（ａ）と（ｂ）とを描いたもの
であり、奥行き情報ｒ^t（θ，φ）とｒ′^t+δt（θ′，
φ′）とは局所的に（ｉ０，ｊ０）、すなわち（θ′−
θ，φ′−φ）だけずれている。【０１３８】（ｄ）は、（ｃ）に対して奥行き情報ｒ′
^t+δt（θ′，φ′）を（−ｉ０，−ｊ０）だけシフト
して描いたものである。奥行き情報ｒ′^t+δt（θ′，
φ′）をシフトしたものは、点線で描いてある。ここで
例えば、ｒ＝ｒ′とすると、（ｄ）のように奥行き情報
が互いに近接する。【０１３９】ここで、上記シフト量を決定する量ｉ０及
びｊ０は、次のように導出する。【０１４０】カメラ姿勢位置検知部４による検知輝度及
びステレオ画像からの奥行き抽出精度が高精度である場
合は、ずれ量Ｑ（ｉ，ｊ）は小さな値となる。ずれ量Ｑ
（ｉ，ｊ）は、下記数式１６により算出される。【０１４１】【数１６】このずれ量Ｑ（ｉ，ｊ）が最小となるような量ｉ，ｊを
求め、それを量ｉ０，ｊ０とする。【０１４２】この量ｉ０，ｊ０によりシフトされ、
（ｄ）のように重ねられた奥行き情報から、以下に説明
する同一点の排除及び中間点の補間の処理を行う。【０１４３】まず、同一点排除処理を説明する。【０１４４】本処理では、互いの奥行き情報中、被写体
２の同一の点を示す情報がある場合には、いずれか一方
の情報を採用し、他方を排除する。これには情報量を削
減するという意義もある。対比される情報が同一の点を
示すか否かは下記数式１７また数式１８により判断し、
いずれか一方の式が成立する場合に同一と判断する。【０１４５】【数１７】（ｒ−ｒ′）²＋（θ−θ′）²＋（φ−φ′）²＜ε１【０１４６】【数１８】ａ２（ｒ−ｒ′）²＋ｂ２（θ−θ′）²＋ｃ
２（φ−φ′）²＜ε２ここで、ε１，ε２は所定の基準値であり、ａ２，ｂ
２，ｃ２は係数である。例えばａ２＝ｂ２＝１とし、ｃ
２＝２とすることにより、距離の違いに対してより敏感
に判断することができる。【０１４７】次に、中間点の補間処理を図１３を用いて
説明する。【０１４８】同図は、説明を簡略化するために図１２の
（ｄ）の奥行き情報をｒ−θ平面に投影し、一次元で示
したものである。【０１４９】同図の（ａ）の白丸が奥行き情報ｒ
^t（θ，φ）を示し、黒丸が奥行き情報ｒ′^t+δt（θ，
φ）を（ｉ０，ｊ０）シフトした奥行き情報ｒ′^t+δt
（θ＋ｉ０，φ＋ｊ０）を示す。【０１５０】ここで行う補間は、例えば互いの奥行き情
報から中間点を採用する中間点補間とする。中間点補間
により求められた新たな奥行き情報Ｚｎｅｗを、（ｂ）
に白い四角で示す。【０１５１】補間方法としては、線形補間、スプライン
補間等を用いることができる。【０１５２】このようにして、鏡面反射成分による悪影
響が排除され、補間された奥行き情報が得られる。【０１５３】次に、撮像系の深度情報から得たフラグを
基に、各奥行き情報Ｚｎｅｗの信頼性を判断する。例え
ば、撮像系の光学系の焦点深度情報を利用して、信頼性
の低い奥行き情報Ｚｎｅｗは排除する。【０１５４】さらに、オクルージョン領域情報送出部１
２３からの検知情報に基づき、各奥行き情報Ｚｎｅｗを
取捨選択する。【０１５５】以上説明した第２処理により、被写体２の
鏡面反射による悪影響を回避しつつ忠実な立体形状を把
握できる。特に被写体２の凹部についても奥行き情報を
得ることが容易であるという利点がある。【０１５６】以下に、上述した第１処理で求めた奥行き
情報と第２処理で求めた奥行き情報とを統合する処理に
ついて、図１４を用いて説明する。【０１５７】図１４は、本実施の形態に係る画像情報入
力装置において、奥行き情報取捨選択による統合処理を
説明するための図である。【０１５８】同図の（Ａ）は、第１処理の模式図であ
り、図１をより簡略化して描いたものである。また、
（Ｂ）は、第２処理の模式図であり、図９をより簡略化
して描いたものである。【０１５９】本統合処理の説明を簡略化するため、特定
の断面について述べる。（Ａ），（Ｂ）において、ある
特定断面について見た場合を（Ｃ），（Ｄ）に示す。【０１６０】（Ｃ）は、第１処理の出力結果を示す斜線
の四角と、第２処理の出力結果を示す斜線の丸とを単純
に組み合わせ、重ねて表示したものである。なお、この
斜線の丸は、（Ｂ）の白丸に対応するものである。【０１６１】本統合処理は、次の（１），（２），
（３）の手順により行う。【０１６２】（１）第２処理による奥行き情報のうち、
第１処理による奥行き情報よりも外側を示すものは除去
する。【０１６３】（２）第２処理による奥行き情報のうち、
第１処理による奥行き情報よりも内側、すなわち凹部を
表現できるものは採用すると共に、略同一部位に係る第
１処理による奥行き情報は除去する。【０１６４】（３）残された第１及び第２処理による奥
行き情報は、両者を互いに繋ぐように採用する。【０１６５】例えば、（Ｃ）の奥行き情報１０００１，
１０００２に着目すると、この情報に係る部位について
は、第１処理による奥行き情報よりも奥行き情報１００
０１，１０００２の方が外側を示している（飛び出して
いる）ことがわかる。この現象は、何らかの誤差による
ものと考えられるので、奥行き情報１０００１，１００
０２は採用せず除去する。【０１６６】一方、奥行き情報１０００３のように、第
１処理による奥行き情報よりも内側を示す（引っ込んで
いる）情報は採用すると共に、同一部位に係る第１処理
による奥行き情報１０００４は除去する。【０１６７】このように取捨選択するのは、第１処理及
び第２処理の性質を考慮したものである。すなわち、第
１処理は一般に被写体の凸部の抽出精度は高く、凹部の
抽出は困難である一方、第２処理は一般に被写体の凹部
についても抽出が容易である。従って、原則として凸部
については第１処理の結果を、凹部については第２処理
の結果を採用することにより、信頼性の高い奥行き情報
を得ることができるのである。【０１６８】このような統合処理の結果を（Ｄ）に示
す。本処理を三次元的に行うことにより、被写体２の立
体形状に忠実で、滑らかな奥行き情報を得ることができ
る。【０１６９】なお、凹部の処理について、上記例では、
二つの奥行き情報１０００３が隣接している場合を説明
したが、両情報が離れているときは、情報の繋ぎ方を工
夫する。例えば、両情報の間隔が２画素（セル）以下の
場合は両者を繋ぎ、３画素以上の場合は、その３画素に
ついては第１処理の奥行き情報を採用して繋ぐようにす
る。【０１７０】このように繋ぐことにより、より忠実で滑
らかな奥行き情報が得られる。【０１７１】なお、統合処理の手順は、前述した
（１），（２），（３）に限るものではない。例えば、
手順（３）に代えて、第１処理及び第２処理の互いの奥
行き情報を適当に重み付けをして補間したものを採用す
るようにしてもよい。【０１７２】これにより、第２処理の奥行き情報が離散
的（とびとび）である場合にも、滑らかな奥行き情報の
取得を確保できる。【０１７３】また、統合処理の手順は、前述した
（１），（２），（３）のうち、（２）に代えて、次の
手順を採用してもよい。すなわち、第２処理による奥行
き情報のうち、第１処理による奥行き情報よりも内側、
すなわち凹部を表現できるものがある場合には、両者の
中間点付近をその部位の奥行き情報として採用する。【０１７４】これにより、奥行き情報をより滑らかにす
ることができる。【０１７５】以上説明したように、本実施の形態に係る
画像情報入力装置によれば、第１処理及び第２処理のい
ずれによっても被写体２の奥行き情報を得ることがで
き、さらに両者の特性を考慮して情報を統合することに
より、被写体２の立体形状に忠実で、滑らかな最終的奥
行き情報を得ることができる。また、あらゆる側面から
の精度の高い奥行き情報により、目的に応じた利用価値
の高い画像形態を得ることができる。【０１７６】特に第２処理では多数決処理を行うことに
より、鏡面反射による悪影響を回避でき、被写体２によ
り忠実な奥行き情報が得られる。【０１７７】さらに、第１及び第２処理を極座標空間を
用いて行うので、処理を容易且つ高速に行うことができ
る。【０１７８】（実施の第２形態）以下に、本発明の実施
の第２形態を説明する。【０１７９】本実施の形態では、奥行き情報抽出処理
を、極座標ではなく、円柱座標を用いて行う点のみが実
施の第１形態と異なるので、図１５を用いて円柱座標に
ついてのみ説明し、その他の説明は省略する。【０１８０】図１５において、図１と同一要素には同一
符号が付してある。【０１８１】円柱座標は、同図左下の円柱図に示すよう
に、点Ｏを原点とする直交座標軸Ｘ，Ｙ，Ｚを執り、Ｚ
軸を軸とする半径ｒの円柱面、Ｚ軸を含みＺＸ平面と角
θをなす半平面、及びＺ軸に垂直で原点Ｏからの距離が
Ｚである平面の三面の交わる点を交点Ｐとすると、交点
Ｐの座標は、（ｒ，θ，φ）で表わされる。【０１８２】同図中１５１１２０は、円柱座標で表わさ
れる空間を所定の座標間隔で区切ったボクセル空間であ
り、奥行き情報抽出処理をする上で、上記交点Ｐの座標
を表現するのと同様に、各ボクセルが（ｒ，θ，ｚ）に
より表現される。【０１８３】なお、ボクセル空間１５１１２０の原点
は、背面３内に設定される。【０１８４】円柱座標では、直交座標系との関係は下記
数式１９、数式２０、数式２１にて表わされる。【０１８５】【数１９】ｘ＝ｒcosθ 【０１８６】【数２０】ｙ＝ｒsinθ 【０１８７】【数２１】ｚ＝ｚ従って、前記数式７に相当する式が下記数式２２により
表わされる。【０１８８】【数２２】そして、実施の第１形態と同様に前記数式８、数式９に
より投影点（ｘ，ｙ）が求められる。【０１８９】さらに、実施の第１形態と同様の切り出し
方法により、上記数式２２を用いて第１処理が行われ
る。【０１９０】また、第２処理及び奥行き情報の取捨選択
統合処理についても円柱座標を用いて行われる。【０１９１】本実施の形態に係る画像情報入力装置によ
っても、実施の第１形態と同様の効果を得ることができ
る。【０１９２】なお、実施の第１形態では極座標を、実施
の第２形態では円柱座標を用いるようにしたが、これに
限るものでなく、楕円座標等、他の曲線座標を用いるよ
うにしてもよい。【０１９３】さらに、実施の第１、第２形態では、、第
１処理及び第２処理の双方の処理を用いるようにした
が、いずれか一方でもよい。【０１９４】また、複数の視点により得た被写体の画像
を用いる手法であれば、他の奥行き情報抽出手法を用い
るようにしてもよい。【０１９５】【発明の効果】以上説明したように、本発明の請求項１
に係る画像情報入力装置によれば、奥行き情報抽出手段
によって、複数の視点により被写体を撮像して得られた
複数の画像に基づき曲線座標を用いた所定の処理により
前記被写体の各部位の奥行き情報が抽出されるので、あ
らゆる被写体について、任意の視点からの高精度で滑ら
かな奥行き情報を容易に且つ高速で得ることができ、三
次元形状情報の利用価値を高めることができる。【０１９６】本発明の請求項２に係る画像情報入力装置
によれば、前記被写体の画像を前記複数の視点に投影
し、該投影された複数の画像の輪郭に基づき前記被写体
の各部位の奥行き情報を抽出する輪郭計測手段、及び前
記被写体を二つの視点により撮像し、該二つの視点によ
り撮像された被写体の二つの画像から視差を用いて前記
被写体の各部位の奥行き情報を抽出するステレオ計測手
段の少なくとも一方によって、前記被写体の各部位の奥
行き情報が抽出される。【０１９７】本発明の請求項３に係る画像情報入力装置
によれば、前記被写体の画像が前記複数の視点に投影さ
れ、該投影された複数の画像の輪郭の外側に係る座標情
報が前記被写体を含む座標空間の各座標を表現する空間
座標情報から除去されることにより、前記空間座標情報
に残された座標情報に基づいて前記被写体の各部位の奥
行き情報が抽出されるので、被写体の三次元形状を、よ
り簡易な構成で容易に把握できる。【０１９８】本発明の請求項４に係る画像情報入力装置
によれば、前記所定の処理は極座標を用いて行われるの
で、より容易に且つ高速に処理できる。【０１９９】本発明の請求項５に係る画像情報入力装置
によれば、前記所定の処理は円柱座標を用いて行われる
ので、より容易に且つ高速に処理できる。【０２００】本発明の請求項６に係る画像情報入力装置
によれば、撮像方向における前記被写体の背後に所定の
基準面が想定され、前記曲線座標の原点は前記所定の基
準面内に設定されるので、奥行き情報の抽出処理がより
容易になる。特にカメラ基準の場合と比べると測定誤差
が少なくて済む。【０２０１】本発明の請求項７に係る画像情報入力方法
によれば、奥行き情報抽出段階で、複数の視点により被
写体を撮像して得られた複数の画像に基づき曲線座標を
用いた所定の処理により前記被写体の各部位の奥行き情
報が抽出されるので、あらゆる被写体について、任意の
視点からの高精度で滑らかな奥行き情報を容易に且つ高
速で得ることができ、三次元形状情報の利用価値を高め
ることができる。

【図面の簡単な説明】

【図１】本発明の実施の第１形態に係る画像情報入出力
装置において、第１処理を説明するための図である。

【図２】同実施の形態に係る画像情報入出力装置と、そ
の周辺環境の概略を示すブロック図である。

【図３】同実施の形態に係る画像情報入出力装置の全体
構成図である。

【図４】同装置に係る、システムコントローラの構成を
示すブロック図である。

【図５】第１処理による座標情報除去処理に係る、被写
体断面図である。

【図６】第１処理の処理過程を示す図である。

【図７】第２処理により被写体の奥行き情報を抽出する
手順を示すブロック図である。

【図８】第２処理におけるテンプレートマッチング法を
説明するための図である。

【図９】第２処理を説明するための図である。

【図１０】第２処理における奥行き情報統合処理の手順
を示すブロック図である。

【図１１】第２処理における多数決処理を説明するため
の図である。

【図１２】第２処理において、奥行き情報統合部による
統合処理を説明するための図である。

【図１３】第２処理において、中間点補間処理を説明す
るための図である。

【図１４】実施の第１形態に係る画像情報入力装置にお
いて、奥行き情報取捨選択による統合処理を説明するた
めの図である。

【図１５】本発明の実施の第２形態に係る画像情報入力
装置において、第１処理を説明するための図である。

【符号の説明】

５画像メモリ６奥行き情報演算部７２次元画像データ演算部１００Ｒ撮像レンズ１００Ｌ撮像レンズ１０２Ｒ２イメージセンサ１０２Ｌ２イメージセンサ１０４Ｒ映像信号処理部１０４Ｌ映像信号処理部１０５Ｒ被写体分離部１０５Ｌ被写体分離部２１０システムコントローラ２２０画像処理部９００マイクロコンピュータ９２０画像演算処理部１１６奥行き情報分布算出処理部１２２奥行き情報統合部

───────────────────────────────────────────────────── フロントページの続き (72)発明者石川基博東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】複数の視点により被写体を撮像して得ら
れた複数の画像に基づき前記被写体の各部位の奥行き情
報を抽出する奥行き情報抽出手段を備えた画像情報入力
装置において、前記奥行き情報抽出手段は、曲線座標を
用いた所定の処理により前記被写体の各部位の奥行き情
報を抽出することを特徴とする画像情報入力装置。
【請求項２】前記奥行き情報抽出手段は、前記被写体
の画像を前記複数の視点に投影し、該投影された複数の
画像の輪郭に基づき前記被写体の各部位の奥行き情報を
抽出する輪郭計測手段、及び前記被写体を二つの視点に
より撮像し、該二つの視点により撮像された被写体の二
つの画像から視差を用いて前記被写体の各部位の奥行き
情報を抽出するステレオ計測手段の少なくとも一方を備
えたことを特徴とする請求項１記載の画像情報入力装
置。
【請求項３】前記所定の処理は、前記被写体の画像を
前記複数の視点に投影し、該投影された複数の画像の輪
郭の外側に係る座標情報を前記被写体を含む座標空間の
各座標を表現する空間座標情報から除去することによ
り、前記空間座標情報に残された座標情報に基づいて前
記被写体の各部位の奥行き情報を抽出する処理であるこ
とを特徴とする請求項１または２記載の画像情報入力装
置。
【請求項４】前記曲線座標は、極座標であることを特
徴とする請求項１〜３のいずれか１項に記載の画像情報
入力装置。
【請求項５】前記曲線座標は、円柱座標であることを
特徴とする請求項１〜３のいずれか１項に記載の画像情
報入力装置。
【請求項６】前記奥行き情報抽出手段は、撮像方向に
おける前記被写体の背後に所定の基準面を想定し、前記
曲線座標の原点を前記所定の基準面内に設定することを
特徴とする請求項１〜５のいずれか１項に記載の画像情
報入力装置。
【請求項７】複数の視点により被写体を撮像して得ら
れた複数の画像に基づき前記被写体の各部位の奥行き情
報を抽出する奥行き情報抽出段階を含む画像情報入力方
法において、前記奥行き情報抽出段階は、曲線座標を用
いた所定の処理により前記被写体の各部位の奥行き情報
を抽出することを特徴とする画像情報入力方法。