JPH1023311A

JPH1023311A - 画像情報入力方法及び装置

Info

Publication number: JPH1023311A
Application number: JP8194104A
Authority: JP
Inventors: Katsumi Iijima; 克己飯島; Katsuhiko Mori; 克彦森; Sunao Kurahashi; 直倉橋; Motohiro Ishikawa; 基博石川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-07-05
Filing date: 1996-07-05
Publication date: 1998-01-23

Abstract

(57)【要約】【課題】目的に応じた画像形態にして利用可能にした
画像情報入力方法及び装置を提供する。【解決手段】単数の光学系からなる撮像系より、任意
の位置から被写体を撮像して該被写体の奥行き情報を得
る奥行き情報抽出手段を有する画像情報入力装置におい
て、前記奥行き情報抽出手段は、複数視点の立体画像か
らの視差情報を多数決して求める画像処理部２０２を備
えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報入力方法
及び装置に関する。

【０００２】

【従来の技術】従来より、物体の三次元形状を求める技
術とて、大別して受動的手法と能動的手法とがある。

【０００３】受動的手法の代表的なものが立体（ステレ
オ）画像法であり、２台のカメラを用いて三角測量を行
うものである。この方法では左右の画像から同じ物が写
っている場所を探索し、その位置のずれ量から被写体の
三次元位置を計測する。

【０００４】また、能動的手法の代表的なものとして、
光を投影して反射して帰ってくるまでの時間を計測して
距離を求める光レーダ型のレンジファインダやスリット
状の光パターンを投影して被写体に写るパターン形状の
変位から三次元形状を測定するスリット光投影法等があ
る。

【０００５】そして、得られた被写体の三次元データか
ら被写体を任意の視点から見た場合の被写体映像を二次
元のディスプレイ等に再生することは従来から行われて
きた。

【０００６】また、パーソナルコンピュータの普及に伴
い、電子カメラで撮像した画像を取り込んで編集するこ
とも可能になってきた。例えば電子カメラで複数の画像
に分けて風景を撮影したとする。このとき撮像された画
像はパーソナルコンピュータに取り込まれてアプリケー
ションソフトにより更に処理が施される。これによって
電子カメラで撮像した画像を任意に扱うことができるも
のである。

【０００７】また、被写体を撮像した複数画像間の視差
を用いて被写体までの距離を求める方法が一般に知られ
ている。その一例として、立体（ステレオ）カメラを用
いて左右画像を撮像し、その画像間の視差を求めて、下
記（１）式に示す三角測量則に基づき被写体までの距離
を求める方法がある。

【０００８】

【数１】ここで、Ｚはカメラの光軸方向への距離、ｆは焦点距
離、Ｂは基線長、ｄαは視差をそれぞれ表わしている。

【０００９】そして、画像中、全域で上記のように被写
体までの距離を求めることにより、ある地点からの被写
体の一部分の形状を求めることができる。更に、各地点
で得られる部分形状が部分的に重なるようにして、多地
点からそれぞれの地点での部分形状の面の傾きや曲率を
利用したり、また画像のテクスチャを用いて、それぞれ
各地点で求めた部分形状を統合し、被写体の立体形状を
求める方法や、被写体と共にパッドを撮影し、そのパッ
ドからカメラの位置と姿勢を求めて、それぞれ各地点で
求めた部分形状をある基準座標値に変換し、統合するこ
とにより被写体の立体情報を求める方法がある。前記パ
ッドには既知の特徴点があり、その特徴点である位置と
形状よりカメラの位置と姿勢を求めることができる。

【００１０】視差を求めるには、立体（ステレオ）画像
間の対応点抽出処理を行うが、この対応点抽出処理方法
の代表的な手法の一つとして、テンプレートマッチング
法が一般に知られている。このテンプレートマッチング
法とは、図２４（ａ）に示すように、基準となる画像２
４１中の対応点をとりたい１点Ｐを囲むテンプレート２
４２を考え、そのテンプレート２４２を同図（ｂ）に示
す探索される画像２４３上全域に移動させ、各点におけ
る類似度を計算することにより対応点を決定する方法で
ある。

【００１１】類似度を求める評価関数としては、下記
（２）式のように輝度値の差分を使用する関数や、下記
（３）式のように輝度値の相関値を使用する関数があ
る。

【００１２】

【数２】

【００１３】

【数３】上記（１），（３）式でＦ（ｉ，ｊ）はテンプレート
を、Ａ（ｉ，ｊ）は探索される画像を表わしている。つ
まり、上記式は、探索される画像上でテンプレートの位
置を（ｖ，ｈ）だけ移動させたときの類似度を示す。な
お、上記（２）式を用いると、Ｅ（ｖ，ｈ）が最小とな
った点が対応点であり、理論上Ｅ（ｖ，ｈ）の最小値は
０となる。また、上記（３）式を用いると、σ（ｖ，
ｈ）が最大となった点が対応点であり、理論上σ（ｖ，
ｈ）の最小値は１となる。

【００１４】また別の評価関数として、下記（４）式の
ようにテンプレート内全体で、テンプレート内の各画素
と探索される画像上の１画素との差分があるしきい値ε
以下の画素数を求めて、その画素数が最多の点を対応点
とする関数がある。

【００１５】

【数４】この（４）式を用いると、Ｃ（ｖ，ｈ）が最大になった
点が対応点であり、理論上最大値はテンプレート内の全
画素数となる。

【００１６】

【発明が解決しようとする課題】しかしながら、上述し
た従来例の受動的手法にあっては、カメラが設置されて
いるある特定の位置から距離情報算出が主目的であり、
ある被写体の立体形状そのものを計測するものではな
い。

【００１７】また、上述した従来例の能動的手法では、
レーザー等を物体に照射するために、利用の点で繁雑で
あった。

【００１８】また、上述した従来例の立体画像法及び能
動的手法のいずれにおいても、ある物体の周囲を移動し
ながら撮像するような動的な撮像方式においても柔軟に
対応できるような奥行き情報抽出は行われていない。

【００１９】また、我々がオフィス等で一般に取り扱う
画像は、最終的には紙に印刷して出力されることが多
く、しかも使用する画像形態は自然画の場合もあれば、
被写体を輪郭線のみで表わす線画の場合もある。即ち、
被写体の情報をいろいろな側面から加工する事を行いた
いのに対して、上述した従来例では、被写体の立体形状
データをカメラが設置されているある特定の位置からの
算出を行い、二次元ディスプレイに忠実に表示すること
に主眼が置かれていたため、オフィスでは使われること
はなかった。

【００２０】一方、電子カメラで撮像した画像がパーソ
ナルコンピュータに取り込まれた後、その画像を用いた
画像処理において、被写体の三次元データを抽出した上
で、被写体を任意の視点から見た場合の被写体像に変換
し、例えばオフィスで文章を作成する際に、その変換さ
れた被写体画像を取り入れた文章を作成するというアプ
リケーションは無かった。

【００２１】また、上述した従来例の対応点抽出法によ
り得られた対応点が全て正解であるわけではない。例え
ば画像中で距離が大きく変化する領域、また光が強く当
たって「てかり」が生じている領域では誤抽出すること
が多い。つまり対応点抽出結果を全て用いて、（１）式
から距離を求めて統合すると、得られる物体の形状が正
解と異なることがある。

【００２２】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その第１の
目的とするところは、目的に応じた画像形態にして利用
可能にした画像情報入力方法及び装置を提供しようとす
るものである。

【００２３】また、本発明の第２の目的とするところ
は、対応点抽出処理の誤抽出を除去して被写体の正しい
立体情報が得られるようにした画像情報入力方法及び装
置を提供しようとするものである。

【００２４】

【課題を解決するための手段】上記第１の目的を達成す
るために請求項１記載の画像情報入力方法は、単数の光
学系からなる撮像系により、任意の位置から被写体を撮
像して該被写体の奥行き情報を得る画像情報入力方法に
おいて、複数視点の立体画像からの視差情報を多数決し
て求めることを特徴とするものである。

【００２５】また、上記第１の目的を達成するために請
求項２記載の画像情報入力方法は、複数の光学系からな
る撮像系により、任意の位置から被写体を撮像して該被
写体の奥行き情報を得る画像情報入力方法において、複
数視点の立体画像からの視差情報を多数決して求めるこ
とを特徴とするものである。

【００２６】また、上記第２の目的を達成するために請
求項３記載の画像情報入力方法は、被写体に対して相対
的に移動する画像入力手段により入力された画像を用い
て前記被写体の一部分の形状を求め、それらの部分形状
から前記被写体全体の立体情報を求める画像情報入力方
法において、複数画像間の対応点を求め、該求めた対応
点から前記被写体の一部分の形状を求め、該求めた複数
の部分形状間の各対応点同士の同士の距離とその部分形
状を求めた対応点の第１の評価関数値とを用いて立体情
報を求めるための第２の評価関数値を計算し、該求めた
第２の評価関数値に基づき前記被写体の立体情報を出力
することを特徴とするものである。

【００２７】また、上記第２の目的を達成するために請
求項４記載の画像情報入力方法は、被写体に対して相対
的に移動する画像入力手段により入力された画像を用い
て前記被写体の一部分の形状を求め、それらの部分形状
から前記被写体全体の立体情報を求める画像情報入力方
法において、複数画像間の対応点を求め、該求めた対応
点から前記被写体の一部分の形状を求め、該求めた複数
の部分形状間の各対応点同士の同士の距離とその部分形
状を求めた対応点の第１の評価関数値の最高値とを用い
て立体情報を求めるための第２の評価関数値を計算し、
該求めた第２の評価関数値に基づき前記被写体の立体情
報を出力することを特徴とするものである。

【００２８】また、上記第１の目的を達成するために請
求項５記載の画像情報入力方法は、請求項１または２記
載の画像情報入力方法において、前記複数視点の立体画
像からの視差情報を多数決して求めることは、奥行き方
向の情報の内、他の奥行き情報と大きく異なる物を排除
することであることを特徴とするものである。

【００２９】また、上記第１の目的を達成するために請
求項６記載の画像情報入力方法は、請求項１または２記
載の画像情報入力方法において、前記複数視点の立体画
像からの視差情報を多数決して求めることは、複数視点
の画像から、他の視点での画像と大きく輝度の異なる物
を排除した後に視差情報を求めることであることを特徴
とするものである。

【００３０】また、上記第１の目的を達成するために請
求項７記載の画像情報入力装置は、単数の光学系からな
る撮像系により、任意の位置から被写体を撮像して該被
写体の奥行き情報を得る奥行き情報抽出手段を有する画
像情報入力装置において、前記奥行き情報抽出手段は、
複数視点の立体画像からの視差情報を多数決して求める
視差情報抽出手段を備えていることを特徴とするもので
ある。

【００３１】また、上記第１の目的を達成するために請
求項８記載の画像情報入力装置は、複数の光学系からな
る撮像系により、任意の位置から被写体を撮像して該被
写体の奥行き情報を得る奥行き情報抽出手段を有する画
像情報入力装置において、複数視点の立体画像からの視
差情報を多数決して求める視差情報抽出手段を備えてい
ることを特徴とするものである。

【００３２】また、上記第１の目的を達成するために請
求項９記載の画像情報入力装置は、請求項７または８記
載の画像情報入力装置において、前記視差情報抽出手段
は、奥行き方向の情報の内、他の奥行き情報と大きく異
なる物を排除することを特徴とするものである。

【００３３】また、上記第１の目的を達成するために請
求項１０記載の画像情報入力装置は、請求項７または８
記載の画像情報入力装置において、前記視差情報抽出手
段は、複数視点の画像から、他の視点での画像と大きく
輝度の異なる物を排除した後に視差情報を求めることを
特徴とするものである。

【００３４】また、上記第２の目的を達成するために請
求項１１記載の画像情報入力装置は、被写体に対して相
対的に移動する画像入力手段により入力された画像を用
いて前記被写体の一部分の形状を求め、それらの部分形
状から前記被写体全体の立体情報を求める画像情報入力
装置において、複数画像間の対応点を求める対応点抽出
手段と、該対応点抽出手段により求めた対応点から前記
被写体の一部分の形状を求める部分形状測定手段と、該
部分形状測定手段により求めた複数の部分形状間の各対
応点同士の同士の距離を求める距離測定手段と、前記部
分形状を求めた対応点の第１の評価関数値を計算する第
１の評価関数値演算手段と、前記距離測定手段により求
めた距離と前記第１の評価関数値演算手段により算出し
た第１の評価関数値とを用いて立体情報を求めるための
第２の評価関数値を計算する第２の評価関数値演算手段
と、該第２の評価関数値演算手段により求めた第２の評
価関数値に基づき前記被写体の立体情報を出力する出力
手段とを具備したことを特徴とするものである。

【００３５】また、上記第２の目的を達成するために請
求項１２記載の画像情報入力装置は、被写体に対して相
対的に移動する画像入力手段により入力された画像を用
いて前記被写体の一部分の形状を求め、それらの部分形
状から前記被写体全体の立体情報を求める画像情報入力
装置において、複数画像間の対応点を求める対応点抽出
手段と、該対応点抽出手段により求めた対応点から前記
被写体の一部分の形状を求める部分形状測定手段と、該
部分形状測定手段により求めた複数の部分形状間の各対
応点同士の同士の距離を求める距離測定手段と、前記部
分形状を求めた対応点の第１の評価関数値の最高値を計
算する第１の評価関数値演算手段と、前記距離測定手段
により求めた距離と前記第１の評価関数値演算手段によ
り算出した第１の評価関数値の最高値とを用いて立体情
報を求めるための第２の評価関数値を計算する第２の評
価関数値演算手段と、該第２の評価関数値演算手段によ
り求めた第２の評価関数値に基づき前記被写体の立体情
報を出力する出力手段とを具備したことを特徴とするも
のである。

【００３６】

【発明の実施の形態】以下、本発明の実施の形態を図１
〜図２３に基づき説明する。

【００３７】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図１６に基づき説明する。図１
は、本発明の第１の実施の形態に係る画像情報入力（入
出力）装置の構成を示すブロック図であり、同図中、１
は奥行き情報抽出手段、２は被写体（検出物）、３は背
面、４は表示手段（モニタ）、５は操作手段、６はプリ
ンタ、７はデータ合成手段、８は文章データ作成手段で
ある。

【００３８】奥行き情報抽出手段１は撮像ヘッド手段
（カメラッド）９及び制御手段１０を有している。撮像
ヘッド手段９は左右側の撮像レンズ１１L，１１R及び照
明部１２を有し、該照明部１２は撮像環境に応じて照明
光を照射する。制御手段１０はカメラ姿勢位置検知部１
３、画像メモリ１４、奥行き情報（三次元画像データ）
演算部１５及び二次元画像データ演算部１６を有してい
る。カメラ姿勢位置検知部１３はジャイロ等のセンサに
よる角度情報を算出する手段及び背面３から得られる情
報を基に画像処理で姿勢位置情報を算出する手段を有
し、撮像系の姿勢・位置を検出する。

【００３９】撮像ヘッド手段９は撮像開始位置Ａ0より
撮像終了位置Ａｎまで移動しながら被写体２を撮像す
る。また、このときＡ0−Ａｎ間の各撮像地点における
撮像ヘッド手段９の位置情報信号はカメラ姿勢位置検知
部１３から出力される。

【００４０】画像メモリ１４は撮像ヘッド手段９で得ら
れた画像データとカメラ姿勢位置検知部１３で得られた
撮像ヘッド手段９の位置情報を記憶する。奥行き情報演
算部１５は画像メモリ１４に記憶された画像データとそ
れに対応する撮像ヘッド手段９の位置情報を基に被写体
の立体形状（三次元画像データ）を算出する。二次元画
像データ演算部１６は奥行き情報演算部１５で得られた
被写体の三次元画像データから使用者の指定する画像形
態での任意の視点から見たときの被写体の二次元画像デ
ータを算出する。

【００４１】表示手段４は画像データを画面に表示す
る。操作手段５は各種の操作情報を入力する。プリンタ
６は画像情報を印刷用紙等に印刷出力する。データ合成
手段は奥行き情報抽出手段１からのデータと文章データ
作成手段８により作成された文章データを合成する。

【００４２】なお、図１中、１７Lは左側の撮像レンズ
１１Lの撮像範囲を、１７Rは右側の撮像レンズ１１Rの
撮像範囲をそれぞれ示す。

【００４３】図１において、まず、使用者は撮像ヘッド
手段９を被写体２に向け図示しないレリーズボタンを操
作すると被写体２の撮像が行われ、最初の画像データが
画像メモリ１４に記憶される。次に使用者は撮像ヘッド
手段９を被写体２を中心に撮像開始位置Ａ0から撮像終
了位置Ａｎへ移動させる。撮像開始位置Ａ0から撮像終
了位置Ａｎへ移動している最中に、まず、撮像開始位置
Ａ0に対して位置及び方向が所定量変化したことをカメ
ラ姿勢位置検知部１３が検知すると、２度目の撮影が行
われ、以下順々にｎ度目まで撮像が行われていく。例え
ば３°毎に撮影されるときはＡ0〜Ａｎが１８０°の場
合６０回記録されることになる。角度の所定量の設定は
ジャイロ等のセンサーの性能並びに求めたい奥行き情報
の分解能から決める。例えばジャイロの検出能力が９０
°／ｓｅｃならば、３°／フレーム速度に設定したりす
る。

【００４４】このとき、画像データとカメラ姿勢位置検
知部１３により得られた撮像ヘッド手段９の最初に撮影
した位置及び方向に対する変位量が画像メモリ１４に記
憶される。このときカメラ姿勢位置検知部１３によって
撮像ヘッド手段９の位置及び方向の少なくとも一方が所
定量より大きく移動していた場合には、後述する警告手
段により警告を行う。以下、この動作を数回繰り返し、
被写体２の奥行き情報データを演算するのに十分な画像
データが得られると、図示しない撮影終了報知手段によ
りその旨を使用者に知らせて撮影を終了する。

【００４５】次に奥行き情報演算部１５では画像メモリ
１４に記憶された画像データとそれぞれの画像データに
対応する撮像ヘッド手段９の位置情報から撮影した被写
体２の三次元画像データを算出する。二次元画像データ
演算部１６は被写体２の三次元画像データから操作手段
５によって選択された画像形態で且つ被写体２を最初に
撮影した位置から見た二次元画像データを算出し、表示
手段４に表示する。このとき使用者は操作手段５を操作
すると、二次元画像データ演算部１６はそれに応じて演
算処理を行い、任意の視点から見た被写体像に変更する
ことができる。また、操作手段５を操作することによっ
て、表示手段４に表示された被写体２の画像形態を変更
することができる。

【００４６】次に奥行き情報抽出ブロックの構成及び動
作の詳細について、図２を用いて説明する。図２は奥行
き情報抽出手段１における撮像ヘッド手段９に関わる部
分の構成を示すブロック図であり、図１における撮像ヘ
ッド手段９と制御手段１０の詳細を示す図である。図２
において、図１と同一部分には同一符号が付してある。

【００４７】図２中、１１Ｒ及び１１Ｌは撮像レンズ
で、ズームレンズとフォーカスレンズとからなる。１０
１Ｒ及び１０１Ｌは絞りで、光量を制御する。１０２Ｒ
及び１０２Ｌはイメージセンサで、ＣＣＤ（撮像素子）
等からなる。１０３Ｒ及び１０３ＬはＡ（アナログ）／
Ｄ（デジタル）変換部で、アナログ信号をデジタル信号
に変換する。１０４Ｒ及び１０４Ｌは映像信号処理部
で、イメージセンサ１０２Ｒ，１０２Ｌからの信号を映
像信号に変換する。１０５Ｒ及び１０５Ｌは被写体分離
部で、立体情報を抽出したい物体（図１の被写体２）と
背面（図１の背面３）を分離する。１０６Ｒ及び１０６
Ｌはズーム制御部で、撮像レンズ１１Ｒ，１１Ｌのズー
ムレンズの焦点位置の調整を行う。１０７Ｒ及び１０７
Ｌはフォーカス制御部で、撮像レンズ１１Ｒ，１１Ｌの
フォーカスレンズの焦点位置の調整を行う。１０８Ｒ及
び１０８Ｌは絞り制御部で、絞り１０１Ｒ，１０１Ｌの
絞り量の調整を行う。１０９Ｒ及び１０９Ｌはイメージ
センサドライバで、イメージセンサ１０２Ｒ，１０２Ｌ
を制御する。

【００４８】１２は照明部、１３はカメラ姿勢位置検知
部、２０１はシステムコントローラで、奥行き情報抽出
手段１全体の制御を行うもので、図３に示すように、マ
イクロコンピュータ３００、メモリ３０１及び画像演算
処理部３０２から構成されている。２０２は画像処理部
で、図１における画像メモリ１４、奥行き情報演算部１
５及び二次元画像データ演算部１６を含むものである。
２０３はレリーズボタン、２０４は表示部、２０５は記
録部、２０６は合焦検出部、２０７は外部Ｉ／Ｆ（イン
ターフェース）、２０８ａ，２０８ｂはメモリ、２０９
ａ，２０９ｂはメモリ、２１０はオーバーラップ検出
部、２１１は発音体である。

【００４９】図２において、被写体像は各々の撮像レン
ズ１１Ｒ，１１Ｌを通して入力される。入力された被写
体像はイメージセンサ１０２Ｒ，１０２Ｌで電気信号に
変換される。変換された信号は、各々のＡ／Ｄ変換部１
０３Ｒ，１０３Ｌでアナログからデジタルの信号に変換
されて映像信号処理部１０４Ｒ，１０４Ｌに供給され
る。

【００５０】各々の映像信号処理部１０４Ｒ，１０４Ｌ
においては、デジタル化された被写体２の信号を適切な
形態の輝度信号及び色信号に変換処理する。被写体分離
部１０５Ｒ，１０５Ｌにおいては、各々の映像信号処理
部１０４Ｒ，１０４Ｌより得られる信号を基に撮像され
る被写体２において、奥行き情報を計測したい主被写体
と背面とを分離する。この分離の方法としては、例えば
予め背面の映像を撮像しておき、その画像をメモリ２０
８ａ，２０８ｂ、２０９ａ，２０９ｂに保持し、その
後、測定したい主被写体を置いて撮像を行う。撮像した
映像と予めメモリ２０８ａ，２０８ｂ、２０９ａ，２０
９ｂに保持している背面の映像とのマッチング及び差分
処理を施し、背面領域を分離する等の方法を用いる。分
離の方法としては、これに限るものではなく、色或いは
テクスチャの情報を基に分離しても良い。分離された主
被写体の映像は画像処理部２０２に与えられ、この画像
処理部２０２において撮像時の各パラメータを基に奥行
き情報の抽出処理（ここでは処理＃１、詳細は後述す
る）が施される。

【００５１】一方、各々の映像信号処理部１０４Ｒ，１
０４Ｌにおいて、デジタル化された被写体２の信号を、
適切な形態の輝度信号及び色信号に変換処理されたもの
は、画像処理部２０２に送られ、視差を求めて奥行き情
報の抽出処理（ここでは処理＃２、詳細は後述する）が
施される。そして、前記処理＃１による奥行き情報と前
記処理＃２らによる奥行き情報とを組み合わせて全体の
奥行き情報を求めて行く（詳細は後述する）。

【００５２】また、焦点距離の設定は、距離情報が下記
（５）式により表わすことができる。

【００５３】

【数５】ここで、Ｚは距離、ｆは焦点距離、ｂは基線長、ｄは視
差を示す。

【００５４】視差により決まる距離分解能をパラメータ
として考え、下記（６）式及び（７）式のようになる。

【００５５】

【数６】

【００５６】

【数７】従って外部入力Ｉ／Ｆ２０７を通してコンピュータ等か
ら分解能を設定し、この値を基に焦点距離を設定するこ
とも可能である。

【００５７】奥行き情報抽出処理は画像処理部２０２で
行われるが、得られた画像から被写体２の奥行き情報を
抽出する手法について図４を用いて説明する。

【００５８】図４において、１１００は得られた画像か
ら背景との被写体分離が行われた背景分離画像、１１０
１は被写体を示す部分、１１０２は背景部である。１１
１０はカメラの主点、１１２０は被写体の奥行き情報を
表現するボクセル空間である。１１３０〜１１３４は背
景と分離された画像の輪郭部からカメラの主点１１１０
を通る線分であり、この線分１１３０〜１１３４がボク
セル空間１１２０を横切る。

【００５９】まず、得られた画像は図２に示す被写体分
離部１０５Ｒ，１０５Ｌにおいて、各々の映像信号処理
部１０４Ｒ，１０４Ｌより得られる信号を基に撮像され
る被写体において、奥行き情報を計測したい主被写体と
背面とを分離する。この分離の方法としては、上述した
ように例えば予め背面の映像を撮像しておき、その画像
をメモリ２０８ａ，２０８ｂ、２０９ａ，２０９ｂに保
持し、その後測定したい主被写体を置いて撮像を行い、
撮像した映像と予めメモリ２０８ａ，２０８ｂ、２０９
ａ，２０９ｂに保持している背面の映像とのマッチング
及び差分処理を施し背面領域を分離する方法等を用い
る。

【００６０】この結果、分離した後に被写体を示す部分
１１０１には被写体を示すフラグ（１）を付加し、背景
部１１０２は背景を示すフラグ（０）を付加する。これ
によって、背景分離画像１１００を得る。

【００６１】次に被写体の輪郭部からボクセルデータを
切る行為を行う。切る行為とは、線分１１３０〜１１３
４等より外の部分は被写体ではないとして捨てることで
ある。処理動作としては、捨てる部分に対して、例えば
フラグを立てることを行う。例えば図５に示すように多
視点から切る行為を行う。

【００６２】図５は多視点から切る動作の模式図であ
り、同図は説明の簡略化のためにカメラは二次元的に動
作し、その断面を見た図となっている。

【００６３】図５中、１２００〜１２０３はある視点に
おけるカメラの主点、１２１０はボクセル空間の一部、
１２２０〜１２２７は被写体の輪郭部からボクセルデー
タを切る境界線、１２３０は切り落とし処理後に残され
た領域、１２３１は被写体の真の形状、１２４０〜１２
４３はセンサー面の断面である。

【００６４】図５（ａ）において、主点１２００の位置
にある画像からは境界線１２２０，１２２１が引ける。
また、主点１２０１の位置にある画像からは境界線１２
２２，１２２３が引ける。このようにして境界線の中に
残ったものが領域１２３０である。更に、多視点にして
いくことにより被写体の形状に近付いて行くことにな
る。このようにして抽出した結果が図５（ｂ）に示され
ている。この抽出結果は１２３０であり、ａ，ｂ，ｃ，
ｄ，ｅ，ｆ，ｇ，ｈで囲まれる領域である。図５（ｂ）
では抽出結果１２３０の上に被写体の真の形状１２３１
をオーバーラップして記載してある。

【００６５】これを三次元的に行うには、例えばボクセ
ル側の図４に示すＸ，Ｙ，Ｚ軸から逆に主点を通る線分
を計算し、画像中の何処に投影されるかを計算し、その
投影場所が先の画像のフラグを見て被写体を示すか背景
を示すかを判断しても良い。これを図４の（０，０，
０）から（ｘ0,ｙ0,ｚ0）まで繰り返すのである。

【００６６】これは投影される点を（ｘ，ｙ）とする
と、ｘ，ｙは下記（８）式、（９）式で与えられる。

【００６７】

【数８】

【００６８】

【数９】Ｘ′，Ｙ′，Ｚ′は、Ｘ，Ｙ，Ｚ座標上の位置をそれぞ
れ各軸に対してω，θ，ψ回転させ、さらに軸方向に
ａ，ｂ，ｃシフトさせた位置の座標を示している。

【００６９】但し、（ａ，ｂ，ｃ）は主点１１１０の座
標値、ω，θ，ψはそれぞれ図４に示すように各Ｘ，
Ｙ，Ｚ軸の回りの回転角を示す。これはカメラの主点と
ボクセルの原点との距離（ａ，ｂ，ｃ）に対して捩れて
いることを示すものである。

【００７０】このｘ，ｙの場所のフラグデータを参照す
る訳である。ｘ，ｙが整数値でない場合は、近傍領域か
らフラグデータを判断する。フラグデータに基づきボク
セルデータが被写体内にあるか否かの判断を行う。この
ような処理を多視点から繰り返し行うことにより、被写
体の奥行き情報がボクセル空間の中に抽出される。

【００７１】図６はこのようにして奥行情報を得る処理
を示す図である。同図において、図４と同一部分には同
一符号が付してある。

【００７２】次に立体画像から奥行き情報を抽出する処
理動作について、図７を用いて説明する。図７におい
て、７０１R,７０１Lは図１の画像メモリ１４に格納さ
れた左右の立体画像で、以下、必要に応じて７０１Rを
右画像、７０１Lを左画像と記述する。７０２R,７０２L
はエッジ抽出処理部で、立体画像７０１R,７０１Lから
それぞれエッジを抽出した画像を生成する。７０３は立
体画像対応点抽出処理部で、立体画像７０１R,７０１L
のそれぞれの画素がどういう対応関係になっているのか
を抽出処理する。７０４はエッジ画像対応点抽出処理部
で、エッジ抽出処理部７０２R,７０２Lにおいてエッジ
画像にされた２つの画像中のそれぞれの画素がどういう
対応関係になっているのかを抽出処理する。

【００７３】７０５は矛盾等排除処理部で、対応点抽出
処理部７０３及びエッジ画像対応点抽出処理部７０４の
それぞれで得られた対応関係に矛盾することがないか否
かを判断し、矛盾箇所は除去する処理を行う。７０６は
オクルージョン領域判定処理部で、得られた対応点箇所
と、対応点を求める途中で使用している相関の程度を表
わす指数、例えば残差でオクルージョン領域を判定す
る。７０７は奥行き情報分布算出処理部で、対応点関係
から三角測量の原理で奥行き情報分布を算出する。７０
８R,７０８Lは特徴点抽出処理部で、背面部の特徴点を
抽出処理する。７０９は補正データ算出処理部で、補正
データを算出処理する。７１０はジャイロで、角度情報
を検出する。

【００７４】図７において、まず、図１の画像メモリ１
４に格納されている立体画像７０１R,７０１Lから２つ
の処理が行われる。その１つ目の処理は、後述する処理
方法を用いて立体画像対応点抽出処理部７０３で立体画
像７０１R,７０１Lの輝度値からそれぞれの画素がどう
いう対応関係になっているかを抽出する処理である。ま
た、２つ目の処理は、後述する処理方法を用いてエッジ
画像対応点抽出処理部７０４にてエッジ画像にされた２
つの画像中のそれぞれの画素がどういう関係になってい
るかを抽出する処理である。

【００７５】エッジ画像の生成に関しては、後述する処
理方法を用いたエッジ抽出処理部７０２R,７０２Lを介
して生成されるものとする。

【００７６】次に矛盾箇所は、矛盾等排除処理部７０５
でそれぞれの対応点抽出処理部７０３，７０４からの出
力より対応関係の矛盾等を判断する。輝度部からの対応
関係とエッジ部からの対応関係が一致しないときは信頼
性が低いとして、その対応関係は排除するのが適当であ
る。或いはそれぞれの関係に重み付けをして判断するこ
とも可能である。

【００７７】次のステップは、得られた対応点箇所と対
応点を求める途中で使用している相関の程度を表わす指
数、例えば残差でオクルージョン領域を判断する処理で
ある。これは対応点処理が一応の結果を出すものの、そ
の信頼性を付加しようとする処理である。相関の程度を
表わす指数として、相関関数或いは残差を用いて、その
残差が非常に大きいとき或いは相関関数が低いときは、
対応関係の信頼性が低いとする。この低い所をオクルー
ジョン領域或いは対応がない領域として取り扱う。

【００７８】上記ステップを経て、得られた対応関係を
用いて三角測量の原理を用いて被写体の奥行き情報を算
出する。

【００７９】三角測量は上記（２）式で説明した通りで
ある。

【００８０】次に対応点抽出方法を説明するが、ここで
は代表的なテンプレートマッチング法による手法を図９
を用いて説明する。

【００８１】図９に示すようにＮ×Ｎ画素のテンプレー
ト画像を、例えば左の撮像系から得られた画像から切り
出す。これを右の撮像系から得られた画像のＭ×Ｍ画素
の入力画像内の探索領域範囲（Ｍ−Ｎ＋１）²上で動か
し、下記（１０）式により求めた残差Ｒ（ａ，ｂ）が最
小になるようなテンプレート画像の位置を求めて、Ｎ×
Ｎのテンプレート画像の中心画素を一致箇所として求め
る。

【００８２】

【数１０】但し、（ａ，ｂ）は画像内におけるテンプレート画像の
左上位置を示し、Ｉ_R(a,b)（ｉ，ｊ）は右画像の部分画
像、Ｔ_L（ｉ，ｊ）は左画像から切り出したテンプレー
ト画像である。

【００８３】エッジ抽出法は、例えばロバートフィルタ
法或いはゾーベルフィルタ法等の手法が用いられる。

【００８４】ロバートフィルタ法の場合は、入力画像を
f(i,j)、出力画像をg(i,j)とすると、f(i,j)及びg(i,j)
は、下記（１１）式及び（１２）式により求まる。

【００８５】

【数１１】

【００８６】

【数１２】ゾーベルフィルタ法の場合は、テンプレートのＸ−Ｙ座
標を考えて、各画素の値をマトリクス表示し、そのＸ方
向、Ｙ方向の画素の値をｆｘ，ｆｙで示し、θをそのフ
ィルタリング方向とすると、

【００８７】

【数１３】

【００８８】

【数１４】

【００８９】

【数１５】このようにしてエッジ部が強調された画像に対して２値
化処理を行ってエッジ成分を抽出する。２値化は適当な
しきい値を用いて行う。

【００９０】以上の手法によって求められた奥行き情報
を図示すると、図９のようになる。同図において、図４
と同一部分には同一符号が付してある。図９中、Ｂは基
線長、○は得られた奥行き情報をそれぞれ示す。

【００９１】次に多視点での立体画像より得られた奥行
き情報の処理について図１０を用いて説明する。図１０
は、上述のようにして得られた１視点での立体画像から
多視点の奥行き情報を加えて行く手順を示す図である。
同図において、１００１ａ，１００１ｂは得られた１対
の立体画像からの奥行き情報である。１００２ａ，１０
０２ｂは座標系の変換処理部で、得られた１対の立体画
像からの奥行き情報１００１ａ，１００１ｂを視点毎の
奥行き情報から任意の統一された座標系に変換処理す
る。１００３は奥行き情報の統合処理部で、統一された
座標系に変換されたそれぞれの奥行き情報を統合処理す
る。ここでいう統合とは、少なくとも２つ以上の任意の
位置からの被写体の奥行き情報１００１ａ，１００１ｂ
に対して、局所的なずれ情報を得て、得られたずれ情報
を基に同一座標系から見た奥行き情報にするよう同一点
は同一とすること、求められた各点の座標の間を補間す
ること、更に少なくとも３つ以上の複数視点で得られた
それぞれの奥行き情報の内、重複する領域の奥行き情報
を多数決処理を行う。１００４はオクルージョン領域情
報送出部で、オクルージョン領域情報を送出する。１０
０５は表示部で、統合された奥行き情報を表示する。

【００９２】図１０において、得られた立体画像からの
奥行き情報１００１ａ，１００１ｂは時々刻々生成され
る。一方、図１の撮像ヘッド手段９の移動量や方向等を
検知するカメラ姿勢位置検知部１３からは、その検知情
報が送出される。これらの情報を用いて後述する処理方
法により、得られた奥行き情報を座標系の変換部１００
２ａ，１００２ｂにより統一された座標系に変換する。
統一された座標系とは、例えば図４に示すボクセル空間
１１２０と同一の座標系でも良い。

【００９３】統一された座標系に変換することにより、
多視点で得られた情報を統合し易くするものである。奥
行き情報を統一された座標系に変換する方法としては、
アフィン変換等を用いて、オイラー角を同じにしたもの
とする。

【００９４】次に統一された座標系に変換された奥行き
情報を統合処理する奥行き情報統合処理部１００３につ
いて図１１を用いて説明する。図１１は統合の内、多数
決処理する部分を示す図である。

【００９５】図１１（ａ）中、△（２００００，２００
２０〜２００２２）はある視点で得られた奥行き情報
を、○（２０００１）は次の視点で得られた奥行き情報
を、□（２０００２）は次の次の視点で得られた奥行き
情報を、図１１（ｂ）中、☆（２０００３）は多数決処
理を施した後の奥行き情報をそれぞれ示す。また、２０
０１０は３つの視点から奥行き情報が重複している領域
である。

【００９６】なお、説明の簡素化のために奥行き情報
は、Ｘ−Ｚの二次元座標で示しており、被写体はＹ軸方
向には変化のないものを仮定した。

【００９７】今、３視点からの奥行き情報△（２０００
０）、○（２０００１）、□（２０００２）が得られて
おり、その奥行き情報が重複領域２００１０において複
数求められている。しかるに奥行き情報２００２０〜２
００２２のように、他の視点から得られた情報に比べて
奥行き情報が異なって求められることがある。これは、
例えば被写体の表面の鏡面反射成分が強い場合に、この
ようなことが考えられる。一般に鏡面反射成分が強い場
合は、その輝度の強さは他に比べて突出していたりす
る。この場合、対応点抽出処理は、その強い輝度情報に
影響され、視差情報を正しく出さない。従って奥行き情
報２００２０〜２００２２のような状況をもたらす。

【００９８】この誤った情報を除去するために、他点か
らの情報を利用する。視点が変わると別の箇所に強い輝
度成分はもたらすので、奥行き情報２００２０〜２００
２２は別の場所、ここではＸ軸方向に別という意味で、
図中外に移動している。

【００９９】このことから少なくとも３視点からの情報
が重複する領域で２つ以上が同じ奥行きを示す場合は採
用し、１つだけ大きくなる奥行き情報を示すものは除去
することを行う。ここでは、奥行き情報２００２０〜２
００２２が除去される。除去する方法としては、近傍領
域で突出した奥行きを示すものとして、あるしきい値を
越えるものは除去する方法が挙げられる。

【０１００】除去された後には、奥行き情報△（２００
００）、○（２０００１）、□（２０００２）から平均
を取る等して、最終的な奥行き情報☆（２０００３）を
得る。

【０１０１】奥行き情報☆（２０００３）は重複領域２
００１０の中で得られるから、全体を得るためにまた別
の３視点からの重複領域を用いて次々と繋げて行く。こ
のようにして鏡面反射成分の悪影響を除去した形で、図
１１（ｂ）に示すような奥行き情報☆（２０００３）を
得ることができる。

【０１０２】また、多数決処理の際の奥行き情報を得る
過程で、奥行き情報の平均ではなく、奥行き情報△（２
００００）、○（２０００１）、□（２０００２）の
内、正しいものを採用して行くことでも良い。

【０１０３】更に、平均処理及び１つを選択する処理以
外の方法として、局所的なずれを補間する方法が挙げら
れる。以下、その手法について図１２を用いて説明す
る。

【０１０４】図１２の（ａ）はＺ^t（Ｘ，Ｙ）を示す図
であり、これは１視点 (t）より得られた奥行き情報を
示す図である。（ｂ）は次の視点（ｔ＋δｔ）で得られ
た奥行き情報Ｚ^t+δt（Ｘ，Ｙ）を統一された方向から
見たＺ’^t+δt（Ｘ，Ｙ）を示す図である。（ｃ）は
（ａ）と（ｂ）がそれぞれ局所的に（i₀,j₀）ずれて重
ねられた状態を示す図である。（ｄ）は（ａ）に（ｂ）
が（i₀,j₀）シフトされて重ねられた状態を示す図であ
る。

【０１０５】図１におけるカメラ姿勢位置検知部１３が
非常に高精度であり、立体画像からの奥行き抽出精度も
高精度の場合、この局所的なずれ量は小さな値となる。
また、このとき既に鏡面反射成分の悪影響は既に除去さ
れており、説明の簡素化を図るために、図１２は３視点
からの情報ではなく、２視点からの情報にしている。

【０１０６】これを例えば下記（１６）式に従ってずれ
量を計算する。

【０１０７】

【数１６】このＱの内、最小のＱを与えるｉ₀，ｊ₀を導出する。導
出されたｉ₀，ｊ₀を用いて図１２（ｄ）に示すようにｉ
₀，ｊ₀シフトして奥行き情報を重ねる。重ねた後に、こ
の中で同一点の排除並びに中間点を補間する。その方法
を以下に示す。

【０１０８】これは、まずそれぞれの奥行き情報中、同
一点を示す場合、情報量を削減する意味でもどちらか一
つだけを用いる。同一と判断する基準としては、下記
（１７）式或いは（１８）式等を用いる。

【０１０９】

【数１７】

【０１１０】

【数１８】但し、ε１，ε２は基準値、ａ，ｂ，ｃ，ｄは適当な係
数である。

【０１１１】例えばａ＝ｂ＝１、ｃ＝２とし、距離の違
いに対してより敏感に判定することも可能である。

【０１１２】次に得られた点の座標から補間を行う。補
間としては、図１３に示す、例えば中間点を求めて行
く。

【０１１３】図１３（ａ）において、○、●は抽出され
た奥行き情報データＺ^t(Ｘ，Ｙ）と、Ｚ’^t+δt（Ｘ，
Ｙ）をｉ₀，ｊ₀シフトしたＺ’^t+δt（Ｘ+i₀，Ｙ+j₀）
であり、図１２（ｄ）におけるものを簡単にＺ−Ｘ平面
に投影し、一次元で示したものである。また、図１３
（ｂ）において、□は中間点補間で求められたデータで
あり、新しい奥行き情報Ｚ_newである。

【０１１４】補間方法としては、線形補間、スプライン
補間等を用いることができる。

【０１１５】以上により、鏡面反射成分からの悪影響を
排除し、補間された奥行き情報が得られたわけである
が、更に、撮像系の深度情報からのフラグを基に点の座
標の信頼性を判断する。これは撮像系の光学系の焦点深
度情報を利用して信頼性の低い所は排除される。また、
オクルージョン領域検知情報により取捨選択する。

【０１１６】次に輪郭からの奥行き情報と立体画像から
の奥行き情報の統合について、図１４〜図１６を用いて
説明する。

【０１１７】図１４は処理＃１の模式図、図１５は処理
＃２の模式図、図１６（ａ）は処理＃１と処理＃２のあ
る断面において、それぞれの出力を単純に組み合わせた
状態を示す図、図１６（ｂ）は図１６（ａ）から必要な
情報が取捨択一された結果を示す図である。

【０１１８】図１６中、斜線の四角並びにハッチング入
りの丸は奥行き情報を、１０００１〜１０００３は立体
画像からの奥行き情報をそれぞれ示す。

【０１１９】まず、処理＃１からは多視点の輪郭の情報
を用いて図１６（ａ）のハッチング入りの四角が得られ
る。一方、立体画像からの処理＃２からは図１５の○が
得られる。これらを分かりやすく見るためにある断面だ
けに着目して見ると、図１６（ａ）に示すように四角の
斜線部とハッチング入りの丸が出力として存在する（こ
こでのハッチング入りの丸は図１５の丸に相当する）。

【０１２０】今、図１６（ａ）の奥行き情報１０００
１，１０００２に着目すると、これらの立体画像からの
奥行き情報は輪郭線からの情報より外側に飛び出してい
るのが分かる。これは何等かの誤差によるものと考えら
れるので、これらの点は奥行き情報としては採用しな
い。また、輪郭情報からの奥行き情報に比べて内側にあ
る奥行き情報１０００３等は、この出力を新たな奥行き
情報として採用し、奥行き情報１０００４は削除する。
これは輪郭からの奥行き情報は一般的に凸部はうまく抽
出することができるものの、凹部はうまく抽出すること
ができないという性質に着目するからである。

【０１２１】従って、（１）輪郭線からの奥行き情報より外側のものは除去す
る。（２）輪郭線からの奥行き情報より凹部を表現できるも
のは採用する。（３）残りは輪郭からの情報と立体画像からの情報を繋
ぐように採用する。といった統合処理を行う。この結果を図１６（ｂ）に示
す。

【０１２２】これにより全体として被写体に忠実で滑ら
かな奥行き情報を抽出することができる。

【０１２３】（第２の実施の形態）次に、本発明の第２
の実施の形態を図１７に基づき説明する。なお、本実施
の形態における撮像部の構成及び撮影方法は、上述した
第１の実施の形態と同一であるから、その説明は省略
し、相違点である多数決処理手段について説明する。

【０１２４】多視点の立体画像からの奥行き情報の多数
決処理として、第１の実施の形態では求めた奥行き情報
に対して多数決処理を行ったが、まず、輝度情報に対し
て多数決することが挙げられる。

【０１２５】図１７中、１５０００〜１５００２はある
視点で見た輝度情報、１５０１０〜１５０１２は鏡面反
射成分を除去した輝度情報である。

【０１２６】３視点で得られた図１７（ａ）に示す輝度
情報１５０００〜１５００２は、同図中のトゲのように
示すごとく鏡面反射成分を含んでいる。この部分が後の
処理の奥行き情報処理では悪影響を与えるので、予め除
去することを考える。即ち、多数決処理を施し鏡面反射
により生じる強い輝度の部分を除去する。除去後の輝度
分布は図１７（ｂ）に示す１５０１０〜１５０１２であ
る。このように除去された物から抽出する奥行き情報は
エラーを生じることが少ない。また、信頼性を高めるた
めに、奥行き情報になった後に再度多数決処理を施して
も良い。

【０１２７】（第３の実施の形態）次に、本発明の第３
の実施の形態を図１８〜図２３に基づき説明する。

【０１２８】図１８は本発明の第３の実施の形態に係る
画像情報入力装置の構成を示すブロック図であり、同図
中、１８０１は複数台のカメラよりなる画像入力手段、
１８０２は被写体、１８０３は立体情報処理手段、１８
０４は被写体移動手段、１８０５は被写体移動制御手
段、１８０６は画像入力制御手段である。

【０１２９】以下、上記構成になる画像情報入力装置の
動作を説明する。画像入力手段１８０１は画像入力制御
手段１８０６により制御され被写体１８０２を撮像す
る。撮像された画像は立体情報処理手段１８０３へ入力
される。被写体移動制御手段１８０５は画像入力手段１
８０１が被写体１８０２の全体を撮像できるように、撮
影されるごとに被写体移動手段１８０４を移動させる。
それにより被写体１８０２が移動する。被写体移動手段
１８０４の移動が完了すると、被写体移動制御手段１８
０５は画像入力制御手段１８０６に信号を出力し、被写
体１８０２を撮影するようにする。これを繰り返すこと
により被写体１８０２の全体が撮像される。

【０１３０】また、同時に被写体移動制御手段１８０５
は被写体移動手段１８０４の移動が完了すると、立体情
報処理手段１８０３へ被写体移動手段１８０４の移動量
を示す信号を出力する。立体情報処理手段１８０３では
後述する各移動地点で得られた画像から被写体１８０２
の部分形状を求める。また、被写体移動制御手段１８０
５から得られるそのときの被写体１８０２の移動量を用
いて、ある基準座標へ部分形状を変換する。この処理を
繰り返し行い、全ての部分形状を求める。そして、それ
らを用いて被写体１８０２の全体の立体情報を求めて出
力する。

【０１３１】画像入力手段１８０１は２台の撮像系によ
り構成され、この２台の撮像系の光軸は平行で、それら
の焦点距離がｆに設定され、また、それらは基線長Ｂだ
け離れて構成されている。このような構成のとき、従来
例で示した（１）式を用いて被写体１８０２までの距離
を求めることができる。しかし、この光軸が必ず平行で
ある必要はなく、当然２台の撮像系の光軸が平行でない
ときも、それを考慮した式を用いることにより、被写体
１８０２までの距離を求めることができる。

【０１３２】被写体１８０２は被写体移動手段１８０４
に固定され、画像入力手段１８０１により撮像される。
被写体移動手段１８０４は被写体１８０２を移動させる
もので、本実施の形態では図１９に示すように回転ステ
ージ１９０１であり、回転ステージ１９０１はステッピ
ングモータ１９０２により１軸に対して回転し、被写体
１８０２を回転させる。しかし、この被写体移動手段１
８０４は回転ステージ１９０１である必要はなく、ｘ，
ｙステージと回転ステージとを組み合わせたもの等、被
写体１８０２を移動させるものであれば何でもよい。

【０１３３】被写体移動制御手段１８０５は被写体１８
０２全体の立体情報を求めるために、被写体移動手段１
８０４を移動させる制御を行う。つまり本実施の形態で
は図１９のステッピングモータ１９０２に対してある数
のパルスを出力する。その出力するパルス数は、移動後
に得られる被写体１８０２の部分形状が部分的に重なる
ように画像入力手段１８０１が撮像できる移動量であ
る。

【０１３４】このようにして出力されるパルス数を受け
て、ステッピングモータ１９０２は回転し、被写体１８
０２を回転させる。同時に被写体移動制御手段１８０５
は立体情報処理手段１８０３に対して被写体移動手段１
８０４が移動した量を示す信号を出力する。本実施の形
態ではステッピングモータ１９０２に対して出力したパ
ルス数を出力する。また、被写体移動制御手段１８０５
は被写体移動手段１８０４の移動が終了すると、その終
了を示す信号を画像入力制御手段１８０６に対して出力
する。

【０１３５】画像入力制御手段１８０６は被写体移動制
御手段１８０５から被写体移動手段１８０４の移動が終
了したことを示す信号を受けると、画像入力手段１８０
１に被写体１８０２を撮像させる。また、被写体１８０
２に応じて画像入力手段１８０１の焦点距離ｆを変化さ
せる。そのときの焦点距離ｆは立体情報処理手段１８０
３に出力される。更に２台の撮像系の光軸を平行から回
転させ（輻輳角を付け）、そのときの回転量も立体情報
処理手段１８０３に出力する。

【０１３６】立体情報処理手段１８０３は画像入力手段
１８０１で撮像された立体画像に対して対応点を抽出す
る。そして、その結果と画像入力制御手段１８０６から
得られる焦点距離ｆと基線長Ｂとを用いて、ある地点か
らの被写体１８０２までの距離分布を求める。次に得ら
れた距離分布を被写体移動制御手段１８０５から得られ
る移動量を用いて、ある基準座標系に対する部分形状に
変換する。これらの処理を被写体１８０２を移動させる
ごとに行うことにより、被写体１８０２の複数の部分形
状を求める。次に得られた各部分形状の距離とその部分
形状を求めた対応点抽出の結果の信頼度から、その部分
形状に対する評価関数を求める。そして、その評価関数
に基づき被写体１８０２の立体情報を出力する。

【０１３７】図２０は立体情報処理手段１８０３の構成
を示すブロック図であり、同図中、２００１は右左対応
点抽出手段、２００２は左右対応点抽出手段、２００３
は一致判別手段、２００４は距離分布計算手段、２００
５は部分形状変換手段、２００６は評価関数計算手段、
２００７は立体情報出力手段である。

【０１３８】右左対応点抽出手段２００１は、画像入力
手段１８０１から入力される立体画像の内、基準画像を
右画像に、探索される画像を左画像にして対応点抽出を
行う。対応点抽出には従来例で示したテンプレートマッ
チング法を用いる。テンプレートマッチング法の評価関
数値Ｃ（ｖ，ｈ）を一致判別手段２００３へ出力する。
左右対応点抽出手段２００２は、画像入力手段１８０１
から入力される立体画像の内、基準画像を左画像に、探
索される画像を右画像にして対応点抽出を行う。対応点
抽出には従来例で示したテンプレートマッチング法を用
いる。テンプレートマッチング法の評価関数には従来例
で示した評価関数値Ｃ（ｖ，ｈ）を用い、求めた対応点
を一致判別手段２００３へ出力する。

【０１３９】一致判別手段２００３は右左対応点抽出手
段２００１から入力された対応点抽出結果と左右対応点
抽出手段２００２から入力された対応点抽出結果が一致
するか否かを判断する。対応点抽出が正解であれば、こ
の結果が一致することが多い。逆にいえば、例えば画像
中でのっぺりした低周波の部分等、対応点抽出が誤って
いるところでは、この結果が一致しないことが多いの
で、それを調査することにより、対応点抽出の誤抽出を
ある程度除去することができる。また、立体画像間で、
一方の画像に写っているのに、他方の画像には写ってい
ない、所謂オクルージョン領域では、この結果が異なる
ので、この処理によりその領域を判別することが可能に
なり、得られる被写体の形状がその領域の結果により不
正解に求められるのを防ぐことができる。そして、判別
した結果、一致した対応点抽出結果のみを対応点抽出の
評価関数値Ｃ（ｖ，ｈ）と一緒に距離分布計算手段２０
０４へ出力する。

【０１４０】距離分布計算手段２００４は一致判別手段
２００３より入力される対応点抽出結果と、画像入力制
御手段１８０６から入力される焦点距離ｆと基線長Ｂと
を用いて、従来例で示した（１）式を用いて距離分布を
計算する。そして、その距離分布とそれに対応した対応
点抽出の評価関数値Ｃ1（ｘ，ｙ，ｚ）を部分形状変換
手段２００５へ出力する。部分形状変換手段２００５は
距離分布計算手段２００４から入力された距離分布と被
写体移動制御手段１８０５から入力された被写体移動手
段１８０４の移動量とを用いて、その距離分布をある基
準座標値に変換し、被写体の部分形状を得る。そして、
部分形状変換手段２００５は求めた被写体１８０２の部
分形状とそれに対応した対応点抽出の評価関数値Ｃ2
（Ｘ，Ｙ，Ｚ）を評価関数計算手段２００６へ出力す
る。

【０１４１】評価関数計算手段２００６は部分形状変換
手段２００５から入力される各地点で得られた部分形状
とそのときの対応点抽出の評価関数値Ｃ2（Ｘ，Ｙ，
Ｚ）を用いて、部分形状に対する評価関数値Ｈ（Ｘ，
Ｙ，Ｚ）を求める。この評価関数値Ｈは各部分の距離と
その部分形状を求めた対応点抽出の結果の評価関数から
求める。評価関数の一例を下記（１９）式に示す。

【０１４２】

【数１９】この上記（１９）式中、Ｃ2(Ｘ，Ｙ，Ｚ）は部分形状の
ある点のその点を求めた対応点抽出の評価関数値、Ｃ2
(Ｘ＋ｄｘ，Ｙ＋ｄｙ，Ｚ＋ｄｚ）は前記点とは異なる
画像対から求めた部分形状の点で、前記点の近傍の点の
その点を求めた対応点抽出の評価関数値、分母はそれら
の点間の距離の二乗、ｋは係数を示している。

【０１４３】つまり、上記（１９）式はある部分形状上
の１点を求めた対応点抽出の評価関数値とその点の近傍
ｄにある他の部分形状上の１点との評価関数値との積
を、その点間の距離の二乗で除している。距離が近く且
つ対応点抽出の評価関数値が高ければ、この評価関数値
も高くなる。

【０１４４】この部分形状に対する評価関数の計算に各
部分形状の距離と対応点抽出の評価関数を用いる理由を
以下に説明する。対応点抽出の評価関数値が高いものほ
ど、その結果に信頼がおける。例えば対応点抽出の精度
が劣化する、距離が大きく変化する領域での対応点抽出
の評価関数値は低くなる。しかし、例えば光が強く当た
り発生した「てかり」の領域では対応点抽出の評価関数
値が高くても対応点が正しいとは限らない。

【０１４５】例えば図２１にその例を示す。図２１は空
き缶を被写体１８０２としたときに「てかり」が発生し
た立体画像（右画像２１０１、左画像２１０２）を示し
ている。右画像２１０１、左画像２１０２とも被写体１
８０２である空き缶の下部（斜線を施した部分）に「て
かり」２１０３，２１０４が発生しているが、それぞれ
被写体１８０２上では違う場所に発生していることが分
かる。このような「てかり」２１０３，２１０４が発生
している立体画像に対して対応点抽出を行うと、「てか
り」２１０３，２１０４を模様として認識するので、正
解の空き缶模様ではなく、「てかり」２１０３，２１０
４の方に引きずられ、対応点の誤抽出を行うことにな
る。また、そのときの評価関数値は、右画像２１０１、
左画像２１０２とも同じように「てかっている」ので、
高いということになる。つまり評価関数値だけではこの
誤抽出を削除することはできない。この「てかり」は、
被写体１８０２と画像入力手段１８０１が相対的に移動
すると、移動前後では被写体１８０２上で異なる場所に
発生することが分かる。つまり、被写体１８０２上で誤
抽出が起きる領域は移動前後で異なるわけで、あるとき
「てかっている」領域でも、ある位置からの立体画像か
ら部分形状を求めたときには「てからず」に、正解の距
離分布が得られるときが存在する。そこで、「てかり」
による誤抽出は正解の対応点が得られるよりも少ない頻
度（地点数）で起き且つ「てかり」による誤抽出で求め
た部分形状は正解の部分形状と比較して、凹になったり
凸になることを考慮して、求められた複数の部分形状間
の距離を利用して、近くに他の点から求めた部分形状が
多く存在する部分形状ほど正解であるとすることがで
き、それにより、「てかり」による誤抽出を削除するこ
とができる。

【０１４６】次に評価関数計算手段２００６の処理動作
について図２２を用いて説明する。まず、ステップＳ２
２０１で求められた複数の部分形状から１つの部分形状
を選択する。次にステップＳ２２０２で前記ステップＳ
２２０１において選択した１つの部分形状の中から１つ
の点を選択する。次にステップＳ２２０３で前記ステッ
プＳ２２０２において選択した点の近傍にある全ての点
を選択したか否かを判断する。そして、全ての点を選択
していない場合は次のステップＳ２２０４で前記ステッ
プＳ２２０２において選択した点の近傍にある１点を選
択する。次にステップＳ２２０５で前記ステップＳ２２
０４において選択した点が前記ステップＳ２２０１にお
いて選択した部分形状とは違う部分形状の点か否かを判
断する。そして、前記ステップＳ２２０５における判断
結果が肯定（ＹＥＳ）の場合は、次のステップＳ２２０
６で上記（１９）式に基づいて部分形状の評価関数値を
計算した後、前記ステップＳ２２０３へ戻る。また、前
記ステップＳ２２０５における判断結果が否定（ＮＯ）
の場合も前記ステップＳ２２０３へ戻る。

【０１４７】このステップＳ２２０３において前記ステ
ップＳ２２０２で選択した点の近傍にある全ての点を選
択した場合は、ステップＳ２２０７で前記ステップＳ２
２０１において選択した部分形状の全ての点に対して上
記の処理を行ったか否かを判断する。そして、まだ処理
を行っていない点があれば、前記ステップＳ２２０２へ
戻り、まだ処理を行っていない点がなければ、次のステ
ップＳ２２０８へ進む。このステップＳ２２０８では、
求められた複数の部分形状の全てを選択したか否かを判
断する。そして、全てを選択していなければ前記ステッ
プＳ２２０１へ戻り、全てを選択していれば本処理動作
を終了する。

【０１４８】このような処理を行うことにより、求めら
れた複数の部分形状の全ての点に対して上記（１９）式
で示した評価関数値を求めることができる。

【０１４９】立体情報出力手段２００７は評価関数計算
手段２００６で得られた評価関数値を用いて、あるしき
い値よりも大きな評価関数の部分形状のみを出力するよ
うにする。

【０１５０】図２３（ａ）は図２１に示した被写体１８
０２である空き缶の立体画像から求められた部分形状２
３０１の回転ステージ１９０１（図１９参照）の回転軸
に対する断面図である。図２２の左画像２１０２の「て
かり」２１０４が生じている領域の対応点を求めるとき
に、右画像２１０１中で「てかり」２１０３は正解の対
応点より右側に出るため、求められた部分形状は「てか
り」による誤差２３０２が生じ、その部分で内側に凹ん
でいることが分かる。

【０１５１】また、図２３（ｂ）は３つの部分形状の断
面図である。同図によれば、部分形状２３０１の「てか
り」による誤差２３０２、部分形状２３０３の「てか
り」による誤差２３０５、部分形状２３０４の「てか
り」による誤差２３０６が異なる場所に生じている。こ
れらの「てかり」による誤差２３０２，２３０５，２３
０６はそれらの点の対応点の評価関数値が高くても、そ
の誤差が生じている領域の近傍に他の部分形状が存在し
ない。また、部分形状２３０３の左端も同様に他の部分
形状が存在しないので、上記（１９）式を用いて評価関
数値Ｈを求めると高い評価関数値が得られる領域２３０
７で、高い評価関数値が得られる。ここでの説明は３つ
の部分形状２３０１，２３０３，２３０４で行ったが、
更に多くの部分形状を用いてそれらの評価関数値Ｈを求
めて、高い評価関数値のみを出力すると、図２３（ｃ）
に示す誤差を除去した立体情報２３０８を得ることがで
きる。

【０１５２】以上のように本実施の形態に係る画像情報
入力装置によれば、「てかり」等による対応点抽出の誤
抽出が削減でき、正しい被写体の立体情報抽出が可能と
なるという効果を奏する。

【０１５３】なお、本実施の形態において説明した対応
点抽出の評価関数には、従来例で説明したテンプレート
マッチング法の相関値や差分値でもよく、また、対応点
抽出にはテンプレートマッチング法を用いたが、動的計
画法等の他の手法でも有効である。そのときの評価関数
値には対応点の画素値の比等が考えられる。

【０１５４】また、本実施の形態では画像入力手段１８
０１は固定で、被写体１８０２を被写体移動手段１８０
４により移動させて被写体１８０２全体の立体情報を求
め、また、その移動量は被写体移動制御手段１８０５か
ら得たが、これに限らず、被写体１８０２を移動させる
代わりに、前記第１の実施の形態のように被写体１８０
２は固定で画像入力手段１８０１を移動させて、被写体
１８０２とパッドを同時に撮像し、画像入力手段１８０
１の移動量はパッドから求めることができる。このとき
当然被写体移動手段１８０４と被写体移動制御手段１８
０５は不要となる。また、パッドから画像入力手段１８
０１の移動量を求めなくても、ジャイロ等を使って機械
的に移動量を求めることもできる。更に、画像入力手段
１８０１及び被写体１８０２のどちらが移動した際も、
その移動量が得られなくても、被写体１８０２のテクス
チャを用いたり、また、各移動地点で得られた部分形状
を滑らかに繋ぐようにしたりして得られた部分形状をあ
る基準座標値に変換することはできる。そして、その変
換された複数の部分形状に対して、上述した評価関数を
求めて被写体１８０２の立体情報を求めることができ
る。

【０１５５】（第４の実施の形態）次に、本発明の第４
の実施の形態を説明する。本実施の形態は、上述した第
３の実施の形態における図２０の評価関数計算手段２０
０６の評価関数が異なるものである。

【０１５６】上述した第３の実施の形態においては、対
応点抽出の評価関数値をそのまま用いて部分形状の評価
関数値を求めていたが、本実施の形態では、近傍に存在
する部分形状中の最も高い対応点抽出の評価関数値を用
いて、部分形状の評価関数値を求める。このようにする
理由を以下に説明する。

【０１５７】テンプレートマッチング法は光軸に対して
垂直な面の対応点抽出は、制度及び評価関数値とも高い
が、その面が斜めになるに従い精度及び評価関数値とも
低下する。しかし、その全ての結果が誤抽出とは限らな
い。また、被写体１８０２と画像入力手段１８０１が相
対的に移動する状況においては、ある位置では斜めの面
が他の位置で垂直になることがある。そこで、たとえ斜
めから求められた部分形状であっても、その位置若しく
はごく近傍に評価関数値の高い部分形状が存在すれば、
その部分形状は正解であると考えることができる。ここ
から考えて、本実施の形態における評価関数値Ｉ（Ｘ，
Ｙ，Ｚ）を下記（２０）式のようにする。

【０１５８】

【数２０】上記（２０）式中、Ｃ0はある部分形状上の近傍で、前
記点とは異なる画像対から求めた部分形状の点を求めた
対応点抽出の評価関数値の最高値、分母はそれらの点間
の距離の二乗、ｋは係数を示している。つまり、上記
（２０）式はある部分形状上の１点の近傍の対応点の最
高の評価関数値を、その点の近傍にある他の部分形状上
の１点の距離の二乗で除している。距離が近く且つ対応
点抽出の評価関数値が高ければ、この評価関数値も高く
なる。

【０１５９】本実施の形態では、部分形状の面の向きに
よって対応点抽出の評価関数値が低下し、それにより正
しい部分形状なのに部分形状の評価関数値が下がり、立
体情報が得られなくなるのを防ぎ、正解の部分形状を多
数得ることができるという効果がある。

【０１６０】

【発明の効果】以上詳述したように本発明の画像入力方
法及び装置によれば、鏡面反射成分による影響を考慮し
て処理することができ、被写体に忠実な奥行き情報を得
ることができ、この奥行き情報を用いた応用に適用する
ことができるという効果を奏する。

【０１６１】また、本発明の画像入力方法及び装置によ
れば、対応点抽出の誤抽出を除去して被写体の正しい立
体情報が得られるという効果を奏する。

【０１６２】更に、本発明の画像入力方法及び装置によ
れば、対応点抽出の誤抽出を除去し且つ正解は除去しな
いようにして、被写体の正しい立体情報が得られるとい
う効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像入力装置
の構成を示すブロック図である。

【図２】同画像入力装置におけるシステムコントローラ
の構成を示すブロック図である。

【図３】同画像入力装置における奥行き情報抽出手段の
構成を示すブロック図である。

【図４】同画像入力装置における１視点の輪郭画像から
奥行き情報を抽出する手法を説明する図である。

【図５】同画像入力装置における多視点の輪郭画像から
奥行き情報を抽出する手法を説明する図である。

【図６】同画像入力装置における輪郭画像から奥行き情
報を抽出する処理を行っている状態を示す図である。

【図７】同画像入力装置における立体画像から奥行き情
報の算出の概略を示す図である。

【図８】同画像入力装置におけるテンプレートマッチン
グを示す図である。

【図９】同画像入力装置における立体画像からの奥行き
情報を抽出することを説明する図である。

【図１０】同画像入力装置における奥行き情報の統合の
概略を示す図である。

【図１１】同画像入力装置における多数決処理の概念を
説明する図である。

【図１２】同画像入力装置における多視点の立体画像か
らの奥行き情報の統合の様子を模擬した図である。

【図１３】同画像入力装置における中間点補間方法の概
略を示す図である。

【図１４】同画像入力装置における多視点の輪郭画像か
らの奥行き情報と、多視点の立体画像からの奥行き情報
の統合を説明する図である。

【図１５】同画像入力装置における多視点の輪郭画像か
らの奥行き情報と、多視点の立体画像からの奥行き情報
の統合を説明する図である。

【図１６】同画像入力装置における多視点の輪郭画像か
らの奥行き情報と、多視点の立体画像からの奥行き情報
の統合を説明する図である。

【図１７】本発明の第２の実施の形態に係る画像入力装
置における輝度分布状態を示す図である。

【図１８】本発明の第３の実施の形態に係る画像入力装
置の構成を示すブロック図である。

【図１９】同画像入力装置における被写体移動手段の構
成を示す斜視図である。

【図２０】同画像入力装置における立体情報処理手段の
構成を示すブロック図である。

【図２１】同画像入力装置における被写体の「てかり」
を示す図である。

【図２２】同画像入力装置における部分形状に対する評
価関数値を求める処理動作を示すフローチャートであ
る。

【図２３】同画像入力装置の効果を示す図である。

【図２４】一般的なテンプレートマッチング法を示す図
である。

【符号の説明】

１奥行き抽出手段２被写体３背面４表示手段５操作手段６プリンタ７データ合成手段８文章データ作成手段９撮像ヘッド手段１０制御手段１１R 右側レンズ１１L 左側レンズ１２証明部１３カメラ姿勢位置検知部１４画像メモリ１５奥行き情報演算部１６二次元画像データ演算部１７R 右側レンズの撮像範囲１７L 左側レンズの撮像範囲１０１R 絞り１０１L 絞り１０２R イメージセンサ１０２L イメージセンサ１０３R Ａ／Ｄ変換部１０３L Ａ／Ｄ変換部１０４R 映像信号処理部１０４L 映像信号処理部１０５R 被写体分離部１０５L 被写体分離部１０６R ズーム制御部１０６L ズーム制御部１０７R フォーカス制御部１０７L フォーカス制御部１０８R 絞り制御部１０８L 絞り制御部１０９R イメージセンサドライバ１０９L イメージセンサドライバ２０１システムコントローラ２０２画像処理部２０３レリーズボタン２０４表示部２０５記録部２０６合焦検出部２０７外部入力インターフェース（Ｉ／Ｆ）２０８ａメモリ２０８ｂメモリ２０９ａメモリ２０９ｂメモリ２１０オーバーラップ検出部２１１発音部３００マイクロコンピュータ３０１メモリ３０２画像演算処理部７０１R 立体画像（右側画像）７０１L 立体画像（左側画像）７０２R エッジ抽出処理部７０２L エッジ抽出処理部７０３立体画像対応点抽出処理部７０４エッジ画像対応点抽出処理部７０５矛盾等排除処理部７０６オクルージョン領域判定処理部７０７奥行き情報分布算出処理部７０８R 特徴点抽出処理部７０８L 特徴点抽出処理部７０９補正データ算出処理部７１０ジャイロ１００１ａ奥行き情報１００１ｂ奥行き情報１００２ａ座標系の変換処理部１００２ｂ座標系の変換処理部１００３奥行き情報の統合処理部１００４オクルージョン領域情報送出部１００５表示部１１００得られた画像から背景との被写体分離が行わ
れた画像１１０１被写体１１０２背景１１１０カメラの主点１１２０被写体の奥行き情報を表現するボクセル空間１２００ある視点におけるカメラの主点１２０１ある視点におけるカメラの主点１２０２ある視点におけるカメラの主点１２０３ある視点におけるカメラの主点１２１０ボクセルの一部１２２０切る境界線１２２１切る境界線１２２２切る境界線１２２３切る境界線１２２４切る境界線１２２５切る境界線１２２６切る境界線１２２７切る境界線１２３０切り落とし処理された領域１２３１被写体の真の形状１２４０センサ面の断面１２４１センサ面の断面１２４２センサ面の断面１２４３センサ面の断面１０００１立体画像からの奥行き情報１０００２立体画像からの奥行き情報１０００３立体画像からの奥行き情報２００００立体画像からの奥行き情報２０００１立体画像からの奥行き情報２０００２立体画像からの奥行き情報２０００４多数決処理した後の奥行き情報１５０００ある視点で見た輝度情報１５００１ある視点で見た輝度情報１５００２ある視点で見た輝度情報１５０１０鏡面反射成分を除いた輝度情報１５０１１鏡面反射成分を除いた輝度情報１５０１２鏡面反射成分を除いた輝度情報１８０１画像入力手段１８０２被写体１８０３立体情報処理手段１８０４被写体移動手段１８０５被写体移動制御手段１９０１回転ステージ１９０２ステッピングモータ２００１右左対応点抽出手段２００２左右対応点抽出手段２００３一致判別手段２００４距離分布計算手段２００５部分形状変換手段２００６評価関数計算手段２００７立体情報出力手段２１０１右画像２１０２左画像２１０４「てかり」領域２３０１１つの地点からの部分形状２３０２「てかり」による誤差２３０３１つの地点からの部分形状２３０４１つの地点からの部分形状２３０５「てかり」による誤差２３０６「てかり」による誤差２３０７高い評価関数値が得られる領域２３０８誤差を除去した立体情報２４１基準となる画像２４２テンプレート２４３探索される画像

フロントページの続き (72)発明者石川基博東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】単数の光学系からなる撮像系により、任
意の位置から被写体を撮像して該被写体の奥行き情報を
得る画像情報入力方法において、複数視点の立体画像か
らの視差情報を多数決して求めることを特徴とする画像
情報入力方法。
【請求項２】複数の光学系からなる撮像系により、任
意の位置から被写体を撮像して該被写体の奥行き情報を
得る画像情報入力方法において、複数視点の立体画像か
らの視差情報を多数決して求めることを特徴とする画像
情報入力方法。
【請求項３】被写体に対して相対的に移動する画像入
力手段により入力された画像を用いて前記被写体の一部
分の形状を求め、それらの部分形状から前記被写体全体
の立体情報を求める画像情報入力方法において、複数画
像間の対応点を求め、該求めた対応点から前記被写体の
一部分の形状を求め、該求めた複数の部分形状間の各対
応点同士の同士の距離とその部分形状を求めた対応点の
第１の評価関数値とを用いて立体情報を求めるための第
２の評価関数値を計算し、該求めた第２の評価関数値に
基づき前記被写体の立体情報を出力することを特徴とす
る画像情報入力方法。
【請求項４】被写体に対して相対的に移動する画像入
力手段により入力された画像を用いて前記被写体の一部
分の形状を求め、それらの部分形状から前記被写体全体
の立体情報を求める画像情報入力方法において、複数画
像間の対応点を求め、該求めた対応点から前記被写体の
一部分の形状を求め、該求めた複数の部分形状間の各対
応点同士の同士の距離とその部分形状を求めた対応点の
第１の評価関数値の最高値とを用いて立体情報を求める
ための第２の評価関数値を計算し、該求めた第２の評価
関数値に基づき前記被写体の立体情報を出力することを
特徴とする画像情報入力方法。
【請求項５】前記複数視点の立体画像からの視差情報
を多数決して求めることは、奥行き方向の情報の内、他
の奥行き情報と大きく異なる物を排除することであるこ
とを特徴とする請求項１または２記載の画像情報入力方
法。
【請求項６】前記複数視点の立体画像からの視差情報
を多数決して求めることは、複数視点の画像から、他の
視点での画像と大きく輝度の異なる物を排除した後に視
差情報を求めることであることを特徴とする請求項１ま
たは２記載の画像情報入力方法。
【請求項７】単数の光学系からなる撮像系により、任
意の位置から被写体を撮像して該被写体の奥行き情報を
得る奥行き情報抽出手段を有する画像情報入力装置にお
いて、前記奥行き情報抽出手段は、複数視点の立体画像
からの視差情報を多数決して求める視差情報抽出手段を
備えていることを特徴とする画像情報入力装置。
【請求項８】複数の光学系からなる撮像系により、任
意の位置から被写体を撮像して該被写体の奥行き情報を
得る奥行き情報抽出手段を有する画像情報入力装置にお
いて、複数視点の立体画像からの視差情報を多数決して
求める視差情報抽出手段を備えていることを特徴とする
画像情報入力装置。
【請求項９】前記視差情報抽出手段は、奥行き方向の
情報の内、他の奥行き情報と大きく異なる物を排除する
ことを特徴とする請求項７または８記載の画像情報入力
装置。
【請求項１０】前記視差情報抽出手段は、複数視点の
画像から、他の視点での画像と大きく輝度の異なる物を
排除した後に視差情報を求めることを特徴とする請求項
７または８記載の画像情報入力装置。
【請求項１１】被写体に対して相対的に移動する画像
入力手段により入力された画像を用いて前記被写体の一
部分の形状を求め、それらの部分形状から前記被写体全
体の立体情報を求める画像情報入力装置において、複数
画像間の対応点を求める対応点抽出手段と、該対応点抽
出手段により求めた対応点から前記被写体の一部分の形
状を求める部分形状測定手段と、該部分形状測定手段に
より求めた複数の部分形状間の各対応点同士の同士の距
離を求める距離測定手段と、前記部分形状を求めた対応
点の第１の評価関数値を計算する第１の評価関数値演算
手段と、前記距離測定手段により求めた距離と前記第１
の評価関数値演算手段により算出した第１の評価関数値
とを用いて立体情報を求めるための第２の評価関数値を
計算する第２の評価関数値演算手段と、該第２の評価関
数値演算手段により求めた第２の評価関数値に基づき前
記被写体の立体情報を出力する出力手段とを具備したこ
とを特徴とする画像情報入力装置。
【請求項１２】被写体に対して相対的に移動する画像
入力手段により入力された画像を用いて前記被写体の一
部分の形状を求め、それらの部分形状から前記被写体全
体の立体情報を求める画像情報入力装置において、複数
画像間の対応点を求める対応点抽出手段と、該対応点抽
出手段により求めた対応点から前記被写体の一部分の形
状を求める部分形状測定手段と、該部分形状測定手段に
より求めた複数の部分形状間の各対応点同士の同士の距
離を求める距離測定手段と、前記部分形状を求めた対応
点の第１の評価関数値の最高値を計算する第１の評価関
数値演算手段と、前記距離測定手段により求めた距離と
前記第１の評価関数値演算手段により算出した第１の評
価関数値の最高値とを用いて立体情報を求めるための第
２の評価関数値を計算する第２の評価関数値演算手段
と、該第２の評価関数値演算手段により求めた第２の評
価関数値に基づき前記被写体の立体情報を出力する出力
手段とを具備したことを特徴とする画像情報入力装置。