JPH1021401A

JPH1021401A - 三次元情報処理装置

Info

Publication number: JPH1021401A
Application number: JP8192727A
Authority: JP
Inventors: Shigeki Okauchi; 茂樹岡内; Katsumi Iijima; 克己飯島; Katsuhiko Mori; 克彦森; Masayoshi Sekine; 正慶関根
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-07-04
Filing date: 1996-07-04
Publication date: 1998-01-23

Abstract

(57)【要約】【課題】三次元情報処理における信頼性の向上を図る
ことが可能な三次元情報処理装置を提供する。【解決手段】立体形状を有する被写体２から三次元の
情報を得て所定の情報処理を行う三次元情報処理装置に
おいて、所定の撮像系により被写体２を撮像する撮像ヘ
ッド部１と、この撮像ヘッド部１で撮像された撮像情報
から被写体２の立体形状を抽出するとともに、抽出され
た立体形状情報の信頼性を判定する撮像処理部１３とを
有し、前記信頼性の結果を表示部８に表示する。これに
より、三次元情報処理における信頼性の向上を図る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視差のある複数の
被写体を撮像し、その画像からＣＧやＣＡＤ等において
利用する事が可能な三次元情報を抽出する三次元情報処
理装置に関する。

【０００２】

【従来の技術】従来の物体の三次元形状を求める技術と
しては、大別して受動的手法と能動的手法がある。

【０００３】受動的手法の代表的なものがステレオ画像
法であり、これは２台のカメラを用いた三角測量を利用
するものである。この方法では、カメラで撮像された左
右の画像から同じものが写っている場所を探索し、その
位置のずれ量から被写体の三次元位置を計測するように
なっている。

【０００４】また、能動的手法の代表的なものとして
は、光を投影して反射して帰ってくるまでの時間を計測
して距離を求める光レーダ型のレンジファインダやスリ
ット状の光パターンを投影して被写体に写るパターン形
状の変位等から三次元形状を測定するスリット状の光投
影法などがある。

【０００５】また、２つの画像だけでなく、さらに多く
の画像を用いて、それらから求められる形状情報を統合
し三次元形状を形成するものもある。

【０００６】また、得られた三次元形状の信頼性判断に
関しては、例えば上記ステレオ画像法では、位置ズレ量
を輝度値の対応点抽出により求める場合の残差の大小や
相関を信頼性判断の代わりとしている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の技術においては、例えば上記ステレオ画像法の場合
では、残差が大きい場合、又は相関係数が小さい場合で
も撮像面に対する被写体の角度が大きかったり、装置か
ら被写体までの距離が大きかった場合に、対応点抽出結
果の最小誤差に起因する算出結果誤差が大きく、得られ
る三次元形状の信頼性が低かった。また、得られた立体
形状をその信頼性を踏まえた上で表示するということは
なされていなかった。

【０００８】そこで、本発明は上記事情に鑑みてなされ
たものであり、三次元情報処理における信頼性の向上を
図ることが可能な三次元情報処理装置を提供することを
目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に本発明は、立体形状を有する被写体から三次元の情報
を得て所定の情報処理を行う三次元情報処理装置におい
て、単数又は複数の光学系からなる撮像系により前記被
写体を撮像する撮像手段と、この撮像手段で撮像された
撮像情報から前記被写体の立体形状情報を抽出する立体
形状抽出手段と、この立体形状抽出手段により抽出され
た立体形状情報の信頼性を判定する信頼性判定手段とを
有することを特徴とする。

【００１０】また、上記課題を解決するために本発明
は、立体形状を有する被写体から三次元の情報を得て所
定の情報処理を行う三次元情報処理装置において、単数
又は複数の光学系からなる撮像系により前記被写体を撮
像する撮像手段と、この撮像手段で撮像された撮像情報
から前記被写体の立体形状情報を抽出する立体形状抽出
手段と、この立体形状抽出手段により抽出された立体形
状情報の信頼性を判定する信頼性判定手段と、この信頼
性判定手段の信頼性の判定結果に応じて前記立体形状情
報を加工表示する表示手段とを有することを特徴とす
る。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて詳細に説明する。

【００１２】（第１実施形態）まず、本発明の第１実施
形態について説明する。

【００１３】図１は、本発明の第１実施形態に係る三次
元情報処理装置の概略の構成を示す構成図である。

【００１４】図１に示したように、本実施形態における
三次元情報処理装置は、背面３の前面に存在する立体形
状を有した被写体２を撮像する撮像ヘッド部（カメラヘ
ッド）１とこの撮像ヘッド部１で撮像された画像に対し
各種画像処理を行う撮像処理部１３とを備えた立体形状
抽出部１２と、テキスト等の文章データを作成する文章
データ作成手段１００１と、この文章データ作成手段１
００１で作成された文章データと後述の２次元画像デー
タ演算部７から得られた被写体データとの合成、編集加
工が可能なデータ合成手段１０００と、被写体２の２次
元画像データや文章データを表示するためのモニタ８
と、被写体２の２次元画像データや文章データを紙等に
プリントするプリンタ９と、被写体２を見る視点を移動
させたり被写体２の表示形態を変更したりデータ合成手
段１０００による各データの合成及び編集作業をするた
めの操作手段１１とを有して構成される。尚、本実施形
態において、使用者は操作手段１１により、被写体２の
表示形態等を数種類選択可能であり、例えば自然画、被
写体２のエッジを線で表した線画又は被写体２の表面を
所定の大きさの平面の連続として表すポリゴン画等の画
像形態の中から選択可能である。

【００１５】ここで、上記撮像ヘッド部１は、装置から
みて右側に位置する撮像レンズ１００Ｒと、左側に位置
する撮像レンズ１００Ｌと、撮像環境に応じて照明光を
照射する照明部２００とを備えている。尚、図１におい
て、１０Ｌは、右側の撮像レンズ１００Ｒの撮像範囲を
表し、１０Ｒは、左側の撮像レンズ１００Ｌの撮像範囲
を表す。また、撮像ヘッド部１は、撮像開始位置Ａ０よ
り撮像終了位置Ａｎまで任意の位置を移動しながら被写
体２を撮像するようになっている。尚、このときのＡ０
−Ａｎ間の各撮像地点における撮像ヘッド部１の位置情
報は後述のカメラ姿勢位置検知部４に送出される。

【００１６】また、上記撮像処理部１３は、カメラ姿勢
位置検知部４と、画像メモリ５と、３次元画像データ演
算部６と、２次元画像データ演算部７とを備えている。

【００１７】上記撮像処理部１３のカメラ姿勢位置検知
部４は、背面３から得られる情報を基に画像処理で撮像
ヘッド部１の位置情報を算出する手段とジャイロ等のセ
ンサにより撮像ヘッド部１の位置情報を算出する手段と
を具備した位置検出部を装着している。これにより、撮
像ヘッド部１の背面３に対する位置関係が分かるように
なっている。

【００１８】上記画像メモリ５は、撮像ヘッド１で得ら
れた画像データとカメラ姿勢位置検知部４で得られた撮
像ヘッド部１の位置情報とを記憶するメモリであり、右
側画像用の画像メモリ５Ｒと左側画像用の画像メモリ５
Ｌとで構成される。

【００１９】上記３次元画像データ演算部６は、画像メ
モリ５に記憶された画像データ及びそれに対応する撮像
ヘッド部１の位置情報を基に被写体２の立体形状を演算
する演算部である。

【００２０】上記２次元画像データ演算部７は、３次元
画像データ演算部６で得られた被写体２の３次元画像デ
ータから使用者の指定する画像形態での任意の視点から
見たときの被写体２の２次元画像データを演算する２次
元画像データの演算部である。

【００２１】上記のような各構成の三次元情報処理装置
により、使用者がカメラヘツド１を被写体２に向け、図
示しないレリーズボタンを操作すると被写体２の撮像が
行われるとともに、最初の画像データが画像メモリ５に
記憶される。そして次に、使用者が撮像ヘッド部１を被
写体２を中心に任意の位置Ａ０からＡｎへ移動させる
と、位置Ａ０からＡｎへ移動している最中に、まず姿勢
位置検知部４が最初の撮像ヘッド部１の位置Ａ０に対し
て位置および方向が所定量変化したことを検知する。こ
の姿勢位置検知部４による検知がなされると、位置Ａ１
において２度目の撮像が行われ、以下順々にｎ度目まで
撮像が行われていく。

【００２２】この時、画像データと姿勢位置検知部４に
より得られた撮像ヘッド部１の最初に撮像した位置およ
び方向に対する変位量は、画像メモリ５に記録される。
また、このとき姿勢位置検知部４によって撮像ヘッド部
１の位置および方向の少なくとも一方が所定位置より大
きく移動していた場合には後述する警告手段により警告
を行う。以下この動作を数回繰り返し、被写体２の距離
情報データを演算するのに十分な画像データが得られる
と図示しない撮像終了報知手段でその旨を使用者に知ら
せて撮像処理が終了する。

【００２３】撮像処理が終了すると、次に、３次元画像
データ演算部６では画像メモリ５に記憶された画像デー
タとこの画像データに対応する撮像ヘッド部１の位置情
報とに基づいて撮像した被写体２の３次元画像データを
演算する。また、２次元画像データ演算部７は被写体２
の３次元画像データから操作手段１１によって選択され
た画像形態で、かつ被写体２を最初に撮像した位置から
見た２次元画像データを演算し、モニタ８に表示する。
このとき使用者が操作手段１１を操作すると２次元画像
データ演算部７はそれに応じて演算を行い、任意の視点
から見た被写体像に変更して表示することができる。ま
た操作手段１１を操作することによってモニタ８に表示
された被写体２の画像形態を種々の形態（自然画、ポリ
ゴン画等）に変更することもできる。

【００２４】そして、使用者は、撮像した被写体２を目
的に応じて視点、画像形態を変更した後、プリンタ９に
出力することができる。また、使用者は、データ合成手
段１０００によってあらかじめ作成した文章データと、
２次元画像データ演算部７によって演算された被写体デ
ータとをモニタ８に表示しながら合成及び編集作業も可
能である。またこのときも被写体２の画像形態や視点を
変更したい場合は、操作手段１１を操作することにより
可能である。

【００２５】次に、上記立体形状抽出部１２のより詳細
な構成を説明する。

【００２６】図２は、立体形状抽出部１２の詳細、すな
わち撮像ヘッド部１及び撮像処理部１３の詳細な構成を
示すブロック図である。

【００２７】立体形状抽出部１２の詳細な構成は、図２
に示したように、前述のカメラ姿勢位置検出部４と、現
在撮像されている画像を格納する画像メモリ７３，８３
と、直近に撮像された画像を格納する画像メモリ７５，
８５と、撮像された画像のオーバーラップ部分を検出す
るオーバーラップ検出部９２と、露光条件等の各種撮像
パラメータの設定状況等を音声で知らせる発音体９７
と、ズームレンズからなる撮像レンズ１００Ｒ，１００
Ｌと、この撮像レンズ１００Ｒ及び１００Ｌからの光量
を調節する絞り１０１Ｒ，１０１Ｌと、ＣＣＤ等で構成
されるイメージセンサ１０２Ｒ，１０２Ｌと、このイメ
ージセンサ１０２Ｒ，１０２Ｌからの信号をアナログ／
デジタル変換するＡ／Ｄ変換部１０３Ｒ，１０３Ｌと、
イメージセンサ１０２Ｒ，１０２Ｌからの信号を映像信
号に変換する映像信号処理部１０４Ｒ，１０４Ｌと、立
体情報（距離情報）を抽出したい物体と背面３とを分離
する被写体分離部１０５Ｒ，１０５Ｌと、撮像レンズ１
００Ｒ，１００Ｌの焦点距離の調整を行うズーム制御部
１０６Ｒ，１０６Ｌと、焦点位置の調整を行うフォーカ
ス制御部１０７Ｒ，１０７Ｌと、絞り量の調整を行う絞
り制御部１０８Ｒ，１０８Ｌと、立体形状抽出部１２全
体の制御を行うシステムコントローラ２１０と、図１で
示した画像メモリ５、３次元画像データ演算部６及び２
次元画像データ演算部７を含む画像処理部２２０と、撮
像開始時に操作されるレリーズボタン２３０と、露光条
件等の各種撮像パラメータの設定状況等を表示する表示
部２４０と、画像処理部２２０に接続されて所定の画像
データ等を記録する記録部２５０と、左右差補正に必要
な信号を検出する左右差検出部２６０と、合焦状態の検
出を行う合焦検出部２７０と、イメージセンサ１０２
Ｒ，１０２Ｌを駆動制御するイメージセンサドライバ２
８０Ｒ，２８０Ｌと、外部機器との接続を可能とする外
部入力Ｉ／Ｆ７６０とを具備したものとなっている。

【００２８】ここで、上記システムコントローラ２１０
は、図３に示すように主に全体制御を司るマイクロコン
ピユーター９００と、全体制御に必要なプログラムや撮
像された画像データ等を記憶するメモリ９１０と、この
メモリ９１０等に記憶された画像データ等に対し所定の
演算処理を行う画像演算処理部９２０とから構成されて
いる。

【００２９】また、上記画像処理部２２０は、撮像レン
ズ１００Ｒ及び１００Ｌの各々より得られる映像信号か
ら被写体２の立体情報を抽出すると共に、抽出した各撮
像地点における被写体２の立体情報（距離情報）をカメ
ラ姿勢位置検出部４により得られる各撮像地点の姿勢に
関する情報に基づき統合し出力するものである。

【００３０】図４は、上記画像処理部２２０のより詳細
な構成を示したブロック図であり、主に画像処理部２２
０における距離情報の抽出及び信頼性評価に係る構成部
分を示したものである。

【００３１】上記画像処理部２２０は、所定の画像メモ
リに蓄えられた左画像（Ｌ画像）と右画像（Ｒ画像）と
で構成されるステレオ画像１１０から距離情報を抽出す
るものであり、図４に示したように、ステレオ画像１１
０からエッジを抽出した画像を生成するエッジ抽出処理
部１１１（１１１Ｒ，１１１Ｌ）と、ステレオ画像１１
０のそれぞれの画素がどういう対応関係になっているか
を抽出するステレオ画像対応点抽出処理部１１２と、エ
ッジ抽出処理部１１１にてエッジ画像にされた２つの画
像中のそれぞれの画素がどういう対応関係になっている
かを抽出するエッジ画像対応点抽出処理部１１３と、ス
テレオ画像対応点抽出処理部１１２及びエッジ画像対応
点抽出処理部１１３のそれぞれで導出された対応関係に
矛盾する事はないかを判別し、その矛盾箇所は除去する
矛盾等排除処理部１１４と、導出された対応点箇所と対
応点を求める途中で使用している相関の程度を表す指
数、例えば残差でオクルージョン領域を判断するオクル
ージョン領域判定処理部１１５と、対応点の関係から三
角測量の原理で距離情報分布を算出する距離情報分布算
出処理部１１６と、背面部の特徴点を同定する特徴点抽
出部１１７（１１７Ｒ，１１７Ｌ）と、背面部の特徴点
を利用して撮像パラメータや姿勢や移動関係を取得する
補正データ算出処理部１１８と、信頼性を判定する信頼
性判定部１３０とを有して構成される。

【００３２】ここで、上記信頼性判定部１３０は、オク
ルージョン領域判定処理部１１５からの出力や距離情報
分布算出処理部１１６の処理結果、並びに補正データ算
出処理部１１８からの撮像パラメータ及び位置情報を基
に、その導出された距離情報がどの程度の信頼性がある
かを判定し、その信頼度のレベルに応じた信頼性情報を
導出された距離情報に付加するものである。

【００３３】図５は、上記画像処理部２２０のより詳細
な構成を示したブロック図であり、主に画像処理部２２
０における被写体２の距離情報の統合に係る構成部分を
示したものである。

【００３４】上記画像処理部２２０は、被写体２の距離
情報の統合処理を行うために、図５に示したように、上
記各手段で導出された一対のステレオ画像１１０からの
距離情報（Ｚ^t _ij）１２０を各々統一された座標系に変
換する座標系変換部１２１と、この統一された座標系に
変換されたそれぞれの距離情報を統合していく距離情報
統合部１２２と、統合された距離情報を表示する表示部
１２４とを有している。また、上記画像処理部２２０
は、オクルージョン領域情報を統合部１２２及び表示部
１２４に送出する手段と、撮像ヘッド部１の移動量や方
向等を検知する手段をも備えている。

【００３５】尚、上記でいう「統合」とは、少なくとも
２つ以上の任意の位置から得られた被写体２の距離情報
１２０のずれ情報に基づいて、各距離情報１２０を同一
座標系からみた距離情報にするように同一点は同一とす
る事である。また、上記でいう「統合」とは、後述の座
標の補間処理をする事、距離情報の信頼性情報からの信
頼係数を元に点又はエリアの座標の信頼性判断をする事
等の意味をも含むものである。

【００３６】次に、上記構成の三次元情報処理装置の動
作の説明を行う。

【００３７】まず、図２を参照して立体形状抽出部１２
の詳細な動作について説明する。

【００３８】立体形状抽出部１２において、被写体２の
画像は撮像レンズ１００Ｒ及び１００Ｌを通して入力さ
れる。この入力された被写体像はイメージセンサ１０２
Ｒ及び１０２Ｌにおいて電気信号に変換される。さら
に、この変換された信号は、Ａ／Ｄ変換部１０３Ｒ及び
１０３Ｌにおいてアナログからデジタルの信号に変換さ
れて映像信号処理部１０４Ｒ及び１０４Ｌに供給され
る。

【００３９】映像信号処理部１０４Ｒ及び１０４Ｌで
は、デジタル化された被写体２の信号を、適切な形態の
輝度信号及び色信号に変換処理する。そして、被写体分
離部１０５Ｒ及び１０５Ｌでは、映像信号処理部１０４
Ｒ及び１０４Ｌより得られる信号をもとに、撮像される
被写体において、距離情報を計測して主被写体２と背面
３とを分離する。

【００４０】この分離の方法としては、例えば予め背面
３の映像を撮像しておき、その画像を所定のメモリに保
持しその後測定したい主被写体２を置いて撮像を行い、
この撮像した映像と予めメモリに保持している背面３の
映像とにマッチング及び差分処理を施し、これにより背
面領域を分離する等の方法を用いる。尚、分離の方法は
これに限るものではなく色あるいはテクスチャの情報を
基に分離してもよい。

【００４１】このように分離された主被写体２の映像
は、画像処理部２２０に与えられ、次にこの画像処理部
２２０において撮像時の各種撮像パラメータを基に立体
形状の抽出処理が施される。

【００４２】次に、図６のフローチャートにより、本発
明に係る三次元情報処理装置の撮像ヘッド部１の処理シ
ーケンスについて説明する。

【００４３】まず、電源がＯＮとなり（Ｓ１）、映像信
号が入力されるとコントローラ２１０は、各々の被写体
分離部１０５Ｒ及び１０５Ｌにより得られる映像信号を
画像演算処理部９２０により積分処理して図１に示す主
被写体２の輝度レベルを算出し（Ｓ２）、立体形状抽出
には不十分であると判断した場合には、照明部２００を
点灯する（Ｓ３）。このとき、照明強度レベルは算出さ
れた輝度レベルに応じて可変としてもよい。

【００４４】適切な輝度レベルに設定された各々の映像
信号を用いて次に焦点位置の調整を行う（Ｓ５）。この
とき、焦点位置が主被写体２と背面３の両方にピントが
合うようレンズ１００Ｒ，１００Ｌを移動させ、絞り１
０８Ｒ，１０８Ｌを調節する。この時輝度レベルがある
程度以上に変化した場合には、照明２００の強度を変化
させて対応する。あるいは、ＡＧＣ（オートゲインコン
トロール）回路を組み込み電気的にレベル補正を行って
もよい。合焦状態の検出は、合焦検出部２７０において
行う。検出の方式としては、エッジの鮮鋭度あるいはボ
ケ量を検知するなどの方式が利用できる。

【００４５】焦点位置合わせを実行した後は、ズームの
調整を行う（Ｓ６）。

【００４６】図７は、ズーム調整の概略を示したもので
ある。主被写体２がほぼ焦点深度内に収まった状態で、
各々の撮像系１００Ｒ及び１００Ｌから得られる映像を
コントローラ２１０のメモリ９１０に保持すると共に、
画像演算処理部９２０においてオーバーラップ領域の検
出を行う。検出の方式は相関演算処理やテンプレートマ
ッチング処理等を利用する。

【００４７】図７に示すように最初の状態でオーバーラ
ップ領域５００を検出し、次にこの領域の面積が画面内
で大きくなる方向にコントローラ２１０はズーム値を設
定し、各々のズーム制御部１０６Ｒ及び１０６Ｌに制御
信号を出力する。

【００４８】図８に一連のズーム調整による画面内のオ
ーバーラップ領域の変化の概略を示す。図８においてオ
ーバーラップ領域の面積Ｐがピークとなるｆをコントロ
ーラ２１０の画像演算処理部９２０が算出し、各々のズ
ーム制御部１０６Ｒ及び１０６Ｌに制御信号が与えられ
る。

【００４９】なお、この操作により焦点距離ｆが変換
し、その結果焦点深度の範囲がある程度以上に変化した
場合には、図６のパラメータ再調整のステップＳ２００
（Ｓ１〜Ｓ５）に従い、絞り制御部１０８Ｒ及び１０８
Ｌに制御信号を与える。

【００５０】また、以上の一連の調整ステップＳ１００
（Ｓ１〜Ｓ７）後に、パラメータ再調整及び左右差補正
のステップＳ２００の処理を施す。左右差補正は左右差
検出部２６０において露光量、焦点位置及びズーム値を
映像信号より検出する。検出された信号に基づきコント
ローラ２１０は各々のズーム制御部１０６Ｒ及び１０６
Ｌ、フォーカス制御部１０７Ｒ及び１０７Ｌ、絞り制御
部１０８Ｒ及び１０８Ｌに制御信号を与える。

【００５１】尚、撮像時の各種撮像パラメータとして
は、例えば、焦点距離の設定があり、この焦点距離の設
定は、以下の方法により設定できる。

【００５２】まず、距離情報は以下の式１により表すこ
とができるので、Ｚ＝ｆｂ／ｄ（式１）（ここで、Ｚ：距離、ｆ：焦点距離、ｂ：基線長、ｄ：
視差を示す。）従って、焦点距離は視差によりきまる距離分解能をパラ
メータとして以下のようになる。

【００５３】

【数１】

【００５４】

【数２】従って、外部入力１／Ｆ７６０を通してコンピユータ等
から分解能を設定し、この値を基に焦点距離を設定する
ことも可能である。

【００５５】次に、Ｓ１００及びＳ２００のステップに
より、撮像パラメータが調整されると、コントローラ２
１０は、表示部２４０に信号を与えパラメータ設定の終
了を使用者に知らせる（Ｓ８）。尚、表示部２４０は、
ＣＲＴ、ＬＣＤ等のディスプレイでもいいし、ＬＥＤ等
による簡易表示でもよい。また、表示と合わせて音を発
生してもよいことはいうまでもない。

【００５６】パラメータ設定の終了が終わると、使用者
は、撮像ヘッド部１を移動させながら適当な間隔でシャ
ッターをきり、映像を入力する（Ｓ９〜Ｓ１１）。尚、
この際、移動速度の検出や、撮像ヘッド部１の検出等も
行われている（Ｓ１２〜Ｓ１４）。

【００５７】次に、画像処理部２２０によりステレオ画
像１１０から距離情報を抽出する方法を図４を参照して
説明する。

【００５８】まず、所定の画像メモリに蓄えられたステ
レオ画像１１０に対して２つの処理が行なわれる。

【００５９】１つ目の処理は、後述する処理方法を用い
てステレオ画像対応点抽出処理部１１２で、ステレオ画
像１１０の輝度値からそれぞれの画素がどういう対応関
係になっているかを抽出する処理である。

【００６０】もう１つの処理は、後述する処理方法を用
いて、エッジ画像対応点抽出処理部１１３で、エッジ抽
出処理部１１１にてエッジ画像にされた２つの画像中の
それぞれの画素がどういう対応関係になっているかを抽
出する処理である。尚、エッジ画像の生成に関しては、
後述する処理方法を用いてエッジ抽出処理部１１１を経
て生成されるものとする。

【００６１】矛盾等排除処理部１１４では、それぞれの
対応点処理部からの出力より対応関係の矛盾等を判断す
る。輝度部からの対応関係とエッジ部からの対応関係が
一致しない時は、信頼性が低いとしてその対応関係は排
除するので適当である。或いはそれぞれの関係に重み付
けをして判断する事も可能である。

【００６２】次に、前述のステレオ画像対応点抽出処理
部１１２による対応点抽出方法の代表としてテンプレー
トマッチング法による手法を説明する。

【００６３】テンプレートマッチング法では、図９に示
された様にＮ＊Ｎ画素のテンプレート画像Ｔを例えば左
の撮像系から得られた画像から切り出す。これを右の撮
像系から得られた画像Ｍ＊Ｍ画素の入力画像内の探索領
域範囲（Ｍ−Ｎ＋１）²上で動かし、

【００６４】

【数３】の残差Ｒ（ａ，ｂ）が最小になる様なテンプレート画像
の位置を求めて、Ｎ＊Ｎのテンプレート画像Ｔの中心画
素を一致箇所として求める。

【００６５】但し上記において、（ａ，ｂ）は画像内に
おけるテンプレート画像の左上位置を示し、Ｉ
_R(a,b)（ｉ，ｊ）は右画像の部分画像、Ｔ_L（ｉ，ｊ）
は左画像から切りだしたテンプレート画像である。

【００６６】また、前述のエッジ画像対応点抽出処理部
１１３によるエッジ抽出方法としては、例えばロバート
フィルタ等の手法が用いられる。

【００６７】ロバートフィルタは、入力画像ｆ(i,ｊ)、
出力画像g(i,j)とすると g(i,j)＝sqrt[{f(i,j)−f(i+1,j+1)}²+{f(i+1,j)−f(i,j+1)}²] （式５）或いは g(i,j)=abs{f(i,j) −f(i+1,j+1)}+abs{f(i+1,j)−f(i,j+1)} （式６）で求まる。

【００６８】この様にしてエッジ部が強調された画像に
対して２値化処理を行ってエッジ成分を抽出する。尚、
２値化は適当な閾値を用いて行う。

【００６９】次の画像抽出処理のステップは、オクルー
ジョン領域判定処理部１１５に基づく求まった対応点箇
所と、対応点を求める途中で使用している相関の程度を
表す指数、例えば残差でオクルージョン領域を判断する
処理である。

【００７０】これは対応点処理が一応の結果を出すもの
のその信頼性を付加しようとする処理である。相関の程
度を現す指数として、相関係数或いは残差を用いて、信
頼性情報を付加する。その残差が非常に大きい時、或い
は相関係数が低い時は対応関係の信頼性が低いとする。
この低い所をオクルージョン領域或いは対応がない領域
として扱う。

【００７１】具体的には、図１０に示されるように、残
差であれば１画素あたり残差が０〜２であれば信頼性係
数は３、２〜４であれば２、４以上であれば０と言うよ
うに決め、信頼係数が０の場合は削除する。

【００７２】上記処理ステップを経て、求められた対応
関係を用いて三角測量の原理を用いて被写体の距離情報
を算出する。三角測量は式１で説明した通りである。

【００７３】続いて、撮像時の撮像ヘッド部１の位置や
撮像方向は補正データ算出処理部１１８の出力によりわ
かるから、その結果を踏まえて距離情報の信頼性判定部
１３０により判定する。算出された距離情報は背面３の
データから決まる座標系上の点群として表される。この
時エッジ抽出処理部１１１の出力であるエッジ部の間の
領域に急激な距離の変化があった場合は、その距離情報
を削除する。これは距離の急激な変化があった場合はエ
ッジ部として認識される可能性が非常に高いからであ
る。

【００７４】そして、それぞれの点の撮像面からの距離
が算出され、かつ隣り合う３点で構成されるエリアの撮
像面に対する傾きが計算される。そして、隣接するエリ
アの傾きを調べてほとんど同一と判断されるほど差がな
ければ、エリアを拡大していき、同じ傾きの領域がなく
なるまで行なう。そしてこのエリアそれぞれに信頼性の
情報を付加する。ただ、オクルージョン部や距離情報が
削除された部分にはエリアは拡大されない。この時、点
群としての情報は持ったままでもよいが、情報量を圧縮
するうえで削除するほうがよい。

【００７５】信頼性情報の付加の仕方は、撮像面に対す
る角度と上記残差に応じて図１１に示されるように決め
られ付加される。

【００７６】図１１の場合では、撮像面に対する角度が
０°〜３０°でかつ残差が０〜２の場合は信頼係数３で
一番信頼性が高いことを示している。一方撮像面に対す
る角度が８０°〜９０°でかつ残差が２〜４の場合は信
頼係数０で一番信頼性が低いことを示している。そして
信頼係数が０の領域は信頼できないとしてデータを削除
することも可能である。このようにそれぞれのエリアに
対して、その角度に応じて信頼係数を３，２，１，０と
いうように信頼性のデータを２ビットの情報として付加
している。そしてこの立体形状情報は記録部２５０に適
切なフォーマットに変換されて記録される。

【００７７】尚、上述のように撮像は位置Ａ０〜Ａｎと
言うように複数の場所で行われるので、すべての撮像に
背面３が特徴点を精度よく求められるだけ撮像されてい
るとは限らない。そこで背面３の撮像領域に対する割合
に応じて信頼性情報を付加する。背面３の場合は、被写
体分離手段１０５により検出できる。その一例として、
例えば１００〜３０％の場合が信頼係数が３、３０〜１
５％の場合が２、１５％以下の場合が１とする。ここで
背面３のパッドが撮像領域にほとんど写っていない場合
などは、基準となる座標系がわからないのでテクスチャ
情報などを利用して距離情報の統合をしなければなら
ず、信頼性が低下する可能性があるから信頼係数を低く
設定する。そしてこの信頼係数に応じて上記撮像面に対
する角度と残差によって決定された信頼係数を変更し
て、新たな信頼係数として距離情報に付加する。

【００７８】また、左右の画像から得られる距離画像を
モニタ８で表示することが可能である。この時の表示画
像は、上述のごとく自然画，線画，ポリゴン画のうち選
択できるが、どの表示の場合でも信頼性情報を同時に表
示することができる。自然画の場合は輝度を信頼係数に
応じて対応する領域を変更して表示する。線画の場合
は、線の太さとか線の種類例えば、実線，破線，一点鎖
線と入った具合に。ポリゴン画の場合はポリゴンの色を
変えるなどして信頼性情報を同時に表示することができ
る。

【００７９】次に、上記の様にして得られた距離情報の
時系列的統合処理を図５を参照して説明する。

【００８０】まず、上記において得られたステレオ画像
１１０からの距離情報１２０が時々刻々生成される一方
で、撮像ヘッド部１の移動量や方向等を検知する手段か
らはその情報が送出されてくる。これらを用いて後述す
る処理方法で、座標系変換部１２１が距離情報を統一さ
れた座標系に変換する。変換する事により時々刻々得ら
れた情報を統合し易くするのである。

【００８１】次に、同一の座標系に変換された距離情報
を統合していく。

【００８２】この統合時に信頼性情報が利用される。例
えば２つの距離情報が得られたとし、その重複部分にお
いて信頼性が異なる場合、信頼係数の高い方が選択され
る。または、信頼係数に応じた重み付けを行って統合し
てもかまわない。また、重複領域のデータが３つ以上存
在するときも、同様にして信頼係数に応じた統合がなさ
れる。そして、統合された距離情報に対して再度信頼係
数の付加がなされる。統合時に信頼性の高い方のデータ
を選択するので統合時の距離情報も信頼性が向上してい
く。

【００８３】次に、それぞれの距離情報中、同一の点を
示す場合、情報量を削減する意味でも、どちらかひとつ
だけを用いる。同一点の判断の基準としては、 (x₀−ｘ₁)²+ (y₀−y₁)²+ (z₀−z₁)²＜ ε1 （式７）又は a(x₀−ｘ₁)²+ b(y₀−y₁)²+ c(z₀−z₁)²＜ ε2 （式８）等の計算式７，８が用いられる。

【００８４】但し、上記式７，８においてε1 ，ε2 は
基準値、ａ、ｂ、ｃ、ｄは適当な係数である。

【００８５】上記の計算式例えば（式７）によれば、a=
b=１、 c=2 とすることで距離の違いに対してより敏感
に同一点の判定をする事も可能である。

【００８６】また次に、求められた点の座標から補間を
行う。この補間としては、例えば図１２に示すように中
間点を求めていく方法がある。

【００８７】この図１２において、グラフ上の点Ａ
（○）は、抽出された距離情報データＺt (i,j) を示
し、点Ｂ（●）は、Ｚ′^t+δt(i,j)を（i₀、j₀）だけシ
フトしたＺ′^t+δt(i+i₀,j+j₀)を示し、点Ｃ（□）は、
中間点補間で求められたデータであり、新しい距離情報
Ｚ_newを示している。ここでの補間方法としては、例え
ば線形補間、スプライン補間等の方法が採られる。

【００８８】次に、以上のような統合処理で用いられる
「統一された座標系」について図１３，１４を参照して
説明する。

【００８９】尚、図１３において２は被写体、３はパッ
ドによる背面、１８００〜１８０４は距離情報を登録す
る為の仮想的な投影面である。また、１８１０〜１８１
４は仮想的な投影面の中心軸（光軸）である。

【００９０】本実施形態で用いられる「統一された座標
系」とは、例えば５セットの基準座標(x、ｙ、ｚ軸) の
事である。すなわち、例えば図１３に示すように仮想的
な投影面１８００〜１８０４を形成する為の軸、ｘ、
ｙ、ｚ軸といったものが５つあることを示している。

【００９１】上記において求められた距離情報Ｚ^ti _jを
各投影面（５面）に投影する。投影の際には各基準座標
に沿う様、回転、並進等の変換が行われる。その様子が
図１４に示されている。

【００９２】すなわち、光軸１８１３上にある中心点Ｏ
と被写体上の各点Ｓとを結んだ直線と、投影面１８０３
との交点が変換された後の点Ｐである。

【００９３】尚、図１４の例は投影面１８０３に関して
の模式図であるがその他の投影面に関しても同様であ
る。また、次の距離情報Ｚ^t+δt _ijに関しても同様に行
うのであるが、投影する際は先に書かれた時点の物に順
に上書きしていく。

【００９４】従ってある被写体に対して５つの基準軸に
沿った距離情報が得られる。例えば一つの点が投影面１
８００〜１８０４上の各点（x0、y0、z0）、(x1、y１、
z1)(x2、y2、ｚ2)、(x3、y3、ｚ3)、(x４、y4、ｚ4)の
５つで表現される。

【００９５】このようにして統合された距離情報はモニ
タ８上で表示することが可能である。そして操作部１１
により任意の視点から見た被写体の三次元形状が観察で
きるのである。この時も左右の画像から得られた距離情
報を表示したときと同様に、信頼性情報を同時に表示す
ることができる。これにより信頼性の低い領域がどこで
あるかが一目瞭然にわかるので、追加してどの領域を撮
像する必要があるかが使用者に認識され、追加撮像が可
能となる。

【００９６】（第２実施形態）次に、本発明に係る第２
実施形態について説明する。

【００９７】図１５は、本発明に係る三次元情報処理装
置の第２の実施形態の概略を示したものである。

【００９８】図１５において、２１０１は主被写体で、
２１００は三次元情報処理装置の立体形状抽出部であ
り、１００は撮像レンズ、２００は照明部である。また
２１０２は、キャリブレーションパッドであり立体抽出
装置はこのパッドの映像を基に姿勢の検出を行う。尚、
パッド２１０２上の文字Ａ，Ｂ，Ｃ，Ｄは装置２１００
の姿勢検出のための特徴部であり、これら特徴部の方
向、歪み等から姿勢の算出を行うことができる。

【００９９】図１６は、本実施形態に係る立体形状抽出
部２１００の詳細なブロック図である。尚、図１６にお
いて上記第１実施形態とＬ及びＲの記号部を除いて同様
の番号を付するものは、機能及び動作が同じであるので
説明を省略する。

【０１００】図１６に示したように、本実施形態に係る
立体形状抽出部２１００は、単眼であることを除いて、
機能及び動作は第１実施形態とほぼ同様である。

【０１０１】次に、本実施形態における動作を説明す
る。

【０１０２】本実施形態が上記第１実施形態と異なる点
は、ズームの調整法である。本実施形態の装置は、パッ
ド２１０２との組み合わせにより姿勢検出を行うため、
撮像の際にパッド２１０２が適切な範囲で得られること
が必要となる。そこで、まず被写体分離部１０５は、予
め保持しているパッド２１０２の特徴部（図１５の四隅
のＡ，Ｂ，Ｃ，Ｄ）と現在得られている映像との間で演
算あるいはテンプレートマッチング処理を施し、検出信
号をシステムコントローラ２１０に出力する。システム
コントローラ２１０は、パッド２１０２が視野内に適切
な範囲で収まるように焦点距離を設定する。同時に焦点
距離の情報をシステムコントローラ２１０内のメモリ９
１０に保持する。

【０１０３】これにより、パッド全体を常に視野におさ
めることができるので、特徴部の形状より常に姿勢の検
出が可能な状態となる。

【０１０４】そして、パッド全体が常に視野にはいるこ
とから、対応点抽出処理時に信頼性を向上させることが
できる。主被写体２１０１はパッドの手前にあることか
ら、算出された距離情報がパッドを超えた場合その結果
を削除することができる。またパッドの領域がわかるか
ら、対応点抽出の探索領域を限定でき、その結果テンプ
レートのサイズを大きくして対応点抽出の精度を向上さ
せることができる。

【０１０５】図１７は、本発明に係る三次元情報処理装
置の動作を示すフローチャートである。

【０１０６】図１７のフローに示すように、まず、電源
がＯＮされ、露光条件、焦点位置調整等の光学系の各種
パラメータが設定されると（Ｓ２１〜Ｓ２５）、表示部
２４０のＬＥＤが点灯し（Ｓ２６）、使用者に入力可能
な状態であることを知らせる。使用者は、この表示をう
けて入力を開始し（Ｓ２７）、装置２１００を移動させ
ながら適当な間隔でシャッター２３０をきり、映像を入
力する（Ｓ２８）。このとき、被写体分離部１０５の情
報を基にシステムコントローラ２１０は主被写体を含む
パッド２１０２の特徴部が常に適切な範囲で視野に収ま
るように焦点距離を設定する。同時に各撮像位置におけ
る焦点距離を含む撮像パラメータ情報をメモリ９１０に
保持する。これにより特徴部の状態から姿勢検出部４が
姿勢を検出する（Ｓ２９）。

【０１０７】画像処理部２２０は、画像メモリ７３，７
５に保持されている複数の映像信号を読みだし、システ
ムコントローラ内のメモリ９１０に保持されている撮像
パラメータ情報を基に画像を変換し、同一焦点距離の画
像に補正する。さらに、画像処理部２２０は、補正され
た映像信号とカメラ姿勢位置検知部４により得られる姿
勢信号から、被写体の立体形状を抽出する。

【０１０８】そして得られた立体情報に対して信頼性情
報を付加する。本第２実施形態では、信頼性情報の付加
の仕方は、撮像面に対する角度と撮像面からの距離に応
じて図１８に示されるように決められ付加される。

【０１０９】図１８の場合、撮像面に対する角度が０°
〜３０°でかつ被写体距離が１０ｃｍ〜３０ｃｍである
場合は信頼係数３で一番信頼性が高いことを示してい
る。一方撮像面に対する角度が８０°〜９０°でかつ被
写体距離が６０ｃｍの場合は信頼係数０で一番信頼性が
低いことを示している。そして信頼係数が０の領域はそ
のデータを削除することも可能である。このようにそれ
ぞれのエリアに対して信頼性のデータを２ビットの情報
として付加している。

【０１１０】そして信頼性情報を付加された立体情報
は、記録部２５０に与えられる。記録部２５０では、得
られる信号を適切なフォーマットに変換し記録する。

【０１１１】尚、上記第１及び第２実施形態では、信頼
性を判定する手段として対応点抽出時の残差や相関、そ
して被写体の撮像面に対する角度や被写体距離、さらに
はパッドの撮像領域に対する割合やパッドの位置情報を
用いて行なうものとして説明したが、そのほかにも光源
の被写体による反射やパッドの撮像面に対する角度によ
っても得られる立体形状の信頼性を判定することができ
る。

【０１１２】まず、光源の被写体による反射を用いる場
合について説明する。

【０１１３】被写体からの反射光は、映像信号の輝度情
報からある程度判定できる。なぜなら、被写体の反射率
が高い場合は、その反射光がレンズに入る位置では輝度
がある範囲にわたって非常に高くなる。そこでその高い
ところを反射によるものとして排除する。具体的には、
輝度レベルに応じてしきい値を定めそれに応じて信頼係
数を３〜０に定める。

【０１１４】次に、パッドの撮像面に対する角度を用い
る場合について説明する。

【０１１５】この場合、撮像面に対する被写体の角度に
応じて信頼係数を設定したようにパッドの角度に応じて
信頼性係数を付加する。これは、パッドからは基準座標
が得られるわけであるから基準座標の信頼性が低ければ
その基準座標上の立体形状の信頼性も低くなるという点
を利用したものである。具体的な例としては０°〜６０
°の場合信頼係数が３、６０°〜７５°の場合が２、７
５°〜８５°の場合が１、８５°〜９０°の場合が０で
ある。尚ここで、パッドの角度の検出の方が被写体の角
度の検出に比べ信頼性を高く設定したのは、パッドは平
面としてあらかじめ認識されているため、複数のデータ
から最小二乗法などで角度を精度よく求めることができ
るからである。

【０１１６】また、上記では信頼係数を２ビットの情報
として説明したが、必要に応じて増やすことも可能であ
る。

【０１１７】

【発明の効果】以上詳述したように、本発明によれば、
抽出された立体形状情報の信頼性を例えば撮像面に対す
る被写体の角度、被写体距離及び残差や相関から判断可
能な画像対応度等に基づいて判定するので、得られる立
体形状情報の信頼性の向上が図れる。また、この信頼度
に応じて立体形状情報を加工表示することにより、信頼
性を視覚的に操作者に通知することができる。

【図面の簡単な説明】

【図１】本発明による三次元情報処理装置の概略構成図
である。

【図２】立体形状抽出部１２の詳細な構成を示すブロッ
ク図である。

【図３】システムコントローラ２１０のの詳細な構成を
示すブロック図である。

【図４】距離情報の抽出に係る構成部分を示したブロッ
ク図である。

【図５】距離情報の統合に係る構成部分を示したブロッ
ク図である。

【図６】撮像ヘッド部１の動作を示すフローチャートで
ある。

【図７】ズーム調整の説明図である。

【図８】ズーム調整の説明図である。

【図９】テンプレートマッチングの説明図である。

【図１０】信頼性判定の説明図である。

【図１１】信頼性判定の説明図である。

【図１２】中間点補間方法の概略を示す図である。

【図１３】距離情報を統一された座標系に変換する方法
を示す図である。

【図１４】距離情報を統一された座標系に変換する方法
を示す図である。

【図１５】本発明の第２実施形態に係る三次元情報処理
装置の説明図である。

【図１６】本発明の第２実施形態に係る立体形状抽出部
１２の詳細な構成を示すブロック図である。

【図１７】本発明の第２実施形態に係る撮像ヘッド部１
の動作を示すフローチャートである。

【図１８】本発明の第２実施形態に係る信頼性判定の説
明図である。

【符号の説明】

１撮像ヘッド部２被写体４カメラ姿勢位置検知部５画像メモリ６３次元画像データ演算部７２次元画像データ演算手段８モニタ９プリンタ１０００データ合成手段１００１文章データ作成手段１１操作手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者関根正慶東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】立体形状を有する被写体から三次元の情
報を得て所定の情報処理を行う三次元情報処理装置にお
いて、単数又は複数の光学系からなる撮像系により前記被写体
を撮像する撮像手段と、この撮像手段で撮像された撮像情報から前記被写体の立
体形状情報を抽出する立体形状抽出手段と、この立体形状抽出手段により抽出された立体形状情報の
信頼性を判定する信頼性判定手段とを有することを特徴
とする三次元情報処理装置。
【請求項２】立体形状を有する被写体から三次元の情
報を得て所定の情報処理を行う三次元情報処理装置にお
いて、単数又は複数の光学系からなる撮像系により前記被写体
を撮像する撮像手段と、この撮像手段で撮像された撮像情報から前記被写体の立
体形状情報を抽出する立体形状抽出手段と、この立体形状抽出手段により抽出された立体形状情報の
信頼性を判定する信頼性判定手段と、この信頼性判定手段の信頼性の判定結果を通知する通知
手段とを有することを特徴とする三次元情報処理装置。
【請求項３】立体形状を有する被写体から三次元の情
報を得て所定の情報処理を行う三次元情報処理装置にお
いて、単数又は複数の光学系からなる撮像系により前記被写体
を撮像する撮像手段と、この撮像手段で撮像された撮像情報から前記被写体の立
体形状情報を抽出する立体形状抽出手段と、この立体形状抽出手段により抽出された立体形状情報の
信頼性を判定する信頼性判定手段と、この信頼性判定手段の信頼性の判定結果に応じて前記立
体形状情報を加工表示する表示手段とを有することを特
徴とする三次元情報処理装置。
【請求項４】前記信頼性判定手段は、前記撮像手段に
よる被写体の撮像面に対する被写体の角度に基づいて前
記立体形状情報の信頼度を判定することを特徴とする請
求項１，２又は３記載の三次元情報処理装置。
【請求項５】前記信頼性判定手段は、前記撮像手段と
前記被写体との被写体距離に基づいて前記立体形状情報
の信頼度を判定することを特徴とする請求項１，２又は
３記載の三次元情報処理装置。
【請求項６】前記信頼性判定手段は、前記被写体を載
置するパッドと前記撮像手段によるパッドの撮像面に対
する角度に基づいて前記立体形状情報の信頼度を判定す
ることを特徴とする請求項１，２又は３記載の三次元情
報処理装置。
【請求項７】前記信頼性判定手段は、前記被写体を載
置するパッドの撮像領域に対する割合に基づいて前記立
体形状情報の信頼度を判定することを特徴とする請求項
１，２又は３記載の三次元情報処理装置。
【請求項８】前記信頼性判定手段は、前記被写体を載
置するパッドのパッド位置に基づいて前記立体形状情報
の信頼度を判定することを特徴とする請求項１，２又は
３記載の三次元情報処理装置。
【請求項９】前記信頼性判定手段は、前記被写体から
反射される反射光情報に基づいて前記立体形状情報の信
頼度を判定することを特徴とする請求項１，２又は３記
載の請求項１又は２記載の三次元情報処理装置。
【請求項１０】前記信頼性判定手段は、前記撮像手段
で撮像された複数の撮像データ間の画素の対応度合いに
基づいて前記立体形状情報の信頼度を判定することを特
徴とする請求項１，２又は３記載の三次元情報処理装
置。