JPH1023469A

JPH1023469A - 三次元情報処理装置及び三次元情報処理方法

Info

Publication number: JPH1023469A
Application number: JP8189972A
Authority: JP
Inventors: Katsumi Iijima; 克己飯島; Masakazu Matsugi; 優和真継; Tatsushi Katayama; 達嗣片山; Katsuhiko Mori; 克彦森; Sunao Kurahashi; 直倉橋; Kotaro Yano; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-07-01
Filing date: 1996-07-01
Publication date: 1998-01-23

Abstract

(57)【要約】【課題】動的な撮像方式に柔軟に対応できるととも
に、得られた三次元情報を種々の形態に加工することが
可能な三次元情報処理装置及び三次元情報処理方法を提
供する。【解決手段】立体形状を有する被写体２から三次元の
情報を得て所定の情報処理を行う三次元情報処理方法に
おいて、少なくとも２つ以上の任意の座標位置から被写
体２を撮像する撮像ヘッド部１と、この撮像ヘッド部１
で撮像された撮像情報から少なくとも２つ以上の奥行き
情報を抽出する撮像処理部１３とを有し、この撮像処理
部１３で抽出された少なくとも２つ以上の奥行き情報を
被写体２の輝度情報及び距離情報のずれ情報に基づいて
少なくとも１つの統一された座標系に変換して統合す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体形状を有する
被写体からＣＧやＣＡＤ等において利用する事が可能な
三次元情報を抽出する三次元情報処理装置及び三次元情
報処理方法に関する。

【０００２】

【従来の技術】従来、物体の三次元形状を求める技術と
しては、大別して受動的手法と能動的手法がある。

【０００３】このうち受動的手法の代表的なものがステ
レオ画像法であり、これは２台のカメラを用いた三角測
量を利用するものである。この方法では、カメラで撮像
された左右の画像から同じものが写っている場所を探索
し、その位置のずれ量から物体の三次元位置を計測する
ようになっている。

【０００４】また、能動的手法の代表的なものとして
は、光を投影して反射して帰ってくるまでの時間を計測
して距離を求める光レーダ型のレンジファインダやスリ
ット状の光パターンを投影して物体に写るパターン形状
の変位等から三次元形状を測定するスリット状の光投影
法などがある。

【０００５】尚、上記のようにして得られた物体の３次
元データは、２次元のディスプレイ等に再生して見るこ
とが可能である。

【０００６】

【発明が解決しようとする課題】しかしながら、上記ス
テレオ画像法においては、カメラが設置されているある
特定の位置からの距離情報算出が主目的であり、ある物
体の立体形状そのものを計測するわけではない。また、
能動的手法ではレーザー等を物体に照射するために利用
の点で煩雑であり、このため、いずれの方式において
も、ある物体の周囲を移動しながら撮像するような動的
な撮像方式に柔軟に対応できるような奥行き情報抽出処
理は行われていなかった。

【０００７】ところで、オフィス等で一般に扱う画像は
最終的には紙に出力されることが多く、しかも使用する
画像形態は自然画の場合もあれば、物体を輪郭線のみで
表す線画の場合もある。すなわち、オフィス等では画像
の情報をいろいろな側面から加工する事が行われる。こ
れに対して、上記従来の技術では、物体の立体形状デー
タをカメラが設置されているある特定の位置から算出し
２次元ディスプレイに忠実に表示することに主眼が置か
れていたため、オフィス等で必要とされる種々の画像情
報処理に対応できていなかった。

【０００８】そこで、本発明は上記事情に鑑みてなされ
たものであり、動的な撮像方式に柔軟に対応できるとと
もに、得られた三次元情報を種々の形態に加工すること
が可能な三次元情報処理装置及び三次元情報処理方法を
提供することを目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に本発明は、立体形状を有する被写体から三次元の情報
を得て所定の情報処理を行う三次元情報処理装置におい
て、単数又は複数の光学系からなる撮像系により、少な
くとも２つ以上の任意の座標位置から前記被写体を撮像
する撮像手段と、この撮像手段で撮像された撮像情報か
ら少なくとも２つ以上の奥行き情報を抽出する奥行き情
報抽出手段と、この奥行き情報抽出手段で抽出された少
なくとも２つ以上の奥行き情報を少なくとも１つの統一
された座標系に変換して統合する変換統合手段とを有す
ることを特徴とし、さらに前記変換統合手段は、前記撮
像手段から前記被写体の輝度情報及び距離情報のうちの
少なくとも１つの情報を得て、この情報を基に前記各奥
行き情報間の座標系のずれを検知するとともに、このず
れ情報に基づいて前記各奥行き情報を統一された座標系
に変換して統合することを特徴とする。

【００１０】また、上記課題を解決するために本発明
は、立体形状を有する被写体から三次元の情報を得て所
定の情報処理を行う三次元情報処理方法において、単数
又は複数の光学系からなる撮像系により、少なくとも２
つ以上の任意の座標位置から前記被写体を撮像する第１
のステップと、この第１のステップで撮像された撮像情
報から少なくとも２つ以上の奥行き情報を抽出する第２
のステップと、この奥行き情報抽出手段で抽出された少
なくとも２つ以上の奥行き情報を少なくとも１つの統一
された座標系に変換して統合する第３のステップとを有
することを特徴とする。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて詳細に説明する。

【００１２】（第１実施形態）まず、本発明の第１実施
形態について説明する。

【００１３】図１は、本発明の第１実施形態に係る三次
元情報処理装置の概略の構成を示す構成図である。

【００１４】図１に示したように、本実施形態における
三次元情報処理装置は、背面３の前面に存在する立体形
状を有した被写体２を撮像する撮像ヘッド部（カメラヘ
ッド）１とこの撮像ヘッド部１で撮像された画像に対し
各種画像処理を行う撮像処理部１３とを備えた立体形状
抽出部１２と、テキスト等の文章データを作成する文章
データ作成手段１００１と、この文章データ作成手段１
００１で作成された文章データと後述の２次元画像デー
タ演算部７から得られた被写体データとの合成、編集加
工が可能なデータ合成手段１０００と、被写体２の２次
元画像データや文章データを表示するためのモニタ８
と、被写体２の２次元画像データや文章データを紙等に
プリントするプリンタ９と、被写体２を見る視点を移動
させたり被写体２の表示形態を変更したりデータ合成手
段１０００による各データの合成及び編集作業をするた
めの操作手段１１とを有して構成される。尚、本実施形
態において、使用者は操作手段１１により、被写体２の
表示形態等を数種類選択可能であり、例えば自然画、被
写体２のエッジを線で表した線画又は被写体２の表面を
所定の大きさの平面の連続として表すポリゴン画等の画
像形態の中から選択可能である。

【００１５】ここで、上記撮像ヘッド部１は、装置から
みて右側に位置する撮像レンズ１００Ｒと、左側に位置
する撮像レンズ１００Ｌと、撮像環境に応じて照明光を
照射する照明部２００とを備えている。尚、図１におい
て、１０Ｌは、右側の撮像レンズ１００Ｒの撮像範囲を
表し、１０Ｒは、左側の撮像レンズ１００Ｌの撮像範囲
を表す。また、撮像ヘッド部１は、撮像開始位置Ａ０よ
り撮像終了位置Ａｎまで任意の位置を移動しながら被写
体２を撮像するようになっている。尚、このときのＡ０
−Ａｎ間の各撮像地点における撮像ヘッド部１の位置情
報は後述のカメラ姿勢位置検知部４に送出される。

【００１６】また、上記撮像処理部１３は、カメラ姿勢
位置検知部４と、画像メモリ５と、奥行き情報演算部６
と、２次元画像データ演算部７とを備えている。

【００１７】上記撮像処理部１３のカメラ姿勢位置検知
部４は、背面３から得られる情報を基に画像処理で撮像
ヘッド部１の位置情報を算出する手段とジャイロ等のセ
ンサにより撮像ヘッド部１の位置情報を算出する手段と
を具備した位置検出部を装着している。これにより、撮
像ヘッド部１の背面３に対する位置関係が分かるように
なっている。

【００１８】上記画像メモリ５は、撮像ヘッド１で得ら
れた画像データとカメラ姿勢位置検知部４で得られた撮
像ヘッド部１の位置情報とを記憶するメモリであり、右
側画像用の画像メモリ５Ｒと左側画像用の画像メモリ５
Ｌとで構成される。

【００１９】上記奥行き情報演算部６は、画像メモリ５
に記憶された画像データ及びそれに対応する撮像ヘッド
部１の位置情報を基に被写体２の立体形状を演算する演
算部である。

【００２０】上記２次元画像データ演算部７は、奥行き
情報演算部６で得られた被写体２の３次元画像データか
ら使用者の指定する画像形態での任意の視点から見たと
きの被写体２の２次元画像データを演算する２次元画像
データの演算部である。

【００２１】上記のような各構成の三次元情報処理装置
により、使用者がカメラヘツド１を被写体２に向け、図
示しないレリーズボタンを操作すると被写体２の撮影が
行われるとともに、最初の画像データが画像メモリ５に
記憶される。そして次に、使用者が撮像ヘッド部１を被
写体２を中心に任意の位置Ａ０からＡｎへ移動させる
と、位置Ａ０からＡｎへ移動している最中に、まず姿勢
位置検知部４が最初の撮像ヘッド部１の位置Ａ０に対し
て位置および方向が所定量変化したことを検知する。こ
の姿勢位置検知部４による検知がなされると、位置Ａ１
において２度目の撮影が行われ、以下順々にｎ度目まで
撮像が行われていく。

【００２２】この時、画像データと姿勢位置検知部４に
より得られた撮像ヘッド部１の最初に撮影した位置およ
び方向に対する変位量は、画像メモリ５に記録される。
また、このとき姿勢位置検知部４によって撮像ヘッド部
１の位置および方向の少なくとも一方が所定値より大き
く移動していた場合には後述する警告手段により警告を
行う。以下この動作を数回繰り返し、被写体２の奥行き
情報データを演算するのに十分な画像データが得られる
と図示しない撮影終了報知手段でその旨を使用者に知ら
せて撮影処理が終了する。

【００２３】撮影処理が終了すると、次に、奥行き情報
演算部６では画像メモリ５に記憶された画像データとこ
の画像データに対応する撮像ヘッド部１の位置情報とに
基づいて撮影した被写体２の３次元画像データを演算す
る。また、２次元画像データ演算部７は被写体２の３次
元画像データから操作手段１１によって選択された画像
形態で、かつ被写体２を最初に撮影した位置から見た２
次元画像データを演算し、モニタ８に表示する。このと
き使用者が操作手段１１を操作すると２次元画像データ
演算部７はそれに応じて演算を行い、任意の視点から見
た被写体像に変更して表示することができる。また操作
手段１１を操作することによってモニタ８に表示された
被写体２の画像形態を種々の形態（自然画、ポリゴン画
等）に変更することもできる。

【００２４】次に、上記立体形状抽出部１２のより詳細
な構成を説明する。

【００２５】図２は、立体形状抽出部１２の詳細、すな
わち、撮像ヘッド部１及び撮像処理部１３の詳細な構成
を示すブロック図である。

【００２６】立体形状抽出部１２の詳細な構成は、図２
に示したように、前述のカメラ姿勢位置検出部４と、現
在撮像されている画像を格納する画像メモリ７３，８３
と、直近に撮像された画像を格納する画像メモリ７５，
８５と、撮像された画像のオーバーラップ部分を検出す
るオーバーラップ検出部９２と、露光条件等の各種撮影
パラメータの設定状況等を音声で知らせる発音体９７
と、ズームレンズからなる撮像レンズ１００Ｒ，１００
Ｌと、この撮像レンズ１００Ｒ及び１００Ｌからの光量
を調節する絞り１０１Ｒ，１０１Ｌと、ＣＣＤ等で構成
されるイメージセンサ１０２Ｒ，１０２Ｌと、このイメ
ージセンサ１０２Ｒ，１０２Ｌからの信号をアナログ／
デジタル変換するＡ／Ｄ変換部１０３Ｒ，１０３Ｌと、
イメージセンサ１０２Ｒ，１０２Ｌからの信号を映像信
号に変換する映像信号処理部１０４Ｒ，１０４Ｌと、立
体情報（奥行き情報）を抽出したい物体と背面３とを分
離する被写体分離部１０５Ｒ，１０５Ｌと、撮像レンズ
１００Ｒ，１００Ｌの焦点距離の調整を行うズーム制御
部１０６Ｒ，１０６Ｌと、焦点位置の調整を行うフォー
カス制御部１０７Ｒ，１０７Ｌと、絞り量の調整を行う
絞り制御部１０８Ｒ，１０８Ｌと、立体形状抽出部１２
全体の制御を行うシステムコントローラ２１０と、図１
で示した画像メモリ５、奥行き情報演算部６及び２次元
画像データ演算部７を含む画像処理部２２０と、撮影開
始時に操作されるレリーズボタン２３０と、露光条件等
の各種撮影パラメータの設定状況等を表示する表示部２
４０と、画像処理部２２０に接続されて所定の画像デー
タ等を記録する記録部２５０と、左右差補正に必要な信
号を検出する左右差検出部２６０と、合焦状態の検出を
行う合焦検出部２７０と、イメージセンサ１０２Ｒ，１
０２Ｌを駆動制御するイメージセンサドライバ２８０
Ｒ，２８０Ｌと、外部機器との接続を可能とする外部入
力Ｉ／Ｆ７６０とを具備したものとなっている。

【００２７】ここで、上記システムコントローラ２１０
は、図３に示すように主に全体制御を司るマイクロコン
ピユーター９００と、全体制御に必要なプログラムや撮
影された画像データ等を記憶するメモリ９１０と、この
メモリ９１０等に記憶された画像データ等に対し所定の
演算処理を行う画像演算処理部９２０とから構成されて
いる。

【００２８】また、上記画像処理部２２０は、撮像レン
ズ１００Ｒ及び１００Ｌの各々より得られる映像信号か
ら被写体２の立体情報を抽出すると共に、抽出した各撮
像地点における被写体２の立体情報（奥行き情報）をカ
メラ姿勢位置検出部４により得られる各撮像地点の姿勢
に関する情報に基づき統合し出力するものである。

【００２９】図４は、上記画像処理部２２０のより詳細
な構成を示したブロック図であり、主に画像処理部２２
０における奥行き情報の抽出に係る構成部分を示したも
のである。

【００３０】上記画像処理部２２０は、所定の画像メモ
リに蓄えられた左画像（Ｌ画像）と右画像（Ｒ画像）と
で構成されるステレオ画像１１０から奥行き情報を抽出
するものであり、図４に示したように、ステレオ画像１
１０からエッジを抽出した画像を生成するエッジ抽出処
理部１１１（１１１Ｒ，１１１Ｌ）と、ステレオ画像１
１０のそれぞれの画素がどういう対応関係になっている
かを抽出するステレオ画像対応点抽出処理部１１２と、
エッジ抽出処理部１１１にてエッジ画像にされた２つの
画像中のそれぞれの画素がどういう対応関係になってい
るかを抽出するエッジ画像対応点抽出処理部１１３と、
ステレオ画像対応点抽出処理部１１２及びエッジ画像対
応点抽出処理部１１３のそれぞれで求まった対応関係に
矛盾する事はないかを判別し、その矛盾箇所は除去する
矛盾等排除処理部１１４と、求まった対応点箇所と対応
点を求める途中で使用している相関の程度を表す指数、
例えば残差でオクルージョン領域を判断するオクルージ
ョン領域判定処理部１１５と、対応点の関係から三角測
量の原理で奥行き情報分布を算出する奥行き情報分布算
出処理部１１６と、背面部の特徴点を同定する特徴点抽
出部１１７（１１７Ｒ，１１７Ｌ）と、背面部の特徴点
を利用して撮像パラメータや姿勢や移動関係を取得する
補正データ算出処理部１１８とを有して構成される。

【００３１】図５は、上記画像処理部２２０のより詳細
な構成を示したブロック図であり、主に画像処理部２２
０における被写体２の奥行き情報の統合に係る構成部分
を示したものである。

【００３２】上記画像処理部２２０は、被写体２の奥行
き情報の統合処理を行うために、図５に示したように、
上記各手段で求まった一対のステレオ画像１１０からの
奥行き情報（Ｚ^tij）１２０を各々統一された座標系に
変換する座標系変換部１２１と、この統一された座標系
に変換されたそれぞれの奥行き情報を統合していく奥行
き情報統合部１２２と、統合された奥行き情報を表示す
る表示部１２４とを有している。また、上記画像処理部
２２０は、オクルージョン領域情報１２３を統合部１２
２及び表示部１２４に送出する手段と、撮像ヘッド部１
の移動量や方向等を検知する手段をも備えている。

【００３３】尚、上記でいう「統合」とは、少なくとも
２つ以上の任意の位置から得られた被写体２の奥行き情
報１２０のずれ情報に基づいて、各奥行き情報１２０を
同一座標系からみた奥行き情報にするように同一点は同
一とする事である。また、上記でいう「統合」とは、後
述の座標の補間処理をする事の意味をも含むものであ
る。

【００３４】次に、上記構成の三次元情報処理装置の動
作の説明を行う。

【００３５】まず、図２を参照して立体形状抽出部１２
の詳細な動作について説明する。

【００３６】立体形状抽出部１２において、被写体２の
画像は撮像レンズ１００Ｒ及び１００Ｌを通して入力さ
れる。この入力された被写体像はイメージセンサ１０２
Ｒ及び１０２Ｌにおいて電気信号に変換される。さら
に、この変換された信号は、Ａ／Ｄ変換部１０３Ｒ及び
１０３Ｌにおいてアナログからデジタルの信号に変換さ
れて映像信号処理部１０４Ｒ及び１０４Ｌに供給され
る。

【００３７】映像信号処理部１０４Ｒ及び１０４Ｌで
は、デジタル化された被写体２の信号を、適切な形態の
輝度信号及び色信号に変換処理する。そして、被写体分
離部１０５Ｒ及び１０５Ｌでは、映像信号処理部１０４
Ｒ及び１０４Ｌより得られる信号をもとに、撮像される
被写体において、奥行き情報を計測して主被写体２と背
面３とを分離する。

【００３８】この分離の方法としては、例えば予め背面
３の映像を撮像しておき、その画像を所定のメモリに保
持しその後測定したい主被写体２を置いて撮像を行い、
この撮像した映像と予めメモリに保持している背面３の
映像とにマッチング及び差分処理を施し、これにより背
面領域を分離する等の方法を用いる。尚、分離の方法は
これに限るものではなく色あるいはテクスチャの情報を
基に分離してもよい。

【００３９】このように分離された主被写体２の映像
は、画像処理部２２０に与えられ、次にこの画像処理部
２２０において撮像時の各種撮像パラメータを基に立体
形状の抽出処理が施される。

【００４０】尚、撮像時の各種撮像パラメータとして
は、例えば、焦点距離の設定があり、この焦点距離の設
定は、以下の方法により設定できる。

【００４１】まず、距離情報は以下の式１により表すこ
とができるので、Ｚ＝ｆｂ／ｄ（式１）（ここで、Ｚ：距離、ｆ：焦点距離、ｂ：基線長、ｄ：
視差を示す。）従って、焦点距離は視差によりきまる距離分解能をパラ
メータとして以下のようになる。

【００４２】

【数１】

【００４３】

【数２】従って、外部入力１／Ｆ７６０を通してコンピユータ等
から分解能を設定し、この値を基に焦点距離を設定する
ことも可能である。

【００４４】次に、画像処理部２２０によりステレオ画
像１１０から奥行き情報を抽出する方法を図４を参照し
て説明する。

【００４５】まず、所定の画像メモリに蓄えられたステ
レオ画像１１０に対して２つの処理が行なわれる。

【００４６】１つ目の処理は、後述する処理方法を用い
てステレオ画像対応点抽出処理部１１２で、ステレオ画
像１１０の輝度値からそれぞれの画素がどういう対応関
係になっているかを抽出する処理である。

【００４７】もう１つの処理は、後述する処理方法を用
いて、エッジ画像対応点抽出処理部１１３で、エッジ抽
出処理部１１１にてエッジ画像にされた２つの画像中の
それぞれの画素がどういう対応関係になっているかを抽
出する処理である。尚、エッジ画像の生成に関しては、
後述する処理方法を用いてエッジ抽出処理部１１１を経
て生成されるものとする。

【００４８】矛盾等排除処理部１１４では、それぞれの
対応点処理部からの出力より対応関係の矛盾等を判断す
る。輝度部からの対応関係とエッジ部からの対応関係が
一致しない時は、信頼性が低いとしてその対応関係は排
除するので適当である。或いはそれぞれの関係に重み付
けをして判断する事も可能である。

【００４９】オクルージョン領域判定処理部１１５で
は、求まった対応点箇所と、対応点を求める途中で使用
している相関の程度を表す指数、例えば残差でオクルー
ジョン領域を判断する。

【００５０】これは対応点処理が一応の結果を出すもの
のその信頼性を付加しようとする処理である。相関の程
度を表す指数として、相関係数或いは残差を用いて、そ
の残差が非常に大きい時、或いは相関係数が低い時は対
応関係の信頼性が低いとする。この低い所をオクルージ
ョン領域或いは対応がない領域として取り扱う。

【００５１】上記のような処理を経て、求められた対応
関係を用いて三角測量の原理を用いて被写体２の奥行き
情報を算出する。尚、三角測量は式１で説明した通りで
ある。

【００５２】次に、前述のステレオ画像対応点抽出処理
部１１２による対応点抽出方法の代表としてテンプレー
トマッチング法による手法を説明する。

【００５３】テンプレートマッチング法では、図６に示
された様にＮ＊Ｎ画素のテンプレート画像Ｔを例えば左
の撮像系から得られた画像から切り出す。これを右の撮
像系から得られた画像Ｍ＊Ｍ画素の入力画像内の探索領
域範囲（Ｍ−Ｎ＋１）²上で動かし、

【００５４】

【数３】の残差Ｒ（ａ，ｂ）が最小になる様なテンプレート画像
の位置を求めて、Ｎ＊Ｎのテンプレート画像Ｔの中心画
素を一致箇所として求める。

【００５５】但し上記において、（ａ，ｂ）は画像内に
おけるテンプレート画像の左上位置を示し、Ｉ
_R(a,b)（ｉ，ｊ）は右画像の部分画像、Ｔ_L（ｉ，ｊ）
は左画像から切りだしたテンプレート画像である。

【００５６】また、前述のエッジ画像対応点抽出処理部
１１３によるエッジ抽出方法としては、例えばロバート
フィルタ等の手法が用いられる。或いはゾーベルフィル
タを用いる事も可能である。

【００５７】ロバートフィルタは、入力画像ｆ(i,ｊ)、
出力画像g(i,j)とすると g(i,j)＝sqrt[{f(i,j)−f(i+1,j+1)}²+{f(i+1,j)−f(i,j+1)}²] （式５）或いは g(i,j)=abs{f(i,j) −f(i+1,j+1)}+abs{f(i+1,j)−f(i,j+1)} （式６）で求まる。

【００５８】また、ゾーベルフィルタの場合、

【００５９】

【数４】

【００６０】

【数５】 θ=tan^-1（ｆ_y／ｆ_x) （式９）で計算される。

【００６１】この様にしてエッジ部が強調された画像に
対して２値化処理を行ってエッジ成分を抽出する。尚、
２値化は適当な閾値を用いて行う。

【００６２】次に、上記の様にして得られた奥行き情報
の時系列的統合処理を図５を参照して説明する。

【００６３】まず、上記において得られたステレオ画像
１１０からの奥行き情報１２０が時々刻々生成される一
方で、撮像ヘッド部１の移動量や方向等を検知する手段
からはその情報が送出されてくる。これらを用いて後述
する処理方法で、座標系変換部１２１が奥行き情報を統
一された座標系に変換する。変換する事により時々刻々
得られた情報を統合し易くするのである。座標系変換部
１２１による座標変換の方法としては、例えばアフィン
変換等を用いて、オイラー角を同じにするという方法が
採られる。

【００６４】次に、奥行き情報統合部１２２において、
同一の座標系に変換された奥行き情報を統合していく処
理について図７〜図９を参照して説明する。

【００６５】図７〜図９は、奥行き情報を統合する手順
を説明するための説明図である。

【００６６】尚、図７（ａ）は、Ｚ^t（i,j)を示すグラ
フである。但しここでのＺは「奥行き」を示し、ｔは任
意の時刻を示す。また、ｉ，ｊは、被写体２に対しての
奥行きＺの直交する座標軸ｉ，ｊを示すものである。

【００６７】図７（ｂ）は、Ｚ^t+δt（i,j）を統一され
た方向から見たＺ′^t+δt（i,j）を示すグラフである。
但し、ここでのt+δｔは任意の時刻ｔからδｔ動いた時
の時刻を示すものである。

【００６８】図８（ａ）は、輝度情報Ｉ^tR(i,j)を示し
たグラフである。

【００６９】図８（ｂ）は、輝度情報Ｉ^t+δt _R（i,j）
を統一された方向からみたＩ′^t+δt _R（i,j）を示した
グラフである。

【００７０】図９（ａ）は、図７（ａ），（ｂ）のグラ
フで示したＺ^t(i,j)及びＺ′^t+δt（i,j）がそれぞれ(i
₀,j₀)だけずれて重ねられた様子を示すものである。

【００７１】図９（ｂ）は、図７の（ａ），（ｂ）のグ
ラフで示したＺ^t（i,j）及びＺ′^t+δt（i,j）が（i₀,j
₀）だけシフトされて重ねられた様子を示すものであ
る。

【００７２】図９（ｂ）に示したような奥行き情報の重
ね合わせを行う場合には、まず、例えば次式１０に従っ
てそれぞれの重複度合いＱが計算される。

【００７３】

【数６】次に、この重複度合いＱの内、最小のＱを与えるi₀、j₀
が導出される。そして、この導出されたi₀、j₀を用いて
図９（ｂ）に示す様に（i₀、j₀）だけシフトして奥行き
情報が重ねられる。最後に、重ねたのちにこの中で同一
点の排除、ならびに中間点を補間する。

【００７４】同一点の排除は、それぞれの奥行き情報中
の情報量を削減する意味で行われる。この同一点の排除
の際には、同一点の判断がなされるが、この基準として
は、 (x₀−ｘ₁)²+ (y₀−y₁)²+ (z₀−z₁)²＜ ε1 （式１１）又は a(x₀−ｘ₁)²+ b(y₀−y₁)²+ c(z₀−z₁)²＜ ε2 （式１２）等の計算式１１，１２が用いられる。

【００７５】但し、上記式１１，１２においてε1，ε2
は基準値、ａ、ｂ、ｃ、dは適当な係数である。

【００７６】上記の計算式例えば（式１２）によれば、
a=b=１、c=2 とすることで距離の違いに対してより敏
感に同一点の判定をする事も可能である。

【００７７】また、中間点の補間としては、例えば図１
０に示すように中間点を求めていく方法がある。

【００７８】図１０は、図９（ｂ）におけるグラフを簡
単にするためにＺ−ｉ平面に投影し１次元で示したもの
である。

【００７９】この図１０において、グラフ上の点Ａ
（○）は、抽出された奥行き情報データＺ^t（i,j）を示
し、点Ｂ（●）は、Ｚ′^t+δt（i,j）を（i₀、j₀）だけ
シフトしたＺ′^t+δt（i+i₀,j+j₀）を示し、点Ｃ（□）
は、中間点補間で求められたデータであり、新しい奥行
き情報Ｚ_newを示している。ここでの補間方法として
は、例えば線形補間、スプライン補間等の方法が採られ
る。

【００８０】次に、以上のような統合処理で用いられる
「統一された座標系」について図１１，１２を参照して
説明する。

【００８１】尚、図１１において２は被写体、３はパッ
ドによる背面、１８００〜１８０４は奥行き情報を登録
する為の仮想的な投影面である。また、１８１０〜１８
１４は仮想的な投影面の中心軸（光軸）である。

【００８２】本実施形態で用いられる「統一された座標
系」とは、例えば５セットの基準座標（x、ｙ、ｚ軸）
の事である。すなわち、例えば図１１に示すように仮想
的な投影面１８００〜１８０４を形成する為の軸、ｘ、
ｙ、ｚ軸といったものが５つあることを示している。

【００８３】上記において求められた奥行き情報Ｚ^tiｊ
は、各投影面（５面）に投影される。この投影の際には
各基準座標に沿う様、回転、並進等の変換が行われる。
その様子が図１２に示されている。

【００８４】図１２において、光軸１８１３上にある中
心点Ｏと被写体上の各点Ｓとを結んだ直線と、投影面１
８０３との交点が統一された座標系に変換された後の点
Ｐである。

【００８５】尚、図１２の例は投影面１８０３に関して
の模式図であるがその他の投影面に関しても同様であ
る。また、次の奥行き情報Ｚ^t+δtijに関しても同様に
行うのであるが、投影する際は先に書かれた時点の物に
順に上書きしていく。

【００８６】従ってある被写体２に対して５つの基準軸
に沿った奥行き情報が得られる。例えば一つの点が投影
面１８００〜１８０４上の各点（x0、ｙ0、z0）、(x1、
ｙ1、ｚ1) (x2、y2、ｚ2)、(x3、y3、ｚ3)、(x4、y4、
ｚ4)の５つで表現される。

【００８７】以上説明したように、本実施形態によれ
ば、奥行き情報の統合の際には、複数の奥行き情報が被
写体２の輝度情報と距離情報のずれ情報に基づいて複数
の統一座標系に変換されるので、被写体２の周囲を移動
しながら撮像するような動的な撮像方式にも柔軟に対応
できるとともに、種々の画像形態に加工することも容易
になる。

【００８８】（第２実施形態）次に、本発明に係る第２
実施形態について説明する。尚、撮像部の構成、撮影方
法は上記第１実施形態と同様なので、ここでは省略し、
相違点である統合手段について説明する。

【００８９】本実施形態では、相関の取り方として、以
下の式１３に示す様に得られた奥行き情報のみを用いて
相関演算を行う。

【００９０】

【数７】すなわち、本実施形態では、上記第１実施形態における
式１０で表された輝度情報を用いていない。このような
方法は、例えば相関演算の計算時間を少しでも短縮した
い場合に有効である。（第３実施形態）次に、本発明に係る第３実施形態につ
いて説明する。尚、撮像部の構成、撮影方法は上記第１
実施形態と同様なので、ここでは省略し、相違点である
統合手段について説明する。

【００９１】本実施形態では、補間の行い方として、以
下の式１４に示す様な輝度レベルを利用して重み付け補
間を行う。

【００９２】まず例えば重み付けの係数ｔとして式１４
等を用い、 t ＝（１／２）・tanh（Ｉ^tR(i,j) −Ｉ′^t+δt _R(i,j)) + １／２（式１４）次に新しい奥行き情報Ｚを補間して得るのに、線形補間
の一種として以下の様に重み付けを行って求める。

【００９３】Ｚ_new＝t ・Ｚ₁+ (1−t)・Ｚ₂（式１５）

【００９４】

【発明の効果】以上詳述した様に、本発明によれば、奥
行き情報の統合の際には、複数の奥行き情報が例えば被
写体の輝度情報と距離情報のずれ情報に基づいて複数の
統一座標系に変換されるので、ある物体の周囲を移動し
ながら撮像するような動的な撮像方式にも柔軟に対応で
きるとともに、種々の画像形態に加工することも容易に
なる。

【図面の簡単な説明】

【図１】本発明による三次元情報処理装置の概略構成図
である。

【図２】立体形状抽出部１２の詳細な構成を示すブロッ
ク図である。

【図３】システムコントローラ２１０のの詳細な構成を
示すブロック図である。

【図４】奥行き情報の抽出に係る構成部分を示したブロ
ック図である。

【図５】奥行き情報の統合に係る構成部分を示したブロ
ック図である。

【図６】テンプレートマッチングの説明図である。

【図７】奥行き情報を統合する手順を説明するための説
明図である。

【図８】奥行き情報を統合する手順を説明するための説
明図である。

【図９】奥行き情報を統合する手順を説明するための説
明図である。

【図１０】中間点補間方法の概略を示す図である。

【図１１】奥行き情報を統一された座標系に変換する方
法を示す図である。

【図１２】奥行き情報を統一された座標系に変換する方
法を示す図である。

【符号の説明】

１撮像ヘッド部２主被写体４カメラ姿勢位置検知部５画像メモリ６奥行き情報演算手段７２次元画像データ演算手段８モニタ９プリンタ１０００データ合成手段１００１文章データ作成手段１１操作手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者森克彦東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者倉橋直東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者矢野光太郎東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】立体形状を有する被写体から三次元の情
報を得て所定の情報処理を行う三次元情報処理装置にお
いて、単数又は複数の光学系からなる撮像系により、少なくと
も２つ以上の任意の座標位置から前記被写体を撮像する
撮像手段と、この撮像手段で撮像された撮像情報から少なくとも２つ
以上の奥行き情報を抽出する奥行き情報抽出手段と、この奥行き情報抽出手段で抽出された少なくとも２つ以
上の奥行き情報を少なくとも１つの統一された座標系に
変換して統合する変換統合手段と、を有することを特徴とする三次元情報処理装置。
【請求項２】前記変換統合手段は、前記撮像手段から
前記被写体の輝度情報及び距離情報のうちの少なくとも
１つの情報を得て、この情報を基に前記各奥行き情報間
の座標系のずれを検知するとともに、このずれ情報に基
づいて前記各奥行き情報を統一された座標系に変換して
統合することを特徴とする請求項１記載の三次元情報処
理装置。
【請求項３】立体形状を有する被写体から三次元の情
報を得て所定の情報処理を行う三次元情報処理方法にお
いて、単数又は複数の光学系からなる撮像系により、少なくと
も２つ以上の任意の座標位置から前記被写体を撮像する
第１のステップと、この第１のステップで撮像された撮像情報から少なくと
も２つ以上の奥行き情報を抽出する第２のステップと、この奥行き情報抽出手段で抽出された少なくとも２つ以
上の奥行き情報を少なくとも１つの統一された座標系に
変換して統合する第３のステップと、を有することを特徴とする三次元情報処理方法。