JPH1091790A

JPH1091790A - 三次元形状抽出方法及び装置並びに記憶媒体

Info

Publication number: JPH1091790A
Application number: JP8263769A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野; Katsumi Iijima; 克己飯島; Katsuhiko Mori; 克彦森
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-09-13
Filing date: 1996-09-13
Publication date: 1998-04-10

Abstract

(57)【要約】【課題】繁雑な設定を行わずに受動的手法によって被
計測物体の三次元形状を求めることができる安価な三次
元形状抽出方法及び装置を提供する。【解決手段】被計測物体を撮像する撮像レンズ２１
Ｒ，２１Ｌと、形状が既知の物体を撮像レンズ２１Ｒ，
２１Ｌにより所定の位置及び方向から撮像した画像を生
成するアシスト画像生成部６１と、撮像レンズ２１Ｒ，
２１Ｌにより取得した画像及びアシスト画像生成部６１
により生成した画像を表示する表示装置５と、アシスト
画像生成部６１における所定の位置及び方向をパラメー
タとして前記複数の画像から被計測物体の三次元形状を
抽出する三次元形状抽出処理部とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＧ（コンピュー
タグラフィックス）やＣＡＤ（コンピュータ援用設計）
のための立体形状モデルの作成に必要な物体や環境の三
次元の情報を二次元画像から求める三次元形状抽出方法
及び装置並びにその装置に用いる記憶媒体に関する。

【０００２】

【従来の技術】従来より、物体の三次元形状を求める技
術としては、例えばテレビジョン学会誌,vol.45,No.4(1
991),pp.453-460の文献に記載されている。この文献に
記載されているように、物体の三次元形状を求める方法
としては、大別して受動的手法と能動的手法がある。受
動的手法の代表的なものがステレオ画像法であり、２台
のカメラを用いて三角測量を行うものである。この受動
的手法では、左右の画像から同じものが写っている場所
を探索し、その位置ずれ量から被写体の三次元位置を計
測する。また、能動的手法の代表的なものとしては、光
を投影して反射して帰ってくるまでの時間を計測して距
離を求める光レーダ型のレンジファインダーやスリット
状の光パターンを投影して被写体に写るパターン形状の
変位から三次元形状を測定するスリット光投影法等があ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来のステレオ画像法にあっては、装置構成が大掛か
りとなり、２台のカメラの位置決め精度が厳しいため設
定が困難であるという問題点があった。しかも、例えば
物体の背面のような画像中に移っていない領域について
は、三次元形状を求めることができないので、繁雑な設
定を再度行う必要があり、操作性が悪いという問題点が
あった。また、上述した従来のステレオ画像法のうちの
能動的手法では、光等の何等かのエネルギーを物体に照
射するので、物体までの距離が遠い場合には強度を強く
する必要があり危険であるという問題点があった。

【０００４】また、上述した問題点を解決するため、本
出願人は、前記被計測物体を撮像する撮像手段と、該撮
像手段の位置及び姿勢の変化を検知する検知手段と、前
記撮像手段により得た少なくとも撮像位置が異なり且つ
画像の一部が重複した複数の被計測物体の画像と前記検
知手段の出力から撮像パラメータを推定するパラメータ
推定手段と、前記複数の被計測物体の画像と前記パラメ
ータ推定手段の出力から前記撮像手段と前記被計測物体
の距離を算出する距離算出手段とを有することにより、
繁雑な設定を行わずに受動的手法によって被計測物体の
三次元形状を高精度で求めることができるようにした三
次元形状抽出装置を提案した（特願平７−１９９８９３
号）。

【０００５】しかしながら、上記提案における三次元形
状抽出装置は、撮像手段の位置及び姿勢の変化を検知す
る検知手段が必要であり、装置自体のコストが高くなる
という問題点があった。

【０００６】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その第１の
目的とするところは、繁雑な設定を行わずに受動的手法
によって被計測物体の三次元形状を求めることができる
安価な三次元形状抽出方法及び装置提供しようとするも
のである。

【０００７】また、本発明の第２の目的とするところ
は、第１の目的に加えて、精度良く被計測物体の三次元
形状を得ることができる三次元形状抽出方法及び装置提
供しようとするものである。

【０００８】また、本発明の第３の目的とするところ
は、第１または第２の目的に加えて、被計測物体の画像
を容易に撮像することができる三次元形状抽出方法及び
装置提供しようとするものである。

【０００９】また、本発明の第４の目的とするところ
は、第１または第２の目的に加えて、被計測物体の三次
元形状を容易に得ることができる三次元形状抽出方法及
び装置提供しようとするものである。

【００１０】更に、本発明の第５の目的とするところ
は、本発明の三次元形状抽出装置を制御するためのプロ
グラムを格納した記憶媒体を提供しようとするものであ
る。

【００１１】

【課題を解決するための手段】上記第１の目的を達成す
るために請求項１記載の三次元形状抽出方法は、形状が
既知の物体と共に被計測物体を撮像した少なくとも撮像
位置が異なり且つ画像の一部が重複した複数の画像から
前記被計測物体の三次元形状を測定する三次元形状抽出
方法において、前記被計測物体を撮像する撮像ステップ
と、前記形状が既知の物体を前記撮像ステップにより所
定の位置及び方向から撮像した画像を生成する画像生成
ステップと、前記撮像ステップにより取得した画像及び
前記画像生成ステップにより生成した画像を表示する表
示ステップと、前記画像生成ステップにおける所定の位
置及び方向をパラメータとして前記複数の画像から前記
被計測物体の三次元形状を抽出する三次元形状抽出ステ
ップとを有することを特徴とするものである。

【００１２】また、上記第２の目的を達成するために請
求項２記載の三次元形状抽出方法は、請求項１記載の三
次元形状抽出方法において、前記撮像ステップにより得
た画像と前記画像生成ステップにより生成した画像とを
合成する画像合成ステップを有し、前記表示ステップ
は、前記画像合成ステップにより合成した画像を表示す
ることを特徴とするものである。

【００１３】また、上記第３の目的を達成するために請
求項３記載の三次元形状抽出方法は、請求項１記載の三
次元形状抽出方法において、前記撮像ステップを複数有
することを特徴とするものである。

【００１４】また、上記第１の目的を達成するために請
求項４記載の三次元形状抽出装置は、形状が既知の物体
と共に被計測物体を撮像した少なくとも撮像位置が異な
り且つ画像の一部が重複した複数の画像から前記被計測
物体の三次元形状を測定する三次元形状抽出装置におい
て、前記被計測物体を撮像する撮像手段と、前記形状が
既知の物体を前記撮像手段により所定の位置及び方向か
ら撮像した画像を生成する画像生成手段と、前記撮像手
段により取得した画像及び前記画像生成手段により生成
した画像を表示する表示手段と、前記画像生成手段にお
ける所定の位置及び方向をパラメータとして前記複数の
画像から前記被計測物体の三次元形状を抽出する三次元
形状抽出手段とを有することを特徴とするものである。

【００１５】また、上記第２の目的を達成するために請
求項５記載の三次元形状抽出装置は、請求項４記載の三
次元形状抽出装置において、前記撮像手段により得た画
像と前記画像生成手段により生成した画像とを合成する
画像合成手段を有し、前記表示手段は、前記画像合成手
段により合成した画像を表示することを特徴とする物で
ある。

【００１６】また、上記第３の目的を達成するために請
求項６記載の三次元形状抽出装置は、請求項４記載の三
次元形状抽出装置において、前記撮像手段を複数有する
ことを特徴とするものである。

【００１７】また、上記第１の目的を達成するために請
求項７記載の三次元形状抽出装置は、請求項４記載の三
次元形状抽出装置において、前記撮像手段は、左右２系
統の撮像系を持つカメラであることを特徴とするもので
ある。

【００１８】また、上記第１の目的を達成するために請
求項８記載の三次元形状抽出装置は、請求項４記載の三
次元形状抽出装置において、前記表示手段は、陰極線管
よりなることを特徴とするものである。

【００１９】また、上記第１の目的を達成するために請
求項９記載の三次元形状抽出装置は、請求項４または８
記載の三次元形状抽出装置において、前記表示手段は、
前記撮像手段のファインダーウインドウに組み込まれて
いることを特徴とするものである。

【００２０】また、上記第２の目的を達成するために請
求項１０記載の三次元形状抽出方法は、形状が既知の物
体と共に被計測物体を撮像した少なくとも撮像位置が異
なり且つ画像の一部が重複した複数の画像から前記被計
測物体の三次元形状を測定する三次元形状抽出方法にお
いて、前記被計測物体を撮像する撮像ステップと、前記
形状が既知の物体を前記撮像ステップにより所定の位置
及び方向から撮像した画像を生成する画像生成ステップ
と、前記撮像ステップにより取得した画像及び前記画像
生成ステップにより生成した画像を表示する表示ステッ
プと、前記撮像ステップにより得た複数の画像から撮像
パラメータを推定するパラメータ推定ステップと、前記
複数の画像と前記パラメータ推定ステップの出力から前
記三次元形状を抽出する三次元形状抽出ステップとを有
することを特徴とするものである。

【００２１】また、上記第３の目的を達成するために請
求項１１記載の三次元形状抽出方法は、請求項１０記載
の三次元形状抽出方法において、前記撮像ステップによ
り得た画像と前記画像生成ステップにより生成した画像
とを合成する画像合成ステップを有し、前記表示ステッ
プは、前記画像合成ステップにより合成した画像を表示
することを特徴とするものである。

【００２２】また、上記第４の目的を達成するために請
求項１２記載の三次元形状抽出方法は、請求項１０記載
の三次元形状抽出方法において、前記撮像ステップを複
数有することを特徴とするものである。

【００２３】また、上記第２の目的を達成するために請
求項１３記載の三次元形状抽出装置は、形状が既知の物
体と共に被計測物体を撮像した少なくとも撮像位置が異
なり且つ画像の一部が重複した複数の画像から前記被計
測物体の三次元形状を測定する三次元形状抽出装置にお
いて、前記被計測物体を撮像する撮像手段と、前記形状
が既知の物体を前記撮像手段により所定の位置及び方向
から撮像した画像を生成する画像生成手段と、前記撮像
手段により取得した画像及び前記画像生成手段により生
成した画像を表示する表示手段と、前記撮像手段により
得た複数の画像から撮像パラメータを推定するパラメー
タ推定手段と、前記複数の画像と前記パラメータ推定手
段の出力から前記被計測物体の三次元形状を抽出する三
次元形状抽出手段とを有することを特徴とする三次元形
状抽出装置。

【００２４】また、上記第３の目的を達成するために請
求項１４記載の三次元形状抽出装置は、請求項１３記載
の三次元形状抽出装置において、前記撮像手段により得
た画像と前記画像生成手段により生成した画像とを合成
する画像合成手段を有し、前記表示手段は、前記画像合
成手段により合成した画像を表示することを特徴とする
ものである。

【００２５】また、上記第４の目的を達成するために請
求項１５記載の三次元形状抽出装置は、請求項１３記載
の三次元形状抽出装置において、前記撮像手段を複数有
することを特徴とするものである。

【００２６】また、上記第２の目的を達成するために請
求項１６記載の三次元形状抽出装置前記撮像手段は、左
右２系統の撮像系を持つカメラであることを特徴とする
ものである。

【００２７】また、上記第２の目的を達成するために請
求項１７記載の三次元形状抽出装置前記撮像手段は、請
求項１３記載の三次元形状抽出装置において、前記表示
手段は、陰極線管よりなることを特徴とするものであ
る。

【００２８】また、上記第２の目的を達成するために請
求項１８記載の三次元形状抽出装置前記撮像手段は、請
求項１３または１７記載の三次元形状抽出装置におい
て、前記表示手段は、前記撮像手段のファインダーウイ
ンドウに組み込まれていることを特徴とするものであ
る。

【００２９】また、上記第５の目的を達成するために本
発明の請求項１９記載の記憶媒体は、形状が既知の物体
と共に被計測物体を撮像した少なくとも撮像位置が異な
り且つ画像の一部が重複した複数の画像から前記被計測
物体の三次元形状を測定する三次元形状抽出装置を制御
するプログラムを格納する記憶媒体であって、前記被計
測物体を撮像する撮像ステップの撮像モジュールと、前
記形状が既知の物体を前記撮像ステップにより所定の位
置及び方向から撮像した画像を生成する画像生成ステッ
プの画像生成モジュールと、前記撮像ステップにより取
得した画像及び前記画像生成ステップにより生成した画
像を表示する表示ステップの表示モジュールと、前記画
像生成ステップにおける所定の位置及び方向をパラメー
タとして前記複数の画像から前記被計測物体の三次元形
状を抽出する三次元形状抽出ステップの三次元形状抽出
モジュールとを有するプログラムを格納したことを特徴
とするものである。

【００３０】また、上記第５の目的を達成するために本
発明の請求項２０記載の記憶媒体は、請求項１９記載の
記憶媒体において、前記撮像ステップにより得た画像と
前記画像生成ステップにより生成した画像とを合成する
画像合成ステップの画像合成モジュールを有し、前記表
示ステップは、前記画像合成ステップにより合成した画
像を表示することを特徴とするものである。

【００３１】また、上記第５の目的を達成するために本
発明の請求項２１記載の記憶媒体は、請求項１９記載の
記憶媒体において、前記撮像ステップの画像合成モジュ
ールを複数有することを特徴とするものである。

【００３２】また、上記第５の目的を達成するために本
発明の請求項２２記載の記憶媒体は、形状が既知の物体
と共に被計測物体を撮像した少なくとも撮像位置が異な
り且つ画像の一部が重複した複数の画像から前記被計測
物体の三次元形状を測定する三次元形状抽出装置を制御
するプログラムを格納する記憶媒体であって、前記被計
測物体を撮像する撮像ステップの撮像モジュールと、前
記形状が既知の物体を前記撮像ステップにより所定の位
置及び方向から撮像した画像を生成する画像生成ステッ
プの画像生成モジュールと、前記撮像ステップにより取
得した画像及び前記画像生成ステップにより生成した画
像を表示する表示ステップの表示モジュールと、前記撮
像ステップにより得た複数の画像から撮像パラメータを
推定するパラメータ推定ステップのパラメータ推定モジ
ュールと、前記複数の画像と前記パラメータ推定ステッ
プの出力から前記三次元形状を抽出する三次元形状抽出
ステップの三次元形状抽出モジュールとを有するプログ
ラムを格納したことを特徴とするものである。

【００３３】また、上記第５の目的を達成するために本
発明の請求項２３記載の記憶媒体は、請求項２２記載の
記憶媒体において、前記撮像ステップにより得た画像と
前記画像生成ステップにより生成した画像とを合成する
画像合成ステップの画像合成モジュールを有し、前記表
示ステップは、前記画像合成ステップにより合成した画
像を表示することを特徴とするものである。

【００３４】また、上記第５の目的を達成するために本
発明の請求項２４記載の記憶媒体は、請求項２２記載の
記憶媒体において、前記撮像ステップの撮像モジュール
を複数有することを特徴とするものである。

【００３５】

【発明の実施の形態】以下、本発明の一実施の形態を図
面に基づき説明する。図１は本発明の一実施の形態に係
る三次元形状抽出装置における三次元形状抽出の概念を
示す斜視図、であり、同図に示すように、使用者はＣＧ
やＣＡＤ等を行うためのコンピュータ１に接続されたカ
メラ２により被計測物３を補正パッド４の上に載置し
て、多方向から撮像する。図２は同装置の基本構成を示
すブロック図である。同図に示すように、コンピュータ
１は表示装置５、演算及びグラフィックス処理装置６、
入力装置７、カメラ専用処理装置８、記憶装置９を有し
ている。表示装置５は各種の情報を表示するもので、Ｃ
ＲＴ（陰極線管）等からなる。演算及びグラフィックス
処理装置６は演算及びグラフィックス処理を行うもので
ある。入力装置７はコマンド等を入力するもので、キー
ボード、マウス等からなる。カメラ専用処理装置８はカ
メラ２に直結した処理を行うものである。記憶装置９は
各種の情報を記憶するもので、ＩＣメモリやハードディ
スク等からなる。カメラ２は左右２系統の撮像系を持っ
ている。

【００３６】なお、カメラ専用処理装置８はコンピュー
タ１内に設けずにカメラ２内に設けてもよい。また、演
算及びグラフィックス処理装置６の内部プログラムによ
ってカメラ専用処理装置８の処理を行うようにしてもよ
い。

【００３７】次に、上記構成の本実施の形態に係る三次
元形状抽出装置の動作を説明する。三次元形状の入力
は、コンピュータ１の画像入力プログラムを起動するこ
とによって行われる。この時、使用者はまず被計測物体
３を補正パッド４の上に載置する。そして、コンピュー
タ１の画像入力プログラムを、入力装置７からのコマン
ド入力によって起動すると、コンピュータ１の表示装置
５にカメラのファインダーに相当するウインドウ（以
下、ファインダーウインドウと記述する）が生成され
る。この状態でカメラ２の図示しない電源スイッチをオ
ンにすると、前記ファインダーウインドウ内にカメラ２
の左撮像系で撮像した画像と共に補正パッド４をカメラ
２の左撮像系で所定の位置及び方向で撮像した補正パッ
ド４のモデル画像（以下、アシスト画像と記述する）が
オーバーレイ表示される。使用者はこの表示された画像
を見ながらカメラ２の左撮像系で撮像した補正パッド４
の領域の画像が前記アシスト画像に重なるようにフレー
ミングを行い、図示しないレリーズスイッチを押す。該
レリーズスイッチを押して画像データの取得が終了する
と、前記ファインダーウインドウにカメラ２の左撮像系
で撮像した画像と補正パッド４をカメラ２の左撮像系で
別の所定位置及び方向から撮像した補正パッド４のアシ
スト画像が表示される。使用者は同様にフレーミングを
行い、前記レリーズスイッチを押して撮像を繰り返す。
そして、所定位置及び方向からの被計測物体３の所定枚
数の画像データを取得する。この画像データが演算及び
グラフィックス処理装置６とカメラ専用処理装置８とに
よって処理され、被計測物体３の三次元形状データが得
られる。

【００３８】本実施の形態では、前記ファインダーウイ
ンドウに表示される画像は、カメラ２の左撮像系で撮像
した画像と補正パッド４をカメラ２の左撮像系で別の所
定位置及び方向から撮像した補正パッド４のアシスト画
像を合成した画像であるが、カメラ２の右撮像系で撮像
した画像と補正パッド４をカメラ２の右撮像系で別の所
定位置及び方向から撮像した補正パッド４のアシスト画
像を合成した画像を表示しても同様の効果がある。

【００３９】図３に補正パッド４を、図４にアシスト画
像の一例を示す。補正パッド４は図３に示すように４つ
の色（図中、４本の引き出し線はそれぞれＲ（赤）、Ｇ
（緑）、Ｂ（青）、Ｙ（黄）の各色の点であることを示
している）の基準点と多数の黒の特徴点（図中、引き出
し線Ｋで示す）よりなる平面板であり、４つの色の基準
点Ｒ、Ｇ、Ｂ、Ｙと多数の黒の特徴点Ｋの位置関係は既
知である。

【００４０】次に、本実施の形態に係る三次元形状抽出
装置の構成及び動作について図６を用いて詳述する。図
６は図１及び図２に示した三次元形状抽出装置の撮像に
関わる部分であるカメラ２、演算及びグラフィックス処
理装置６及びカメラ専用処理装置８の各構成を詳細に示
すブロック図である。同図において、カメラ２は撮像レ
ンズ２１Ｌ，２１Ｒ、イメージセンサー２２Ｌ，２２
Ｒ、画像取り込み制御回路２３Ｌ，２３Ｒ、サンプルホ
ールド（Ｓ／Ｈ）回路２４Ｌ，２４Ｒ、レリーズスイッ
チ（ＳＷ）２５及び電源スイッチ（ＳＷ）２６を有して
いる。撮像レンズ２１Ｌ，２１Ｒは被計測物体３を撮像
するものである。イメージセンサー２２Ｌ，２２Ｒは画
像を電気信号として取り込むもので、ＣＣＤ（撮像素
子）等からなる。左右２つの撮像系の撮像レンズ２１
Ｌ，２１Ｒの光軸は互いに平行で、イメージセンサー２
２Ｌ，２２Ｒは光軸と垂直に、その中心はそれぞれ撮像
レンズ２１Ｌ，２１Ｒの光軸上にあり、光軸方向に沿っ
てｆだけ離れている。また、イメージセンサー２２Ｌ，
２２Ｒの中心はイメージセンサー２２Ｌ，２２Ｒの水平
方向に沿って基線長Ｂだけ離れて配置されている。画像
取り込み制御回路２３Ｌ，２３Ｒはイメージセンサー２
２Ｌ，２２Ｒの画像データの取り込みを制御するもので
ある。サンプルホールド回路２４Ｌ，２４Ｒはイメージ
センサー２２Ｌ，２２Ｒからの電気信号を保持し画像信
号として出力するものである。レリーズスイッチ２５は
レリーズ信号を、電源スイッチ２６は電源信号をそれぞ
れ出力する。

【００４１】演算及びグラフィックス処理装置６はアシ
スト画像生成部６１、画像合成部６２及びグラフィック
メモリ６３を有している。アシスト画像生成部６１は前
記電源信号またはレリーズ信号がオフからオンになった
タイミングでアシスト画像を生成する。画像合成部６２
はカメラ専用処理回路８の出力である左画像データとア
シスト画像生成部６１の出力であるアシスト画像とを合
成するものである。グラフィックメモリ６３は画像合成
部６２の出力である合成画像データが書き込まれるもの
で、不図示のコンピュータ１の表示制御装置により表示
装置５のファインダーウインドウに合成画像が表示され
る。

【００４２】カメラ専用処理回路８はオートゲインコン
トロール回路（ＡＧＣ）８１Ｌ，８１Ｒ、ガンマ（γ）
補正回路８２Ｌ，８２Ｒ、Ａ／Ｄ変換器８３Ｌ，８３Ｒ
及び画像書き込み制御回路８４を有している。オートゲ
インコントロール回路８１Ｌ，８１Ｒは画像信号の利得
を自動的に制御するものである。ガンマ補正回路８２
Ｌ，８２Ｒはオートゲインコントロール回路８１Ｌ，８
１Ｒの出力信号の階調補正を行うものである。Ａ／Ｄ変
換器８３Ｌ，８３Ｒはガンマ補正回路８２Ｌ，８２Ｒの
出力信号をアナログ−デジタルに変換し、左右撮像系の
デジタル画像データ（以下、左画像データ及び右画像デ
ータと記述する）を出力する。画像書き込み制御回路８
４はカメラ２のレリーズ信号がオンの状態でＡ／Ｄ変換
器８３Ｌ，８３Ｒの出力信号であるデジタル画像データ
を記憶装置９へ書き込む制御を行うものである。

【００４３】次に、カメラ２で被計測物体３の画像入力
を行う際のカメラ２及びカメラ専用処理回路８の動作を
説明する。まず、コンピュータ１の画像入力プログラム
を起動すると、コンピュータ１内の演算及びグラフィッ
クス処理装置６はファインダーウインドウを生成し、表
示装置５に表示する。そして、カメラ２の電源スイッチ
２６がオンになった状態で撮像レンズ２１Ｌ，２１Ｒで
取り込んだ画像は、画像取り込み制御回路２３Ｌ，２３
Ｒの制御信号に従い、イメージセンサー２２Ｌ，２２
Ｒ、サンプルホールド回路２４Ｌ，２４Ｒ及びカメラ２
の不図示のインターフェース部を介して画像信号として
カメラ専用処理回路８に送られる。このとき、同時にオ
ンになった電源信号もカメラ専用処理回路８に送られ
る。

【００４４】そして、この画像信号及び電源信号はカメ
ラ専用処理回路８の不図示のインターフェース部で受け
取られ、オートゲインコントロール回路（ＡＧＣ）８１
Ｌ，８１Ｒ、ガンマ補正回路８２Ｌ，８２Ｒ及びＡ／Ｄ
変換器８３Ｌ，８３Ｒを介してデジタル画像データとし
て出力される。このデジタル画像データの内、左画像デ
ータはコンピュータ１内の演算及びグラフィックス処理
装置６に送られる。また、電源信号がオンになったタイ
ミングでアシスト画像生成部６１はカメラ２の左撮像系
で補正パッド４を所定の位置及び方向で撮像したアシス
ト画像を生成する。そして、画像合成部６２でカメラ専
用処理回路８の出力である左画像データとアシスト画像
とが合成される。この合成画像は演算及びグラフィック
ス処理装置６により表示装置９のファインダーウインド
ウに表示される。

【００４５】以上の動作により、撮像レンズ２１Ｌによ
り取り込んだ画像とアシスト画像とが前記ファインダー
ウインドウにオーバーレイ表示される。

【００４６】図５に、このときのファインダーウインド
ウ内の画像の表示例を示す。同図中、ａはアシスト画像
生成部６１により生成された図４に示すアシスト画像で
ある。

【００４７】次に、使用者はこの撮像レンズ２１Ｌによ
り取り込んだ画像とアシスト画像とが合成された合成画
像を見て撮像レンズ２１Ｌにより取り込んだ画像の補正
パット４の領域の画像がアシスト画像と重なるようにフ
レーミングを行う。そして、構図が決定したところでレ
リーズスイッチ２５を押す。このレリーズスイッチ２５
からのレリーズ信号は、不図示のインターフェース部を
介してカメラ専用処理回路８に送られる。そして、撮像
データ書き込み制御回路８４はカメラ専用処理回路８に
不図示のインターフェース部を介して送られたレリーズ
信号がオフからオンの状態に変化したときに、Ａ／Ｄ変
換器８３Ｌ，８３Ｒから出力される左右撮像系で撮像さ
れたデジタル画像データを受け取り、コンピュータ１の
記憶装置９に左画像データ及び右像データを順次書き込
むように制御する。そして、レリーズ信号がオンになっ
たときにアシスト画像生成部６１は補正バッド４を次の
所定位置及び方向で撮像したアシスト画像を生成し、新
たな合成画像がファインダーウインドウに表示される。
このような動作を繰り返して使用者は被計測物体３の全
周の画像を撮像する。

【００４８】本実施の形態においては、撮像レンズ２１
Ｌ，２１Ｒが理想結像系である場合を想定して入力処理
について説明したが、例えば撮像レンズ２１Ｌ，２１Ｒ
の光学特性として歪曲が大きい場合には、Ａ／Ｄ変換器
８３Ｌ，８３Ｒから出力されるデジタル画像データに対
して歪曲補正処理を行う歪曲補正処理部を設けて、その
出力画像データを記憶装置９に書き込むように構成する
方がより好ましい。この場合、以降の三次元形状抽出処
理において、撮像レンズ２１Ｌ，２１Ｒの歪曲の影響に
おける精度の劣化が補正できる。また、撮像レンズ２１
Ｌ，２１Ｒの光学特性として光量分布特性が画像中心部
と周辺部とで大きく異なる場合には、Ａ／Ｄ変換器８３
Ｌ，８３Ｒから出力されるデジタル画像データに対して
光量補正処理を行う光量補正処理部を設けて、その出力
画像データを記憶装置９に書き込むように構成する方が
より好ましい。Ａ／Ｄ変換器８３Ｌ，８３Ｒから出力さ
れるデジタル画像データに対して、例えばＪＰＥＧ等の
圧縮処理を行う圧縮処理部を設けて、画像データを圧縮
処理した後、記憶装置９に書き込むように構成し、以降
の三次元形状抽出処理において、画像データを伸長して
処理を行った方が記憶装置９の容量を節約できることは
いうまでもない。こうして記憶装置９に書き込まれた画
像は、カメラ２の左撮像系で所定の位置及び方向で補正
パッド４と被計測物体３を撮像した画像とほぼ一致して
いる。

【００４９】次に、アシスト画像生成部６１でアシスト
画像を生成する方法について図７を用いて説明する。図
７は補正パッド４とカメラ２の左撮像系のそれぞれの座
標の関係を示した図であり、ｘ，ｙ，ｚは補正パッド４
の中心を原点にして、補正パッド４の平面に沿って水
平、垂直方向をそれぞれｘ，ｙ軸に、補正パッド４の平
面に対して垂直方向をｚ軸にとった座標系で、Ｘ，Ｙ，
Ｚはカメラ２の左撮像系の視点を原点にしてイメージセ
ンサー２２Ｌの撮像面に沿って水平、垂直方向をそれぞ
れＸ，Ｙ軸に、光軸方向をＺ軸にとった座標系である。
Ｘ，Ｙ，Ｚ座標系がｘ，ｙ，ｚ座標系に対して（α，
β，γ）回転し、（ｔｘ，ｔｙ，ｔｚ）移動したとする
と、補正パッド４の平面上の任意の点（ｘｐ，ｙｐ）の
カメラ２の左撮像系での座標（Ｘ，Ｙ，Ｚ）は、

【００５０】

【数１】となる。

【００５１】撮像レンズの焦点距離をｆ、イメージセン
サー２２Ｌの水平、垂直方向の画素ピッチをｐｘ，ｐｙ
とする（以下、カメラ２の内部のパラメータと記述す
る）と、撮像面上での点（ｘｐ，ｙｐ）のイメージセン
サーの画素アドレスに正規化した位置（ｘｉ，ｙｉ）は

【００５２】

【数２】となる。

【００５３】アシスト画像生成部６１ではカメラ２の内
部のパラメータｆ，ｐｘ，ｐｙ及び補正パッド４に対す
るカメラ２の左撮像系の複数の所定の位置及び方向を示
すパラメータＲ，Ｔ（以下、撮像パラメータと記述す
る）及び補正パッド４の４つコーナーの点と４つの基準
点の座標が予め記憶されており、補正パッド４の４つコ
ーナーの点と４つの基準点に対して所定の位置及び方向
での画素アドレスでの座標値（ｘｉ，ｙｉ）を計算す
る。そして、補正パッド４の４つコーナーの点の画素ア
ドレスでの座標値（ｘｉ，ｙｉ）から四角形を生成し、
４つの基準点の画素アドレスでの座標値（ｘｉ，ｙｉ）
から、それを中心とするそれぞれの色の小円を生成し、
ファインダーウインドウに表示すべきアシスト画像とす
る。この撮像パラメータの一例を下記表１に示す。

【００５４】

【表１】但し、アシスト画像生成部６１にはＲ，Ｔの１２個のパ
ラメータとして予め計算されたものが記憶されている。
上記表１に示した撮像パラメータは補正パッド４の原点
に対してカメラ２が一定の距離で上記〔数１〕のγが４
５°毎に変化し、８回の撮像で被計測物体３の全周を撮
像するように予め設定されている。

【００５５】次に、上述した入力処理により記憶装置９
に記憶されたデータから被計測物体３の三次元形状を抽
出する処理について図８を用いて説明する。三次元形状
の抽出はコンピュータ１の三次元形状抽出プログラムを
入力装置７からのコマンド入力により起動することによ
り行われる。

【００５６】図８は三次元形状抽出処理部９０の構成を
示すブロック図である。ここではＮ回の撮像を繰り返し
て画像データを取得した場合について説明する。処理に
用いるデータは、２×Ｎ組の画像、カメラ２の内部のパ
ラメータ及び撮像パラメータの各データである。ここ
で、撮像パラメータはアシスト画像生成部６１でアシス
ト画像を生成するために用いたもので、必ずしも実際の
撮像パラメータとは一致しない。

【００５７】図８において、９０１は被写体画像抽出部
で、画像データから被写体領域のみの被写体画像と背景
領域のみの背景画像とを生成するものである。９０２は
特徴点抽出部で、被写体画像抽出部９０１の出力である
背景画像から補正パッド４の特徴点座標を抽出するもの
である。９０３はパラメータ推定部で、特徴点抽出部９
０２の出力である特徴点座標から撮像パラメータの推定
を行うものである。

【００５８】９０４はマッチング処理部で、被写体画像
抽出部９０１の出力である左右の被写体画像間の対応付
けを行うものである。９０５は距離算出部で、カメラ２
の内部のパラメータとマッチング処理部９０４の出力で
ある対応点対により距離分布を算出する。９０６は距離
情報統合部で、パラメータ推定部９０３の出力である撮
像パラメータと距離算出部９０５の出力である距離分布
を統合し、被計測物体３の三次元形状として記憶装置９
にデータを書き込む。なお、被写体画像抽出部９０１、
特徴点抽出部９０２、パラメータ推定部９０３、マッチ
ング処理部９０４、距離算出部９０５及び距離情報統合
部９０６は演算／グラフィックス処理部６の内部プログ
ラムの一部であり、コンピュータ１の三次元形状抽出プ
ログラム起動時に動作する。

【００５９】次に、以上の詳細なと動作について説明す
る。コンピュータ１の三次元形状抽出プログラムを入力
装置７からのコマンド入力により起動すると、記憶装置
９から順次左右画像データが交互に被写体画像抽出部に
９０１に出力される。そして、被写体画像抽出部に９０
１で画像データから被写体領域のみの被写体画像と背景
領域のみの背景画像を生成する。被写体画像抽出部に９
０１では補正パッド４の領域における画像の色情報は予
め分かっているので、この色情報を利用して被写体画像
と背景画像を抽出している。

【００６０】次に、特徴点抽出部９０２での処理につい
て説明する。特徴点抽出部９０２では補正パッド４の大
きさや補正パッド４上の各特徴点の位置を示す形状デー
タ、画像入力毎のアシスト画像を生成したときの撮像パ
ラメータがそれぞれ記憶されており、この撮像パラメー
タを利用して補正パッド４の各特徴点の画像上での位置
を推定する。このとき、左画像データに対しては撮像デ
ータとカメラ２の内部のパラメータ、補正パッド４の形
状データから４つの基準点を含めた各特徴点の左画像上
での位置を、アシスト画像を生成したときの手順と同様
にして推定し、右画像データに対してはカメラ２の基線
長Ｂの分だけ画像上での位置がずれるので、撮像データ
とカメラ２の内部のパラメータ、補正パッド４の形状デ
ータとカメラ２の基線長Ｂから４つの基準点を含めた各
特徴点の右画像上での位置を推定する。そして、左右画
像データに対して被写体画像抽出部に９０１の出力であ
る背景画像からそれぞれに各特徴点の推定位置を中心と
して小領域を切り出し、その領域での輝度及び色情報を
示す画像データの重心位置を算出し、特徴点位置とす
る。

【００６１】このとき、特徴点の推定位置が被写体領域
に入るものは、被写体によって隠されている点であるの
で、重心位置の算出は行わず、特徴点位置の検出は行わ
れなかったことを記憶しておく。

【００６２】以上の処理は、左画像データはカメラ２の
左撮像系で所定の位置及び方向で補正パッド４と被計測
物体３を撮像した画像とほぼ一致している場合には動作
するが、左画像データはカメラ２の左撮像系で所定の位
置及び方向で補正パッド４と被計測物体３を撮像した画
像と大きくずれて撮像された場合には、特徴点位置の検
出が正常には行われない。このような場合には、カメラ
２に警告音を発する警告装置を設けてもよいし、ファイ
ンダーウインドウに警告であることを示す表示を行うよ
うにしてもよい。

【００６３】次に、パラメータ推定部９０３は特徴点抽
出部９０２の出力である特徴点座標から撮像パラメータ
の推定を行う。このとき、特徴点座標として左右両方の
画像データから検出された特徴点座標のみを用いる。ま
ず、パラメータ推定部９０３では以下の〔数３〕に従
い、カメラ２の内部のパラメータ、基線長、対応する左
右画像の特徴点位置（ｘＬ，ｙＬ）、（ｘＲ，ｙＲ）か
らカメラ２の左撮像系の座標Ｘ，Ｙ，Ｚでの座標を求め
る。

【００６４】

【数３】そして、左右画像で重複して検出された特徴点について
全てのカメラ２の左撮像系の座標Ｘ，Ｙ，Ｚでの座標を
算出した後、各特徴点の補正パッド４での座標を〔数
１〕の（ｘｐ，ｙｐ）に代入し、（Ｘ，Ｙ，Ｚ，）と
（ｘｐ，ｙｐ）の全ての特徴点の組について〔数１〕の
左辺の座標値と（Ｘ，Ｙ，Ｚ，）の距離が最小になるよ
うに最小自乗法を用いて撮像パラメータＲ，Ｔを求め
る。そして、この撮像パラメータＲ，Ｔを推定値として
出力する。このとき、アシスト画像を生成したときの撮
像パラメータが予め分かっているので、その撮像パラメ
ータの値を初期値として撮像パラメータを求めてもよ
い。そうすれば、撮像時にアシスト画像と左画像とを精
度よく一致させて撮像した場合には、より精度よく撮像
パラメータを推定することができる。

【００６５】次に、マッチング処理部９０４での処理に
ついて説明する。被写体画像抽出部９０１で抽出された
左右の被写体画像間の対応付けをカメラ２の内部のパラ
メータ及び基線長を利用して行う。まず、左画像データ
の被写体部分の各点に対して、カメラ２の内部のパラメ
ータ、基線長及び検出する被写体の距離の下限値、上限
値から右画像データの対応点を計算し、その範囲によっ
て対応可能領域を決定する。但し、右画像データの被写
体領域以外の部分は、対応可能領域とはしない。そし
て、左画像データの被写体領域の小領域をテンプレート
として抽出し、テンプレートに位置オフセットをかけて
平行移動させて、右画像データの対応可能領域の範囲で
画像データとのテンプレートマッチング処理が行われ、
画像領域同士の相関の最も高い領域の代表点が左画像デ
ータの座標（ｘ１，ｙ１）に対応する右画像データの座
標（ｘ２，ｙ２）として検出される。このテンプレート
マッチング処理を左画像データの被写体領域の画像デー
タ分だけ行い、被写体領域での対応点対として出力す
る。

【００６６】次に、距離算出部９０５でカメラ２の内部
のパラメータと基線長、マッチング処理部９０４の出力
である対応点対により距離分布を算出する。この処理
は、〔数３〕の（ｘＬ，ｙＬ）に（ｘ１，ｙ１）、（ｘ
Ｒ，ｙＲ）に（ｘ２，ｙ２）をそれぞれ代入して、
（Ｘ，Ｙ，Ｚ）の座標値を計算することにより距離を求
め、（Ｘ，Ｙ，Ｚ）を距離データとして対応点対の数だ
け出力する。

【００６７】次に、距離情報統合部９０６での処理につ
いて説明する。距離情報統合部９０６では、まず、パラ
メータ推定部９０３の出力である撮像パラメータから
〔数１〕に相当する座標変換の逆変換を求め、〔数４〕
に示す逆撮像パラメータＲ-1，Ｔ-1を得る。

【００６８】

【数４】そして、距離算出部９０５の出力である距離分布を補正
パッド４の座標系Ｘ，Ｙ，Ｚの座標値に〔数５〕により
変換して、被計測物体３の三次元形状として記憶装置９
にデータを書き込む。

【００６９】

【数５】ここで、Ｎ回の撮像のそれぞれにおける所定の撮像位置
と方向の距離分布を補正パッド４の座標系Ｘ，Ｙ，Ｚの
座標値に変換して統合している。以上の処理により、被
計測物体３の三次元形状が得られる。

【００７０】本実施の形態では、ファインダーウインド
ウにカメラ２の片方の撮像系で撮像した画像と補正パッ
ド４を、その撮像系で所定の位置及び方向で撮像したア
シスト画像を合成した画像を表示するようにしたが、フ
ァインダーウインドウを２つ表示して、カメラ２の左右
撮像系で所定の位置及び方向で撮像したアシスト画像を
それぞれ合成した画像を表示してもよい。

【００７１】（第２の実施の形態）次に、本発明の第２
の実施の形態を図９及び図１０に基づき説明する。な
お、本実施の形態に係る三次元形状抽出装置の概念及び
基本的構成は、上述した第１の実施の形態における図１
及び図２と同一であるから、同図を流用して説明する。
但し、カメラ２は１系統の撮像系のみを持っている。

【００７２】図９は本発明の第２の実施の形態に係る三
次元形状抽出装置のカメラ２、演算／グラフィックス回
路６及びカメラ専用処理回路８の詳細構成を示すブロッ
ク図、図１０は同装置の三次元形状抽出処理部９０の構
成を示すブロック図である。

【００７３】次に、本実施の形態に係る三次元形状抽出
装置の動作について説明する。三次元形状の入力は上述
した第１の実施の形態と同様に行われる。カメラ２の電
源スイッチ２６をオンにすると、ファインダーウインド
ウ内にカメラ２の撮像系で撮像した画像と共に補正パッ
ド４をカメラ２の撮像系で所定の位置及び方向で撮像し
た補正パッド４のモデル画像（以下、アシスト画像と記
述する）がオーバーレイ表示される。使用者はこの表示
された画像を見ながらカメラ２の撮像系で撮像した補正
パッド４の領域の画像がアシスト画像に重なるようにフ
レーミングを行い、レリーズスイッチ２５を押す。この
レリーズスイッチ２５を押して画像データの取得が終了
すると、ファインダーウインドウ内にカメラ２の撮像系
で撮像した画像と共に補正パッド４をカメラ２の撮像系
で所定の位置及び方向で撮像した補正パッド４のアシス
ト画像が表示され、使用者は同様にフレーミングを行
い、レリーズスイッチ２５を押して撮像を繰り返す。

【００７４】そして、所定位置及び方向からの被計測物
体３の所定枚数の画像データを取得する。この画像デー
タが演算／グラフィックス回路６及びカメラ専用処理回
路８により処理され、被計測物体３の三次元形状データ
が得られる。従って、本実施の形態に係る三次元形状抽
出装置において、第１の実施の形態に係る三次元形状抽
出装置と同様の三次元形状の入力を行うには、撮像操作
を第１の実施の形態の２倍の回数必要とする。

【００７５】次に、本実施の形態に係る三次元形状抽出
装置の構成及び動作について図９を用いて詳細に説明す
る。図９は本実施の形態に係る三次元形状抽出装置のカ
メラ２、演算／グラフィックス回路６及びカメラ専用処
理回路８の詳細構成を示すブロック図である。同図にお
いて、２１は被計測物体３を撮像する撮像レンズ、２２
は画像を電気信号として取り込むＣＣＤ等のイメージセ
ンサーである。イメージセンサー２２は撮像レンズ２１
の光軸と垂直に、その中心は撮像レンズ２１の光軸上に
あり、光軸方向に沿ってｆだけ離れている。２３はイメ
ージセンサー２２の画像データの取り込みを制御する画
像データ取り込み制御回路、２４はイメージセンサー２
２からの電気信号を保持し、画像信号として出力するサ
ンプルホールド（Ｓ／Ｈ）回路である。

【００７６】２５はレリーズスイッチ（ＳＷ）、２６は
電源スイッチ（ＳＷ）で、それぞれレリーズ信号及び電
源信号を出力する。８１はオートゲインコントロール
（ＡＧＣ）回路で、画像信号の利得を自動的に制御する
ものである。８２はガンマ（γ）補正回路で、オートゲ
インコントロール回路８１の出力信号の階調補正を行う
ものである。８３はＡ／Ｄ変換器で、ガンマ補正回路８
２の出力信号をアナログ−デジタル変換し、デジタル画
像データを出力する。８４は撮像データ書き込み制御回
路で、カメラ２のレリーズ信号がオンの状態でＡ／Ｄ変
換器８３の出力信号であるデジタル画像データを記憶装
置９に書き込む制御を行うものである。６１はアシスト
画像生成部で、電源信号またはレリーズ信号がオフから
オンになったタイミングでアシスト画像を生成する。６
２は画像合成部で、カメラ専用処理回路８の出力である
画像データとアシスト画像生成部６１の出力であるアシ
スト画像とを合成するものである。

【００７７】なお、アシスト画像生成部６１及び画像合
成部６２は演算／グラフィックス回路６の内部プログラ
ムの一部であり、コンピュータ１の画像入力プログラム
起動時に動作する。６３はグラフィックメモリで、画像
合成部６２の出力である合成画像データが書き込まれ、
コンピュータ１の不図示の表示制御装置により表示装置
９のファインダーウインドウに合成画像が表示される。

【００７８】次に、カメラ２により被計測物体３の画像
入力を行う際のカメラ２及びカメラ専用処理回路８の動
作を説明する。まず、コンピュータ１の画像入力プログ
ラムを起動すると、コンピュータ１内の演算／グラフィ
ックス処理装置６はファインダーウインドウを生成し、
表示装置５に表示する。そして、カメラ２の電源スイッ
チ２６がオンになった状態で撮像レンズ２１により取り
込んだ画像は、画像取り込み制御回路２３の制御信号に
従い、イメージセンサー２２、サンプルホールド回路２
４及びカメラ２の不図示のインターフェース部を介して
画像信号とてカメラ専用処理回路８に送られる。このと
き、同時にオンになった電源信号もカメラ専用処理回路
８に送られる。

【００７９】そして、この画像信号及び電源信号はカメ
ラ専用処理回路８の不図示のインターフェース部で受け
取られ、オートゲインコントロール回路８１、ガンマ補
正回路８２及びＡ／Ｄ変換器８３を介してデジタル画像
として出力される。このデジタル画像の内、左画像デー
タはコンピュータ１内の演算／グラフィックス回路６に
送られる。また、電源信号がオンになったタイミングで
アシスト画像生成部６１はカメラ２の撮像系で補正パッ
ド４を所定の位置及び方向で撮像したアシスト画像を生
成する。そして、画像合成部６２でカメラ専用処理回路
８の出力である画像データとアシスト画像とが合成され
る。演算／グラフィックス回路６は表示装置５のファイ
ンダーウインドウにこの合成画像を表示する。以上の動
作により、撮像レンズ２１により取り込んだ画像とアシ
スト画像とが表示装置５のファインダーウインドウにオ
ーバーレイ表示される。

【００８０】次に、使用者はこの撮像レンズ２１により
取り込んだ画像とアシスト画像とが合成された画像を見
て、撮像レンズ２１により取り込んだ画像の補正パッド
４の領域の画像がアシスト画像と重なるようにフレーミ
ングを行う。そして、構図が決定したところでレリーズ
スイッチ２５を押す。このレリーズスイッチ２５からの
レリーズ信号は、不図示のインターフェース部を介して
カメラ専用処理回路８に送られる。そして、撮像データ
書き込み制御回路８４はカメラ専用処理回路８に不図示
のインターフェース部を介して送られたレリーズ信号が
オフからオンに変化したときに、Ａ／Ｄ変換器８３から
出力されるデジタル画像データを受け取り、該画像デー
タをコンピュータ１の記憶装置９に順次書き込むように
制御する。

【００８１】そして、レリーズ信号がオンになったとき
に、アシスト画像生成部６１は補正パッド４を次の所定
の位置及び方向で撮像したアシスト画像を生成し、新た
な合成画像がファインダーウインドウに表示される。こ
の動作を繰り返し、使用者は被計測物体３の全周の画像
を撮像する。こうして記憶装置９に書き込まれた画像
は、カメラ２の撮像系により所定の位置及び方向で補正
パッド４と被計測物体３とを撮像した画像とほぼ一致し
ている。

【００８２】本実施の形態におけるアシスト画像生成部
６１によりアシスト画像を生成する方法は、上述した第
１の実施の形態における方法と同一である。但し、Ｘ，
Ｙ，Ｚはカメラ２の撮像系の視点を原点にしてイメージ
センサー２２の撮像面に沿って水平及び垂直方向をそれ
ぞれＸ，Ｙ軸に、光軸方向をＺ軸にとった座標である。
このときの撮像パラメータの一例を下記表２に示す。

【００８３】

【表２】但し、アシスト画像生成部６１にはＲ，Ｔの１２個のパ
ラメータとして予め計算されたものが記憶されている。
このときの撮像パラメータは上述した第１の実施の形態
と同様に〔数１〕のγが４５°毎に変化し、被計測物体
３の全周を撮像するように予め設定されるが、これとは
別に各撮像パラメータそれぞれにおいてｔｘの値を上述
した第１の実施の形態におけるカメラ２の基線長分だけ
ずらしたものを交互に撮像するように設定されている。
この場合、１６回の撮像で上述した第１の実施の形態に
おけるカメラ２による８回の撮像で被計測物体３の全周
を撮像するように設定されたのと同等の画像データが撮
像されることとなる。

【００８４】次に、上述した入力処理により記憶装置９
に記憶されたデータから被計測物体３の三次元形状を抽
出する処理動作について図１０を用いて説明する。三次
元形状の抽出処理は、コンピュータ１の三次元形状抽出
プログラムを入力装置７からのコマンド入力により起動
することによって行われる。ここでは、２×Ｎ回の撮像
を繰り返して画像データを取得した場合について説明す
る。この処理に用いるデータは、２×Ｎ組の画像及びカ
メラ２の内部のパラメータの各データである。

【００８５】図１０は本実施の形態に係る三次元形状抽
出処理装置における三次元形状抽出処理部９０の構成を
示すブロック図であり、同図において、上述した第１の
実施の形態における図８と同一部分には同一符号が付し
てある。図１０において図８と異なる点は、図８の場合
パラメータ推定部９０３の出力を距離情報統合部９０６
のみに送るようにしたのに対して、図１０の場合パラメ
ータ推定部９０３の出力をマッチング処理部９０４、距
離算出部９０５及び距離情報統合部９０６にそれぞれ送
るようにしたことである。

【００８６】次に、三次元形状抽出処理動作について詳
述する。コンピュータ１の三次元形状抽出プログラムを
入力装置７からのコマンド入力により起動すると、記憶
装置９から順次画像データが被写体画像抽出部９０１に
出力される。そして、被写体画像抽出部９０１により画
像データから被写体領域のみの被写体画像と背景領域の
みの背景が象とを生成する。次いで特徴点抽出部９０２
では補正パッド４の大きさや補正パッド４上の各特徴点
の位置を示す形状データ、画像入力毎のアシスト画像を
生成したときの撮像パラメータがそれぞれ記憶されてお
り、この撮像パラメータを利用して補正パッド４の各特
徴点の画像上での位置を推定する。そして、左右画像デ
ータに対して、被写体画像抽出部９０１の出力である背
景画像からそれぞれに各特徴点の推定位置を中心として
小領域を切り出し、その領域での輝度及び色情報を示す
画像データの重心位置を算出し、特徴点位置とする。こ
のとき、特徴点の推定位置が被写体領域に入るものは、
被写体によって隠されている点であるから、前記重心位
置の算出は行わず特徴点位置の検出は行われなかったこ
とを記憶しておく。

【００８７】次いで、パラメータ推定部９０３は特徴点
抽出部９０２の出力である特徴点座標から撮像パラメー
タの推定を行う。このとき、検出された特徴点座標と共
にカメラ２の内部のパラメータ及びアシスト画像を生成
したときの撮像パラメータを用いる。この方法につい
て、以下説明する。

【００８８】〔数１〕及び〔数２〕から〔数６〕を得
る。

【００８９】

【数６】この〔数６〕の関係から変分法を用いて各特徴点の補正
パッド４での座標（ｘｐ，ｙｐ）と撮像面上での特徴点
座標（ｘｉ，ｙｉ）の組から撮像パラメータ（α，β，
γ）、（ｘ，ｔｙ，ｔｚ）のずれを推定する。このと
き、撮像パラメータの初期値としてアシスト画像を生成
したときの撮像パラメータを用いる。そして、撮像パラ
メータの初期値と推定された撮像パラメータのずれから
修正された撮像パラメータを出力する。

【００９０】次に、マッチング処理部９０４での処理に
ついて説明する。被写体画像抽出部９０１で順次抽出さ
れた２つの被写体画像を組として、被写体画像間の対応
付けをカメラ２の内部のパラメータ及びパラメータ推定
部９０３の出力である撮像パラメータを利用して行う。
まず、第１の画像データの被写体部分の各点に対して、
カメラ２の内部のパラメータ、２つの画像の撮像パラメ
ータ及び検出する被写体の距離の下限値、上限値から第
２の画像データの対応点を計算し、その範囲によって対
応可能領域を決定する。但し、第２の画像データの被写
体領域以外の部分は対応可能領域としない。

【００９１】そして、第１の画像データの被写体領域の
小領域をテンプレートとして抽出し、テンプレートに位
置オフセットをかけて平行移動させて、第２の画像デー
タの対応可能領域の範囲で画像データとのテンプレート
マッチング処理が行われ、画像領域同士の相関の最も高
い領域の代表点が第１の画像データの座標（ｘ１，ｙ
１）に対応する第２の画像データの座標（ｘ２，ｙ２）
として検出される。このテンプレートマッチング処理を
第１の画像データの被写体領域の画像データ分だけ行
い、被写体領域での対応点対として出力する。

【００９２】本実施の形態では、対応可能領域を決定す
る際に、パラメータ推定部９０３の出力である撮像パラ
メータを利用したが、これに限らず、アシスト画像生成
部６１でアシスト画像生成のために用いた撮像パラメー
タをそのまま用いてもよい。この場合、撮像パラメータ
の実際の撮像時との差が大きくなると考えられるので、
対応可能領域の範囲に少し余裕幅を持たせることが望ま
しい。

【００９３】次いで距離算出部９０５でカメラ２の内部
のパラメータ、パラメータ推定部９０３の出力である撮
像パラメータ及びマッチング処理部９０４の出力である
対応点対により距離分布値を算出する。この算出処理
は、〔数３〕の（ｘＬ，ｙＬ）に（ｘ１，ｙ１）、（ｘ
Ｒ，ｙＲ）に（ｘ２，ｙ２）、Ｂにパラメータ推定部９
０３の出力である２つの撮像パラメータの内、ｔｘの差
分を代入して、（Ｘ，Ｙ，Ｚ）の座標値を計算すること
によって距離を求め、（Ｘ，Ｙ，Ｚ）を距離データとし
て対応点対の数だけ出力する。

【００９４】次に、距離情報統合部９０６での処理につ
いて説明する。距離情報統合部９０６では、まず、パラ
メータ推定部９０３の出力である２つの撮像パラメータ
の内、第１の画像データに対する撮像パラメータから
〔数１〕に相当する座標変換の逆変換を求め、逆撮像パ
ラメータを得る。そして、距離算出部９０５の出力であ
る距離分布値を補正パッド４の座標系Ｘ，Ｙ，Ｚの座標
値に変換して、被計測物体３の三次元形状として記憶装
置９に書き込む。ここで、奇数回撮像時におけるＮ回の
それぞれにおける所定の撮像位置及び方向の距離分布を
補正パッド４の座標系Ｘ，Ｙ，Ｚの座標値に変換して統
合している。以上の処理により、被計測物体３の三次元
形状が得られる。

【００９５】以上詳述したように本実施の形態に係る三
次元形状抽出装置では、アシスト画像生成部６１におけ
る撮像パラメータをパラメータ推定部９０３で推定し直
して精度良く撮像パラメータを求め、その撮像パラメー
タを利用して被計測物体３の三次元形状を求めるように
構成したが、これに限られるものではなく、アシスト画
像生成部６１における撮像パラメータをそのまま利用し
て被計測物体３の三次元形状を求めるように構成しても
よい。この場合、アシスト画像と実際に撮像された画像
とのずれが大きい場合には、被計測物体３の三次元形状
の精度が多少悪くなるが、パラメータ推定部９０３を設
ける必要がなくなり、その分コストが低減し且つ処理効
率が向上する。

【００９６】また、本実施の形態に係る三次元形状抽出
装置では、アシスト画像と撮像された画像とを合成して
ファインダーウインドウに表示するように構成したが、
これに限られるものではなく、２つのウインドウで別々
にアシスト画像と撮像された画像とを表示するようにし
てもよい。この場合、使用者はアシスト画像と同じカメ
ラ位置及び方向で撮像することが困難になるが、画像合
成部６２を設ける必要がなくなり、その分コストが低減
し且つ処理効率が向上する。

【００９７】更に、使用者の撮像操作を容易にするため
に図１１に示すような補正パッド４に対するカメラ２の
位置及び方向を示す画像を別のウインドウに表示するよ
うにしてもよい。

【００９８】

【発明の効果】以上詳述したように本発明の三次元形状
抽出方法及び装置によれば、撮像手段の位置及び姿勢の
変化を検知するための姿勢検知手段が不要となり、その
分コストが提言し、しかも繁雑な設定を行うことなく受
動的方法によって物体の三次元形状を精度良く容易に求
めることができるという効果を奏する。

【００９９】また、本発明の記憶媒体によれば、本発明
の三次元形状抽出装置を円滑に制御することができると
いう効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る三次元形状抽
出装置の概念を示す斜視図である。

【図２】同三次元形状抽出装置の構成を示すブロック図
である。

【図３】同三次元形状抽出装置における補正パッドを示
す図である。

【図４】同三次元形状抽出装置におけるアシスト画像を
示す図である。

【図５】同三次元形状抽出装置における表示画像の一例
を示す図である。

【図６】同三次元形状抽出装置におけるカメラ、演算／
グラフィックス処理装置及びカメラ専用処理装置の構成
を示すブロック図である。

【図７】同三次元形状抽出装置における補正パッドとカ
メラの座標系の関係を示す図である。

【図８】同三次元形状抽出装置における三次元形状抽出
処理部の構成を示すブロック図である。

【図９】本発明の第２の実施の形態に係る三次元形状抽
出装置におけるカメラ、演算／グラフィックス処理装置
及びカメラ専用処理装置の構成を示すブロック図であ
る。

【図１０】同三次元形状抽出装置における三次元形状抽
出処理部の構成を示すブロック図である。

【図１１】本発明の第３の実施の形態に係る三次元形状
抽出装置における補正パッドに対するカメラの位置及び
方向を示す画像の一例を示す図である。

【符号の説明】

１コンピュータ２カメラ３被計測物体４補正パッド５表示装置６演算／グラフィックス処理装置７入力装置８カメラ専用処理回路９記憶装置２１Ｒ撮像レンズ２１Ｌ撮像レンズ２２Ｒイメージセンサー２２Ｌイメージセンサー２３Ｒ画像取り込み制御回路２３Ｌ画像取り込み制御回路２４Ｒサンプルホールド回路２４Ｌサンプルホールド回路２５レリーズスイッチ２６電源スイッチ６１アシスト画像生成部６２画像合成部６３グラフィックメモリ８１オートゲインコントロール回路８１Ｒオートゲインコントロール回路８１Ｌオートゲインコントロール回路８２ガンマ補正回路８２Ｒガンマ補正回路８２Ｌガンマ補正回路８３Ａ／Ｄ変換器８３ＲＡ／Ｄ変換器８３ＬＡ／Ｄ変換器８４撮像データ書き込み制御回路９０被写体画像抽出処理部９０１被写体画像抽出部９０２特徴点抽出部９０３パラメータ推定部９０４マッチング処理部９０５距離算出部９０６距離情報統合部

Claims

【特許請求の範囲】

【請求項１】形状が既知の物体と共に被計測物体を撮
像した少なくとも撮像位置が異なり且つ画像の一部が重
複した複数の画像から前記被計測物体の三次元形状を測
定する三次元形状抽出方法において、前記被計測物体を
撮像する撮像ステップと、前記形状が既知の物体を前記
撮像ステップにより所定の位置及び方向から撮像した画
像を生成する画像生成ステップと、前記撮像ステップに
より取得した画像及び前記画像生成ステップにより生成
した画像を表示する表示ステップと、前記画像生成ステ
ップにおける所定の位置及び方向をパラメータとして前
記複数の画像から前記被計測物体の三次元形状を抽出す
る三次元形状抽出ステップとを有することを特徴とする
三次元形状抽出方法。
【請求項２】前記撮像ステップにより得た画像と前記
画像生成ステップにより生成した画像とを合成する画像
合成ステップを有し、前記表示ステップは、前記画像合
成ステップにより合成した画像を表示することを特徴と
する請求項１記載の三次元形状抽出方法。
【請求項３】前記撮像ステップを複数有することを特
徴とする請求項１記載の三次元形状抽出方法。
【請求項４】形状が既知の物体と共に被計測物体を撮
像した少なくとも撮像位置が異なり且つ画像の一部が重
複した複数の画像から前記被計測物体の三次元形状を測
定する三次元形状抽出装置において、前記被計測物体を
撮像する撮像手段と、前記形状が既知の物体を前記撮像
手段により所定の位置及び方向から撮像した画像を生成
する画像生成手段と、前記撮像手段により取得した画像
及び前記画像生成手段により生成した画像を表示する表
示手段と、前記画像生成手段における所定の位置及び方
向をパラメータとして前記複数の画像から前記被計測物
体の三次元形状を抽出する三次元形状抽出手段とを有す
ることを特徴とする三次元形状抽出装置。
【請求項５】前記撮像手段により得た画像と前記画像
生成手段により生成した画像とを合成する画像合成手段
を有し、前記表示手段は、前記画像合成手段により合成
した画像を表示することを特徴とする請求項４記載の三
次元形状抽出装置。
【請求項６】前記撮像手段を複数有することを特徴と
する請求項４記載の三次元形状抽出装置。
【請求項７】前記撮像手段は、左右２系統の撮像系を
持つカメラであることを特徴とする請求項４記載の三次
元形状抽出装置。
【請求項８】前記表示手段は、陰極線管よりなること
を特徴とする請求項４記載の三次元形状抽出装置。
【請求項９】前記表示手段は、前記撮像手段のファイ
ンダーウインドウに組み込まれていることを特徴とする
請求項４または８記載の三次元形状抽出装置。
【請求項１０】形状が既知の物体と共に被計測物体を
撮像した少なくとも撮像位置が異なり且つ画像の一部が
重複した複数の画像から前記被計測物体の三次元形状を
測定する三次元形状抽出方法において、前記被計測物体
を撮像する撮像ステップと、前記形状が既知の物体を前
記撮像ステップにより所定の位置及び方向から撮像した
画像を生成する画像生成ステップと、前記撮像ステップ
により取得した画像及び前記画像生成ステップにより生
成した画像を表示する表示ステップと、前記撮像ステッ
プにより得た複数の画像から撮像パラメータを推定する
パラメータ推定ステップと、前記複数の画像と前記パラ
メータ推定ステップの出力から前記三次元形状を抽出す
る三次元形状抽出ステップとを有することを特徴とする
三次元形状抽出方法。
【請求項１１】前記撮像ステップにより得た画像と前
記画像生成ステップにより生成した画像とを合成する画
像合成ステップを有し、前記表示ステップは、前記画像
合成ステップにより合成した画像を表示することを特徴
とする請求項１０記載の三次元形状抽出方法。
【請求項１２】前記撮像ステップを複数有することを
特徴とする請求項１０記載の三次元形状抽出方法。
【請求項１３】形状が既知の物体と共に被計測物体を
撮像した少なくとも撮像位置が異なり且つ画像の一部が
重複した複数の画像から前記被計測物体の三次元形状を
測定する三次元形状抽出装置において、前記被計測物体
を撮像する撮像手段と、前記形状が既知の物体を前記撮
像手段により所定の位置及び方向から撮像した画像を生
成する画像生成手段と、前記撮像手段により取得した画
像及び前記画像生成手段により生成した画像を表示する
表示手段と、前記撮像手段により得た複数の画像から撮
像パラメータを推定するパラメータ推定手段と、前記複
数の画像と前記パラメータ推定手段の出力から前記被計
測物体の三次元形状を抽出する三次元形状抽出手段とを
有することを特徴とする三次元形状抽出装置。
【請求項１４】前記撮像手段により得た画像と前記画
像生成手段により生成した画像とを合成する画像合成手
段を有し、前記表示手段は、前記画像合成手段により合
成した画像を表示することを特徴とする請求項１３記載
の三次元形状抽出装置。
【請求項１５】前記撮像手段を複数有することを特徴
とする請求項１３記載の三次元形状抽出装置。
【請求項１６】前記撮像手段は、左右２系統の撮像系
を持つカメラであることを特徴とする請求項１３記載の
三次元形状抽出装置。
【請求項１７】前記表示手段は、陰極線管よりなるこ
とを特徴とする請求項１３記載の三次元形状抽出装置。
【請求項１８】前記表示手段は、前記撮像手段のファ
インダーウインドウに組み込まれていることを特徴とす
る請求項１３または１７記載の三次元形状抽出装置。
【請求項１９】形状が既知の物体と共に被計測物体を
撮像した少なくとも撮像位置が異なり且つ画像の一部が
重複した複数の画像から前記被計測物体の三次元形状を
測定する三次元形状抽出装置を制御するプログラムを格
納する記憶媒体であって、前記被計測物体を撮像する撮
像ステップの撮像モジュールと、前記形状が既知の物体
を前記撮像ステップにより所定の位置及び方向から撮像
した画像を生成する画像生成ステップの画像生成モジュ
ールと、前記撮像ステップにより取得した画像及び前記
画像生成ステップにより生成した画像を表示する表示ス
テップの表示モジュールと、前記画像生成ステップにお
ける所定の位置及び方向をパラメータとして前記複数の
画像から前記被計測物体の三次元形状を抽出する三次元
形状抽出ステップの三次元形状抽出モジュールとを有す
るプログラムを格納したことを特徴とする記憶媒体。
【請求項２０】前記撮像ステップにより得た画像と前
記画像生成ステップにより生成した画像とを合成する画
像合成ステップの画像合成モジュールを有し、前記表示
ステップは、前記画像合成ステップにより合成した画像
を表示することを特徴とする請求項１９記載の記憶媒
体。
【請求項２１】前記撮像ステップの画像合成モジュー
ルを複数有することを特徴とする請求項１９記載の記憶
媒体。
【請求項２２】形状が既知の物体と共に被計測物体を
撮像した少なくとも撮像位置が異なり且つ画像の一部が
重複した複数の画像から前記被計測物体の三次元形状を
測定する三次元形状抽出装置を制御するプログラムを格
納する記憶媒体であって、前記被計測物体を撮像する撮
像ステップの撮像モジュールと、前記形状が既知の物体
を前記撮像ステップにより所定の位置及び方向から撮像
した画像を生成する画像生成ステップの画像生成モジュ
ールと、前記撮像ステップにより取得した画像及び前記
画像生成ステップにより生成した画像を表示する表示ス
テップの表示モジュールと、前記撮像ステップにより得
た複数の画像から撮像パラメータを推定するパラメータ
推定ステップのパラメータ推定モジュールと、前記複数
の画像と前記パラメータ推定ステップの出力から前記三
次元形状を抽出する三次元形状抽出ステップの三次元形
状抽出モジュールとを有するプログラムを格納したこと
を特徴とする記憶媒体。
【請求項２３】前記撮像ステップにより得た画像と前
記画像生成ステップにより生成した画像とを合成する画
像合成ステップの画像合成モジュールを有し、前記表示
ステップは、前記画像合成ステップにより合成した画像
を表示することを特徴とする請求項２２記載の記憶媒
体。
【請求項２４】前記撮像ステップの撮像モジュールを
複数有することを特徴とする請求項２２記載の記憶媒
体。