JP3347508B2 - 撮像画像処理装置および撮像画像処理方法 - Google Patents
撮像画像処理装置および撮像画像処理方法Info
- Publication number
- JP3347508B2 JP3347508B2 JP03671095A JP3671095A JP3347508B2 JP 3347508 B2 JP3347508 B2 JP 3347508B2 JP 03671095 A JP03671095 A JP 03671095A JP 3671095 A JP3671095 A JP 3671095A JP 3347508 B2 JP3347508 B2 JP 3347508B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shape model
- standard
- dimensional shape
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Description
【０００１】
【産業上の利用分野】本発明は、撮像して得られる被写
体画像を基にその被写体に関する３次元形状モデルを復
元する撮像画像処理装置および撮像画像処理方法に関す
る。
体画像を基にその被写体に関する３次元形状モデルを復
元する撮像画像処理装置および撮像画像処理方法に関す
る。
【０００２】
【従来の技術】従来、撮像して得られる被写体画像を基
にその被写体に関する３次元形状モデルを復元する技術
としては、例えば、特開平4-306782号公報、特公平5-64
393号公報、特開平4-86957号公報にそれぞれ開示されて
いる以下に挙げる方式および方法がある。
にその被写体に関する３次元形状モデルを復元する技術
としては、例えば、特開平4-306782号公報、特公平5-64
393号公報、特開平4-86957号公報にそれぞれ開示されて
いる以下に挙げる方式および方法がある。
【０００３】（１）特開平4-306782号公報に開示されて
いる方式 スリット光を被写体に照射してこれを１台のカメラで撮
像し、この撮像によって得られた被写体画像から特徴点
を抽出し、その抽出した特徴点に基づいて被写体の３次
元構造情報を算出するスリット光投影法（または光切断
法）を用い、被写体画像の各特徴点における３次元座標
データを算出する。これにより得られた各特徴点におけ
る３次元座標データに基づいて、データベース中に登録
されている基本３次元ワイヤーフレームを被写体画像に
整合して３次元形状モデルの復元を行う。
いる方式 スリット光を被写体に照射してこれを１台のカメラで撮
像し、この撮像によって得られた被写体画像から特徴点
を抽出し、その抽出した特徴点に基づいて被写体の３次
元構造情報を算出するスリット光投影法（または光切断
法）を用い、被写体画像の各特徴点における３次元座標
データを算出する。これにより得られた各特徴点におけ
る３次元座標データに基づいて、データベース中に登録
されている基本３次元ワイヤーフレームを被写体画像に
整合して３次元形状モデルの復元を行う。
【０００４】（２）特公平5-64393号公報に開示されて
いる方法 被写体を複数の視線方向から撮影した２次元撮影画像に
基づき各視線方向からみた被写体の形状を反映する被写
体存在領域を３次元デジタル画像空間内の３次元画素の
集合として記述し、すべての方向からみた被写体存在領
域の共通領域内の３次元画素の集合を３次元デジタル画
像における被写体の３次元形状として求めることにより
３次元形状モデルの復元を行う。
いる方法 被写体を複数の視線方向から撮影した２次元撮影画像に
基づき各視線方向からみた被写体の形状を反映する被写
体存在領域を３次元デジタル画像空間内の３次元画素の
集合として記述し、すべての方向からみた被写体存在領
域の共通領域内の３次元画素の集合を３次元デジタル画
像における被写体の３次元形状として求めることにより
３次元形状モデルの復元を行う。
【０００５】（３）特開平4-86957号公報に開示されて
いる方式 対象の特徴点に近赤外反射テープ背景と異なる色相のマ
ーカーなどを付与して撮像装置にて対象物を複数方向か
ら撮像し、得られた画像から標準の三次元立体モデルを
用いて特徴点または線の３次元座標を抽出する方式であ
る。具体的には、基準となる３次元格子状モデルの各格
子点を各方向から計測した結果と照合、補間して特徴点
位置の較正を行い、固定されたカメラ座標系と基準座標
系との変換テーブルを作成した後、マーカーなどを付け
た測定対象を複数方向から撮像して特徴点の３次元座標
化を行うことにより、物体の３次元形状の復元を行う。
いる方式 対象の特徴点に近赤外反射テープ背景と異なる色相のマ
ーカーなどを付与して撮像装置にて対象物を複数方向か
ら撮像し、得られた画像から標準の三次元立体モデルを
用いて特徴点または線の３次元座標を抽出する方式であ
る。具体的には、基準となる３次元格子状モデルの各格
子点を各方向から計測した結果と照合、補間して特徴点
位置の較正を行い、固定されたカメラ座標系と基準座標
系との変換テーブルを作成した後、マーカーなどを付け
た測定対象を複数方向から撮像して特徴点の３次元座標
化を行うことにより、物体の３次元形状の復元を行う。
【０００６】
【発明が解決しようとする課題】しかしながら、上述し
た各公報に開示されている方式および方法には、それぞ
れ以下のような問題がある。
た各公報に開示されている方式および方法には、それぞ
れ以下のような問題がある。
【０００７】特開平4-306782号公報および特開平4-8695
7号公報に開示されている方式においては、被写体の３
次元形状を直接測定する手段として、スリット光投光手
段やマーカーを付与する手段など特別な装置が必要があ
る。このことは、装置の小型化、低コスト化を図る上で
問題となる。さらには、スリット光投射位置またはマー
カー付与位置以外の点においては、３次元座標は補間な
どの処理により求める必要があるため、処理が複雑とな
るという問題点がある。
7号公報に開示されている方式においては、被写体の３
次元形状を直接測定する手段として、スリット光投光手
段やマーカーを付与する手段など特別な装置が必要があ
る。このことは、装置の小型化、低コスト化を図る上で
問題となる。さらには、スリット光投射位置またはマー
カー付与位置以外の点においては、３次元座標は補間な
どの処理により求める必要があるため、処理が複雑とな
るという問題点がある。
【０００８】特公平5-64393号公報に開示されている方
法においては、視線方向を全方位まんべんなくとる必要
があるため、処理に時間がかかるという問題点がある。
さらには、局所的な凹凸を正確に反映した形状モデルの
復元が困難であるという問題点がある。
法においては、視線方向を全方位まんべんなくとる必要
があるため、処理に時間がかかるという問題点がある。
さらには、局所的な凹凸を正確に反映した形状モデルの
復元が困難であるという問題点がある。
【０００９】本発明の目的は、スリット光投光手段やマ
ーカーを付与する手段などの特別な装置や補間処理など
の複雑な処理を必要とすることのない、被写体画像から
簡単に３次元形状モデルを復元することのできる撮像画
像処理装置を提供することにある。さらには、３次元形
状モデルの復元に局所的な凹凸を正確に反映することの
できる撮像画像処理装置を提供することにある。
ーカーを付与する手段などの特別な装置や補間処理など
の複雑な処理を必要とすることのない、被写体画像から
簡単に３次元形状モデルを復元することのできる撮像画
像処理装置を提供することにある。さらには、３次元形
状モデルの復元に局所的な凹凸を正確に反映することの
できる撮像画像処理装置を提供することにある。
【００１０】
【課題を解決するための手段】本発明の撮像画像処理装
置は、撮像手段と、前記撮像手段によって撮像された所
定視点位置からの被写体画像が記憶される第１の画像記
憶手段と、前記撮像手段によって撮像される被写体に関
する標準３次元形状モデルを記憶し、該標準３次元形状
モデルを基に、前記撮像手段によって撮像された被写体
画像に最も近い視点位置からの対象物画像を生成する３
次元形状モデル記憶手段と、前記３次元形状モデル記憶
手段によって生成された対象物画像が記憶される第２の
画像記憶手段と、前記第１の画像記憶手段に記憶された
被写体画像と前記第２の画像記憶手段に記憶された対象
物画像との差異を抽出する差異抽出手段と、前記差異抽
出手段にて抽出された差異を基に前記３次元形状モデル
記憶手段に記憶された標準３次元形状モデルを修整する
形状モデル修整手段とを備え、前記差異抽出手段は、前
記標準３次元形状モデルを修整するための構造情報に関
する差異と、前記３次元形状モデル記憶手段によって生
成される対象物画像を修整するためのテクスチャ情報に
関する差異を抽出するものであり、前記差異抽出手段に
よって抽出されたテクスチャ情報に関する差異を基に、
前記３次元形状モデル記憶手段によって生成された標準
３次元モデル修整後の対象物画像を修整するテクスチャ
修整手段を有することを特徴とする。また、本発明の撮
像画像処理方法は、撮像手段により撮像された被写体画
像を基に被写体に関する３次元形状モデルを復元する撮
像画像処理方法であって、撮像される被写体に関する標
準３次元形状モデルを記憶する第１のステップと、前記
第１のステップで記憶された標準３次元形状モデルを基
に前記撮像手段により撮像された被写体画像に対応する
対象物画像を生成する第２のステップと、前記第２のス
テップで抽出された対象物画像と前記撮像手段により撮
像された被写体画像との差異を抽出する第３のステップ
と、 前記第３のステップで抽出された差異を基に前記第
１のステップで記憶された被写体に関する標準３次元形
状モデルを修整して被写体の形状モデルを復元する第４
のステップとからなり、前記第３のステップは、前記標
準３次元形状モデルを修整するための構造情報に関する
差異と、前記３次元形状モデル記憶手段によって生成さ
れる対象物画像を修整するためのテクスチャ情報に関す
る差異を抽出するものであり、前記第４のステップは、
前記第３のステップで抽出されたテクスチャ情報に関す
る差異を基に、前記３次元形状モデル記憶手段によって
生成された標準３次元モデル修整後の対象物画像を修整
するものであることを特徴とする。
置は、撮像手段と、前記撮像手段によって撮像された所
定視点位置からの被写体画像が記憶される第１の画像記
憶手段と、前記撮像手段によって撮像される被写体に関
する標準３次元形状モデルを記憶し、該標準３次元形状
モデルを基に、前記撮像手段によって撮像された被写体
画像に最も近い視点位置からの対象物画像を生成する３
次元形状モデル記憶手段と、前記３次元形状モデル記憶
手段によって生成された対象物画像が記憶される第２の
画像記憶手段と、前記第１の画像記憶手段に記憶された
被写体画像と前記第２の画像記憶手段に記憶された対象
物画像との差異を抽出する差異抽出手段と、前記差異抽
出手段にて抽出された差異を基に前記３次元形状モデル
記憶手段に記憶された標準３次元形状モデルを修整する
形状モデル修整手段とを備え、前記差異抽出手段は、前
記標準３次元形状モデルを修整するための構造情報に関
する差異と、前記３次元形状モデル記憶手段によって生
成される対象物画像を修整するためのテクスチャ情報に
関する差異を抽出するものであり、前記差異抽出手段に
よって抽出されたテクスチャ情報に関する差異を基に、
前記３次元形状モデル記憶手段によって生成された標準
３次元モデル修整後の対象物画像を修整するテクスチャ
修整手段を有することを特徴とする。また、本発明の撮
像画像処理方法は、撮像手段により撮像された被写体画
像を基に被写体に関する３次元形状モデルを復元する撮
像画像処理方法であって、撮像される被写体に関する標
準３次元形状モデルを記憶する第１のステップと、前記
第１のステップで記憶された標準３次元形状モデルを基
に前記撮像手段により撮像された被写体画像に対応する
対象物画像を生成する第２のステップと、前記第２のス
テップで抽出された対象物画像と前記撮像手段により撮
像された被写体画像との差異を抽出する第３のステップ
と、 前記第３のステップで抽出された差異を基に前記第
１のステップで記憶された被写体に関する標準３次元形
状モデルを修整して被写体の形状モデルを復元する第４
のステップとからなり、前記第３のステップは、前記標
準３次元形状モデルを修整するための構造情報に関する
差異と、前記３次元形状モデル記憶手段によって生成さ
れる対象物画像を修整するためのテクスチャ情報に関す
る差異を抽出するものであり、前記第４のステップは、
前記第３のステップで抽出されたテクスチャ情報に関す
る差異を基に、前記３次元形状モデル記憶手段によって
生成された標準３次元モデル修整後の対象物画像を修整
するものであることを特徴とする。
【００１１】
【００１２】
【００１３】
【００１４】
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【００２０】
【００２１】
【００２２】
【００２３】
【００２４】
【００２５】
【００２６】
【００２７】
【００２８】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
て説明する。
【００２９】＜第１の実施例＞図１は、本発明の第１の
実施例の撮像画像処理装置の概略を示す構成図である。
同図において、１は撮像手段、２は標準３次元形状モデ
ル記憶手段、３は第１の画像記憶手段、４は第２の画像
記憶手段、５は差異抽出手段、６は形状モデル修整手段
である。以下、これら各構成部について詳しく説明す
る。
実施例の撮像画像処理装置の概略を示す構成図である。
同図において、１は撮像手段、２は標準３次元形状モデ
ル記憶手段、３は第１の画像記憶手段、４は第２の画像
記憶手段、５は差異抽出手段、６は形状モデル修整手段
である。以下、これら各構成部について詳しく説明す
る。
【００３０】撮像手段１は、ズーム機構等を備える撮像
カメラである。この撮像手段１によって撮像された被写
体画像は、第１の画像記憶手段３に一時的に保持され
る。
カメラである。この撮像手段１によって撮像された被写
体画像は、第１の画像記憶手段３に一時的に保持され
る。
【００３１】標準３次元形状モデル記憶手段２は、予め
被写体となる対象物の標準３次元形状モデル、例えば、
対象物の表面を所定形状（三角形など）のメッシュで分
割して得られる、いわゆるワイヤーフレームモデルを記
憶しており、この記憶したワイヤーフレームモデルを所
定方向から見た状態のものに、各分割領域における濃淡
情報等（テクスチャ）をマッピングして、対象物を所定
方向から見た２次元のモデル対象画像（以下、対象物画
像という）を生成する。この標準３次元形状モデル記憶
手段２によって生成された対象物画像は、第２の画像記
憶手段４に記憶される。
被写体となる対象物の標準３次元形状モデル、例えば、
対象物の表面を所定形状（三角形など）のメッシュで分
割して得られる、いわゆるワイヤーフレームモデルを記
憶しており、この記憶したワイヤーフレームモデルを所
定方向から見た状態のものに、各分割領域における濃淡
情報等（テクスチャ）をマッピングして、対象物を所定
方向から見た２次元のモデル対象画像（以下、対象物画
像という）を生成する。この標準３次元形状モデル記憶
手段２によって生成された対象物画像は、第２の画像記
憶手段４に記憶される。
【００３２】差異抽出手段５は、第２の画像記憶手段４
に記憶された対象物画像と、第１の画像記憶手段３に記
憶された被写体画像との差異を抽出する手段である。こ
の差異抽出手段５では、対象物画像と被写体画像とが比
較され、３次元形状情報に関する差異を反映した情報
（詳細は後述する）が抽出される。
に記憶された対象物画像と、第１の画像記憶手段３に記
憶された被写体画像との差異を抽出する手段である。こ
の差異抽出手段５では、対象物画像と被写体画像とが比
較され、３次元形状情報に関する差異を反映した情報
（詳細は後述する）が抽出される。
【００３３】形状モデル修整手段６は、上記差異抽出手
段５によって抽出される差異を反映した情報を基に、上
述した標準３次元形状モデル記憶手段２に記憶された標
準３次元形状モデルを修整する手段である。この形状モ
デル修整手段６では、対象物画像が同一視点位置におい
て撮像して得られた被写体画像に近くなるように、標準
３次元形状モデルが修整される。
段５によって抽出される差異を反映した情報を基に、上
述した標準３次元形状モデル記憶手段２に記憶された標
準３次元形状モデルを修整する手段である。この形状モ
デル修整手段６では、対象物画像が同一視点位置におい
て撮像して得られた被写体画像に近くなるように、標準
３次元形状モデルが修整される。
【００３４】以下、上述の撮像画像処理装置の具体的な
処理について説明する。
処理について説明する。
【００３５】標準３次元形状モデル記憶手段２には、３
次元形状測定を行なうとする被写体を代表するもの、例
えば特定の人物（男性）の頭部を被写体とする場合に
は、「男性の標準的な頭部３次元形状モデル」が、例え
ばワイヤーフレームモデルとして記憶される。ここで、
標準３次元形状モデル記憶手段２は、ワイヤーフレーム
モデルとして記憶された「男性の標準的な頭部３次元形
状モデル」を所定方向から見たものにテクスチャマッピ
ングを施すことにより、所定照明条件で所定視点位置か
ら見た画像を生成してもよいし、或は所定視点位置から
見たワイヤーフレームのみの画像を生成してもよい。ま
た、視点位置を予め設定せずに、差異抽出手段５の出力
を標準３次元形状モデル記憶手段２にフィードバックし
て最適な視点位置を求めるよう構成（不図示）して、そ
の求められた最適な視点位置から画像を生成するように
してもよい。なお、記憶されるワイヤーフレームモデル
は被写体に応じて設定可能であり、そのための情報は例
えば内部または外部に設けられたメモリから得られる。
次元形状測定を行なうとする被写体を代表するもの、例
えば特定の人物（男性）の頭部を被写体とする場合に
は、「男性の標準的な頭部３次元形状モデル」が、例え
ばワイヤーフレームモデルとして記憶される。ここで、
標準３次元形状モデル記憶手段２は、ワイヤーフレーム
モデルとして記憶された「男性の標準的な頭部３次元形
状モデル」を所定方向から見たものにテクスチャマッピ
ングを施すことにより、所定照明条件で所定視点位置か
ら見た画像を生成してもよいし、或は所定視点位置から
見たワイヤーフレームのみの画像を生成してもよい。ま
た、視点位置を予め設定せずに、差異抽出手段５の出力
を標準３次元形状モデル記憶手段２にフィードバックし
て最適な視点位置を求めるよう構成（不図示）して、そ
の求められた最適な視点位置から画像を生成するように
してもよい。なお、記憶されるワイヤーフレームモデル
は被写体に応じて設定可能であり、そのための情報は例
えば内部または外部に設けられたメモリから得られる。
【００３６】標準３次元形状モデル記憶手段２は、上述
の方法のいずれかにより生成した所定視点位置から見た
画像を、対象物画像として第２の画像記憶手段４に記憶
させるもので、所定位置の決定については撮像者が入力
するように構成してもよいく、また撮像手段１による撮
像データから判断するように構成してもよい。この判断
基準としては、特徴点を用いることができ、最も特徴点
が近くなる視点位置を採用してもよい。
の方法のいずれかにより生成した所定視点位置から見た
画像を、対象物画像として第２の画像記憶手段４に記憶
させるもので、所定位置の決定については撮像者が入力
するように構成してもよいく、また撮像手段１による撮
像データから判断するように構成してもよい。この判断
基準としては、特徴点を用いることができ、最も特徴点
が近くなる視点位置を採用してもよい。
【００３７】撮像手段１は、３次元形状測定を行なうと
する被写体を所定の視点位置から撮像し、得られた被写
体画像を第２の記憶手段４に記憶させる。図８は、被写
体を異なる視点位置から撮像手段１で撮像するときの様
子を示す模式図である。図中、撮像手段１の撮像位置は
便宜上ＸＹ面内で４箇所で示されているが、使用する撮
像位置は、例えば実線で示した撮像装置１の１箇所であ
る。なお、撮像位置は、便宜上ＸＹ面内における位置し
か示していないが、必要があればこのＸＹ面内に限ら
ず、異なる面内における視点位置、視線方向であっても
よい。
する被写体を所定の視点位置から撮像し、得られた被写
体画像を第２の記憶手段４に記憶させる。図８は、被写
体を異なる視点位置から撮像手段１で撮像するときの様
子を示す模式図である。図中、撮像手段１の撮像位置は
便宜上ＸＹ面内で４箇所で示されているが、使用する撮
像位置は、例えば実線で示した撮像装置１の１箇所であ
る。なお、撮像位置は、便宜上ＸＹ面内における位置し
か示していないが、必要があればこのＸＹ面内に限ら
ず、異なる面内における視点位置、視線方向であっても
よい。
【００３８】本実施例では、上述の第２の画像記憶手段
４に記憶される対象物画像と第１の画像記憶手段３に記
憶される被写体画像とは、画像サイズがほぼ一致するよ
う調整される。この画像サイズの調整には、第２の画像
記憶手段４に記憶された対象物画像に対して撮像手段１
にて撮像される被写体画像の画像サイズを調節する場合
と、これとは反対に、第１の画像記憶手段３に記憶され
た被写体画像に対して標準３次元形状モデル記憶手段２
にて生成される対象物画像の画像サイズを調節する場合
とがある。
４に記憶される対象物画像と第１の画像記憶手段３に記
憶される被写体画像とは、画像サイズがほぼ一致するよ
う調整される。この画像サイズの調整には、第２の画像
記憶手段４に記憶された対象物画像に対して撮像手段１
にて撮像される被写体画像の画像サイズを調節する場合
と、これとは反対に、第１の画像記憶手段３に記憶され
た被写体画像に対して標準３次元形状モデル記憶手段２
にて生成される対象物画像の画像サイズを調節する場合
とがある。
【００３９】対象物画像に対して撮像手段１にて撮像さ
れる被写体画像の画像サイズを調節する場合は、撮像手
段１で撮像される画像（第１の画像記憶手段３に記憶さ
れる画像）のサイズが、第２の画像記憶手段４に記憶さ
れた対象物画像のサイズとほぼ等しくなるように、被写
体に対する撮像手段１の撮像位置が調節される。この被
写体に対する撮像手段１の撮像位置の調節は、撮像手段
１のズーミング機能を用いて行なうこともできる。
れる被写体画像の画像サイズを調節する場合は、撮像手
段１で撮像される画像（第１の画像記憶手段３に記憶さ
れる画像）のサイズが、第２の画像記憶手段４に記憶さ
れた対象物画像のサイズとほぼ等しくなるように、被写
体に対する撮像手段１の撮像位置が調節される。この被
写体に対する撮像手段１の撮像位置の調節は、撮像手段
１のズーミング機能を用いて行なうこともできる。
【００４０】他方、被写体画像に対して標準３次元形状
モデル記憶手段２にて生成される対象物画像の画像サイ
ズを調節する場合は、標準３次元形状モデル記憶手段２
において、例えば所定視点位置、所定照明条件下での対
象物画像標準を３Ｄコンピュータグラフィクスの手法を
用いて生成する際に、その生成される対象物画像のサイ
ズが第１の画像記憶手段３に記憶された被写体画像のサ
イズとほぼ等しくなるように調節される。
モデル記憶手段２にて生成される対象物画像の画像サイ
ズを調節する場合は、標準３次元形状モデル記憶手段２
において、例えば所定視点位置、所定照明条件下での対
象物画像標準を３Ｄコンピュータグラフィクスの手法を
用いて生成する際に、その生成される対象物画像のサイ
ズが第１の画像記憶手段３に記憶された被写体画像のサ
イズとほぼ等しくなるように調節される。
【００４１】上述の対象物画像と被写体画像との画像サ
イズの調節により、撮像手段１にて撮像された画像（第
１の画像記憶手段３に記憶される被写体画像）の座標系
は、第２の画像記憶手段４に記憶された対象物画像にお
ける基準座標系と概略一致する右手系直交座標系とな
る。この座標系において、Ｚ軸（不図示）はＸＹ面と直
交するものとする。
イズの調節により、撮像手段１にて撮像された画像（第
１の画像記憶手段３に記憶される被写体画像）の座標系
は、第２の画像記憶手段４に記憶された対象物画像にお
ける基準座標系と概略一致する右手系直交座標系とな
る。この座標系において、Ｚ軸（不図示）はＸＹ面と直
交するものとする。
【００４２】以上のようにして、第１および第２の画像
記憶手段にそれぞれ画像サイズのほぼ等しい被写体画像
および対象物画像が記憶されると、続いて、これらの画
像の差異、例えば、これら画像間の対応する点の変位が
変位ベクトルとして以下のように求められる。
記憶手段にそれぞれ画像サイズのほぼ等しい被写体画像
および対象物画像が記憶されると、続いて、これらの画
像の差異、例えば、これら画像間の対応する点の変位が
変位ベクトルとして以下のように求められる。
【００４３】図２は、差異抽出手段５にて行なわれる処
理の手順を示すフローチャートである。
理の手順を示すフローチャートである。
【００４４】まず、第１および第２の画像記憶手段のそ
れぞれから、画像サイズのほぼ等しい（視点位置または
視線方向がそれぞれ同じ）被写体画像（またはそのシル
エット画像）と対象物画像（またはそのシルエット画
像）とを入力する（Ｓ１０１，Ｓ１０２）。次いで、入
力された各画像（または各シルエット画像）のそれぞれ
の重心位置を求め、その求めた重心位置が互いに一致す
るように各画像間のアライメントを行なう（Ｓ１０
３）。その後、それぞれの画像の輪郭線抽出処理（Ｓ１
０４）を行い、得られる輪郭線画像間の差異を一方の画
像から他方の画像へ輪郭線上の各点が変位したと仮定し
て、その変位を示す、いわゆる変位ベクトルを求める
（Ｓ１０５）。この標準３次元形状モデルの画像の輪郭
線上各点の変位ベクトルに基づいて差異抽出手段５から
の出力が決定される。変位ベクトルが求められると、例
えば、被写体画像の各画素にそれぞれ対応する対象物画
像の画素、または被写体画像の輪郭線上各点に対応する
標準３次元モデル（ワイヤーフレームモデル）上の３次
元位置座標（座標軸は対象物上に任意に設定してよい）
と、それぞれの画素または点における２次元（視線方向
と略直交する像面内）変位ベクトルとを出力する（Ｓ１
０６）。
れぞれから、画像サイズのほぼ等しい（視点位置または
視線方向がそれぞれ同じ）被写体画像（またはそのシル
エット画像）と対象物画像（またはそのシルエット画
像）とを入力する（Ｓ１０１，Ｓ１０２）。次いで、入
力された各画像（または各シルエット画像）のそれぞれ
の重心位置を求め、その求めた重心位置が互いに一致す
るように各画像間のアライメントを行なう（Ｓ１０
３）。その後、それぞれの画像の輪郭線抽出処理（Ｓ１
０４）を行い、得られる輪郭線画像間の差異を一方の画
像から他方の画像へ輪郭線上の各点が変位したと仮定し
て、その変位を示す、いわゆる変位ベクトルを求める
（Ｓ１０５）。この標準３次元形状モデルの画像の輪郭
線上各点の変位ベクトルに基づいて差異抽出手段５から
の出力が決定される。変位ベクトルが求められると、例
えば、被写体画像の各画素にそれぞれ対応する対象物画
像の画素、または被写体画像の輪郭線上各点に対応する
標準３次元モデル（ワイヤーフレームモデル）上の３次
元位置座標（座標軸は対象物上に任意に設定してよい）
と、それぞれの画素または点における２次元（視線方向
と略直交する像面内）変位ベクトルとを出力する（Ｓ１
０６）。
【００４５】なお、上記のような輪郭抽出処理は行わ
ず、対象物画像と被写体画像間上の各点で、次のような
動きベクトル検出用画像処理アルゴリズムにより変位ベ
クトルの検出を行ってもよい。典型的には、所定サイズ
のブロックに分割した２つの画像間において、一方の画
像中のある画素を中心としたブロックに対して画像デー
タが最大の相互相関値（あるいは最小二乗誤差）を与え
る他方の画像中のブロック中心の相対位置ベクトルを計
算することにより求めることができる。
ず、対象物画像と被写体画像間上の各点で、次のような
動きベクトル検出用画像処理アルゴリズムにより変位ベ
クトルの検出を行ってもよい。典型的には、所定サイズ
のブロックに分割した２つの画像間において、一方の画
像中のある画素を中心としたブロックに対して画像デー
タが最大の相互相関値（あるいは最小二乗誤差）を与え
る他方の画像中のブロック中心の相対位置ベクトルを計
算することにより求めることができる。
【００４６】また、対象物画像および被写体画像はそれ
ぞれ対象物と被写体を同一方向（既知とする）から見た
ものとなっていることから、本実施例では、輪郭抽出を
行う場合は、変位ベクトルの検出をいわゆる動的輪郭追
跡（特開平５−１２４４３号公報参照）の手法を用いた
り、対象物画像の輪郭線上の各点での輪郭線接線ベクト
ルと略直交する方向に探索したりして行うか、または変
位ベクトルの大きさが各点で極小となるように選んでも
よい。
ぞれ対象物と被写体を同一方向（既知とする）から見た
ものとなっていることから、本実施例では、輪郭抽出を
行う場合は、変位ベクトルの検出をいわゆる動的輪郭追
跡（特開平５−１２４４３号公報参照）の手法を用いた
り、対象物画像の輪郭線上の各点での輪郭線接線ベクト
ルと略直交する方向に探索したりして行うか、または変
位ベクトルの大きさが各点で極小となるように選んでも
よい。
【００４７】上述のようにして求められた変位ベクトル
（２次元）が差異抽出手段５から出力されると、形状モ
デル修整手段６では、その２次元変位ベクトルから標準
３次元形状モデル記憶手段２に記憶された標準３次元モ
デル（ワイヤーフレームモデル）を修整するための修整
ベクトルが求められ、この求めた修整ベクトルを基に標
準３次元モデルの修整が行なわれる。この２次元変位ベ
クトルから修整ベクトルを求める場合、対象物画像の輪
郭線上の点に基づいて求められた２次元変位ベクトルか
ら修整ベクトルを求める場合と、対象物画像上の任意の
点に基づいて求められた２次元変位ベクトルから修整ベ
クトルを求める場合とがある。以下に、それぞれの場合
において求められる修整ベクトルの一例を挙げる。
（２次元）が差異抽出手段５から出力されると、形状モ
デル修整手段６では、その２次元変位ベクトルから標準
３次元形状モデル記憶手段２に記憶された標準３次元モ
デル（ワイヤーフレームモデル）を修整するための修整
ベクトルが求められ、この求めた修整ベクトルを基に標
準３次元モデルの修整が行なわれる。この２次元変位ベ
クトルから修整ベクトルを求める場合、対象物画像の輪
郭線上の点に基づいて求められた２次元変位ベクトルか
ら修整ベクトルを求める場合と、対象物画像上の任意の
点に基づいて求められた２次元変位ベクトルから修整ベ
クトルを求める場合とがある。以下に、それぞれの場合
において求められる修整ベクトルの一例を挙げる。
【００４８】（１）対象物画像の輪郭線上の点に基づい
て求められた２次元変位ベクトルから修整ベクトルを求
める場合 撮像手段の光軸または視線方向を軸とする回転角度θ
は、対象画像を生成する際の視線方向を軸とする同様な
回転角度θM と等しいものとする。対象物画像上の点
（ｉ，ｊ）に対応する標準３次元形状モデル上の点を
（Ｘij，Ｙij，Ｚij）、変位ベクトルを
て求められた２次元変位ベクトルから修整ベクトルを求
める場合 撮像手段の光軸または視線方向を軸とする回転角度θ
は、対象画像を生成する際の視線方向を軸とする同様な
回転角度θM と等しいものとする。対象物画像上の点
（ｉ，ｊ）に対応する標準３次元形状モデル上の点を
（Ｘij，Ｙij，Ｚij）、変位ベクトルを
【００４９】
【外１】 とすると、修整ベクトル
【００５０】
【外２】 は、
【００５１】
【数１】 で表すことができ、この式を基に求めることができる。
ここで、
ここで、
【００５２】
【外３】 は、点（Ｘij，Ｙij，Ｚij）上の法線ベクトル、Ｃは定
数であり、第１および第２の記憶手段にそれぞれ記憶さ
れた対象物画像および被写体画像のノーマライズ（画像
サイズを一致させること）を行う条件を決めるものであ
る。この定数Ｃは、第１の記憶手段に記憶された対象物
画像のサイズ、或はその対象物画像に関する焦点距離、
物体距離などに応じてユーザが適宜設定することができ
る。
数であり、第１および第２の記憶手段にそれぞれ記憶さ
れた対象物画像および被写体画像のノーマライズ（画像
サイズを一致させること）を行う条件を決めるものであ
る。この定数Ｃは、第１の記憶手段に記憶された対象物
画像のサイズ、或はその対象物画像に関する焦点距離、
物体距離などに応じてユーザが適宜設定することができ
る。
【００５３】（２）対象物画像上の任意の点に基づいて
求められた２次元変位ベクトルから修整ベクトルを求め
る場合 上述の（１）の場合と同様に、対象物画像上の点（ｉ，
ｊ）に対応する標準３次元形状モデル上の点を（Ｘij，
Ｙij，Ｚij）、変位ベクトルを
求められた２次元変位ベクトルから修整ベクトルを求め
る場合 上述の（１）の場合と同様に、対象物画像上の点（ｉ，
ｊ）に対応する標準３次元形状モデル上の点を（Ｘij，
Ｙij，Ｚij）、変位ベクトルを
【００５４】
【外４】 とすると、修整ベクトル
【００５５】
【外５】 は、
【００５６】
【数２】 で表すことができ、この式を基に求めることができる。
ここで、Ｃ’は上述の（１）の場合と同様、対象物画像
と被写体画像とのノーマライズを行う条件を決めるもの
で、撮像手段の焦点距離、物体距離などによって決まる
比例定数である。また、Ｒは で与えられる３次元回転行列であり、α、β、γはカメ
ラ座標系のワールド座標系（対象物３次元モデルの基準
座標系）座標軸、即ちＸW 、ＹW 、ＺW 軸に対する回転
角を示すものである。
ここで、Ｃ’は上述の（１）の場合と同様、対象物画像
と被写体画像とのノーマライズを行う条件を決めるもの
で、撮像手段の焦点距離、物体距離などによって決まる
比例定数である。また、Ｒは で与えられる３次元回転行列であり、α、β、γはカメ
ラ座標系のワールド座標系（対象物３次元モデルの基準
座標系）座標軸、即ちＸW 、ＹW 、ＺW 軸に対する回転
角を示すものである。
【００５７】上記各回転角パラメータの測定方法として
は、撮像手段にジャイロなどを搭載して計測する方法、
磁気センサベースでの計測方法、メカニカルなジョイン
ト計測機構に撮像手段を搭載して計測する方法などがあ
る。尚、このような特別な計測手段を用いずに、対象物
３次元モデルを視線方向などを種々に指定して得られる
対象物画像と被写体画像との類似度評価を行って、最も
類似度の高い視線方向から撮像パラメータα，β，γを
推定してもよい。但し、この場合には対象物モデルが被
写体を十分に近似している必要がある。
は、撮像手段にジャイロなどを搭載して計測する方法、
磁気センサベースでの計測方法、メカニカルなジョイン
ト計測機構に撮像手段を搭載して計測する方法などがあ
る。尚、このような特別な計測手段を用いずに、対象物
３次元モデルを視線方向などを種々に指定して得られる
対象物画像と被写体画像との類似度評価を行って、最も
類似度の高い視線方向から撮像パラメータα，β，γを
推定してもよい。但し、この場合には対象物モデルが被
写体を十分に近似している必要がある。
【００５８】以上説明したようにして求められた修整ベ
クトルを基に、標準３次元形状モデル記憶手段２に記憶
されている標準３次元形状モデルの修整が行われる。
クトルを基に、標準３次元形状モデル記憶手段２に記憶
されている標準３次元形状モデルの修整が行われる。
【００５９】＜第２実施例＞上述の第１の実施例の撮像
画像処理装置では、第１および第２の記憶手段からそれ
ぞれ入力される、ほぼ同じ視点からの対象物画像および
被写体画像から変位ベクトルを求め、これにより３次元
形状データを得ている。本実施例の撮像画像処理装置
は、第１および第２の記憶手段にはそれぞれ異なる視点
からの複数の対象物画像および被写体画像がそれぞれ記
憶され（ただし、対応する画像どうしはほぼ同じ視点か
らの画像となっている）、これら記憶された各対応する
対象物画像−被写体画像ペア間で得られる、異なる視点
からの複数の変位ベクトルから３次元形状データを得る
ことを特徴とするものである。なお、本実施例の撮像画
像処理装置は、前述した第１の実施例の撮像画像処理装
置と同様の構成のものであるため、ここでは、その構成
についての説明は省略する。
画像処理装置では、第１および第２の記憶手段からそれ
ぞれ入力される、ほぼ同じ視点からの対象物画像および
被写体画像から変位ベクトルを求め、これにより３次元
形状データを得ている。本実施例の撮像画像処理装置
は、第１および第２の記憶手段にはそれぞれ異なる視点
からの複数の対象物画像および被写体画像がそれぞれ記
憶され（ただし、対応する画像どうしはほぼ同じ視点か
らの画像となっている）、これら記憶された各対応する
対象物画像−被写体画像ペア間で得られる、異なる視点
からの複数の変位ベクトルから３次元形状データを得る
ことを特徴とするものである。なお、本実施例の撮像画
像処理装置は、前述した第１の実施例の撮像画像処理装
置と同様の構成のものであるため、ここでは、その構成
についての説明は省略する。
【００６０】図３は、本発明の第２の実施例の撮像画像
処理装置における差異抽出手段での処理を示すフローチ
ャートである。
処理装置における差異抽出手段での処理を示すフローチ
ャートである。
【００６１】まず、第１の画像記憶手段３から異なる視
点位置からの複数の被写体画像を入力し（Ｓ２０１）、
第２の画像記憶手段４からその入力された各被写体画像
に最も近い対象物画像をそれぞれ入力する（Ｓ２０
２）。次に、それぞれ入力された各対応する被写体画像
−対象物画像ペア間でそれぞれ位置合わを行なう（Ｓ２
０３）。その後、それぞれの画像の輪郭線抽出処理（Ｓ
２０４）を行い、得られる輪郭線画像間の差異を一方の
画像から他方の画像へ輪郭線上の各点が変位したと仮定
して、変位ベクトルを求める（Ｓ２０５）。変位ベクト
ルが求められると、被写体画像の各画素にそれぞれ対応
する対象物画像の画素、または被写体画像の輪郭線上各
点に対応する標準３次元モデル（ワイヤーフレームモデ
ル）上の３次元位置座標（座標軸は対象物上に任意に設
定してよい）と、それぞれの画素または点における２次
元（視線方向と略直交する像面内）変位ベクトルが出力
される（Ｓ１０６）。
点位置からの複数の被写体画像を入力し（Ｓ２０１）、
第２の画像記憶手段４からその入力された各被写体画像
に最も近い対象物画像をそれぞれ入力する（Ｓ２０
２）。次に、それぞれ入力された各対応する被写体画像
−対象物画像ペア間でそれぞれ位置合わを行なう（Ｓ２
０３）。その後、それぞれの画像の輪郭線抽出処理（Ｓ
２０４）を行い、得られる輪郭線画像間の差異を一方の
画像から他方の画像へ輪郭線上の各点が変位したと仮定
して、変位ベクトルを求める（Ｓ２０５）。変位ベクト
ルが求められると、被写体画像の各画素にそれぞれ対応
する対象物画像の画素、または被写体画像の輪郭線上各
点に対応する標準３次元モデル（ワイヤーフレームモデ
ル）上の３次元位置座標（座標軸は対象物上に任意に設
定してよい）と、それぞれの画素または点における２次
元（視線方向と略直交する像面内）変位ベクトルが出力
される（Ｓ１０６）。
【００６２】上述のようにして求められた複数の変位ベ
クトルデータが差異抽出手段５から出力されると、形状
モデル修整手段６では、複数の変位ベクトルデータが統
合されて修整ベクトルが求められ、これを基に標準３次
元形状モデル記憶手段２に記憶されている標準３次元モ
デルの修整が行なわれる。以下に、この形状モデル修整
手段６における修整ベクトルの算出の具体的な方法を説
明する。
クトルデータが差異抽出手段５から出力されると、形状
モデル修整手段６では、複数の変位ベクトルデータが統
合されて修整ベクトルが求められ、これを基に標準３次
元形状モデル記憶手段２に記憶されている標準３次元モ
デルの修整が行なわれる。以下に、この形状モデル修整
手段６における修整ベクトルの算出の具体的な方法を説
明する。
【００６３】異なる視点からの画像（対象物画像および
被写体画像）における視点位置（視線方向）をそれぞれ
Ｉ（α1 ，β1 ，γ1 ）及びＩＩ（α2 ，β2 ，γ2 ）
（（α1 ，β1 ，γ1 ）≠（α2 ，β2 ，γ2 ））と
し、それぞれに対して得られる同一点（Ｘ，Ｙ，Ｚ）の
修整ベクトルを
被写体画像）における視点位置（視線方向）をそれぞれ
Ｉ（α1 ，β1 ，γ1 ）及びＩＩ（α2 ，β2 ，γ2 ）
（（α1 ，β1 ，γ1 ）≠（α2 ，β2 ，γ2 ））と
し、それぞれに対して得られる同一点（Ｘ，Ｙ，Ｚ）の
修整ベクトルを
【００６４】
【外６】 とすると、求めるべき修整ベクトル
【００６５】
【外７】 は、
【００６６】
【数３】 で与えられる。ここに、Ｐは定数、αは０＜α＜１で与
えられるものとする。このαの選び方としては、例えば
視線方向Ｉ、ＩＩの各対応する画像（対象物及び被写
体）の各点でのＳ／Ｎ、輝度、色相等の分散、標準偏差
値、隣接する点での修整ベクトルとの差（或は滑らか
さ）、その他信頼度を表わす評価関数などを用いて決め
ることとする。例えば、輪郭線からの距離をＳijとする
と、
えられるものとする。このαの選び方としては、例えば
視線方向Ｉ、ＩＩの各対応する画像（対象物及び被写
体）の各点でのＳ／Ｎ、輝度、色相等の分散、標準偏差
値、隣接する点での修整ベクトルとの差（或は滑らか
さ）、その他信頼度を表わす評価関数などを用いて決め
ることとする。例えば、輪郭線からの距離をＳijとする
と、
【００６７】
【数４】 などのように輪郭線に近いほど信頼度が増すように設定
してもよい。
してもよい。
【００６８】以上のように、本実施例では、異なる視点
からの画像を基に抽出された複数の変位ベクトルデータ
から修整ベクトルが求められるため、より信頼度（凹凸
面などの正確な情報）、分解能の高い被写体の３次元形
状データを得ることができる。
からの画像を基に抽出された複数の変位ベクトルデータ
から修整ベクトルが求められるため、より信頼度（凹凸
面などの正確な情報）、分解能の高い被写体の３次元形
状データを得ることができる。
【００６９】＜第３の実施例＞図４は、本発明の第３の
実施例の撮像画像処理装置の概略を示す構成図である。
本実施例の撮像画像処理装置は、形状モデル修整手段
６によって求められた３次元形状データが標準３次元形
状モデル記憶手段２へフィードバック（転送）されてい
る以外は、上述の第１の実施例のものと同様の構成のも
のとなっている。各構成部における処理も上述の第１の
実施例（または、第２の実施例）のものと同様であるた
め、ここでは、処理についての説明は省略する。
実施例の撮像画像処理装置の概略を示す構成図である。
本実施例の撮像画像処理装置は、形状モデル修整手段
６によって求められた３次元形状データが標準３次元形
状モデル記憶手段２へフィードバック（転送）されてい
る以外は、上述の第１の実施例のものと同様の構成のも
のとなっている。各構成部における処理も上述の第１の
実施例（または、第２の実施例）のものと同様であるた
め、ここでは、処理についての説明は省略する。
【００７０】本実施例の撮像画像処理装置では、形状モ
デル修整手段６によって、差異抽出手段５から出力され
る変位ベクトルデータを基に求められた３次元形状デー
タ（修整ベクトル）が３次元形状モデル記憶手段２へフ
ィードバックされる。
デル修整手段６によって、差異抽出手段５から出力され
る変位ベクトルデータを基に求められた３次元形状デー
タ（修整ベクトル）が３次元形状モデル記憶手段２へフ
ィードバックされる。
【００７１】３次元形状データが３次元形状モデル記憶
手段２へフィードバックされると、３次元形状モデル記
憶手段２では、フィードバックされた３次元形状データ
に基くフレームモデルが修整され、その修整されたフレ
ームモデルから対象物画像が生成される。この生成され
た対象物画像は、第２の記憶画像記憶手段４に記憶され
る。以後、この第２の記憶画像記憶手段４に新たに記憶
された対象物画像と被写体画像とから３次元形状データ
を求める処理が行われる。
手段２へフィードバックされると、３次元形状モデル記
憶手段２では、フィードバックされた３次元形状データ
に基くフレームモデルが修整され、その修整されたフレ
ームモデルから対象物画像が生成される。この生成され
た対象物画像は、第２の記憶画像記憶手段４に記憶され
る。以後、この第２の記憶画像記憶手段４に新たに記憶
された対象物画像と被写体画像とから３次元形状データ
を求める処理が行われる。
【００７２】上述の３次元形状データをフィードバック
する処理が反復的に行われることにより、１回の修整で
はカバーしきれない誤差の補正や形状データの高分解能
化が可能となる。
する処理が反復的に行われることにより、１回の修整で
はカバーしきれない誤差の補正や形状データの高分解能
化が可能となる。
【００７３】＜第４の実施例＞本実施例の撮像画像処理
装置は、上述の第１もしくは第２または第３の実施例の
撮像画像処理装置と同様の構成のもので、形状モデル修
整手段における標準３次元モデルの修整が以下のように
して行われることを特徴とする。
装置は、上述の第１もしくは第２または第３の実施例の
撮像画像処理装置と同様の構成のもので、形状モデル修
整手段における標準３次元モデルの修整が以下のように
して行われることを特徴とする。
【００７４】まず、形状モデル修整手段６において、撮
像手段の回転角パラメータ（α，β，γ）に対応する視
線方向で得られる画像に基づく修整ベクトルを
像手段の回転角パラメータ（α，β，γ）に対応する視
線方向で得られる画像に基づく修整ベクトルを
【００７５】
【数５】 によって定められるアフィン変換係数ａij（Ｘ，Ｙ，
Ｚ）によって与える。そして、この修整ベクトルを基に
標準３次元形状モデルの修整を行う。この標準３次元形
状モデルの修整を、修整後の標準３次元形状モデルを基
に得られる同一視線方向での対象物画像と被写体画像と
の差異が最小となるよう、アフィン変換係数ａij（Ｘ，
Ｙ，Ｚ）を求めることによって行う。これにより、標準
３次元モデルの修整が簡単に行なえることとなる。
Ｚ）によって与える。そして、この修整ベクトルを基に
標準３次元形状モデルの修整を行う。この標準３次元形
状モデルの修整を、修整後の標準３次元形状モデルを基
に得られる同一視線方向での対象物画像と被写体画像と
の差異が最小となるよう、アフィン変換係数ａij（Ｘ，
Ｙ，Ｚ）を求めることによって行う。これにより、標準
３次元モデルの修整が簡単に行なえることとなる。
【００７６】＜第５の実施例＞図５は、本発明の第５の
実施例の撮像画像処理装置の概略を示す構成図である。
実施例の撮像画像処理装置の概略を示す構成図である。
【００７７】図５において、１１は撮像手段、１２は標
準３次元形状モデル記憶手段、１３は第１の画像記憶手
段、１４は第２の画像記憶手段、１５は差異抽出手段、
１６は形状モデル修整手段、１７はテクスチャモデル修
整手段である。以下に、これら各構成部における処理に
ついて説明する。
準３次元形状モデル記憶手段、１３は第１の画像記憶手
段、１４は第２の画像記憶手段、１５は差異抽出手段、
１６は形状モデル修整手段、１７はテクスチャモデル修
整手段である。以下に、これら各構成部における処理に
ついて説明する。
【００７８】撮像手段１１、標準３次元形状モデル記憶
手段１２、第１の画像記憶手段１３、第２の画像記憶手
段１４は、それぞれ前述した第１の実施例の撮像画像処
理装置のものと同じ処理機能有するものである。
手段１２、第１の画像記憶手段１３、第２の画像記憶手
段１４は、それぞれ前述した第１の実施例の撮像画像処
理装置のものと同じ処理機能有するものである。
【００７９】差異抽出手段１５は、第１および第２の画
像記憶手段１３，１４からそれぞれ入力される対象物画
像と被写体画像とを比較して、標準３次元形状モデル記
憶手段１２に記憶されている標準３次元形状モデルを修
整するための輪郭線の差異と、第２の画像記憶手段１４
に記憶された対象物画像（テクスチャモデル）を修整す
るための変位ベクトルとを抽出する。なお、対象物画像
（テクスチャモデル）を修整するための変位ベクトルの
抽出は、輪郭線内のテクスチャ上の各点で行うこととす
る。
像記憶手段１３，１４からそれぞれ入力される対象物画
像と被写体画像とを比較して、標準３次元形状モデル記
憶手段１２に記憶されている標準３次元形状モデルを修
整するための輪郭線の差異と、第２の画像記憶手段１４
に記憶された対象物画像（テクスチャモデル）を修整す
るための変位ベクトルとを抽出する。なお、対象物画像
（テクスチャモデル）を修整するための変位ベクトルの
抽出は、輪郭線内のテクスチャ上の各点で行うこととす
る。
【００８０】形状モデル修整手段１６は、差異抽出手段
１５で求められた輪郭線の差異に基づいて標準３次元形
状モデル記憶手段１２に記憶されている標準３次元形状
モデルを修整する。本実施例では、求められた修整ベク
トルが形状モデル修整手段１６から標準３次元形状モデ
ル記憶手段１２へフィードバック（転送）され、修整ベ
クトルに基づく標準３次元形状モデルの修整が反復的に
行われるよう構成されている。
１５で求められた輪郭線の差異に基づいて標準３次元形
状モデル記憶手段１２に記憶されている標準３次元形状
モデルを修整する。本実施例では、求められた修整ベク
トルが形状モデル修整手段１６から標準３次元形状モデ
ル記憶手段１２へフィードバック（転送）され、修整ベ
クトルに基づく標準３次元形状モデルの修整が反復的に
行われるよう構成されている。
【００８１】テクスチャモデル修整手段１７は、差異抽
出手段１５で求められた変位ベクトルを基にテクスチャ
モデルを修整する。すなわち、このテクスチャモデル修
整手段１７は、上記形状モデル修整手段１６により修整
された標準３次元形状モデルを基に標準３次元形状モデ
ル記憶手段１２によって第２の画像記憶手段１４に新た
に記憶される対象物画像（テクスチャモデル）を修整す
るものである。本実施例では、このテクスチャモデル修
整手段１７におけるテクスチャモデルの修整は、差異抽
出手段１５によって抽出される変位ベクトル（すなわ
ち、形状モデル修整手段１６による標準３次元形状モデ
ル修整後に得られる対象物画像（テクスチャモデル）と
撮像手段１１により撮像されて第１の画像記憶手段１３
に記憶された被写体画像とから抽出される変位ベクト
ル）が最小のものとなるよう行われる。
出手段１５で求められた変位ベクトルを基にテクスチャ
モデルを修整する。すなわち、このテクスチャモデル修
整手段１７は、上記形状モデル修整手段１６により修整
された標準３次元形状モデルを基に標準３次元形状モデ
ル記憶手段１２によって第２の画像記憶手段１４に新た
に記憶される対象物画像（テクスチャモデル）を修整す
るものである。本実施例では、このテクスチャモデル修
整手段１７におけるテクスチャモデルの修整は、差異抽
出手段１５によって抽出される変位ベクトル（すなわ
ち、形状モデル修整手段１６による標準３次元形状モデ
ル修整後に得られる対象物画像（テクスチャモデル）と
撮像手段１１により撮像されて第１の画像記憶手段１３
に記憶された被写体画像とから抽出される変位ベクト
ル）が最小のものとなるよう行われる。
【００８２】図６は、本実施例の撮像画像処理装置にて
行われる修整処理、すなわち、上述の標準３次元形状モ
デルおよびテクスチャモデルの修整の処理を簡略化して
示したフローチャートで、Ｐｈａｓｅ１にて差異抽出処
理と形状モデル修整処理が行われ、Ｐｈａｓｅ２にて差
異抽出処理とテクスチャモデル修整処理が行われる。
行われる修整処理、すなわち、上述の標準３次元形状モ
デルおよびテクスチャモデルの修整の処理を簡略化して
示したフローチャートで、Ｐｈａｓｅ１にて差異抽出処
理と形状モデル修整処理が行われ、Ｐｈａｓｅ２にて差
異抽出処理とテクスチャモデル修整処理が行われる。
【００８３】本実施例の撮像画像処理装置は、図６に示
すように、標準３次元形状モデルの修整に加えて、テク
スチャモデルの修整も行われるよう構成されており、形
状と模様を修整することが可能となっている。
すように、標準３次元形状モデルの修整に加えて、テク
スチャモデルの修整も行われるよう構成されており、形
状と模様を修整することが可能となっている。
【００８４】＜第６の実施例＞本実施例の撮像画像処理
装置は、第１の画像記憶手段に保持された被写体画像に
関する外形輪郭線の抽出を、３次元形状モデル記憶手段
に記憶された標準３次元形状モデルから抽出される所定
視点位置（被写体画像の視点位置と同じ位置）からみた
対象物画像の外形輪郭線データを用い、これに後述する
動的輪郭法の手法を適用することにより行うことを特徴
とするものである。
装置は、第１の画像記憶手段に保持された被写体画像に
関する外形輪郭線の抽出を、３次元形状モデル記憶手段
に記憶された標準３次元形状モデルから抽出される所定
視点位置（被写体画像の視点位置と同じ位置）からみた
対象物画像の外形輪郭線データを用い、これに後述する
動的輪郭法の手法を適用することにより行うことを特徴
とするものである。
【００８５】図７は、本発明の第６の実施例の撮像画像
処理装置の概略を示す構成図である。同図において、２
１は撮像手段、２２は３次元形状モデル記憶手段、２３
は第１の画像記憶手段、２５は差異抽出手段、２６は形
状モデル修整手段、２７は輪郭線画像抽出手段、２８は
初期輪郭設定手段、２９は動的輪郭処理手段である。以
下、これら各構成部について詳しく説明する。
処理装置の概略を示す構成図である。同図において、２
１は撮像手段、２２は３次元形状モデル記憶手段、２３
は第１の画像記憶手段、２５は差異抽出手段、２６は形
状モデル修整手段、２７は輪郭線画像抽出手段、２８は
初期輪郭設定手段、２９は動的輪郭処理手段である。以
下、これら各構成部について詳しく説明する。
【００８６】撮像手段２１および第１の画像記憶手段２
３は、前述した各実施例の撮像画像処理装置のものと同
様のもので、撮像手段２１によって撮像された被写体画
像が第１の画像記憶手段２３に保持される。
３は、前述した各実施例の撮像画像処理装置のものと同
様のもので、撮像手段２１によって撮像された被写体画
像が第１の画像記憶手段２３に保持される。
【００８７】標準３次元形状モデル記憶手段２２は、前
述した各実施例の撮像画像処理装置のものと同様、標準
３次元形状モデルを記憶するが、本実施例では、第２の
画像記憶手段への対象物画像の記憶に代えて、後述する
標準３次元形状モデル記憶手段２２による対象物画像の
外輪郭線画像を抽出する処理が行われる。
述した各実施例の撮像画像処理装置のものと同様、標準
３次元形状モデルを記憶するが、本実施例では、第２の
画像記憶手段への対象物画像の記憶に代えて、後述する
標準３次元形状モデル記憶手段２２による対象物画像の
外輪郭線画像を抽出する処理が行われる。
【００８８】標準３次元形状モデル記憶手段２２および
撮像手段２１は、前述した各実施例の撮像画像処理装置
のものと同様のもので、標準３次元形状モデル記憶手段
２２には標準３次元形状モデルが記憶され、撮像手段２
１によって撮像された被写体画像が第１の画像記憶手段
２３に保持される。
撮像手段２１は、前述した各実施例の撮像画像処理装置
のものと同様のもので、標準３次元形状モデル記憶手段
２２には標準３次元形状モデルが記憶され、撮像手段２
１によって撮像された被写体画像が第１の画像記憶手段
２３に保持される。
【００８９】輪郭線画像抽出手段２７は、標準３次元形
状モデル記憶手段２２に記憶された標準３次元形状モデ
ルを所定の視点位置からみた対象物画像に関する外輪郭
線画像を抽出する手段である。
状モデル記憶手段２２に記憶された標準３次元形状モデ
ルを所定の視点位置からみた対象物画像に関する外輪郭
線画像を抽出する手段である。
【００９０】初期輪郭設定手段２８は、上記輪郭線画像
抽出手段２７で抽出された対象物画像の外輪郭線画像に
対して、その外輪郭線画像の位置およびサイズを第１の
画像記憶手段２３に保持されている被写体画像の画像領
域を包接するよう設定する（初期輪郭の設定）。
抽出手段２７で抽出された対象物画像の外輪郭線画像に
対して、その外輪郭線画像の位置およびサイズを第１の
画像記憶手段２３に保持されている被写体画像の画像領
域を包接するよう設定する（初期輪郭の設定）。
【００９１】動的輪郭処理２９は、上記初期輪郭設定手
段２８にて初期輪郭が設定された外輪郭線画像の輪郭線
（以下、初期輪郭線という）を以下に述べる動的輪郭法
により変形移動して、第１の画像記憶手段に保持された
被写体画像上に収束する。これにより、第１の画像記憶
手段に保持された被写体画像に関する外輪郭線画像を正
確、かつ迅速に得ることができる。
段２８にて初期輪郭が設定された外輪郭線画像の輪郭線
（以下、初期輪郭線という）を以下に述べる動的輪郭法
により変形移動して、第１の画像記憶手段に保持された
被写体画像上に収束する。これにより、第１の画像記憶
手段に保持された被写体画像に関する外輪郭線画像を正
確、かつ迅速に得ることができる。
【００９２】ここで、動的輪郭法とは、輪郭線上の各点
の位置（座標）を表すパラメータｓを用いて表される輪
郭線 υ（ｓ）＝（ｘ（ｓ），ｙ（ｓ）） に対して、評価関数
の位置（座標）を表すパラメータｓを用いて表される輪
郭線 υ（ｓ）＝（ｘ（ｓ），ｙ（ｓ）） に対して、評価関数
【００９３】
【数６】 が最小となる輪郭線υ（ｓ）を求める手法のことをい
う。ここに、
う。ここに、
【００９４】
【外８】 は、
【００９５】
【数７】 であり、α（ｓ）、β（ｓ）、
【００９６】
【外９】 はそれぞれユーザが適宜設定する。この動的輪郭法は、
対象（本実施例では、撮像手段２１によって撮像される
被写体画像）を包囲するような初期輪郭線を求め、該求
めた初期輪郭線を所定の評価関数が最小となるように変
形移動し、最終的に対象上に収束するようにした方法で
ある（M.Kass et al.,"Snakes:Active Contour Model
s," International Journal of Computer Vision, vol.
1,pp.321-331,1987）。本実施例では、対象物画像の初
期輪郭線に関して定めたある評価関数（上記評価関数に
限定されるものではない）を最小化することにより、被
写体画像の外輪郭線画像が求められる。
対象（本実施例では、撮像手段２１によって撮像される
被写体画像）を包囲するような初期輪郭線を求め、該求
めた初期輪郭線を所定の評価関数が最小となるように変
形移動し、最終的に対象上に収束するようにした方法で
ある（M.Kass et al.,"Snakes:Active Contour Model
s," International Journal of Computer Vision, vol.
1,pp.321-331,1987）。本実施例では、対象物画像の初
期輪郭線に関して定めたある評価関数（上記評価関数に
限定されるものではない）を最小化することにより、被
写体画像の外輪郭線画像が求められる。
【００９７】差異抽出手段２５は、初期輪郭設定手段２
８で求められた対象物画像の外輪郭線画像（初期輪郭の
設定が行われたもの）と動的輪郭処理手段２９で求めら
れた被写体画像の外輪郭線画像との差異を、前述した各
実施例の場合と同様に変位ベクトルとして抽出する。但
し、各変位ベクトルの大きさを一定の割合で正規化する
か、または変位ベクトルを求める前に初期輪郭線画像の
サイズを被写体画像の輪郭線画像サイズに最も近くなる
ように設定することが望ましい。この差異抽出手段２５
によって抽出された変位ベクトルは、後述する形状モデ
ル修整手段６へ出力されるとともに、上述の輪郭線画像
抽出手段２７へフィードバックされている。本実施例で
は、この輪郭線画像抽出手段２７へのフィードバックに
より、輪郭線画像抽出手段２７が対象物画像の外輪郭線
画像を抽出する際の視点位置が、最終的に最も被写体画
像の外輪郭線に近い輪郭線モデルを与える視点位置とな
る。
８で求められた対象物画像の外輪郭線画像（初期輪郭の
設定が行われたもの）と動的輪郭処理手段２９で求めら
れた被写体画像の外輪郭線画像との差異を、前述した各
実施例の場合と同様に変位ベクトルとして抽出する。但
し、各変位ベクトルの大きさを一定の割合で正規化する
か、または変位ベクトルを求める前に初期輪郭線画像の
サイズを被写体画像の輪郭線画像サイズに最も近くなる
ように設定することが望ましい。この差異抽出手段２５
によって抽出された変位ベクトルは、後述する形状モデ
ル修整手段６へ出力されるとともに、上述の輪郭線画像
抽出手段２７へフィードバックされている。本実施例で
は、この輪郭線画像抽出手段２７へのフィードバックに
より、輪郭線画像抽出手段２７が対象物画像の外輪郭線
画像を抽出する際の視点位置が、最終的に最も被写体画
像の外輪郭線に近い輪郭線モデルを与える視点位置とな
る。
【００９８】形状モデル修整手段２６は、前述した各実
施例の場合と同様に、上記差異抽出手段２５によって抽
出された変位ベクトルから形状モデル修整手段２６に記
憶さている標準３次元形状モデルを修整するための修整
ベクトルを求める手段である。この形状モデル修整手段
２６で求められた修整ベクトルは、３次元形状モデル記
憶手段２２へフィードバックされている。このフィード
バックにより、前述の第３および第５の実施例の場合と
同様、１回の修整ではカバーしきれない誤差の補正や形
状データの高分解能化が可能となる。
施例の場合と同様に、上記差異抽出手段２５によって抽
出された変位ベクトルから形状モデル修整手段２６に記
憶さている標準３次元形状モデルを修整するための修整
ベクトルを求める手段である。この形状モデル修整手段
２６で求められた修整ベクトルは、３次元形状モデル記
憶手段２２へフィードバックされている。このフィード
バックにより、前述の第３および第５の実施例の場合と
同様、１回の修整ではカバーしきれない誤差の補正や形
状データの高分解能化が可能となる。
【００９９】次に、上述のように構成された撮像画像処
理装置の動作について説明する。
理装置の動作について説明する。
【０１００】前述の各実施例と同様にして、まず、第１
の画像記憶手段２３に撮像手段２１によって撮像された
被写体画像が記憶される。
の画像記憶手段２３に撮像手段２１によって撮像された
被写体画像が記憶される。
【０１０１】続いて、輪郭線画像抽出手段２７によっ
て、３次元形状モデル記憶手段２２に記憶された標準３
次元形状モデルから対象物画像に関する外輪郭線画像が
抽出され、初期輪郭設定手段２８によって、その抽出さ
れた外輪郭線画像に対して初期輪郭の設定が行われる。
この初期輪郭が設定された外輪郭線画像は、動的輪郭処
理手段２９および差異抽出手段２５のそれぞれへ出力さ
れる。
て、３次元形状モデル記憶手段２２に記憶された標準３
次元形状モデルから対象物画像に関する外輪郭線画像が
抽出され、初期輪郭設定手段２８によって、その抽出さ
れた外輪郭線画像に対して初期輪郭の設定が行われる。
この初期輪郭が設定された外輪郭線画像は、動的輪郭処
理手段２９および差異抽出手段２５のそれぞれへ出力さ
れる。
【０１０２】初期輪郭設定手段２８によって初期輪郭の
設定が行われると、動的輪郭処理手段２９は、初期輪郭
設定手段２８にて初期輪郭が設定された外輪郭線画像の
初期輪郭線を動的輪郭法を用いて変形移動し、第１の画
像記憶手段２３に保持された被写体画像に関する外輪郭
線画像を抽出する。この抽出された被写体画像に関する
外輪郭線画像は差異抽出手段２５へ出力される。
設定が行われると、動的輪郭処理手段２９は、初期輪郭
設定手段２８にて初期輪郭が設定された外輪郭線画像の
初期輪郭線を動的輪郭法を用いて変形移動し、第１の画
像記憶手段２３に保持された被写体画像に関する外輪郭
線画像を抽出する。この抽出された被写体画像に関する
外輪郭線画像は差異抽出手段２５へ出力される。
【０１０３】初期輪郭設定手段２８から対象物画像に関
する外輪郭線画像、および動的輪郭処理手段２９から被
写体画像に関する外輪郭線画像がそれぞれ入力される
と、差異抽出手段２５では、これらの画像の差異が変位
ベクトルとして抽出され、この抽出された変位ベクトル
が輪郭線画像抽出手段２７へフィードバックされる。こ
のフィードバックする処理が反復的に行われることによ
り、輪郭線画像抽出手段２７にて抽出される外輪郭線画
像の視点位置が、最終的に最も被写体画像の外輪郭線に
近い輪郭線モデルを与える視点位置となる。
する外輪郭線画像、および動的輪郭処理手段２９から被
写体画像に関する外輪郭線画像がそれぞれ入力される
と、差異抽出手段２５では、これらの画像の差異が変位
ベクトルとして抽出され、この抽出された変位ベクトル
が輪郭線画像抽出手段２７へフィードバックされる。こ
のフィードバックする処理が反復的に行われることによ
り、輪郭線画像抽出手段２７にて抽出される外輪郭線画
像の視点位置が、最終的に最も被写体画像の外輪郭線に
近い輪郭線モデルを与える視点位置となる。
【０１０４】輪郭線画像抽出手段２７にて抽出される外
輪郭線画像の視点位置が、最終的に最も被写体画像の外
輪郭線に近い輪郭線モデルを与える視点位置となると、
差異抽出手段２５からは最終的な変位ベクトルが形状モ
デル修整手段２６へ出力される。
輪郭線画像の視点位置が、最終的に最も被写体画像の外
輪郭線に近い輪郭線モデルを与える視点位置となると、
差異抽出手段２５からは最終的な変位ベクトルが形状モ
デル修整手段２６へ出力される。
【０１０５】差異抽出手段２５から最終的な変位ベクト
ルが形状モデル修整手段２６へ出力されると、形状モデ
ル修整手段２６では、その変位ベクトルから修整ベクト
ルが求められ、該求めた修整ベクトルが３次元形状モデ
ル記憶手段２２へフィードバックされる。これにより、
３次元形状モデル記憶手段２２に記憶された標準３次元
形状モデルが修整される。このフィードバックする処理
が反復的に行われることにより、１回の修整ではカバー
しきれない誤差の補正や形状データの高分解能化が可能
となる。
ルが形状モデル修整手段２６へ出力されると、形状モデ
ル修整手段２６では、その変位ベクトルから修整ベクト
ルが求められ、該求めた修整ベクトルが３次元形状モデ
ル記憶手段２２へフィードバックされる。これにより、
３次元形状モデル記憶手段２２に記憶された標準３次元
形状モデルが修整される。このフィードバックする処理
が反復的に行われることにより、１回の修整ではカバー
しきれない誤差の補正や形状データの高分解能化が可能
となる。
【０１０６】
【発明の効果】以上説明したように、本発明によれば、
撮像された被写体画像と標準３次元形状モデルを基に生
成された対象物画像との差異を基に標準３次元形状モデ
ルの修整が行われるので、補間処理などの複雑な処理が
必要なく、簡単に被写体に関する３次元形状モデルを復
元することができ、スリット光投光手段やマーカーを付
与する手段などの特別な装置を必要としないので、装置
の小型化やコストの低下を図ることができる。また、形
状モデル修整手段による標準３次元形状モデルの修整に
加えて、標準３次元形状モデル修整後の対象物画像がテ
クスチャ修整手段によって修整されるので、より精度の
高い被写体の３次元形状データを得ることができる。
撮像された被写体画像と標準３次元形状モデルを基に生
成された対象物画像との差異を基に標準３次元形状モデ
ルの修整が行われるので、補間処理などの複雑な処理が
必要なく、簡単に被写体に関する３次元形状モデルを復
元することができ、スリット光投光手段やマーカーを付
与する手段などの特別な装置を必要としないので、装置
の小型化やコストの低下を図ることができる。また、形
状モデル修整手段による標準３次元形状モデルの修整に
加えて、標準３次元形状モデル修整後の対象物画像がテ
クスチャ修整手段によって修整されるので、より精度の
高い被写体の３次元形状データを得ることができる。
【０１０７】
【０１０８】
【０１０９】
【０１１０】
【０１１１】
【０１１２】
【０１１３】
【０１１４】
【図１】本発明の第１の実施例の撮像画像処理装置の概
略を示す構成図である。
略を示す構成図である。
【図２】差異抽出手段５にて行なわれる処理の手順を示
すフローチャートである。
すフローチャートである。
【図３】本発明の第２の実施例の撮像画像処理装置にお
ける差異抽出手段での処理を示すフローチャートであ
る。
ける差異抽出手段での処理を示すフローチャートであ
る。
【図４】本発明の第３の実施例の撮像画像処理装置の概
略を示す構成図である。
略を示す構成図である。
【図５】本発明の第５の実施例の撮像画像処理装置の概
略を示す構成図である。
略を示す構成図である。
【図６】図６に示す撮像画像処理装置にて行われる修整
処理を簡略化して示したフローチャートである。
処理を簡略化して示したフローチャートである。
【図７】本発明の第６の実施例の撮像画像処理装置の概
略を示す構成図である。
略を示す構成図である。
【図８】被写体を異なる視点位置から撮像手段１で撮像
するときの様子を示す模式図である。
するときの様子を示す模式図である。
１，１１，２１ 撮像手段 ２，１２，２２ 標準３次元形状モデル記憶手段 ３，１３，２３ 第１の画像記憶手段 ４，１４ 第２の画像記憶手段 ５，１５，２５ 差異抽出手段 ６，１６，２６ 形状モデル修整手段 １７ テクスチャモデル修整手段 ２７ 輪郭線画像抽出手段 ２８ 初期輪郭設定手段 ２９ 動的輪郭処理手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢野 光太郎 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (72)発明者 石川 基博 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (72)発明者 倉橋 直 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (56)参考文献 特開 平２−73471（ＪＰ，Ａ) 特開 平６−309435（ＪＰ，Ａ) 特開 平８−14860（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30 G06T 7/00 G06T 17/00
Claims (7)
- 【請求項１】 撮像手段と、 前記撮像手段によって撮像された所定視点位置からの被
写体画像が記憶される第１の画像記憶手段と、 前記撮像手段によって撮像される被写体に関する標準３
次元形状モデルを記憶し、該標準３次元形状モデルを基
に、前記撮像手段によって撮像された被写体画像に最も
近い視点位置からの対象物画像を生成する３次元形状モ
デル記憶手段と、 前記３次元形状モデル記憶手段によって生成された対象
物画像が記憶される第２の画像記憶手段と、 前記第１の画像記憶手段に記憶された被写体画像と前記
第２の画像記憶手段に記憶された対象物画像との差異を
抽出する差異抽出手段と、 前記差異抽出手段にて抽出された差異を基に前記３次元
形状モデル記憶手段に記憶された標準３次元形状モデル
を修整する形状モデル修整手段とを備え、 前記差異抽出手段は、前記標準３次元形状モデルを修整
するための構造情報に関する差異と、前記３次元形状モ
デル記憶手段によって生成される対象物画像を修整する
ためのテクスチャ情報に関する差異を抽出するものであ
り、前記差異抽出手段によって抽出されたテクスチャ情
報に関する差異を基に、前記３次元形状モデル記憶手段
によって生成された標準３次元モデル修整後の対象物画
像を修整するテクスチャ修整手段を有する ことを特徴と
する撮像画像処理装置。 - 【請求項２】 請求項１に記載の撮像画像処理装置にお
いて、 第１の画像記憶手段に、異なる視点位置からの複数の被
写体画像が記憶され、 第２の画像記憶手段に、前記異なる視点位置からの複数
の被写体画像にそれぞれ対応する複数の対象物画像が記
憶され、 差異抽出手段が、前記第１の画像記憶手段に記憶された
被写体画像と前記第２の画像記憶手段に記憶された対象
物画像の対応するものどうしの差異をそれぞれ抽出し、 形状モデル修整手段が、前記差異抽出手段で抽出された
それぞれの差異を基に３次元形状モデル記憶手段に記憶
された標準３次元形状モデルを修整することを特徴とす
る撮像画像処理装置。 - 【請求項３】 請求項１に記載の撮像画像処理装置にお
いて、 形状モデル修整手段において行われる標準３次元形状モ
デルの修整をアフィン変換係数を用いて行うこととし、
前記形状モデル修整手段が、差異抽出手段で抽出される
差異が最小となるアフィン変換係数を用いて標準３次元
形状モデルの修整を行うことを特徴とする撮像画像処理
装置。 - 【請求項４】 請求項１または請求項２に記載の撮像画
像処理装置において、 ３次元形状モデル記憶手段に記憶される標準３次元形状
モデルが所定形状に分割されたメッシュ状のワイヤーフ
レームモデルであり、 差異抽出手段が、前記ワイヤーフレームモデルのメッシ
ュ状に分割されたそれぞれの要素の中心座標および該中
心座標における法線ベクトルを基に被写体画像および対
象物画像の差異を抽出することを特徴とする撮像処理装
置。 - 【請求項５】 請求項１または請求項２に記載の撮像画
像処理装置において、 ３次元形状モデル記憶手段が、形状モデル修整手段によ
る標準３次元形状モデルの修整が行われた後は、該修整
された標準３次元形状モデルを基に対象物画像を生成す
るものであり、 前記形状モデル修整手段が、差異抽出手段によって抽出
される修整後の標準３次元形状モデルに基づく対象物画
像と被写体画像との差異が所定閾値以下になるまで、標
準３次元形状モデルの修整を反復的に行うことを特徴と
する撮像画像処理装置。 - 【請求項６】 撮像手段により撮像された被写体画像を
基に被写体に関する３次元形状モデルを復元する撮像画
像処理方法であって、 撮像される被写体に関する標準３次元形状モデルを記憶
する第１のステップと、 前記第１のステップで記憶された標準３次元形状モデル
を基に前記撮像手段により撮像された被写体画像に対応
する対象物画像を生成する第２のステップと、 前記第２のステップで抽出された対象物画像と前記撮像
手段により撮像された 被写体画像との差異を抽出する第
３のステップと、 前記第３のステップで抽出された差異を基に前記第１の
ステップで記憶された被写体に関する標準３次元形状モ
デルを修整して被写体の形状モデルを復元する第４のス
テップとからなり、 前記第３のステップは、前記標準３次元形状モデルを修
整するための構造情報に関する差異と、前記３次元形状
モデル記憶手段によって生成される対象物画像を修整す
るためのテクスチャ情報に関する差異を抽出するもので
あり、前記第４のステップは、前記第３のステップで抽
出されたテクスチャ情報に関する差異を基に、前記３次
元形状モデル記憶手段によって生成された標準３次元モ
デル修整後の対象物画像を修整するものであることを特
徴とする撮像画像処理方法 。 - 【請求項７】 請求項６に記載の撮像画像処理方法にお
いて、 第３のステップにおいて、撮像手段によって撮像された
異なる視点位置からの複数の被写体画像と該複数の被写
体画像にそれぞれ対応する異なる視点位置からの複数の
対象物画像とのそれぞれ対応する画像どうしの差異を抽
出し、 第４のステップにおいて、前記第３のステップで抽出さ
れたそれぞれの差異を基に被写体に関する標準３次元形
状モデルを修整することを特徴とする撮像画像処理方
法 。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03671095A JP3347508B2 (ja) | 1995-02-24 | 1995-02-24 | 撮像画像処理装置および撮像画像処理方法 |
| US08/603,613 US5706419A (en) | 1995-02-24 | 1996-02-21 | Image capturing and processing apparatus and image capturing and processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03671095A JP3347508B2 (ja) | 1995-02-24 | 1995-02-24 | 撮像画像処理装置および撮像画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08233556A JPH08233556A (ja) | 1996-09-13 |
| JP3347508B2 true JP3347508B2 (ja) | 2002-11-20 |
Family
ID=12477330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03671095A Expired - Fee Related JP3347508B2 (ja) | 1995-02-24 | 1995-02-24 | 撮像画像処理装置および撮像画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5706419A (ja) |
| JP (1) | JP3347508B2 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6421165B2 (en) * | 1996-02-07 | 2002-07-16 | Light & Sound Design Ltd. | Programmable light beam shape altering device using programmable micromirrors |
| DE59706842D1 (de) * | 1996-04-25 | 2002-05-08 | Definiens Ag | Verfahren zum klassifizieren und wiedererkennen von mustern, wobei eine signatur durch das glätten eines polygonzugs erzeugt wird |
| JP3832895B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置及び画像合成システム |
| JP3558104B2 (ja) * | 1996-08-05 | 2004-08-25 | ソニー株式会社 | ３次元仮想物体表示装置および方法 |
| US5926187A (en) * | 1996-10-18 | 1999-07-20 | Samsung Electronics Co., Ltd. | Video interface and overlay system and process |
| US5982672A (en) * | 1996-10-18 | 1999-11-09 | Samsung Electronics Co., Ltd. | Simultaneous data transfer through read and write buffers of a DMA controller |
| US5966131A (en) * | 1997-02-27 | 1999-10-12 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Dispersion heuristic for design gallery interfaces |
| JPH10336439A (ja) * | 1997-05-28 | 1998-12-18 | Minolta Co Ltd | 画像読取り装置 |
| JP2000111324A (ja) * | 1998-10-08 | 2000-04-18 | Minolta Co Ltd | ３次元形状データの統合処理方法および３次元形状データの表現方法 |
| JP2000215193A (ja) * | 1999-01-26 | 2000-08-04 | Fujitsu Ltd | 最適化問題を解決する処理装置および方法 |
| DE19916978C1 (de) * | 1999-04-15 | 2001-04-26 | Bock Orthopaed Ind | Verfahren zum Vermessen eines Körperbereichs |
| JP4341135B2 (ja) | 2000-03-10 | 2009-10-07 | コニカミノルタホールディングス株式会社 | 物体認識装置 |
| JP2001283216A (ja) | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
| FR2814312B1 (fr) * | 2000-09-07 | 2003-01-24 | France Telecom | Procede de segmentation d'une surface image video par objets elementaires |
| JP4167390B2 (ja) * | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| WO2002099739A1 (en) * | 2001-06-05 | 2002-12-12 | Matrox Electronic Systems Ltd. | Model-based recognition of objects using a calibrated image system |
| GB2381429B (en) * | 2001-09-28 | 2005-07-27 | Canon Europa Nv | 3D computer model processing apparatus |
| JP4035978B2 (ja) * | 2001-10-05 | 2008-01-23 | コニカミノルタホールディングス株式会社 | ３次元形状モデルの評価方法および生成方法並びに装置 |
| GB0126526D0 (en) * | 2001-11-05 | 2002-01-02 | Canon Europa Nv | Three-dimensional computer modelling |
| GB2383245B (en) * | 2001-11-05 | 2005-05-18 | Canon Europa Nv | Image processing apparatus |
| JP3796449B2 (ja) * | 2002-01-31 | 2006-07-12 | キヤノン株式会社 | 位置姿勢決定方法および装置並びにコンピュータプログラム |
| JP4635477B2 (ja) * | 2003-06-10 | 2011-02-23 | カシオ計算機株式会社 | 画像撮影装置、擬似３次元画像生成方法、及び、プログラム |
| JP2005317000A (ja) * | 2004-04-30 | 2005-11-10 | Mitsubishi Electric Research Laboratories Inc | 最適な視点のセットで得られた２ｄ画像からの顔の３ｄ形状構築に最適な視点のセットを求める方法 |
| JP3946716B2 (ja) * | 2004-07-28 | 2007-07-18 | ファナック株式会社 | ロボットシステムにおける３次元視覚センサの再校正方法及び装置 |
| USRE48417E1 (en) * | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| CN101558427B (zh) * | 2007-03-06 | 2012-03-21 | 松下电器产业株式会社 | 图像处理装置以及方法 |
| GB2452544A (en) * | 2007-09-07 | 2009-03-11 | Sony Corp | Transforming an image to a model after identifying the best transform metric |
| JP5121673B2 (ja) * | 2007-11-06 | 2013-01-16 | パナソニック株式会社 | 画像投影装置及び画像投影方法 |
| WO2009061458A1 (en) * | 2007-11-07 | 2009-05-14 | Amfit, Inc. | Impression foam digital scanner |
| KR100920225B1 (ko) * | 2007-12-17 | 2009-10-05 | 한국전자통신연구원 | 영상을 이용한 3차원 그래픽 모델의 정확도 측정 방법 및장치 |
| TWI351653B (en) * | 2008-02-01 | 2011-11-01 | Quanta Comp Inc | System and method for determining coordinates |
| JP2009273116A (ja) * | 2008-04-07 | 2009-11-19 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP5439809B2 (ja) * | 2008-12-25 | 2014-03-12 | 富士通株式会社 | 生体認証装置 |
| JP5291605B2 (ja) * | 2009-12-04 | 2013-09-18 | 日本放送協会 | カメラ姿勢推定装置およびカメラ姿勢推定プログラム |
| WO2012012664A2 (en) * | 2010-07-21 | 2012-01-26 | Moehrle Armin E | Image reporting method |
| JP5561786B2 (ja) * | 2011-03-30 | 2014-07-30 | Ｋｄｄｉ株式会社 | ３次元形状モデル高精度化方法およびプログラム |
| TWI582710B (zh) * | 2015-11-18 | 2017-05-11 | Bravo Ideas Digital Co Ltd | The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image |
| US10679338B2 (en) * | 2017-08-23 | 2020-06-09 | General Electric Company | Three-dimensional modeling of an object |
| JP2020101845A (ja) * | 2018-12-19 | 2020-07-02 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
| KR102187238B1 (ko) * | 2019-02-12 | 2020-12-07 | 동국대학교 산학협력단 | 사용자 참여형 인체 3차원 모델링 장치 및 방법 |
| JP7362453B2 (ja) * | 2019-11-28 | 2023-10-17 | 株式会社日立製作所 | モデル作成装置及びモデル作成方法 |
| JP7403340B2 (ja) | 2020-02-17 | 2023-12-22 | 株式会社日立製作所 | 物体認識モデルの流用可否を判定するシステム。 |
| CN112150638B (zh) * | 2020-09-14 | 2024-01-26 | 北京百度网讯科技有限公司 | 虚拟对象形象合成方法、装置、电子设备和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0486957A (ja) * | 1990-07-31 | 1992-03-19 | Fuji Facom Corp | 立体物外観形状データの入力方法 |
| JP2784097B2 (ja) * | 1991-04-03 | 1998-08-06 | 三菱電機株式会社 | 画像合成器 |
| JPH0512443A (ja) * | 1991-07-05 | 1993-01-22 | Nippon Telegr & Teleph Corp <Ntt> | 動物体の輪郭追跡方法 |
| US5613049A (en) * | 1994-10-26 | 1997-03-18 | The Boeing Company | Method for creating spatially balanced bounding volume hierarchies for use in a computer generated display of a complex structure |
-
1995
- 1995-02-24 JP JP03671095A patent/JP3347508B2/ja not_active Expired - Fee Related
-
1996
- 1996-02-21 US US08/603,613 patent/US5706419A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08233556A (ja) | 1996-09-13 |
| US5706419A (en) | 1998-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3347508B2 (ja) | 撮像画像処理装置および撮像画像処理方法 | |
| JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| US6438507B1 (en) | Data processing method and processing device | |
| US11455746B2 (en) | System and methods for extrinsic calibration of cameras and diffractive optical elements | |
| EP0782100B1 (en) | Three-dimensional shape extraction apparatus and method | |
| EP1589482B1 (en) | Three-dimensional image measuring apparatus and method | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| KR20160116075A (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| EP0842498A2 (en) | Method and system for image combination using a parallax-based technique | |
| JP2003279310A (ja) | 位置姿勢補正装置、及び位置姿勢補正方法 | |
| JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
| JP7474137B2 (ja) | 情報処理装置およびその制御方法 | |
| JP2006337075A (ja) | ３次元情報復元装置 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 | |
| JP2022024688A (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
| JP4324271B2 (ja) | 画像処理装置およびその方法 | |
| JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法 | |
| JP2004020398A (ja) | 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体 | |
| JP3870255B2 (ja) | ３次元復元方法及び装置 | |
| Johnson et al. | Quadric surface projection model for wide-angle lenses | |
| WO2022018811A1 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| JPH10239054A (ja) | 視点・物点位置計測方法及び装置 | |
| JP2586454B2 (ja) | 三次元位置抽出方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110906 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110906 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120906 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120906 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130906 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |