JPH08233556A - 撮像画像処理装置および撮像画像処理方法 - Google Patents
撮像画像処理装置および撮像画像処理方法Info
- Publication number
- JPH08233556A JPH08233556A JP7036710A JP3671095A JPH08233556A JP H08233556 A JPH08233556 A JP H08233556A JP 7036710 A JP7036710 A JP 7036710A JP 3671095 A JP3671095 A JP 3671095A JP H08233556 A JPH08233556 A JP H08233556A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shape model
- subject
- dimensional shape
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Abstract
(57)【要約】
【目的】被写体画像から簡単に３次元形状モデルを復元
することのできる撮像画像処理装置を提供する。 【構成】撮像手段１と、撮像手段１により撮像された所
定視点位置からの被写体画像が記憶される第１の画像記
憶手段３と、撮像された被写体画像に最も近い視点位置
からの対象物画像を標準３次元形状モデルを基に生成す
る３次元形状モデル記憶手段２と、この生成された対象
物画像が記憶される第２の画像記憶手段４と、各画像記
憶手段に記憶された被写体画像と対象物画像との差異を
抽出する差異抽出手段５と、抽出された差異を基に標準
３次元形状モデルを修整する形状モデル修整手段とを有
する。被写体の代表的な形状モデルである標準３次元形
状モデルを被写体画像と対象物画像との差異を基に修整
することにより、被写体の形状モデルを復元する。
することのできる撮像画像処理装置を提供する。 【構成】撮像手段１と、撮像手段１により撮像された所
定視点位置からの被写体画像が記憶される第１の画像記
憶手段３と、撮像された被写体画像に最も近い視点位置
からの対象物画像を標準３次元形状モデルを基に生成す
る３次元形状モデル記憶手段２と、この生成された対象
物画像が記憶される第２の画像記憶手段４と、各画像記
憶手段に記憶された被写体画像と対象物画像との差異を
抽出する差異抽出手段５と、抽出された差異を基に標準
３次元形状モデルを修整する形状モデル修整手段とを有
する。被写体の代表的な形状モデルである標準３次元形
状モデルを被写体画像と対象物画像との差異を基に修整
することにより、被写体の形状モデルを復元する。
Description
【０００１】
【産業上の利用分野】本発明は、撮像して得られる被写
体画像を基にその被写体に関する３次元形状モデルを復
元する撮像画像処理装置および撮像画像処理方法に関す
る。
体画像を基にその被写体に関する３次元形状モデルを復
元する撮像画像処理装置および撮像画像処理方法に関す
る。
【０００２】
【従来の技術】従来、撮像して得られる被写体画像を基
にその被写体に関する３次元形状モデルを復元する技術
としては、例えば、特開平4-306782号公報、特公平5-64
393号公報、特開平4-86957号公報にそれぞれ開示されて
いる以下に挙げる方式および方法がある。
にその被写体に関する３次元形状モデルを復元する技術
としては、例えば、特開平4-306782号公報、特公平5-64
393号公報、特開平4-86957号公報にそれぞれ開示されて
いる以下に挙げる方式および方法がある。
【０００３】（１）特開平4-306782号公報に開示されて
いる方式 スリット光を被写体に照射してこれを１台のカメラで撮
像し、この撮像によって得られた被写体画像から特徴点
を抽出し、その抽出した特徴点に基づいて被写体の３次
元構造情報を算出するスリット光投影法（または光切断
法）を用い、被写体画像の各特徴点における３次元座標
データを算出する。これにより得られた各特徴点におけ
る３次元座標データに基づいて、データベース中に登録
されている基本３次元ワイヤーフレームを被写体画像に
整合して３次元形状モデルの復元を行う。
いる方式 スリット光を被写体に照射してこれを１台のカメラで撮
像し、この撮像によって得られた被写体画像から特徴点
を抽出し、その抽出した特徴点に基づいて被写体の３次
元構造情報を算出するスリット光投影法（または光切断
法）を用い、被写体画像の各特徴点における３次元座標
データを算出する。これにより得られた各特徴点におけ
る３次元座標データに基づいて、データベース中に登録
されている基本３次元ワイヤーフレームを被写体画像に
整合して３次元形状モデルの復元を行う。
【０００４】（２）特公平5-64393号公報に開示されて
いる方法 被写体を複数の視線方向から撮影した２次元撮影画像に
基づき各視線方向からみた被写体の形状を反映する被写
体存在領域を３次元デジタル画像空間内の３次元画素の
集合として記述し、すべての方向からみた被写体存在領
域の共通領域内の３次元画素の集合を３次元デジタル画
像における被写体の３次元形状として求めることにより
３次元形状モデルの復元を行う。
いる方法 被写体を複数の視線方向から撮影した２次元撮影画像に
基づき各視線方向からみた被写体の形状を反映する被写
体存在領域を３次元デジタル画像空間内の３次元画素の
集合として記述し、すべての方向からみた被写体存在領
域の共通領域内の３次元画素の集合を３次元デジタル画
像における被写体の３次元形状として求めることにより
３次元形状モデルの復元を行う。
【０００５】（３）特開平4-86957号公報に開示されて
いる方式 対象の特徴点に近赤外反射テープ背景と異なる色相のマ
ーカーなどを付与して撮像装置にて対象物を複数方向か
ら撮像し、得られた画像から標準の三次元立体モデルを
用いて特徴点または線の３次元座標を抽出する方式であ
る。具体的には、基準となる３次元格子状モデルの各格
子点を各方向から計測した結果と照合、補間して特徴点
位置の較正を行い、固定されたカメラ座標系と基準座標
系との変換テーブルを作成した後、マーカーなどを付け
た測定対象を複数方向から撮像して特徴点の３次元座標
化を行うことにより、物体の３次元形状の復元を行う。
いる方式 対象の特徴点に近赤外反射テープ背景と異なる色相のマ
ーカーなどを付与して撮像装置にて対象物を複数方向か
ら撮像し、得られた画像から標準の三次元立体モデルを
用いて特徴点または線の３次元座標を抽出する方式であ
る。具体的には、基準となる３次元格子状モデルの各格
子点を各方向から計測した結果と照合、補間して特徴点
位置の較正を行い、固定されたカメラ座標系と基準座標
系との変換テーブルを作成した後、マーカーなどを付け
た測定対象を複数方向から撮像して特徴点の３次元座標
化を行うことにより、物体の３次元形状の復元を行う。
【０００６】
【発明が解決しようとする課題】しかしながら、上述し
た各公報に開示されている方式および方法には、それぞ
れ以下のような問題がある。
た各公報に開示されている方式および方法には、それぞ
れ以下のような問題がある。
【０００７】特開平4-306782号公報および特開平4-8695
7号公報に開示されている方式においては、被写体の３
次元形状を直接測定する手段として、スリット光投光手
段やマーカーを付与する手段など特別な装置が必要があ
る。このことは、装置の小型化、低コスト化を図る上で
問題となる。さらには、スリット光投射位置またはマー
カー付与位置以外の点においては、３次元座標は補間な
どの処理により求める必要があるため、処理が複雑とな
るという問題点がある。
7号公報に開示されている方式においては、被写体の３
次元形状を直接測定する手段として、スリット光投光手
段やマーカーを付与する手段など特別な装置が必要があ
る。このことは、装置の小型化、低コスト化を図る上で
問題となる。さらには、スリット光投射位置またはマー
カー付与位置以外の点においては、３次元座標は補間な
どの処理により求める必要があるため、処理が複雑とな
るという問題点がある。
【０００８】特公平5-64393号公報に開示されている方
法においては、視線方向を全方位まんべんなくとる必要
があるため、処理に時間がかかるという問題点がある。
さらには、局所的な凹凸を正確に反映した形状モデルの
復元が困難であるという問題点がある。
法においては、視線方向を全方位まんべんなくとる必要
があるため、処理に時間がかかるという問題点がある。
さらには、局所的な凹凸を正確に反映した形状モデルの
復元が困難であるという問題点がある。
【０００９】本発明の目的は、スリット光投光手段やマ
ーカーを付与する手段などの特別な装置や補間処理など
の複雑な処理を必要とすることのない、被写体画像から
簡単に３次元形状モデルを復元することのできる撮像画
像処理装置を提供することにある。さらには、３次元形
状モデルの復元に局所的な凹凸を正確に反映することの
できる撮像画像処理装置を提供することにある。
ーカーを付与する手段などの特別な装置や補間処理など
の複雑な処理を必要とすることのない、被写体画像から
簡単に３次元形状モデルを復元することのできる撮像画
像処理装置を提供することにある。さらには、３次元形
状モデルの復元に局所的な凹凸を正確に反映することの
できる撮像画像処理装置を提供することにある。
【００１０】
【課題を解決するための手段】本発明の撮像画像処理装
置は、撮像手段と、前記撮像手段によって撮像された所
定視点位置からの被写体画像が記憶される第１の画像記
憶手段と、前記撮像手段によって撮像される被写体に関
する標準３次元形状モデルを記憶し、該標準３次元形状
モデルを基に、前記撮像手段によって撮像された被写体
画像に最も近い視点位置からの対象物画像を生成する３
次元形状モデル記憶手段と、前記３次元形状モデル記憶
手段によって生成された対象物画像が記憶される第２の
画像記憶手段と、前記第１の画像記憶手段に記憶された
被写体画像と前記第２の画像記憶手段に記憶された対象
物画像との差異を抽出する差異抽出手段と、前記差異抽
出手段にて抽出された差異を基に前記３次元形状モデル
記憶手段に記憶された標準３次元形状モデルを修整する
形状モデル修整手段とを有することを特徴とする。
置は、撮像手段と、前記撮像手段によって撮像された所
定視点位置からの被写体画像が記憶される第１の画像記
憶手段と、前記撮像手段によって撮像される被写体に関
する標準３次元形状モデルを記憶し、該標準３次元形状
モデルを基に、前記撮像手段によって撮像された被写体
画像に最も近い視点位置からの対象物画像を生成する３
次元形状モデル記憶手段と、前記３次元形状モデル記憶
手段によって生成された対象物画像が記憶される第２の
画像記憶手段と、前記第１の画像記憶手段に記憶された
被写体画像と前記第２の画像記憶手段に記憶された対象
物画像との差異を抽出する差異抽出手段と、前記差異抽
出手段にて抽出された差異を基に前記３次元形状モデル
記憶手段に記憶された標準３次元形状モデルを修整する
形状モデル修整手段とを有することを特徴とする。
【００１１】この場合、第１の画像記憶手段に、異なる
視点位置からの複数の被写体画像が記憶され、第２の画
像記憶手段に、前記異なる視点位置からの複数の被写体
画像にそれぞれ対応する複数の対象物画像が記憶され、
差異抽出手段が、前記第１の画像記憶手段に記憶された
被写体画像と前記第２の画像記憶手段に記憶された対象
物画像の対応するものどうしの差異をそれぞれ抽出し、
形状モデル修整手段が、前記差異抽出手段で抽出された
それぞれの差異を基に３次元形状モデル記憶手段に記憶
された標準３次元形状モデルを修整するようにしてもよ
い。
視点位置からの複数の被写体画像が記憶され、第２の画
像記憶手段に、前記異なる視点位置からの複数の被写体
画像にそれぞれ対応する複数の対象物画像が記憶され、
差異抽出手段が、前記第１の画像記憶手段に記憶された
被写体画像と前記第２の画像記憶手段に記憶された対象
物画像の対応するものどうしの差異をそれぞれ抽出し、
形状モデル修整手段が、前記差異抽出手段で抽出された
それぞれの差異を基に３次元形状モデル記憶手段に記憶
された標準３次元形状モデルを修整するようにしてもよ
い。
【００１２】さらに、形状モデル修整手段において行わ
れる標準３次元形状モデルの修整をアフィン変換係数を
用いて行うこととし、前記形状モデル修整手段が、差異
抽出手段で抽出される差異が最小となるアフィン変換係
数を用いて標準３次元形状モデルの修整を行うようにし
てもよい。
れる標準３次元形状モデルの修整をアフィン変換係数を
用いて行うこととし、前記形状モデル修整手段が、差異
抽出手段で抽出される差異が最小となるアフィン変換係
数を用いて標準３次元形状モデルの修整を行うようにし
てもよい。
【００１３】上述の撮像画像処理装置において、３次元
形状モデル記憶手段に記憶される標準３次元形状モデル
が所定形状に分割されたメッシュ状のワイヤーフレーム
モデルであり、差異抽出手段が、前記ワイヤーフレーム
モデルのメッシュ状に分割されたそれぞれの要素の中心
座標および該中心座標における法線ベクトルを基に被写
体画像および対象物画像の差異を抽出するようにしても
よい。
形状モデル記憶手段に記憶される標準３次元形状モデル
が所定形状に分割されたメッシュ状のワイヤーフレーム
モデルであり、差異抽出手段が、前記ワイヤーフレーム
モデルのメッシュ状に分割されたそれぞれの要素の中心
座標および該中心座標における法線ベクトルを基に被写
体画像および対象物画像の差異を抽出するようにしても
よい。
【００１４】さらには、３次元形状モデル記憶手段が、
形状モデル修整手段による標準３次元形状モデルの修整
が行われた後は、該修整された標準３次元形状モデルを
基に対象物画像を生成するものであり、前記形状モデル
修整手段が、差異抽出手段によって抽出される修整後の
標準３次元形状モデルに基づく対象物画像と被写体画像
との差異が所定閾値以下になるまで、標準３次元形状モ
デルの修整を反復的に行うようにしてもよい。
形状モデル修整手段による標準３次元形状モデルの修整
が行われた後は、該修整された標準３次元形状モデルを
基に対象物画像を生成するものであり、前記形状モデル
修整手段が、差異抽出手段によって抽出される修整後の
標準３次元形状モデルに基づく対象物画像と被写体画像
との差異が所定閾値以下になるまで、標準３次元形状モ
デルの修整を反復的に行うようにしてもよい。
【００１５】この場合、差異抽出手段が、標準３次元形
状モデルを修整するための構造情報に関する差異と、３
次元形状モデル記憶手段によって生成される対象物画像
を修整するためのテクスチャ情報に関する差異とを抽出
するものであり、前記差異抽出手段によって抽出された
テクスチャ情報に関する差異を基に、３次元形状モデル
記憶手段によって生成された標準３次元形状モデル修整
後の対象物画像を修整するテクスチャ修整手段を有する
ものであってもよい。
状モデルを修整するための構造情報に関する差異と、３
次元形状モデル記憶手段によって生成される対象物画像
を修整するためのテクスチャ情報に関する差異とを抽出
するものであり、前記差異抽出手段によって抽出された
テクスチャ情報に関する差異を基に、３次元形状モデル
記憶手段によって生成された標準３次元形状モデル修整
後の対象物画像を修整するテクスチャ修整手段を有する
ものであってもよい。
【００１６】また、本発明の撮像画像処理装置は、撮像
手段と、前記撮像手段によって撮像された所定視点位置
からの被写体画像が記憶される画像記憶手段と、前記撮
像手段によって撮像される被写体に関する標準３次元形
状モデルが記憶される３次元形状モデル記憶手段と、前
記３次元形状モデル記憶手段に記憶された標準３次元形
状モデルを基に、前記撮像手段によって撮像された被写
体画像に最も近い視点位置からの対象物画像に関する外
輪郭線画像を抽出する輪郭線画像抽出手段と、前記輪郭
線画像抽出手段で抽出された対象物画像に関する外輪郭
線画像の位置およびサイズが前記画像記憶手段に記憶さ
れた被写体画像の画像領域を包接するよう初期輪郭を設
定する初期輪郭設定手段と、前記初期輪郭設定手段で初
期輪郭が設定された外輪郭線画像の輪郭線を基に、前記
画像記憶手段に記憶された被写体画像に関する外輪郭線
画像を生成する動的輪郭処理手段と、前記動的輪郭処理
手段によって生成された被写体画像に関する外輪郭線画
像と前記初期輪郭設定手段によって初期輪郭が設定され
た対象物画像に関する外輪郭線画像との差異を抽出する
差異抽出手段と、前記差異抽出手段によって抽出された
差異を基に前記３次元形状モデル記憶手段に記憶された
標準３次元形状モデルを修整する形状モデル修整手段と
を有することを特徴とする。
手段と、前記撮像手段によって撮像された所定視点位置
からの被写体画像が記憶される画像記憶手段と、前記撮
像手段によって撮像される被写体に関する標準３次元形
状モデルが記憶される３次元形状モデル記憶手段と、前
記３次元形状モデル記憶手段に記憶された標準３次元形
状モデルを基に、前記撮像手段によって撮像された被写
体画像に最も近い視点位置からの対象物画像に関する外
輪郭線画像を抽出する輪郭線画像抽出手段と、前記輪郭
線画像抽出手段で抽出された対象物画像に関する外輪郭
線画像の位置およびサイズが前記画像記憶手段に記憶さ
れた被写体画像の画像領域を包接するよう初期輪郭を設
定する初期輪郭設定手段と、前記初期輪郭設定手段で初
期輪郭が設定された外輪郭線画像の輪郭線を基に、前記
画像記憶手段に記憶された被写体画像に関する外輪郭線
画像を生成する動的輪郭処理手段と、前記動的輪郭処理
手段によって生成された被写体画像に関する外輪郭線画
像と前記初期輪郭設定手段によって初期輪郭が設定され
た対象物画像に関する外輪郭線画像との差異を抽出する
差異抽出手段と、前記差異抽出手段によって抽出された
差異を基に前記３次元形状モデル記憶手段に記憶された
標準３次元形状モデルを修整する形状モデル修整手段と
を有することを特徴とする。
【００１７】この場合、輪郭線画像抽出手段が、差異抽
出手段で抽出される差異が最小となる対象物画像に関す
る外輪郭線画像を抽出するものであってもよい。
出手段で抽出される差異が最小となる対象物画像に関す
る外輪郭線画像を抽出するものであってもよい。
【００１８】また、本発明の撮像画像処理方法は、撮像
手段により撮像された被写体画像を基に被写体に関する
３次元形状モデルを復元する撮像画像処理方法であっ
て、撮像される被写体に関する標準３次元形状モデルを
記憶する第１のステップと、 前記第１のステップで記
憶された標準３次元形状モデルを基に前記撮像手段によ
り撮像される被写体画像に対応する対象物画像を生成す
る第２のステップと、前記第２のステップで生成された
対象物画像と前記撮像手段により撮像された被写体画像
との差異を抽出する第３のステップと、前記第３のステ
ップで抽出された差異を基に前記第１のステップで記憶
された被写体に関する標準３次元形状モデルを修整して
被写体の形状モデルを復元する第４のステップとを含む
ことを特徴とする。
手段により撮像された被写体画像を基に被写体に関する
３次元形状モデルを復元する撮像画像処理方法であっ
て、撮像される被写体に関する標準３次元形状モデルを
記憶する第１のステップと、 前記第１のステップで記
憶された標準３次元形状モデルを基に前記撮像手段によ
り撮像される被写体画像に対応する対象物画像を生成す
る第２のステップと、前記第２のステップで生成された
対象物画像と前記撮像手段により撮像された被写体画像
との差異を抽出する第３のステップと、前記第３のステ
ップで抽出された差異を基に前記第１のステップで記憶
された被写体に関する標準３次元形状モデルを修整して
被写体の形状モデルを復元する第４のステップとを含む
ことを特徴とする。
【００１９】この場合、第３のステップにおいて、撮像
手段によって撮像された異なる視点位置からの複数の被
写体画像と該複数の被写体画像にそれぞれ対応する異な
る視点位置からの複数の対象物画像とのそれぞれ対応す
る画像どうしの差異を抽出し、第４のステップにおい
て、前記第３のステップで抽出されたそれぞれの差異を
基に被写体に関する標準３次元形状モデルを修整するよ
うにしてもよい。
手段によって撮像された異なる視点位置からの複数の被
写体画像と該複数の被写体画像にそれぞれ対応する異な
る視点位置からの複数の対象物画像とのそれぞれ対応す
る画像どうしの差異を抽出し、第４のステップにおい
て、前記第３のステップで抽出されたそれぞれの差異を
基に被写体に関する標準３次元形状モデルを修整するよ
うにしてもよい。
【００２０】また、本発明の撮像画像処理方法は、撮像
手段により撮像された被写体画像を基に被写体に関する
３次元形状モデルを復元する撮像画像処理方法であっ
て、撮像される被写体に関する標準３次元形状モデルを
記憶する第１のステップと、 前記第１のステップで記
憶された標準３次元形状モデルを基に、前記撮像手段に
より撮像される被写体画像に対応する対象物画像の外輪
郭線画像を抽出する第２のステップと、前記第２のステ
ップで抽出された対象物画像に関する外輪郭線画像の位
置およびサイズを前記撮像手段により撮像された被写体
画像の画像領域を包接するよう初期輪郭を設定する第３
のステップと、前記第３のステップで初期輪郭が設定さ
れた対象物画像に関する外輪郭線画像の輪郭線を基に、
前記撮像手段により撮像された被写体画像に関する外輪
郭線画像を生成する第４のステップと、前記第４のステ
ップで生成された被写体画像に関する外輪郭線画像と前
記第３のステップで初期輪郭が設定された対象物画像に
関する外輪郭線画像との差異を抽出する第５のステップ
と、前記第５のステップで抽出された差異を基に、前記
第１のステップで記憶された被写体に関する標準３次元
形状モデルを修整して被写体の形状モデルを復元する第
６のステップとを含むことを特徴とする。
手段により撮像された被写体画像を基に被写体に関する
３次元形状モデルを復元する撮像画像処理方法であっ
て、撮像される被写体に関する標準３次元形状モデルを
記憶する第１のステップと、 前記第１のステップで記
憶された標準３次元形状モデルを基に、前記撮像手段に
より撮像される被写体画像に対応する対象物画像の外輪
郭線画像を抽出する第２のステップと、前記第２のステ
ップで抽出された対象物画像に関する外輪郭線画像の位
置およびサイズを前記撮像手段により撮像された被写体
画像の画像領域を包接するよう初期輪郭を設定する第３
のステップと、前記第３のステップで初期輪郭が設定さ
れた対象物画像に関する外輪郭線画像の輪郭線を基に、
前記撮像手段により撮像された被写体画像に関する外輪
郭線画像を生成する第４のステップと、前記第４のステ
ップで生成された被写体画像に関する外輪郭線画像と前
記第３のステップで初期輪郭が設定された対象物画像に
関する外輪郭線画像との差異を抽出する第５のステップ
と、前記第５のステップで抽出された差異を基に、前記
第１のステップで記憶された被写体に関する標準３次元
形状モデルを修整して被写体の形状モデルを復元する第
６のステップとを含むことを特徴とする。
【００２１】
【作用】本発明の画像処理装置および処理方法では、被
写体の代表的な形状モデル、例えば、被写体が特定の男
性の頭部であれば、男性の標準的な頭部の形状モデルが
標準３次元形状モデルとして記憶される。そして、その
記憶された標準３次元形状モデルを基に、撮像手段によ
り撮像された被写体画像に対応する対象物画像、すなわ
ち、視点位置（視線方向）および画像サイズが被写体画
像と同じ対象物画像が生成される。このようにして生成
された対象物画像と被写体画像の差異は、被写体と標準
３次元形状モデルとの３次元形状の差異および各部（例
えば目、口など）の２次元的形状または配置の差異を反
映している。したがって、対象物画像と被写体画像の差
異を基に被写体の標準３次元形状モデルを修整すれば、
その修整された標準３次元形状モデルには、被写体と標
準３次元形状モデルとの３次元形状の差異、および各部
の２次元的形状または配置の差異が反映されることとな
る。このように、本発明では、被写体画像と標準３次元
形状モデルを基に生成された対象物画像との差異を基に
標準３次元形状モデルの修整を行うことにより被写体に
関する３次元形状モデルの復元を行うことができるの
で、スリット光投光手段やマーカーを付与する手段など
の特別な装置や補間処理などの複雑な処理は必要ない。
写体の代表的な形状モデル、例えば、被写体が特定の男
性の頭部であれば、男性の標準的な頭部の形状モデルが
標準３次元形状モデルとして記憶される。そして、その
記憶された標準３次元形状モデルを基に、撮像手段によ
り撮像された被写体画像に対応する対象物画像、すなわ
ち、視点位置（視線方向）および画像サイズが被写体画
像と同じ対象物画像が生成される。このようにして生成
された対象物画像と被写体画像の差異は、被写体と標準
３次元形状モデルとの３次元形状の差異および各部（例
えば目、口など）の２次元的形状または配置の差異を反
映している。したがって、対象物画像と被写体画像の差
異を基に被写体の標準３次元形状モデルを修整すれば、
その修整された標準３次元形状モデルには、被写体と標
準３次元形状モデルとの３次元形状の差異、および各部
の２次元的形状または配置の差異が反映されることとな
る。このように、本発明では、被写体画像と標準３次元
形状モデルを基に生成された対象物画像との差異を基に
標準３次元形状モデルの修整を行うことにより被写体に
関する３次元形状モデルの復元を行うことができるの
で、スリット光投光手段やマーカーを付与する手段など
の特別な装置や補間処理などの複雑な処理は必要ない。
【００２２】本発明のうち異なる視点からの複数の被写
体画像とこれらに対応する複数の対象物画像との差異を
基に３次元形状モデルの復元が行われる装置および方法
においては、標準３次元形状モデルの修整が異なる視点
位置からの複数の被写体画像とこれらにそれぞれ対応す
る複数の対象物画像との差異を基に行われるので、局所
的な凹凸を異なる視点位置から修整することができ、局
所的な凹凸を正確に反映した標準３次元形状モデルの修
整を行うことができる。
体画像とこれらに対応する複数の対象物画像との差異を
基に３次元形状モデルの復元が行われる装置および方法
においては、標準３次元形状モデルの修整が異なる視点
位置からの複数の被写体画像とこれらにそれぞれ対応す
る複数の対象物画像との差異を基に行われるので、局所
的な凹凸を異なる視点位置から修整することができ、局
所的な凹凸を正確に反映した標準３次元形状モデルの修
整を行うことができる。
【００２３】本発明のうち差異抽出手段で抽出された差
異から求められる標準３次元形状モデルを修整するため
の変換係数をアフィン変換係数によって与えるものにお
いては、形状モデル修整手段による標準３次元形状モデ
ルの修整が、被写体画像上の点に対応する標準３次元形
状モデル上の点の３次元アフィン変換係数を用いて行わ
れるので、被写体画像と対象物画像との画像データ（例
えば各画素の輝度、色相データ）の差を基に修整が行わ
れるものに比べて標準３次元形状モデルの修整を簡単に
行うことができる。
異から求められる標準３次元形状モデルを修整するため
の変換係数をアフィン変換係数によって与えるものにお
いては、形状モデル修整手段による標準３次元形状モデ
ルの修整が、被写体画像上の点に対応する標準３次元形
状モデル上の点の３次元アフィン変換係数を用いて行わ
れるので、被写体画像と対象物画像との画像データ（例
えば各画素の輝度、色相データ）の差を基に修整が行わ
れるものに比べて標準３次元形状モデルの修整を簡単に
行うことができる。
【００２４】本発明のうち形状モデル修整手段による標
準３次元形状モデルの修整が反復的に行われるものにお
いては、差異抽出手段によって抽出される差異が所定閾
値以下になるまで３次元形状モデル修整手段による標準
３次元形状モデルの修整処理が反復的に行われるので、
１回の修整ではカバーしきれない誤差の補正や形状デー
タの修整を行うことがきる。
準３次元形状モデルの修整が反復的に行われるものにお
いては、差異抽出手段によって抽出される差異が所定閾
値以下になるまで３次元形状モデル修整手段による標準
３次元形状モデルの修整処理が反復的に行われるので、
１回の修整ではカバーしきれない誤差の補正や形状デー
タの修整を行うことがきる。
【００２５】本発明のうちテクスチャ修整手段によって
標準３次元形状モデル修整後の対象物画像が修整される
ものにおいては、形状モデル修整手段による標準３次元
形状モデルの修整に加えて、標準３次元形状モデル修整
後の対象物画像がテクスチャ修整手段によって修整され
るので、より精度の高い被写体の３次元形状データを得
ることができる。
標準３次元形状モデル修整後の対象物画像が修整される
ものにおいては、形状モデル修整手段による標準３次元
形状モデルの修整に加えて、標準３次元形状モデル修整
後の対象物画像がテクスチャ修整手段によって修整され
るので、より精度の高い被写体の３次元形状データを得
ることができる。
【００２６】本発明のうち被写体画像に関する外輪郭線
画像と対象物画像に関する外輪郭線画像との差異を基に
標準３次元形状モデルの修整が行われるものおよび方法
においては、標準３次元形状モデルを基に被写体画像に
対応する対象物画像の外輪郭線画像が抽出され、該抽出
された対象物画像に関する外輪郭線画像の位置およびサ
イズが画像記憶手段に記憶された被写体画像の画像領域
を包接するよう初期輪郭の設定が行われる。この初期輪
郭の設定により、対象物画像に関する外輪郭線画像の視
点位置および画像サイズが画像記憶手段に記憶された被
写体画像とほぼ同じものとなる。このように、本発明で
は、初期輪郭が設定された対象物画像に関する外輪郭線
画像は視点位置および画像サイズが被写体画像とほぼ同
じものとなっているので、後述の実施例にて説明する動
的輪郭法を用いることにより高速かつ簡単に被写体に関
する外輪郭線画像を求めることができる。また、これら
外輪郭線画像の差異も上述したように被写体と標準３次
元形状モデルとの３次元形状の差異、および各部の２次
元的形状または配置の差異を反映していることから、そ
の差異に基づいて標準３次元形状モデルを修整すること
により、被写体に関する３次元形状モデルの復元を行う
ことができる。
画像と対象物画像に関する外輪郭線画像との差異を基に
標準３次元形状モデルの修整が行われるものおよび方法
においては、標準３次元形状モデルを基に被写体画像に
対応する対象物画像の外輪郭線画像が抽出され、該抽出
された対象物画像に関する外輪郭線画像の位置およびサ
イズが画像記憶手段に記憶された被写体画像の画像領域
を包接するよう初期輪郭の設定が行われる。この初期輪
郭の設定により、対象物画像に関する外輪郭線画像の視
点位置および画像サイズが画像記憶手段に記憶された被
写体画像とほぼ同じものとなる。このように、本発明で
は、初期輪郭が設定された対象物画像に関する外輪郭線
画像は視点位置および画像サイズが被写体画像とほぼ同
じものとなっているので、後述の実施例にて説明する動
的輪郭法を用いることにより高速かつ簡単に被写体に関
する外輪郭線画像を求めることができる。また、これら
外輪郭線画像の差異も上述したように被写体と標準３次
元形状モデルとの３次元形状の差異、および各部の２次
元的形状または配置の差異を反映していることから、そ
の差異に基づいて標準３次元形状モデルを修整すること
により、被写体に関する３次元形状モデルの復元を行う
ことができる。
【００２７】本発明のうち差異抽出手段で抽出される差
異が最小となる対象物画像に関する外輪郭線画像を抽出
するものにおいては、初期輪郭設定手段によって設定さ
れた対象物画像に関する外輪郭線画像と動的輪郭処理手
段によって生成された被写体画像に関する外輪郭線画像
とは最も類似度の高い画像データとなるので、より正確
な標準３次元形状モデルの修整を行うことができる。
異が最小となる対象物画像に関する外輪郭線画像を抽出
するものにおいては、初期輪郭設定手段によって設定さ
れた対象物画像に関する外輪郭線画像と動的輪郭処理手
段によって生成された被写体画像に関する外輪郭線画像
とは最も類似度の高い画像データとなるので、より正確
な標準３次元形状モデルの修整を行うことができる。
【００２８】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
て説明する。
【００２９】＜第１の実施例＞図１は、本発明の第１の
実施例の撮像画像処理装置の概略を示す構成図である。
同図において、１は撮像手段、２は標準３次元形状モデ
ル記憶手段、３は第１の画像記憶手段、４は第２の画像
記憶手段、５は差異抽出手段、６は形状モデル修整手段
である。以下、これら各構成部について詳しく説明す
る。
実施例の撮像画像処理装置の概略を示す構成図である。
同図において、１は撮像手段、２は標準３次元形状モデ
ル記憶手段、３は第１の画像記憶手段、４は第２の画像
記憶手段、５は差異抽出手段、６は形状モデル修整手段
である。以下、これら各構成部について詳しく説明す
る。
【００３０】撮像手段１は、ズーム機構等を備える撮像
カメラである。この撮像手段１によって撮像された被写
体画像は、第１の画像記憶手段３に一時的に保持され
る。
カメラである。この撮像手段１によって撮像された被写
体画像は、第１の画像記憶手段３に一時的に保持され
る。
【００３１】標準３次元形状モデル記憶手段２は、予め
被写体となる対象物の標準３次元形状モデル、例えば、
対象物の表面を所定形状（三角形など）のメッシュで分
割して得られる、いわゆるワイヤーフレームモデルを記
憶しており、この記憶したワイヤーフレームモデルを所
定方向から見た状態のものに、各分割領域における濃淡
情報等（テクスチャ）をマッピングして、対象物を所定
方向から見た２次元のモデル対象画像（以下、対象物画
像という）を生成する。この標準３次元形状モデル記憶
手段２によって生成された対象物画像は、第２の画像記
憶手段４に記憶される。
被写体となる対象物の標準３次元形状モデル、例えば、
対象物の表面を所定形状（三角形など）のメッシュで分
割して得られる、いわゆるワイヤーフレームモデルを記
憶しており、この記憶したワイヤーフレームモデルを所
定方向から見た状態のものに、各分割領域における濃淡
情報等（テクスチャ）をマッピングして、対象物を所定
方向から見た２次元のモデル対象画像（以下、対象物画
像という）を生成する。この標準３次元形状モデル記憶
手段２によって生成された対象物画像は、第２の画像記
憶手段４に記憶される。
【００３２】差異抽出手段５は、第２の画像記憶手段４
に記憶された対象物画像と、第１の画像記憶手段３に記
憶された被写体画像との差異を抽出する手段である。こ
の差異抽出手段５では、対象物画像と被写体画像とが比
較され、３次元形状情報に関する差異を反映した情報
（詳細は後述する）が抽出される。
に記憶された対象物画像と、第１の画像記憶手段３に記
憶された被写体画像との差異を抽出する手段である。こ
の差異抽出手段５では、対象物画像と被写体画像とが比
較され、３次元形状情報に関する差異を反映した情報
（詳細は後述する）が抽出される。
【００３３】形状モデル修整手段６は、上記差異抽出手
段５によって抽出される差異を反映した情報を基に、上
述した標準３次元形状モデル記憶手段２に記憶された標
準３次元形状モデルを修整する手段である。この形状モ
デル修整手段６では、対象物画像が同一視点位置におい
て撮像して得られた被写体画像に近くなるように、標準
３次元形状モデルが修整される。
段５によって抽出される差異を反映した情報を基に、上
述した標準３次元形状モデル記憶手段２に記憶された標
準３次元形状モデルを修整する手段である。この形状モ
デル修整手段６では、対象物画像が同一視点位置におい
て撮像して得られた被写体画像に近くなるように、標準
３次元形状モデルが修整される。
【００３４】以下、上述の撮像画像処理装置の具体的な
処理について説明する。
処理について説明する。
【００３５】標準３次元形状モデル記憶手段２には、３
次元形状測定を行なうとする被写体を代表するもの、例
えば特定の人物（男性）の頭部を被写体とする場合に
は、「男性の標準的な頭部３次元形状モデル」が、例え
ばワイヤーフレームモデルとして記憶される。ここで、
標準３次元形状モデル記憶手段２は、ワイヤーフレーム
モデルとして記憶された「男性の標準的な頭部３次元形
状モデル」を所定方向から見たものにテクスチャマッピ
ングを施すことにより、所定照明条件で所定視点位置か
ら見た画像を生成してもよいし、或は所定視点位置から
見たワイヤーフレームのみの画像を生成してもよい。ま
た、視点位置を予め設定せずに、差異抽出手段５の出力
を標準３次元形状モデル記憶手段２にフィードバックし
て最適な視点位置を求めるよう構成（不図示）して、そ
の求められた最適な視点位置から画像を生成するように
してもよい。なお、記憶されるワイヤーフレームモデル
は被写体に応じて設定可能であり、そのための情報は例
えば内部または外部に設けられたメモリから得られる。
次元形状測定を行なうとする被写体を代表するもの、例
えば特定の人物（男性）の頭部を被写体とする場合に
は、「男性の標準的な頭部３次元形状モデル」が、例え
ばワイヤーフレームモデルとして記憶される。ここで、
標準３次元形状モデル記憶手段２は、ワイヤーフレーム
モデルとして記憶された「男性の標準的な頭部３次元形
状モデル」を所定方向から見たものにテクスチャマッピ
ングを施すことにより、所定照明条件で所定視点位置か
ら見た画像を生成してもよいし、或は所定視点位置から
見たワイヤーフレームのみの画像を生成してもよい。ま
た、視点位置を予め設定せずに、差異抽出手段５の出力
を標準３次元形状モデル記憶手段２にフィードバックし
て最適な視点位置を求めるよう構成（不図示）して、そ
の求められた最適な視点位置から画像を生成するように
してもよい。なお、記憶されるワイヤーフレームモデル
は被写体に応じて設定可能であり、そのための情報は例
えば内部または外部に設けられたメモリから得られる。
【００３６】標準３次元形状モデル記憶手段２は、上述
の方法のいずれかにより生成した所定視点位置から見た
画像を、対象物画像として第２の画像記憶手段４に記憶
させるもので、所定位置の決定については撮像者が入力
するように構成してもよいく、また撮像手段１による撮
像データから判断するように構成してもよい。この判断
基準としては、特徴点を用いることができ、最も特徴点
が近くなる視点位置を採用してもよい。
の方法のいずれかにより生成した所定視点位置から見た
画像を、対象物画像として第２の画像記憶手段４に記憶
させるもので、所定位置の決定については撮像者が入力
するように構成してもよいく、また撮像手段１による撮
像データから判断するように構成してもよい。この判断
基準としては、特徴点を用いることができ、最も特徴点
が近くなる視点位置を採用してもよい。
【００３７】撮像手段１は、３次元形状測定を行なうと
する被写体を所定の視点位置から撮像し、得られた被写
体画像を第２の記憶手段４に記憶させる。図８は、被写
体を異なる視点位置から撮像手段１で撮像するときの様
子を示す模式図である。図中、撮像手段１の撮像位置は
便宜上ＸＹ面内で４箇所で示されているが、使用する撮
像位置は、例えば実線で示した撮像装置１の１箇所であ
る。なお、撮像位置は、便宜上ＸＹ面内における位置し
か示していないが、必要があればこのＸＹ面内に限ら
ず、異なる面内における視点位置、視線方向であっても
よい。
する被写体を所定の視点位置から撮像し、得られた被写
体画像を第２の記憶手段４に記憶させる。図８は、被写
体を異なる視点位置から撮像手段１で撮像するときの様
子を示す模式図である。図中、撮像手段１の撮像位置は
便宜上ＸＹ面内で４箇所で示されているが、使用する撮
像位置は、例えば実線で示した撮像装置１の１箇所であ
る。なお、撮像位置は、便宜上ＸＹ面内における位置し
か示していないが、必要があればこのＸＹ面内に限ら
ず、異なる面内における視点位置、視線方向であっても
よい。
【００３８】本実施例では、上述の第２の画像記憶手段
４に記憶される対象物画像と第１の画像記憶手段３に記
憶される被写体画像とは、画像サイズがほぼ一致するよ
う調整される。この画像サイズの調整には、第２の画像
記憶手段４に記憶された対象物画像に対して撮像手段１
にて撮像される被写体画像の画像サイズを調節する場合
と、これとは反対に、第１の画像記憶手段３に記憶され
た被写体画像に対して標準３次元形状モデル記憶手段２
にて生成される対象物画像の画像サイズを調節する場合
とがある。
４に記憶される対象物画像と第１の画像記憶手段３に記
憶される被写体画像とは、画像サイズがほぼ一致するよ
う調整される。この画像サイズの調整には、第２の画像
記憶手段４に記憶された対象物画像に対して撮像手段１
にて撮像される被写体画像の画像サイズを調節する場合
と、これとは反対に、第１の画像記憶手段３に記憶され
た被写体画像に対して標準３次元形状モデル記憶手段２
にて生成される対象物画像の画像サイズを調節する場合
とがある。
【００３９】対象物画像に対して撮像手段１にて撮像さ
れる被写体画像の画像サイズを調節する場合は、撮像手
段１で撮像される画像（第１の画像記憶手段３に記憶さ
れる画像）のサイズが、第２の画像記憶手段４に記憶さ
れた対象物画像のサイズとほぼ等しくなるように、被写
体に対する撮像手段１の撮像位置が調節される。この被
写体に対する撮像手段１の撮像位置の調節は、撮像手段
１のズーミング機能を用いて行なうこともできる。
れる被写体画像の画像サイズを調節する場合は、撮像手
段１で撮像される画像（第１の画像記憶手段３に記憶さ
れる画像）のサイズが、第２の画像記憶手段４に記憶さ
れた対象物画像のサイズとほぼ等しくなるように、被写
体に対する撮像手段１の撮像位置が調節される。この被
写体に対する撮像手段１の撮像位置の調節は、撮像手段
１のズーミング機能を用いて行なうこともできる。
【００４０】他方、被写体画像に対して標準３次元形状
モデル記憶手段２にて生成される対象物画像の画像サイ
ズを調節する場合は、標準３次元形状モデル記憶手段２
において、例えば所定視点位置、所定照明条件下での対
象物画像標準を３Ｄコンピュータグラフィクスの手法を
用いて生成する際に、その生成される対象物画像のサイ
ズが第１の画像記憶手段３に記憶された被写体画像のサ
イズとほぼ等しくなるように調節される。
モデル記憶手段２にて生成される対象物画像の画像サイ
ズを調節する場合は、標準３次元形状モデル記憶手段２
において、例えば所定視点位置、所定照明条件下での対
象物画像標準を３Ｄコンピュータグラフィクスの手法を
用いて生成する際に、その生成される対象物画像のサイ
ズが第１の画像記憶手段３に記憶された被写体画像のサ
イズとほぼ等しくなるように調節される。
【００４１】上述の対象物画像と被写体画像との画像サ
イズの調節により、撮像手段１にて撮像された画像（第
１の画像記憶手段３に記憶される被写体画像）の座標系
は、第２の画像記憶手段４に記憶された対象物画像にお
ける基準座標系と概略一致する右手系直交座標系とな
る。この座標系において、Ｚ軸（不図示）はＸＹ面と直
交するものとする。
イズの調節により、撮像手段１にて撮像された画像（第
１の画像記憶手段３に記憶される被写体画像）の座標系
は、第２の画像記憶手段４に記憶された対象物画像にお
ける基準座標系と概略一致する右手系直交座標系とな
る。この座標系において、Ｚ軸（不図示）はＸＹ面と直
交するものとする。
【００４２】以上のようにして、第１および第２の画像
記憶手段にそれぞれ画像サイズのほぼ等しい被写体画像
および対象物画像が記憶されると、続いて、これらの画
像の差異、例えば、これら画像間の対応する点の変位が
変位ベクトルとして以下のように求められる。
記憶手段にそれぞれ画像サイズのほぼ等しい被写体画像
および対象物画像が記憶されると、続いて、これらの画
像の差異、例えば、これら画像間の対応する点の変位が
変位ベクトルとして以下のように求められる。
【００４３】図２は、差異抽出手段５にて行なわれる処
理の手順を示すフローチャートである。
理の手順を示すフローチャートである。
【００４４】まず、第１および第２の画像記憶手段のそ
れぞれから、画像サイズのほぼ等しい（視点位置または
視線方向がそれぞれ同じ）被写体画像（またはそのシル
エット画像）と対象物画像（またはそのシルエット画
像）とを入力する（Ｓ１０１，Ｓ１０２）。次いで、入
力された各画像（または各シルエット画像）のそれぞれ
の重心位置を求め、その求めた重心位置が互いに一致す
るように各画像間のアライメントを行なう（Ｓ１０
３）。その後、それぞれの画像の輪郭線抽出処理（Ｓ１
０４）を行い、得られる輪郭線画像間の差異を一方の画
像から他方の画像へ輪郭線上の各点が変位したと仮定し
て、その変位を示す、いわゆる変位ベクトルを求める
（Ｓ１０５）。この標準３次元形状モデルの画像の輪郭
線上各点の変位ベクトルに基づいて差異抽出手段５から
の出力が決定される。変位ベクトルが求められると、例
えば、被写体画像の各画素にそれぞれ対応する対象物画
像の画素、または被写体画像の輪郭線上各点に対応する
標準３次元モデル（ワイヤーフレームモデル）上の３次
元位置座標（座標軸は対象物上に任意に設定してよい）
と、それぞれの画素または点における２次元（視線方向
と略直交する像面内）変位ベクトルとを出力する（Ｓ１
０６）。
れぞれから、画像サイズのほぼ等しい（視点位置または
視線方向がそれぞれ同じ）被写体画像（またはそのシル
エット画像）と対象物画像（またはそのシルエット画
像）とを入力する（Ｓ１０１，Ｓ１０２）。次いで、入
力された各画像（または各シルエット画像）のそれぞれ
の重心位置を求め、その求めた重心位置が互いに一致す
るように各画像間のアライメントを行なう（Ｓ１０
３）。その後、それぞれの画像の輪郭線抽出処理（Ｓ１
０４）を行い、得られる輪郭線画像間の差異を一方の画
像から他方の画像へ輪郭線上の各点が変位したと仮定し
て、その変位を示す、いわゆる変位ベクトルを求める
（Ｓ１０５）。この標準３次元形状モデルの画像の輪郭
線上各点の変位ベクトルに基づいて差異抽出手段５から
の出力が決定される。変位ベクトルが求められると、例
えば、被写体画像の各画素にそれぞれ対応する対象物画
像の画素、または被写体画像の輪郭線上各点に対応する
標準３次元モデル（ワイヤーフレームモデル）上の３次
元位置座標（座標軸は対象物上に任意に設定してよい）
と、それぞれの画素または点における２次元（視線方向
と略直交する像面内）変位ベクトルとを出力する（Ｓ１
０６）。
【００４５】なお、上記のような輪郭抽出処理は行わ
ず、対象物画像と被写体画像間上の各点で、次のような
動きベクトル検出用画像処理アルゴリズムにより変位ベ
クトルの検出を行ってもよい。典型的には、所定サイズ
のブロックに分割した２つの画像間において、一方の画
像中のある画素を中心としたブロックに対して画像デー
タが最大の相互相関値（あるいは最小二乗誤差）を与え
る他方の画像中のブロック中心の相対位置ベクトルを計
算することにより求めることができる。
ず、対象物画像と被写体画像間上の各点で、次のような
動きベクトル検出用画像処理アルゴリズムにより変位ベ
クトルの検出を行ってもよい。典型的には、所定サイズ
のブロックに分割した２つの画像間において、一方の画
像中のある画素を中心としたブロックに対して画像デー
タが最大の相互相関値（あるいは最小二乗誤差）を与え
る他方の画像中のブロック中心の相対位置ベクトルを計
算することにより求めることができる。
【００４６】また、対象物画像および被写体画像はそれ
ぞれ対象物と被写体を同一方向（既知とする）から見た
ものとなっていることから、本実施例では、輪郭抽出を
行う場合は、変位ベクトルの検出をいわゆる動的輪郭追
跡（特開平５−１２４４３号公報参照）の手法を用いた
り、対象物画像の輪郭線上の各点での輪郭線接線ベクト
ルと略直交する方向に探索したりして行うか、または変
位ベクトルの大きさが各点で極小となるように選んでも
よい。
ぞれ対象物と被写体を同一方向（既知とする）から見た
ものとなっていることから、本実施例では、輪郭抽出を
行う場合は、変位ベクトルの検出をいわゆる動的輪郭追
跡（特開平５−１２４４３号公報参照）の手法を用いた
り、対象物画像の輪郭線上の各点での輪郭線接線ベクト
ルと略直交する方向に探索したりして行うか、または変
位ベクトルの大きさが各点で極小となるように選んでも
よい。
【００４７】上述のようにして求められた変位ベクトル
（２次元）が差異抽出手段５から出力されると、形状モ
デル修整手段６では、その２次元変位ベクトルから標準
３次元形状モデル記憶手段２に記憶された標準３次元モ
デル（ワイヤーフレームモデル）を修整するための修整
ベクトルが求められ、この求めた修整ベクトルを基に標
準３次元モデルの修整が行なわれる。この２次元変位ベ
クトルから修整ベクトルを求める場合、対象物画像の輪
郭線上の点に基づいて求められた２次元変位ベクトルか
ら修整ベクトルを求める場合と、対象物画像上の任意の
点に基づいて求められた２次元変位ベクトルから修整ベ
クトルを求める場合とがある。以下に、それぞれの場合
において求められる修整ベクトルの一例を挙げる。
（２次元）が差異抽出手段５から出力されると、形状モ
デル修整手段６では、その２次元変位ベクトルから標準
３次元形状モデル記憶手段２に記憶された標準３次元モ
デル（ワイヤーフレームモデル）を修整するための修整
ベクトルが求められ、この求めた修整ベクトルを基に標
準３次元モデルの修整が行なわれる。この２次元変位ベ
クトルから修整ベクトルを求める場合、対象物画像の輪
郭線上の点に基づいて求められた２次元変位ベクトルか
ら修整ベクトルを求める場合と、対象物画像上の任意の
点に基づいて求められた２次元変位ベクトルから修整ベ
クトルを求める場合とがある。以下に、それぞれの場合
において求められる修整ベクトルの一例を挙げる。
【００４８】（１）対象物画像の輪郭線上の点に基づい
て求められた２次元変位ベクトルから修整ベクトルを求
める場合 撮像手段の光軸または視線方向を軸とする回転角度θ
は、対象画像を生成する際の視線方向を軸とする同様な
回転角度θM と等しいものとする。対象物画像上の点
（ｉ，ｊ）に対応する標準３次元形状モデル上の点を
（Ｘij，Ｙij，Ｚij）、変位ベクトルを
て求められた２次元変位ベクトルから修整ベクトルを求
める場合 撮像手段の光軸または視線方向を軸とする回転角度θ
は、対象画像を生成する際の視線方向を軸とする同様な
回転角度θM と等しいものとする。対象物画像上の点
（ｉ，ｊ）に対応する標準３次元形状モデル上の点を
（Ｘij，Ｙij，Ｚij）、変位ベクトルを
【００４９】
【外１】 とすると、修整ベクトル
【００５０】
【外２】 は、
【００５１】
【数１】 で表すことができ、この式を基に求めることができる。
ここで、
ここで、
【００５２】
【外３】 は、点（Ｘij，Ｙij，Ｚij）上の法線ベクトル、Ｃは定
数であり、第１および第２の記憶手段にそれぞれ記憶さ
れた対象物画像および被写体画像のノーマライズ（画像
サイズを一致させること）を行う条件を決めるものであ
る。この定数Ｃは、第１の記憶手段に記憶された対象物
画像のサイズ、或はその対象物画像に関する焦点距離、
物体距離などに応じてユーザが適宜設定することができ
る。
数であり、第１および第２の記憶手段にそれぞれ記憶さ
れた対象物画像および被写体画像のノーマライズ（画像
サイズを一致させること）を行う条件を決めるものであ
る。この定数Ｃは、第１の記憶手段に記憶された対象物
画像のサイズ、或はその対象物画像に関する焦点距離、
物体距離などに応じてユーザが適宜設定することができ
る。
【００５３】（２）対象物画像上の任意の点に基づいて
求められた２次元変位ベクトルから修整ベクトルを求め
る場合 上述の（１）の場合と同様に、対象物画像上の点（ｉ，
ｊ）に対応する標準３次元形状モデル上の点を（Ｘij，
Ｙij，Ｚij）、変位ベクトルを
求められた２次元変位ベクトルから修整ベクトルを求め
る場合 上述の（１）の場合と同様に、対象物画像上の点（ｉ，
ｊ）に対応する標準３次元形状モデル上の点を（Ｘij，
Ｙij，Ｚij）、変位ベクトルを
【００５４】
【外４】 とすると、修整ベクトル
【００５５】
【外５】 は、
【００５６】
【数２】 で表すことができ、この式を基に求めることができる。
ここで、Ｃ’は上述の（１）の場合と同様、対象物画像
と被写体画像とのノーマライズを行う条件を決めるもの
で、撮像手段の焦点距離、物体距離などによって決まる
比例定数である。また、Ｒは で与えられる３次元回転行列であり、α、β、γはカメ
ラ座標系のワールド座標系（対象物３次元モデルの基準
座標系）座標軸、即ちＸW 、ＹW 、ＺW 軸に対する回転
角を示すものである。
ここで、Ｃ’は上述の（１）の場合と同様、対象物画像
と被写体画像とのノーマライズを行う条件を決めるもの
で、撮像手段の焦点距離、物体距離などによって決まる
比例定数である。また、Ｒは で与えられる３次元回転行列であり、α、β、γはカメ
ラ座標系のワールド座標系（対象物３次元モデルの基準
座標系）座標軸、即ちＸW 、ＹW 、ＺW 軸に対する回転
角を示すものである。
【００５７】上記各回転角パラメータの測定方法として
は、撮像手段にジャイロなどを搭載して計測する方法、
磁気センサベースでの計測方法、メカニカルなジョイン
ト計測機構に撮像手段を搭載して計測する方法などがあ
る。尚、このような特別な計測手段を用いずに、対象物
３次元モデルを視線方向などを種々に指定して得られる
対象物画像と被写体画像との類似度評価を行って、最も
類似度の高い視線方向から撮像パラメータα，β，γを
推定してもよい。但し、この場合には対象物モデルが被
写体を十分に近似している必要がある。
は、撮像手段にジャイロなどを搭載して計測する方法、
磁気センサベースでの計測方法、メカニカルなジョイン
ト計測機構に撮像手段を搭載して計測する方法などがあ
る。尚、このような特別な計測手段を用いずに、対象物
３次元モデルを視線方向などを種々に指定して得られる
対象物画像と被写体画像との類似度評価を行って、最も
類似度の高い視線方向から撮像パラメータα，β，γを
推定してもよい。但し、この場合には対象物モデルが被
写体を十分に近似している必要がある。
【００５８】以上説明したようにして求められた修整ベ
クトルを基に、標準３次元形状モデル記憶手段２に記憶
されている標準３次元形状モデルの修整が行われる。
クトルを基に、標準３次元形状モデル記憶手段２に記憶
されている標準３次元形状モデルの修整が行われる。
【００５９】＜第２実施例＞上述の第１の実施例の撮像
画像処理装置では、第１および第２の記憶手段からそれ
ぞれ入力される、ほぼ同じ視点からの対象物画像および
被写体画像から変位ベクトルを求め、これにより３次元
形状データを得ている。本実施例の撮像画像処理装置
は、第１および第２の記憶手段にはそれぞれ異なる視点
からの複数の対象物画像および被写体画像がそれぞれ記
憶され（ただし、対応する画像どうしはほぼ同じ視点か
らの画像となっている）、これら記憶された各対応する
対象物画像−被写体画像ペア間で得られる、異なる視点
からの複数の変位ベクトルから３次元形状データを得る
ことを特徴とするものである。なお、本実施例の撮像画
像処理装置は、前述した第１の実施例の撮像画像処理装
置と同様の構成のものであるため、ここでは、その構成
についての説明は省略する。
画像処理装置では、第１および第２の記憶手段からそれ
ぞれ入力される、ほぼ同じ視点からの対象物画像および
被写体画像から変位ベクトルを求め、これにより３次元
形状データを得ている。本実施例の撮像画像処理装置
は、第１および第２の記憶手段にはそれぞれ異なる視点
からの複数の対象物画像および被写体画像がそれぞれ記
憶され（ただし、対応する画像どうしはほぼ同じ視点か
らの画像となっている）、これら記憶された各対応する
対象物画像−被写体画像ペア間で得られる、異なる視点
からの複数の変位ベクトルから３次元形状データを得る
ことを特徴とするものである。なお、本実施例の撮像画
像処理装置は、前述した第１の実施例の撮像画像処理装
置と同様の構成のものであるため、ここでは、その構成
についての説明は省略する。
【００６０】図３は、本発明の第２の実施例の撮像画像
処理装置における差異抽出手段での処理を示すフローチ
ャートである。
処理装置における差異抽出手段での処理を示すフローチ
ャートである。
【００６１】まず、第１の画像記憶手段３から異なる視
点位置からの複数の被写体画像を入力し（Ｓ２０１）、
第２の画像記憶手段４からその入力された各被写体画像
に最も近い対象物画像をそれぞれ入力する（Ｓ２０
２）。次に、それぞれ入力された各対応する被写体画像
−対象物画像ペア間でそれぞれ位置合わを行なう（Ｓ２
０３）。その後、それぞれの画像の輪郭線抽出処理（Ｓ
２０４）を行い、得られる輪郭線画像間の差異を一方の
画像から他方の画像へ輪郭線上の各点が変位したと仮定
して、変位ベクトルを求める（Ｓ２０５）。変位ベクト
ルが求められると、被写体画像の各画素にそれぞれ対応
する対象物画像の画素、または被写体画像の輪郭線上各
点に対応する標準３次元モデル（ワイヤーフレームモデ
ル）上の３次元位置座標（座標軸は対象物上に任意に設
定してよい）と、それぞれの画素または点における２次
元（視線方向と略直交する像面内）変位ベクトルが出力
される（Ｓ１０６）。
点位置からの複数の被写体画像を入力し（Ｓ２０１）、
第２の画像記憶手段４からその入力された各被写体画像
に最も近い対象物画像をそれぞれ入力する（Ｓ２０
２）。次に、それぞれ入力された各対応する被写体画像
−対象物画像ペア間でそれぞれ位置合わを行なう（Ｓ２
０３）。その後、それぞれの画像の輪郭線抽出処理（Ｓ
２０４）を行い、得られる輪郭線画像間の差異を一方の
画像から他方の画像へ輪郭線上の各点が変位したと仮定
して、変位ベクトルを求める（Ｓ２０５）。変位ベクト
ルが求められると、被写体画像の各画素にそれぞれ対応
する対象物画像の画素、または被写体画像の輪郭線上各
点に対応する標準３次元モデル（ワイヤーフレームモデ
ル）上の３次元位置座標（座標軸は対象物上に任意に設
定してよい）と、それぞれの画素または点における２次
元（視線方向と略直交する像面内）変位ベクトルが出力
される（Ｓ１０６）。
【００６２】上述のようにして求められた複数の変位ベ
クトルデータが差異抽出手段５から出力されると、形状
モデル修整手段６では、複数の変位ベクトルデータが統
合されて修整ベクトルが求められ、これを基に標準３次
元形状モデル記憶手段２に記憶されている標準３次元モ
デルの修整が行なわれる。以下に、この形状モデル修整
手段６における修整ベクトルの算出の具体的な方法を説
明する。
クトルデータが差異抽出手段５から出力されると、形状
モデル修整手段６では、複数の変位ベクトルデータが統
合されて修整ベクトルが求められ、これを基に標準３次
元形状モデル記憶手段２に記憶されている標準３次元モ
デルの修整が行なわれる。以下に、この形状モデル修整
手段６における修整ベクトルの算出の具体的な方法を説
明する。
【００６３】異なる視点からの画像（対象物画像および
被写体画像）における視点位置（視線方向）をそれぞれ
Ｉ（α1 ，β1 ，γ1 ）及びＩＩ（α2 ，β2 ，γ2 ）
（（α1 ，β1 ，γ1 ）≠（α2 ，β2 ，γ2 ））と
し、それぞれに対して得られる同一点（Ｘ，Ｙ，Ｚ）の
修整ベクトルを
被写体画像）における視点位置（視線方向）をそれぞれ
Ｉ（α1 ，β1 ，γ1 ）及びＩＩ（α2 ，β2 ，γ2 ）
（（α1 ，β1 ，γ1 ）≠（α2 ，β2 ，γ2 ））と
し、それぞれに対して得られる同一点（Ｘ，Ｙ，Ｚ）の
修整ベクトルを
【００６４】
【外６】 とすると、求めるべき修整ベクトル
【００６５】
【外７】 は、
【００６６】
【数３】 で与えられる。ここに、Ｐは定数、αは０＜α＜１で与
えられるものとする。このαの選び方としては、例えば
視線方向Ｉ、ＩＩの各対応する画像（対象物及び被写
体）の各点でのＳ／Ｎ、輝度、色相等の分散、標準偏差
値、隣接する点での修整ベクトルとの差（或は滑らか
さ）、その他信頼度を表わす評価関数などを用いて決め
ることとする。例えば、輪郭線からの距離をＳijとする
と、
えられるものとする。このαの選び方としては、例えば
視線方向Ｉ、ＩＩの各対応する画像（対象物及び被写
体）の各点でのＳ／Ｎ、輝度、色相等の分散、標準偏差
値、隣接する点での修整ベクトルとの差（或は滑らか
さ）、その他信頼度を表わす評価関数などを用いて決め
ることとする。例えば、輪郭線からの距離をＳijとする
と、
【００６７】
【数４】 などのように輪郭線に近いほど信頼度が増すように設定
してもよい。
してもよい。
【００６８】以上のように、本実施例では、異なる視点
からの画像を基に抽出された複数の変位ベクトルデータ
から修整ベクトルが求められるため、より信頼度（凹凸
面などの正確な情報）、分解能の高い被写体の３次元形
状データを得ることができる。
からの画像を基に抽出された複数の変位ベクトルデータ
から修整ベクトルが求められるため、より信頼度（凹凸
面などの正確な情報）、分解能の高い被写体の３次元形
状データを得ることができる。
【００６９】＜第３の実施例＞図４は、本発明の第３の
実施例の撮像画像処理装置の概略を示す構成図である。
本実施例の撮像画像処理装置は、形状モデル修整手段
６によって求められた３次元形状データが標準３次元形
状モデル記憶手段２へフィードバック（転送）されてい
る以外は、上述の第１の実施例のものと同様の構成のも
のとなっている。各構成部における処理も上述の第１の
実施例（または、第２の実施例）のものと同様であるた
め、ここでは、処理についての説明は省略する。
実施例の撮像画像処理装置の概略を示す構成図である。
本実施例の撮像画像処理装置は、形状モデル修整手段
６によって求められた３次元形状データが標準３次元形
状モデル記憶手段２へフィードバック（転送）されてい
る以外は、上述の第１の実施例のものと同様の構成のも
のとなっている。各構成部における処理も上述の第１の
実施例（または、第２の実施例）のものと同様であるた
め、ここでは、処理についての説明は省略する。
【００７０】本実施例の撮像画像処理装置では、形状モ
デル修整手段６によって、差異抽出手段５から出力され
る変位ベクトルデータを基に求められた３次元形状デー
タ（修整ベクトル）が３次元形状モデル記憶手段２へフ
ィードバックされる。
デル修整手段６によって、差異抽出手段５から出力され
る変位ベクトルデータを基に求められた３次元形状デー
タ（修整ベクトル）が３次元形状モデル記憶手段２へフ
ィードバックされる。
【００７１】３次元形状データが３次元形状モデル記憶
手段２へフィードバックされると、３次元形状モデル記
憶手段２では、フィードバックされた３次元形状データ
に基くフレームモデルが修整され、その修整されたフレ
ームモデルから対象物画像が生成される。この生成され
た対象物画像は、第２の記憶画像記憶手段４に記憶され
る。以後、この第２の記憶画像記憶手段４に新たに記憶
された対象物画像と被写体画像とから３次元形状データ
を求める処理が行われる。
手段２へフィードバックされると、３次元形状モデル記
憶手段２では、フィードバックされた３次元形状データ
に基くフレームモデルが修整され、その修整されたフレ
ームモデルから対象物画像が生成される。この生成され
た対象物画像は、第２の記憶画像記憶手段４に記憶され
る。以後、この第２の記憶画像記憶手段４に新たに記憶
された対象物画像と被写体画像とから３次元形状データ
を求める処理が行われる。
【００７２】上述の３次元形状データをフィードバック
する処理が反復的に行われることにより、１回の修整で
はカバーしきれない誤差の補正や形状データの高分解能
化が可能となる。
する処理が反復的に行われることにより、１回の修整で
はカバーしきれない誤差の補正や形状データの高分解能
化が可能となる。
【００７３】＜第４の実施例＞本実施例の撮像画像処理
装置は、上述の第１もしくは第２または第３の実施例の
撮像画像処理装置と同様の構成のもので、形状モデル修
整手段における標準３次元モデルの修整が以下のように
して行われることを特徴とする。
装置は、上述の第１もしくは第２または第３の実施例の
撮像画像処理装置と同様の構成のもので、形状モデル修
整手段における標準３次元モデルの修整が以下のように
して行われることを特徴とする。
【００７４】まず、形状モデル修整手段６において、撮
像手段の回転角パラメータ（α，β，γ）に対応する視
線方向で得られる画像に基づく修整ベクトルを
像手段の回転角パラメータ（α，β，γ）に対応する視
線方向で得られる画像に基づく修整ベクトルを
【００７５】
【数５】 によって定められるアフィン変換係数ａij（Ｘ，Ｙ，
Ｚ）によって与える。そして、この修整ベクトルを基に
標準３次元形状モデルの修整を行う。この標準３次元形
状モデルの修整を、修整後の標準３次元形状モデルを基
に得られる同一視線方向での対象物画像と被写体画像と
の差異が最小となるよう、アフィン変換係数ａij（Ｘ，
Ｙ，Ｚ）を求めることによって行う。これにより、標準
３次元モデルの修整が簡単に行なえることとなる。
Ｚ）によって与える。そして、この修整ベクトルを基に
標準３次元形状モデルの修整を行う。この標準３次元形
状モデルの修整を、修整後の標準３次元形状モデルを基
に得られる同一視線方向での対象物画像と被写体画像と
の差異が最小となるよう、アフィン変換係数ａij（Ｘ，
Ｙ，Ｚ）を求めることによって行う。これにより、標準
３次元モデルの修整が簡単に行なえることとなる。
【００７６】＜第５の実施例＞図５は、本発明の第５の
実施例の撮像画像処理装置の概略を示す構成図である。
実施例の撮像画像処理装置の概略を示す構成図である。
【００７７】図５において、１１は撮像手段、１２は標
準３次元形状モデル記憶手段、１３は第１の画像記憶手
段、１４は第２の画像記憶手段、１５は差異抽出手段、
１６は形状モデル修整手段、１７はテクスチャモデル修
整手段である。以下に、これら各構成部における処理に
ついて説明する。
準３次元形状モデル記憶手段、１３は第１の画像記憶手
段、１４は第２の画像記憶手段、１５は差異抽出手段、
１６は形状モデル修整手段、１７はテクスチャモデル修
整手段である。以下に、これら各構成部における処理に
ついて説明する。
【００７８】撮像手段１１、標準３次元形状モデル記憶
手段１２、第１の画像記憶手段１３、第２の画像記憶手
段１４は、それぞれ前述した第１の実施例の撮像画像処
理装置のものと同じ処理機能有するものである。
手段１２、第１の画像記憶手段１３、第２の画像記憶手
段１４は、それぞれ前述した第１の実施例の撮像画像処
理装置のものと同じ処理機能有するものである。
【００７９】差異抽出手段１５は、第１および第２の画
像記憶手段１３，１４からそれぞれ入力される対象物画
像と被写体画像とを比較して、標準３次元形状モデル記
憶手段１２に記憶されている標準３次元形状モデルを修
整するための輪郭線の差異と、第２の画像記憶手段１４
に記憶された対象物画像（テクスチャモデル）を修整す
るための変位ベクトルとを抽出する。なお、対象物画像
（テクスチャモデル）を修整するための変位ベクトルの
抽出は、輪郭線内のテクスチャ上の各点で行うこととす
る。
像記憶手段１３，１４からそれぞれ入力される対象物画
像と被写体画像とを比較して、標準３次元形状モデル記
憶手段１２に記憶されている標準３次元形状モデルを修
整するための輪郭線の差異と、第２の画像記憶手段１４
に記憶された対象物画像（テクスチャモデル）を修整す
るための変位ベクトルとを抽出する。なお、対象物画像
（テクスチャモデル）を修整するための変位ベクトルの
抽出は、輪郭線内のテクスチャ上の各点で行うこととす
る。
【００８０】形状モデル修整手段１６は、差異抽出手段
１５で求められた輪郭線の差異に基づいて標準３次元形
状モデル記憶手段１２に記憶されている標準３次元形状
モデルを修整する。本実施例では、求められた修整ベク
トルが形状モデル修整手段１６から標準３次元形状モデ
ル記憶手段１２へフィードバック（転送）され、修整ベ
クトルに基づく標準３次元形状モデルの修整が反復的に
行われるよう構成されている。
１５で求められた輪郭線の差異に基づいて標準３次元形
状モデル記憶手段１２に記憶されている標準３次元形状
モデルを修整する。本実施例では、求められた修整ベク
トルが形状モデル修整手段１６から標準３次元形状モデ
ル記憶手段１２へフィードバック（転送）され、修整ベ
クトルに基づく標準３次元形状モデルの修整が反復的に
行われるよう構成されている。
【００８１】テクスチャモデル修整手段１７は、差異抽
出手段１５で求められた変位ベクトルを基にテクスチャ
モデルを修整する。すなわち、このテクスチャモデル修
整手段１７は、上記形状モデル修整手段１６により修整
された標準３次元形状モデルを基に標準３次元形状モデ
ル記憶手段１２によって第２の画像記憶手段１４に新た
に記憶される対象物画像（テクスチャモデル）を修整す
るものである。本実施例では、このテクスチャモデル修
整手段１７におけるテクスチャモデルの修整は、差異抽
出手段１５によって抽出される変位ベクトル（すなわ
ち、形状モデル修整手段１６による標準３次元形状モデ
ル修整後に得られる対象物画像（テクスチャモデル）と
撮像手段１１により撮像されて第１の画像記憶手段１３
に記憶された被写体画像とから抽出される変位ベクト
ル）が最小のものとなるよう行われる。
出手段１５で求められた変位ベクトルを基にテクスチャ
モデルを修整する。すなわち、このテクスチャモデル修
整手段１７は、上記形状モデル修整手段１６により修整
された標準３次元形状モデルを基に標準３次元形状モデ
ル記憶手段１２によって第２の画像記憶手段１４に新た
に記憶される対象物画像（テクスチャモデル）を修整す
るものである。本実施例では、このテクスチャモデル修
整手段１７におけるテクスチャモデルの修整は、差異抽
出手段１５によって抽出される変位ベクトル（すなわ
ち、形状モデル修整手段１６による標準３次元形状モデ
ル修整後に得られる対象物画像（テクスチャモデル）と
撮像手段１１により撮像されて第１の画像記憶手段１３
に記憶された被写体画像とから抽出される変位ベクト
ル）が最小のものとなるよう行われる。
【００８２】図６は、本実施例の撮像画像処理装置にて
行われる修整処理、すなわち、上述の標準３次元形状モ
デルおよびテクスチャモデルの修整の処理を簡略化して
示したフローチャートで、Ｐｈａｓｅ１にて差異抽出処
理と形状モデル修整処理が行われ、Ｐｈａｓｅ２にて差
異抽出処理とテクスチャモデル修整処理が行われる。
行われる修整処理、すなわち、上述の標準３次元形状モ
デルおよびテクスチャモデルの修整の処理を簡略化して
示したフローチャートで、Ｐｈａｓｅ１にて差異抽出処
理と形状モデル修整処理が行われ、Ｐｈａｓｅ２にて差
異抽出処理とテクスチャモデル修整処理が行われる。
【００８３】本実施例の撮像画像処理装置は、図６に示
すように、標準３次元形状モデルの修整に加えて、テク
スチャモデルの修整も行われるよう構成されており、形
状と模様を修整することが可能となっている。
すように、標準３次元形状モデルの修整に加えて、テク
スチャモデルの修整も行われるよう構成されており、形
状と模様を修整することが可能となっている。
【００８４】＜第６の実施例＞本実施例の撮像画像処理
装置は、第１の画像記憶手段に保持された被写体画像に
関する外形輪郭線の抽出を、３次元形状モデル記憶手段
に記憶された標準３次元形状モデルから抽出される所定
視点位置（被写体画像の視点位置と同じ位置）からみた
対象物画像の外形輪郭線データを用い、これに後述する
動的輪郭法の手法を適用することにより行うことを特徴
とするものである。
装置は、第１の画像記憶手段に保持された被写体画像に
関する外形輪郭線の抽出を、３次元形状モデル記憶手段
に記憶された標準３次元形状モデルから抽出される所定
視点位置（被写体画像の視点位置と同じ位置）からみた
対象物画像の外形輪郭線データを用い、これに後述する
動的輪郭法の手法を適用することにより行うことを特徴
とするものである。
【００８５】図７は、本発明の第６の実施例の撮像画像
処理装置の概略を示す構成図である。同図において、２
１は撮像手段、２２は３次元形状モデル記憶手段、２３
は第１の画像記憶手段、２５は差異抽出手段、２６は形
状モデル修整手段、２７は輪郭線画像抽出手段、２８は
初期輪郭設定手段、２９は動的輪郭処理手段である。以
下、これら各構成部について詳しく説明する。
処理装置の概略を示す構成図である。同図において、２
１は撮像手段、２２は３次元形状モデル記憶手段、２３
は第１の画像記憶手段、２５は差異抽出手段、２６は形
状モデル修整手段、２７は輪郭線画像抽出手段、２８は
初期輪郭設定手段、２９は動的輪郭処理手段である。以
下、これら各構成部について詳しく説明する。
【００８６】撮像手段２１および第１の画像記憶手段２
３は、前述した各実施例の撮像画像処理装置のものと同
様のもので、撮像手段２１によって撮像された被写体画
像が第１の画像記憶手段２３に保持される。
３は、前述した各実施例の撮像画像処理装置のものと同
様のもので、撮像手段２１によって撮像された被写体画
像が第１の画像記憶手段２３に保持される。
【００８７】標準３次元形状モデル記憶手段２２は、前
述した各実施例の撮像画像処理装置のものと同様、標準
３次元形状モデルを記憶するが、本実施例では、第２の
画像記憶手段への対象物画像の記憶に代えて、後述する
標準３次元形状モデル記憶手段２２による対象物画像の
外輪郭線画像を抽出する処理が行われる。
述した各実施例の撮像画像処理装置のものと同様、標準
３次元形状モデルを記憶するが、本実施例では、第２の
画像記憶手段への対象物画像の記憶に代えて、後述する
標準３次元形状モデル記憶手段２２による対象物画像の
外輪郭線画像を抽出する処理が行われる。
【００８８】標準３次元形状モデル記憶手段２２および
撮像手段２１は、前述した各実施例の撮像画像処理装置
のものと同様のもので、標準３次元形状モデル記憶手段
２２には標準３次元形状モデルが記憶され、撮像手段２
１によって撮像された被写体画像が第１の画像記憶手段
２３に保持される。
撮像手段２１は、前述した各実施例の撮像画像処理装置
のものと同様のもので、標準３次元形状モデル記憶手段
２２には標準３次元形状モデルが記憶され、撮像手段２
１によって撮像された被写体画像が第１の画像記憶手段
２３に保持される。
【００８９】輪郭線画像抽出手段２７は、標準３次元形
状モデル記憶手段２２に記憶された標準３次元形状モデ
ルを所定の視点位置からみた対象物画像に関する外輪郭
線画像を抽出する手段である。
状モデル記憶手段２２に記憶された標準３次元形状モデ
ルを所定の視点位置からみた対象物画像に関する外輪郭
線画像を抽出する手段である。
【００９０】初期輪郭設定手段２８は、上記輪郭線画像
抽出手段２７で抽出された対象物画像の外輪郭線画像に
対して、その外輪郭線画像の位置およびサイズを第１の
画像記憶手段２３に保持されている被写体画像の画像領
域を包接するよう設定する（初期輪郭の設定）。
抽出手段２７で抽出された対象物画像の外輪郭線画像に
対して、その外輪郭線画像の位置およびサイズを第１の
画像記憶手段２３に保持されている被写体画像の画像領
域を包接するよう設定する（初期輪郭の設定）。
【００９１】動的輪郭処理２９は、上記初期輪郭設定手
段２８にて初期輪郭が設定された外輪郭線画像の輪郭線
（以下、初期輪郭線という）を以下に述べる動的輪郭法
により変形移動して、第１の画像記憶手段に保持された
被写体画像上に収束する。これにより、第１の画像記憶
手段に保持された被写体画像に関する外輪郭線画像を正
確、かつ迅速に得ることができる。
段２８にて初期輪郭が設定された外輪郭線画像の輪郭線
（以下、初期輪郭線という）を以下に述べる動的輪郭法
により変形移動して、第１の画像記憶手段に保持された
被写体画像上に収束する。これにより、第１の画像記憶
手段に保持された被写体画像に関する外輪郭線画像を正
確、かつ迅速に得ることができる。
【００９２】ここで、動的輪郭法とは、輪郭線上の各点
の位置（座標）を表すパラメータｓを用いて表される輪
郭線 υ（ｓ）＝（ｘ（ｓ），ｙ（ｓ）） に対して、評価関数
の位置（座標）を表すパラメータｓを用いて表される輪
郭線 υ（ｓ）＝（ｘ（ｓ），ｙ（ｓ）） に対して、評価関数
【００９３】
【数６】 が最小となる輪郭線υ（ｓ）を求める手法のことをい
う。ここに、
う。ここに、
【００９４】
【外８】 は、
【００９５】
【数７】 であり、α（ｓ）、β（ｓ）、
【００９６】
【外９】 はそれぞれユーザが適宜設定する。この動的輪郭法は、
対象（本実施例では、撮像手段２１によって撮像される
被写体画像）を包囲するような初期輪郭線を求め、該求
めた初期輪郭線を所定の評価関数が最小となるように変
形移動し、最終的に対象上に収束するようにした方法で
ある（M.Kass et al.,"Snakes:Active Contour Model
s," International Journal of Computer Vision, vol.
1,pp.321-331,1987）。本実施例では、対象物画像の初
期輪郭線に関して定めたある評価関数（上記評価関数に
限定されるものではない）を最小化することにより、被
写体画像の外輪郭線画像が求められる。
対象（本実施例では、撮像手段２１によって撮像される
被写体画像）を包囲するような初期輪郭線を求め、該求
めた初期輪郭線を所定の評価関数が最小となるように変
形移動し、最終的に対象上に収束するようにした方法で
ある（M.Kass et al.,"Snakes:Active Contour Model
s," International Journal of Computer Vision, vol.
1,pp.321-331,1987）。本実施例では、対象物画像の初
期輪郭線に関して定めたある評価関数（上記評価関数に
限定されるものではない）を最小化することにより、被
写体画像の外輪郭線画像が求められる。
【００９７】差異抽出手段２５は、初期輪郭設定手段２
８で求められた対象物画像の外輪郭線画像（初期輪郭の
設定が行われたもの）と動的輪郭処理手段２９で求めら
れた被写体画像の外輪郭線画像との差異を、前述した各
実施例の場合と同様に変位ベクトルとして抽出する。但
し、各変位ベクトルの大きさを一定の割合で正規化する
か、または変位ベクトルを求める前に初期輪郭線画像の
サイズを被写体画像の輪郭線画像サイズに最も近くなる
ように設定することが望ましい。この差異抽出手段２５
によって抽出された変位ベクトルは、後述する形状モデ
ル修整手段６へ出力されるとともに、上述の輪郭線画像
抽出手段２７へフィードバックされている。本実施例で
は、この輪郭線画像抽出手段２７へのフィードバックに
より、輪郭線画像抽出手段２７が対象物画像の外輪郭線
画像を抽出する際の視点位置が、最終的に最も被写体画
像の外輪郭線に近い輪郭線モデルを与える視点位置とな
る。
８で求められた対象物画像の外輪郭線画像（初期輪郭の
設定が行われたもの）と動的輪郭処理手段２９で求めら
れた被写体画像の外輪郭線画像との差異を、前述した各
実施例の場合と同様に変位ベクトルとして抽出する。但
し、各変位ベクトルの大きさを一定の割合で正規化する
か、または変位ベクトルを求める前に初期輪郭線画像の
サイズを被写体画像の輪郭線画像サイズに最も近くなる
ように設定することが望ましい。この差異抽出手段２５
によって抽出された変位ベクトルは、後述する形状モデ
ル修整手段６へ出力されるとともに、上述の輪郭線画像
抽出手段２７へフィードバックされている。本実施例で
は、この輪郭線画像抽出手段２７へのフィードバックに
より、輪郭線画像抽出手段２７が対象物画像の外輪郭線
画像を抽出する際の視点位置が、最終的に最も被写体画
像の外輪郭線に近い輪郭線モデルを与える視点位置とな
る。
【００９８】形状モデル修整手段２６は、前述した各実
施例の場合と同様に、上記差異抽出手段２５によって抽
出された変位ベクトルから形状モデル修整手段２６に記
憶さている標準３次元形状モデルを修整するための修整
ベクトルを求める手段である。この形状モデル修整手段
２６で求められた修整ベクトルは、３次元形状モデル記
憶手段２２へフィードバックされている。このフィード
バックにより、前述の第３および第５の実施例の場合と
同様、１回の修整ではカバーしきれない誤差の補正や形
状データの高分解能化が可能となる。
施例の場合と同様に、上記差異抽出手段２５によって抽
出された変位ベクトルから形状モデル修整手段２６に記
憶さている標準３次元形状モデルを修整するための修整
ベクトルを求める手段である。この形状モデル修整手段
２６で求められた修整ベクトルは、３次元形状モデル記
憶手段２２へフィードバックされている。このフィード
バックにより、前述の第３および第５の実施例の場合と
同様、１回の修整ではカバーしきれない誤差の補正や形
状データの高分解能化が可能となる。
【００９９】次に、上述のように構成された撮像画像処
理装置の動作について説明する。
理装置の動作について説明する。
【０１００】前述の各実施例と同様にして、まず、第１
の画像記憶手段２３に撮像手段２１によって撮像された
被写体画像が記憶される。
の画像記憶手段２３に撮像手段２１によって撮像された
被写体画像が記憶される。
【０１０１】続いて、輪郭線画像抽出手段２７によっ
て、３次元形状モデル記憶手段２２に記憶された標準３
次元形状モデルから対象物画像に関する外輪郭線画像が
抽出され、初期輪郭設定手段２８によって、その抽出さ
れた外輪郭線画像に対して初期輪郭の設定が行われる。
この初期輪郭が設定された外輪郭線画像は、動的輪郭処
理手段２９および差異抽出手段２５のそれぞれへ出力さ
れる。
て、３次元形状モデル記憶手段２２に記憶された標準３
次元形状モデルから対象物画像に関する外輪郭線画像が
抽出され、初期輪郭設定手段２８によって、その抽出さ
れた外輪郭線画像に対して初期輪郭の設定が行われる。
この初期輪郭が設定された外輪郭線画像は、動的輪郭処
理手段２９および差異抽出手段２５のそれぞれへ出力さ
れる。
【０１０２】初期輪郭設定手段２８によって初期輪郭の
設定が行われると、動的輪郭処理手段２９は、初期輪郭
設定手段２８にて初期輪郭が設定された外輪郭線画像の
初期輪郭線を動的輪郭法を用いて変形移動し、第１の画
像記憶手段２３に保持された被写体画像に関する外輪郭
線画像を抽出する。この抽出された被写体画像に関する
外輪郭線画像は差異抽出手段２５へ出力される。
設定が行われると、動的輪郭処理手段２９は、初期輪郭
設定手段２８にて初期輪郭が設定された外輪郭線画像の
初期輪郭線を動的輪郭法を用いて変形移動し、第１の画
像記憶手段２３に保持された被写体画像に関する外輪郭
線画像を抽出する。この抽出された被写体画像に関する
外輪郭線画像は差異抽出手段２５へ出力される。
【０１０３】初期輪郭設定手段２８から対象物画像に関
する外輪郭線画像、および動的輪郭処理手段２９から被
写体画像に関する外輪郭線画像がそれぞれ入力される
と、差異抽出手段２５では、これらの画像の差異が変位
ベクトルとして抽出され、この抽出された変位ベクトル
が輪郭線画像抽出手段２７へフィードバックされる。こ
のフィードバックする処理が反復的に行われることによ
り、輪郭線画像抽出手段２７にて抽出される外輪郭線画
像の視点位置が、最終的に最も被写体画像の外輪郭線に
近い輪郭線モデルを与える視点位置となる。
する外輪郭線画像、および動的輪郭処理手段２９から被
写体画像に関する外輪郭線画像がそれぞれ入力される
と、差異抽出手段２５では、これらの画像の差異が変位
ベクトルとして抽出され、この抽出された変位ベクトル
が輪郭線画像抽出手段２７へフィードバックされる。こ
のフィードバックする処理が反復的に行われることによ
り、輪郭線画像抽出手段２７にて抽出される外輪郭線画
像の視点位置が、最終的に最も被写体画像の外輪郭線に
近い輪郭線モデルを与える視点位置となる。
【０１０４】輪郭線画像抽出手段２７にて抽出される外
輪郭線画像の視点位置が、最終的に最も被写体画像の外
輪郭線に近い輪郭線モデルを与える視点位置となると、
差異抽出手段２５からは最終的な変位ベクトルが形状モ
デル修整手段２６へ出力される。
輪郭線画像の視点位置が、最終的に最も被写体画像の外
輪郭線に近い輪郭線モデルを与える視点位置となると、
差異抽出手段２５からは最終的な変位ベクトルが形状モ
デル修整手段２６へ出力される。
【０１０５】差異抽出手段２５から最終的な変位ベクト
ルが形状モデル修整手段２６へ出力されると、形状モデ
ル修整手段２６では、その変位ベクトルから修整ベクト
ルが求められ、該求めた修整ベクトルが３次元形状モデ
ル記憶手段２２へフィードバックされる。これにより、
３次元形状モデル記憶手段２２に記憶された標準３次元
形状モデルが修整される。このフィードバックする処理
が反復的に行われることにより、１回の修整ではカバー
しきれない誤差の補正や形状データの高分解能化が可能
となる。
ルが形状モデル修整手段２６へ出力されると、形状モデ
ル修整手段２６では、その変位ベクトルから修整ベクト
ルが求められ、該求めた修整ベクトルが３次元形状モデ
ル記憶手段２２へフィードバックされる。これにより、
３次元形状モデル記憶手段２２に記憶された標準３次元
形状モデルが修整される。このフィードバックする処理
が反復的に行われることにより、１回の修整ではカバー
しきれない誤差の補正や形状データの高分解能化が可能
となる。
【０１０６】
【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載するような効果を奏する。
いるので、以下に記載するような効果を奏する。
【０１０７】請求項１および請求項９に記載のものおよ
び方法においては、撮像された被写体画像と標準３次元
形状モデルを基に生成された対象物画像との差異を基に
標準３次元形状モデルの修整が行われるので、補間処理
などの複雑な処理が必要なく、簡単に被写体に関する３
次元形状モデルを復元することができるとい効果があ
る。さらには、スリット光投光手段やマーカーを付与す
る手段などの特別な装置を必要としないので、装置の小
型化やコストの低下を図ることができるという効果があ
る。
び方法においては、撮像された被写体画像と標準３次元
形状モデルを基に生成された対象物画像との差異を基に
標準３次元形状モデルの修整が行われるので、補間処理
などの複雑な処理が必要なく、簡単に被写体に関する３
次元形状モデルを復元することができるとい効果があ
る。さらには、スリット光投光手段やマーカーを付与す
る手段などの特別な装置を必要としないので、装置の小
型化やコストの低下を図ることができるという効果があ
る。
【０１０８】請求項２および請求項１０に記載のものお
よび方法においては、局所的な凹凸を異なる視点位置か
ら修整することができるので、局所的な凹凸を正確に反
映した標準３次元形状モデルの修整を行うことができ、
高い空間分解能で被写体の３次元形状データを復元する
ことができるという効果がある。
よび方法においては、局所的な凹凸を異なる視点位置か
ら修整することができるので、局所的な凹凸を正確に反
映した標準３次元形状モデルの修整を行うことができ、
高い空間分解能で被写体の３次元形状データを復元する
ことができるという効果がある。
【０１０９】請求項３に記載のものにおいては、標準３
次元形状モデルの修整が被写体画像上の点に対応する標
準３次元形状モデル上の点の３次元アフィン変換係数を
用いて行われるので、被写体画像と対象物画像との画像
データ（例えば各画素の輝度、色相データ）の差を基に
修整が行われるものに比べて標準３次元形状モデルの修
整を簡単に、効率的に行うことができるという効果があ
る。
次元形状モデルの修整が被写体画像上の点に対応する標
準３次元形状モデル上の点の３次元アフィン変換係数を
用いて行われるので、被写体画像と対象物画像との画像
データ（例えば各画素の輝度、色相データ）の差を基に
修整が行われるものに比べて標準３次元形状モデルの修
整を簡単に、効率的に行うことができるという効果があ
る。
【０１１０】請求項４に記載のものにおいては、高精度
な被写体形状の変形が可能な撮像画像処理装置を提供す
ることができるという効果がある。
な被写体形状の変形が可能な撮像画像処理装置を提供す
ることができるという効果がある。
【０１１１】請求項５に記載のものにおいては、差異抽
出手段によって抽出される差異が所定閾値以下になるま
で３次元形状モデル修整手段による標準３次元形状モデ
ルの修整処理が反復的に行われるので、１回の修整では
カバーしきれない誤差の補正や形状データの修整を行う
ことができ、より高精度に被写体の立体形状を得ること
ができるという効果がある。
出手段によって抽出される差異が所定閾値以下になるま
で３次元形状モデル修整手段による標準３次元形状モデ
ルの修整処理が反復的に行われるので、１回の修整では
カバーしきれない誤差の補正や形状データの修整を行う
ことができ、より高精度に被写体の立体形状を得ること
ができるという効果がある。
【０１１２】請求項６に記載のものにおいては、形状モ
デル修整手段による標準３次元形状モデルの修整に加え
て、標準３次元形状モデル修整後の対象物画像がテクス
チャ修整手段によって修整されるので、より精度の高い
被写体の３次元形状データを得ることができるという効
果がある。
デル修整手段による標準３次元形状モデルの修整に加え
て、標準３次元形状モデル修整後の対象物画像がテクス
チャ修整手段によって修整されるので、より精度の高い
被写体の３次元形状データを得ることができるという効
果がある。
【０１１３】請求項７および請求項１１に記載のものお
よび方法においては、被写体に関する外輪郭線画像の抽
出を対象物画像に関する外輪郭線画像から動的輪郭法を
用いて簡単に行うことができるので、高速かつ安定的に
被写体の３次元形状データを復元することができるとい
う効果がある。
よび方法においては、被写体に関する外輪郭線画像の抽
出を対象物画像に関する外輪郭線画像から動的輪郭法を
用いて簡単に行うことができるので、高速かつ安定的に
被写体の３次元形状データを復元することができるとい
う効果がある。
【０１１４】請求項８に記載のものにおいては、対象物
画像に関する外輪郭線画像と動的輪郭処理手段によって
生成された被写体画像に関する外輪郭線画像とは最も類
似度の高い画像データとなっているので、標準３次元形
状モデルの修整をより正確に行うことができるという効
果がある。
画像に関する外輪郭線画像と動的輪郭処理手段によって
生成された被写体画像に関する外輪郭線画像とは最も類
似度の高い画像データとなっているので、標準３次元形
状モデルの修整をより正確に行うことができるという効
果がある。
【図１】本発明の第１の実施例の撮像画像処理装置の概
略を示す構成図である。
略を示す構成図である。
【図２】差異抽出手段５にて行なわれる処理の手順を示
すフローチャートである。
すフローチャートである。
【図３】本発明の第２の実施例の撮像画像処理装置にお
ける差異抽出手段での処理を示すフローチャートであ
る。
ける差異抽出手段での処理を示すフローチャートであ
る。
【図４】本発明の第３の実施例の撮像画像処理装置の概
略を示す構成図である。
略を示す構成図である。
【図５】本発明の第５の実施例の撮像画像処理装置の概
略を示す構成図である。
略を示す構成図である。
【図６】図６に示す撮像画像処理装置にて行われる修整
処理を簡略化して示したフローチャートである。
処理を簡略化して示したフローチャートである。
【図７】本発明の第６の実施例の撮像画像処理装置の概
略を示す構成図である。
略を示す構成図である。
【図８】被写体を異なる視点位置から撮像手段１で撮像
するときの様子を示す模式図である。
するときの様子を示す模式図である。
１，１１，２１ 撮像手段 ２，１２，２２ 標準３次元形状モデル記憶手段 ３，１３，２３ 第１の画像記憶手段 ４，１４ 第２の画像記憶手段 ５，１５，２５ 差異抽出手段 ６，１６，２６ 形状モデル修整手段 １７ テクスチャモデル修整手段 ２７ 輪郭線画像抽出手段 ２８ 初期輪郭設定手段 ２９ 動的輪郭処理手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢野 光太郎 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 石川 基博 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 倉橋 直 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内
Claims (11)
- 【請求項１】 撮像手段と、 前記撮像手段によって撮像された所定視点位置からの被
写体画像が記憶される第１の画像記憶手段と、 前記撮像手段によって撮像される被写体に関する標準３
次元形状モデルを記憶し、該標準３次元形状モデルを基
に、前記撮像手段によって撮像された被写体画像に最も
近い視点位置からの対象物画像を生成する３次元形状モ
デル記憶手段と、 前記３次元形状モデル記憶手段によって生成された対象
物画像が記憶される第２の画像記憶手段と、 前記第１の画像記憶手段に記憶された被写体画像と前記
第２の画像記憶手段に記憶された対象物画像との差異を
抽出する差異抽出手段と、 前記差異抽出手段にて抽出された差異を基に前記３次元
形状モデル記憶手段に記憶された標準３次元形状モデル
を修整する形状モデル修整手段とを有することを特徴と
する撮像画像処理装置。 - 【請求項２】 請求項１に記載の撮像画像処理装置にお
いて、 第１の画像記憶手段に、異なる視点位置からの複数の被
写体画像が記憶され、 第２の画像記憶手段に、前記異なる視点位置からの複数
の被写体画像にそれぞれ対応する複数の対象物画像が記
憶され、 差異抽出手段が、前記第１の画像記憶手段に記憶された
被写体画像と前記第２の画像記憶手段に記憶された対象
物画像の対応するものどうしの差異をそれぞれ抽出し、 形状モデル修整手段が、前記差異抽出手段で抽出された
それぞれの差異を基に３次元形状モデル記憶手段に記憶
された標準３次元形状モデルを修整することを特徴とす
る撮像画像処理装置。 - 【請求項３】 請求項１に記載の撮像画像処理装置にお
いて、 形状モデル修整手段において行われる標準３次元形状モ
デルの修整をアフィン変換係数を用いて行うこととし、
前記形状モデル修整手段が、差異抽出手段で抽出される
差異が最小となるアフィン変換係数を用いて標準３次元
形状モデルの修整を行うことを特徴とする撮像画像処理
装置。 - 【請求項４】 請求項１または請求項２に記載の撮像画
像処理装置において、 ３次元形状モデル記憶手段に記
憶される標準３次元形状モデルが所定形状に分割された
メッシュ状のワイヤーフレームモデルであり、 差異抽出手段が、前記ワイヤーフレームモデルのメッシ
ュ状に分割されたそれぞれの要素の中心座標および該中
心座標における法線ベクトルを基に被写体画像および対
象物画像の差異を抽出することを特徴とする撮像処理装
置。 - 【請求項５】 請求項１または請求項２に記載の撮像画
像処理装置において、 ３次元形状モデル記憶手段が、
形状モデル修整手段による標準３次元形状モデルの修整
が行われた後は、該修整された標準３次元形状モデルを
基に対象物画像を生成するものであり、 前記形状モデル修整手段が、差異抽出手段によって抽出
される修整後の標準３次元形状モデルに基づく対象物画
像と被写体画像との差異が所定閾値以下になるまで、標
準３次元形状モデルの修整を反復的に行うことを特徴と
する撮像画像処理装置。 - 【請求項６】 請求項５に記載の撮像画像処理装置にお
いて、 差異抽出手段が、標準３次元形状モデルを修整するため
の構造情報に関する差異と、３次元形状モデル記憶手段
によって生成される対象物画像を修整するためのテクス
チャ情報に関する差異とを抽出するものであり、 前記差異抽出手段によって抽出されたテクスチャ情報に
関する差異を基に、３次元形状モデル記憶手段によって
生成された標準３次元形状モデル修整後の対象物画像を
修整するテクスチャ修整手段を有することを特徴とする
撮像画像処理装置。 - 【請求項７】 撮像手段と、 前記撮像手段によって撮像された所定視点位置からの被
写体画像が記憶される画像記憶手段と、 前記撮像手段によって撮像される被写体に関する標準３
次元形状モデルが記憶される３次元形状モデル記憶手段
と、 前記３次元形状モデル記憶手段に記憶された標準３次元
形状モデルを基に、前記撮像手段によって撮像された被
写体画像に最も近い視点位置からの対象物画像関する外
輪郭線画像を抽出する輪郭線画像抽出手段と、 前記輪郭線画像抽出手段で抽出された対象物画像に関す
る外輪郭線画像の位置およびサイズが前記画像記憶手段
に記憶された被写体画像の画像領域を包接するよう初期
輪郭を設定する初期輪郭設定手段と、 前記初期輪郭設定手段で初期輪郭が設定された外輪郭線
画像の輪郭線を基に、前記画像記憶手段に記憶された被
写体画像に関する外輪郭線画像を生成する動的輪郭処理
手段と、 前記動的輪郭処理手段によって生成された被写体画像に
関する外輪郭線画像と前記初期輪郭設定手段によって初
期輪郭が設定された対象物画像に関する外輪郭線画像と
の差異を抽出する差異抽出手段と、 前記差異抽出手段によって抽出された差異を基に前記３
次元形状モデル記憶手段に記憶された標準３次元形状モ
デルを修整する形状モデル修整手段とを有することを特
徴とする撮像画像処理装置。 - 【請求項８】 請求項７に記載の撮像画像処理装置にお
いて、 輪郭線画像抽出手段が、差異抽出手段で抽出される差異
が最小となる対象物画像に関する外輪郭線画像を抽出す
ることを特徴とする撮像画像処理装置。 - 【請求項９】 撮像手段により撮像された被写体画像を
基に被写体に関する３次元形状モデルを復元する撮像画
像処理方法であって、 撮像される被写体に関する標準３次元形状モデルを記憶
する第１のステップと、 前記第１のステップで記憶さ
れた標準３次元形状モデルを基に前記撮像手段により撮
像される被写体画像に対応する対象物画像を生成する第
２のステップと、 前記第２のステップで生成された対象物画像と前記撮像
手段により撮像された被写体画像との差異を抽出する第
３のステップと、 前記第３のステップで抽出された差異を基に前記第１の
ステップで記憶された被写体に関する標準３次元形状モ
デルを修整して被写体の形状モデルを復元する第４のス
テップとを含むことを特徴とする撮像画像処理方法。 - 【請求項１０】 請求項９に記載の撮像画像処理方法に
おいて、 第３のステップにおいて、撮像手段によって撮像された
異なる視点位置からの複数の被写体画像と該複数の被写
体画像にそれぞれ対応する異なる視点位置からの複数の
対象物画像とのそれぞれ対応する画像どうしの差異を抽
出し、 第４のステップにおいて、前記第３のステップで抽出さ
れたそれぞれの差異を基に被写体に関する標準３次元形
状モデルを修整することを特徴とする撮像画像処理方
法。 - 【請求項１１】 撮像手段により撮像された被写体画像
を基に被写体に関する３次元形状モデルを復元する撮像
画像処理方法であって、 撮像される被写体に関する標準３次元形状モデルを記憶
する第１のステップと、 前記第１のステップで記憶さ
れた標準３次元形状モデルを基に、前記撮像手段により
撮像される被写体画像に対応する対象物画像の外輪郭線
画像を抽出する第２のステップと、 前記第２のステップで抽出された対象物画像に関する外
輪郭線画像の位置およびサイズを前記撮像手段により撮
像された被写体画像の画像領域を包接するよう初期輪郭
を設定する第３のステップと、 前記第３のステップで初期輪郭が設定された対象物画像
に関する外輪郭線画像の輪郭線を基に、前記撮像手段に
より撮像された被写体画像に関する外輪郭線画像を生成
する第４のステップと、 前記第４のステップで生成された被写体画像に関する外
輪郭線画像と前記第３のステップで初期輪郭が設定され
た対象物画像に関する外輪郭線画像との差異を抽出する
第５のステップと、 前記第５のステップで抽出された差異を基に、前記第１
のステップで記憶された被写体に関する標準３次元形状
モデルを修整して被写体の形状モデルを復元する第６の
ステップとを含むことを特徴とする撮像画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03671095A JP3347508B2 (ja) | 1995-02-24 | 1995-02-24 | 撮像画像処理装置および撮像画像処理方法 |
| US08/603,613 US5706419A (en) | 1995-02-24 | 1996-02-21 | Image capturing and processing apparatus and image capturing and processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03671095A JP3347508B2 (ja) | 1995-02-24 | 1995-02-24 | 撮像画像処理装置および撮像画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08233556A true JPH08233556A (ja) | 1996-09-13 |
| JP3347508B2 JP3347508B2 (ja) | 2002-11-20 |
Family
ID=12477330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03671095A Expired - Fee Related JP3347508B2 (ja) | 1995-02-24 | 1995-02-24 | 撮像画像処理装置および撮像画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5706419A (ja) |
| JP (1) | JP3347508B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003115042A (ja) * | 2001-10-05 | 2003-04-18 | Minolta Co Ltd | ３次元形状モデルの評価方法および生成方法並びに装置 |
| JP2005317000A (ja) * | 2004-04-30 | 2005-11-10 | Mitsubishi Electric Research Laboratories Inc | 最適な視点のセットで得られた２ｄ画像からの顔の３ｄ形状構築に最適な視点のセットを求める方法 |
| US7227973B2 (en) | 2000-04-03 | 2007-06-05 | Nec Corporation | Device, method and record medium for image comparison |
| WO2008108071A1 (ja) * | 2007-03-06 | 2008-09-12 | Panasonic Corporation | 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ |
| JP2009135921A (ja) * | 2007-11-06 | 2009-06-18 | Panasonic Corp | 画像投影装置及び画像投影方法 |
| US7583271B2 (en) | 2000-03-10 | 2009-09-01 | Minolta Co., Ltd. | Method and apparatus for data processing recognizing an object represented as two-dimensional image |
| KR100920225B1 (ko) * | 2007-12-17 | 2009-10-05 | 한국전자통신연구원 | 영상을 이용한 3차원 그래픽 모델의 정확도 측정 방법 및장치 |
| JP2009273116A (ja) * | 2008-04-07 | 2009-11-19 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2010152706A (ja) * | 2008-12-25 | 2010-07-08 | Fujitsu Ltd | 生体認証装置 |
| JP2011118724A (ja) * | 2009-12-04 | 2011-06-16 | Nippon Hoso Kyokai <Nhk> | カメラ姿勢推定装置およびカメラ姿勢推定プログラム |
| JP2012208759A (ja) * | 2011-03-30 | 2012-10-25 | Kddi Corp | ３次元形状モデル高精度化方法およびプログラム |
| KR20200098796A (ko) * | 2019-02-12 | 2020-08-21 | 동국대학교 산학협력단 | 사용자 참여형 인체 3차원 모델링 장치 및 방법 |
| WO2021106686A1 (ja) * | 2019-11-28 | 2021-06-03 | 株式会社日立製作所 | モデル作成装置及びモデル作成方法 |
| JP2021193599A (ja) * | 2020-09-14 | 2021-12-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 仮想オブジェクトのフィギュア合成方法、装置、電子機器、記憶媒体 |
| US11620479B2 (en) | 2020-02-17 | 2023-04-04 | Hitachi, Ltd. | System for determining diverting availability of object recognition model |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6421165B2 (en) * | 1996-02-07 | 2002-07-16 | Light & Sound Design Ltd. | Programmable light beam shape altering device using programmable micromirrors |
| DE19780359D2 (de) * | 1996-04-25 | 1998-11-05 | Delphi Systemsimulation Gmbh | Verfahren zum Klassifizieren und Wiedererkennen von Mustern, wobei eine Signatur durch das Glätten eines Polygonzugs erzeugt wird |
| JP3832895B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置及び画像合成システム |
| JP3558104B2 (ja) * | 1996-08-05 | 2004-08-25 | ソニー株式会社 | ３次元仮想物体表示装置および方法 |
| US5982672A (en) * | 1996-10-18 | 1999-11-09 | Samsung Electronics Co., Ltd. | Simultaneous data transfer through read and write buffers of a DMA controller |
| US5926187A (en) * | 1996-10-18 | 1999-07-20 | Samsung Electronics Co., Ltd. | Video interface and overlay system and process |
| US5966131A (en) * | 1997-02-27 | 1999-10-12 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Dispersion heuristic for design gallery interfaces |
| JPH10336439A (ja) * | 1997-05-28 | 1998-12-18 | Minolta Co Ltd | 画像読取り装置 |
| JP2000111324A (ja) * | 1998-10-08 | 2000-04-18 | Minolta Co Ltd | ３次元形状データの統合処理方法および３次元形状データの表現方法 |
| JP2000215193A (ja) * | 1999-01-26 | 2000-08-04 | Fujitsu Ltd | 最適化問題を解決する処理装置および方法 |
| DE19916978C1 (de) * | 1999-04-15 | 2001-04-26 | Bock Orthopaed Ind | Verfahren zum Vermessen eines Körperbereichs |
| FR2814312B1 (fr) | 2000-09-07 | 2003-01-24 | France Telecom | Procede de segmentation d'une surface image video par objets elementaires |
| JP4167390B2 (ja) * | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| WO2002099739A1 (en) * | 2001-06-05 | 2002-12-12 | Matrox Electronic Systems Ltd. | Model-based recognition of objects using a calibrated image system |
| GB2381429B (en) * | 2001-09-28 | 2005-07-27 | Canon Europa Nv | 3D computer model processing apparatus |
| GB0126526D0 (en) * | 2001-11-05 | 2002-01-02 | Canon Europa Nv | Three-dimensional computer modelling |
| GB2383245B (en) * | 2001-11-05 | 2005-05-18 | Canon Europa Nv | Image processing apparatus |
| JP3796449B2 (ja) * | 2002-01-31 | 2006-07-12 | キヤノン株式会社 | 位置姿勢決定方法および装置並びにコンピュータプログラム |
| JP4635477B2 (ja) * | 2003-06-10 | 2011-02-23 | カシオ計算機株式会社 | 画像撮影装置、擬似３次元画像生成方法、及び、プログラム |
| JP3946716B2 (ja) * | 2004-07-28 | 2007-07-18 | ファナック株式会社 | ロボットシステムにおける３次元視覚センサの再校正方法及び装置 |
| USRE48417E1 (en) * | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| GB2452544A (en) * | 2007-09-07 | 2009-03-11 | Sony Corp | Transforming an image to a model after identifying the best transform metric |
| WO2009061458A1 (en) * | 2007-11-07 | 2009-05-14 | Amfit, Inc. | Impression foam digital scanner |
| TWI351653B (en) * | 2008-02-01 | 2011-11-01 | Quanta Comp Inc | System and method for determining coordinates |
| CN107403058B (zh) * | 2010-07-21 | 2021-04-16 | 阿敏·E·莫尔勒 | 图像报告方法 |
| TWI582710B (zh) * | 2015-11-18 | 2017-05-11 | Bravo Ideas Digital Co Ltd | The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image |
| US10679338B2 (en) * | 2017-08-23 | 2020-06-09 | General Electric Company | Three-dimensional modeling of an object |
| JP2020101845A (ja) * | 2018-12-19 | 2020-07-02 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0486957A (ja) * | 1990-07-31 | 1992-03-19 | Fuji Facom Corp | 立体物外観形状データの入力方法 |
| JP2784097B2 (ja) * | 1991-04-03 | 1998-08-06 | 三菱電機株式会社 | 画像合成器 |
| JPH0512443A (ja) * | 1991-07-05 | 1993-01-22 | Nippon Telegr & Teleph Corp <Ntt> | 動物体の輪郭追跡方法 |
| US5613049A (en) * | 1994-10-26 | 1997-03-18 | The Boeing Company | Method for creating spatially balanced bounding volume hierarchies for use in a computer generated display of a complex structure |
-
1995
- 1995-02-24 JP JP03671095A patent/JP3347508B2/ja not_active Expired - Fee Related
-
1996
- 1996-02-21 US US08/603,613 patent/US5706419A/en not_active Expired - Lifetime
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7583271B2 (en) | 2000-03-10 | 2009-09-01 | Minolta Co., Ltd. | Method and apparatus for data processing recognizing an object represented as two-dimensional image |
| US7227973B2 (en) | 2000-04-03 | 2007-06-05 | Nec Corporation | Device, method and record medium for image comparison |
| JP2003115042A (ja) * | 2001-10-05 | 2003-04-18 | Minolta Co Ltd | ３次元形状モデルの評価方法および生成方法並びに装置 |
| JP2005317000A (ja) * | 2004-04-30 | 2005-11-10 | Mitsubishi Electric Research Laboratories Inc | 最適な視点のセットで得られた２ｄ画像からの顔の３ｄ形状構築に最適な視点のセットを求める方法 |
| US8005295B2 (en) | 2007-03-06 | 2011-08-23 | Panasonic Corporation | Apparatus and method for image processing, image processing program and image processor |
| WO2008108071A1 (ja) * | 2007-03-06 | 2008-09-12 | Panasonic Corporation | 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ |
| JP2009135921A (ja) * | 2007-11-06 | 2009-06-18 | Panasonic Corp | 画像投影装置及び画像投影方法 |
| KR100920225B1 (ko) * | 2007-12-17 | 2009-10-05 | 한국전자통신연구원 | 영상을 이용한 3차원 그래픽 모델의 정확도 측정 방법 및장치 |
| JP2009273116A (ja) * | 2008-04-07 | 2009-11-19 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2010152706A (ja) * | 2008-12-25 | 2010-07-08 | Fujitsu Ltd | 生体認証装置 |
| JP2011118724A (ja) * | 2009-12-04 | 2011-06-16 | Nippon Hoso Kyokai <Nhk> | カメラ姿勢推定装置およびカメラ姿勢推定プログラム |
| JP2012208759A (ja) * | 2011-03-30 | 2012-10-25 | Kddi Corp | ３次元形状モデル高精度化方法およびプログラム |
| KR20200098796A (ko) * | 2019-02-12 | 2020-08-21 | 동국대학교 산학협력단 | 사용자 참여형 인체 3차원 모델링 장치 및 방법 |
| WO2021106686A1 (ja) * | 2019-11-28 | 2021-06-03 | 株式会社日立製作所 | モデル作成装置及びモデル作成方法 |
| US11620479B2 (en) | 2020-02-17 | 2023-04-04 | Hitachi, Ltd. | System for determining diverting availability of object recognition model |
| JP2021193599A (ja) * | 2020-09-14 | 2021-12-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 仮想オブジェクトのフィギュア合成方法、装置、電子機器、記憶媒体 |
| US11645801B2 (en) | 2020-09-14 | 2023-05-09 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for synthesizing figure of virtual object, electronic device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3347508B2 (ja) | 2002-11-20 |
| US5706419A (en) | 1998-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3347508B2 (ja) | 撮像画像処理装置および撮像画像処理方法 | |
| JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| US6438507B1 (en) | Data processing method and processing device | |
| US6819318B1 (en) | Method and apparatus for modeling via a three-dimensional image mosaic system | |
| JP6883608B2 (ja) | 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム | |
| WO2013112749A1 (en) | 3d body modeling, from a single or multiple 3d cameras, in the presence of motion | |
| WO1997001135A2 (en) | Method and system for image combination using a parallax-based technique | |
| JP2005308553A (ja) | 三次元画像計測装置及び方法 | |
| JP2002511617A (ja) | ビデオ画像からの顔認識 | |
| JPWO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
| JP2003279310A (ja) | 位置姿勢補正装置、及び位置姿勢補正方法 | |
| US11321960B2 (en) | Deep learning-based three-dimensional facial reconstruction system | |
| JP6282377B2 (ja) | ３次元形状計測システムおよびその計測方法 | |
| CN113538587A (zh) | 一种相机坐标变换方法、终端以及存储介质 | |
| GB2567245A (en) | Methods and apparatuses for depth rectification processing | |
| EP2800055A1 (en) | Method and system for generating a 3D model | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| CN111105467A (zh) | 一种图像标定方法、装置及电子设备 | |
| JP7474137B2 (ja) | 情報処理装置およびその制御方法 | |
| US6931145B1 (en) | Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model | |
| JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
| JP2005275789A (ja) | 三次元構造抽出方法 | |
| JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110906 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110906 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120906 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120906 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130906 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |