JPH10320588A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法

Info

Publication number
JPH10320588A
JPH10320588A JP9273573A JP27357397A JPH10320588A JP H10320588 A JPH10320588 A JP H10320588A JP 9273573 A JP9273573 A JP 9273573A JP 27357397 A JP27357397 A JP 27357397A JP H10320588 A JPH10320588 A JP H10320588A
Authority
JP
Japan
Prior art keywords
image
time
dimensional
point
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9273573A
Other languages
English (en)
Other versions
JP3512992B2 (ja
Inventor
Mutsumi Watanabe
睦 渡辺
Weils Charles
チャールズ・ワイルズ
Atsuto Maki
淳人 牧
Natsuko Matsuda
夏子 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP27357397A priority Critical patent/JP3512992B2/ja
Priority to US09/001,465 priority patent/US6072903A/en
Publication of JPH10320588A publication Critical patent/JPH10320588A/ja
Application granted granted Critical
Publication of JP3512992B2 publication Critical patent/JP3512992B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】人間の頭部のように複雑形状、かつ、動きのあ
る物体のモデルを実用的な精度と処理速度を満足しつつ
自動作成する。 【解決手段】画像取込み部10、特徴点抽出部11、３次元
位置情報抽出部12、３次元パッチ群生成部13を有するこ
とにより、物体表面のモデルを自動作成する。画像取込
み部10は対象物体の時系列画像（動画像系列）を取り込
む。特徴点抽出部11はモデル作成を行なう物体の表面を
構成する特徴点を抽出する。３次元位置情報抽出部12は
連続画像間でこれら抽出した特徴点どうしの対応づけを
行い、その特徴点群の位置座標情報から各特徴点の３次
元位置情報を求める。３次元パッチ群生成部13はこれら
３次元位置情報が求まった特徴点を基に物体の表面を構
成する３次元パッチ群を生成する。この３次元パッチ群
は対象物体のモデル情報として出力部14に出力される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えば工業部品な
どの設計を支援するための３次元ＣＡＤ（計算機援用設
計）、３次元ＣＧ（コンピュータグラフィックス）を用
いた映像作成、人物の顔画像を用いたＨＩ（ヒューマン
インターフェイス）、移動ロボット制御などで用いられ
るものであり、対象物体のモデル記述の作成を支援する
ことに有用な画像処理装置及び画像処理方法に関する。
【０００２】また、本発明は人物の頭部の動きを追うヘ
ッドトラッキング、テレビ会議やテレビ電話等において
人物の移動ベクトルを抽出することでの画像の通信に必
要な情報量を減らすビデオコンプレッション、ゲームへ
の応用を含むＶＲ（バーチャルリアリティ；仮想現実）
上でのポインティングを行なう３次元ポインタ等を可能
にする画像処理装置および方法に関する。
【０００３】
【従来の技術】近年、工業部品などの設計を支援するた
めの３次元ＣＡＤ（計算機援用設計）、３次元ＣＧ（コ
ンピュータグラフィックス）を用いた映像作成、あるい
は人物の顔画像を用いたＨＩ（ヒューマンインターフェ
イス）など、画像生成、画像処理、画像認識といった画
像に関わる計算機処理のニースが、急速に拡大してい
る。
【０００４】これらの処理においては、対象とする物体
の幾何形状、表面属性、そして、必要に応じて動きのデ
ータを計算機に数値化して入力することが必要である。
この入力過程をモデリングと呼び、入力された数値デー
タをモデルと呼ぶ。現在、このモデリング作業は、人手
により多くの手間をかけて行なっており、生産性やコス
トの面からも自動化が強く望まれている。
【０００５】そこで、カメラで得た画像を解析すること
により、対象物体の形状及び表面属性を自動的に求める
手法の研究が行なわれている。すなわち、複数台のカメ
ラを用いて３角測量の原理により距離を求めるステレオ
法や、簡素なシステムとして一台のカメラの焦点距離を
変えて得た画像を解析することにより距離を求める手法
を用いて、環境に存在する物体のモデリングを自動的に
行なう試みがなされている。
【０００６】しかしながら、一台のカメラで焦点距離を
変える際には物体が静止していることが必要であり、ス
テレオ法において複数のカメラを用いる場合、一台のカ
メラを用いるのに比べてコストに問題がある。また、一
台のカメラで動物体を複数方向から撮影し、ステレオ法
を応用するためには、物体の向きと照明方向の相対変化
を考慮した対応づけ問題が一般に解決されておらず、例
えば、人間の頭部のように複雑形状、かつ、動きのある
物体のモデルを実用的な精度と処理速度を満足しつつ、
自動的に作成する方式は未だ実現されていない。
【０００７】また、一方、近年において、ゲームやＶＲ
（バーチャルリアリティ）の分野では、２次元ではな
く、３次元ＣＧ（コンピュータグラフィクス）を用いた
映像を使う状況が急速に増えており、３次元映像内での
指示に用いるインタフェイスとして、３次元マウスの必
要性が高まっている。それに伴い、様々な装置が３次元
マウスとして開発されている。
【０００８】例えば、装置に具備されたボタンの操作に
より３次元空間内の移動やポインティングを行なうこと
が出来る３次元マウス等の装置も開発されているが、ポ
インテング操作がせっかく３次元的に行えるようになっ
ていても、画像表示するディスプレイが２次元であるた
め、感覚的に３次元の空間内の操作を行なうことはユー
ザにとって困難である。
【０００９】また、指などの関節部分の動きを検出する
ためのセンサが具備されたグローブ（手袋）形式になっ
ており、手にはめて３次元空間内の操作を行える装置も
開発されている。このグローブ形式の装置は、上記の３
次元マウスに比べてより感覚的な操作が行なえるもの
の、特殊なグローブを手に装着しなければならない、と
いう欠点がある。また、体全体で３次元ポインテングを
行おうとすると、姿勢検出や頭の移動等を検出する必要
があり、そのためには、センサなどを取り付けた特殊な
装置を検出対象部分に装着しなければならないなど、現
実的でない。
【００１０】そこで、操作者の動きをテレビカメラで捉
えて、その画像の動きや状態を解析し、得られた情報か
ら、３次元ポインティングや操作指示を行うことができ
るようにすれば、指の動きや体の動き、姿勢などで操作
ができ、操作者にとって直感的で分かりやすく、操作し
易いものとなって、問題が一挙に解決できそうである。
【００１１】しかし、具体的にどのようにすれば良いか
は、研究中であり、まだ、実用的な手法が確立していな
いのが現状である。
【００１２】また、テレビ会議およびテレビ電話等の技
術においては、あらかじめモデルを保持しておき、“ま
ばたき”を発生させたり、言葉に合わせて“口”の形状
をＣＧで生成し、モデルに加える等の技術を用いて、伝
達する情報量を少なくさせるようにする等の工夫がなさ
れているが、画像中の対象物の動き情報をどのようにし
て得るかという技術については現在も確立されていな
い。
【００１３】
【発明が解決しようとする課題】上述したように、従来
の方法では、焦点距離を変える際には物体が静止してい
ることが必要であり、ステレオ法において複数のカメラ
を用いる場合、一台のカメラを用いるのに比べてコスト
に問題があった。また、一台のカメラで動物体を複数方
向から撮影し、ステレオ法を応用するためには、物体の
向きと照明方向の相対変化を考慮した対応づけ問題が一
般に解決されておらず、例えば人間の頭部のように複雑
形状、かつ、動きのある物体を実用的にモデリングする
ことはできなかった。
【００１４】そこで、本発明の第１の目的は、上記のよ
うな点に鑑みなされたもので、人間の頭部のように複雑
形状、かつ、動きのある物体のモデルを一台のカメラで
実用的な精度と処理速度を満足しつつ自動的に作成する
ことのできる画像処理装置及び画像処理方法を提供する
ことにある。
【００１５】また、従来の３次元ポインテイングのデバ
イスは、ユーザにとって使いにくいものであったり、物
体の移動ベクトル解析には特殊な装置を頭部等の解析し
たい部位に装着して使わねばならないといった問題があ
り、これをテレビカメラなどにより、対象物の画像を動
画像として得て、これを解析し、３次元ポインティング
に使用したり、対象物のトラッキング（動きの追跡）、
姿勢検出や姿勢判定などをすれば、グローブ等の装置装
着の煩わしさを解消し、しかも、テレビ会議やテレビ電
話における“まばたき”発生や、言葉に合わせて“口”
の動く様子をＣＧで生成し、モデルに加える等の技術を
駆使した伝達情報量の削減処理が実現できるようになる
ことが考えられるものの、その手法が未解決である。
【００１６】従って、動画像中から、対象物の動きや位
置の情報の取得をしたり、姿勢などの情報の取得、トラ
ッキングの手法の確立が急務である。
【００１７】そこで、この発明の第２の目的は、対象物
の動画像から、対象物の位置や姿勢などを解析できるよ
うにして、ユーザにとって、感覚的に３次元ポインティ
ングを行なうことが出来、しかも、解析したい部位に装
置を装着することなくポインティングあるいはトラッキ
ングを行なうことが出来るようにした画像処理装置およ
び画像処理方法を提供することにある。
【００１８】
【課題を解決するための手段】上記第１の目的を達成す
るため、本発明は次のようにする。
【００１９】（１）すなわち、第１に本発明の画像処理
装置は、対象物体の撮影により時系列的に得られる画像
を取り込む画像取込み手段と、この画像取込み手段によ
って取り込まれた時系列画像から上記対象物体の特徴点
を抽出する特徴点抽出手段と、この特徴点抽出手段によ
って抽出された上記時系列画像の各時点の画像に含まれ
る特徴点どうしを対応づけ、その対応づけられた各特徴
点の位置座標情報を解析処理することにより、３次元の
位置情報を求める３次元位置情報抽出手段と、この３次
元位置情報抽出手段によって得られた上記各特徴点の３
次元位置情報に基づいて上記対象物体の表面を構成する
３次元パッチ群を生成する３次元パッチ群生成手段と、
この３次元パッチ群生成手段によって生成された３次元
パッチ群を上記対象物体のモデル情報として出力する出
力手段とを具備したものである。
【００２０】上記３次元位置情報抽出手段は、上記時系
列画像のうちのＡ時点の画像を選択し、このＡ時点の画
像に含まれる上記検出された各特徴点と上記Ａ時点と異
なるＢ時点の画像に含まれる上記検出された各特徴点ど
うしを対応づけるものであり、その際に上記Ａ時点にお
ける画像中の位置と上記Ｂ時点における画像中の位置の
変化情報を用いて各特徴点どうしを対応づけることを特
徴とする。
【００２１】上記３次元パッチ群生成手段は、上記各特
徴点の３次元位置情報と共に上記各特徴点の画像中の明
度情報を用いることにより、上記対象物体の表面を構成
する３次元パッチ群を求めることを特徴とする。
【００２２】また、上記３次元パッチ群生成手段は、上
記３次元位置情報の得られた各特徴点を通過する３次元
の曲面パッチを想定し、上記３次元位置情報の得られた
各特徴点における明度情報または上記３次元曲面パッチ
に含まれる各点の明度情報と、上記３次元位置情報の得
られた各特徴点の投影点における明度情報または上記曲
面パッチに含まれる各点の投影点における明度情報とを
比較して、上記３次元曲面パッチの方向パラメータを決
定することを特徴とする。
【００２３】すなわち、本発明は、対象物体の撮影によ
って得られる時系列画像を用い、その時系列画像の各時
点の画像に含まれる特徴点どうしを対応づけ、その対応
づけられた各特徴点の位置座標情報から３次元の位置情
報を求め、この各特徴点の３次元位置情報から上記対象
物体の表面を構成する３次元パッチ群を生成し、これを
上記対象物体のモデル情報として出力するものである。
【００２４】このような構成により、例えば人間の頭部
のように複雑形状、かつ、動きのある物体を対象とし
て、そのモデルを自動作成することができる。この場
合、複数枚の動画像を用いてモデリングを行うため、静
止画像を用いる従来方式に比べると、高精度に、また、
処理的にも速くモデリングを行うことができる。
【００２５】（２）上記第１の目的を達成するため、第
２に本発明の画像処理装置は、対象物体の撮影により時
系列的に得られる画像を取り込む画像取り込み手段と、
この画像取り込み手段によって取り込まれた時系列画像
から上記対象物体の特徴点を抽出する特徴点抽出手段
と、この特徴点抽出手段によって抽出された上記時系列
画像の各時点の画像中に含まれる特徴点どうしを対応づ
け、その対応づけられた各特徴点の位置座標情報を解析
処理することにより、上記時系列画像の各時点における
上記対象物体の位置と姿勢の変化を決定する手段と、そ
の対応づけられた各特徴点の輝度情報を解析処理するこ
とにより、上記時系列画像間の線形結合係数を計算する
手段と、上記により決定された上記対象物体の上記時系
列画像中の各時点の位置・姿勢と、上記により計算され
た上記時系列画像間の線形結合係数から、上記対象物体
の各点への距離情報を推定する手段とを具備するもので
ある。
【００２６】そして、上記対象物体の距離情報を推定す
る手段は、上記時系列画像のうち特定時点Ａの画像を選
択し基準画像とし、この基準画像中で各画素における上
記対象物体までの距離Ｚを設定し、この距離Ｚの評価を
幾何学的条件と光学的条件の両方に基づいて行うもので
あり、この距離Ｚおよび上記により決定された上記対象
物体の各時点の位置・姿勢から、上記各画素と対応する
画素を上記特定時点Ａと異なる３時点以上の画像群にお
いて決定する手段と、これら対応する画素における輝度
と上記基準画像中の画素における輝度との整合の度合
を、上記により計算された上記時系列画像間の線形結合
係数を介して計算する手段と、この整合の度合に応じて
任意に仮定された距離Ｚを評価することにより、この評
価に基づいて距離情報を推定する手段とから構成するこ
と特徴とする。
【００２７】すなわち、本発明は、対象物体の撮影によ
って得られる時系列画像を用い、その時系列画像の各時
点の画像に含まれる特徴点同士を対応付け、その対応付
けられた各特徴点の位置座標情報から対象物体の各時点
の３次元の位置と姿勢、従って、時系列画像間の幾何学
的結合条件を求め、一方でその対応づけられた各特徴点
の輝度情報から時系列画像間の光学的結合条件を計算
し、時系列画像問の幾何学的および光学的結合条件を用
いて各画素における距離情報を獲得し、これを上記対象
物体のモデル情報として出力する。
【００２８】このようなシステムとすることにより、例
えば、人間の頭部のように複雑形状、かつ、動きのある
物体を対象に、一台のカメラを入力装置として当該対象
物体のモデル（数値データ）を自動作成することができ
る。
【００２９】（３）第２の目的を達成するため、本発明
の画像処理装置は次のように構成する。
【００３０】すなわち、動画像中に含まれる対象物体の
追跡を行なう装置において、時系列的に得られる前記対
象物体の画像から前記対象物体の特徴点を各時点毎に抽
出する特徴点抽出手段と、この特徴点抽出手段により抽
出された各時点毎の各特徴点のうち、前記時系列画像間
での対応する特徴点同士を対応づけ、その対応づけられ
た各特徴点の位置座標情報を解析処理することにより、
これら各特徴点の３次元位置情報を求める３次元位置情
報抽出手段と、この３次元位置情報抽出手段にて得られ
た各特徴点の３次元位置情報に基づいて、前記時系列画
像の各時点における前記対象物体の位置と姿勢のうち、
少なくとも一つを推定する推定手段と、から構成され
る。
【００３１】このような構成によれば、時系列的に得ら
れる前記対象物体の画像から前記対象物体の特徴点が各
時点毎に抽出され、この抽出された各時点毎の各特徴点
のうち、前記時系列画像間での対応する特徴点同士が対
応づけられ、その対応づけられた各特徴点の位置座標情
報を解析処理することにより、これら各特徴点の３次元
位置情報が求められる。そして、この求められた各特徴
点の３次元位置情報に基づいて、前記時系列画像の各時
点における前記対象物体の位置と姿勢のうち、少なくと
も一つを推定する。
【００３２】このように、対象物の撮像された時系列画
像から、対象物の“特徴点”を抽出してその“特徴点の
追跡”を画像間に亘って行なうことにより、トラッキン
グや、位置、方向等の情報を簡易に取得できるようにな
る。
【００３３】また、本発明においては、上記対象物体の
姿勢を求める手段においては、その具体的手法として、
上記３次元位置情報の得られた各特徴点を通過し、これ
らの各特徴点およびその周囲における上記対象物体表面
上の明度情報を保持する３次元の曲面パッチ（方向性を
持つパッチ）を生成し、この生成された３次元パッチ群
を、これら３次元パッチ群が通過する上記特徴点の３次
元位置情報とに基づいて、時系列画像の各時点の画像と
比較することにより、上記時系列画像の各時点における
上記対象物体の姿勢を推定する。
【００３４】また、生成された３次元パッチ群と、時系
列的に取り込まれた各時点における対象物体の画像とを
比較する手段においては、上記各３次元パッチの明度情
報を基底画像の線形結合によって表現し、上記対象物体
の姿勢に従った線形結合係数を求めることにより、対象
物体の取り得る様々な姿勢に対応した合成画像を生成
し、この生成された画像と対象物体の画像の類似度に応
じて各々の姿勢を評価し、この評価に基づいて姿勢を推
定する。
【００３５】
【発明の実施の形態】以下、本発明の具体的な例を図面
を参照して説明する。
【００３６】人間の頭部のように複雑形状、かつ、動き
のある物体のモデルを実用的な精度と処理速度を満足し
つつ自動作成することのできる装置の例を実施形態１と
して説明する。
【００３７】以下、実施形態１では、人間の頭部の表面
モデルを自動作成する場合を例にとって説明する。
【００３８】＜実施形態１＞図１は本発明の一実施形態
に係る画像処理装置の全体構成を示すブロック図であ
る。本装置は、画像入力部１、データベース２、画像取
込み部１０、特徴点抽出部１１、３次元位置情報抽出部
１２、３次元パッチ群生成部１３、出力部１４を有す
る。
【００３９】画像入力部１は、例えば１台のテレビカメ
ラからなり、モデリングを行う対象物体を撮影する。デ
ータベース２は、この画像入力部１によって時系列に入
力される時系列画像（動画像系列）を記憶するためのメ
モリである。画像取込み部１０は、画像入力部１からリ
アルタイムで入力される対象物体の時系列画像あるいは
データベース２に保持されている対象物体の時系列画像
を取り込む。
【００４０】特徴点抽出部１１は、画像取込み部１０に
よって取り込まれた時系列画像から対象物体の特徴点を
抽出する。この特徴点抽出部１１は、孤立特徴点抽出部
２３、連結特徴点抽出部２６等を有して構成されるが、
その詳細な構成については、後に図４を用いて説明す
る。
【００４１】３次元位置情報抽出部１２は、特徴点抽出
部１１によって抽出された時系列画像の各時点の画像に
含まれる特徴点どうしを対応づけ、その対応づけられた
各特徴点の位置座標情報を解析処理することにより、３
次元の位置情報を求める。この３次元位置情報抽出部１
２は、特徴点対応付け部３１、計測行列設定部３２等を
有して構成されるが、その詳細な構成については、後に
図５を用いて説明する。
【００４２】３次元パッチ群生成部１３は、３次元位置
情報抽出部１２によって得られた各特徴点の３次元位置
情報に基づいて対象物体の表面を構成する３次元パッチ
群を生成する。この３次元パッチ群生成部１３は、３次
元曲面設定部５１、境界補完部５３等を有して構成され
るが、その詳細な構成については、後に図７を用いて説
明する。
【００４３】出力部１４は、例えばディスプレイやプリ
ンタ等の情報出力装置からなり、３次元パッチ群生成部
１３によって生成された３次元パッチ群を対象物体のモ
デル情報として出力するものである。
【００４４】次に、本装置の各部の構成について、図２
に示すフローチャートを参照して説明する。
【００４５】図３は本発明の基本的な構成を示すブロッ
ク図である。本装置は、画像取込み部１０、特徴点抽出
部１１、３次元位置情報抽出部１２、３次元パッチ群生
成部１３を主として構成される。
【００４６】このような構成にあっては、画像取込み部
１０によって対象物体の時系列画像（動画像系列）を取
り込むことにより（図２のステップＳ１，Ｓ２）、ま
ず、特徴点抽出部１１により、モデル作成を行なう物体
の表面を構成する特徴点を抽出する（ステップＳ３）。
なお、ここで用いる時系列画像（動画像系列）として
は、テレビカメラによって実時間で取込むものに限ら
ず、予め獲得されていたものを用いてもよい。
【００４７】次に、３次元位置情報抽出部１２により、
連続画像間でこれら抽出した特徴点どうしの対応づけを
行い、その対応づけられた特徴点群の位置座標情報
（Ｘ，Ｙ方向）から生成される行列を係数行列として含
む関係式を変形操作することにより、各特徴点における
３次元の位置情報（Ｘ，Ｙ，Ｚ方向）を求める（ステッ
プＳ１０）。
【００４８】最後に、３次元パッチ群生成部１３によ
り、これら３次元位置情報が求まった特徴点を基に、物
体の表面を構成する基本要素である３次元パッチ群を生
成する（ステップＳ１４）。ここで生成された３次元パ
ッチ群は、対象物体のモデル情報として出力部１４に出
力される（ステップＳ１８）。
【００４９】ここで、上記特徴点抽出部１１、３次元位
置情報抽出部１２、３次元パッチ群生成部１３の詳細な
構成とその具体的な動作について説明する。
【００５０】［実施形態１での特徴点抽出部11の構成
例］図４は特徴点抽出部１１の詳細な構成を示すブロッ
ク図である。特徴点抽出部１１は、平滑化処理部２１、
２次空間差分処理部２２、孤立特徴点抽出部２３、局所
マスク設定部２４、方向別分散値計算部２５、連結特徴
点抽出部２６からなる。
【００５１】特徴点抽出部１１では、まず、平滑化処理
部２１において、抽出する原画像に平滑化処理を施す
（ステップＳ４）。この処理をディジタルフィルタで実
現する場合は、数１に示すような係数を持つサイズ３の
空間フィルタで実現できる。
【００５２】
【数１】
【００５３】ここでの平滑化処理は、次の２次空間差分
処理部２２及び方向別分散値計算部２５におけるノイズ
低減のための前処理として行われる。
【００５４】次に、２次空間差分処理部２２において、
平滑化処理部２１で平滑化された画像に対し、２次空間
差分処理を施すことにより、孤立した特徴点部分の明度
強調を行なう（ステップＳ５）。この処理をディジタル
空間フィルタで実現する場合は、数２に示すような係数
を持つサイズ３の空間フィルタで実現できる。
【００５５】
【数２】
【００５６】孤立特徴点抽出部２３では、２次空間差分
処理部２２で得られた明度強調結果の中で一定のしきい
値以上の部分を抽出することにより、例えば頭部におけ
る“ほくろ”のような孤立した特徴点を抽出し、その特
徴点の座標値を記憶部（図示せず）に順次格納する（ス
テップＳ６）。
【００５７】次に、局所マスク設定部２４において、平
滑化処理部２１で平滑化された画像に対し、例えば頭部
における“目尻”、“唇”の端点のような連結特徴点を
抽出するための局所マスク領域を順次設定する（ステッ
プＳ７）。この連結特徴点は、例えば“目尻”であれ
ば、目領域の上輪郭と下輪郭の交差する点、“唇”の端
点であれば、上唇の輪郭と下唇の輪郭の交差する点とい
うように、複数の輪郭線（エッジ）の交差した部分とし
て求められる。局所マスク領域の大きさは、抽出する特
徴点を構成する輪郭線（エッジ）の長さに応じて最適と
なるように設定しておく。
【００５８】次に、方向別分散値計算部２５において、
この設定された各局所マスク内の方向別分散値を計算す
る。この方向としては、例えば垂直、水平、右４５度、
左４５度の４方向を選択し、局所マスク内の各方向に連
続した画素の明度値を用いて、各方向別分散値を計算す
る（ステップＳ８）。
【００５９】最後に、連結特徴点抽出部２６において、
方向別分散値計算部２５で得られた方向別分散値が、２
つ以上の方向に対し、一定のしきい値以上の値を有する
局所マスクの中心点を連結特徴点として抽出し、この座
標値を記憶部（図示せず）に順次格納する（ステップＳ
９）。
【００６０】［第１の実施の形態での３次元位置情報抽
出部12の構成例］図５は３次元位置情報抽出部１２の詳
細な構成を示すブロック図である。３次元位置情報抽出
部１２は、特徴点対応づけ部３１、計測行列設定部３
２、計測行列変形操作部３３からなる。
【００６１】３次元位置情報抽出部１２では、まず、特
徴点対応づけ部３１において、特徴点抽出部１１で抽出
された孤立特徴点群及び連結特徴点群の連続時系列画像
間における対応づけを行なう（ステップＳ１０）。具体
的には、時系列画像のうちのＡ時点の画像を選択し、こ
のＡ時点の画像に含まれる上記検出された各特徴点と上
記Ａ時点と異なるＢ時点の画像に含まれる上記検出され
た各特徴点どうしを順次対応づける。この場合、少なく
とも４枚の画像を用いて、各特徴点どうしの対応づけを
行う必要がある。
【００６２】図６にこの特徴点対応づけ部３１の詳細な
構成例を示す。特徴点対応づけ部３１は、特徴点対選択
部４１、局所マスク設定部４２、相関値計算部４３、対
応判定部４４からなる。
【００６３】まず、特徴点対選択部４１で、連続時系列
画像間における対応づけを行なう特徴点の組を選択す
る。次に、局所マスク設定部４２において、これら特徴
点を含む局所マスク領域を各々の画像中に設定する。そ
して、相関値計算部４３において、これら局所マスク領
域間の相関係数の値を計算する。
【００６４】次に、対応判定部４４において、上記相関
係数値がしきい値以上、かつ、最大となる特徴点の組
を、対応づけが求まったものとして記憶部（図示せず）
に格納する処理を、抽出された各特徴点について順次行
う。
【００６５】計測行列設定部３２では、これら対応づけ
の得られた特徴点の座標値を用いて、３次元位置を求め
るための計測行列を作成する（ステップＳ１２）。本実
施形態では、モデル作成を行なう対象物体が観測に用い
るカメラから十分遠方にある（正射影の条件を満たす）
場合について、因子分解法を適用した例について述べ
る。
【００６６】ここで、対応づけが得られた特徴点の組に
おいて、ｆ枚目の画像中のｐ番目の特徴点の位置を（Ｘ
ｆｐ，Ｙｆｐ）とする。また、画像の総枚数をＦ、特徴
点の組の数をＰとする。ｆ枚目の画像中のＰ個の特徴点
の重心位置を（Ａｆ，Ｂｆ）とすると、ＡｆとＢｆは、
数３に示すような式で表される。
【００６７】
【数３】
【００６８】次に、これらの座標間の差をとって、 Ｘ´ｆp ＝Ｘｆp −Ａｆ、Ｙ´ｆp ＝Ｙｆp −Ｂｆ とする。このとき、計測行列Ｗは、数４に示すような式
で与えられる。この計測行列Ｗは、２ＦｘＰの行列であ
る。
【００６９】
【数４】
【００７０】次に、計測行列変形操作部３３では、上記
計測行列ｗに対し、変形操作を行なって、 Ｗ＝ＭＳ という２つの行列の積の形に分解する（ステップＳ１
３）。ただし、 Ｍ＝（Ｉ１，…，ＩＦ，Ｊ１，…，ＪＦ）は２Ｆｘ３の
行列、 Ｓ＝（Ｓ１，Ｓ２，………………，ＳＰ）は３×Ｐの行
列 である。ここでの分解は、例えば特異値分解処理を用い
ることにより実行される。
【００７１】ここで、Ｍの行列の成分のうち、（Ｉｆ，
Ｊｆ）は、ｆ番目の画像の基本ベクトルであり、動画像
系列における各時点での画像の中心位置を与えており、
これらの差が画像間の動きとなる。一方、Ｓにおける成
分Ｓｐは、対応づけられたｐ番目の特徴点の３次元位置
（Ｘｐ，Ｙｐ，Ｚｐ）である。
【００７２】後述する３次元パッチ群生成部１３では、
これらの値を用いて３次元パッチ群の生成を行なう。一
般に、特徴点どうしを連結することによりパッチ（特徴
点を通る平面の最小単位）を生成すると、凹凸の激しい
不自然な形状（平面の集まりによって形成されるため）
となり、ＣＧなどのモデルとして不適切なものになると
いう問題点がある。このため、本発明では、各特徴点を
通る最適な曲面パッチ（方向性を持つパッチ）を想定
し、これを補完することにより、滑らかで自然な３次元
パッチ群を生成する手段を提供している。
【００７３】［実施形態１での３次元パッチ群生成部13
の構成例］図７は３次元パッチ群生成部１３の詳細な構
成例を示すブロック図である。３次元パッチ群生成部１
３は、３次元曲面設定部５１、曲面パラメータ決定部５
２、境界補完部５３からなる。
【００７４】３次元曲面設定部５１では、３次元位置情
報抽出部１２によって得られた３次元位置情報の各特徴
点に対し、この点を通過する曲面を設定する（ステップ
Ｓ１５）。本実施形態では、曲面として方向ｇの平面Ｄ
ｇを設定する。
【００７５】次に、曲面パラメータ決定部５２では、こ
の曲面の各パラメータを決定する（ステップＳ１６）。
本実施形態では、例えば人間の頭部のように、対象が拡
散反射面で構成される場合について、平面パッチの方向
ｇを決定する例について述べる。
【００７６】光学の理論を用いることにより、ｊ番目の
画像中のｉ番目の特徴点ｘｉ（ｊ）の明度Ｉｉ（ｊ）
は、数５に示すような（ａ）式で計算される。
【００７７】
【数５】
【００７８】ここで、Ｂｉはこの点における単位法線ベ
クトル、Ｒ（ｊ）は最初の画像からからｊ番目の画像ま
での回転行列、ｎｋは光源の数、Ｓｋはｋ番目の照明の
強度ベクトルであり、これらは予め与えられるものとす
る。また、Ｄk（ｊ）はこの点がｋ番目の照明に正対し
ている（照明光が入射する）場合は“１”、これ以外は
“０”を採る関数である。
【００７９】一方、平面Ｄｇの方程式を、ａｘ＋ｂｙ＋
ｃｚ＋ｄ＝０とすると、ｘｉ（ｊ）に対応するパッチ上
の点Ｘｉ（ｊ）との関係は、数６に示すような（ｂ）式
で表せられる。
【００８０】
【数６】
【００８１】ここで、Ｐ（ｊ）は３×４の投影行列であ
り、Ｈｇは３×３の行列である。Ｄｇは数７のように与
えられる変換行列である。
【００８２】
【数７】
【００８３】Ｐ（ｊ）は３次元位置情報抽出部１２で得
られた各画像の基本ベクトル及び各特徴点の３次元位置
情報から一意に決定される。Ｈｇは本実施形態では単位
行列Ｉと設定する。
【００８４】この結果を用いて、パラメータｇを変化さ
せつつ、上記数５の（ａ）式で与えられるＩｉ（ｊ）
と、数６の（ｂ）式で計算される点の画像中の明度Ｉ
（Ｐ（ｊ）ＤｇＨｇＸｉ（ｊ））との誤差Ｅｇ（数８）
が最小となるｇを求めることにより、３次元曲面パッチ
の方向パラメータが決定される。
【００８５】
【数８】
【００８６】最後に、境界補完部５３では、得られた各
曲面パッチの境界輪郭を連続関数で補完することによ
り、全体として滑らか、かつ自然な３次元パッチを生成
する（ステップＳ１７）。例えば曲面パッチとして各特
徴点を通る平面を用いた場合には、各平面の交線を境界
とすることにより、３次元パッチを構成する。
【００８７】以上の処理により、１台のカメラを用い
て、例えば頭部のような滑らか、かつ、動きのある物体
のモデルが３次元パッチの形式で自動的に作成される。
この場合、複数枚の動画像を用いてモデリングを行うた
め、静止画像を用いる従来方式に比べると、高精度に、
また、処理的にも速くモデリングを行うことができる。
【００８８】なお、本発明は、上述した実施形態の内容
に限定されるものではない。
【００８９】例えば、上記特徴点抽出部１１において、
局所マスクにおける方向別分散値を計算する代わりに、
画像に一次空間差分フィルタを施すことにより、輪郭エ
ッジを強調し、この輪郭エッジの上で曲率の変化の大き
い所として連結特徴点を求めることも可能である。
【００９０】また、上記３次元位置情報抽出部１２にお
いて、対象物以外の物体が存在する環境で安定にモデル
作成を行なうために、対象物に含まれる特徴点を手動で
選択する機能を持たせてもよい。
【００９１】また、上記３次元位置情報抽出部１２にお
いて、対象物以外の物体が存在する環境で安定にモデル
作成を行なうために、図８に示すように、計測行列変形
操作部３３で得られる行列Ｍより、動画像系列における
各時点での画像の中心位置を求め、これらの差（画像間
の動き）を評価する画像間動き評価部６０を付加する。
この画像間動き評価部６０の評価結果に応じて、上記計
測行列設定部３２における特徴点の選択を変更すること
により、最適な動き情報を与える特徴点群としてモデル
化対象に含まれる特徴点を選択する機能を備えた構成と
することもできる。
【００９２】また、上記３次元パッチ群生成部１３にお
いて、ｋ番目の照明の強度ベクトルＳｋを予め与えられ
るものとしたが、この代わりに複数時点における各特徴
点の明度から決定される行列を解析することにより求め
ることも可能である。
【００９３】また、上記３次元パッチ群生成部１３にお
ける曲面パラメータ決定部５２において、上記実施形態
では、３次元位置情報の得られた特徴点の明度情報を用
いて曲（平）面パッチの方向を決定したが、この代わり
に、予めパッチの大きさを与えておき、このパッチに包
含される各点の明度情報を用いて、数９に示す式で計算
されるＥｇを最小にするｇを求めることにより、方向を
決定することも可能である。
【００９４】
【数９】
【００９５】ここで、Ｘｉｋ（ｊ）はｉ番目のパッチ上
のｋ番目の点であり、この点に対応するｊ番目の画像中
の点をｘｉｋ（ｊ）とし、この点の明度をＩｉｍ（ｊ）
とする。ｎｍはパッチ上の点の数である。
【００９６】また、上記３次元パッチ群生成部１３にお
ける境界補完部５３において、複数のパッチのまとまり
を指定することにより、これらのパッチ群全体を滑らか
に補間する曲面を計算により求め、この曲面を新たに３
次元パッチとして用いてもよい。
【００９７】また、上記３次元位置情報抽出部１２の中
で、図６に示した特徴点対応づけ部３１において、繰り
返し処理を行なうことにより対応づけの信頼度を高める
ことも可能である。図９にこの変形例を示す。
【００９８】すなわち、まず、特徴点対選択部７１にお
いて、局所マスク領域間の相関等に基づいて特徴点対の
候補を選択する。次に、対応点候補選択部７２で、特徴
点対選択部７１で得られた特徴点対候補の中からランダ
ムに最低７個の特徴点対を取り出す。変換行列補正部７
３では、対応点候補選択部７２で取り出された特徴点対
を基に、これらの特徴点を含む２枚の画像間の変換行列
を計算する。
【００９９】この計算された変換行列を、対応評価部７
４において評価する。評価方法としては、例えば上記特
徴点対選択部７１で得られた特徴点対候補のうち、変換
行列の計算に用いられなかった候補を取り出し、この中
から計算された変換行列と適合する特徴点対の数の多さ
によって評価することが可能である。
【０１００】このような対応点候補選択部７２から対応
評価部７４までの処理を繰り返することで、最も高い評
価が得られた変換行列を２枚の画像間の基本行列として
求める。
【０１０１】ここで、この基本行列を得るために対応点
候補選択部７２でランダムに取り出された特徴点対と、
対応評価部７４においてこの基本行列に適合した特徴点
対候補の両方を合わせて、対応づけの完了した特徴点と
する。更に、上記対応づけの完了した特徴点を用いて２
枚の画像間の変換行列を再度計算し、その結果を更新さ
れた基本行列として決定する。最後に、上記決定された
基本行列による制約に基づいて特徴点対を探索し、適合
する対を対応づけの完了した特徴点の集合に追加するこ
とにより、信頼性の高い対応づけ結果を得る。
【０１０２】また、上記３次元位置情報抽出部１２にお
ける特徴点対応づけ部３１において、画像中の各特徴点
の対応づけ候補点の位置の変化情報を用いることによ
り、対応づけの信頼度を高める手段を付加することも可
能である。
【０１０３】例えば、特徴点Ｐの時点１における画像中
の位置座標がＰ１（ｘ１，ｙ１）、特徴点Ｐ１の時点２
における対応候補点の位置座標が特徴点Ｐ２（ｘ２，ｙ
２）、特徴点３の時点３における対応候補点の位置座標
がＰ３（ｘ３，ｙ３）であるとする。連続時間における
動きの連続性の拘束条件を用いると、ベクトルＰ１Ｐ２
とベクトルＰ２Ｐ３はほぼ等しいとみなせる。つまり、
次式（数１０）が成立する。
【０１０４】
【数１０】
【０１０５】この式により、例えば座標値の関数｜２ｘ
２−ｘ１−ｘ３｜＋｜２ｙ２−ｙ１−ｙ３｜の値が、予
め設定されたしきい値Ｔｈより小さい候補のみを選択す
ることにより、信頼性の高い対応づけ結果を得ることが
できる。
【０１０６】以上のように、本発明はその趣旨を逸脱し
ない範囲で種々変形して実施することができる。
【０１０７】以上、実施形態１に示した本発明の画像処
理装置は、対象物体の撮影により時系列的に得られる画
像を取り込む画像取込み手段と、この画像取込み手段に
よって取り込まれた時系列画像から上記対象物体の特徴
点を抽出する特徴点抽出手段と、この特徴点抽出手段に
よって抽出された上記時系列画像の各時点の画像に含ま
れる特徴点どうしを対応づけ、その対応づけられた各特
徴点の位置座標情報を解析処理することにより、３次元
の位置情報を求める３次元位置情報抽出手段と、この３
次元位置情報抽出手段によって得られた上記各特徴点の
３次元位置情報に基づいて上記対象物体の表面を構成す
る３次元パッチ群を生成する３次元パッチ群生成手段
と、この３次元パッチ群生成手段によって生成された３
次元パッチ群を上記対象物体のモデル情報として出力す
る出力手段とを具備したものである。
【０１０８】そして、上記３次元位置情報抽出手段は、
上記時系列画像のうちのＡ時点の画像を選択し、このＡ
時点の画像に含まれる上記検出された各特徴点と上記Ａ
時点と異なるＢ時点の画像に含まれる上記検出された各
特徴点どうしを対応づけるものであり、その際に上記Ａ
時点における画像中の位置と上記Ｂ時点における画像中
の位置の変化情報を用いて各特徴点どうしを対応づけ
る。
【０１０９】また、上記３次元パッチ群生成手段は、上
記各特徴点の３次元位置情報と共に上記各特徴点の画像
中の明度情報を用いることにより、上記対象物体の表面
を構成する３次元パッチ群を求める。
【０１１０】また、上記３次元パッチ群生成手段は、上
記３次元位置情報の得られた各特徴点を通過する３次元
の曲面パッチを想定し、上記３次元位置情報の得られた
各特徴点における明度情報または上記３次元曲面パッチ
に含まれる各点の明度情報と、上記３次元位置情報の得
られた各特徴点の投影点における明度情報または上記曲
面パッチに含まれる各点の投影点における明度情報とを
比較して、上記３次元曲面パッチの方向パラメータを決
定する。
【０１１１】すなわち、本発明は、対象物体の撮影によ
って得られる時系列画像を用い、その時系列画像の各時
点の画像に含まれる特徴点どうしを対応づけ、その対応
づけられた各特徴点の位置座標情報から３次元の位置情
報を求め、この各特徴点の３次元位置情報から上記対象
物体の表面を構成する３次元パッチ群を生成し、これを
上記対象物体のモデル情報として出力するようにしたも
のである。
【０１１２】そして、このような構成により、例えば人
間の頭部のように複雑形状、かつ、動きのある物体を対
象として、そのモデルを自動作成することができる。こ
の場合、複数枚の動画像を用いてモデリングを行うた
め、静止画像を用いる従来方式に比べると、高精度に、
また、処理的にも速くモデリングを行うことができる。
【０１１３】対象とする物体の幾何形状、表面属性、そ
して、必要に応じて動きのデータを計算機に数値化する
処理であるモデリングを、人間の頭部のように複雑形
状、かつ、動きのある物体のモデル作成を例に、一台の
カメラで実用的な精度と処理速度を満足しつつ自動的に
作成することのできる画像処理装置及び画像処理方法の
別の例を実施形態２として次に説明する。
【０１１４】＜実施形態２＞実施形態２における、本発
明の画像処理装置は、対象物体の撮影により時系列的に
得られる画像を取り込む画像取り込み手段と、この画像
取り込み手段によって取り込まれた時系列画像から上記
対象物体の特徴点を抽出する特徴点抽出手段と、この特
徴点抽出手段によって抽出された上記時系列画像の各時
点の画像中に含まれる特徴点どうしを対応づけ、その対
応づけられた各特徴点の位置座標情報を解析処理するこ
とにより、上記時系列画像の各時点における上記対象物
体の位置と姿勢の変化を決定する手段と、その対応づけ
られた各特徴点の輝度情報を解析処理することにより、
上記時系列画像間の線形結合係数を計算する手段と、上
記により決定された上記対象物体の上記時系列画像中の
各時点の位置・姿勢と、上記により計算された上記時系
列画像間の線形結合係数から、上記対象物体の各点への
距離情報を推定する手段とを具備したものである。
【０１１５】上記対象物体の距離情報を推定する手段
は、上記時系列画像のうち特定時点Ａの画像を選択し基
準画像とし、この基準画像中で各画素における上記対象
物体までの距離Ｚを設定し、この距離Ｚの評価を幾何学
的条件と光学的条件の両方に基づいて行うものであり、
この距離Ｚおよび上記により決定された上記対象物体の
各時点の位置・姿勢から、上記各画素と対応する画素を
上記特定時点Ａと異なる３時点以上の画像群において決
定する手段と、これら対応する画素における輝度と上記
基準画像中の画素における輝度との整合の度合を、上記
により計算された上記時系列画像間の線形結合係数を介
して計算する手段と、この整合の度合に応じて任意に仮
定された距離Ｚを評価することにより、この評価に基づ
いて距離情報を推定する手段を有することを特徴とす
る。
【０１１６】すなわち、本発明は、対象物体の撮影によ
って得られる時系列画像（動画像系列）を用い、その時
系列画像の各時点の画像に含まれる特徴点同士を対応付
け、その対応付けられた各特徴点の位置座標情報から対
象物体の各時点の３次元の位置と姿勢、従って、時系列
画像間の幾何学的結合条件を求め、一方でその対応づけ
られた各特徴点の輝度情報から時系列画像間の光学的結
合条件を計算し、時系列画像問の幾何学的および光学的
結合条件を用いて各画素における距離情報を獲得し、こ
れを上記対象物体のモデル情報として出力するものであ
る。
【０１１７】このような構成により、例えば、人間の頭
部のように複雑形状、かつ、動きのある物体を対象に、
一台のカメラを入力装置として当該対象物体のモデル
（数値データ）を自動作成することができる。
【０１１８】なお、本発明はこの意味で複数台のカメラ
を用いるＵＳ Ｐａｔｅｎｔ ５４７５４２２（ＵＳ
Ｐａｔｅｎｔ ５４７５４２２−Ｄｅｃ．１２，１９９
５（ＮＴＴ）“Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔ
ｕｓ ｆｏｒ ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ｔｈｒ
ｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ”）等
に提案されている技術とは内容を異にするものである。
【０１１９】また、以下で発明の実施の形態として対象
物体の動きを算出するためにＣ．Ｔｏｍａｓｉ等による
因子分解法（参考文献２；Ｃ．Ｔｏｍａｓｉ ａｎｄ
Ｔ．Ｋａｎａｄｅ，“Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏ
ｎ ｆｒｏｍ ｉｍａｇｅｓｔｒｅａｍｓ ｕｎｄｅｒ
ｏｒｔｈｏｇｒａｐｈｙ：Ａ ｆａｃｔｏｒｉｚａｔ
ｉｏｎ ｍｅｔｈｏｄ”Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏ
ｎ Ｖ０ｌ．９：２ ｐｐ１３７−１５４，１９９２参
照）を用いており、その際、一撃計算により特定に選択
された点の３次元位置が同時に求まるが、これの外挿を
基本とするモデル化の話は実施形態１において説明し
た。
【０１２０】これに対し、本発明は、対応付けに基づく
ステレオ法を応用することで対象物体の３次元表面全体
を復元しようとするものであり、モデル化の枠組が異な
っている。
【０１２１】実施形態２の詳細を、以下、人間の頭部の
表面モデルを自動生成する場合を例にとって説明する。
【０１２２】［実施形態２のシステムの基本的構成］図
１０に本発明の基本的な構成例を、また、図１１に詳細
を示す。この例においては、図１０に示すように、基本
的な装置構成は画像取込み部２００、特徴点抽出部２０
１、３次元動き推定部２０２、線形結合係数計算部２０
３、距離情報検出部２０４よりなる。さらに特徴点抽出
部２０１は、孤立特徴点抽出機能と連結特徴点抽出機能
とを持ち、３次元動き推定部２０２は特徴点対応づけ機
能と計測行列設定機能とを持ち、線形結合係数計算部２
０３は特徴点対応づけ機能と輝度行列設定機能を持ち、
距離情報検出部２０４は３次元基底画素計算機能と距離
判定機能を持つ。
【０１２３】これらのうち、画像取込み部２００は動画
像を取り込むためのものであり、特徴点抽出部２０１は
この画像取込み部２００により得られた動画像系列か
ら、モデル作成を行なう物体の表面を構成する特徴点を
抽出するものである。また、３次元動き推定部２０２は
特徴点抽出部２０１からの特徴点情報を得て、連続画像
間でこれら抽出した特徴点同士の対応づけを行ない、対
応づけられた特徴点群の２次元座標から生成される行列
を係数行列として含む関係式を変形操作することによ
り、頭部の位置・姿勢を求めるものである。
【０１２４】また、距離情報検出部２０４は、線形結合
係数計算部２０３により求められた画像間の線形結合係
数を、頭部の位置・姿勢と画像間の線形結合係数に従
い、幾何学輝度拘束条件に基づいて、物体への距離情報
を検出し、形状復元を行なうものである。
【０１２５】このような構成の本装置は、画像取込み部
２００により得られた動画像系列から、まず特徴点抽出
部２０１により、モデル作成を行なう物体の表面を構成
する特徴点を抽出する。つまりモデル作成に必要な特徴
点抽出を行う。次に、３次元動き情報抽出部２０２によ
り、連続画像間でこれら抽出した特徴点同士の対応づけ
を行ない、対応づけられた特徴点群の２次元座標から生
成される行列を係数行列として含む関係式を変形操作す
ることにより、頭部の位置・姿勢を求める。つまり、３
次元動き情報抽出部２０２は連続画像間でこれら抽出し
た特徴点どうしの対応づけを行ない、その特徴点群の位
置座標情報から対象物体の動き情報、すなわち３次元位
置・姿勢の変化情報を求める。
【０１２６】また、線形結合係数計算部２０３により、
対応づけられた各特徴点の輝度情報から生成される行列
を係数行列として含む関係式を変形操作することによ
り、画像間の線形結合係数を求める。つまり、時系列画
像間に成り立つ線形結合拘束を求める。
【０１２７】最後に、距離情報検出部２０４により、頭
部の位置・姿勢と画像間の線形結合係数に従って、幾何
学輝度拘束条件に基づいて、物体への距離情報を検出
し、形状復元を行なう。具体的には、画像中各点におけ
る距離を幾何的輝度拘束条件にしたがって探索により求
めることにより物体の３次元形状を決定する。
【０１２８】概略を説明すると、このようなものであ
り、対応付けに基づくステレオ法を応用することで対象
物体の３次元表面全体を復元される。
【０１２９】次に、上記基本構成における各構成要素の
構成例について説明する。はじめに特徴点抽出部２０１
の詳細を説明する。
【０１３０】［実施形態２での特徴点抽出部２０１の構
成例］図１２に、前記特徴点抽出部２０１の詳細な構成
例を示す。特徴点抽出部２０１は孤立特徴点抽出機能と
連結特徴点抽出機能とを持つが、孤立特徴点抽出機能は
２次元空間差分処理部２１１と孤立特徴点対抽出部１２
１とより構成し、連結特徴点抽出機能は局所マスク設定
部２１３と方向別分散値計算部２１４と連結特徴点抽出
部２１５とより構成する。また、孤立特徴点抽出機能と
連結特徴点抽出機能の入力初段に平滑化処理部２１０を
設けて、画像取り込み部２００からの動画像系列データ
を平滑処理してから取り込む構成としてある。
【０１３１】これらのうち、平滑化処理部２１０は抽出
する原画像に平滑化処理を施すためのものであり、次の
２次空間差分処理部２１１、および方向別分散値計算部
２１４におけるノイズ低減のための前処理を施すための
ものである。
【０１３２】２次空間差分処理部２１１は、この前処理
された原画像（平滑化処理結果）に対し、２次空間差分
処理を施すことにより、孤立した特徴点部分の明度強調
を行なうものであり、孤立特徴点対抽出部２１２は、こ
の明度強調結果で適宜に設定した閾値以上の部分を抽出
することにより、画像中の孤立した特徴点を抽出し、こ
の座標値を図示しない記憶部（図示せず）に順次格納す
る機能を有する。
【０１３３】また、局所マスク設定部２１３は、前記平
滑化処理部２１０の平滑化処理結果に対し、画像中の連
続する特徴点を抽出するための局所マスク領域を設定す
るものである。
【０１３４】また、方向別分散値計算部２１４は、この
設定された各局所マスク内の方向別分散値を計算するた
めのものであり、例えば、垂直、水平、右４５度、左４
５度の４方向を選択し、局所マスク内の各方向に連続し
た画素の明度値を用いて、各方向別分散値を計算して連
結特徴点抽出部２１５に与えるものである。
【０１３５】連結特徴点抽出部２１５は、上記方向別分
散値計算部２１４において計算された方向別分散値が、
２つ以上の方向に対し一定閾値以上の値を有する局所マ
スクの中心点を連結特徴点として抽出し、この座標値を
図示しない記憶部に順次格納する機能を有するものであ
る。
【０１３６】このような構成の特徴点抽出部２０１にお
いて、まずその平滑化処理部２１０において、抽出する
原画像に平滑化処理を施す。この処理をディジタルフィ
ルタで実現する場合は、例えば、
【数１１】
【０１３７】という係数を持つ“サイズ３”の空間フィ
ルタで実現できる。この処理は、次の２次空間差分処理
部２１１、および方向別分散値計算部２１４における、
ノイズ低減のための前処理として行なわれる。２次空間
差分処理部２１１では、上記平滑化処理結果に対し、２
次空間差分処理を施すことにより、孤立した特徴点部分
の明度強調を行なう。この処理をディジタル空間フィル
タで実現する場合は、例えば、
【数１２】
【０１３８】という係数を持つ“サイズ３”の空間フィ
ルタで実現できる。
【０１３９】次に、孤立特徴点抽出部２１２において、
この明度強調結果で適当に設定した閾値以上の部分を抽
出することにより、例えば、画像中の“頭部”における
“ほくろ”のような孤立した特徴点を抽出し、この座標
値を記憶部（図示せず）に順次格納する。さらに、局所
マスク設定部２１３では、前記平滑化処理部２１０の結
果に対し、例えば“頭部における目尻”、“唇の端点”
のような連続特徴点を抽出するための局所マスク領域を
順次設定する。
【０１４０】連続特徴点は、例えば“目尻”であれば
“目領域の上輪郭と下輪郭の交差する点”、“唇の端
点”であれば“上唇の輪郭と下唇の輪郭の交差する
点”、というように、複数の輪郭線（エッジ）の交差部
分、すなわち、複数の方向に輝度勾配が強い点として求
められる。マスク領域の大きさは、抽出する特徴点を構
成する輪郭線（エッジ）の長さと必要となる演算量を考
慮して最適となるように設定する。
【０１４１】次に、方向別分散値計算部２１４におい
て、この設定された各局所マスク内の方向別分散値を計
算する。
【０１４２】この方向としては、例えば、垂直、水平、
右４５度、左４５度の４方向を選択し、局所マスク内の
各方向に連続した画素の明度値を用いて、各方向別分散
値を計算する。次に、連結特徴点抽出部２１５におい
て、上記方向別分散値計算部２１４において計算された
方向別分散値が、２つ以上の方向に対し一定閾値以上の
値を有する局所マスクの中心点を連結特徴点として抽出
し、この座標値を記憶部（図示せず）に順次格納する。
【０１４３】このようにして、特徴点抽出部２０１は、
画像取込み部２００により得られた動画像系列から、モ
デル作成を行なう物体の表面を構成する特徴点を抽出す
ることができる。
【０１４４】次に、３次元動き情報抽出部２０２の詳細
を説明する。
【０１４５】［実施形態２における３次元動き情報抽出
部２０２の構成］３次元動き情報抽出部２０２の詳細な
構成例について、図１３を用いて説明する。３次元動き
情報抽出部２０２は、特徴点対応づけ機能と計測行列設
定機能とを持つが、図１３に示すように、特徴点対応づ
け機能は特徴点対応づけ部２２０で実現され、計測行列
設定機能は計測行列設定部２２１と計測行列変形操作部
２２２で実現される。
【０１４６】これらのうち、３次元動き情報抽出部２０
２は、前段の前記特徴点抽出部２０１で抽出された孤立
特徴点群、および連結特徴点群の、連続時系列画像間に
おける対応づけを行なうためのものであり、計測行列設
定部２２１はこれら対応づけの得られた特徴点の画像中
の座標値を用いて、３次元動き情報を求めるための計測
行列を作成するものであり、計測行列変形操作部２２２
はこの計測行列に対し、変形操作を行って２つの行列の
積の形に分解する操作を行い、画像間における物体の３
次元の動き情報である“フレーム間の物体の３次元の動
き情報”を決定するものである。そして、これにより、
動画像系列中におけるある時点での入力画像の任意の点
の座標と、その点までの推測される距離とから、他の画
像において対応する点の座標を算出することができるよ
うにするものである。
【０１４７】このような構成の３次元動き情報抽出部２
０２は、その特徴点対応づけ部２２０において、前記特
徴点抽出部２０１で抽出された孤立特徴点群、および連
結特徴点群の、連続時系列画像間における対応づけを行
なう。
【０１４８】ここで、当該特徴点対応づけ部２２０につ
いて、少し詳しくふれておく。特徴点対応づけ部２２０
は画像間線形結合計算部２０３にも共通に利用される機
能要素であり、図１４に、この特徴点対応づけ部２２０
の詳細な構成例を示す。特徴点対応づけ部２２０は図１
４に示すように、特徴点選択部２２３、局所マスク設定
部２２４、相関値計算部２２５、対応判定部２２６とよ
り構成される。
【０１４９】そして、特徴点対応づけ部２２０ではま
ず、その特徴点選択部２２３で、連続時系列画像間にお
ける対応づけを行なう特徴点の組を選択する。次に、局
所マスク設定部２２４において、これら特徴点を含む
“５×５”や“７×７”などのサイズを持つ局所マスク
領域を各々の画像中に設定する。
【０１５０】次に、相関値計算部２２５において、これ
ら局所マスク領域間の相関係数の値を計算する。次に、
対応判定部２２６において、上記相関係数値がしきい値
以上、かつ最大となる組を、対応づけが求まったものと
して記憶部（図示せず）に格納する処理を、抽出された
各特徴点について順次行なう。
【０１５１】このようにして、特徴点対応づけ部２２０
では特徴点抽出部２０１により抽出された孤立特徴点
群、および連結特徴点群の、連続時系列画像間における
対応づけ処理が行われる。以上が、特徴点対応づけ部２
２０の動作の詳細である。
【０１５２】特徴点対応づけ部２２０でのこのような対
応づけ処理が終わると、その処理結果は計測行列設定部
２２１に渡される。そして、計測行列設定部２２１で
は、これら対応づけの得られた特徴点の画像中の座標値
を用いて、３次元動き情報を求めるための計測行列を作
成する。
【０１５３】本実施例では、モデル作成を行なう対象そ
のものの奥行きに対し、観測に用いるカメラが対象から
十分遠方にある（正射影の条件を満たす）場合につい
て、因子分解法を適用した例を説明する。
【０１５４】正射影の条件は、例えば、“顔”を撮影す
る場合、通常カメラを特に遠方に配置しなくても満たさ
れる。対応づけが得られた特徴点の組において、ｆ枚目
の画像中のｐ番目の特徴点の位置を（Ｘｆｐ，Ｙｆｐ）
とする。
【０１５５】また、画像の総枚数をＦ、特徴点の組の数
をＰとする。ｆ枚目の画像中の特徴点群の重心位置を
（Ａf，Ｂf）とすると、これらは、
【数１３】
【０１５６】として与えられる。次にこれらの座標間の
差をとって、 Ｘ′ｆp＝Ｘｆp−Ａf，Ｙ′ｆp＝Ｙｆp−Ｂf …(2-2) とする。このとき、計測行列Ｗは、
【数１４】
【０１５７】として設定される。この計測行列Ｗは“２
Ｆ×Ｐ”の行列である。次に、計測行列変形操作部２２
２では、上記計測行列Ｗに対し、変形操作を行って Ｗ＝ＭＳ …(2-3) という具合に、２つの行列の積の形に分解する。ただ
し、
【数１５】
【０１５８】は２Ｆ×３の行列、 Ｓ＝（Ｓ1，Ｓ2，・・・，Ｓp） …(2-5) は３×Ｐの行列である。この分解は、例えば特異値分解
処理を用いることにより実行される。
【０１５９】ここで、Ｓの行列における成分Ｓpは、対
応づけられたｐ番目の特徴点の３次元位置（Ｘp，Ｙp，
Ｚp）である。
【０１６０】一方、Ｍの行列の成分のうち、（ｘf，
ｙf）は、ｆ番目の画像の基本ベクトルであって、動画
像系列における各時点での画像の中心位置を与えてお
り、これらの差から“フレーム間の物体の３次元の動き
情報”、すなわち、“位置と姿勢の変化”を決定するこ
とができる。
【０１６１】なお、特異値分解は一般に任意性を有する
が、Ｍの行列の要素ベクトルが正規直交系を構成するよ
うにするなどの適宜なる拘束条件の下に、分解を一意に
決定できる（詳細は前記参考文献２参照）。
【０１６２】これにより、動画像系列中におけるある時
点での入力画像の任意の点の座標と、その点までの推測
される距離Ｚとから、他の画像において対応する点の座
標を算出することができる。
【０１６３】以上が、３次元動き情報抽出部２０２の作
用である。
【０１６４】次に前記画像間線形結合計算部２０３の詳
細を説明する。
【０１６５】［実施形態２の画像間線形結合計算部２０
３の構成例］前記画像間線形結合計算部２０３の詳細に
ついて、図１５を用いて説明する。画像間線形結合計算
部２０３は図１５に示すように、特徴点対応づけ部２２
０、評価関数計算部２４１、距離判定部２４２とより構
成される。特徴点対応づけ部２２０は図１４で説明した
ものと同様であり、図では３次元動き情報抽出部２０２
と画像間線形結合計算部２０３とで、それぞれ独自に同
じものを持たせたように記述してあるが、共用化してそ
の出力を３次元動き情報抽出部２０２と画像間線形結合
計算部２０３とで、それぞれ利用するようにして良い。
【０１６６】上述のように、特徴点対応づけ部２２０
は、動画像系列中の各々の特徴点に対して対応づけ処理
を実施するものである。この対応づけ処理により対応づ
けされた特徴点の輝度値Ｉi(j)を、輝度Ｉにおいて記録
することが出来る。
【０１６７】輝度行列設定部２３１は、特徴点対応づけ
部２２０により対応づけの得られた特徴点における輝度
値を用いて、輝度行列を作成して輝度行列変形操作部２
３２に渡すものであり、輝度行列変形操作部２３２はこ
れより、次段（距離情報検出部２０４）での距離情報検
出に必要な近似表現の行列を得るものである。
【０１６８】次に、このような構成の画像間線形結合計
算部２０３の作用を説明する。
【０１６９】ここで、一般に１つの無限遠点光源を考え
るとき、ある画素ｘiの輝度Ｉは、その画素に対応する
物体表面上の点の内向きの３次元単位法線ベクトルに表
面反射率を乗じた量Ｂiと、点光源の光の方向を示す３
次元単位ベクトルに光源の強さを乗じた量ｓlとの内
積、すなわち、 Ｉ＝Ｂiｓl で表現されることに注意する必要がある（図１８参
照）。
【０１７０】また、これに基づいて、単一点光源下で得
られる完全拡散反射表面を持つ凸物体の任意の画像は、
同一平面上にない３個の単一点光源によって対象物体を
同じ方向から撮影した任意の３枚の画像を基底画像と
し、それらの線形結合で表現できることがＳｈａｓｈｕ
ａ（参考文献３；Ａ．Ｓｈａｓｈｕａ“Ｇｅｏｍｅｔｒ
ｙ ａｎｄ ｐｈｏｔｏｍｅｔｒｙ ｉｎ ３Ｄ ｖｉ
ｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ” Ｐｈ．Ｄ．Ｔｈ
ｅｓｉｓ，Ｄｅｐｔ．Ｂｒａｉｎ ａｎｄ Ｃｏｇｎｉ
ｔｉｖｅ Ｓｃｉｅｎｃｅ，ＭＩＴ，１９９２．参照）
によって示されている。
【０１７１】いま、物体表面上の点が動画像系列上の点
ｘ(j)に投影される時、無限遠のｎk個の点光源による反
射を“Lambertianモデル”で表現すると、ｊ番目の画像
のｉ番目の点の輝度値Ｉi(j)は、
【数１６】
【０１７２】で与えられる。ただし、上式において、Ｂ
iは物体表面の内向きの単位法線ベクトルに表面反射率
を乗じたものであり、Ｒ(j)は最初の画像からｊ番目の
画像までの物体の回転を表す行列であり、ｓkはｋ番目
の光の方向を示す単位べクトルに光源の強さを乗じたも
のである。
【０１７３】ある光源によって画素が照射されていない
と、内積が負の値をとるのでmax（・，０）とする必要
がある。
【０１７４】式(2-6)は次のように書くことも出来る。
【０１７５】
【数１７】
【０１７６】は光源にに関する因子であり、Ｄk(j)はｋ
番目の光源がｊ番目の画像を照射しているかどうかで、
“１”または“０”の値をとる。画像中の特徴点がｎi
個であり、ｎj枚の動画像系列を解析する場合、輝度Ｉ
は、以下の行列表現をとることが出来る。
【０１７７】Ｉ＝Ｂｓ …(2-9)
【数１８】
【０１７８】３次元動き抽出部２０２中で説明した特徴
点対応づけ部２２０で、ｎj枚通して全ての動画像系列
中の各々の特徴点に対して対応づけ処理が成されること
によって対応づけされた特徴点の輝度値Ｉi(j)を、輝度
Ｉにおいて記録することが出来る。
【０１７９】このような特徴点対応づけ部２２０による
“対応づけされた特徴点の輝度値”が求められると、次
に輝度行列設定部２３１での処理に移る。輝度行列設定
部２３１では、これら対応づけの得られた特徴点におけ
る輝度値を用いて、輝度行列を作成する。そして、これ
を輝度行列変形操作部２３２に渡す。
【０１８０】輝度行列変形操作部２３２ではこれより、
次段（距離情報検出部２０４）での距離情報検出に必要
な近似表現の行列を得る。
【０１８１】これは次のようにして求める。いま、単一
点光源を考えるとき、輝度行列変形操作部２３２では、
上記計測行列である輝度Ｉの行列に対し、例えば、特異
値分解等を行なうことによって、rank３の行列による近
似表現を得ることが出来る。
【０１８２】
【数１９】
【０１８３】よく知られているように特異値分解による
分解は一意ではなく、一般には任意の３×３正則行列Ａ
を用いて次のように表現される：
【数２０】
【０１８４】特定のＡで、
【数２１】
【０１８５】このようにして、３次元動き情報抽出部２
０２では、特徴点抽出部２０１で抽出された孤立特徴点
群、及び連結特徴点群の連続時系列画像間における対応
づけが行われ、動画像系列中におけるある時点での入力
画像の任意の点の座標と、その点までの推測される距離
とから、他の画像において、対応する点の座標を求める
ことになる。
【０１８６】この求めた座標は距離情報検出部２０４に
与えられ、ここで距離情報の検出が行われるが、当該距
離情報検出部２０４の詳細は次の通りである。
【０１８７】［実施形態２の距離情報検出部２０４の構
成］前記距離情報検出部２０４の詳細な構成例につい
て、図１６を用いて説明する。図１６に示すように、距
離情報検出部２０４は３次元基底画素計算部２４０、評
価関数計算部２４１、距離判定部２４２とより構成され
る。
【０１８８】これらのうち、３次元基底画素計算部２４
０は、３次元動き情報抽出部２０２と画像間線形結合計
算部２０３の出力から、３次元基底画像を求めるもので
あり、評価関数計算部２４１は、この求められた基底画
像と線形結合係数によって合成される輝度と実際の輝度
との自乗誤差に基づいて所定の評価関数Ｅi（Ｚ）を計
算するものである。また、距離判定部２４２は、推測の
距離Ｚを変化させつつ上記評価関数Ｅi（Ｚ）の計算を
行い、評価関数を最小（理想的には零）とする距離Ｚを
以てその点での距離とすると云った処理を行うものであ
る。
【０１８９】距離情報検出部２０４での基本的な処理概
念は、動画像中から、ある基本画像を選択し、この画像
中で“顔”に相当する部分の各画素において、他の画像
との幾何的輝度拘束（幾何学的に対応する点における輝
度間に成立する線形拘束）にしたがって距離を推定する
というものであり、ここでの処理には前記３次元動き情
報抽出部２０２の処理結果と、前記画像間線形結合計算
部２０３での処理結果の双方を利用するものである。
【０１９０】ここでの処理概念を図面を参照して説明す
ると、図１７に４枚の時系列画像を用いて示される如く
である。つまり、図１７に示す例は、実施形態２におけ
る画像処理装置の、図１０及び図１１に示した距離情報
検出部２０４において用いられる幾何学的輝度拘束を示
すスケッチ図であり、ｆ１，ｆ２，ｆ３，ｆ４はそれぞ
れ異なる時点での画像であり、Target Objectは目的の
被写体、Object Motionは被写体の運動方向、ｚは被写
体に対するカメラの光軸、そして、Ｉi（１），Ｉi
（２），Ｉi（３），Ｉi（４）はそれぞれ画素の輝度で
あって、基準画像の任意の画素の輝度Ｉi（１）は、他
の３枚の画像において幾何学的に対応している点の輝度
Ｉi（２），Ｉi（３），Ｉi（４）の線形結合で表され
る。なお図中、対象物体の動きは撮影するカメラ(Camer
a)の逆位相の動きとして解釈されている。
【０１９１】すなわち、１番目の画像において“顔”表
面のある点Ｘｉが投影された画素の輝度Ｉi(1)を考える
とき、その点Ｘｉへの距離Ｚを仮定し、これに従って同
じ点Ｘｉが異なる時点の画像において投影された輝度Ｉ
i(２)，Ｉi(3)，Ｉi(4)を推測し、これらの輝度が、画
像間線形結合計算部２０３で計算された線形結合係数に
基づいた線形結合拘束を正しく満たす度合を評価する。
この評価により、正しい距離Ｚを探索によって求めるこ
とができるので、この評価により、正しい距離Ｚを探索
によって求める。
【０１９２】ここでの処理概念はこのようなものであ
る。
【０１９３】詳細を説明する。いま、ある距離Ｚを仮定
するとき、これに対する３次元基底画素計算部２４０と
評価関数計算部２４１を以下のように構成する。
【０１９４】
【数２２】
【０１９５】距離判定部２４２では、推測の距離Ｚを変
化させつつ上記評価関数Ｅｉ（Ｚ）の計算を行い、評価
関数を最小（理想的には零）とするＺを以てその点での
距離とする。
【０１９６】以上の操作を画像上の各点において実行す
ることで、画像全体の距離画像を得る。
【０１９７】なお、本発明は上記実施例で記載した内容
に限定されるものではない。例えば、距離情報検出部４
において３次元物体の形状の連続性が仮定できる際に
は、検出された形状に含まれる誤差を平滑化により緩和
することができる。
【０１９８】また、距離判定部２４２で距離Ｚを推測す
る際、３次元動き情報抽出部２０２において物体の動き
と同時に抽出される特徴点の３次元位置情報Ｓを用いて
距離Ｚの推測範囲を限定することができる。
【０１９９】更に、前記画像間線形結合計算部２０３に
おいて線形結合係数として光源の方向Ｓが既知である場
合は、３次元基底画素計算部２４０における式（2-15）
は次式で置き換えられる。
【０２００】
【数２３】
【０２０１】光源については更に、ここで記述した単一
点光源における議論を基に、その組合せとして一般光源
へ拡張した環境へも対応することが可能である。このよ
うに、本発明は物体の幾何的条件と光学的条件を組み合
わせることにより様々な拡張が可能である。
【０２０２】以上、本発明によれば、複雑形状かつ動き
のある物体の形状復元を、実用的な精度と処理速度を満
足して行なうための画像処理方法およびその装置を提供
することが可能となり、３次元ＣＡＤ、また３次元ＣＧ
（コンピュータグラフィクス）を用いた映像作成等の技
術に、大きく貢献する。
【０２０３】以上、詳述したように、実施形態２に関わ
る本発明の画像処理装置は、対象物体の撮影により時系
列的に得られる画像を取り込む画像取り込み手段と、こ
の画像取り込み手段によって取り込まれた時系列画像か
ら上記対象物体の特徴点を抽出する特徴点抽出手段と、
この特徴点抽出手段によって抽出された上記時系列画像
の各時点の画像中に含まれる特徴点どうしを対応づけ、
その対応づけられた各特徴点の位置座標情報を解析処理
することにより、上記時系列画像の各時点における上記
対象物体の位置と姿勢の変化を決定する手段と、その対
応づけられた各特徴点の輝度情報を解析処理することに
より、上記時系列画像間の線形結合係数を計算する手段
と、上記により決定された上記対象物体の上記時系列画
像中の各時点の位置・姿勢と、上記により計算された上
記時系列画像間の線形結合係数から、上記対象物体の各
点への距離情報を推定する手段とを具備したものであ
る。
【０２０４】そして、上記対象物体の距離情報を推定す
る手段は、上記時系列画像のうち特定時点Ａの画像を選
択し基準画像とし、この基準画像中で各画素における上
記対象物体までの距離Ｚを設定し、この距離Ｚの評価を
幾何学的条件と光学的条件の両方に基づいて行うもので
あり、この距離Ｚおよび上記により決定された上記対象
物体の各時点の位置・姿勢から、上記各画素と対応する
画素を上記特定時点Ａと異なる３時点以上の画像群にお
いて決定し、これら対応する画素における輝度と上記基
準画像中の画素における輝度との整合の度合を、上記に
より計算された上記時系列画像間の線形結合係数を介し
て計算し、この整合の度合に応じて任意に仮定された距
離Ｚを評価することにより、この評価に基づいて距離情
報を推定する。
【０２０５】すなわち、本発明は、対象物体の撮影によ
って得られる時系列画像を用い、その時系列画像の各時
点の画像に含まれる特徴点同士を対応付け、その対応付
けられた各特徴点の位置座標情報から対象物体の各時点
の３次元の位置と姿勢、従って、時系列画像間の幾何学
的結合条件を求め、一方でその対応づけられた各特徴点
の輝度情報から時系列画像間の光学的結合条件を計算
し、時系列画像問の幾何学的および光学的結合条件を用
いて各画素における距離情報を獲得し、これを上記対象
物体のモデル情報として出力する。
【０２０６】このようなシステムとすることにより、例
えば、人間の頭部のように複雑形状、かつ、動きのある
物体を対象に、一台のカメラを入力装置として当該対象
物体のモデル（数値データ）を自動作成することができ
る。
【０２０７】次に実施形態３について説明する。
【０２０８】＜実施形態３＞実施形態３は、人物の頭部
の動きを追うヘッドトラッキング、テレビ会議やテレビ
電話等において人物の移動ベクトルを抽出することでの
画像の通信に必要な情報量を減らすビデオコンプレッシ
ョン、ゲームへの応用を含むＶＲ（バーチャルリアリテ
ィ；仮想現実）上でのポインティングを行なう３次元ポ
インタ等を可能にする画像処理装置および方法に関す
る。
【０２０９】近年、ゲームやＶＲ（バーチャルリアリテ
ィ）の分野においては、２次元ではなく、３次元ＣＧ
（コンピュータグラフィクス）を用いた映像を使う状況
が急速に増えており、３次元映像内での指示に用いるイ
ンタフェイスとして、３次元マウスの必要性が高まって
おり、それに伴い、様々な装置が３次元マウスとして開
発されている。
【０２１０】例えば、装置に具備されたボタンの操作に
より３次元空間内の移動やポインティングを行なうこと
が出来る３次元マウス等の装置も開発されているが、ポ
インテング操作がせっかく３次元的に行えるようになっ
ていても、画像表示するディスプレイが２次元であるた
め、感覚的に３次元の空間内の操作を行なうことはユー
ザにとって困難である。
【０２１１】また、指などの関節部分の動きを検出する
ためのセンサが具備されたグローブ（手袋）形式になっ
ており、手にはめて３次元空間内の操作を行える装置も
開発されている。このグローブ形式の装置は、上記の３
次元マウスに比べてより感覚的な操作が行なえるもの
の、特殊なグローブを手に装着しなければならない、と
いう欠点がある。また、体全体で３次元ポインテングを
行おうとすると、姿勢検出や頭の移動等を検出する必要
があり、そのためには、センサなどを取り付けた特殊な
装置を検出対象部分に装着しなければならないなど、現
実的でない。
【０２１２】そこで、操作者の動きをテレビカメラで捉
えて、その画像の動きや状態を解析し、得られた情報か
ら、３次元ポインティングや操作指示を行うことができ
るようにすれば、指の動きや体の動き、姿勢などで操作
ができ、操作者にとって直感的で分かりやすく、操作し
易いものとなって、問題が一挙に解決できそうである。
【０２１３】しかし、具体的にどのようにすれば良いか
は、研究中であり、まだ、実用的な手法が確立していな
いのが現状である。
【０２１４】また、テレビ会議およびテレビ電話等の技
術においては、あらかじめモデルを保持しておき、“ま
ばたき”を発生させたり、言葉に合わせて“口”の形状
をＣＧで生成し、モデルに加える等の技術を用いて、伝
達する情報量を少なくさせるようにする等の工夫がなさ
れているが、画像中の対象物の動き情報をどのようにし
て得るかという技術については現在も確立されていな
い。
【０２１５】ここでは、テレビカメラなどにより、対象
物の画像を動画像として得て、これを解析し、３次元ポ
インティングに使用したり、対象物のトラッキング（動
きの追跡）、姿勢検出や姿勢判定などをすれば、グロー
ブ等の装置装着の煩わしさを解消し、しかも、テレビ会
議やテレビ電話における“まばたき”発生や、言葉に合
わせて“口”の動く様子をＣＧで生成し、モデルに加え
る等の技術を駆使した伝達情報量の削減処理を実現でき
るようにする。
【０２１６】そのために、動画像中から、対象物の動き
や位置の情報の取得をしたり、姿勢などの情報の取得、
トラッキングを如何にして実現するか、その具体的手法
を実施形態３として説明する。
【０２１７】［実施形態３におけるシステムの基本的構
成］図１９に本発明の基本的な構成例を示す。図中、３
００は画像取り込み部、３０１は特徴点抽出部、３０２
は３次元位置抽出部、３０３は姿勢情報検出部である。
【０２１８】これらのうち、画像取込み部３００は対象
物の画像を動画像として取り込むものであって、対象物
を撮像して得られる動画像データを提供するものであ
る。特徴点抽出部３０１は、この画像取り込み部３００
より得られた動画像データ系列から、モデル作成を行な
う物体の表面を構成する特徴点を抽出するものであっ
て、図２０に示すように孤立特徴点を抽出する機能と連
結特徴点を抽出する機能を備えている。
【０２１９】３次元位置情報抽出部３０２はこの抽出さ
れた特徴点の情報を用い、連続画像間でこれら特徴点同
士の対応付けを行い、対応づけられた特徴点群の位置座
標から生成される行列を係数行列として含む関係式を変
形操作して、各特徴点の３次元位置情報を求めるもので
あって、図２０に示すように、特徴点対応づけ機能と計
測行列を設定する機能とを備えている。
【０２２０】また、移動情報検出部３０３は、これら３
次元位置情報が求まった特徴点を基に、物体の移動情報
を検出し、トラッキングを行なうものであって、図２０
に示すように、３次元基底画像を計算する機能と姿勢判
定する機能を備えている。
【０２２１】このような構成の本装置は、画像取込み部
３００により得られた動画像系列から、まず特徴点抽出
部３０１により、モデル作成を行なう物体の表面を構成
する特徴点を抽出する。
【０２２２】次に、３次元位置情報抽出部３０２によ
り、連続画像間でこれら抽出した特徴点同士の対応付け
を行い、対応づけられた特徴点群の位置座標から生成さ
れる行列を係数行列として含む関係式を変形操作するこ
とにより、各特徴点の３次元位置情報を求める。
【０２２３】最後に、移動情報検出部３０３により、こ
れら３次元位置情報が求まった特徴点を基に、物体の移
動情報を検出し、トラッキングを行なう。
【０２２４】このように、物体の動きを自動的に追跡
し、あるいは物体の位置を情報や姿勢の変化を取得する
ために、対象物体の時系列画像（動画像系列）を元に、
特徴点抽出部３０１にて、追跡する対象物体のモデル作
成を行なうために特徴点を抽出し、３次元位置情報抽出
部３０２にて、連続画像間でこれら抽出した特徴点どう
しの対応づけを行ない、その特徴点群の位置座標情報か
ら各特徴点の３次元情報を求め、そして、移動情報検出
部３０３にて、これら３次元情報が求まった特徴点を基
に、時系列画像の各フレームで抽出される特徴点の位置
とその輝度情報に従って、物体の動きを自動的に追跡す
る。
【０２２５】次に、上記基本構成における各構成要素の
構成例について説明する。
【０２２６】［実施形態３における特徴点抽出部３０１
の構成］図２１に、前記特徴点抽出部３０１の詳細な構
成例を示す。
【０２２７】図に示すように、特徴点収集部３０１は、
平滑化処理部３０４、２次元空間差分処理部３０５、孤
立特徴点対抽出部３０６、局所マスク設定部３０７、方
向別分散値計算部３０８、連結特徴点抽出部３０９から
構成される。
【０２２８】これらのうち、平滑化処理部３０４は、特
徴点抽出する原画像に平滑化処理を施すものであり、画
像取り込み部３００から入力された動画像系列の画像に
ついて各画像毎に平滑化処理を加えて出力するものであ
る。また、２次元空間差分処理部５は、上記平滑化処理
部３０４による平滑化処理結果に対し、２次空間差分処
理を施すことにより、孤立した特徴点部分の明度強調を
行なうものである。
【０２２９】また、孤立特徴点対抽出部３０６は、この
明度強調結果で一定閾値以上の部分を抽出することによ
り、孤立した特徴点を抽出し、この抽出した孤立特徴点
の座標値（原画像の画面上での座標点）を図示しない記
憶部（図示せず）に順次格納するといった処理を行うも
のである。
【０２３０】局所マスク設定部３０７は、前記平滑化処
理部３０４の平滑化処理済み画像に対し、例えば“頭部
における目尻”、“唇の端点”のような連続特徴点を抽
出するための局所マスク領域を、順次設定するものであ
り、方向別分散値計算部３０８は、この設定された各局
所マスク内の方向別分散値を計算するものである。
【０２３１】また、連結特徴点抽出部３０９は、前記方
向別分散値計算部３０８において計算された方向別分散
値が、２つ以上の方向に対し、一定閾値以上の値を有す
る局所マスクの中心点を連結特徴点として抽出し、この
座標値を図示しない記憶部（図示せず）に順次格納する
ものである。
【０２３２】上記構成の特徴点抽出部３０１の作用を説
明する。
【０２３３】まず平滑化処理部３０４において、抽出す
る原画像に平滑化処理を施す。この処理をディジタルフ
ィルタで実現する場合は、例えば、
【数２４】
【０２３４】という係数を持つサイズ３の空間フイルタ
で実現できる。この処理は、次の２次空間差分処理部３
０４、および方向別分散値計算部３０８における、ノイ
ズ低減のための前処理として行なわれる。２次空間差分
処理部３０４では、上記平滑化処理結果に対し、２次空
間差分処理を施すことにより、孤立した特徴点部分の明
度強調を行なう。この処理をディジタル空間フィルタで
実現する場合は、例えば、
【数２５】
【０２３５】という係数を持つ“サイズ３”の空間フィ
ルタで実現できる。
【０２３６】次に、孤立特徴点抽出部３０６において、
この明度強調結果で一定閾値以上の部分を抽出すること
により、例えば“頭部”における“ほくろ”のような孤
立した特徴点を抽出し、この座標値を記憶部（図示せ
ず）に順次格納する。
【０２３７】さらに、局所マスク設定部３０７では、前
記平滑化処理部３０４の結果に対し、例えば“頭部にお
ける目尻”、“唇の端点”のような連続特徴点を抽出す
るための局所マスク領域を、順次設定する。
【０２３８】連続特徴点は、例えば“目尻”であれば
「“目”領域の上輪郭と下輪郭の交差する点」、“唇”
の端点であれば「“上唇”の輪郭と“下唇”の輪郭の交
差する点」、というように、複数の輪郭線（エッジ）の
交差部分として求められる。マスク領域の大きさは、抽
出する特徴点を構成する輪郭線（エッジ）の長さに応じ
て最適となるように設定する。
【０２３９】次に、方向別分散値計算部３０８におい
て、この設定された各局所マスク内の方向別分散値を計
算する。この方向としては例えば、垂直、水平、右４５
度、左４５度の４方向を選択し、局所マスク内の各方向
に連続した画素の明度値を用いて、各方向別分散値を計
算する。
【０２４０】次に、連結特徴点部３０９において、上記
方向別分散値計算部３０８において計算された方向別分
散値が、２つ以上の方向に対し一定閾値以上の値を有す
る局所マスクの中心点を連結特徴点として抽出し、この
座標値を記憶部（図示せず）に順次格納する。
【０２４１】対象物の動画像から、対象物の位置や姿勢
などを解析できるようにして、ユーザにとって、感覚的
に３次元ポインティングを行なうことが出来、しかも、
解析したい部位に装置を装着することなくポインティン
グあるいはトラッキングを行なうことが出来るようにす
るには次のようにする。
【０２４２】概略を述べると、動画像中に含まれる対象
物体の追跡を行なう装置として、時系列的に得られる前
記対象物体の画像から前記対象物体の特徴点を各時点毎
に抽出する特徴点抽出手段と、この特徴点抽出手段によ
り抽出された各時点毎の各特徴点のうち、前記時系列画
像間での対応する特徴点同士を対応づけ、その対応づけ
られた各特徴点の位置座標情報を解析処理することによ
り、これら各特徴点の３次元位置情報を求める３次元位
置情報抽出手段と、この３次元位置情報抽出手段にて得
られた各特徴点の３次元位置情報に基づいて、前記時系
列画像の各時点における前記対象物体の位置と姿勢のう
ち、少なくとも一つを推定する推定手段とを具備する。
【０２４３】このような構成においては、時系列的に得
られる前記対象物体の画像から前記対象物体の特徴点を
各時点毎に抽出し、この抽出した各時点毎の各特徴点の
うち、前記時系列画像間での対応する特徴点同士を対応
づける。そして、その対応づけられた各特徴点の位置座
標情報を解析処理することにより、これら各特徴点の３
次元位置情報を求める。そして、この求めた各特徴点の
３次元位置情報に基づいて、前記時系列画像の各時点に
おける前記対象物体の位置と姿勢のうち、少なくとも一
つを推定する。
【０２４４】このように、対象物の撮像された時系列画
像から、対象物の“特徴点”を抽出してその“特徴点の
追跡”を画像間に亘って行なうことにより、トラッキン
グや、位置、方向等の情報を簡易に取得できるようにな
る。
【０２４５】また、本発明においては、上記対象物体の
姿勢を求める手段においては、その具体的手法として、
上記３次元位置情報の得られた各特徴点を通過し、これ
らの各特徴点およびその周囲における上記対象物体表面
上の明度情報を保持する３次元の曲面パッチ（方向性を
持つパッチ）を生成し、この生成された３次元パッチ群
を、これら３次元パッチ群が通過する上記特徴点の３次
元位置情報とに基づいて、時系列画像の各時点の画像と
比較することにより、上記時系列画像の各時点における
上記対象物体の姿勢を推定する。
【０２４６】また、生成された３次元パッチ群と、時系
列的に取り込まれた各時点における対象物体の画像とを
比較する手段においては、上記各３次元パッチの明度情
報を基底画像の線形結合によって表現し、上記対象物体
の姿勢に従った線形結合係数を求めることにより、対象
物体の取り得る様々な姿勢に対応した合成画像を生成
し、この生成された画像と対象物体の画像の類似度に応
じて各々の姿勢を評価し、この評価に基づいて姿勢を推
定する。
【０２４７】詳細を説明する。
【０２４８】本発明は、一連の動画像中に含まれる対象
物体の追跡を行なうに当たり、対象物体の撮影により時
系列的に得られる画像を取り込み、各時点においてこの
取り込まれた画像から上記対象物体の特徴点を抽出し、
この抽出された特徴点については上記時系列画像の各時
点の画像中に含まれる特徴点どうしを対応づけ、その対
応づけられた各特徴点の位置座標情報を解析処理するこ
とにより、これら各特徴点の３次元位置情報を求め、こ
の求められた各特徴点の３次元位置情報に基づいて、上
記時系列画像の各時点における上記対象物体の位置と姿
勢を推定する。そして、対象物の撮像された時系列画像
から、対象物の“特徴点”を抽出してその“特徴点の追
跡”を画像間に亘って行なうことにより、トラッキング
や、位置、方向等の情報を簡易に取得できるようにする
が、以下に説明する実施形態３においては、人間の頭部
の動きをトラッキングする場合を例にとり、図１９〜図
２４を用いて説明する。
【０２４９】［実施形態３における３次元位置情報抽出
部３０２の構成］次に、前記３次元位置情報抽出部３０
２の詳細な構成例について、図２２を用いて説明する。
【０２５０】図２２に示すように、３次元位置情報抽出
部３０２は、特徴点対応づけ部３１０、計測行列設定部
３１１、計測行列変形操作部３１２とより構成される。
【０２５１】これらのうち、特徴点対応づけ部３１０
は、前記特徴点抽出部３０１で抽出された孤立特徴点
群、および連結特徴点群の、連続時系列画像間における
対応づけを行なうものであり、計測行列設定部３１１
は、この対応づけられた特徴点群の位置座標から行列を
生成しするものであり、計測行列変形操作部３１２は、
この生成された行列を係数行列として含む関係式を変形
操作することにより、各特徴点の３次元位置情報を求め
るものである。
【０２５２】このような構成の３次元位置情報抽出部３
０２は、特徴点抽出部３０１が求めて記憶部（図示せ
ず）に記憶させた特徴点の情報を用いて、ますはじめに
特徴点対応づけ部３１０により、孤立特徴点群および連
結特徴点群の、連続時系列画像間における対応づけを行
なう。
【０２５３】図２３に、上記特徴点対応づけ部３１０の
詳細な構成例を示す。特徴点対応づけ部３１０は、図２
３に示すように特徴点対選択部３１３、局所マスク設定
部３１４、相関値計算部３１５、対応判定部３１６とよ
り構成される。
【０２５４】特徴点対選択部３１３は、連続時系列画像
間における対応づけを行なう特徴点の組を選択するもの
であり、局所マスク設定部３１４は、これら特徴点を含
む局所マスク領域を各々の画像中に設定するものであ
る。また、相関値計算部３１５は、これら局所マスク領
域間の相関係数の値を計算するものであり、対応判定部
３１６は、相関係数値が閾値以上、かつ最大となる組
を、対応づけが求まったものとして図示しない記憶部
（図示せず）に格納する処理を行うものであり、これを
前記抽出された各特徴点について順次行なうものであ
る。
【０２５５】このような特徴点対応づけ部３１０におい
て、まず、その特徴点選択部３１３で、連続時系列画像
間における対応づけを行なう特徴点の組を選択する。次
に、局所マスク設定部３１４において、これら特徴点を
含む局所マスク領域を各々の画像中に設定する。
【０２５６】次に、相関値計算部３１５において、これ
ら局所マスク領域間の相関係数の値を計算する。次に、
対応判定部３１６において、上記相関係数値が閾値以
上、かつ最大となる組を、対応づけが求まったものとし
て図示しない記憶部に格納する処理を、抽出された各特
徴点について順次行なう。
【０２５７】次に、計測行列設定部３１１では、これら
対応づけの得られた特徴点の座標値を用いて、３次元位
置を求めるための計測行列を作成する。
【０２５８】本例では、モデル作成を行なう対象が観測
に用いるカメラ（動画像を取得するための撮像装置で、
一般的にはテレビカメラ）から十分遠方にある（正射影
の条件を満たす）場合について、因子分解法を適用した
例について述べる。
【０２５９】対応づけが得られた特徴点の組において、
ｆ枚目の画像中のｐ番目の特徴点の位置を（Ｘｆｐ，Ｙ
ｆｐ）とする。また、画像の総枚数をＦ、特徴点の組の
数をＰとする。
【０２６０】ｆ枚目の画像中のｐ番目の特徴点群の重心
位置を（Ａf，Ｂf）とすると、これらは、
【数２６】
【０２６１】として与えられる。次にこれらの座標間の
差をとって、 Ｘ′fp＝Ｘfp−Ａf，Ｙ′fp＝Ｙfp−Ｂf …(3-2) とする。このとき計測行列Ｗは、
【数２７】
【０２６２】として設定される。この計測行列Ｗは、２
Ｆ×Ｐの行列である。次に、計測行列変形操作部１２で
は、上記計測行列Ｗに対し変形操作を行なって Ｗ＝ＭＳ …(3-3) と２つの行列の積の形に分解する。ただし、
【数２８】
【０２６３】は２Ｆ×３の行列、 Ｓ＝（Ｓ1，Ｓ2，・・・，ＳP） …(3-5) は３×Ｐの行列である。この分解は、例えば特異値分解
処理を用いることにより実行される。ここで、Ｍの行列
の成分のうち（ｘf，ｙf）は、ｆ番目の画像の基本べク
トルであり、動画像系列における各時点での画像の中心
位置を与えており、これらの差が画像間の動きとなる。
【０２６４】一方、Ｓにおける成分Ｓpは、対応づけら
れたｐ番目の特徴点の３次元位置（Ｘp，Ｙp，Ｚp）で
ある。
【０２６５】［実施形態３における姿勢情報検出部１０
３の構成］次に、前記姿勢情報検出部３０３の詳細な構
成例について、図２４を用いて説明する。図２４に示す
ように、姿勢情報検出部３０３は３次元基底画像計算部
３１７、評価関数計算部３１８、姿勢判定部３１９とよ
り構成される。３次元基底画像計算部３１７は、３次元
基底画像を表す行列を求めるとともに、この３次元基底
画像を適宜な線形係数と組み合わせて対象物体の特徴点
の輝度値を任意の姿勢に対して合成するものである。ま
た、評価関数計算部３１８は、３次元基底画像計算部３
１７の求めた値を用いて姿勢検出対象の移動情報検出を
行なうものであり、この移動情報から過去の画像フレー
ムにおける姿勢の履歴に基づき、現在の画像フレームで
の姿勢がある姿勢になる確率を求めるものである。姿勢
判定部３１９は、この確率が最大となる姿勢を判定する
ものである。
【０２６６】このような姿勢情報検出部３０３は、３次
元位置情報抽出部３０２で求められた各特徴点の３次元
位置情報を受けると、まずはじめに３次元基底画像計算
部３１７において、対象物体の特徴点の輝度値を任意の
姿勢に対して合成する。
【０２６７】これは次のようにして行う。
【０２６８】例えば、物体表面上の点が動画像系列上の
点に投影される時、無限遠の点光源ｎ，による反射を
“Lambertianモデル”で表現すると、ｊ番目の画像のｉ
番目の点の輝度値は、
【数２９】
【０２６９】ただし、
【数３０】
【０２７０】であり、Ｄk（ｊ）はｋ番目の光源がｊ番
目の画像を照射しているかどうかで、“１”または
“０”の値をとる。（なお、上記パッチとは特徴点を通
る平面の最小単位を指す。） 画像中の特徴点がｎi個であり、ｎj枚の動画像系列を解
析する場合、以下の行列表現をすることが出来る。
【０２７１】
【数３１】
【０２７２】これにより上式は、例えば特異値分解等を
行なうことによって、rank 3の行列による近似表現を得
ることが出来る。
【０２７３】
【数３２】
【０２７４】ただし、
【数３３】
【０２７５】は、線形結合係数を含む３×ｎjの行列で
ある。この３次元基底画像を適当な線形係数と組み合わ
せることにより、対象物体の特徴点の輝度値を任意の姿
勢に対して合成することができ、これらの値は時系列画
像の各フレームにおける物体の姿勢を検出する際の評価
値の計算に用いることが出来る。
【０２７６】次に、評価関数計算部３１８では、これら
の値を用いて実際に人体頭部の移動情報の検出を行な
う。
【０２７７】
【数３４】
【０２７８】
【数３５】
【０２７９】上式(3-14)において、ｖとｗは各々線形速
度および角速度であり、σｕとσｍはこれら速度に対し
て仮定し得る標準的値である。これは、例えば時刻ｔま
での全フレームにおける線形速度、角速度各々の平均を
求めることによって推測できる。
【０２８０】σvとσwを求める手法としては、この他に
も前々フレームと前フレームの線形速度および角速度の
差を用いることも出来る。
【０２８１】
【数３６】
【０２８２】この係数を用いて表現される輝度値
【数３７】
【０２８３】以上の処理を各フレーム毎に行なっていく
ことによって、姿勢判定部３１９の判定した姿勢の変遷
より頭部のトラッキングが行えることになる。
【０２８４】なお、本発明は上記の例で記載した内容に
限定されるものではない。例えば、式(3-15)においてＩ
lに特徴点の輝度値を用いるのではなく、事前に画像中
の特徴点周辺に３次元パッチ（曲面パッチ；方向性を持
つパッチ）を生成し、そのパッチの輝度値と現フレーム
での画像におけるパッチの輝度値とのマッチング、ある
いは特徴点およびパッチの両方を用いて物体の姿勢を決
定し、物体のトラッキングを行なうことも出来る。この
場合、トラッキングを行なう際のパッチの生成には、姿
勢を推定できる程度の数と大きさがあれば充分であり、
頭部のモデルを再構成する程に密である必要はない。ま
た、本発明の適用可能な対象物体は特に人体頭部とは限
らず、特徴点が抽出可能な物体一般に適用することが出
来る。
【０２８５】このように、実施形態３は、例えば、人間
の頭部のように複雑形状な任意の物体の動きを、実用的
な精度と処理速度を満足しつつ時系列画像中から自動追
跡することができるようにするため、動画像中に含まれ
る対象物体の追跡を行なう装置において、時系列的に得
られる前記対象物体の画像から前記対象物体の特徴点を
各時点毎に抽出する特徴点抽出手段と、この特徴点抽出
手段により抽出された各時点毎の各特徴点のうち、前記
時系列画像間での対応する特徴点同士を対応づけ、その
対応づけられた各特徴点の位置座標情報を解析処理する
ことにより、これら各特徴点の３次元位置情報を求める
３次元位置情報抽出手段と、この３次元位置情報抽出手
段にて得られた各特徴点の３次元位置情報に基づいて、
前記時系列画像の各時点における前記対象物体の位置と
姿勢のうち、少なくとも一つを推定する手段とから構成
した。
【０２８６】すなわち、実施形態３に詳述した本発明の
画像処理方法および装置は、一連の動画像中に含まれる
対象物体の追跡を行なうに当たり、対象物体の撮影によ
り時系列的に得られる画像を取り込み、各時点において
この取り込まれた画像から上記対象物体の特徴点を抽出
し、この抽出された特徴点については上記時系列画像の
各時点の画像中に含まれる特徴点どうしを対応づけ、そ
の対応づけられた各特徴点の位置座標情報を解析処理す
ることにより、これら各特徴点の３次元位置情報を求
め、この求められた各特徴点の３次元位置情報に基づい
て、上記時系列画像の各時点における上記対象物体の位
置と姿勢を推定するようにした。
【０２８７】これにより本発明は、対象物の撮像された
時系列画像から、対象物の特徴点を抽出してその特徴点
の追跡により、トラッキングや、位置、方向等の情報を
取得できるようになり、３次元ポインテングに利用でき
ると共に、複雑形状かつ動きのある物体を、実用的な精
度と処理速度を満足したトラッキングを行なうことがで
きて、テレビ電話やテレビ会議の伝達情報のためのＣＧ
代用に利用する口元、まばたき、頭の動き、姿勢等の検
出に適用できるなど、３次元ポインタとして、またテレ
ビ会議およびテレビ電話の通信情報量の軽減等の技術
に、大きく貢献できる。
【０２８８】なお、本発明は上述した実施形態に限定さ
れるものではなく、種々変形して実施可能である。
【０２８９】
【発明の効果】以上のように実施形態１に詳述した本発
明によれば、対象物体の撮影によって得られる時系列画
像を用い、その時系列画像の各時点の画像に含まれる特
徴点どうしを対応づけ、その対応づけられた各特徴点の
位置座標情報から３次元の位置情報を求め、この各特徴
点の３次元位置情報から上記対象物体の表面を構成する
３次元パッチ群を生成し、これを上記対象物体のモデル
情報として出力するようにしたため、例えば人間の頭部
のように複雑形状、かつ、動きのある物体の表面（サー
フェス）モデルを実用的な精度と処理速度を満足しつつ
自動的に作成することができる。したがって、例えば３
次元ＣＧなどに本発明を適用することにより、高精度な
画像処理を実現することができるものである。
【０２９０】また、実施形態２に詳述した本発明によれ
ば、複雑形状かつ動きのある物体の形状復元を、実用的
な精度と処理速度を満足して行なうための画像処理方法
およびその装置を提供することが可能となり、３次元Ｃ
ＡＤ、また３次元ＣＧ（コンピュータグラフィクス）を
用いた映像作成等の技術に、大きく貢献する。
【０２９１】また、実施形態３に詳述した本発明の画像
処理方法および装置は、一連の動画像中に含まれる対象
物体の追跡を行なうに当たり、対象物体の撮影により時
系列的に得られる画像を取り込み、各時点においてこの
取り込まれた画像から上記対象物体の特徴点を抽出し、
この抽出された特徴点については上記時系列画像の各時
点の画像中に含まれる特徴点どうしを対応づけ、その対
応づけられた各特徴点の位置座標情報を解析処理するこ
とにより、これら各特徴点の３次元位置情報を求め、こ
の求められた各特徴点の３次元位置情報に基づいて、上
記時系列画像の各時点における上記対象物体の位置と姿
勢を推定するようにしたものである。
【０２９２】これにより、対象物の撮像された時系列画
像から、対象物の特徴点を抽出してその特徴点の追跡に
より、トラッキングや、位置、方向等の情報を取得でき
るようになり、３次元ポインテングに利用できると共
に、複雑形状かつ動きのある物体を、実用的な精度と処
理速度を満足したトラッキングを行なうことができて、
テレビ電話やテレビ会議の伝達情報のためのＣＧ代用に
利用する口元、まばたき、頭の動き、姿勢等の検出に適
用できるなど、３次元ポインタとして、またテレビ会議
およびテレビ電話の通信情報量の軽減等の技術に、大き
く貢献する画像処理装置および画像処理方法を提供でき
る。
【図面の簡単な説明】
【図１】本発明を説明するための図であって、本発明の
実施形態１に係る画像処理装置の全体構成を示すブロッ
ク図。
【図２】本発明を説明するための図であって、本発明の
実施形態１に係る全体的な処理の流れを示すフローチャ
ート。
【図３】本発明を説明するための図であって、本発明の
実施形態１に係るシステムの基本的な構成を示すブロッ
ク図。
【図４】本発明を説明するための図であって、本発明の
実施形態１に係るシステムにおける図３の特徴点抽出部
の詳細な構成を示すブロック図。
【図５】本発明を説明するための図であって、本発明の
実施形態１に係るシステムにおける図３に示した３次元
位置情報抽出部の詳細な構成を示すブロック図。
【図６】本発明を説明するための図であって、本発明の
実施形態１に係るシステムにおける図５の特徴点対応づ
け部の詳細な構成を示すブロック図。
【図７】本発明を説明するための図であって、本発明の
実施形態１に係るシステムにおける図３に示した３次元
パッチ群生成部１３の詳細な構成を示すブロック図。
【図８】本発明を説明するための図であって、本発明の
実施形態１に係るシステムにおける図３に示した３次元
位置情報抽出部１２の詳細構成変形例を示すブロック
図。
【図９】本発明を説明するための図であって、本発明の
実施形態１に係るシステムにおける図３に示した特徴点
対応づけ部の詳細構成変形例を示すブロック図。
【図１０】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置の全体構成を示すブ
ロック図。
【図１１】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置の基本的な構成を示
すブロック図。
【図１２】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置における図１０及び
図１１に示した特徴点抽出部２０１の詳細な構成を示す
ブロック図。
【図１３】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置における図１０及び
図１１に示した３次元動き抽出部２０２の詳細な構成を
示すブロック図。
【図１４】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置における図１０及び
図１１に示した３次元動き情報抽出部２０２および画像
間線形結合計算部２０３の持つ特徴点対応づけ機能の詳
細な構成を示すブロック図。
【図１５】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置における図１０及び
図１１に示した画像間線形結合計算部２０３の詳細な構
成を示すブロック図。
【図１６】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置における図１０及び
図１１に示した距離情報検出部２０４の詳細な構成を示
すブロック図。
【図１７】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置における図１０及び
図１１に示した距離情報検出部２０４において用いられ
る幾何学的輝度拘束を示すスケッチ図。
【図１８】本発明を説明するための図であって、本発明
の実施形態２に係わる画像処理装置で使用する物体の表
面反射モデル例を示すスケッチ図。
【図１９】本発明を説明するための図であって、本発明
の実施形態３に係わる動画像処理装量の全体構成を示す
ブロック図。
【図２０】本発明を説明するための図であって、本発明
の実施形態３に係わる動画像処理装量の全体構成を示す
ブロック図。
【図２１】本発明を説明するための図であって、図１９
の特徴点抽出部３０１の詳細な構成を示すブロック図。
【図２２】本発明を説明するための図であって、図１９
の３次元位置抽出部３０２の詳細な構成を示すブロック
図。
【図２３】本発明を説明するための図であって、図２２
の特徴点対応づけ部３１０の詳細な構成を示すブロック
図。
【図２４】本発明を説明するための図であって、図１９
の姿勢情報検出部３０３の詳細な構成を示すブロック
図。
【符号の説明】
１…画像入力部 ２…データベース １０…画像取込み部 １１…特徴点抽出部 １２…３次元位置情報抽出部 １３…３次元パッチ群生成部 １４…出力部 ２１…平滑化処理部 ２２…２次元空間差分処理部 ２３…孤立特徴点抽出部 ２４…局所マスク設定部 ２５…方向別分散値計算部 ２６…連結特徴点抽出部 ３１…特徴点対応づけ部 ３２…計測行列設定部 ３３…計測行列変形操作部 ４１…特徴点対選択部 ４２…局所マスク設定部 ４３…相関値計算部 ４４…対応判定部 ５１…３次元曲面設定部 ５２…曲面パラメータ決定部 ５３…境界補完部 ６０…画像間動き評価部 ７１…特徴点対選択部 ７２…対応点候補選択部 ７３…変換行列補正部 ７４…対応評価部 ２００…画像取り込部 ２０１…特徴点抽出部 ２０２…３次元動き情報抽出部 ２０３…画像間線形結合計算部 ２０４…距離情報検出部 ２１０…平滑化処理部 ２１１…２次元空間差分処理部 ２１２…孤立特徴点抽出部 ２１３…局所マスク設定部 ２１４…方向別分散値検出部 ２１５…連結特徴点抽出部 ２２０…特徴点対応づけ部 ２２１…計測行列設定部 ２２２…計測行列変形操作部 ２２３…特徴点対選択部 ２２４…局所マスク設定部 ２２５…相関値計算部 ２２６…対応判定部 ２３１…輝度行列設定部 ２３２…輝度行列変形操作部 ２４０…３次元基底画素計算部 ２４１…評価関数計算部 ２４２…距離判定部 ３００…画像取り込部 ３０１…特徴点抽出部 ３０２…３次元位置情報抽出部 ３０３…姿勢情報検出部 ３０４…平滑化処理部 ３０５…２次元空間差分処理部 ３０６…孤立特徴点抽出部 ３０７…局所マスク設定部 ３０８…方向別分散値検出部 ３０９…連結特徴点抽出部 ３１０…特徴点対応づけ部 ３１１…計測行列設定部 ３１２…計測行列変形操作部 ３１３…特徴点対選択部 ３１４…局所マスク設定部 ３１５…相関値計算部 ３１６…対応判定部 ３１７…３次元基底画像計算部 ３１８…評価関数計算部 ３１９…姿勢判定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｔ 7/20 Ｇ０６Ｆ 15/70 ４１０ (72)発明者 松田 夏子 兵庫県神戸市東灘区本山南町８丁目６番26 号 株式会社東芝関西研究所内

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】対象物体の撮影により時系列的に得られる
    画像を取り込む画像取込み手段と、 この画像取込み手段によって取り込まれた時系列画像か
    ら上記対象物体の特徴点を抽出する特徴点抽出手段と、 この特徴点抽出手段によって抽出された上記時系列画像
    の各時点の画像に含まれる特徴点どうしを対応づけ、そ
    の対応づけられた各特徴点の位置座標情報を解析処理す
    ることにより、３次元の位置情報を求める３次元位置情
    報抽出手段と、 この３次元位置情報抽出手段によって得られた上記各特
    徴点の３次元位置情報に基づいて上記対象物体の表面を
    構成する３次元パッチ群を生成する３次元パッチ群生成
    手段と、 この３次元パッチ群生成手段によって生成された３次元
    パッチ群を上記対象物体のモデル情報として出力する出
    力手段とを具備したことを特徴とする画像処理装置。
  2. 【請求項２】上記３次元位置情報抽出手段は、上記時系
    列画像のうちのあるＡ時点の画像を選択し、このＡ時点
    の画像に含まれる上記検出された各特徴点と上記Ａ時点
    と異なるＢ時点の画像に含まれる上記検出された各特徴
    点どうしを順次対応付けるものであり、その際に、上記
    Ａ時点における画像中の位置と上記Ｂ時点における画像
    中の位置の変化情報を用いて各特徴点どうしを対応づけ
    ることを特徴とする請求項１記載の画像処理装置。
  3. 【請求項３】上記３次元パッチ群生成手段は、上記各特
    徴点の３次元位置情報と共に上記各特徴点の画像中の明
    度情報を用いることにより、上記対象物体の表面を構成
    する３次元パッチ群を求めることを特徴とする請求項１
    記載の画像処理装置。
  4. 【請求項４】 上記３次元パッチ群生成手段は、上記３
    次元位置情報の得られた各特徴点を通過する３次元の曲
    面パッチを想定し、上記３次元位置情報の得られた各特
    徴点における明度情報または上記３次元曲面パッチに含
    まれる各点の明度情報と、上記３次元位置情報の得られ
    た各特徴点の投影点における明度情報または上記曲面パ
    ッチに含まれる各点の投影点における明度情報とを比較
    して、上記３次元曲面パッチの方向パラメータを決定す
    ることを特徴とする請求項１記載の画像処理装置。
  5. 【請求項５】対象物体の撮影により時系列的に得られる
    画像を取り込み、 この取り込まれた時系列画像から上記対象物体の特徴点
    を抽出し、 この抽出された上記時系列画像の各時点の画像に含まれ
    る特徴点どうしを対応づけ、その対応づけられた各特徴
    点の位置座標情報を解析処理することにより、３次元の
    位置情報を求め、 この各特徴点の３次元位置情報に基づいて上記対象物体
    の表面を構成する３次元パッチ群を生成し、 この生成された３次元パッチ群を上記対象物体のモデル
    情報として出力するようにしたことを特徴とする画像処
    理方法。
  6. 【請求項６】上記３次元位置情報を生成する場合におい
    て、上記時系列画像のうちのＡ時点の画像を選択し、こ
    のＡ時点の画像に含まれる上記検出された各特徴点と上
    記Ａ時点と異なるＢ時点の画像に含まれる上記検出され
    た各特徴点どうしを、上記Ａ時点における画像中の位置
    と上記Ｂ時点における画像中の位置の変化情報を用いて
    対応づけることを特徴とする請求項５記載の画像処理方
    法。
  7. 【請求項７】上記３次元パッチ群を生成する場合におい
    て、上記各特徴点の３次元位置情報と共に上記各特徴点
    の画像中の明度情報を用いることにより、上記対象物体
    の表面を構成する３次元パッチ群を求めることを特徴と
    する請求項５記載の画像処理方法。
  8. 【請求項８】上記３次元パッチ群を生成する場合におい
    て、 上記３次元位置情報の得られた各特徴点を通過する３次
    元の曲面パッチを想定し、上記３次元位置情報の得られ
    た各特徴点における明度情報または上記３次元曲面パッ
    チに含まれる各点の明度情報と、上記３次元位置情報の
    得られた各特徴点の投影点における明度情報または上記
    曲面パッチに含まれる各点の投影点における明度情報と
    を比較して、上記３次元曲面パッチの方向パラメータを
    決定することを特徴とする請求項５記載の画像処理方
    法。
  9. 【請求項９】一連の動画像中に含まれる対象物体の形状
    獲得のための画像処理装置において、 対象物体の撮影により時系列的に得られる画像を取り込
    む画像取り込み手段と、 この画像取り込み手段によって取り込まれた時系列画像
    から上記対象物体の特徴点を抽出する特徴点抽出手段
    と、 この特徴点抽出手段によって抽出された上記時系列画像
    の各時点の画像中に含まれる特徴点どうしを対応づけ、
    その対応づけられた各特徴点の位置座標情報を解析処理
    することにより、上記時系列画像の各時点における上記
    対象物体の位置と姿勢の変化を決定する動き情報抽出手
    段と、 この動き情報抽出手段において対応づけられた各特徴点
    とその周囲の輝度情報を解析処理することにより、上記
    時系列画像間の線形結合係数を計算する画像間線形結合
    係数計算手段と、 上記決定手段により決定された上記対象物体の上記時系
    列画像中の各時点の位置・姿勢と、上記画像間線形結合
    係数計算手段により計算された上記時系列画像間の線形
    結合係数とから、上記対象物体の各点への距離情報を推
    定する距離情報検出手段と、を具備したことを特徴とす
    る画像処理装置。
  10. 【請求項１０】上記距離情報検出手段は、 上記時系列画像のうち特定時点Ａの画像を選択し基準画
    像とし、この基準画像中で各画素における上記対象物体
    までの距離Ｚを設定し、この距離Ｚの評価を幾何学的条
    件および光学的条件とに基づいて行うものであって、 この距離Ｚおよび上記動き情報抽出手段により決定され
    た上記対象物体の各時点の位置・姿勢の変化から、上記
    各画素と対応する画素を上記特定時点Ａと異なる３時点
    以上の画像群において決定する手段と、 これら対応する画素における輝度と上記基準画像中の画
    素における輝度との整合の度合を、上記画像間線形結合
    係数計算手段により計算された上記時系列画像間の線形
    結合係数を介して計算する整合度合計算手段と、 この整合度合計算手段により求められた整合の度合に応
    じて任意に仮定された距離Ｚを評価することにより、こ
    の評価に基づいて距離情報を推定する手段とを備えるこ
    とを特徴とする請求項９記載の画像処理装置。
  11. 【請求項１１】一連の動画像中に含まれる対象物体の形
    状を獲得する方法において、 対象物体の撮影により時系列的に得られる画像を取り込
    む画像取り込みステップと、 この画像取り込みステップにより取り込まれた時系列画
    像から上記対象物体の特徴点を抽出する特徴点抽出ステ
    ップと、 この特徴点抽出ステップにより抽出された上記時系列画
    像の各時点の画像中に含まれる特徴点どうしを対応づ
    け、その対応づけられた各特徴点の位置座標情報を解析
    処理することにより、上記時系列画像の各時点における
    上記対象物体の位置と姿勢の変化を決定するステップ
    と、 上記対応づけられた各特徴点とその周囲の輝度情報を解
    析処理することにより、上記時系列画像間の線形結合係
    数を計算するステップと、 上記決定された上記対象物体の上記時系列画像中の各時
    点の位置・姿勢と、上記により計算された上記時系列画
    像間の線形結合係数とから、上記対象物体の各点への距
    離情報を推定するステップと、を具備したことを特徴と
    する画像処理方法。
  12. 【請求項１２】上記対象物体の距離情報を推定する方法
    は、 上記時系列画像のうち特定時点Ａの画像を選択し基準画
    像とし、この基準画像中で各画素における上記対象物体
    までの距離Ｚを設定し、この距離Ｚの評価を幾何学的条
    件と光学的条件の両方に基づいて行うものであって、こ
    の距離Ｚおよび上記決定された上記対象物体の各時点の
    位置・姿勢の変化から、上記各画素と対応する画素を上
    記特定時点Ａと異なる３時点以上の画像群において決定
    し、 これら対応する画素における輝度と上記基準画像中の画
    素における輝度との整合の度合を、上記により計算され
    た上記時系列画像間の線形結合係数を介して計算すると
    共に、 この整合の度合に応じて任意に仮定された距離Ｚを評価
    することにより、この評価に基づいて距離情報を推定す
    ることを特徴とする請求項９記載の画像処理方法。
  13. 【請求項１３】動画像中に含まれる対象物体の追跡を行
    なう装置において、 時系列的に得られる前記対象物体の画像から前記対象物
    体の特徴点を各時点毎に抽出する特徴点抽出手段と、 この特徴点抽出手段により抽出された各時点毎の各特徴
    点のうち、前記時系列画像間での対応する特徴点同士を
    対応づけ、その対応づけられた各特徴点の位置座標情報
    を解析処理することにより、これら各特徴点の３次元位
    置情報を求める３次元位置情報抽出手段と、 この３次元位置情報抽出手段にて得られた各特徴点の３
    次元位置情報に基づいて、前記時系列画像の各時点にお
    ける前記対象物体の位置と姿勢のうち、少なくとも一つ
    を推定する推定手段と、から構成されることを特徴とす
    る画像処理装置。
  14. 【請求項１４】請求項１３記載の画像処理装置におい
    て、 前記推定手段は、 前記３次元位置情報の得られた各特徴点を通過し、これ
    らの各特徴点およびその周囲における上記対象物体表面
    上の明度情報を保持する３次元の曲面パッチを生成する
    手段と、 この生成された３次元パッチ群を、これら３次元パッチ
    群が通過する前記特徴点の３次元位置情報に基づいて、
    時系列画像の各時点における対象物体の画像と比較する
    ことにより、前記時系列画像の各時点における前記対象
    物体の位置と姿勢を推定する比較・推定手段と、を有す
    ることを特徴とする画像処理装置。
  15. 【請求項１５】請求項１４記載の画像処理装置におい
    て、 前記比較・推定手段は、 前記各３次元パッチの明度情報を基底画像の線形結合に
    より表現し、前記対象物体の姿勢に従った線形結合係数
    を求めることにより、対象物体の取り得る多様な姿勢に
    対応した合成画像を生成し、この生成された画像と対象
    物体の画像の類似度に応じて各々の姿勢を評価し、この
    評価に基づいて姿勢を推定する手段で構成されているこ
    とを特徴とする画像処理装置。
  16. 【請求項１６】動画像中に含まれる対象物体の追跡を行
    なう方法において、 時系列的に得られる前記対象物体の画像から前記対象物
    体の特徴点を各時点毎に抽出する特徴点抽出ステップ
    と、 この抽出された各時点毎の各特徴点のうち、前記時系列
    画像間での対応する特徴点同士を対応づけ、その対応づ
    けられた各特徴点の位置座標情報を解析処理することに
    より、これら各特徴点の３次元位置情報を求める３次元
    位置情報抽出ステップと、 この３次元位置情報抽出ステップにて得られた各特徴点
    の３次元位置情報に基づいて、前記時系列画像の各時点
    における前記対象物体の位置と姿勢のうち、少なくとも
    一つを推定する推定ステップと、からなることを特徴と
    する画像処理方法。
  17. 【請求項１７】請求項１６記載の動画像処理方法におい
    て、 前記推定ステップは、 前記３次元位置情報の得られた各特徴点を通過し、これ
    らの各特徴点およびその周囲における上記対象物体表面
    上の明度情報を保持する３次元の曲面パッチを生成する
    ステップと、 この生成された３次元パッチ群を、これら３次元パッチ
    群が通過する前記特徴点の３次元位置情報に基づいて、
    時系列画像の各時点における対象物体の画像と比較する
    ことにより、前記時系列画像の各時点における前記対象
    物体の位置と姿勢を推定する比較・推定ステップと、よ
    りなることを特徴とする画像処理方法。
  18. 【請求項１８】請求項１７記載の画像処理方法におい
    て、 前記比較・推定ステップは、 前記各３次元パッチの明度情報を基底画像の線形結合に
    より表現し、前記対象物体の姿勢に従った線形結合係数
    を求めることにより、対象物体の取り得る多様な姿勢に
    対応した合成画像を生成し、この生成された画像と対象
    物体の画像の類似度に応じて各々の姿勢を評価し、この
    評価に基づいて姿勢を推定するものであることを特徴と
    する画像処理方法。
JP27357397A 1997-01-07 1997-09-19 画像処理装置および画像処理方法 Expired - Fee Related JP3512992B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27357397A JP3512992B2 (ja) 1997-01-07 1997-09-19 画像処理装置および画像処理方法
US09/001,465 US6072903A (en) 1997-01-07 1997-12-31 Image processing apparatus and image processing method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP76797 1997-01-07
JP9-65142 1997-03-18
JP9-767 1997-03-18
JP6514297 1997-03-18
JP27357397A JP3512992B2 (ja) 1997-01-07 1997-09-19 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPH10320588A true JPH10320588A (ja) 1998-12-04
JP3512992B2 JP3512992B2 (ja) 2004-03-31

Family

ID=27274590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27357397A Expired - Fee Related JP3512992B2 (ja) 1997-01-07 1997-09-19 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US6072903A (ja)
JP (1) JP3512992B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092647A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 情報呈示システム及びモデル誤差検出システム
US6504944B2 (en) 1998-01-30 2003-01-07 Kabushiki Kaisha Toshiba Image recognition apparatus and method
JP2005529417A (ja) * 2002-06-07 2005-09-29 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 改善された変換および符号化技法
JP2006510081A (ja) * 2002-12-11 2006-03-23 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオホン画像における頭部姿勢を補正する方法及び装置
JP2008511932A (ja) * 2004-09-02 2008-04-17 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法
JP2009536499A (ja) * 2006-05-05 2009-10-08 トムソン ライセンシング ２次元画像から３次元オブジェクトを再構成するシステム及び方法
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
US9076064B2 (en) 2013-03-08 2015-07-07 Canon Kabushiki Kaisha Image processing apparatus and image processing method
KR20180071764A (ko) * 2016-12-20 2018-06-28 (주)마젠타로보틱스 3차원맵을 이용한 비정형 라인 길이측정시스템

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504957B2 (en) 1997-07-07 2003-01-07 General Electric Company Method and apparatus for image registration
JP3660492B2 (ja) * 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
DE69908526T2 (de) * 1998-04-03 2004-05-06 Koninklijke Philips Electronics N.V. Verfahren und System zur Bildverarbeitung unter Verwendung von Konturerfassungsschritten
JP3549725B2 (ja) * 1998-04-13 2004-08-04 シャープ株式会社 画像処理装置
US6546052B1 (en) * 1998-05-29 2003-04-08 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable memory
US20020176619A1 (en) * 1998-06-29 2002-11-28 Love Patrick B. Systems and methods for analyzing two-dimensional images
US6263113B1 (en) * 1998-12-11 2001-07-17 Philips Electronics North America Corp. Method for detecting a face in a digital image
JP3688489B2 (ja) * 1998-12-25 2005-08-31 株式会社東芝 画像認識方法および画像認識装置
US6694057B1 (en) * 1999-01-27 2004-02-17 Washington University Method and apparatus for processing images with curves
JP2000357234A (ja) * 1999-06-16 2000-12-26 Canon Inc 画像処理装置およびその方法
US7016540B1 (en) * 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
US6807290B2 (en) 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP2001325611A (ja) * 2000-05-15 2001-11-22 Sony Corp ３次元モデル処理装置および３次元モデル処理方法、並びにプログラム提供媒体
JP2002024807A (ja) * 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
US7643655B2 (en) * 2000-11-24 2010-01-05 Clever Sys, Inc. System and method for animal seizure detection and classification using video analysis
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
US6980697B1 (en) 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
JP3709803B2 (ja) * 2001-03-28 2005-10-26 日本電気株式会社 パターン照合装置とそのパターン照合方法、及びパターン照合プログラム
EP1397144A4 (en) 2001-05-15 2005-02-16 Psychogenics Inc SYSTEMS AND METHODS FOR MONITORING BEHAVIOR INFORMATION
AU2002315499B2 (en) * 2001-06-29 2006-08-03 Quantronix, Inc. Overhead dimensioning system and method
GB2377576B (en) * 2001-07-12 2005-06-01 Vision Works Ltd D Modelling of three dimensional shapes
US20060050381A1 (en) * 2002-06-05 2006-03-09 Apostolos Konstantinidis Method and system for stereoscopic representation
US6978167B2 (en) * 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
US20040109608A1 (en) * 2002-07-12 2004-06-10 Love Patrick B. Systems and methods for analyzing two-dimensional images
NZ539632A (en) * 2002-10-22 2008-01-31 Artoolworks Tracking a surface in a 3-dimensional scene using natural visual features of the surface
US7317812B1 (en) * 2002-11-15 2008-01-08 Videomining Corporation Method and apparatus for robustly tracking objects
US8655051B2 (en) * 2003-01-31 2014-02-18 Fujitsu Limited Image editing method, image editing apparatus, computer program, and memory product
DE10310636A1 (de) * 2003-03-10 2004-09-30 Mobotix Ag Überwachungsvorrichtung
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7437007B1 (en) * 2003-10-31 2008-10-14 Hewlett-Packard Development Company, L.P. Region-of-interest editing of a video stream in the compressed domain
JP2007526457A (ja) * 2004-03-01 2007-09-13 イアティア イメージング プロプライアタリー リミティド 深度情報を含む画像の生成方法と装置
US8275193B2 (en) * 2004-08-04 2012-09-25 America Gnc Corporation Miniaturized GPS/MEMS IMU integrated board
JP4110478B2 (ja) * 2004-09-02 2008-07-02 ソニー株式会社 画像処理装置および方法、撮影装置、並びにプログラム
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
DE102005008131A1 (de) * 2005-01-31 2006-08-03 Daimlerchrysler Ag Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
US9092458B1 (en) 2005-03-08 2015-07-28 Irobot Corporation System and method for managing search results including graphics
US7710452B1 (en) 2005-03-16 2010-05-04 Eric Lindberg Remote video monitoring of non-urban outdoor sites
JP4177826B2 (ja) * 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
US9002511B1 (en) * 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US7551754B2 (en) * 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
FR2903211B1 (fr) * 2006-06-30 2009-03-06 Gen Electric Procedes et dispositifs de correction d'une mammographie a implant et de segmentation d'un implant
US7940444B2 (en) * 2006-09-19 2011-05-10 Florida Atlantic University Method and apparatus for synchronous laser beam scanning
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
JP2011513876A (ja) * 2007-03-09 2011-04-28 トリゴニマゲリー エルエルシー 物体の動作を特徴づけるための方法およびシステム
US20090062002A1 (en) * 2007-08-30 2009-03-05 Bay Tek Games, Inc. Apparatus And Method of Detecting And Tracking Objects In Amusement Games
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
CN101159855B (zh) * 2007-11-14 2011-04-06 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
US8750578B2 (en) * 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8284190B2 (en) * 2008-06-25 2012-10-09 Microsoft Corporation Registration of street-level imagery to 3D building models
US8634635B2 (en) * 2008-10-30 2014-01-21 Clever Sys, Inc. System and method for stereo-view multiple animal behavior characterization
JP5456159B2 (ja) * 2009-05-29 2014-03-26 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
US8411107B2 (en) * 2009-08-18 2013-04-02 Autodesk, Inc. Adaptive snapping
EP2333692A1 (en) 2009-12-11 2011-06-15 Alcatel Lucent Method and arrangement for improved image matching
KR20110097140A (ko) * 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
US9019503B2 (en) 2010-04-19 2015-04-28 The United States Of America, As Represented By The Secretary Of The Navy MEMS microdisplay optical imaging and sensor systems for underwater and other scattering environments
US8917395B2 (en) 2010-04-19 2014-12-23 Florida Atlantic University MEMS microdisplay optical imaging and sensor systems for underwater scattering environments
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8483427B2 (en) * 2010-09-28 2013-07-09 Futurewei Technologies, Inc. System and method for image authentication
EP2919194B1 (en) * 2011-03-09 2020-08-19 Osaka University Image data processing device and transcranial magnetic stimulation apparatus
WO2012129695A1 (en) * 2011-03-31 2012-10-04 Ats Automation Tooling Systems Inc. Three dimensional optical sensing through optical media
US8582821B1 (en) * 2011-05-23 2013-11-12 A9.Com, Inc. Tracking objects between images
US9019367B2 (en) * 2011-06-10 2015-04-28 Wuerth Elektronik Ics Gmbh & Co. Kg Method for dynamically detecting the fill level of a container, container therefor, and system for dynamically monitoring the fill level of a plurality of containers
EP2538388B1 (en) * 2011-06-20 2015-04-01 Alcatel Lucent Method and arrangement for image model construction
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US9116928B1 (en) * 2011-12-09 2015-08-25 Google Inc. Identifying features for media file comparison
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
DE102012221374A1 (de) * 2012-11-22 2014-05-22 Sirona Dental Systems Gmbh Verfahren zur Planung einer dentalen Behandlung
WO2014116882A1 (en) * 2013-01-23 2014-07-31 Leap Motion, Inc. Systems and methods of tracking object movements in three-dimensional space
US9406143B2 (en) * 2013-02-21 2016-08-02 Samsung Electronics Co., Ltd. Electronic device and method of operating electronic device
US9286693B2 (en) * 2013-02-25 2016-03-15 Hanwha Techwin Co., Ltd. Method and apparatus for detecting abnormal movement
US9844324B2 (en) 2013-03-14 2017-12-19 X-Nav Technologies, LLC Image guided navigation system
AU2014284129B2 (en) * 2013-06-19 2018-08-02 Commonwealth Scientific And Industrial Research Organisation System and method of estimating 3D facial geometry
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
US9443311B2 (en) * 2014-06-12 2016-09-13 Topcon Positioning Systems, Inc. Method and system to identify a position of a measurement pole
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9402691B2 (en) 2014-09-16 2016-08-02 X-Nav Technologies, LLC System for determining and tracking movement during a medical procedure
US9943374B2 (en) 2014-09-16 2018-04-17 X-Nav Technologies, LLC Image guidance system for detecting and tracking an image pose
KR101732981B1 (ko) * 2015-10-29 2017-05-08 삼성에스디에스 주식회사 개인화 특성 분석 시스템 및 방법
EP3408610A4 (en) 2016-01-25 2020-01-01 Topcon Positioning Systems, Inc. METHOD AND DEVICE FOR OPTICAL SINGLE CAMERA MEASUREMENTS
CN106204619B (zh) * 2016-07-21 2019-07-16 浙江大华技术股份有限公司 一种目标对象分布密度确定方法及装置
WO2018056129A1 (ja) * 2016-09-20 2018-03-29 日本電気株式会社 情報処理装置、情報処理方法、および記憶媒体
US10235572B2 (en) * 2016-09-20 2019-03-19 Entit Software Llc Detecting changes in 3D scenes
US10606814B2 (en) * 2017-01-18 2020-03-31 Microsoft Technology Licensing, Llc Computer-aided tracking of physical entities
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP2020518937A (ja) * 2017-05-04 2020-06-25 エムアイエム ソフトウェア， インコーポレイテッド 予測融合システムと方法
CN109141266B (zh) * 2018-07-19 2020-10-16 北京建筑大学 一种钢结构测量方法及系统
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
WO2022078437A1 (zh) * 2020-10-15 2022-04-21 左忠斌 一种移动物体之间的三维处理设备及方法
CN113298870B (zh) * 2021-05-07 2023-03-28 中国科学院深圳先进技术研究院 一种物体的姿态跟踪方法、装置、终端设备和存储介质
CN115143969B (zh) * 2022-09-01 2022-11-04 北京理工大学 一种群目标位置结构特征检测及提取方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US4982438A (en) * 1987-06-02 1991-01-01 Hitachi, Ltd. Apparatus and method for recognizing three-dimensional shape of object
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JP3263724B2 (ja) * 1993-04-16 2002-03-11 日本電信電話株式会社 ２次元レーザパターンによる形状特徴抽出装置
DE69430153T2 (de) * 1993-06-21 2002-09-05 Nippon Telegraph & Telephone Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten
JP3054681B2 (ja) * 1995-07-19 2000-06-19 工業技術院長 画像処理方法
US5768415A (en) * 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504944B2 (en) 1998-01-30 2003-01-07 Kabushiki Kaisha Toshiba Image recognition apparatus and method
US6690815B2 (en) 1998-01-30 2004-02-10 Kabushiki Kaisha Toshiba Image recognition apparatus and method
JP2002092647A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 情報呈示システム及びモデル誤差検出システム
JP2005529417A (ja) * 2002-06-07 2005-09-29 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 改善された変換および符号化技法
JP2006510081A (ja) * 2002-12-11 2006-03-23 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオホン画像における頭部姿勢を補正する方法及び装置
JP2008511932A (ja) * 2004-09-02 2008-04-17 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP2009536499A (ja) * 2006-05-05 2009-10-08 トムソン ライセンシング ２次元画像から３次元オブジェクトを再構成するシステム及び方法
US9076064B2 (en) 2013-03-08 2015-07-07 Canon Kabushiki Kaisha Image processing apparatus and image processing method
KR20180071764A (ko) * 2016-12-20 2018-06-28 (주)마젠타로보틱스 3차원맵을 이용한 비정형 라인 길이측정시스템

Also Published As

Publication number Publication date
US6072903A (en) 2000-06-06
JP3512992B2 (ja) 2004-03-31

Similar Documents

Publication Publication Date Title
JP3512992B2 (ja) 画像処理装置および画像処理方法
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
JP4473754B2 (ja) 仮想試着装置
JP5812599B2 (ja) 情報処理方法及びその装置
KR101323966B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
Sundaresan et al. Markerless motion capture using multiple cameras
JPWO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
Zou et al. Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking
Kang et al. Appearance-based structure from motion using linear classes of 3-d models
WO2022018811A1 (ja) 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
JP3940690B2 (ja) 画像処理装置及びその方法
JPH09179988A (ja) 手振り認識装置
Grest et al. Human model fitting from monocular posture images
Malciu et al. Tracking facial features in video sequences using a deformable-model-based approach
Di Bernardo et al. Monocular tracking of the human arm in 3d: Real-time implementation and experiments
JP4623320B2 (ja) 三次元形状推定システム及び画像生成システム
Zhang et al. Motion analysis of articulated objects from monocular images
JPH0273471A (ja) 三次元形状推定方法
Wang et al. Markerless body motion capturing for 3d character animation based on multi-view cameras
Jian et al. Realistic face animation generation from videos
de La Rivière et al. Hand Postures Recognition in Large–Display VR Environments
US11508121B2 (en) Method for annotating points on a hand image to create training dataset for machine learning
US20240013492A1 (en) Image processing apparatus, image processing method, and image processing system

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100116

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees