JP3854229B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3854229B2 JP3854229B2 JP2003001489A JP2003001489A JP3854229B2 JP 3854229 B2 JP3854229 B2 JP 3854229B2 JP 2003001489 A JP2003001489 A JP 2003001489A JP 2003001489 A JP2003001489 A JP 2003001489A JP 3854229 B2 JP3854229 B2 JP 3854229B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- input
- corresponding point
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力された画像に対して装飾あるいは変形などの画像処理を施し、ディスプレイに出力する画像処理装置に関するものであり、特に人物の顔画像に対し、髪型を変更したり化粧を行ったり等の装飾を施した画像をディスプレイに表示する、あるいはネットワークを通じて送信する画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、入力された人物の画像に装飾あるいは変形などの画像処理を施し、ディスプレイなどに出力する画像処理装置が使用されている。例えば、顔画像に対して髪型の変更、メガネの装着、あるいは化粧の修飾などを行い、その使用状態を、静止画にてシミュレーションするための装置やソフトウェアは、現在広く利用されている。
【０００３】
これらに利用されている画像処理装置には、例えば、顔画像中の特徴点の抽出を行い、これらに対して予め決められた画像を重ねることにより、装飾画像を表示するものが提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２０００−３２２５８８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、前述した画像処理装置による画像は、実画像のシミュレーションとしては満足できるものではなかった。すなわち、仮想画像の生成の基となる顔画像中の特徴点や特徴領域の検出が正確でないため、表情の変化や動き等に十分に対応できるものではなく、リアルタイムで入力画像に対して装飾あるいは変形などを施し出力することは困難であった。
【０００６】
そこでこの発明は、前記課題に鑑みてなされたものであり、入力画像に対する装飾あるいは変形などの画像処理が効率良く正確に実行でき、リアルタイムで入力画像に対して画像処理を行うことが可能な画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、この発明の一実施態様に係る画像処理装置は、予め設定された３次元のモデル画像を持ち、前記モデル画像と外部から入力された第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、前記対応点探索部により求めた前記対応点位置情報の各々によって決まる距離関数の総和が最小になるように前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部とを具備することを特徴とする。
この発明の他の実施態様に係る画像処理装置は、予め設定された３次元のモデル画像を持ち、前記モデル画像と外部から入力された第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、前記対応点探索部により求めた前記対応点位置情報から互いに対応する点間の距離を得て、前記距離に所定の重み付けを行って総和を算出し、前記総和が最小になるように前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部とを具備することを特徴とする。
【０００８】
また、前記目的を達成するために、この発明に係る画像処理方法は、３次元のモデル画像と第１の処理パラメータに基づいて、３次元画像を描画する工程と、静止画像及び動画像のいずれかの入力画像が入力される工程と、前記３次元画像上と前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める工程と、前記対応点探索部により求めた前記対応点位置情報を用いて、前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める工程とを具備することを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照してこの発明の実施の形態の画像処理装置としての仮想鏡装置及び画像処理方法について説明する。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
【００１０】
［第１の実施の形態］
まず、この発明の第１の実施の形態の仮想鏡装置について説明する。
【００１１】
図１は、第１の実施の形態の仮想鏡装置とその周辺部の構成を示す図である。
【００１２】
仮想鏡装置１は、カメラ２等の撮像装置から取り込んだ画像、例えば人物の顔画像等に対し、装飾あるいは変形などの画像処理を施してディスプレイ３に出力する。また、カメラ２から取り込んだ画像に対して、装飾あるいは変形などの画像処理を施し符号化を行い、ネットワーク４に送出する。さらに、ネットワーク４から符号化された情報を受け取り、情報の復号、及び修飾により得られた画像をディスプレイに出力する。
【００１３】
なお、カメラ２は精度の高い画像を得るために、複数のカメラを備えていても良い。さらに、仮想鏡装置１は、複数のカメラ２から得られる画像を処理するために、十分な処理能力を備えている。
【００１４】
前記装飾あるいは変形とは、例えば顔画像に化粧を追加する場合や、表情を移植する場合などを指す。顔画像に化粧を追加する場合は、カメラ２からの入力画像に対して仮想的に口紅の色を変更するなどの化粧を施し、ディスプレイ３に表示する。また、表情を移植する場合は、カメラ２から入力された顔の表情を、他の人物もしくは動物などの顔に移植しディスプレイ３に表示する。これにより、使用者がカメラ２の前で微笑むと、ディスプレイ３上の動物が同じように微笑むといった処理が行える。
【００１５】
また、ネットワーク４越しに同様の操作を行うことで、テレビ電話のように使用することも可能である。テレビ電話として使用する際に、例えば人の表情を動物の表情へ移植する処理を行えば、相手先には使用者ではなく、動物の表情を表示できる。このため、使用者がだれなのかわからないが、表情の変化や動きは読みとれるという、匿名性が高く、かつ臨場感のある通話を行うことができる。
【００１６】
次に、前記仮想鏡装置１の構成について説明する。
【００１７】
図２は、第１の実施の形態の仮想鏡装置の構成を示すブロック図である。
【００１８】
仮想鏡装置は、図２に示すように、３Ｄモデル描画部１１、画像入力部１２、対応点探索部１３、動き・モデルパラメータ改善部１４、画像出力部１５、及びネットワーク接続部１６から構成される。
【００１９】
３Ｄモデル描画部１１の出力部は、対応点探索部１３の第１入力部に接続されており、画像入力部１２の出力部は対応点探索部１３の第２入力部に接続されている。画像入力部１２の入力部には、外部に設けられたカメラ２が接続されている。
【００２０】
前記対応点探索部１３の出力部は、動き・モデルパラメータ改善部１４の入力部に接続される。動き・モデルパラメータ改善部１４の出力部は、３Ｄモデル描画部１１の入力部に接続されている。さらに、前記３Ｄモデル描画部１１の出力部は、画像出力部１５の入力部に接続されており、画像出力部１５の出力部はディスプレイ３に接続されている。
【００２１】
また、ネットワーク接続部１６には、外部に設けられたネットワーク４が接続されている。動き・モデルパラメータ改善部１４の出力部は、ネットワーク接続部１６の入力部に接続されている。さらに、ネットワーク接続部１６の出力部は、３Ｄモデル描画部１１の入力部に接続されている。
【００２２】
前記３Ｄモデル描画部１１は、予め一般的な使用者の３次元のモデル画像（以下、３Ｄモデルと記す）を持ち、与えられた動き・モデルパラメータ（第１の処理パラメータ）に応じて３次元の画像を描画し出力する。これは、従来のグラフィックス・プロセシング・ユニット（ＧＰＵ）と同様の機能である。前記動き・モデルパラメータは、画像における動きや姿勢、表情等を表現するためのパラメータである。すなわち、動き・モデルパラメータを３Ｄモデル描画部１１に与えれば、３Ｄモデルを任意の動きや姿勢、表情で描画し、３次元の描画画像を作成することができる。
【００２３】
前記画像入力部１２は、カメラ２により取り込まれた静止画像あるいは動画像の入力画像を対応点探索部１３に出力する。
【００２４】
前記対応点探索部１３は、３Ｄモデル描画部１１で描画した３次元の描画画像と、画像入力部１２から入力された入力画像との間で、対応点の探索を行う。対応点の探索とは、描画画像上と入力画像上との間で、２つの画像上において対応する点を探索する操作である。
【００２５】
前記動き・モデルパラメータ改善部１４は、対応点の探索により求めた情報より動き・モデルパラメータ改善する。前記画像出力部１５は、３Ｄモデル描画部１１で描画された３次元の描画画像を受け取り、ディスプレイに出力する。
【００２６】
前記ネットワーク接続部１６は、動き・モデルパラメータ改善部１４から動き・モデルパラメータ（第２の処理パラメータ）を受け取り、ネットワーク４を介して他の画像処理装置に出力する。また、ネットワーク接続部１６は、他の画像処理装置からネットワーク４を介して情報、例えば動き・モデルパラメータを受け取り、３Ｄモデル描画部１１に出力する。
【００２７】
次に、図２に示した仮想鏡装置１の動作について説明する。
【００２８】
図３は、仮想鏡装置の動作のフローを示す図である。
【００２９】
まず、外部から動き・モデルパラメータの初期解（Ｓ１）が３Ｄモデル描画部１１に入力され、３Ｄモデル描画部１１は、予め設定された３Ｄモデルと与えられた動き・モデルパラメータの初期解に応じて、３次元の描画画像を描画する（Ｓ２）。
【００３０】
また、画像入力部１２には、カメラ２から、静止画像あるいは動画像の入力画像、例えば人物の顔画像などが取り込まれる。これら描画画像（Ｓ３）及び入力画像（Ｓ４）は、対応点探索部１３に入力される。
【００３１】
前記対応点探索部１３は、受け取った描画画像と入力画像との間で対応点の探索を行う（Ｓ５）。対応点の探索とは、描画画像と入力画像の２つの画像上において、対応する点を探索する操作である。例えば、図４（ａ）に示す描画画像上の目の部分に配置された注目点Ａが、図４（ｂ）に示す入力画像上のどの位置に対応するかを探索し、注目点Ａに対応する対応点Ｂの位置情報を求める。この対応点位置情報（Ｓ６）は、動き・モデルパラメータ改善部１４に入力される。
【００３２】
動き・モデルパラメータ改善部１４は、対応点位置情報をもとに、描画画像を再度、描画したときの対応点Ｂと注目点Ａとの距離が短くなるように、動き・モデルパラメータの初期解の改善を行い（Ｓ７）、動き・モデルパラメータの２次解（Ｓ８）を算出する。これら対応点探索部１３、及び動き・モデルパラメータ改善部１４の動作は、後で詳述する。
【００３３】
こうして得られた動き・モデルパラメータの２次解は、再び、３Ｄモデル描画部１１にフィードバックされ、前述と同様に、３次元描画画像の描画、対応点の探索、及び動き・モデルパラメータの算出の処理を行うことにより、さらに精度の高い動き・モデルパラメータを求める。
【００３４】
このように、３次元描画画像の描画から、対応点の探索、動き・モデルパラメータの算出までの処理が複数回繰り返し実行され、高い精度の動き・モデルパラメータが算出される。算出された動き・モデルパラメータは、３Ｄモデル描画部１１に入力される。そして、３Ｄモデル描画部１１により３次元の描画画像が描画されて、画像出力部１５に出力される。さらに、３次元の描画画像は、画像出力部１５よりディスプレイ３に出力され表示される。
【００３５】
また、画像入力部１２に入力される入力画像が動画の場合、所定の時間間隔で入力画像が対応点探索部１３に取り込まれる。まず、最初の入力画像が対応点探索部１３に取り込まれると、前述した３次元の描画画像の描画から、動き・モデルパラメータの算出までの処理が繰り返し実行されて、高い精度の動き・モデルパラメータが求める。そして、この動き・モデルパラメータを用いて、３次元の描画画像が描画され、画像出力部１５に出力される。続いて、対応点探索部１３に新しい入力画像が取り込まれると、同様に、３次元の描画画像の描画から、動き・モデルパラメータの算出までの処理が繰り返し実行されて、高い精度の動き・モデルパラメータの算出、さらに３次元の描画画像の出力が行われる。
【００３６】
このように、入力画像が動画の場合、所定時間が経過する毎に入力画像が取り込まれ、次の入力画像が取り込まれるまでの間に、前記３次元描画画像の描画、対応点の探索、及び動き・モデルパラメータの算出までの処理が繰り返し実行されて高い精度の動き・モデルパラメータが求められる。そして、この動き・モデルパラメータを用いて、３Ｄモデル描画部１１により３次元の描画画像が描画され、画像出力部１５を介してディスプレイ３に表示される。
【００３７】
また、ネットワーク４を用いて画像の入出力を行う場合、最終的に算出された高い精度の動き・モデルパラメータが動き・モデルパラメータ改善部１４よりネットワーク接続部１６を介してネットワーク４に出力される。一方、ネットワーク４からは、ネットワーク接続部１６を介して動き・モデルパラメータを受け取る。そして、この動き・モデルパラメータを用いて、３Ｄモデル描画部１１により３次元の描画画像を描画し、画像出力部１５を介してディスプレイ３に表示する。
【００３８】
なお、ここではネットワーク４により動き・モデルパラメータの授受を行う例を示したが、これに限るわけではなく、画像データの授受を直接行うようにしてもよい。
【００３９】
次に、前述した対応点探索部１３、及び動き・モデルパラメータ改善部１４の動作を詳細に述べる。
【００４０】
図４（ａ）及び図４（ｂ）は、対応点探索部１３における対応点位置情報を求める様子を示す図である。図４（ａ）に３Ｄモデル描画部１１によって描画した描画画像を示し、図４（ｂ）に画像入力部１２に入力される入力画像を示す。
【００４１】
対応点探索部１３は、描画画像と入力画像との間で、以下のような処理により対応点の探索を行い、対応点の位置情報を求める。その後、動き・モデルパラメータ改善部１４は、最小二乗法などを用いて、描画画像上と入力画像上とにおける対応点間の距離が最小となるように、動き・モデルパラメータを改善する。
【００４２】
図４（ａ）に示すように、３Ｄモデル上に定義された注目点Ａの描画画像上の位置を（ｘｉ、ｙｉ）とする。ただし、ｉ＝１、２、…、Ｎである。Ｎは注目点Ａの数であり、描画画像上に所定の間隔で数十から数千点程度配置される。
【００４３】
まず、対応点探索部１３は、注目点Ａ（ｘｉ、ｙｉ）が存在する周辺画像Ｃと似た対応画像Ｄが入力画像上でどこに存在するか探索する。さらに、周辺画像Ｃ内における注目点Ａの位置関係から、図４（ｂ）に示すように、探索した対応画像Ｄ内における対応点Ｂ（ｕｉ、ｖｉ）の位置情報を算出する。
【００４４】
続いて、動き・モデルパラメータ改善部１４は、ｉ＝１、２、…、Ｎの全ての点において、注目点Ａと対応点Ｂとの距離が最小となるように、動き・モデルパラメータを改善する。
【００４５】
例えば、注目点Ａ（ｘｉ、ｙｉ）と対応点Ｂ（ｕｉ、ｖｉ）との距離の二乗和をＲとすると、
Ｒ＝Σ｜（ｘｉ、ｙｉ）−（ｕｉ、ｖｉ）｜２
ここで、ｘｉ、ｙｉは動き・モデルパラメータＰの関数であるため、ＲもＰの関数でＲ（Ｐ）と表現できる。したがって、Ｒが最小になるようなＰを求めることにより、動きや姿勢、表情を表現する動き・モデルパラメータを改善することができる。
【００４６】
また例えば、関数Ｒ（Ｐ）として、以下のような二乗和以外の関数を使用することもできる。
【００４７】
Ｒ＝Σλｉ｜（ｘｉ、ｙｉ）−（ｕｉ、ｖｉ）｜２（λｉは点ごとに定められた定数）
次に、前記仮想鏡装置１を、単一の半導体装置内に形成した例を示す。
【００４８】
図５は、仮想鏡装置の一部を単一の半導体基板上に配置した一例を示すレイアウト図である。
【００４９】
半導体基板２１上には、図５に示すように、データの転送路２２に接続された入出力画像処理ユニット２３、行列演算ユニット２４、バスインタフェース２５、入力回路２６、及び出力回路２７が配置されている。
【００５０】
前記入出力画像処理ユニット２３では、前記３Ｄモデル描画部１１、対応点探索部１３にて行う処理が実行される。行列演算ユニット２４では、前記動き・モデルパラメータ改善部１４にて行う処理が実行される。なお、動き・モデルパラメータ改善部１４にて行う処理は、入出力画像処理ユニット２３で実行してもよい。また、動き・モデルパラメータ改善部１４にて行う処理データが大きい場合は、バスインタフェース２５を介して半導体基板２１の外部に設けられた処理装置などにより処理を実行しても良い。
【００５１】
前記入力回路２６には、外部に設けられたカメラより入力画像が入力される。出力回路２７には、入出力画像処理ユニット２３にて処理された３次元の描画画像が入力され、この描画画像は外部に設けられたディスプレイに出力される。
【００５２】
このように、前述した仮想鏡装置の構成を単一の半導体基板上に集積することにより、入力画像の動きや表情を高精度で示す、動き・モデルパラメータをリアルタイムで高速に算出できる。この結果、３次元の描画画像をリアルタイムで高速にディスプレイ３に表示することが可能になる。
【００５３】
この第１の実施の形態では、３Ｄモデルを用いて作成した描画画像と入力画像とのマッチングを行うことにより、効率よくかつ高精度に人の姿勢や表情などを算出することができる。
【００５４】
また、単一の半導体基板上に、３Ｄモデル描画部、対応点検索部、及び動き・モデルパラメータ改善部を集積することにより、半導体装置外でデータ転送を行う必要がなく、処理が高速化でき、リアルタイム処理が可能になる。
【００５５】
また、ネットワークに接続されているため、遠隔地に使用者の姿勢や表情などを効率よく送信できる。さらに、遠隔地の使用者とテレビ電話のように対面することが可能である。また、仮想空間でのジェスチャーや表情を使ったコミュニケーションが可能になる。さらに、アバターを用いた場合、匿名性も保持できる。
【００５６】
［第２の実施の形態］
次に、この発明の第２の実施の形態の仮想鏡装置について説明する。この第２の実施の形態は、図２に示した前記第１の実施の形態の構成に、さらに３Ｄモデル作成部を追加したものである。その他の構成は、前記第１の実施の形態と同様である。
【００５７】
図６は、第２の実施の形態の仮想鏡装置の構成を示すブロック図である。図７は、前記仮想鏡装置の動作のフローを示す図である。
【００５８】
仮想鏡装置５は、図６に示すように、３Ｄモデル作成部３１、３Ｄモデル描画部１１、画像入力部１２、対応点探索部１３、動き・モデルパラメータ改善部１４、画像出力部１５、及びネットワーク接続部１６から構成される。
【００５９】
複数のカメラ２から複数の入力画像が、３Ｄモデル作成部３１に入力される。３Ｄモデル作成部３１は、入力された複数の入力画像に基づいて、３次元のモデル画像（３Ｄモデル）と動き・モデルパラメータを作成する（Ｓ９）。３Ｄモデル（Ｓ１０）と動き・モデルパラメータは、３Ｄモデル描画部１１に入力され、３次元の描画画像が描画される。
【００６０】
また、複数のカメラ２から前記複数の入力画像が、画像入力部１２に入力される。さらに、前記描画画像と入力画像は、対応点探索部１３に入力される。
【００６１】
前記対応点探索部１３は、受け取った描画画像と入力画像との間で対応点の探索を行う。対応点の探索以降に処理は、前記第１の実施の形態と同様であり、説明は省略する。
【００６２】
このように構成された仮想鏡装置５では、カメラ２などから入力された入力画像を用いて、３Ｄモデル及び動き・モデルパラメータを作成する３Ｄモデル作成部３１を備えている。これにより、３Ｄモデル描画部１１に、予め３Ｄモデルと動き・モデルパラメータを与えなくても、３Ｄモデル作成部３１により３次元の描画画像を作成できる。言い換えると、３Ｄモデル描画部１１で使用する３Ｄモデルの設定や、３Ｄモデル描画部１１への動き・モデルパラメータの入力を行わなくても、３Ｄモデル作成部３１、及び３Ｄモデル描画部１１により３次元の描画画像を作成できる。これにより、仮想鏡装置５を動作させることができる。
【００６３】
この第２の実施の形態では、３Ｄモデルを用いて作成した描画画像と入力画像とのマッチングを行うことにより、効率よくかつ高精度に人の姿勢や表情などを算出することができる。
【００６４】
また、単一の半導体基板上に、３Ｄモデル作成部、３Ｄモデル描画部、対応点検索部、及び動き・モデルパラメータ改善部を集積することにより、半導体装置外でデータ転送を行う必要がなく、処理が高速化でき、リアルタイム処理が可能になる。
【００６５】
また、ネットワークに接続されているため、遠隔地に使用者の姿勢や表情などを効率よく送信できる。さらに、遠隔地の使用者とテレビ電話のように対面することが可能である。また、仮想空間でのジェスチャーや表情を使ったコミュニケーションが可能になる。さらに、アバターを用いた場合、匿名性も保持できる。
【００６６】
また、３Ｄモデル作成部をもつことにより、任意の使用者がこの仮想鏡装置を使用することが可能になる。
【００６７】
以上説明したようにこの発明の実施の形態によれば、例えば人物の画像が入力され、この入力画像を分析、修飾、表示する過程において、前述したような３次元のモデル画像と入力画像とのマッチングを行うアルゴリズムを用いることにより、顔の表情の変化や動きなどを精度良く抽出することができる。前記アルゴリズムを実行する装置を半導体基板上に集積化すれば、アルゴリズムをより効率よく実行することが可能である。
【００６８】
また、半導体装置に一部機能を集積化することで、汎用プロセッサでは難しい、リアルタイムでの処理が行える。これにより、画像処理後の出力画像を鏡のようにインタラクティブに使用できる。さらに、テレビ電話などで相手先に表示される画像を修飾したり、制限したりといった、リアルタイム処理が必要な用途に使用できるようになる。
【００６９】
また、前述した各実施の形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施の形態には種々の段階の発明が含まれており、各実施の形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。
【００７０】
【発明の効果】
以上述べたようにこの発明によれば、入力画像に対する装飾あるいは変形などの画像処理が効率良く正確に実行でき、リアルタイムで入力画像に対して画像処理を行うことが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】 この発明の第１の実施の形態の仮想鏡装置とその周辺部の構成を示す図である。
【図２】 前記第１の実施の形態の仮想鏡装置の構成を示すブロック図である。
【図３】 前記第１の実施の形態の仮想鏡装置の動作フローを示す図である。
【図４】 前記第１の実施の形態の仮想鏡装置における対応点探索部の対応点位置情報を求める様子を示す図である。
【図５】 前記第１の実施の形態の仮想鏡装置を単一の半導体基板上に形成した一例を示すレイアウト図である。
【図６】 この発明の第２の実施の形態の仮想鏡装置の構成を示すブロック図である。
【図７】 前記第２の実施の形態の仮想鏡装置の動作フローを示す図である。
【符号の説明】
１…仮想鏡装置、２…カメラ、３…ディスプレイ、４…ネットワーク、５…仮想鏡装置、１１…３Ｄモデル描画部、１２…画像入力部、１３…対応点探索部、１４…動き・モデルパラメータ改善部、１５…画像出力部、１６…ネットワーク接続部、２１…半導体基板、２２…転送路、２３…入出力画像処理ユニット、２４…行列演算ユニット、２５…バスインタフェース、２６…入力回路、２７…出力回路、３１…３Ｄモデル作成部
【発明の属する技術分野】
この発明は、入力された画像に対して装飾あるいは変形などの画像処理を施し、ディスプレイに出力する画像処理装置に関するものであり、特に人物の顔画像に対し、髪型を変更したり化粧を行ったり等の装飾を施した画像をディスプレイに表示する、あるいはネットワークを通じて送信する画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、入力された人物の画像に装飾あるいは変形などの画像処理を施し、ディスプレイなどに出力する画像処理装置が使用されている。例えば、顔画像に対して髪型の変更、メガネの装着、あるいは化粧の修飾などを行い、その使用状態を、静止画にてシミュレーションするための装置やソフトウェアは、現在広く利用されている。
【０００３】
これらに利用されている画像処理装置には、例えば、顔画像中の特徴点の抽出を行い、これらに対して予め決められた画像を重ねることにより、装飾画像を表示するものが提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２０００−３２２５８８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、前述した画像処理装置による画像は、実画像のシミュレーションとしては満足できるものではなかった。すなわち、仮想画像の生成の基となる顔画像中の特徴点や特徴領域の検出が正確でないため、表情の変化や動き等に十分に対応できるものではなく、リアルタイムで入力画像に対して装飾あるいは変形などを施し出力することは困難であった。
【０００６】
そこでこの発明は、前記課題に鑑みてなされたものであり、入力画像に対する装飾あるいは変形などの画像処理が効率良く正確に実行でき、リアルタイムで入力画像に対して画像処理を行うことが可能な画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、この発明の一実施態様に係る画像処理装置は、予め設定された３次元のモデル画像を持ち、前記モデル画像と外部から入力された第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、前記対応点探索部により求めた前記対応点位置情報の各々によって決まる距離関数の総和が最小になるように前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部とを具備することを特徴とする。
この発明の他の実施態様に係る画像処理装置は、予め設定された３次元のモデル画像を持ち、前記モデル画像と外部から入力された第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、前記対応点探索部により求めた前記対応点位置情報から互いに対応する点間の距離を得て、前記距離に所定の重み付けを行って総和を算出し、前記総和が最小になるように前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部とを具備することを特徴とする。
【０００８】
また、前記目的を達成するために、この発明に係る画像処理方法は、３次元のモデル画像と第１の処理パラメータに基づいて、３次元画像を描画する工程と、静止画像及び動画像のいずれかの入力画像が入力される工程と、前記３次元画像上と前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める工程と、前記対応点探索部により求めた前記対応点位置情報を用いて、前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める工程とを具備することを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照してこの発明の実施の形態の画像処理装置としての仮想鏡装置及び画像処理方法について説明する。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
【００１０】
［第１の実施の形態］
まず、この発明の第１の実施の形態の仮想鏡装置について説明する。
【００１１】
図１は、第１の実施の形態の仮想鏡装置とその周辺部の構成を示す図である。
【００１２】
仮想鏡装置１は、カメラ２等の撮像装置から取り込んだ画像、例えば人物の顔画像等に対し、装飾あるいは変形などの画像処理を施してディスプレイ３に出力する。また、カメラ２から取り込んだ画像に対して、装飾あるいは変形などの画像処理を施し符号化を行い、ネットワーク４に送出する。さらに、ネットワーク４から符号化された情報を受け取り、情報の復号、及び修飾により得られた画像をディスプレイに出力する。
【００１３】
なお、カメラ２は精度の高い画像を得るために、複数のカメラを備えていても良い。さらに、仮想鏡装置１は、複数のカメラ２から得られる画像を処理するために、十分な処理能力を備えている。
【００１４】
前記装飾あるいは変形とは、例えば顔画像に化粧を追加する場合や、表情を移植する場合などを指す。顔画像に化粧を追加する場合は、カメラ２からの入力画像に対して仮想的に口紅の色を変更するなどの化粧を施し、ディスプレイ３に表示する。また、表情を移植する場合は、カメラ２から入力された顔の表情を、他の人物もしくは動物などの顔に移植しディスプレイ３に表示する。これにより、使用者がカメラ２の前で微笑むと、ディスプレイ３上の動物が同じように微笑むといった処理が行える。
【００１５】
また、ネットワーク４越しに同様の操作を行うことで、テレビ電話のように使用することも可能である。テレビ電話として使用する際に、例えば人の表情を動物の表情へ移植する処理を行えば、相手先には使用者ではなく、動物の表情を表示できる。このため、使用者がだれなのかわからないが、表情の変化や動きは読みとれるという、匿名性が高く、かつ臨場感のある通話を行うことができる。
【００１６】
次に、前記仮想鏡装置１の構成について説明する。
【００１７】
図２は、第１の実施の形態の仮想鏡装置の構成を示すブロック図である。
【００１８】
仮想鏡装置は、図２に示すように、３Ｄモデル描画部１１、画像入力部１２、対応点探索部１３、動き・モデルパラメータ改善部１４、画像出力部１５、及びネットワーク接続部１６から構成される。
【００１９】
３Ｄモデル描画部１１の出力部は、対応点探索部１３の第１入力部に接続されており、画像入力部１２の出力部は対応点探索部１３の第２入力部に接続されている。画像入力部１２の入力部には、外部に設けられたカメラ２が接続されている。
【００２０】
前記対応点探索部１３の出力部は、動き・モデルパラメータ改善部１４の入力部に接続される。動き・モデルパラメータ改善部１４の出力部は、３Ｄモデル描画部１１の入力部に接続されている。さらに、前記３Ｄモデル描画部１１の出力部は、画像出力部１５の入力部に接続されており、画像出力部１５の出力部はディスプレイ３に接続されている。
【００２１】
また、ネットワーク接続部１６には、外部に設けられたネットワーク４が接続されている。動き・モデルパラメータ改善部１４の出力部は、ネットワーク接続部１６の入力部に接続されている。さらに、ネットワーク接続部１６の出力部は、３Ｄモデル描画部１１の入力部に接続されている。
【００２２】
前記３Ｄモデル描画部１１は、予め一般的な使用者の３次元のモデル画像（以下、３Ｄモデルと記す）を持ち、与えられた動き・モデルパラメータ（第１の処理パラメータ）に応じて３次元の画像を描画し出力する。これは、従来のグラフィックス・プロセシング・ユニット（ＧＰＵ）と同様の機能である。前記動き・モデルパラメータは、画像における動きや姿勢、表情等を表現するためのパラメータである。すなわち、動き・モデルパラメータを３Ｄモデル描画部１１に与えれば、３Ｄモデルを任意の動きや姿勢、表情で描画し、３次元の描画画像を作成することができる。
【００２３】
前記画像入力部１２は、カメラ２により取り込まれた静止画像あるいは動画像の入力画像を対応点探索部１３に出力する。
【００２４】
前記対応点探索部１３は、３Ｄモデル描画部１１で描画した３次元の描画画像と、画像入力部１２から入力された入力画像との間で、対応点の探索を行う。対応点の探索とは、描画画像上と入力画像上との間で、２つの画像上において対応する点を探索する操作である。
【００２５】
前記動き・モデルパラメータ改善部１４は、対応点の探索により求めた情報より動き・モデルパラメータ改善する。前記画像出力部１５は、３Ｄモデル描画部１１で描画された３次元の描画画像を受け取り、ディスプレイに出力する。
【００２６】
前記ネットワーク接続部１６は、動き・モデルパラメータ改善部１４から動き・モデルパラメータ（第２の処理パラメータ）を受け取り、ネットワーク４を介して他の画像処理装置に出力する。また、ネットワーク接続部１６は、他の画像処理装置からネットワーク４を介して情報、例えば動き・モデルパラメータを受け取り、３Ｄモデル描画部１１に出力する。
【００２７】
次に、図２に示した仮想鏡装置１の動作について説明する。
【００２８】
図３は、仮想鏡装置の動作のフローを示す図である。
【００２９】
まず、外部から動き・モデルパラメータの初期解（Ｓ１）が３Ｄモデル描画部１１に入力され、３Ｄモデル描画部１１は、予め設定された３Ｄモデルと与えられた動き・モデルパラメータの初期解に応じて、３次元の描画画像を描画する（Ｓ２）。
【００３０】
また、画像入力部１２には、カメラ２から、静止画像あるいは動画像の入力画像、例えば人物の顔画像などが取り込まれる。これら描画画像（Ｓ３）及び入力画像（Ｓ４）は、対応点探索部１３に入力される。
【００３１】
前記対応点探索部１３は、受け取った描画画像と入力画像との間で対応点の探索を行う（Ｓ５）。対応点の探索とは、描画画像と入力画像の２つの画像上において、対応する点を探索する操作である。例えば、図４（ａ）に示す描画画像上の目の部分に配置された注目点Ａが、図４（ｂ）に示す入力画像上のどの位置に対応するかを探索し、注目点Ａに対応する対応点Ｂの位置情報を求める。この対応点位置情報（Ｓ６）は、動き・モデルパラメータ改善部１４に入力される。
【００３２】
動き・モデルパラメータ改善部１４は、対応点位置情報をもとに、描画画像を再度、描画したときの対応点Ｂと注目点Ａとの距離が短くなるように、動き・モデルパラメータの初期解の改善を行い（Ｓ７）、動き・モデルパラメータの２次解（Ｓ８）を算出する。これら対応点探索部１３、及び動き・モデルパラメータ改善部１４の動作は、後で詳述する。
【００３３】
こうして得られた動き・モデルパラメータの２次解は、再び、３Ｄモデル描画部１１にフィードバックされ、前述と同様に、３次元描画画像の描画、対応点の探索、及び動き・モデルパラメータの算出の処理を行うことにより、さらに精度の高い動き・モデルパラメータを求める。
【００３４】
このように、３次元描画画像の描画から、対応点の探索、動き・モデルパラメータの算出までの処理が複数回繰り返し実行され、高い精度の動き・モデルパラメータが算出される。算出された動き・モデルパラメータは、３Ｄモデル描画部１１に入力される。そして、３Ｄモデル描画部１１により３次元の描画画像が描画されて、画像出力部１５に出力される。さらに、３次元の描画画像は、画像出力部１５よりディスプレイ３に出力され表示される。
【００３５】
また、画像入力部１２に入力される入力画像が動画の場合、所定の時間間隔で入力画像が対応点探索部１３に取り込まれる。まず、最初の入力画像が対応点探索部１３に取り込まれると、前述した３次元の描画画像の描画から、動き・モデルパラメータの算出までの処理が繰り返し実行されて、高い精度の動き・モデルパラメータが求める。そして、この動き・モデルパラメータを用いて、３次元の描画画像が描画され、画像出力部１５に出力される。続いて、対応点探索部１３に新しい入力画像が取り込まれると、同様に、３次元の描画画像の描画から、動き・モデルパラメータの算出までの処理が繰り返し実行されて、高い精度の動き・モデルパラメータの算出、さらに３次元の描画画像の出力が行われる。
【００３６】
このように、入力画像が動画の場合、所定時間が経過する毎に入力画像が取り込まれ、次の入力画像が取り込まれるまでの間に、前記３次元描画画像の描画、対応点の探索、及び動き・モデルパラメータの算出までの処理が繰り返し実行されて高い精度の動き・モデルパラメータが求められる。そして、この動き・モデルパラメータを用いて、３Ｄモデル描画部１１により３次元の描画画像が描画され、画像出力部１５を介してディスプレイ３に表示される。
【００３７】
また、ネットワーク４を用いて画像の入出力を行う場合、最終的に算出された高い精度の動き・モデルパラメータが動き・モデルパラメータ改善部１４よりネットワーク接続部１６を介してネットワーク４に出力される。一方、ネットワーク４からは、ネットワーク接続部１６を介して動き・モデルパラメータを受け取る。そして、この動き・モデルパラメータを用いて、３Ｄモデル描画部１１により３次元の描画画像を描画し、画像出力部１５を介してディスプレイ３に表示する。
【００３８】
なお、ここではネットワーク４により動き・モデルパラメータの授受を行う例を示したが、これに限るわけではなく、画像データの授受を直接行うようにしてもよい。
【００３９】
次に、前述した対応点探索部１３、及び動き・モデルパラメータ改善部１４の動作を詳細に述べる。
【００４０】
図４（ａ）及び図４（ｂ）は、対応点探索部１３における対応点位置情報を求める様子を示す図である。図４（ａ）に３Ｄモデル描画部１１によって描画した描画画像を示し、図４（ｂ）に画像入力部１２に入力される入力画像を示す。
【００４１】
対応点探索部１３は、描画画像と入力画像との間で、以下のような処理により対応点の探索を行い、対応点の位置情報を求める。その後、動き・モデルパラメータ改善部１４は、最小二乗法などを用いて、描画画像上と入力画像上とにおける対応点間の距離が最小となるように、動き・モデルパラメータを改善する。
【００４２】
図４（ａ）に示すように、３Ｄモデル上に定義された注目点Ａの描画画像上の位置を（ｘｉ、ｙｉ）とする。ただし、ｉ＝１、２、…、Ｎである。Ｎは注目点Ａの数であり、描画画像上に所定の間隔で数十から数千点程度配置される。
【００４３】
まず、対応点探索部１３は、注目点Ａ（ｘｉ、ｙｉ）が存在する周辺画像Ｃと似た対応画像Ｄが入力画像上でどこに存在するか探索する。さらに、周辺画像Ｃ内における注目点Ａの位置関係から、図４（ｂ）に示すように、探索した対応画像Ｄ内における対応点Ｂ（ｕｉ、ｖｉ）の位置情報を算出する。
【００４４】
続いて、動き・モデルパラメータ改善部１４は、ｉ＝１、２、…、Ｎの全ての点において、注目点Ａと対応点Ｂとの距離が最小となるように、動き・モデルパラメータを改善する。
【００４５】
例えば、注目点Ａ（ｘｉ、ｙｉ）と対応点Ｂ（ｕｉ、ｖｉ）との距離の二乗和をＲとすると、
Ｒ＝Σ｜（ｘｉ、ｙｉ）−（ｕｉ、ｖｉ）｜２
ここで、ｘｉ、ｙｉは動き・モデルパラメータＰの関数であるため、ＲもＰの関数でＲ（Ｐ）と表現できる。したがって、Ｒが最小になるようなＰを求めることにより、動きや姿勢、表情を表現する動き・モデルパラメータを改善することができる。
【００４６】
また例えば、関数Ｒ（Ｐ）として、以下のような二乗和以外の関数を使用することもできる。
【００４７】
Ｒ＝Σλｉ｜（ｘｉ、ｙｉ）−（ｕｉ、ｖｉ）｜２（λｉは点ごとに定められた定数）
次に、前記仮想鏡装置１を、単一の半導体装置内に形成した例を示す。
【００４８】
図５は、仮想鏡装置の一部を単一の半導体基板上に配置した一例を示すレイアウト図である。
【００４９】
半導体基板２１上には、図５に示すように、データの転送路２２に接続された入出力画像処理ユニット２３、行列演算ユニット２４、バスインタフェース２５、入力回路２６、及び出力回路２７が配置されている。
【００５０】
前記入出力画像処理ユニット２３では、前記３Ｄモデル描画部１１、対応点探索部１３にて行う処理が実行される。行列演算ユニット２４では、前記動き・モデルパラメータ改善部１４にて行う処理が実行される。なお、動き・モデルパラメータ改善部１４にて行う処理は、入出力画像処理ユニット２３で実行してもよい。また、動き・モデルパラメータ改善部１４にて行う処理データが大きい場合は、バスインタフェース２５を介して半導体基板２１の外部に設けられた処理装置などにより処理を実行しても良い。
【００５１】
前記入力回路２６には、外部に設けられたカメラより入力画像が入力される。出力回路２７には、入出力画像処理ユニット２３にて処理された３次元の描画画像が入力され、この描画画像は外部に設けられたディスプレイに出力される。
【００５２】
このように、前述した仮想鏡装置の構成を単一の半導体基板上に集積することにより、入力画像の動きや表情を高精度で示す、動き・モデルパラメータをリアルタイムで高速に算出できる。この結果、３次元の描画画像をリアルタイムで高速にディスプレイ３に表示することが可能になる。
【００５３】
この第１の実施の形態では、３Ｄモデルを用いて作成した描画画像と入力画像とのマッチングを行うことにより、効率よくかつ高精度に人の姿勢や表情などを算出することができる。
【００５４】
また、単一の半導体基板上に、３Ｄモデル描画部、対応点検索部、及び動き・モデルパラメータ改善部を集積することにより、半導体装置外でデータ転送を行う必要がなく、処理が高速化でき、リアルタイム処理が可能になる。
【００５５】
また、ネットワークに接続されているため、遠隔地に使用者の姿勢や表情などを効率よく送信できる。さらに、遠隔地の使用者とテレビ電話のように対面することが可能である。また、仮想空間でのジェスチャーや表情を使ったコミュニケーションが可能になる。さらに、アバターを用いた場合、匿名性も保持できる。
【００５６】
［第２の実施の形態］
次に、この発明の第２の実施の形態の仮想鏡装置について説明する。この第２の実施の形態は、図２に示した前記第１の実施の形態の構成に、さらに３Ｄモデル作成部を追加したものである。その他の構成は、前記第１の実施の形態と同様である。
【００５７】
図６は、第２の実施の形態の仮想鏡装置の構成を示すブロック図である。図７は、前記仮想鏡装置の動作のフローを示す図である。
【００５８】
仮想鏡装置５は、図６に示すように、３Ｄモデル作成部３１、３Ｄモデル描画部１１、画像入力部１２、対応点探索部１３、動き・モデルパラメータ改善部１４、画像出力部１５、及びネットワーク接続部１６から構成される。
【００５９】
複数のカメラ２から複数の入力画像が、３Ｄモデル作成部３１に入力される。３Ｄモデル作成部３１は、入力された複数の入力画像に基づいて、３次元のモデル画像（３Ｄモデル）と動き・モデルパラメータを作成する（Ｓ９）。３Ｄモデル（Ｓ１０）と動き・モデルパラメータは、３Ｄモデル描画部１１に入力され、３次元の描画画像が描画される。
【００６０】
また、複数のカメラ２から前記複数の入力画像が、画像入力部１２に入力される。さらに、前記描画画像と入力画像は、対応点探索部１３に入力される。
【００６１】
前記対応点探索部１３は、受け取った描画画像と入力画像との間で対応点の探索を行う。対応点の探索以降に処理は、前記第１の実施の形態と同様であり、説明は省略する。
【００６２】
このように構成された仮想鏡装置５では、カメラ２などから入力された入力画像を用いて、３Ｄモデル及び動き・モデルパラメータを作成する３Ｄモデル作成部３１を備えている。これにより、３Ｄモデル描画部１１に、予め３Ｄモデルと動き・モデルパラメータを与えなくても、３Ｄモデル作成部３１により３次元の描画画像を作成できる。言い換えると、３Ｄモデル描画部１１で使用する３Ｄモデルの設定や、３Ｄモデル描画部１１への動き・モデルパラメータの入力を行わなくても、３Ｄモデル作成部３１、及び３Ｄモデル描画部１１により３次元の描画画像を作成できる。これにより、仮想鏡装置５を動作させることができる。
【００６３】
この第２の実施の形態では、３Ｄモデルを用いて作成した描画画像と入力画像とのマッチングを行うことにより、効率よくかつ高精度に人の姿勢や表情などを算出することができる。
【００６４】
また、単一の半導体基板上に、３Ｄモデル作成部、３Ｄモデル描画部、対応点検索部、及び動き・モデルパラメータ改善部を集積することにより、半導体装置外でデータ転送を行う必要がなく、処理が高速化でき、リアルタイム処理が可能になる。
【００６５】
また、ネットワークに接続されているため、遠隔地に使用者の姿勢や表情などを効率よく送信できる。さらに、遠隔地の使用者とテレビ電話のように対面することが可能である。また、仮想空間でのジェスチャーや表情を使ったコミュニケーションが可能になる。さらに、アバターを用いた場合、匿名性も保持できる。
【００６６】
また、３Ｄモデル作成部をもつことにより、任意の使用者がこの仮想鏡装置を使用することが可能になる。
【００６７】
以上説明したようにこの発明の実施の形態によれば、例えば人物の画像が入力され、この入力画像を分析、修飾、表示する過程において、前述したような３次元のモデル画像と入力画像とのマッチングを行うアルゴリズムを用いることにより、顔の表情の変化や動きなどを精度良く抽出することができる。前記アルゴリズムを実行する装置を半導体基板上に集積化すれば、アルゴリズムをより効率よく実行することが可能である。
【００６８】
また、半導体装置に一部機能を集積化することで、汎用プロセッサでは難しい、リアルタイムでの処理が行える。これにより、画像処理後の出力画像を鏡のようにインタラクティブに使用できる。さらに、テレビ電話などで相手先に表示される画像を修飾したり、制限したりといった、リアルタイム処理が必要な用途に使用できるようになる。
【００６９】
また、前述した各実施の形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施の形態には種々の段階の発明が含まれており、各実施の形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。
【００７０】
【発明の効果】
以上述べたようにこの発明によれば、入力画像に対する装飾あるいは変形などの画像処理が効率良く正確に実行でき、リアルタイムで入力画像に対して画像処理を行うことが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】 この発明の第１の実施の形態の仮想鏡装置とその周辺部の構成を示す図である。
【図２】 前記第１の実施の形態の仮想鏡装置の構成を示すブロック図である。
【図３】 前記第１の実施の形態の仮想鏡装置の動作フローを示す図である。
【図４】 前記第１の実施の形態の仮想鏡装置における対応点探索部の対応点位置情報を求める様子を示す図である。
【図５】 前記第１の実施の形態の仮想鏡装置を単一の半導体基板上に形成した一例を示すレイアウト図である。
【図６】 この発明の第２の実施の形態の仮想鏡装置の構成を示すブロック図である。
【図７】 前記第２の実施の形態の仮想鏡装置の動作フローを示す図である。
【符号の説明】
１…仮想鏡装置、２…カメラ、３…ディスプレイ、４…ネットワーク、５…仮想鏡装置、１１…３Ｄモデル描画部、１２…画像入力部、１３…対応点探索部、１４…動き・モデルパラメータ改善部、１５…画像出力部、１６…ネットワーク接続部、２１…半導体基板、２２…転送路、２３…入出力画像処理ユニット、２４…行列演算ユニット、２５…バスインタフェース、２６…入力回路、２７…出力回路、３１…３Ｄモデル作成部
Claims (10)
- 予め設定された３次元のモデル画像を持ち、前記モデル画像と外部から入力された第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、
静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、
前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、
前記対応点探索部により求めた前記対応点位置情報の各々によって決まる距離関数の総和が最小になるように前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部と、
を具備することを特徴とする画像処理装置。 - 予め設定された３次元のモデル画像を持ち、前記モデル画像と外部から入力された第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、
静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、
前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、
前記対応点探索部により求めた前記対応点位置情報から互いに対応する点間の距離を得て、前記距離に所定の重み付け行って総和を算出し、前記総和が最小になるように前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部と、
を具備することを特徴とする画像処理装置。 - 前記対応点探索部は、前記３次元画像上に複数の点を配置し、これら複数の点の各々に対して、前記入力画像上において対応する点を探索することにより、前記対応点位置情報を求めることを特徴とする請求項１または２に記載の画像処理装置。
- 前記処理パラメータ改善部は、前記画像描画部により前記モデル画像と前記第２の処理パラメータに基づいて３次元画像を描画したとき、前記３次元画像上に配置された複数の点と、これらに対応する前記入力画像上における複数の点とにおいて、各々の対応する２点間の距離が最小になるように、前記第２の処理パラメータを求めることを特徴とする請求項３に記載の画像処理装置。
- 前記画像描画部により前記モデル画像と前記第２の処理パラメータに基づいて描画された３次元画像を外部に出力する画像出力部を、さらに具備することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
- 前記画像描画部及び対応点探索部が単一の半導体基板上に形成されていることを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
- 前記半導体基板上には、前記処理パラメータ改善部がさらに形成されていることを特徴とする請求項６記載の画像処理装置。
- 前記処理パラメータ改善部により求められた前記第２の処理パラメータをネットワークに出力するネットワーク接続部を、さらに具備することを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
- 前記ネットワーク接続部は、前記ネットワークから前記第２の処理パラメータを受け取り、前記画像描画部に出力することを特徴とする請求項８に記載の画像処理装置。
- 前記画像入力部に入力された前記入力画像が人物像である場合、前記人物像と近似した動き、姿勢及び表情のアバターの画像を、前記画像出力部から出力することを特徴とする請求項５に記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003001489A JP3854229B2 (ja) | 2003-01-07 | 2003-01-07 | 画像処理装置 |
| US10/390,778 US7239741B2 (en) | 2003-01-07 | 2003-03-19 | Image processing device executing image processing on input image and processing method for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003001489A JP3854229B2 (ja) | 2003-01-07 | 2003-01-07 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004213481A JP2004213481A (ja) | 2004-07-29 |
| JP3854229B2 true JP3854229B2 (ja) | 2006-12-06 |
Family
ID=32677489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003001489A Expired - Fee Related JP3854229B2 (ja) | 2003-01-07 | 2003-01-07 | 画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7239741B2 (ja) |
| JP (1) | JP3854229B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7461012B2 (en) * | 2004-06-08 | 2008-12-02 | Elbex Video Ltd. | Method and apparatus for simplified e-commerce shopping via home shopping terminals |
| CN102245100B (zh) * | 2008-12-10 | 2014-09-10 | 皇家飞利浦电子股份有限公司 | 图形表示 |
| CN102314855B (zh) * | 2010-07-06 | 2014-12-10 | 南通新业电子有限公司 | 影像处理系统、显示装置及影像显示方法 |
| CN102314820A (zh) * | 2010-07-06 | 2012-01-11 | 鸿富锦精密工业（深圳）有限公司 | 影像处理系统、显示装置及影像显示方法 |
| JP5045827B2 (ja) * | 2011-02-01 | 2012-10-10 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| US8489469B1 (en) * | 2012-08-30 | 2013-07-16 | Elbex Video Ltd. | Method and structure for simplified coding of display pages for operating a closed circuit E-commerce |
| US20170182406A1 (en) * | 2014-03-21 | 2017-06-29 | Audience Entertainment Llc | Adaptive group interactive motion control system and method for 2d and 3d video |
| JP6426968B2 (ja) * | 2014-10-08 | 2018-11-21 | キヤノン株式会社 | 情報処理装置およびその方法 |
| JP6348093B2 (ja) * | 2015-11-06 | 2018-06-27 | ファナック株式会社 | 入力データから検出対象物の像を検出する画像処理装置および方法 |
| US10882453B2 (en) * | 2017-04-01 | 2021-01-05 | Intel Corporation | Usage of automotive virtual mirrors |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03125585A (ja) * | 1989-10-11 | 1991-05-28 | Mitsubishi Electric Corp | 画像信号の符号復号化器 |
| US5652851A (en) * | 1993-07-21 | 1997-07-29 | Xerox Corporation | User interface technique for producing a second image in the spatial context of a first image using a model-based operation |
| US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
| US6301370B1 (en) * | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
| US6466205B2 (en) * | 1998-11-19 | 2002-10-15 | Push Entertainment, Inc. | System and method for creating 3D models from 2D sequential image data |
| JP3810943B2 (ja) | 1999-05-06 | 2006-08-16 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
| US6944327B1 (en) * | 1999-11-04 | 2005-09-13 | Stefano Soatto | Method and system for selecting and designing eyeglass frames |
| JP3725460B2 (ja) * | 2000-10-06 | 2005-12-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| US7020305B2 (en) * | 2000-12-06 | 2006-03-28 | Microsoft Corporation | System and method providing improved head motion estimations for animation |
| US6919892B1 (en) * | 2002-08-14 | 2005-07-19 | Avaworks, Incorporated | Photo realistic talking head creation system and method |
-
2003
- 2003-01-07 JP JP2003001489A patent/JP3854229B2/ja not_active Expired - Fee Related
- 2003-03-19 US US10/390,778 patent/US7239741B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7239741B2 (en) | 2007-07-03 |
| US20040131247A1 (en) | 2004-07-08 |
| JP2004213481A (ja) | 2004-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3370208B1 (en) | Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| US11736756B2 (en) | Producing realistic body movement using body images | |
| CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
| US11887234B2 (en) | Avatar display device, avatar generating device, and program | |
| JP7387202B2 (ja) | ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム | |
| CN104656893B (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
| KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
| CN109671141B (zh) | 图像的渲染方法和装置、存储介质、电子装置 | |
| KR102148151B1 (ko) | 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅 | |
| JP3854229B2 (ja) | 画像処理装置 | |
| JP4474546B2 (ja) | 顔形状モデリングシステムおよび顔形状モデリング方法 | |
| CN113362263A (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| CN114445562A (zh) | 三维重建方法及装置、电子设备和存储介质 | |
| CN111597928A (zh) | 三维模型处理方法及装置、电子设备、存储介质 | |
| CN109685911B (zh) | 一种可实现虚拟试衣的ar眼镜及其实现方法 | |
| JP2007102478A (ja) | 画像処理装置、画像処理方法、及び半導体集積回路 | |
| CN114779948B (zh) | 基于面部识别的动画人物即时交互控制方法、装置及设备 | |
| CN111524240A (zh) | 场景切换方法、装置及增强现实设备 | |
| CN115147508B (zh) | 服饰生成模型的训练、生成服饰图像的方法和装置 | |
| CN107527033A (zh) | 摄像头模组和社交系统 | |
| CN118230359A (zh) | 人体姿态的估计方法、装置、系统及可读存储介质 | |
| CN118447200A (zh) | 信息处理设备、信息处理方法和存储介质 | |
| CN113283953A (zh) | 一种虚拟试衣方法、装置、设备及存储介质 | |
| CN111652979A (zh) | 一种实现ar的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060907 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |