JP3920889B2 - 画像合成装置 - Google Patents

Description

本発明は、画像合成装置に関するものである。本発明の画像合成装置は、たとえば顔画像や顔画像を代替するキャラクタ画像と副次的な仮想物体とを合成する合成処理に関するものである。

特許文献１の画像処理装置およびその方法は、面内の顔の大きさ、位置の変化に応じて仮想物体であるオブジェクトの大きさ・位置を変更し、顔の動きに追従する画像合成を提案している。この画像合成を用いると、たとえば入力した顔画像に仮想的な帽子をかぶらせ、顔が左右に動かしてもその帽子が頭にきちんと乗っている。この画像合成は、動画像に対するコミュニケーションツールとして使用することができる。
特開2000−322588号公報 特開2003−281539号公報

しかしながら、上述した手法はオブジェクトが２次元の図形であることから、振り向くなど顔の向きを変更しても、合成したオブジェクトの向きが変化せず、非常に不自然、かつ単調な合成画像になってしまう。この点で特許文献１は、機能の乏しいコミュニケーションツールと言わざるを得ない。

本発明はこのような従来技術の欠点を解消し、副次的な画像、すなわちオブジェクトの合成を自然に表現することができる画像合成装置を提供することを目的とする。

本発明は上述の課題を解決するために、被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、画像データに含まれる顔の表情を表す特徴データを抽出する特徴抽出手段と、供給される複数の画像データを合成して、合成画像を生成する画像合成手段と、複数の画像データのうち、基本モデル画像としてのキャラクタデータを除く、付随的な対象である副次的な画像データとして格納するオブジェクト格納手段と、特徴データに応じて副次的な画像データに対して追従処理を施し、得られた副次的な画像データを出力する追従処理手段とを含み、表情合成手段は、供給される副次的な画像データおよびキャラクタデータを基にキャラクタ合成画像を生成することを特徴とする。

本発明の画像合成装置は、画像入力手段で取り込んだ被写体を画像データとして特徴抽出手段に出力し、画像データに含まれる顔の表情を表す特徴データを抽出し、オブジェクト格納手段から副次的な画像データを読み出し、追従処理手段で読み出した副次的な画像データに対して特徴データに応じた追従処理を施し、追従処理した画像データを画像合成手段に供給し、画像合成手段で供給される画像データの一つと追従処理した画像データとを合成して出力することにより合成画像をより自然な違和感を抱かせない画像にすることができる。

次に添付図面を参照して本発明による画像合成装置の実施例を詳細に説明する。

本実施例は、本発明の画像合成装置を画像処理装置10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

本実施例の画像処理装置10は、図１に示すように、画像入力部12、表情特徴抽出部14、表情合成部16、追従処理部18およびオブジェクト格納部20を含む。

画像入力部12は、図示しない光学系を介して被写体からの入射光22を２次元に配した受光素子に集光し、光電変換によりアナログ画像信号にして、この得られたアナログ画像信号をディジタル画像信号に変換して、装置10内に画像データとして取り込む機能を有している。画像入力部12は、ユーザの顔を被写体とし、顔画像を画像データ24として表情特徴抽出部14に出力する。

表情特徴抽出部14は、供給される画像データ24が持つ表情を示す特徴データ26を求める機能を有している。表情特徴抽出部14は、求めた特徴データ26を表情合成部16に出力する。表情特徴抽出部24は、少なくとも、特徴データを表情合成部16に供給することが望ましく、同時に画像データ24も供給するようにしてもよい。表情特徴抽出部14は、特徴データ26を反映するように顔の部位を変位または移動させる表情データ24を出力する。また、表情特徴抽出部14は、追従処理部18にも特徴データ26を出力している。

表情合成部16は、表情を示す特徴データ26およびに選択した基本モデルであるキャラクタデータ28を入力し、基本モデル画像のキャラクタ画像が有する特徴点を移動させ、表情に反映させた画像を生成する機能を有する。この機能はアプリケーションソフトウェアで実現させることができる。この画像には、供給されるキャラクタ画像に応じてテクスチャマッピング等の処理が施され、２次元画像や３次元画像となる。本実施例の表情合成部16は、顔画像およびキャラクタデータ28のいずれか一方を選択し、選択したデータに対してオブジェクトデータが表わすオブジェクトを画像合成して、合成画像32を生成し、出力している。ここで、オブジェクトとは、実物に似せて作った仮想物体である。

追従処理部18は、供給される特徴データ26に含まれる顔画像が示すパラメータをオブジェクトに反映させ、表示する機能を有している。ここでのパラメータとは、後述する頭の平行移動量、拡大・縮小量、回転量を意味している。追従処理部18は、顔の変化に追従してオブジェクトを変形させた追従データ30を表情合成部16に出力する。

オブジェクト格納部20は、たとえばリボン、眼鏡および帽子等の３次元で作成された形状のデータを格納する機能を有している。オブジェクト格納部20は、ユーザの選択に応じたオブジェクトデータ34を追従処理部18に出力している。

次に本実施例における画像処理装置10の動作原理を簡単に説明する。まず、特許文献１の画像処理装置およびその方法は、面内の顔の大きさ、位置の変化に応じて仮想物体であるオブジェクトの大きさ・位置を変更し、顔の動きに追従する画像合成を提案している。この提案による画像合成を図２に示す。図2(a)の入力した顔画像に仮想的な帽子をオブジェクトとしてかぶらせると、図2(b)が得られる。この後、顔画像が左右に動くと、図2(c)に示すように、その帽子は頭にきちんと乗っている。このように画像合成は、動画像に対するコミュニケーションツールとして使用することができる。

しかしながら、上述した手法はオブジェクトが２次元の図形であることから、振り向くなど顔の向きを変更しても、合成したオブジェクトの向きが変化せず、非常に不自然、かつ単調な合成画像になってしまう。この点で特許文献７は、機能の乏しいコミュニケーションツールと言わざるを得ない。

本実施例では、これに対してオブジェクト格納部20および追従処理部18を用いて自然なオブジェクトの合成画像をユーザに提供する。この提供により、ユーザを広めることに寄与することができる。

表情特徴抽出部14では、少なくとも、顔の向き、目・口など顔の各部位の位置などを解析して、特徴データ26を作成する。特徴データ26は、オブジェクトの変形量を含んでいる。この変形量は、３次元グラフィックスで一般的に使用されている4×4の行列を使用して表すとよい。これを用いると、図３に示すように、(a)に示す基準の顔画像の目、鼻、口の位置と比較して、(b)の平行移動、(c)の（拡大/）縮小および（d）の回転すべてを表現することができる。特徴データ26は、オブジェクトの変形がどれであるかの情報を含んでいる。

表情特徴抽出部14では、基準となる顔画像と入力した顔画像の各部位、すなわち目、鼻、口での位置のずれをオブジェクトの変形量として解析する。この解析は、追従処理部18で行ってもよい。顔における各部位の位置の解析には、たとえば特許文献２を使用するとよい。図３では、顔画像が目、鼻、口が一様に動いた量を平行移動、分布が狭まった縮小と判断し、さらに両目の中心位置を基にした鼻または口のずれから顔の振り向いた量を回転量として解析している。

より具体的には、図4(a)に示す顔画像が供給されると、表情特徴抽出部14は、図4(b)に示すようにオブジェクト変形量を解析する。次にオブジェクトとしてリボンを選択する（図4(c)を参照）。追従処理部18では、平行移動量、拡大・縮小量および回転量をそれぞれ、オブジェクトに反映させた、図4(d)に示す追従データ30を生成する。表情合成部16では、適切な形状に変形させたオブジェクトと顔画像または選択したキャラクタ画像とを合成することにより図4(e)に示す合成画像を作成する。

ここで、合成画像に使用するオブジェクトの数はいくつでも構わない。オブジェクトを２次元モデルである板ポリゴンにすると、画像の合成の処理速度を上げることもできる。オブジェクトの変形で縮小によってオブジェクトを非常に小さくすることでオブジェクトの非表示にすることも可能である。

ユーザの顔の向きを考慮した３次元形状のオブジェクトを作成して、キャラクタ画像等と合成することで自然な合成画像を作成することができる。また、入力された顔画像を覆うお面のようなオブジェクトを使用すれば、背景はそのままに自分の顔を隠した画像を生成することもできる。

次に本発明の画像合成装置を適用した画像処理装置における他の実施例を説明する。画像処理装置10は、図５に示すように、オブジェクト作成部36を含んでいる。オブジェクト作成部36は、オブジェクトを作成する機能を有している。オブジェクトの作成は、球・直方体など簡単な形状の組合せや丸、四角など基本的な形状テクスチャ画像を貼る作成方法でもよい。オブジェクト作成部36は、作成したオブジェクトデータ38をオブジェクト格納部20に供給して、格納する。動作は、作成したオブジェクトデータ38を格納しておき、ユーザの操作選択によりオブジェクトを読み出して使用する図４に示した画像処理装置10に同じである。

このようにオブジェクト作成部36を設けることで、あらかじめ決まったオブジェクトだけでなく、ユーザが自由に様々なオブジェクトを作成することができる。これにより、作成できる合成画像の種類を簡単に増やすことができる。

次に本発明の画像合成装置を適用した画像処理装置における他の実施例を説明する。画像処理装置10は、図６に示すように、先の実施例に表情認識部40および特徴データ合成部42を含む。表情認識部40は、供給される顔画像の画像データ24を基に解析し、表情を認識結果に合った動作をさせる特徴データ44を作成する機能を有している。表情の認識方法としては、たとえば目、口などのそれぞれの状態をパラメータ化して、どのような表情かを判断する。目の場合、目じりが下がっていることで笑っている状態を認識する。また、表情以外にも下を向いた状態を判断して表情パラメータを作成してもよい。とくに、表情が悲しみと判断し、認識されると、表情認識部40は、この認識に対応する特徴データ44を特徴データ合成部42に出力する。

特徴データ合成部42は、表情特徴部40から供給される特徴データ26および44を合成する機能を有している。特徴データ合成部42は、合成した特徴データ46を追従処理部18に出力する。

追従処理部18は、供給される特徴データ46を基にオブジェクト格納部20にアクセスして、認識した表情を表すオブジェクトを読み出し、読み出したオブジェクトに供給される特徴データ46を基に追従処理を施す。追従処理部18は、上述した悲しみとの認識に応じてオブジェクトとして涙を読み出して、涙を追従処理として目元に表示させる。このように表示させることにより、表情画像を効果的に演出することができ、表現を多様化させることができる。

これにより、顔の位置だけでなく、顔の表情によってもオブジェクトを変形して、効果的に表現することができる。

次に本発明の画像合成装置を適用した画像処理装置における他の実施例を説明する。図７に示す画像処理装置10は、図５に示した構成に音声入力部48、音声認識部50および特徴データ合成部42を含む。

音声入力部48は、周囲の環境音、とくにユーザである通話者の音声52をマイクロフォンによりアナログ音声信号に変換し、アナログ音声信号をディジタル音声信号に変換して、装置10内に音声データとして取り込む機能を有している。音声入力部48は、音声データ54として音声認識部50に出力する。

音声認識部50は、音声入力部48から供給される音声データ54を基に解析し、表情を認識結果に合った動作をさせる特徴データ56を作成する機能を有している。特徴データ56は、音声だけでなく、音量も加味して適したオブジェクトを動作させる特徴データを作成するとよい。また、特徴データ56は、音量だけで認識し、特徴データを作成してもよい。音声認識部50は、認識した特徴データ56を特徴データ合成部42に出力する。

画像処理装置10における追従処理部18は、オブジェクト格納部20にアクセスして、認識した表情を表すオブジェクトを読み出し、読み出したオブジェクトに供給される特徴データ46を基に追従処理を施す。追従処理部18は、たとえば、「えっ？」と発声したときに頭の回りに文字「？」マークをオブジェクトとして読み出したり、入力音声の言葉を解析し、その発音した言葉をオブジェクトとして吹出し画像を生成したりしてオブジェクト画像30を表示合成部16に出力する。これにより、表情合成部16は、生成したキャラクタ画像とオブジェクト画像30とを合成して、表示する。これによっても表現を多様化することができ、オブジェクトを動作させることで、画像に補助的な効果を与えることができる。

次に本発明の画像合成装置を適用した画像処理装置における他の実施例を説明する。図８に示す画像処理装置10は、図５に示した構成に操作部58、イベント認識部60および特徴データ合成部42を含む。

操作部58は、イベント入力部としての機能を有し、たとえば、キーボードの特定のキーを押すことでユーザの意図を反映した情報を装置内に採り込む。操作部58は、ユーザの操作により選択された指示信号62をイベント認識部60に出力する。

イベント認識部60は、ユーザからの入力情報、すなわち指示信号62に対応した特徴データ64を作成し、出力する機能を有している。イベント認識部60は、認識した特徴データ64を特徴データ合成部42に出力する。

追従処理部18は、オブジェクト格納部20にアクセスして、認識した表情を表すオブジェクトを読み出し、特徴データ46に対応した読み出したオブジェクトに供給される特徴データ46を基に追従処理を施す。特徴データ46には、たとえば、入力情報62に対応した特徴データ64が含まれている。追従処理部18は、特徴データ46に対応して追従処理したオブジェクト画像30を表示合成部16に出力する。これにより、表情合成部16は、生成したキャラクタ画像とオブジェクト画像30とを合成して、表情付画像データ32を出力する。これにより、ユーザが意図した動作をするオブジェクトにさせることができる。

たとえば、キーボードの特定のキーを押すことで、目にハートマークのオブジェクトを表示させるなど、通常の画像では表現できない大げさな表現の画像を出力し、ユーザが意図する表現を画像に持たせることができる。

以上のように構成することにより、画像処理装置10は、画像入力部10で取り込んだ被写体を画像データ24として表情特徴抽出部14に出力し、画像データ24に含まれる顔の表情を表す特徴データ26を抽出し、オブジェクト格納部20からオブジェクトデータ34を読み出し、追従処理部18で読み出したオブジェクトデータ34に対して特徴データ26に応じた追従処理を施し、追従処理した画像データ30を表情合成部16に供給し、表情合成部16で供給される画像データの一つ、たとえばキャラクタデータ28と画像データ30とを合成して出力することにより合成画像32をより自然な違和感を抱かせない画像にすることができる。これによりユーザにエンタテイメント性の高い画像を提供することが可能になる。

表情特徴抽出部14は、正面の顔画像を基準とし、入力された顔画像における各部位の位置から顔の向きおよび移動量を解析することが好ましい。

画像処理装置10は、表情認識部40で画像データ24が示す顔画像が持つ表情を認識し、この認識に応じて表情特徴データ44を生成し、特徴データ合成部42で表情特徴データ44および特徴データ26を合成して、合成特徴データ46を出力し、追従処理部18で供給される合成特徴データ46を基にオブジェクトデータ30を生成することで顔の表情も加味して合成画像を生成することができる。

画像処理装置10は、音声入力部48で音声52を取り込み、音声データ54を出力し、音声認識部50で音声データ54を基に音声を認識し、この認識に応じて音声特徴データ56を生成し、特徴データ合成部42で音声特徴データ56および特徴データ26を合成して、合成特徴データ46を出力し、追従処理部18で供給される合成特徴データ46を基にオブジェクトデータ30を生成することで音声も加味して合成画像を生成することができる。

画像処理装置10は、操作部58でユーザの操作による所定のイベントを入力し、イベント認識部60で所定のイベントを認識し、この認識に応じてイベント特徴データ64を生成し、特徴データ合成部42でイベント特徴データ64および特徴データ26を合成して、合成特徴データ46を出力し、追従処理部18で供給される合成特徴データ46を基にオブジェクトデータ30を生成することでイベントも加味してユーザの意図した表現の合成画像を生成することができる。

画像合成手段としては、表情合成部16を用いることが望ましい。

本発明に係る画像合成装置を適用した画像処理装置における実施例の概略的な構成を示すブロック図である。 従来のオブジェクト合成を説明する図である。 オブジェクトの変形を表現する種類を説明する図である。 キャラクタ画像の合成原理を説明する図である。 本発明に係る画像合成装置を適用した画像処理装置における他の実施例の構成を示すブロック図である。 本発明に係る画像合成装置を適用した画像処理装置における他の実施例の構成を示すブロック図である。 本発明に係る画像合成装置を適用した画像処理装置における他の実施例の構成を示すブロック図である。 本発明に係る画像合成装置を適用した画像処理装置における他の実施例の構成を示すブロック図である。

符号の説明

10 画像処理装置
12 画像入力部
14 表情特徴抽出部
16 表情合成部
18 追従処理部
20 オブジェクト格納部

Claims (6)

1. 被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、
   前記画像データに含まれる顔の表情を表す特徴データを抽出する特徴抽出手段と、
   供給される複数の画像データを合成して、合成画像を生成する画像合成手段と、
   前記複数の画像データのうち、基本モデル画像として表わされるキャラクタデータと異なり、該キャラクタデータに対して実物に似せた仮想的な物体を表わすオブジェクトデータを格納するオブジェクト格納手段と、
   前記特徴データが示す顔の部位の位置ずれを基にした平行移動量および回転量、ならびに所望の位置に対して同心円の動径方向への顔の部位の位置ずれを基にした拡大・縮小量のそれぞれを反映させた前記オブジェクトデータによる追従データを生成し、得られた追従データを出力する追従処理手段とを含み、
   前記画像合成手段は、供給される前記追従データおよび前記キャラクタデータを基に前記合成画像を生成することを特徴とする画像合成装置。
2. 請求項１に記載の装置において、前記特徴抽出手段は、正面の顔画像を基準とし、入力された顔画像における各部位の位置から顔の向きおよび移動量を解析することを特徴とする画像合成装置。
3. 請求項１または２に記載の装置において、該装置は、前記画像データが示す顔画像が持つ表情を認識し、該認識に応じて表情特徴データを生成する表情認識手段と、
   該表情特徴データおよび前記特徴データを合成して、合成特徴データを出力する特徴合成手段とを含み、
   前記追従処理手段は、前記合成特徴データを基に前記追従データを生成することを特徴とする画像合成装置。
4. 請求項１または２に記載の装置において、該装置は、周囲の音を音声信号として取り込み、音声データにして出力する音声入力手段と、
   前記音声データを基に音声を認識し、該認識に応じて音声特徴データを生成する音声認識手段と、
   該音声特徴データおよび前記特徴データを合成して、合成特徴データを出力する特徴合成手段とを含み、
   前記追従処理手段は、前記合成特徴データを基に前記追従データを生成することを特徴とする画像合成装置。
5. 請求項１または２に記載の装置において、該装置は、ユーザの操作により所定のイベントを入力する操作手段と、
   該所定のイベントを認識し、該認識に応じてイベント特徴データを生成するイベント認識手段と、
   該イベント特徴データおよび前記特徴データを合成して、合成特徴データを出力する特徴合成手段とを含み、
   前記追従処理手段は、前記合成特徴データを基に前記追従データを生成することを特徴とする画像合成装置。
6. 請求項１ないし５のいずれか一項に記載の装置において、前記画像合成手段は、前記特徴データに基づいて前記ユーザが選択したキャラクタデータを変形させて、キャラクタ合成画像を生成することを特徴とする画像合成装置。

Images