JP6476608B2 - 動作処理装置、動作処理方法及びプログラム - Google Patents

Description

本発明は、動作処理装置、動作処理方法及びプログラムに関する。

近年、人型に成型された投影スクリーンに映像を投影する、所謂「バーチャルマネキン」が提案されている（例えば、特許文献１参照）。バーチャルマネキンは、あたかもそこに人間が立っているかのような存在感のある投影像が得られ、展示会等にて斬新で効果的な展示の演出を行うことができる。
このようなバーチャルマネキンの顔の表情を豊かにするために、写真やイラストや漫画などの画像中の顔を構成する主要部（例えば、目や口等）を変形させて動きを表現する技術が知られている。具体的には、意識的な動作や無意識的な動作を行うように３次元形状モデルを変形してアニメーションを生成する手法（例えば、特許文献２参照）や、発音される言葉の母音や子音毎に口の形状を変えてリップシンクさせる手法（例えば、特許文献３参照）などがある。

特開２０１１−１５０２２１号公報 特開２００３−１２３０９４号公報 特開２００３−５８９０８号公報

ところで、処理対象となる顔の主要部をどの程度変形させるか等の主要部の動作態様を一つ一つ手作業で指定すると、その作業量が増大するため、現実的ではない。
一方、例えば、顔領域の大きさと、顔領域に対する主要部の大きさから当該主要部の変形量等の動作態様を決定する手法も考えられるが、主要部を一律的に変形させると、不自然な変形を招いて視認者に違和感を生じさせてしまうといった問題がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、顔の主要部の動作をより自然に行うことができる動作処理装置、動作処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る動作処理装置は、
顔を含む画像から顔に関連する特徴を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記画像に含まれる顔を有する物体の特徴を特定する特定手段と、
前記特定手段により特定された前記物体の特徴に基づいて、前記画像に含まれる顔を構成する主要部を変形させて動作させる際の動作速度を含む制御条件を設定する設定手段と、
を備えたことを特徴としている。

本発明によれば、顔の主要部の動作をより自然に行うことができる。

本発明を適用した一実施形態の動作処理装置の概略構成を示すブロック図である。 図１の動作処理装置による顔動作処理に係る動作の一例を示すフローチャートである。 図２の顔動作処理における主要部制御条件設定処理に係る動作の一例を示すフローチャートである。 図３の主要部制御条件設定処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の動作処理装置１００の概略構成を示すブロック図である。

動作処理装置１００は、例えば、パーソナルコンピュータやワークステーションなどのコンピュータ等により構成され、図１に示すように、中央制御部１と、メモリ２と、記憶部３と、操作入力部４と、動作処理部５と、表示部６と、表示制御部７とを備えている。
また、中央制御部１、メモリ２、記憶部３、動作処理部５及び表示制御部７は、バスライン８を介して接続されている。

中央制御部１は、動作処理装置１００の各部を制御する。
具体的には、中央制御部１は、動作処理装置１００の各部を制御するＣＰＵ（Central Processing Unit；図示略）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、動作処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１の他、当該動作処理装置１００の各部によって処理されるデータ等を一時的に記憶する。

記憶部３は、例えば、不揮発性メモリ（フラッシュメモリ）、ハードディスクドライブ等により構成され、中央制御部１の動作に必要な各種プログラムやデータ（図示略）を記憶している。

また、記憶部３は、顔画像データ３ａを記憶している。
顔画像データ３ａは、顔を含む二次元の顔画像のデータである。また、顔画像データ３ａは、少なくとも顔を含む画像の画像データであれば良く、例えば、顔のみの画像データであっても良いし、胸から上の部分の画像データであっても良い。また、顔画像は、例えば、写真画像であっても良いし、漫画やイラスト等で描かれたものであっても良い。
なお、顔画像データ３ａに係る顔画像は、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

また、記憶部３は、基準動作データ３ｂを記憶している。
基準動作データ３ｂは、顔の各主要部（例えば、目、口等）の動きを表現する際の基準となる動きを示す情報を含んでいる。具体的には、基準動作データ３ｂは、各主要部毎に規定され、所定空間内における複数の制御点の動きを示す情報を含み、例えば、複数の制御点の所定空間での位置座標（x, y）を示す情報や変形ベクトル等が時間軸に沿って並べられている。
すなわち、例えば、口の基準動作データ３ｂは、上唇や下唇や左右の口角に対応する複数の制御点が設定され、これら制御点の変形ベクトルが規定されている。

また、記憶部３は、条件設定用テーブル３ｃを記憶している。
条件設定用テーブル３ｃは、顔動作処理における制御条件の設定に用いられるテーブルである。具体的には、条件設定用テーブル３ｃは、各主要部毎に規定されている。また、条件設定用テーブル３ｃは、物体の特徴（例えば、笑顔度、年齢、性別、人種等）毎に規定され、特徴の内容（例えば、笑顔度等）と動き基準データの補正度合（例えば、口の開閉動作における開閉量の補正度合等）とが対応付けられている。

操作入力部４は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部（図示略）を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１に出力する。

動作処理部５は、画像取得部５ａと、顔主要部検出部５ｂと、顔特徴検出部５ｃと、物体特徴特定部５ｄと、動作条件設定部５ｅと、動作生成部５ｆと、動作制御部５ｇとを具備している。
なお、動作処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、顔画像データ３ａを取得する。
すなわち、画像取得部（取得手段）５ａは、顔動作処理の処理対象となる顔を含む二次元の画像の顔画像データ３ａを取得する。具体的には、画像取得部５ａは、例えば、記憶部３に記憶されている所定数の顔画像データ３ａの中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の顔画像データ３ａを顔動作処理の処理対象として取得する。
なお、画像取得部５ａは、図示しない通信制御部を介して接続された外部機器（図示略）から顔画像データを取得しても良いし、図示しない撮像部により撮像されることで生成された顔画像データを取得しても良い。

顔主要部検出部５ｂは、顔画像から顔を構成する主要部を検出する。
すなわち、顔主要部検出部５ｂは、画像取得部５ａにより取得された顔画像データの顔画像から、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により、左右各々の目、鼻、口、眉、顔輪郭等の主要部を検出する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、顔主要部検出部５ｂは、複数のサンプル顔画像における所定の特徴部位（例えば、目尻や鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、顔主要部検出部５ｂは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像をモデル化する。これにより、顔画像内で、例えば、目、鼻、口、眉、顔輪郭等の主要部がモデル化される。
なお、主要部の検出においてＡＡＭを用いて行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。

顔特徴検出部５ｃは、顔に関連する特徴を検出する。
すなわち、顔特徴検出部（検出手段）５ｃは、画像取得部５ａにより取得された顔画像から顔に関連する特徴を検出する。
ここで、顔に関連する特徴とは、例えば、顔を構成する主要部の特徴等の直接的に顔に関連する特徴であっても良いし、顔を有する物体の特徴等の間接的に顔に関連する特徴であっても良い。

また、顔特徴検出部５ｃは、所定の演算を行うことで直接的に或いは間接的に顔に関連する特徴を数値化して検出する。
例えば、顔特徴検出部５ｃは、顔主要部検出部５ｂにより主要部として検出された口の左右の口角の上がり具合いや口の開き具合い等の口の特徴や、目の黒目（虹彩領域）の顔全体に対する大きさ等の目の特徴等に応じて所定の演算を行うことで、処理対象の顔画像に含まれる顔の笑顔の評価値を算出する。
また、例えば、顔特徴検出部５ｃは、処理対象となる顔画像の色彩や明度の平均や分散、強度分布、周囲画像との色彩差や明度差などの特徴量を抽出し、当該特徴量から公知の推定理論（例えば、特開２００７−２８０２９１号公報参照）を適用して、顔を有する物体の年齢、性別、人種等の評価値をそれぞれ算出する。また、年齢の評価値を算出する場合に、顔特徴検出部５ｃは、顔の皺等を考慮しても良い。

なお、上記した笑顔、年齢、性別、人種等の検出手法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、顔に関連する特徴として例示した笑顔、年齢、性別、人種等は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、顔画像データとして、眼鏡や帽子等を装着したヒトの顔の画像データを処理対象とした場合には、これらの装着物を顔に関連する特徴としても良いし、また、胸から上の部分の画像データを処理対象とした場合には、服装の特徴を顔に関連する特徴としても良いし、また、女性の場合には、顔の化粧についても顔に関連する特徴としても良い。

物体特徴特定部５ｄは、顔画像に含まれる顔を有する物体の特徴を特定する。
すなわち、特徴特定部（特定手段）５ｃは、顔特徴検出部５ｃによる検出結果に基づいて、顔画像に含まれる顔を有する物体（例えば、ヒト）の特徴を特定する。
ここで、物体の特徴としては、例えば、当該物体の笑顔度、年齢、性別、人種等が挙げられ、物体特徴特定部５ｄは、これらの中で少なくとも何れか一を特定する。

例えば、笑顔度の場合、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された笑顔の評価値と複数の閾値とを比較して、笑顔度を相対的に評価して特定する。例えば、破顔したように大きく笑っているほど笑顔度が高くなり、微笑みのように小さく笑っているほど笑顔度が低くなる。
また、例えば、年齢の場合、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された年齢の評価値と複数の閾値とを比較して、例えば、10代、20代、30代などの年齢層や幼児、少年、青年、成年、老人などの該当年齢の属する区分等を特定する。
また、例えば、性別の場合、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された性別の評価値と所定の閾値とを比較して、例えば、女性、男性等を特定する。
また、例えば、人種の場合、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された人種の評価値と複数の閾値とを比較して、例えば、コーカソイド（白人）、モンゴロイド（黄色人）、ニグロイド（黒人）等を特定する。また、物体特徴特定部５ｄは、特定された人種から出生地（国や地域）などを推定して特定しても良い。

動作条件設定部５ｅは、主要部を動作させる際の制御条件を設定する。
すなわち、動作条件設定部（設定手段）５ｆは、物体特徴特定部５ｄにより特定された物体の特徴に基づいて、顔主要部検出部５ｂにより検出された主要部を動作させる際の制御条件を設定する。
具体的には、動作条件設定部５ｅは、顔主要部検出部５ｂにより検出された主要部の動作態様（例えば、動作速度や動作方向等）を調整する条件を制御条件として設定する。すなわち、例えば、動作条件設定部５ｅは、記憶部３から処理対象となる主要部の基準動作データ３ｂを読み出して取得し、物体特徴特定部５ｄにより特定された物体の特徴に基づいて、基準動作データ３ｂに含まれる当該主要部を動作させるための複数の制御点の動きを示す情報の補正内容を制御条件として設定する。このとき、動作条件設定部５ｅは、顔主要部検出部５ｂにより検出された主要部を含む顔全体の動作態様（例えば、動作速度や動作方向等）を調整する条件を制御条件として設定しても良い。この場合、動作条件設定部５ｅは、例えば、顔の全ての主要部に対応する基準動作データ３ｂを取得して、これらの基準動作データ３ｂに含まれる各主要部に対応する複数の制御点の動きを示す情報の補正内容を設定する。

例えば、動作条件設定部５ｅは、物体特徴特定部５ｄにより特定された物体の特徴に基づいて、口を開閉動作させる際の制御条件や顔の表情を変化させる際の制御条件を設定する。
具体的には、例えば、物体特徴特定部５ｄにより物体の特徴として笑顔度が特定された場合、動作条件設定部５ｅは、笑顔度が高いほど口の開閉量が相対的に大きくなるように（図４（ａ）参照）、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を設定する。
また、例えば、物体特徴特定部５ｄにより物体の特徴として年齢が特定された場合、動作条件設定部５ｅは、年齢の属する区分に従って、年齢（年齢層）が高いほど口の開閉量が相対的に小さくなるように（図４（ｂ）参照）、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を設定する。このとき、動作条件設定部５ｅは、年齢が高いほど顔の表情を変化させる際の動作速度が相対的に遅くなるように、例えば、顔の全ての主要部に対応する基準動作データ３ｂに含まれる複数の制御点の動きを示す情報の補正内容をそれぞれ設定する。
また、例えば、物体特徴特定部５ｄにより物体の特徴として性別が特定された場合、動作条件設定部５ｅは、女性の場合には口の開閉量が相対的に小さくなるように、一方、男性の場合には口の開閉量が相対的に大きくなるように、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を設定する。
また、例えば、物体特徴特定部５ｄにより物体の特徴として出生地が推定されて特定された場合、動作条件設定部５ｅは、出生地に応じて口の開閉量を変化させる（例えば、英語圏の場合には口の開閉量が相対的に大きく、また、日本語圏の場合には口の開閉量が相対的に小さくなる等）ように、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を設定する。このとき、出生地毎に複数の基準動作データ３ｂを用意しておき、動作条件設定部５ｅは、出生地に応じた基準動作データ３ｂを取得して、当該基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を設定しても良い。

なお、動作条件設定部５ｅにより設定された制御条件は、所定の格納手段（例えば、メモリ２等）に出力されて一時的に格納されても良い。
また、上記した口を動作させる際の制御内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
さらに、主要部として口を例示して、その制御条件を設定するようにしたが、一例であってこれに限られるものではなく、例えば、目、鼻、眉、顔輪郭等の他の主要部であっても良い。このとき、例えば、口を動作させる際の制御条件を考慮して、他の主要部の制御条件を設定するようにしても良い。すなわち、例えば、口を開閉動作させる際の制御条件を考慮して、鼻や顔輪郭等の口の周辺の主要部を関連して動作させるような制御条件を設定しても良い。

動作生成部５ｆは、動作条件設定部５ｅにより設定された制御条件に基づいて、主要部を動作させるための動作データを生成する。
具体的には、動作生成部５ｆは、処理対象となる主要部の基準動作データ３ｂと、動作条件設定部５ｅにより設定された基準動作データ３ｂの補正内容とに基づいて、複数の制御点の動きを示す情報を補正して、補正後のデータを当該主要部の動作データとして生成する。また、顔全体の動作態様を調整する場合、動作条件設定部５ｅは、例えば、顔の全ての主要部に対応する基準動作データ３ｂを取得して、動作条件設定部５ｅにより設定された基準動作データ３ｂの補正内容に基づいて、各基準動作データ３ｂ毎に複数の制御点の動きを示す情報を補正して、補正後のデータを顔全体用の動作データとして生成する。
なお、動作生成部５ｆにより生成された動作データは、所定の格納手段（例えば、メモリ２等）に出力されて一時的に格納されても良い。

動作制御部５ｇは、顔画像内で主要部を動作させる。
すなわち、動作制御部（動作制御手段）５ｈは、画像取得部５ａにより取得された顔画像内で、動作条件設定部５ｅにより設定された制御条件に従って主要部を動作させる。具体的には、動作制御部５ｇは、処理対象となる主要部の所定位置に複数の制御点を設定するとともに、動作生成部５ｆにより生成された処理対象となる主要部の動作データを取得する。そして、動作制御部５ｇは、取得された動作データに規定されている複数の制御点の動きを示す情報に基づいて複数の制御点を変位させることで、当該主要部を動作させる変形処理を行う。
また、顔全体を動作させる場合にも、上記と略同様に、動作制御部５ｇは、処理対象となる全ての主要部の所定位置に複数の制御点を設定するとともに、動作生成部５ｆにより生成された顔全体用の動作データを取得する。そして、動作制御部５ｇは、取得された動作データに規定されている各主要部毎の複数の制御点の動きを示す情報に基づいて複数の制御点を変位させることで、顔全体を動作させる変形処理を行う。

表示部６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、表示制御部７の制御下にて各種情報を表示画面に表示する。

表示制御部７は、表示用データを生成して表示部６の表示画面に表示させる制御を行う。
具体的には、表示制御部７は、例えば、ＧＰＵ（Graphics Processing Unit）やＶＲＡＭ（Video Random Access Memory）等を具備するビデオカード（図示略）を備えている。そして、表示制御部７は、中央制御部１からの表示指示に従って、顔動作処理にて主要部を動作させるための各種画面の表示用データをビデオカードによる描画処理によって生成し、表示部６に出力する。これにより、表示部６は、例えば、顔動作処理にて顔画像の主要部（例えば、目や口等）を動作させたり顔の表情を変化させるように変形させたコンテンツを表示する。
＜顔動作処理＞
次に、顔動作処理について図２〜図４を参照して説明する。
図２は、顔動作処理に係る動作の一例を示すフローチャートである。

図２に示すように、先ず、動作処理部５の画像取得部５ａは、例えば、記憶部３に記憶されている所定数の顔画像データ３ａの中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の顔画像データ３ａを取得する（ステップＳ１）。
次に、顔主要部検出部５ｂは、画像取得部５ａにより取得された顔画像データの顔画像から、例えば、ＡＡＭを用いた処理により、左右各々の目、鼻、口、眉、顔輪郭等の主要部を検出する（ステップＳ２）。

続けて、動作処理部５は、顔主要部検出部５ｂにより検出された主要部を動作させる際の制御条件を設定する主要部制御条件設定処理（図３参照）を行う（ステップＳ３；詳細後述）。

次に、動作生成部５ｆは、主要部制御条件設定処理にて設定された制御条件に基づいて、主要部を動作させるための動作データを生成する（ステップＳ４）。その後、動作制御部５ｇは、動作生成部５ｆにより生成された動作データに基づいて、顔画像内で主要部を動作させる処理を行う（ステップＳ５）。
例えば、動作生成部５ｆは、主要部制御条件設定処理にて設定された制御条件に基づいて、目や口等の主要部を動作させるための動作データを生成し、動作制御部５ｇは、動作生成部５ｆにより生成された動作データに規定されている各主要部の複数の制御点の動きを示す情報に基づいて複数の制御点を変位させることで、顔画像内で目や口等の主要部を動作させたり、顔全体を動作させて表情を変化させる処理を行う。

＜主要部制御条件設定処理＞
次に、主要部制御条件設定処理について図３及び図４を参照して説明する。
図３は、主要部制御条件設定処理に係る動作の一例を示すフローチャートである。また、図４（ａ）及び図４（ｂ）は、主要部制御条件設定処理を説明するための図である。

図３に示すように、先ず、動作条件設定部５ｅは、記憶部３から処理対象となる主要部（例えば、口）の基準動作データ３ｂを読み出して取得する（ステップＳ１１）。
次に、顔特徴検出部５ｃは、画像取得部５ａにより取得された顔画像から顔に関連する特徴を検出する（ステップＳ１２）。例えば、顔特徴検出部５ｃは、口の左右の口角の上がり具合いや口の開き具合い等に応じて所定の演算を行って顔の笑顔の評価値を算出したり、顔画像から特徴量を抽出し、当該特徴量から公知の推定理論を適用して物体（例えば、ヒト）の年齢、性別、人種等の評価値をそれぞれ算出する。

続けて、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された笑顔の評価値の信頼性が高いか否かを判定する（ステップＳ１３）。例えば、顔特徴検出部５ｃは、笑顔の評価値を算出する際に、その検出結果の妥当性（信頼性）を所定の演算を行って算出しておき、物体特徴特定部５ｄは、算出された値が所定の閾値以上であるか否かに応じて笑顔の評価値の信頼性が高いか否かを判定する。
ここで、笑顔の評価値の信頼性が高いと判定されると（ステップＳ１３；ＹＥＳ）、物体特徴特定部５ｄは、顔特徴検出部５ｃによる笑顔の検出結果に基づいて、顔画像に含まれる顔を有する物体の笑顔度を特定する（ステップＳ１４）。例えば、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された笑顔の評価値と複数の閾値とを比較して、笑顔度を相対的に評価して特定する。
そして、動作条件設定部５ｅは、物体特徴特定部５ｄにより特定された笑顔度が高いほど口の開閉量が相対的に大きくなるように（図４（ａ）参照）、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ１５）。

一方、ステップＳ１３にて、笑顔の評価値の信頼性が高くないと判定されると（ステップＳ１３；ＮＯ）、動作処理部５は、ステップＳ１４、Ｓ１５の各処理をスキップする。

次に、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された年齢の評価値の信頼性が高いか否かを判定する（ステップＳ１６）。例えば、顔特徴検出部５ｃは、年齢の評価値を算出する際に、その算出結果の妥当性（信頼性）を所定の演算を行って算出しておき、物体特徴特定部５ｄは、算出された値が所定の閾値以上であるか否かに応じて年齢の評価値の信頼性が高いか否かを判定する。
ここで、年齢の評価値の信頼性が高いと判定されると（ステップＳ１６；ＹＥＳ）、物体特徴特定部５ｄは、顔特徴検出部５ｃによる年齢の検出結果に基づいて、顔画像に含まれる顔を有する物体の年齢の属する区分を特定する（ステップＳ１７）。例えば、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された年齢の評価値と複数の閾値とを比較して、幼児、少年、青年、成年、老人などの該当年齢の属する区分を特定する。
そして、動作条件設定部５ｅは、物体特徴特定部５ｄにより特定された区分に従って、年齢が高いほど口の開閉量が相対的に小さくなるように（図４（ｂ）参照）、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定するとともに、顔の表情を変化させる際の動作速度が相対的に遅くなるように、顔の全ての主要部に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ１８）。

一方、ステップＳ１６にて、年齢の評価値の信頼性が高くないと判定されると（ステップＳ１６；ＮＯ）、動作処理部５は、ステップＳ１７、Ｓ１８の各処理をスキップする。

次に、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された性別の評価値の信頼性が高いか否かを判定する（ステップＳ１９）。例えば、顔特徴検出部５ｃは、性別の評価値を算出する際に、その算出結果の妥当性（信頼性）を所定の演算を行って算出しておき、物体特徴特定部５ｄは、算出された値が所定の閾値以上であるか否かに応じて性別の評価値の信頼性が高いか否かを判定する。
ここで、性別の評価値の信頼性が高いと判定されると（ステップＳ１９；ＹＥＳ）、物体特徴特定部５ｄは、顔特徴検出部５ｃによる性別の検出結果に基づいて、顔画像に含まれる顔を有する物体の女性、男性等の性別を特定する（ステップＳ２０）。
そして、動作条件設定部５ｅは、物体特徴特定部５ｄにより特定された性別に従って、女性の場合には口の開閉量が相対的に小さくなるように、一方、男性の場合には口の開閉量が相対的に大きくなるように、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ２１）。

一方、ステップＳ１９にて、性別の評価値の信頼性が高くないと判定されると（ステップＳ１９；ＮＯ）、動作処理部５は、ステップＳ２０、Ｓ２１の各処理をスキップする。

次に、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された人種の評価値の信頼性が高いか否かを判定する（ステップＳ２２）。例えば、顔特徴検出部５ｃは、人種の評価値を算出する際に、その算出結果の妥当性（信頼性）を所定の演算を行って算出しておき、物体特徴特定部５ｄは、算出された値が所定の閾値以上であるか否かに応じて人種の評価値の信頼性が高いか否かを判定する。
ここで、人種の評価値の信頼性が高いと判定されると（ステップＳ２２；ＹＥＳ）、物体特徴特定部５ｄは、顔特徴検出部５ｃによる人種の検出結果に基づいて、顔画像に含まれる顔を有する物体の出生地を推定する（ステップＳ２３）。例えば、物体特徴特定部５ｄは、顔特徴検出部５ｃにより検出された人種の評価値と複数の閾値とを比較して、例えば、コーカソイド、モンゴロイド、ニグロイド等を特定し、その特定結果から出生地（国や地域）を推定して特定する。
そして、動作条件設定部５ｅは、物体特徴特定部５ｄにより特定された出生地に従って、例えば、英語圏の場合には口の開閉量が相対的に大きく、また、日本語圏の場合には口の開閉量が相対的に小さくなるように、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ２４）。

一方、ステップＳ２２にて、人種の評価値の信頼性が高くないと判定されると（ステップＳ２２；ＮＯ）、動作処理部５は、ステップＳ２３、Ｓ２４の各処理をスキップする。

なお、上記した主要部制御条件設定処理における、物体の特徴としての物体の笑顔度、年齢、性別、人種を基準として制御条件を設定する処理の順序は一例であってこれに限られるものではなく、適宜任意に変更可能である。

以上のように、本実施形態の動作処理装置１００によれば、顔画像からの顔に関連する特徴の検出結果に基づいて、顔画像に含まれる顔を有する物体の特徴（例えば、笑顔度、年齢、性別及び人種等）を特定して、特定された物体の特徴に基づいて、顔の主要部（例えば、口等）を動作させる際の制御条件を設定するので、顔の特徴（例えば、口や目の特徴等）を考慮して顔を有する物体の特徴（例えば、笑顔度等）を適正に特定することができ、これにより、顔画像内で制御条件に従って物体の特徴に応じた適正な動作を行わせることができ、局所的な画質の劣化や不自然な変形を抑制することができることとなって、顔の主要部の動作をより自然に行うことができる。

また、顔を有する物体の特徴に基づいて口を開閉動作させる際の制御条件を設定するので、物体の特徴を考慮して設定された制御条件に従って当該口の開閉動作をより自然に行うことができる。すなわち、制御条件として、例えば、口等の主要部の動作態様（例えば、動作速度や動作方向等）を調整する条件を設定するので、例えば、笑顔度、年齢、性別及び人種等の物体の特徴を考慮して主要部の動作態様を調整することができる。そして、顔画像内で設定された制御条件に従って主要部を動作させることで、顔の主要部の動作をより自然に行うことができる。

また、顔を有する物体の特徴に基づいて主要部を含む顔の表情を変化させる際の制御条件を設定するので、物体の特徴を考慮して設定された制御条件に従って顔の表情を変化させる動作をより自然に行うことができる。すなわち、制御条件として、検出された主要部を含む顔全体の動作態様（例えば、動作速度や動作方向等）を調整する条件を設定するので、例えば、笑顔度、年齢、性別及び人種等の物体の特徴を考慮して対象となる全ての主要部の動作態様を調整することができる。そして、顔画像内で設定された制御条件に従って主要部を含む顔全体を動作させることで、顔全体の動作をより自然に行うことができる。

また、顔の各主要部の動きを表現する際の基準となる動きを示す情報を含む基準動作データ３ｂを用意しておき、基準動作データ３ｂに含まれる当該主要部を動作させるための複数の制御点の動きを示す情報の補正内容を制御条件として設定することで、種々様々な顔の主要部の形状に応じて動作させるためのデータをそれぞれ用意することなく、顔の主要部の動作をより自然に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
また、上記実施形態にあっては、動作処理装置１００単体から構成するようにしたが、一例であってこれに限られるものではなく、例えば、人物、キャラクタ、動物等の投影対象物が商品等の説明を行う映像コンテンツをスクリーンに投影する投影システム（図示略）に適用した構成であっても良い。

また、上記実施形態にあっては、動作条件設定部５ｅは、重み付け手段として機能して、物体特徴特定部５ｄにより特定された複数の物体の特徴の各々に対応する制御条件に重み付けを行っても良い。
すなわち、例えば、年齢層が多岐にわたる様々なモデルの画像を切り替えながら当該モデルの顔の主要部を動作させる場合等には、年齢に対応する制御条件に大きな重みを与えるようにすることで、モデルの年齢による違いをさらに強調させることができる。

さらに、上記実施形態にあっては、動作条件設定部５ｅにより設定された制御条件に基づいて、主要部を動作させるための動作データを生成するようにしたが、一例であってこれに限られるものではなく、必ずしも動作生成部５ｆを具備する必要はなく、例えば、動作条件設定部５ｅにより設定された制御条件を外部機器（図示略）に出力して、当該外部機器にて動作データを生成するようにしても良い。
また、動作条件設定部５ｅにより設定された制御条件に従って主要部や顔全体を動作させるようにしたが、一例であってこれに限られるものではなく、必ずしも動作制御部５ｇを具備する必要はなく、例えば、動作条件設定部５ｅにより設定された制御条件を外部機器（図示略）に出力して、当該外部機器にて制御条件に従って主要部や顔全体を動作させるようにしても良い。

さらに、動作処理装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、動作処理装置１００は、音を出力するスピーカ（図示略）を備え、顔画像内で口を動作させる処理の際にリップシンクさせるようにスピーカから所定の音声を出力するような構成としても良い。このとき出力される音声のデータは、例えば、基準動作データ３ｂと対応付けられて記憶されていても良い。

加えて、上記実施形態にあっては、取得手段、検出手段、特定手段、設定手段としての機能を、動作処理装置１００の中央制御部１の制御下にて、画像取得部５ａ、顔特徴検出部５ｃ、物体特徴特定部５ｄ、動作条件設定部５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリに、取得処理ルーチン、検出処理ルーチン、特定処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、顔を含む画像を取得する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１のＣＰＵを、取得された顔を含む画像から顔に関連する特徴を検出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１のＣＰＵを、顔に関連する特徴の検出結果に基づいて、画像に含まれる顔を有する物体の特徴を特定する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１のＣＰＵを、特定された物体の特徴に基づいて、画像に含まれる顔を構成する主要部を動作させる際の制御条件を設定する手段として機能させるようにしても良い。

同様に、動作制御手段、重み付け手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
顔を含む画像を取得する取得手段と、
前記取得手段により取得された顔を含む画像から顔に関連する特徴を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記画像に含まれる顔を有する物体の特徴を特定する特定手段と、
前記特定手段により特定された前記物体の特徴に基づいて、前記画像に含まれる顔を構成する主要部を動作させる際の制御条件を設定する設定手段と、
を備えたことを特徴とする動作処理装置。
＜請求項２＞
前記特定手段は、更に、前記物体の特徴として、当該物体の笑顔度、年齢、性別及び人種のうち、少なくとも何れか一を特定することを特徴とする請求項１に記載の動作処理装置。
＜請求項３＞
前記設定手段は、更に、前記主要部としての口を開閉動作させる際の制御条件を設定することを特徴とする請求項２に記載の動作処理装置。
＜請求項４＞
前記設定手段は、更に、前記制御条件として、前記主要部の動作態様を調整する条件を設定することを特徴とする請求項１〜３の何れか一項に記載の動作処理装置。
＜請求項５＞
前記取得手段により取得された顔を含む画像内で、前記設定手段により設定された制御条件に従って前記主要部を動作させる動作制御手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の動作処理装置。
＜請求項６＞
前記設定手段は、更に、前記主要部を含む顔の表情を変化させる際の制御条件を設定することを特徴とする請求項１又は２に記載の動作処理装置。
＜請求項７＞
前記設定手段は、更に、前記制御条件として、前記主要部を含む顔全体の動作態様を調整する条件を設定することを特徴とする請求項６に記載の動作処理装置。
＜請求項８＞
前記取得手段により取得された顔を含む画像内で、前記設定手段により設定された制御条件に従って前記主要部を含む顔全体を動作させる動作制御手段を更に備えることを特徴とする請求項６又は７に記載の動作処理装置。
＜請求項９＞
前記特定手段は、前記物体の特徴を複数特定し、
前記設定手段は、前記特定手段により特定された前記複数の物体の特徴の各々について前記制御条件の重み付けを行なう重み付け手段を含むことを特徴とする請求項１〜８の何れか一項に記載の動作処理装置。
＜請求項１０＞
動作処理装置を用いた動作処理方法であって、
顔を含む画像を取得する処理と、
取得された顔を含む画像から顔に関連する特徴を検出する処理と、
顔に関連する特徴の検出結果に基づいて、画像に含まれる顔を有する物体の特徴を特定する処理と、
特定された前記物体の特徴に基づいて、前記画像に含まれる顔を構成する主要部を動作させる際の制御条件を設定する処理と、
を含むことを特徴とする動作処理方法。
＜請求項１１＞
動作処理装置のコンピュータを、
顔を含む画像を取得する取得手段、
前記取得手段により取得された顔を含む画像から顔に関連する特徴を検出する検出手段、
前記検出手段による検出結果に基づいて、前記画像に含まれる顔を有する物体の特徴を特定する特定手段、
前記特定手段により特定された前記物体の特徴に基づいて、前記画像に含まれる顔を構成する主要部を動作させる際の制御条件を設定する設定手段、
として機能させることを特徴とするプログラム。

１００ 動作処理装置
１ 中央制御部
５ 動作処理部
５ａ 画像取得部
５ｃ 顔特徴検出部
５ｄ 物体特徴特定部
５ｅ 動作条件設定部
５ｇ 動作制御部

Claims (11)

1. 顔を含む画像から顔に関連する特徴を検出する検出手段と、
   前記検出手段による検出結果に基づいて、前記画像に含まれる顔を有する物体の特徴を特定する特定手段と、
   前記特定手段により特定された前記物体の特徴に基づいて、前記画像に含まれる顔を構成する主要部を変形させて動作させる際の動作速度を含む制御条件を設定する設定手段と、
   を備えたことを特徴とする動作処理装置。
2. 前記特定手段は、更に、前記物体の特徴として、当該物体の笑顔度、年齢、性別及び人種のうち、少なくとも何れか一を特定することを特徴とする請求項１に記載の動作処理装置。
3. 前記設定手段は、更に、前記主要部としての口を開閉動作させる際の制御条件を設定することを特徴とする請求項２に記載の動作処理装置。
4. 前記設定手段は、更に、前記制御条件として、前記主要部の動作態様を調整する条件を設定することを特徴とする請求項１〜３の何れか一項に記載の動作処理装置。
5. 前記画像内で、前記設定手段により設定された制御条件に従って前記主要部を動作させる動作制御手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の動作処理装置。
6. 前記設定手段は、更に、前記主要部を含む顔の表情を変化させる際の制御条件を設定することを特徴とする請求項１又は２に記載の動作処理装置。
7. 前記設定手段は、更に、前記制御条件として、前記主要部を含む顔全体の動作態様を調整する条件を設定することを特徴とする請求項６に記載の動作処理装置。
8. 前記画像内で、前記設定手段により設定された制御条件に従って前記主要部を含む顔全体を動作させる動作制御手段を更に備えることを特徴とする請求項６又は７に記載の動作処理装置。
9. 前記特定手段は、前記物体の特徴を複数特定し、
   前記設定手段は、前記特定手段により特定された前記複数の物体の特徴の各々について前記制御条件の重み付けを行なう重み付け手段を含むことを特徴とする請求項１〜８の何れか一項に記載の動作処理装置。
10. 動作処理装置を用いた動作処理方法であって、
    顔を含む画像から顔に関連する特徴を検出する処理と、
    顔に関連する特徴の検出結果に基づいて、前記画像に含まれる顔を有する物体の特徴を特定する処理と、
    特定された前記物体の特徴に基づいて、前記画像に含まれる顔を構成する主要部を変形させて動作させる際の動作速度を含む制御条件を設定する処理と、
    を含むことを特徴とする動作処理方法。
11. 動作処理装置のコンピュータを、
    顔を含む画像から顔に関連する特徴を検出する検出手段、
    前記検出手段による検出結果に基づいて、前記画像に含まれる顔を有する物体の特徴を特定する特定手段、
    前記特定手段により特定された前記物体の特徴に基づいて、前記画像に含まれる顔を構成する主要部を変形させて動作させる際の動作速度を含む制御条件を設定する設定手段、
    として機能させることを特徴とするプログラム。

Images