JP6547244B2 - 動作処理装置、動作処理方法及びプログラム - Google Patents

Description

本発明は、動作処理装置、動作処理方法及びプログラムに関する。

近年、人型に成型された投影スクリーンに映像を投影する、所謂「バーチャルマネキン」が提案されている（例えば、特許文献１参照）。バーチャルマネキンは、あたかもそこに人間が立っているかのような存在感のある投影像が得られ、展示会等にて斬新で効果的な展示の演出を行うことができる。
このようなバーチャルマネキンの顔の表情を豊かにするために、写真やイラストや漫画などの画像中の顔を構成する主要部（例えば、目や口等）を変形させて動きを表現する技術が知られている。具体的には、被写体であるヒトの注視点に基づいて、そのヒトのコンピュータグラフィックスで表現される顔モデル中の眼球を動作させる手法（例えば、特許文献２参照）や、発音される言葉の母音や子音毎に口の形状を変えてリップシンクさせる手法（例えば、特許文献３参照）などがある。

特開２０１１−１５０２２１号公報 特開平０６−２８２６２７号公報 特開２００３−５８９０８号公報

ところで、処理対象となる顔の主要部は、写真やイラストといった元となる画像の種類、ヒトや動物といった顔の種類に応じてその形状が種々様々である。そのため、例えば、写真画像中のヒトの顔の主要部を動作させるためのデータを、漫画の顔の変形やイラスト中の動物の顔の変形に用いると、局所的な画質の劣化や不自然な変形を招いて視認者に違和感を生じさせてしまうといった問題がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、顔の主要部の動作をより自然に行うことができる動作処理装置、動作処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る動作処理装置は、
顔画像を取得する取得手段と、
前記取得手段により取得された顔画像から、ヒト又は動物の撮像画像、及びヒト又は動物のイラストの少なくとも１つを顔を構成する主要部の形状の種類として特定する特定手段と、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段と、
を備えたことを特徴としている。

本発明によれば、顔の主要部の動作をより自然に行うことができる。

本発明を適用した一実施形態の動作処理装置の概略構成を示すブロック図である。 図１の動作処理装置による顔動作処理に係る動作の一例を示すフローチャートである。 図２の顔動作処理における目制御条件設定処理に係る動作の一例を示すフローチャートである。 図３の目制御条件設定処理を説明するための図である。 図３の目制御条件設定処理を説明するための図である。 図３の目制御条件設定処理を説明するための図である。 図２の顔動作処理における口制御条件設定処理に係る動作の一例を示すフローチャートである。 図７の口制御条件設定処理を説明するための図である。 図７の口制御条件設定処理を説明するための図である。 図７の口制御条件設定処理を説明するための図である。 図７の口制御条件設定処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の動作処理装置１００の概略構成を示すブロック図である。

動作処理装置１００は、例えば、パーソナルコンピュータやワークステーションなどのコンピュータ等により構成され、図１に示すように、中央制御部１と、メモリ２と、記憶部３と、操作入力部４と、動作処理部５と、表示部６と、表示制御部７とを備えている。
また、中央制御部１、メモリ２、記憶部３、動作処理部５及び表示制御部７は、バスライン８を介して接続されている。

中央制御部１は、動作処理装置１００の各部を制御する。
具体的には、中央制御部１は、動作処理装置１００の各部を制御するＣＰＵ（Central Processing Unit；図示略）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、動作処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１の他、当該動作処理装置１００の各部によって処理されるデータ等を一時的に記憶する。

記憶部３は、例えば、不揮発性メモリ（フラッシュメモリ）、ハードディスクドライブ等により構成され、中央制御部１の動作に必要な各種プログラムやデータ（図示略）を記憶している。

また、記憶部３は、顔画像データ３ａを記憶している。
顔画像データ３ａは、顔を含む二次元の顔画像のデータである。具体的には、顔画像データ３ａは、例えば、写真画像中のヒトの顔画像、漫画で表されたヒトや動物の顔画像、イラストの中のヒトや動物の顔画像等の画像データである。また、顔画像データ３ａは、少なくとも顔を含む画像の画像データであれば良く、例えば、顔のみの画像データであっても良いし、胸から上の部分の画像データであっても良い。
なお、顔画像データ３ａに係る顔画像は、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

また、記憶部３は、基準動作データ３ｂを記憶している。
基準動作データ３ｂは、顔の各主要部（例えば、目Ｅ（図４（ａ）等参照）、口Ｍ（図１０（ａ）等参照）等）の動きを表現する際の基準となる動きを示す情報を含んでいる。具体的には、基準動作データ３ｂは、各主要部毎に規定され、所定空間内における複数の制御点の動きを示す情報を含み、例えば、複数の制御点の所定空間での位置座標（x, y）を示す情報や変形ベクトル等が時間軸に沿って並べられている。
すなわち、例えば、目Ｅの基準動作データ３ｂは、上瞼や下瞼に対応する複数の制御点が設定され、これら制御点の変形ベクトルが規定されている。また、口Ｍの基準動作データ３ｂは、上唇や下唇や左右の口角に対応する複数の制御点が設定され、これら制御点の変形ベクトルが規定されている。

操作入力部４は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部（図示略）を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１に出力する。

動作処理部５は、画像取得部５ａと、顔主要部検出部５ｂと、第１算出部５ｃと、形状特定部５ｄと、第２算出部５ｅと、動作条件設定部５ｆと、動作生成部５ｇと、動作制御部５ｈとを具備している。
なお、動作処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、顔画像データ３ａを取得する。
すなわち、画像取得部（取得手段）５ａは、顔動作処理の処理対象となる顔を含む二次元の画像の顔画像データ３ａを取得する。具体的には、画像取得部５ａは、例えば、記憶部３に記憶されている所定数の顔画像データ３ａの中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の顔画像データ３ａを顔動作処理の処理対象として取得する。
なお、画像取得部５ａは、図示しない通信制御部を介して接続された外部機器（図示略）から顔画像データを取得しても良いし、図示しない撮像部により撮像されることで生成された顔画像データを取得しても良い。

顔主要部検出部５ｂは、顔画像から顔を構成する主要部を検出する。
すなわち、顔主要部検出部（検出手段）５ｂは、画像取得部５ａにより取得された顔画像データの顔画像から、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により、左右各々の目と眉、鼻、口、顔輪郭等の主要部を検出する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、顔主要部検出部５ｂは、複数のサンプル顔画像における所定の特徴部位（例えば、目尻や鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、顔主要部検出部５ｂは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像をモデル化する。これにより、顔画像内で、例えば、目、眉、鼻、口、顔輪郭等の主要部がモデル化される。
なお、主要部の検出においてＡＡＭを用いて行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。

第１算出部５ｃは、顔の主要部としての目Ｅの所定方向の長さを算出する。
すなわち、第１算出部（第１算出手段）５ｃは、目Ｅの上下方向（縦方向ｙ）及び左右方向（横方向ｘ）の長さをそれぞれ算出する。具体的には、第１算出部５ｃは、顔主要部検出部５ｂにより検出された目Ｅにおける、上下方向の画素数が最大となる部分の画素数を上下方向の長さｈとして、また、左右方向の画素数が最大となる部分の画素数を左右方向の長さｗとしてそれぞれ算出する（図５（ａ）参照）。
また、第１算出部５ｃは、目Ｅの上側部分及び下側部分の左右方向の長さをそれぞれ算出する。具体的には、第１算出部５ｃは、顔主要部検出部５ｂにより検出された目Ｅを上下方向に略等しい幅で複数の領域（例えば、四つの領域）に分割し、最も上の領域とその一つ下側の領域との分割線の左右方向の画素数を目Ｅの上側部分の長さｗｔとして、また、最も下の領域とその一つ上側の領域との分割線の左右方向の画素数を目Ｅの下側部分の長さｗｂとしてそれぞれ算出する（図５（ｂ）及び図５（ｃ）参照）。

形状特定部５ｄは、主要部の形状の種類を特定する。
すなわち、形状特定部（特定手段）５ｄは、顔主要部検出部５ｂにより検出された主要部の形状の種類を特定する。具体的には、形状特定部５ｄは、例えば、主要部としての目Ｅや口Ｍの形状の種類を特定する。
例えば、目Ｅの形状の種類を特定する場合、形状特定部５ｄは、第１算出部５ｃにより算出された目Ｅの上下方向及び左右方向の長さの比率（ｈ／ｗ）を算出し、当該比率（ｈ／ｗ）が所定範囲内にあるか否かに応じてヒトの目Ｅの形状（例えば、横長の楕円形状；図４（ａ）参照）であるか否かを判定する。また、形状特定部５ｄは、第１算出部５ｃにより算出された目Ｅの上側部分及び下側部分の左右方向の長さｗｔ、ｗｂどうしを比較して、これらの長さｗｔ、ｗｂが略等しいか否かに応じて漫画風の目Ｅの形状（図４（ｂ）参照）であるか動物風の目Ｅの形状（例えば、略真円形状；図４（ｃ）参照）であるかを判定する。

また、例えば、口Ｍの形状の種類を特定する場合、形状特定部５ｄは、左右の口角Ｍｌ、Ｍｒと口中央部Ｍｃとの上下方向の位置関係に基づいて口Ｍの形状の種類を特定する。
具体的には、形状特定部５ｄは、顔主要部検出部５ｂにより検出された口Ｍの上唇と下唇の合わせ目となる境界線Ｌの左右の両端部を左右の口角Ｍｌ、Ｍｒの位置とするとともに、境界線Ｌの左右方向の略中央部を口中央部Ｍｃとする。そして、形状特定部５ｄは、左右の口角Ｍｌ、Ｍｒと口中央部Ｍｃとの上下方向の位置関係に基づいて、左右の口角Ｍｌ、Ｍｒと口中央部Ｍｃが略等しい上下位置の口Ｍの形状（図８（ａ）参照）であるか、左右の口角Ｍｌ、Ｍｒに対して口中央部Ｍｃが高い上下位置の口Ｍの形状（図８（ｂ）参照）であるか、左右の口角Ｍｌ、Ｍｒが口中央部Ｍｃに対して高い上下位置の口Ｍの形状（図８（ｃ）参照）であるかを特定する。

なお、上記した目Ｅや口Ｍの形状の種類は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、主要部として目Ｅ及び口Ｍを例示して、その形状の種類を特定するようにしたが、一例であってこれに限られるものではなく、例えば、鼻、眉、顔輪郭等の他の主要部であっても良い。

第２算出部５ｅは、主要部としての口Ｍに関連する所定方向の長さを算出する。
すなわち、第２算出部（第２算出手段）５ｅは、口Ｍの左右方向の長さｌｍ、顔の口Ｍに対応する位置の左右方向の長さｌｆ及び口Ｍから顎先までの上下方向の長さｌｊをそれぞれ算出する（図９（ａ）等参照）。
具体的には、第２算出部５ｅは、口Ｍの境界線Ｌの左右の両端部（左右の口角Ｍｌ、Ｍｒ）間の左右方向の画素数を口Ｍの左右方向の長さｌｍとして算出する。また、第２算出部５ｅは、口Ｍの境界線Ｌの左右の両端部を通り左右方向に延在する直線と顔主要部検出部５ｂにより検出された顔輪郭との二つの交点を特定して、二つの交点間の左右方向の画素数を顔の口Ｍに対応する位置の左右方向の長さｌｆとして算出する。また、第２算出部５ｅは、口Ｍの境界線Ｌの左右方向の略中央部（口中央部Ｍｃ）を通り上下方向に延在する直線と顔主要部検出部５ｂにより検出された顔輪郭との交点を特定して、特定された交点と口中央部Ｍｃとの間の上下方向の画素数を口Ｍから顎先までの上下方向の長さｌｊとして算出する。

動作条件設定部５ｆは、主要部を動作させる際の制御条件を設定する。
すなわち、動作条件設定部（設定手段）５ｆは、形状特定部５ｄにより特定された主要部（例えば、目Ｅや口Ｍ等）の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する。具体的には、動作条件設定部５ｆは、形状特定部５ｄにより特定された目Ｅの形状の種類に基づいて、当該目Ｅを瞬き動作させる際の制御条件を設定する。また、動作条件設定部５ｆは、形状特定部５ｄにより特定された口Ｍの形状の種類に基づいて、当該口Ｍを開閉動作させる際の制御条件を設定する。
例えば、動作条件設定部５ｆは、記憶部３から処理対象となる主要部の基準動作データ３ｂを読み出して取得し、形状特定部５ｄにより特定された主要部の形状の種類に基づいて、基準動作データ３ｂに含まれる当該主要部を動作させるための複数の制御点の動きを示す情報の補正内容を制御条件として設定する。

具体的には、目Ｅを瞬き動作させる際の制御条件を設定する場合、動作条件設定部５ｆは、形状特定部５ｄにより特定された目Ｅの形状の種類に基づいて、基準動作データ３ｂに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する。
また、動作条件設定部５ｆは、第１算出部５ｃにより算出された目Ｅの上側部分及び下側部分の左右方向の長さｗｔ、ｗｂの大きさに応じて、当該目Ｅを瞬き動作させる際の上瞼及び下瞼のうちの少なくとも一方の変形を制御する制御条件を設定しても良い。例えば、動作条件設定部５ｆは、目Ｅの上側部分及び下側部分の左右方向の長さｗｔ、ｗｂどうしを比較して、長さが短い方に対応する瞼の変形量（例えば、下瞼の変形量ｎ）が長い方に対応する瞼の変形量（例えば、上瞼の変形量ｍ）に対して相対的に大きくなるように（図６（ｂ）参照）、基準動作データ３ｂに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を設定する。また、動作条件設定部５ｆは、目Ｅの上側部分及び下側部分の左右方向の長さｗｔ、ｗｂどうしが略等しい場合には（図６（ｃ）参照）、上瞼の変形量ｍ及び下瞼の変形量ｎが略等しくなるように、基準動作データ３ｂに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を設定する。

また、口Ｍを開閉動作させる際の制御条件を設定する場合、動作条件設定部５ｆは、形状特定部５ｄにより特定された口Ｍの形状の種類に基づいて、基準動作データ３ｂに含まれる上唇や下唇や左右の口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する。
例えば、動作条件設定部５ｆは、形状特定部５ｄにより特定された口Ｍの形状が左右の口角Ｍｌ、Ｍｒに対して口中央部Ｍｃが高い上下位置の口Ｍの形状（図１０（ｂ）参照）である場合には、左右の口角Ｍｌ、Ｍｒの上方向への変形量が相対的に大きくなるように、基準動作データ３ｂに含まれる口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報の補正内容を設定する。また、動作条件設定部５ｆは、形状特定部５ｄにより特定された口Ｍの形状が左右の口角Ｍｌ、Ｍｒが口中央部Ｍｃに対して高い上下位置の口Ｍの形状（図１０（ｃ）参照）である場合には、左右の口角Ｍｌ、Ｍｒの下方向への変形量が相対的に大きくなるように、基準動作データ３ｂに含まれる左右の口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報の補正内容を設定する。

さらに、動作条件設定部５ｆは、顔主要部検出部５ｂにより検出された口Ｍ以外の主要部（例えば、顎先等）に対する口Ｍとの相対的な位置関係に基づいて、当該口Ｍを開閉動作させる際の制御条件を設定しても良い。
具体的には、動作条件設定部５ｆは、第２算出部５ｅにより算出された口Ｍの左右方向の長さｌｍ、顔の口Ｍに対応する位置の左右方向の長さｌｆ及び口Ｍから顎先までの上下方向の長さｌｊに基づいて、口Ｍ以外の主要部に対する口Ｍとの相対的な位置関係を特定する。そして、動作条件設定部５ｆは、特定された位置関係に基づいて、当該口Ｍを開閉動作させる際の上唇及び下唇のうちの少なくとも一方の変形を制御する制御条件を設定する。例えば、動作条件設定部５ｆは、口Ｍの左右方向の長さｌｍと顔の口Ｍに対応する位置の左右方向の長さｌｆを比較して、顔輪郭内における口Ｍの左右の領域の大きさを特定する。そして、動作条件設定部５ｆは、顔輪郭内における口Ｍの左右の領域の大きさ及び口Ｍから顎先までの上下方向の長さｌｊに基づいて、口Ｍを開閉動作させる際の上下方向の開閉や左右方向の開閉を制御する制御条件を設定する。
すなわち、例えば、開閉動作する口Ｍの左右方向及び上下方向への変形量は、当該口Ｍの大きさ、特に、口Ｍの左右方向の長さｌｍを基準として変化する。例えば、一般的にｌｍの大きさが大きいほど口Ｍを開閉動作する際の左右方向及び上下方向への変形量が大きくなる。そのため、口Ｍの左右方向の長さｌｍを基準として、顔輪郭内における口Ｍの左右の領域の大きさや口Ｍから顎先までの上下方向の長さｌｊが相対的に大きい場合には、基準動作データ３ｂに基づいて口Ｍを変形させても問題ないと考えられる。
一方、口Ｍから顎先までの上下方向の長さｌｊが相対的に小さい場合（図１１（ｂ）参照）には、動作条件設定部５ｆは、下唇の下方向への変形量が相対的に小さくなるように、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を設定する。また、顔輪郭内における口Ｍの左右の領域の大きさが相対的に大きい場合（図１１（ｃ）参照）には、動作条件設定部５ｆは、左右の口角Ｍｌ、Ｍｒの左右方向への変形量が相対的に大きくなるように、基準動作データ３ｂに含まれる左右の口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報の補正内容を設定する。

なお、動作条件設定部５ｆにより設定された制御条件は、所定の格納手段（例えば、メモリ２等）に出力されて一時的に格納されても良い。
また、上記した目Ｅや口Ｍ等の主要部を動作させる際の制御内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
さらに、主要部として目Ｅ及び口Ｍを例示して、その制御条件を設定するようにしたが、一例であってこれに限られるものではなく、例えば、鼻、眉、顔輪郭等の他の主要部であっても良い。このとき、例えば、目Ｅや口Ｍを動作させる際の制御条件を考慮して、他の主要部の制御条件を設定するようにしても良い。すなわち、例えば、目Ｅを瞬き動作させる際の制御条件を考慮して、眉や鼻等の目Ｅの周辺の主要部を関連して動作させるような制御条件を設定しても良いし、また、口Ｍを開閉動作させる際の制御条件を考慮して、鼻や顔輪郭等の口Ｍの周辺の主要部を関連して動作させるような制御条件を設定しても良い。

動作生成部５ｇは、動作条件設定部５ｆにより設定された制御条件に基づいて、主要部を動作させるための動作データを生成する。
具体的には、動作生成部５ｇは、処理対象となる主要部の基準動作データ３ｂと、動作条件設定部５ｆにより設定された基準動作データ３ｂの補正内容とに基づいて、複数の制御点の動きを示す情報を補正して、補正後のデータを当該主要部の動作データとして生成する。
なお、動作生成部５ｇにより生成された動作データは、所定の格納手段（例えば、メモリ２等）に出力されて一時的に格納されても良い。

動作制御部５ｈは、顔画像内で主要部を動作させる。
すなわち、動作制御部（動作制御手段）５ｈは、画像取得部５ａにより取得された顔画像内で、動作条件設定部５ｆにより設定された制御条件に従って主要部を動作させる。具体的には、動作制御部５ｈは、処理対象となる主要部の所定位置に複数の制御点を設定するとともに、動作生成部５ｇにより生成された処理対象となる主要部の動作データを取得する。そして、動作制御部５ｈは、取得された動作データに規定されている複数の制御点の動きを示す情報に基づいて複数の制御点を変位させることで、当該主要部を動作させる変形処理を行う。

表示部６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、表示制御部７の制御下にて各種情報を表示画面に表示する。

表示制御部７は、表示用データを生成して表示部６の表示画面に表示させる制御を行う。
具体的には、表示制御部７は、例えば、ＧＰＵ（Graphics Processing Unit）やＶＲＡＭ（Video Random Access Memory）等を具備するビデオカード（図示略）を備えている。そして、表示制御部７は、中央制御部１からの表示指示に従って、顔動作処理にて主要部を動作させるための各種画面の表示用データをビデオカードによる描画処理によって生成し、表示部６に出力する。これにより、表示部６は、例えば、顔動作処理にて顔画像の主要部（例えば、目Ｅや口Ｍ等）を動作させたり顔の表情を変化させるように変形させたコンテンツを表示する。

＜顔動作処理＞
次に、顔動作処理について図２〜図１１を参照して説明する。
図２は、顔動作処理に係る動作の一例を示すフローチャートである。

図２に示すように、先ず、動作処理部５の画像取得部５ａは、例えば、記憶部３に記憶されている所定数の顔画像データ３ａの中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の顔画像データ３ａを取得する（ステップＳ１）。
次に、顔主要部検出部５ｂは、画像取得部５ａにより取得された顔画像データの顔画像から、例えば、ＡＡＭを用いた処理により、左右各々の目、鼻、口、眉、顔輪郭等の主要部を検出する（ステップＳ２）。

続けて、動作処理部５は、顔主要部検出部５ｂにより検出された主要部を動作させる際の制御条件を設定する主要部制御条件設定処理を行う（ステップＳ３）。
なお、処理内容の詳細は後述するが、主要部制御条件設定処理として、目制御条件設定処理（図３参照）及び口制御条件設定処理（図７参照）を例示する。

次に、動作生成部５ｇは、主要部制御条件設定処理にて設定された制御条件に基づいて、主要部を動作させるための動作データを生成する（ステップＳ４）。その後、動作制御部５ｈは、動作生成部５ｇにより生成された動作データに基づいて、顔画像内で主要部を動作させる処理を行う（ステップＳ５）。
例えば、動作生成部５ｇは、目制御条件設定処理や口制御条件設定処理にて設定された制御条件に基づいて、目Ｅや口Ｍを動作させるための動作データを生成し、動作制御部５ｈは、動作生成部５ｇにより生成された動作データに基づいて、顔画像内で目Ｅや口Ｍを動作させる処理を行う。

＜目制御条件設定処理＞
次に、目制御条件設定処理について図３〜図６を参照して説明する。
図３は、目制御条件設定処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図４（ｃ）、図５（ａ）〜図５（ｃ）、図６（ａ）〜図６（ｃ）は、目制御条件設定処理を説明するための図である。
なお、図４（ａ）〜図４（ｃ）、図５（ａ）〜図５（ｃ）、図６（ａ）〜図６（ｃ）の各々の目Ｅは、左側（画像に向かって右側）の目を模式的に表している。

図３に示すように、第１算出部５ｃは、顔主要部検出部５ｂにより主要部として検出された目Ｅの上下方向の長さｈ及び左右方向の長さｗをそれぞれ算出する（ステップＳ２１；図５（ａ）参照）。

続けて、形状特定部５ｄは、第１算出部５ｃにより算出された目Ｅの上下方向及び左右方向の長さの比率（ｈ／ｗ）を算出し、当該比率（ｈ／ｗ）が所定範囲内にあるか否かを判定する（ステップＳ２２）。
ここで、比率（ｈ／ｗ）が所定範囲内にあると判定されると（ステップＳ２２；ＹＥＳ）、形状特定部５ｄは、処理対象の目Ｅが横長の楕円形状をなすヒトの目Ｅの形状（図４（ａ）参照）であると特定する（ステップＳ２３）。そして、動作条件設定部５ｆは、目Ｅを瞬き動作させる際の制御条件として、上瞼に対応する複数の制御点の動きを示す情報（例えば、変形ベクトル等）のみを制御条件として設定する（ステップＳ２４）。この場合、下瞼の変形量ｎは「０」となり、上瞼が変形量ｍで変形する動作となる。

一方、比率（ｈ／ｗ）が所定範囲内にないと判定されると（ステップＳ２２；ＮＯ）、第１算出部５ｃは、目Ｅの上側部分の左右方向の長さｗｔ及び下側部分の左右方向の長さｗｂをそれぞれ算出する（ステップＳ２５；図５（ｂ）及び図５（ｃ）参照）。
そして、形状特定部５ｄは、第１算出部５ｃにより算出された目Ｅの上側部分の左右方向の長さｗｔ及び下側部分の左右方向の長さｗｂが略等しいか否かを判定する（ステップＳ２６）。

ステップＳ２６にて、目Ｅの上側部分の左右方向の長さｗｔ及び下側部分の左右方向の長さｗｂが略等しくないと判定されると（ステップＳ２６；ＮＯ）、形状特定部５ｄは、処理対象の目Ｅが漫画風の目Ｅの形状（図４（ｂ）参照）であると特定する（ステップＳ２７）。
そして、動作条件設定部５ｆは、長さが短い方に対応する瞼の変形量（例えば、下瞼の変形量ｎ）が長い方に対応する瞼の変形量（例えば、上瞼の変形量ｍ）に対して相対的に大きくなるように、基準動作データ３ｂに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ２８）。
このとき、動作条件設定部５ｆは、目Ｅの瞬き動作の際に目尻が下がるような表現がなされるように、上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容（変形ベクトル等）を設定しても良い（図６（ｂ）参照）。

一方、ステップＳ２６にて、目Ｅの上側部分の左右方向の長さｗｔ及び下側部分の左右方向の長さｗｂが略等しいと判定されると（ステップＳ２６；ＹＥＳ）、形状特定部５ｄは、処理対象の目Ｅが略真円形状をなす動物風の目Ｅの形状（図４（ｃ）参照）であると特定する（ステップＳ２９）。
そして、動作条件設定部５ｆは、上瞼の変形量ｍ及び下瞼の変形量ｎが略等しくなるように、基準動作データ３ｂに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ３０）。

＜口制御条件設定処理＞
次に、口制御条件設定処理について図７〜図１０を参照して説明する。
図７は、口制御条件設定処理に係る動作の一例を示すフローチャートである。また、図８（ａ）〜図８（ｃ）、図９（ａ）〜図９（ｃ）、図１０（ａ）〜図１０（ｃ）、図１１（ａ）〜図１１（ｃ）は、口制御条件設定処理を説明するための図である。

図７に示すように、形状特定部５ｄは、顔主要部検出部５ｂにより検出された口Ｍの上唇と下唇の合わせ目となる境界線Ｌの左右の両端部を左右の口角Ｍｌ、Ｍｒの位置として特定するとともに、境界線Ｌの左右方向の略中央部を口中央部Ｍｃとして特定する（ステップＳ４１）。
次に、形状特定部５ｄは、左右の口角Ｍｌ、Ｍｒと口中央部Ｍｃとが略等しい上下位置であるか否かを判定する（ステップＳ４２）。

ステップＳ４２にて、左右の口角Ｍｌ、Ｍｒと口中央部Ｍｃとが略等しい上下位置でないと判定されると（ステップＳ４２；ＮＯ）、形状特定部５ｄは、左右の口角Ｍｌ、Ｍｒに対して口中央部Ｍｃが高い上下位置であるか否かを判定する（ステップＳ４３）。
ここで、左右の口角Ｍｌ、Ｍｒに対して口中央部Ｍｃが高い上下位置であると判定されると（ステップＳ４３；ＹＥＳ）、動作条件設定部５ｆは、左右の口角Ｍｌ、Ｍｒの上方向への変形量が相対的に大きくなるように、基準動作データ３ｂに含まれる口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ４４；図１０（ｂ）参照）。
一方、ステップＳ４３にて、左右の口角Ｍｌ、Ｍｒに対して口中央部Ｍｃが高い上下位置でない（左右の口角Ｍｌ、Ｍｒが口中央部Ｍｃに対して高い上下位置である）と判定されると（ステップＳ４３；ＮＯ）、動作条件設定部５ｆは、左右の口角Ｍｌ、Ｍｒの下方向への変形量が相対的に大きくなるように、基準動作データ３ｂに含まれる左右の口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ４５；図１０（ｃ）参照）。

なお、ステップＳ４２にて、左右の口角Ｍｌ、Ｍｒと口中央部Ｍｃとが略等しい上下位置であると判定された場合（ステップＳ４２；ＹＥＳ）には、動作条件設定部５ｆは、基準動作データ３ｂに含まれる上唇や下唇や左右の口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報の補正を行わない。

その後、第２算出部５ｅは、口Ｍの左右方向の長さｌｍ、顔の口Ｍに対応する位置の左右方向の長さｌｆ及び口Ｍから顎先までの上下方向の長さｌｊをそれぞれ算出する（ステップＳ４６；図９（ａ）等参照）。
続けて、動作条件設定部５ｆは、口Ｍの左右方向の長さｌｍを基準として、口Ｍから顎先までの上下方向の長さｌｊが相対的に大きいか否かを判定する（ステップＳ４７）。

ステップＳ４７にて、口Ｍから顎先までの上下方向の長さｌｊが相対的に大きいと判定されると（ステップＳ４７；ＹＥＳ）、動作条件設定部５ｆは、基準動作データ３ｂに規定されている上唇や下唇や左右の口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報を制御条件として設定する（ステップＳ４８）。

一方、ステップＳ４７にて、口Ｍから顎先までの上下方向の長さｌｊが相対的に大きくないと判定されると（ステップＳ４７；ＮＯ）、動作条件設定部５ｆは、口Ｍの左右方向の長さｌｍを基準として、顔輪郭内における口Ｍの左右の領域の大きさが相対的に大きいか否かを判定する（ステップＳ４９）。

ステップＳ４９にて、顔輪郭内における口Ｍの左右の領域の大きさが相対的に大きくないと判定されると（ステップＳ４９；ＮＯ）、動作条件設定部５ｆは、下唇の下方向への変形量が相対的に小さくなるように、基準動作データ３ｂに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ５０；図１１（ｂ）参照）。
一方、顔輪郭内における口Ｍの左右の領域の大きさが相対的に大きいと判定されると（ステップＳ４９；ＹＥＳ）、動作条件設定部５ｆは、左右の口角Ｍｌ、Ｍｒの左右方向への変形量が相対的に大きくなるように、基準動作データ３ｂに含まれる左右の口角Ｍｌ、Ｍｒに対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する（ステップＳ５１；図１１（ｃ）参照）。

以上のように、本実施形態の動作処理装置１００によれば、顔画像から検出された顔を構成する主要部（例えば、目Ｅや口Ｍ等）の形状の種類を特定して、特定された主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定するので、顔画像内で制御条件に従って顔の主要部の形状の種類に応じた適正な動作を行わせることができ、局所的な画質の劣化や不自然な変形を抑制することができることとなって、顔の主要部の動作をより自然に行うことができる。

また、顔の主要部としての目Ｅの上下方向の長さｈ及び左右方向の長さｗの比率に基づいて、当該目Ｅの形状の種類を特定するので、横長の楕円形状をなすヒトの目Ｅの形状の特定を適正に行うことができる。さらに、目Ｅの上側部分の左右方向の長さｗｔ及び下側部分の左右方向の長さｗｂどうしを比較して、当該目Ｅの形状の種類を特定するので、漫画風の目Ｅの形状や略真円形状をなす動物風の目Ｅの形状の特定を適正に行うことができる。そして、目Ｅの形状の種類に基づいて設定された制御条件に従って当該目Ｅの瞬き動作をより自然に行うことができる。
さらに、目Ｅの上側部分の左右方向の長さｗｔ及び下側部分の左右方向の長さｗｂの大きさに応じて、当該目Ｅを瞬き動作させる際の上瞼及び下瞼のうちの少なくとも一方の変形を制御することで、処理対象となる目Ｅが漫画風の目Ｅの形状や動物風の目Ｅの形状であっても不自然な変形を抑制した自然な瞬き動作を行わせることができる。

また、顔の主要部としての口Ｍの左右の口角Ｍｌ、Ｍｒと口中央部Ｍｃとの上下方向の位置関係に基づいて口Ｍの形状の種類を特定するので、左右の口角Ｍｌ、Ｍｒと口中央部Ｍｃが略等しい上下位置の口Ｍの形状や、左右の口角Ｍｌ、Ｍｒに対して口中央部Ｍｃが高い上下位置の口Ｍの形状や、左右の口角Ｍｌ、Ｍｒが口中央部Ｍｃに対して高い上下位置の口Ｍの形状等の特定を適正に行うことができる。そして、口Ｍの形状の種類に基づいて設定された制御条件に従って当該口Ｍの開閉動作をより自然に行うことができる。
さらに、顔主要部検出部５ｂにより検出された口Ｍ以外の主要部（例えば、顎先等）に対する口Ｍとの相対的な位置関係に基づいて、当該口Ｍを開閉動作させる際の制御条件を設定することができる。具体的には、口Ｍの左右方向の長さｌｍ、顔の口Ｍに対応する位置の左右方向の長さｌｆ及び口Ｍから顎先までの上下方向の長さｌｊに基づいて、口Ｍ以外の主要部に対する口Ｍとの相対的な位置関係を特定するので、顔輪郭内における口Ｍの左右の領域の大きさや口Ｍから顎先までの上下方向の長さｌｊ等を考慮して、当該口Ｍを開閉動作させる際の制御条件を設定することができ、設定された制御条件に従って当該口Ｍの開閉動作をより自然に行うことができる。

また、顔の各主要部の動きを表現する際の基準となる動きを示す情報を含む基準動作データ３ｂを用意しておき、基準動作データ３ｂに含まれる当該主要部を動作させるための複数の制御点の動きを示す情報の補正内容を制御条件として設定することで、種々様々な顔の主要部の形状に応じて動作させるためのデータをそれぞれ用意することなく、顔の主要部の動作をより自然に行うことができる。すなわち、例えば、写真やイラストといった元となる画像の種類、ヒトや動物といった顔の種類毎に主要部の動きを示す情報を含む動作データを用意する必要がなくなり、これらを用意する場合の作業量やこれらのデータを記憶する記憶部の容量の増大を抑制することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
また、上記実施形態にあっては、動作処理装置１００単体から構成するようにしたが、一例であってこれに限られるものではなく、例えば、人物、キャラクタ、動物等の投影対象物が商品等の説明を行う映像コンテンツをスクリーンに投影する投影システム（図示略）に適用した構成であっても良い。

さらに、上記実施形態にあっては、動作条件設定部５ｆにより設定された制御条件に基づいて、主要部を動作させるための動作データを生成するようにしたが、一例であってこれに限られるものではなく、必ずしも動作生成部５ｇを具備する必要はなく、例えば、動作条件設定部５ｆにより設定された制御条件を外部機器（図示略）に出力して、当該外部機器にて動作データを生成するようにしても良い。
また、動作条件設定部５ｆにより設定された制御条件に従って主要部を動作させるようにしたが、一例であってこれに限られるものではなく、必ずしも動作制御部５ｈを具備する必要はなく、例えば、動作条件設定部５ｆにより設定された制御条件を外部機器（図示略）に出力して、当該外部機器にて制御条件に従って主要部を動作させるようにしても良い。

さらに、動作処理装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、動作処理装置１００は、音を出力するスピーカ（図示略）を備え、顔画像内で口Ｍを動作させる処理の際にリップシンクさせるようにスピーカから所定の音声を出力するような構成としても良い。このとき出力される音声のデータは、例えば、基準動作データ３ｂと対応付けられて記憶されていても良い。

加えて、上記実施形態にあっては、取得手段、検出手段、特定手段、設定手段としての機能を、動作処理装置１００の中央制御部１の制御下にて、画像取得部５ａ、顔主要部検出部５ｂ、形状特定部５ｄ、動作条件設定部５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリに、取得処理ルーチン、検出処理ルーチン、特定処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、顔画像を取得する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１のＣＰＵを、取得された顔画像から顔を構成する主要部を検出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１のＣＰＵを、検出された主要部の形状の種類を特定する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１のＣＰＵを、特定された主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する手段として機能させるようにしても良い。

同様に、第１算出手段、第２算出手段、動作制御手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
顔画像を取得する取得手段と、
前記取得手段により取得された顔画像から顔を構成する主要部を検出する検出手段と、
前記検出手段により検出された前記主要部の形状の種類を特定する特定手段と、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段と、
を備えたことを特徴とする動作処理装置。
＜請求項２＞
前記特定手段は、更に、前記主要部としての目の形状の種類を特定し、
前記設定手段は、更に、前記特定手段により特定された目の形状の種類に基づいて、当該目を瞬き動作させる際の制御条件を設定することを特徴とする請求項１に記載の動作処理装置。
＜請求項３＞
目の上下方向及び左右方向の長さをそれぞれ算出する第１算出手段を更に備え、
前記特定手段は、前記第１算出手段により算出された目の上下方向及び左右方向の長さの比率に基づいて、当該目の形状の種類を特定することを特徴とする請求項２に記載の動作処理装置。
＜請求項４＞
前記第１算出手段は、更に、目の上側部分及び下側部分の左右方向の長さをそれぞれ算出し、
前記特定手段は、前記第１算出手段により算出された目の上側部分及び下側部分の左右方向の長さどうしを比較して、当該目の形状の種類を特定することを特徴とする請求項３に記載の動作処理装置。
＜請求項５＞
前記設定手段は、更に、前記第１算出手段により算出された目の上側部分及び下側部分の左右方向の長さの大きさに応じて、当該目を瞬き動作させる際の上瞼及び下瞼のうちの少なくとも一方の変形を制御する制御条件を設定することを特徴とする請求項４に記載の動作処理装置。
＜請求項６＞
前記特定手段は、更に、前記主要部としての口の形状の種類を特定し、
前記設定手段は、更に、前記特定手段により特定された口の形状の種類に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項１に記載の動作処理装置。
＜請求項７＞
前記特定手段は、更に、口角と口中央部との上下方向の位置関係に基づいて口の形状の種類を特定することを特徴とする請求項６に記載の動作処理装置。
＜請求項８＞
前記設定手段は、更に、前記検出手段により検出された口以外の前記主要部に対する口との相対的な位置関係に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項６又は７に記載の動作処理装置。
＜請求項９＞
口の左右方向の長さ、顔の口に対応する位置の左右方向の長さ及び口から顎先までの上下方向の長さをそれぞれ算出する第２算出手段を更に備え、
前記設定手段は、前記第２算出手段により算出された口の左右方向の長さ、顔の口に対応する位置の左右方向の長さ及び口から顎先までの上下方向の長さに基づいて、口以外の前記主要部に対する口との相対的な位置関係を特定し、特定された位置関係に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項８に記載の動作処理装置。
＜請求項１０＞
前記取得手段により取得された顔画像内で、前記設定手段により設定された制御条件に従って前記主要部を動作させる動作制御手段を更に備えることを特徴とする請求項１〜９の何れか一項に記載の動作処理装置。
＜請求項１１＞
動作処理装置を用いた動作処理方法であって、
顔画像を取得する処理と、
取得された顔画像から顔を構成する主要部を検出する処理と、
検出された前記主要部の形状の種類を特定する処理と、
特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する処理と、
を含むことを特徴とする動作処理方法。
＜請求項１２＞
動作処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段により取得された顔画像から顔を構成する主要部を検出する検出手段、
前記検出手段により検出された前記主要部の形状の種類を特定する特定手段、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段、
として機能させることを特徴とするプログラム。

１００ 動作処理装置
１ 中央制御部
５ 動作処理部
５ａ 画像取得部
５ｂ 顔主要部検出部
５ｃ 第１算出部
５ｄ 形状特定部
５ｅ 第２算出部
５ｆ 動作条件設定部
５ｈ 動作制御部

Claims (12)

1. 顔画像を取得する取得手段と、
   前記取得手段により取得された顔画像から、ヒト又は動物の撮像画像、及びヒト又は動物のイラストの少なくとも１つを顔を構成する主要部の形状の種類として特定する特定手段と、
   前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段と、
   を備えたことを特徴とする動作処理装置。
2. 前記特定手段は、前記主要部としての目の形状の種類を特定し、
   前記特定手段により特定された目の形状の種類に基づいて、当該目を瞬き動作させる際の制御条件を設定することを特徴とする請求項１に記載の動作処理装置。
3. 目の上下方向及び左右方向の長さをそれぞれ算出する第１算出手段を更に備え、
   前記特定手段は、前記第１算出手段により算出された目の上下方向及び左右方向の長さの比率に基づいて、当該目の形状の種類を特定することを特徴とする請求項１又は２の何れか一項に記載の動作処理装置。
4. 前記第１算出手段は、更に、目の上側部分及び下側部分の左右方向の長さをそれぞれ算出し、
   前記特定手段は、前記第１算出手段により算出された目の上側部分及び下側部分の左右方向の長さどうしを比較して、当該目の形状の種類を特定することを特徴とする請求項３に記載の動作処理装置。
5. 前記設定手段は、更に、前記第１算出手段により算出された目の上側部分及び下側部分の左右方向の長さの大きさに応じて、当該目を瞬き動作させる際の上瞼及び下瞼のうちの少なくとも一方の変形を制御する制御条件を設定することを特徴とする請求項４に記載の動作処理装置。
6. 前記特定手段は、更に、前記主要部としての口の形状の種類を特定し、
   前記設定手段は、前記特定手段により特定された口の形状の種類に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項１に記載の動作処理装置。
7. 前記特定手段は、更に、口角と口中央部との上下方向の位置関係に基づいて口の形状の種類を特定することを特徴とする請求項６に記載の動作処理装置。
8. 前記設定手段は、更に、口以外の前記主要部に対する口との相対的な位置関係に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項６又は７に記載の動作処理装置。
9. 口の左右方向の長さ、顔の口に対応する位置の左右方向の長さ及び口から顎先までの上下方向の長さをそれぞれ算出する第２算出手段を更に備え、
   前記設定手段は、前記第２算出手段により算出された口の左右方向の長さ、顔の口に対応する位置の左右方向の長さ及び口から顎先までの上下方向の長さに基づいて、口以外の前記主要部に対する口との相対的な位置関係を特定し、特定された位置関係に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項８に記載の動作処理装置。
10. 前記取得手段により取得された顔画像内で、前記設定手段により設定された制御条件に従って前記主要部を動作させる動作制御手段を更に備えることを特徴とする請求項１〜９の何れか一項に記載の動作処理装置。
11. 動作処理装置を用いた動作処理方法であって、
    顔画像を取得する取得処理と、
    前記取得処理により取得された顔画像から、ヒト又は動物の撮像画像、及びヒト又は動物のイラストの少なくとも１つを顔を構成する主要部の形状の種類として特定する特定処理と、
    前記特定処理により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定処理と、
    を含むことを特徴とする動作処理方法。
12. 動作処理装置のコンピュータを、
    顔画像を取得する取得手段、
    前記取得手段により取得された顔画像から、ヒト又は動物の撮像画像、及びヒト又は動物のイラストの少なくとも１つを顔を構成する主要部の形状の種類として特定する特定手段、
    前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段、
    として機能させることを特徴とするプログラム。

Images