JP5455546B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関する。

近年、デジタルカメラ及びマルチメディア制作ソフトの普及に伴い、プロだけでなく、一般的な人でも撮影した写真を使用して観賞価値の高いマルチメディアデータに変換することが可能になっている。この作業を行う際、ユーザーは、マルチメディア制作ソフトに対して何らかの指示を出し、撮影した写真をユーザーの意図したマルチメディアデータに変換を行っている（特許文献１参照）。

特開２００７−９６８１６号公報

しかしながら、従来のマルチメディア制作ソフトがユーザーから受け付ける指示は複雑であり、一般的な人がマルチメディア制作ソフトを使いこなすことは難しかった。また、従来のマルチメディア制作ソフトで制作されたマルチメディアデータは、製作者の意図が入りすぎることにより、一般的な人がマルチメディアデータを制作した場合、観賞価値が低くなることがあった。

本発明はこのような問題点に鑑みなされたもので、複雑な作業を行わなくても、観賞価値の高いマルチメディアデータを制作可能にすることを目的とする。

そこで、本発明の情報処理装置は、入力された人物画像を解析し、人物画像中より顔領域を検出し、検出した顔領域の唇の形から母音情報を決定する解析手段と、前記解析手段で決定された母音情報と、母音情報と子音情報とが対応付けられた子音情報推定データと、に基づいて前記解析手段で決定された母音情報に対応する子音情報を決定し、前記解析手段で決定された母音情報と、前記決定した子音情報と、に基づいて、語句を決定する決定手段と、前記決定手段で決定した語句を前記人物画像に付加する付加手段と、を有する。

本発明によれば、複雑な作業を行わなくても、観賞価値の高いマルチメディアデータを制作可能にすることができる。

フォトアルバムプリントシステムのシステム構成の一例を示す図である。 ＰＣのハードウェア構成の一例を示す図である。 フォトアルバムプリントシステムの機能構成の一例を示す図である。 画像編集処理の一例を示すフローチャートである。 ステップ３０１の解析処理により生成された人物−母音テーブルの一例を示す図である。 ステップ３０２の決定処理により生成された人物−言葉テーブルの一例を示す図である。 ステップ３０１の解析処理の詳細を示すフローチャートである。 唇の形から母音判定を行なう処理の一例を示すフローチャートである。 比率情報テーブルの一例を示す図である。 母音発音時の唇の形と、唇を含む口の縦の長さ／唇を含まない口の縦の長さ／口の横の長さと、の関係を示す図である。 ステップ３０２の決定処理の一例を示すフローチャートである。 子音推定テーブルの一例を示す図である。 語句変換処理の一例を示すフローチャートである。 修飾文字数決定用テーブルの一例を示す図である。 修飾文字決定用テーブルの一例を示す図である。 ステップ３０３の付加処理の一例を示すフローチャートである。 ステップ１１０６を説明するための図である。 ステップ３０１の解析処理の一例を示すフローチャートである。 人物情報テーブルの一例を示す図である。 ステップ３０２の決定処理の一例を示すフローチャートである。 語句推定テーブルの一例を示す図である。 人物‐語句テーブルの一例を示す図である。 ステップ３０２の決定処理の一例を示すフローチャートである。 ステップ１７０６、１７０７の処理に使用するユーザーインターフェースの一例を示す図である。 語句集の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、フォトアルバムプリントシステムのシステム構成の一例を示す図である。
本実施形態では、フォトアルバムプリントシステムは、ＰＣ１台（１０１）と、プリンタ１台（１０２）との構成となっているが、分散出力等を考え、複数のプリンタを含むよう構成してもよい。また、複数のＰＣからジョブを受け付け、１つのプリンタ上でフォトアルバムとして仕立て、出力する形式としてもよい。さらに以下に示す実施形態の処理はＰＣ側で行うことも、プリンタ側で行うこともできる。なお、ＰＣ及びプリンタは、情報処理装置（コンピュータ）の一例である。

次に、ＰＣのハードウェア構成について図２を用いて説明する。
図２は、ＰＣのハードウェア構成の一例を示す図である。
ＰＣのハードウェアは、様々な接続方法や、様々なバスやインターフェースを有した構成が一般に知られており、ここで紹介するハードウェア構成は一例である。
点線で囲まれた部分がマザーボードであり、ＣＰＵは、キャッシュメモリを介してノースブリッジ、サウスブリッジと通信しながら、このＰＣのソフトウェア全体を制御している。ここで、ノースブリッジとサウスブリッジとのデータのやり取りやＰＣ内部でのデータ一次保存のためメモリ（ＲＡＭ）が使用されている。
次にノースブリッジは、汎用ＰＣＩバスを持っており、オプション（後付け）でＳＣＳＩ外部装置等を接続することができる。ノースブリッジは、ディスプレイを表示させるためのグラフィックコントローラにも接続されている。
更に、サウスブリッジは、別の汎用ＰＣＩバスを持っており、こちらには、ＮＩＣを介してネットワーク接続が可能となっている。また、サウスブリッジは、ＩＤＥバスも持っており、ＰＣの制御ソフトウェアを初め、様々なデータを格納しておくハードディスクドライブ（ＨＤＤ）が接続される。また、サウスブリッジには、ＰＣのインストール時等のデータ読み出しや大量データのデータ保存（アーカイブ）等に役立つＣＤ−ＲＯＭ（又は、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ）ドライブ等が接続される。また、ＵＳＢポートは、ＵＳＢメモリに代表されるＵＳＢ外部装置にアクセスすることが可能になる。
そして、Ｉ／Ｏ部を経由してキーボードやマウス或いは、フレキシブルディスク（Ｆ／Ｄドライブ）につながって、データの入出力を行うこともできる。

ＰＣのＣＰＵは、プログラムに基づき処理を実行することによってＰＣの機能、又はＰＣが後述する処理を実行するとした場合の、後述するフローチャートの各ステップに係る処理が実行される。
なお、後述するフォトアルバムプリントシステムの機能及び後述するフローチャートの各ステップに係る処理は、ＰＣのＣＰＵがプログラムに基づき処理を実行することによって実現されるものとして説明する。しかしながら、上述したように、プリンタのＣＰＵがプリンタのメモリ等の記憶装置に記憶されているプログラムに基づき処理を実行することによって、以下の機能及び処理が実現されてもよい。

図３は、フォトアルバムプリントシステムの機能構成の一例を示す図である。画像入力部２００１は、フォトアルバムに使用する画像の入力を受け付ける。画像編集部２００２は、画像の編集処理をする。画像レイアウト部２００３は、画像群をアルバム上にレイアウトする処理を行う。レイアウト表示部２００４は、画像レイアウト部２００３でレイアウトされたフォトアルバムをモニタに表示する。出力部２００５は、レイアウト処理の終わったフォトアルバムデータの出力を行う。
本実施形態は画像編集部２００２に関するものであり、画像編集部２００２内の処理についてのみ言及する。

図４は、画像編集処理の一例を示すフローチャートである。ＣＰＵが、この図４に示すフローチャートの処理を１枚以上の写真画像に施し、フォトアルバム用のコメント付き画像を生成し、コメント付き画像をレイアウトして、プリントするのが本実施形態である。
ステップ３０１の解析処理では、ＣＰＵは、人物画像を入力として受け取り、１枚の画像中の人物一人一人に対して母音情報を算出する。図５は、ステップ３０１の解析処理により生成された人物−母音テーブルの一例を示す図である。なお、人物−母音テーブルは、例えば、ＲＡＭに作成される。
ステップ３０２の決定処理では、ＣＰＵは、ステップ３０１の解析処理の結果、生成された人物−母音情報テーブルを基に、各人物に対して言葉を推定する。図６は、ステップ３０２の決定処理により生成された人物−言葉テーブルの一例を示す図である。なお、人物−言葉テーブルは、例えば、ＲＡＭに作成される。
ステップ３０３の付加処理では、ＣＰＵは、ステップ３０２の決定処理で生成された人物−言葉テーブルを基に、各人物に対して言葉画像を付加する。

次にステップ３０１の解析処理の詳細を説明する。図７は、ステップ３０１の解析処理の詳細を示すフローチャートである。
まず、ＣＰＵは、人物画像入力で人物の入った画像入力を受け付ける（ステップ６０１）。次に、ＣＰＵは、画像中の人数計算を行う（ステップ６０２）。画像中の人数計算では、ＣＰＵは、画像中の顔の数を検出して計算する。画像中における顔の検出方法については様々な方法が考えられるが、例えばＣＰＵは、特開２００２−１８３７３１号公報、特開２００４−０６２５６５号公報に開示されている技術を用いることができる。
画像中の人数計算を行った後は、ＣＰＵは、母音判定処理の終わっていない１つの顔領域を人物画像中より取得し（ステップ６０３）、その人物に対して人物ＩＤを付加し（ステップ６０４）、その唇領域を抜き出す（ステップ６０５）。ＣＰＵは、人物ＩＤを、ＩＤ同士が衝突しないように割振る。例えば、ＣＰＵは、衝突が起きないという保証が得られるまでＩＤをインクリメントする等して、ＩＤを割振る。

次に、ＣＰＵは、唇の形から母音判定を行い、母音情報を決定する（ステップ６０６）。母音判定処理については後述する。次に、ＣＰＵは、ステップ６０４で算出した人物ＩＤと、ステップ６０６で決定した母音情報と、を関連付けて人物母音テーブル（図５）に格納する（ステップ６０７）。
次に、ＣＰＵは、ステップ６０２で求めた人数から処理した人数を引き、０より大きい場合は（ステップ６０８においてｙｅｓ）、ステップ６０３の処理へ戻り、０の場合は（ステップ６０８においてｎｏ）、ステップ３０１の解析処理を終了する。

次に母音判定処理の一例を説明する。図８は、唇の形から母音判定を行なう処理の一例を示すフローチャートである。
まず、ＣＰＵは、ステップ６０５で取得した唇領域から、唇を含む口の縦の長さＸと、唇を含まない口の縦の長さＹと、口の横の長さＺと、を求める（ステップ２１０１）。次に、ＣＰＵは、予め内部データとして記憶しているテンプレートとなる母音発音時の、唇を含む口の縦の長さと、唇を含まない口の縦の長さと、口の横の長さと、の比率情報を比率情報テーブルから取得する。図９は、比率情報テーブルの一例を示す図である。比率情報テーブルは、例えばＨＤＤ等に格納されている。図１０は、母音発音時の唇の形と、唇を含む口の縦の長さ／唇を含まない口の縦の長さ／口の横の長さと、の関係を示す図である。２３０１が唇を含む口の縦の長さであり、２３０２が唇を含まない口の縦の長さであり、２３０３が口の横の長さである。母音"ａ"の比率をＸａ：Ｙａ：Ｚａとすると、比較対照の唇の形と、"ａ"発音時のテンプレートと、の類似度Ｓａを、ＣＰＵは、
√（Ｘ／Ｙ − Ｘａ／Ｙａ）２＋（Ｙ／Ｚ − Ｙａ／Ｚａ）２＋（Ｚ／Ｘ − Ｚａ／Ｘａ）２
の式で求めることができる。同様にＣＰＵは、類似度Ｓｉ，Ｓｕ，Ｓｅ，Ｓｏを求め（ステップ２１０２）、値の一番小さい類似度を求め、その類似度を計算するのに使用した母音を近似母音とする（ステップ２１０３）。

次にステップ３０２の決定処理の詳細を説明する。図１１は、ステップ３０２の決定処理の一例を示すフローチャートである。まず、ＣＰＵは、ステップ３０１の解析処理で生成した人物‐母音テーブルを取得する（ステップ７０１）。次に、ＣＰＵは、母音情報から子音情報を求める子音推定テーブルを取得する（ステップ７０２）。ここで、図１２は、子音推定テーブルの一例を示す図である。母音情報と子音情報とが対応付けられた子音推定テーブルは、子音情報推定データの一例であり、例えばＨＤＤ等に格納されている。子音推定テーブルは、ある母音に対して何％の確率で子音が選択されるかを示したテーブルである。図１２の例では、母音"ａ"が入力された場合、２％の確率で"Ｋ"が、１％の確率で"Ｓ"が、５％の確率で"Ｔ"が（後省略）母音の後にくる子音として選択されることを示している。

次に、ＣＰＵは、ステップ７０１で取得した人物‐母音テーブルから話し言葉変換処理を行っていない列を一列、取得する（ステップ７０３）。次に、ＣＰＵは、ステップ７０３で取得した人物‐母音テーブルの一列から取得した母音情報と、ステップ７０２で取得した子音推定テーブルと、に基づいて、前記母音情報に対応する子音（子音情報）を決定する（ステップ７０４）。次に、ＣＰＵは、母音情報と、ステップ７０４で決定した子音情報と、を使用して語句に変換する（ステップ７０５）。語句に変換する処理は後述する。

次に、ＣＰＵは、ステップ７０３で取得した人物‐母音テーブルの一列から取得した人物ＩＤと、ステップ７０５で取得した語句と、を人物‐語句テーブル（図６）に保存する（ステップ７０６）。次に、ＣＰＵは、人物‐母音テーブルの全ての列を処理したかどうかを確認し、全ての列の処理が終わっていない場合（ステップ７０７においてｎｏ）、ステップ７０３へ戻る。ＣＰＵは、人物‐母音テーブルの全ての列の処理が終わった場合（ステップ７０７においてｙｅｓ）、ステップ３０２の決定処理を終える。

次にステップ７０５の語句変換処理の詳細を説明する。図１３は、語句変換処理の一例を示すフローチャートである。
まず、ＣＰＵは、ステップ７０４で使用した母音情報と、ステップ７０４で決定した子音情報と、から文字を生成する（ステップ８０１）。次に、ＣＰＵは、図１４に示す修飾文字数決定用テーブルを取得する（ステップ８０２）。図１４は、修飾文字数決定用テーブルの一例を示す図である。修飾文字数決定用テーブルは、例えばＨＤＤ等に格納されている。修飾文字数決定用テーブルは、ステップ８０１で生成した文字に対し、最終的に生成する語句の文字数を決定するための確率を示したテーブルである。ここで、語句とは、一文字、又は複数文字の意味をなさない文字列等を含む。図１４の例の場合、文字が"あ"の場合、５８％の確率で３文字の語句を生成することを示している。
ＣＰＵは、ステップ８０１で生成した文字と、ステップ８０２で取得した修飾文字数決定用テーブルと、に基づいて、修飾文字数を決定する（ステップ８０３）。

次に、ＣＰＵは、修飾文字決定用テーブルを取得する（ステップ８０４）。図１５は、修飾文字決定用テーブルの一例を示す図である。修飾文字決定用テーブルは、例えばＨＤＤ等に格納されている。修飾文字決定用テーブルは、各文字の次に来る文字の確率を示したテーブルである。図１５の例の場合、"あ"の次には７％の確率で"！"が選ばれることを示している。テーブル中の"Ｅｎｄ"は、語句の終わりを示す。
次に、ＣＰＵは、ステップ８０１で生成した文字と、ステップ８０４で取得した装飾文字決定用テーブルと、を使用して修飾文字を決める（ステップ８０５）。ＣＰＵは、決定した修飾文字の文字数がステップ８０２で決定した文字数以内である場合、もしくは修飾文字決定用テーブルで"Ｅｎｄ"以外が選択された場合（ステップ８０６においてｙｅｓ）、ステップ８０５の処理を繰り返す。ＣＰＵは、決定した修飾文字の文字数がステップ８０２で決定した文字数になった場合、もしくはステップ８０５で"Ｅｎｄ"が選択された場合（ステップ８０６においてｎｏ）、ステップ７０５の語句変換処理を終了する。

次にステップ３０３の付加処理の詳細を説明する。図１６は、ステップ３０３の付加処理の一例を示すフローチャートである。まず、ＣＰＵは、ステップ３０１の解析処理で解析した画像と同じ画像を取得する（ステップ１１０１）。次に、ＣＰＵは、ステップ３０２の決定処理で生成した人物‐語句テーブルを取得する（ステップ１１０２）。次に、ＣＰＵは、人物‐語句テーブルから付加処理を行なっていない人物ＩＤを取得する（１１０３）。

次に、ＣＰＵは、ステップ１１０１で取得した画像から、ステップ１１０３で取得した人物ＩＤと合致する人物を選び出し、選び出した人物の口元領域の座標を得る（ステップ１１０４）。人物ＩＤと合致する人物を画像から選び出す方法は、上述のステップ６０３及びステップ６０４処理と同じ処理を行えば、間違いなく該当する人物を選び出せる。
次に、ＣＰＵは、処理を行なっている人物ＩＤに対する言葉が、既に処理済の人物ＩＤの言葉と同じかどうかを人物‐言葉テーブルを用いて判定する（ステップ１１０５）。既に処理済の人物ＩＤの語句と異なる場合（ステップ１１０５においてｎｏ）、ＣＰＵは、語句を入れた吹き出し画像を生成し、顔領域と重ならないように吹き出し画像を合成する位置を決める（ステップ１１０７）。また、ＣＰＵは、吹き出しから吹出し元を口元近くに来るように吹き出し画像を変形する（ステップ１１０７）。そして、ＣＰＵは、吹き出し画像をステップ１１０１で取得した画像に合成する（ステップ１１０７）。吹き出しを生成し合成する技術は、例えば特開２００７−４６７７公報に開示されている技術等を用いることができる。既に処理済の人物ＩＤの語句と同じ場合（ステップ１１０５においてｙｅｓ）、ＣＰＵは、既に画像に合成された同じ語句の吹き出しから吹出し元を処理中の人物ＩＤの口元にも向けるようにする（ステップ１１０６）。図１７は、ステップ１１０６を説明するための図である。

次に、ＣＰＵは、人物‐語句テーブルにまだ処理の終わっていない人物ＩＤがあるかを確認する（ステップ１１０８）。ＣＰＵは、ある場合（ステップ１１０８においてｙｅｓ）、ステップ１１０３へ戻り、無い場合（ステップ１１０８においてｎｏ）、ステップ３０３の付加処理を終了する。

以上、本実施形態によれば、複雑な作業を行わなくても、観賞価値の高いマルチメディアデータを制作可能にすることができる。

＜実施形態２＞
本実施形態のハードウェア構成、システム構成は実施形態１と同じである。
本実施形態では、ＣＰＵは、実施形態１で述べたステップ３０１の解析処理において、人物の唇の形だけでなく、他の情報を画像から取得することにより、実施形態１より観賞価値の高い語句を付加することが可能となる。実施形態２では、ＣＰＵは、画像ヘッダに含まれる場所情報／時間情報と顔領域から計算される人物の年齢情報とを使用するが、画像から得られる情報であればどんな情報でもよい。

実施形態２におけるステップ３０１の解析処理を詳細に述べる。図１８は、ステップ３０１の解析処理の一例を示すフローチャートである。
まず、ＣＰＵは、人物画像を取得する（ステップ１２０１）。次に、ＣＰＵは、取得した人物画像のメタ情報から撮影した場所情報と時間情報とを取得する（ステップ１２０２）。次に、ＣＰＵは、画像中の人数を計算する（ステップ１２０３）。
次に、ＣＰＵは、解析の終わっていない画像の顔領域を取得する（ステップ１２０４）。次に、ＣＰＵは、ステップ１２０４で取得した顔領域の人物ＩＤを計算する（１２０５）。ステップ１２０３、１２０４、１２０５の各処理は、実施形態１の各処理と同じである。

次に、ＣＰＵは、ステップ１２０５で取得した顔情報から年齢を計算する（ステップ１２０６）。計算の方法は、特開２００５−２５０７１２公報で公開されている技術が使用可能である。次に、ＣＰＵは、顔領域より唇領域を取得して（ステップ１２０７）、唇の形から母音判定を行う（ステップ１２０８）。ステップ１２０７、１２０８の各処理は、実施形態１の各処理と同様である。
次に、ＣＰＵは、ステップ１２０２で得られた場所／時間情報と、ステップ１２０５で得られた人物ＩＤと、ステップ１２０６で得られた年齢情報と、ステップ１２０８で得られた母音情報と、を図１９で示す人物情報テーブルに保存する（ステップ１２０９）。図１９は、人物情報テーブルの一例を示す図である。
次に、ＣＰＵは、ステップ１２０３で算出した人数から処理した人数を引き０より大きい場合（ステップ１２１０においてｙｅｓ）、ステップ１２０４の処理へ戻り、０の場合、（ステップ１２１０においてｎｏ）、ステップ３０１の解析処理を終了する。

次に実施形態２におけるステップ３０２の決定処理の詳細を説明する。図２０は、ステップ３０２の決定処理の一例を示すフローチャートである。まず、ＣＰＵは、ステップ３０１の解析処理で生成した人物情報テーブルを取得する（ステップ１４０１）。次に、ＣＰＵは、語句推定テーブルを取得する（ステップ１４０２）。語句推定データの一例である語句推定テーブルは、例えばＨＤＤ等に格納されている。図２１は、語句推定テーブルの一例を示す図である。図２１に示されるように、語句推定テーブルとは、人物情報テーブルの情報（場所・時間・年齢・母音）を語句に変換するためのテーブルである。

次に、ＣＰＵは、人物情報テーブルから処理の終わっていない人物情報を１つ取得する（ステップ１４０３）。次に、ＣＰＵは、取得した人物情報から語句推定テーブルを用いて、語句へ変換する（ステップ１４０４）。次に、ＣＰＵは、ステップ１４０４で求めた語句と、人物ＩＤと、を人物‐語句テーブルに保存する（ステップ１４０５）。人物‐語句テーブルは、例えばＲＡＭに作成される。
図２２は、人物‐語句テーブルの一例を示す図である。次に、ＣＰＵは、人物情報テーブルの全ての人物情報を処理したかどうかを確認し、処理していない場合（Ｓ１４０６においてｎｏ）、ステップ１４０３へ戻り、処理した場合（Ｓ１４０６においてｙｅｓ）、ステップ３０２の決定処理を終了する。

以上、本実施形態によれば、人物の唇の形だけでなく、他の情報を画像から取得することにより、実施形態１より観賞価値の高い語句を付加することが可能となる。
なお、本実施形態では、前記他の情報の一例として、メタ情報の場所／時間情報及び顔領域より計算した年齢を例に説明を行った。しかしながら、前記他の情報の一例として、メタ情報の場所／時間情報だけであってもよいし、顔領域より計算した年齢だけあってもよい。

＜実施形態３＞
本実施形態のハードウェア構成、システム構成は実施形態１と同じである。
本実施形態では、実施形態１及び実施形態２で述べたステップ３０２の決定処理において、ＣＰＵは、複数の選択肢をユーザーへ提示し、ユーザーの指示により画像を修飾する語句を決定することを可能にする。
実施形態３におけるステップ３０２の決定処理の詳細を説明する。図２３は、ステップ３０２の決定処理の一例を示すフローチャートである。まず、ＣＰＵは、語句集を取得する（ステップ１７０１）。語句集とは画像を装飾する語句を集めたものである。各語句には、ステップ３０１の解析処理で解析対象となっている要素（母音、年齢、場所、時間等）が結び付けられている。

次に、ＣＰＵは、ステップ３０１の解析処理で得た人物情報テーブルを取得する（ステップ１７０２）。次に、ＣＰＵは、人物情報テーブルの中で処理の終わっていない人物情報を取得する（ステップ１７０３）。次に、ＣＰＵは、その人物に対してコメントを自動付加するか、ユーザー選択にするかをユーザーへ問い合わせる（ステップ１７０４）。ユーザーの選択操作等に基づいて、ＣＰＵが、自動付加と判定した場合（ステップ１７０４においてｙｅｓ）、語句集と人物情報とから語句を決定する（ステップ１７０５）。この処理は、ステップ１４０４と同じ処理である。

ユーザーの選択操作等に基づいて、ＣＰＵが、ユーザー選択と判定した場合（ステップ１７０４においてｎｏ）、語句集と人物情報とから、語句候補を複数選び出し、語句候補一覧を作成する（ステップ１７０６）。ステップ１７０６については後述する。そして、ＣＰＵは、作成した語句候補一覧を含む画面等を表示し、前記画面等を介したユーザーの選択操作等に基づいて語句を決定する（ステップ１７０７）。図２４は、ステップ１７０６、１７０７の処理に使用するユーザーインターフェースの一例を示す図である。
語句が決定した後、ＣＰＵは、人物ＩＤと語句とを人物‐語句テーブルに保存する（ステップ１７０８）。次に、ＣＰＵは、人物情報テーブルの中で未処理の人物がある場合（ステップ１７０９においてｎｏ）、ステップ１７０３へ戻り、全ての人物の処理が終了した場合（ステップ１７０９においてｙｅｓ）、ステップ３０２の決定処理を終える。

図２５は、語句集の一例を示す図である。語句集には、語句と各語句に関連する情報とが含まれている。語句集は、例えばＨＤＤ等に格納されている。ＣＰＵは、ステップ１７０３で取得した人物情報のうち全てを満たす語句をこの語句集を使用して決定する。例えば、人物情報の年齢が"１１"、母音が"ａ"であった場合、語句集の中から年齢情報部分で"１１"が該当し、かつ母音情報部分で"ａ"が該当する語句が全て選択される。図にある一覧の場合、このケースでは、"がんばれ〜"と"最高です"が選択される。

以上、本実施形態によれば、複数の選択肢をユーザーへ提示し、ユーザーの指示により画像を修飾する語句を決定することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ ＰＣ：１０２ プリンタ

Claims (15)

1. 入力された人物画像を解析し、人物画像中より顔領域を検出し、検出した顔領域の唇の形から母音情報を決定する解析手段と、
   前記解析手段で決定された母音情報と、母音情報と子音情報とが対応付けられた子音情報推定データと、に基づいて前記解析手段で決定された母音情報に対応する子音情報を決定し、前記解析手段で決定された母音情報と、前記決定した子音情報と、に基づいて、語句を決定する決定手段と、
   前記決定手段で決定した語句を前記人物画像に付加する付加手段と、
   を有する、情報処理装置。
2. 入力された人物画像を解析し、人物画像中より顔領域を検出し、検出した顔領域より人物の年齢を計算する解析手段と、
   前記解析手段で取得されたメタ情報及び前記解析手段で計算された年齢及び前記解析手段で決定された母音情報と、メタ情報と年齢と母音情報と語句とが対応付けられた語句推定データと、に基づいて、前記解析手段で取得されたメタ情報及び前記解析手段で計算された年齢及び前記解析手段で決定された母音情報に対応する語句を決定する決定手段と、
   前記決定手段で決定した語句を前記人物画像に付加する付加手段と、
   を有する、情報処理装置。
3. 前記付加手段は、前記決定手段で決定された語句を含む吹き出し画像を前記人物画像に付加する、請求項１又は２記載の情報処理装置。
4. 入力された人物画像に複数の人物が写っており、前記決定手段で決定された語句が複数の人物で同じ場合、前記付加手段は、前記語句を含む吹き出し画像の吹き出し元が、前記複数の人物の人物画像の口にくるよう、前記吹き出し画像を付加する、請求項３記載の情報処理装置。
5. 前記解析手段は、前記人物画像のメタ情報を取得し、前記人物画像中より顔領域を検出し、検出した顔領域の唇の形から母音情報を決定し、
   前記決定手段は、前記解析手段で取得されたメタ情報及び前記解析手段で決定された母音情報と、メタ情報と母音情報と語句とが対応付けられた語句推定データと、に基づいて、前記解析手段で取得されたメタ情報及び前記解析手段で決定された母音情報に対応する語句を決定する、請求項１記載の情報処理装置。
6. 前記決定手段は、前記解析手段での解析の結果と、前記語句推定データと、に基づいて、語句候補の一覧を作成し、ユーザーに提示し、ユーザーの選択に基づいて、語句を決定する、請求項５記載の情報処理装置。
7. 入力された人物画像を解析し、人物画像中より顔領域を検出し、検出した顔領域の唇の形から母音情報を決定する解析ステップと、
   前記解析ステップで決定された母音情報と、母音情報と子音情報とが対応付けられた子音情報推定データと、に基づいて前記解析ステップで決定された母音情報に対応する子音情報を決定し、前記解析ステップで決定された母音情報と、前記決定した子音情報と、に基づいて、語句を決定する決定ステップと、
   前記決定ステップで決定した語句を前記人物画像に付加する付加ステップと、
   を含む、情報処理方法。
8. 入力された人物画像を解析し、人物画像中より顔領域を検出し、検出した顔領域より人物の年齢を計算する解析ステップと、
   前記解析ステップで取得されたメタ情報及び前記解析ステップで計算された年齢及び前記解析ステップで決定された母音情報と、メタ情報と年齢と母音情報と語句とが対応付けられた語句推定データと、に基づいて、前記解析ステップで取得されたメタ情報及び前記解析ステップで計算された年齢及び前記解析ステップで決定された母音情報に対応する語句を決定する決定ステップと、
   前記決定ステップで決定した語句を前記人物画像に付加する付加ステップと、
   を含む、情報処理方法。
9. 前記付加ステップでは、前記決定ステップで決定された語句を含む吹き出し画像を前記人物画像に付加する、請求項７又は８記載の情報処理方法。
10. 入力された人物画像に複数の人物が写っており、前記決定ステップで決定された語句が複数の人物で同じ場合、前記付加ステップでは、前記語句を含む吹き出し画像の吹き出し元が、前記複数の人物の人物画像の口にくるよう、前記吹き出し画像を付加する、請求項９記載の情報処理方法。
11. 前記解析ステップでは、前記人物画像のメタ情報を取得し、前記人物画像中より顔領域を検出し、検出した顔領域の唇の形から母音情報を決定し、
    前記決定ステップでは、前記解析ステップで取得されたメタ情報及び前記解析ステップで決定された母音情報と、メタ情報と母音情報と語句とが対応付けられた語句推定データと、に基づいて、前記解析ステップで取得されたメタ情報及び前記解析ステップで決定された母音情報に対応する語句を決定する、請求項７記載の情報処理方法。
12. 前記決定ステップでは、前記解析ステップでの解析の結果と、前記語句推定データと、に基づいて、語句候補の一覧を作成し、ユーザーに提示し、ユーザーの選択に基づいて、語句を決定する、請求項１１記載の情報処理方法。
13. コンピュータを、
    入力された人物画像を解析し、人物画像中より顔領域を検出し、検出した顔領域の唇の形から母音情報を決定する解析手段と、
    前記解析手段で決定された母音情報と、母音情報と子音情報とが対応付けられた子音情報推定データと、に基づいて前記解析手段で決定された母音情報に対応する子音情報を決定し、前記解析手段で決定された母音情報と、前記決定した子音情報と、に基づいて、語句を決定する決定手段と、
    前記決定手段で決定した語句を前記人物画像に付加する付加手段と、
    して機能させるプログラム。
14. コンピュータを、
    入力された人物画像を解析し、人物画像中より顔領域を検出し、検出した顔領域より人物の年齢を計算する解析手段と、
    前記解析手段で取得されたメタ情報及び前記解析手段で計算された年齢及び前記解析手段で決定された母音情報と、メタ情報と年齢と母音情報と語句とが対応付けられた語句推定データと、に基づいて、前記解析手段で取得されたメタ情報及び前記解析手段で計算された年齢及び前記解析手段で決定された母音情報に対応する語句を決定する決定手段と、
    前記決定手段で決定した語句を前記人物画像に付加する付加手段と、
    して機能させるプログラム。
15. 請求項１３又は１４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images