JP4710550B2 - 画像におけるコメントレイアウト - Google Patents

Description

本発明は、コメントを入力するコメント画像を、対象画像に配置するコメントレイアウト技術に関する。

従来から、デジタルスチルカメラなどの撮像機器で撮影した複数の画像を、パーソナルコンピュータ上で編集し、アルバムを製作するソフトウェアやウェブサイトなどがある。こうしたソフトウェア等では、ユーザが選択した撮影画像を、所定のレイアウトに配置し、画像毎にコメントを付したり、所定の表示を付けたりすることができる。例えば、撮影画像毎に表示するコメントとして、画像の撮影日や場所情報などを付したアルバムを作成する技術が知られている（例えば、特許文献１）。かかるアルバム作成技術によれば、ユーザは、手間をかけずにアルバムを作成することができる。

特開２００３−８５２６５号公報 特開２０００−２９２８５３号公報 特開２００１−４３３４５号公報 特開平６−１２１３３２号公報 特開２００５−１６５４４７号公報 特開平８−２４９４５３号公報 特開平５−４６７４３号公報

こうしたアルバムの作成技術を用いても、ユーザにとって煩雑な編集作業が必要となる場合があった。例えば、人物を撮影した画像等においては、撮影時の会話の内容や、画像から想像される複数の人物の間でのやり取りなどをコメントとして画像に配置して、当該画像を演出したい場合がある。このような場合には、画像内の人物が発言しているように見せる「吹き出し」を利用するが、「吹き出し」の形態は、例えば、画像中における人物の感情等を考慮して、ユーザが指定する必要があった。こうした吹き出しの形態を決定して、配置する作業は、レイアウトする画像毎に行なわなければならず、ユーザにとっては手間となる作業であった。

本発明は、上記の課題を解決するためになされたものであり、画像に応じてコメントを付与する際におけるユーザの負担を軽減することを目的とする。

上記課題を解決するために、本発明の第１の態様は、コメントを表示するためのコメント画像を、人物の顔を被写体とする対象画像に配置するコメントレイアウト装置を提供する。本発明の第１の態様に係るコメントレイアウト装置は、画像データ取得部と、画像領域認識部と、特徴推定部と、形態決定部と、コメント配置部と、を備える。前記画像データ取得部は、前記対象画像の画像データを取得する。前記画像領域認識部は、前記画像データを解析して、前記対象画像における前記人物の顔の画像領域を認識する。前記特徴推定部は、前記人物の顔の画像領域に対応する画像データを解析して、前記人物の顔の特徴を推定する。前記形態決定部は、前記特徴の推定結果を用いて、前記コメント画像の形態を決定する。前記コメント配置部は、前記決定された形態を有する前記コメント画像を、前記対象画像に対応付けて配置する。

本発明のコメントレイアウト装置によれば、被写体である人物の特徴の推定結果を用いて、コメント画像の形態を決定する。したがって、被写体である人物の特徴に応じたコメント画像が自動的に選択・配置されるので、コメント画像の配置のためのユーザの作業を軽減することができる。

本発明の第１の態様に係るコメントレイアウト装置において、推定される前記人物の顔の特徴は、前記人物の顔の表情を含んでも良く、前記人物の年齢および／または性別を含んでも良い。こうすれば、表情、年齢、性別に応じて、コメント画像の形態が決定されるので、より適切なコメント画像の形態を決定することができる。

本発明の第１の態様に係るコメントレイアウト装置において、前記人物の顔の写りの程度を含んでも良い。こうすれば、人物の顔の写りを考慮して、コメント画像の形態が決定されるので、より適切なコメント画像の形態を決定することができる。

本発明の第１の態様に係るコメントレイアウト装置において、前記表情推定部は、前記人物の顔の特徴の推定結果を、前記人物の顔の特徴の程度をベクトル空間において表現した特徴ベクトルとして出力し、前記形態決定部は、前記特徴ベクトルの値に応じて、前記コメント画像の形態を決定しても良い。こうすれば、特徴ベクトルの値に応じて、よりきめ細かにコメント画像の形態を決定することができる。

本発明の第１の態様に係るコメントレイアウト装置において、決定される前記コメント画像の形態は、前記コメント画像の形状および／または大きさを含んでも良く、前記コメント画像の色彩を含んでも良く、前記コメント画像に記述されるテキストの形態を含んでも良い。

本発明の第１の態様に係るコメントレイアウト装置において、前記画像領域認識部は、さらに、認識された前記人物の顔の画像領域の、前記対象画像における位置および／または大きさに関する領域情報を出力し、前記コメント配置部は、前記領域情報を考慮して、前記コメント画像を配置しても良い。こうすれば、コメント画像が、人物の顔の画像中における位置等に応じて、配置されるので、ユーザによる位置調整操作などの作業を低減することができる。

本発明は、種々の形態で実現することが可能であり、アルバム作成装置、アルバム作成サーバなどの装置発明としての態様の他、例えば、コメントレイアウト方法、アルバム作成方法などの方法発明として実現することができる。さらに、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ／ＲＡＭ、光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。

Ａ．実施例：
・画像処理装置の構成：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、実施例に係るアルバム作成装置、コメントレイアウト装置として機能する画像処理装置（パーソナルコンピュータ）２００を示す説明図である。この装置を用いることにより、ユーザは、保有する画像が所定のレイアウトに配置されたアルバムを作成することができる。

画像処理装置２００は、ＣＰＵ２１０と、ＲＯＭやＲＡＭなどの内部記憶装置２２０と、ハードディスクドライブに代表される外部記憶装置２４０と、表示部２６０と、マウスやキーボードなどの操作部２７０と、インタフェース部（Ｉ／Ｆ部）２９０と、を備えている。Ｉ／Ｆ部２９０は、外部に設けられた種々の機器との間でデータ通信を行う。例えば、Ｉ／Ｆ部２９０は、デジタルカメラ３５０から画像データを受け取る。また、Ｉ／Ｆ部２９０は、インクジェットプリンタなどの印刷装置３００に対して、作成されたアルバムを表すアルバム画像データを出力する。

外部記憶装置２４０には、吹き出しデータベース２４２と、表情推定データベース２４４と、属性推定データベース２４６と、画像データフォルダ２４８とが、格納されている。

画像データフォルダ２４８は、デジタルカメラ３５０などの撮像機器で撮影した複数の画像データが格納されている。画像データフォルダ２４８に格納された画像データは、例えば、Ｅｘｉｆ形式で構成されており、ＪＰＥＧ形式に圧縮された画像データ本体の他、画像を撮影した日時、場所の情報、あるいは、コメント情報など、画像に関連した付属情報を備えている。例えば、撮像機器がＧＰＳ機能を備えている場合には、経度、緯度で表わされる場所情報が付加され、また、携帯電話であれば、基地局の情報として地名などのテキスト形式のコメント情報が付加されている。

表情推定データベース２４４と、属性推定データベース２４６は、それぞれ後述する対象画像に関する表情ベクトルの算出、および、対象画像に関する属性ベクトルの算出に用いられるデータを格納している。表情推定データベース２４４および属性推定データベース２４６に格納されるデータについては、表情ベクトルの算出、および、属性ベクトルの算出について説明する際に詳述する。

図２〜３を参照して、吹き出しデータベース２４２について説明する。図２は、吹き出しデータベース２４２に含まれるテーブル２４２１の一例を示す概念図である。図３は、吹き出し画像の一例を示す概念図である。吹き出しデータベース２４２には、吹き出し画像データと、テーブル２４２１とが格納されている。吹き出し画像データは、吹き出し画像を表す画像データである。ここで、吹き出し画像とは、作成されるアルバムに組み込まれる画像（対象画像）に付与されるコメントを表示するための画像である。

図２に示すように、テーブル２４２１には、吹き出し画像の形態が、対応する表情ベクトル（ｘ、ｙ、ｚ）の範囲および属性ベクトル（ａ、ｂ）の範囲と関連付けられて、記録されている。吹き出し画像の形態は、形状、色彩、フォント（テキストの形態）の３つの項目に分けて、記録されている。吹き出し画像の形状は、例えば、ＴｙｐｅＡ〜ＴｙｐｅＤというように、複数種類の形状が用意される。例えば、ＴｙｐｅＡの吹き出し画像は、図３（ａ）に示すようなギザギザ形状の吹き出し画像Ｋａ、ＴｙｐｅＢの吹き出し画像は、図３（ｂ）に示すような略四角形状の吹き出し画像Ｋｂ、ＴｙｐｅＣの吹き出し画像は、図３（ｃ）に示すような略雲型形状の吹き出し画像Ｋｃ、ＴｙｐｅＤの吹き出し画像は、図３（ｄ）に示すような丸型形状の吹き出し画像Ｋｄである。吹き出し画像の色彩は、吹き出し画像の内部の色、すなわち、吹き出し画像の略中央付近に記述されるコメント（テキスト）の背景となる色である。吹き出し画像の色彩として、テーブル２４２１には、例えば図２に示すように、「赤」「青」「水色」などが記録されている。吹き出し画像のフォントは、吹き出し画像に記述されるコメントに用いられるフォントである。吹き出し画像のフォントとして、テーブル２４２１には、例えば図２に示すように、「太字」「丸文字」「アンダーライン」などが記録されている。

表情ベクトル（ｘ、ｙ、ｚ）、および、属性ベクトル（ａ、ｂ）の成分値は、それぞれ、−１．０〜１．０の範囲の値をとる。表情ベクトル（ｘ、ｙ、ｚ）において、成分値ｘは、人物の顔の表情の程度として、喜怒の程度を示す値である。成分値ｘの値が小さい程、怒りの程度が大きい表情であることを表し、値が大きい程、喜びの程度が大きい表情であることを表す。表情ベクトル（ｘ、ｙ、ｚ）において、成分値ｙは、人物の顔の表情の程度として、哀楽の程度を示す値である。成分値ｙの値が小さい程、悲しみの程度が大きい表情であることを表し、値が大きい程、楽しみの程度が大きい表情であることを表す。表情ベクトル（ｘ、ｙ、ｚ）において、成分値ｚは、人物の顔の表情の程度として、写真写りの好悪の程度を示す値である。成分値ｚの値が小さい程、写真写りの悪いことを表し、値が大きい程、写真写りが良いことを表す。ここでいう写真写りは、目つぶりの有無や、歯の見えの有無など、人物の顔の表情そのものに起因する要素と、合焦状態、白飛びの程度など、画質に起因する要素とを含む。

属性ベクトル（ａ、ｂ）において、成分値ａは、人物の顔の属性として、年齢を示す値である。成分値ａの値が小さい程、人物の顔が若いことを表し、値が大きい程、人物の顔が老いていることを表す。例えば、ａ＝−１．０は、推定年齢０歳に、ａ＝０は、推定年齢４０歳に、ａ＝１．０は、推定年齢８０歳以上に、それぞれ、対応する。属性ベクトル（ａ、ｂ）において、成分値ｂは、人物の顔の属性として、性別を示す値である。成分値ｂの値が小さい程、人物の顔が女性である可能性が高いことを表し、値が大きい程、人物の顔が男性である可能性が高いことを表す。

図１に戻って説明を続ける。内部記憶装置２２０には、アルバム作成部２３０として機能するコンピュータプログラムが格納されている。なお、アルバム作成部２３０の機能は、ＣＰＵ２１０がコンピュータプログラムを実行することによって実現される。

アルバム作成部２３０は、主だった機能部として、画像データ取得部２３１と、画像配置部２３２と、画像領域認識部２３３と、特徴推定部２３４と、吹き出し形態決定部２３５と、吹き出し配置部２３６と、テキスト取得部２３７と、を含んでいる。特徴推定部２３４は、さらに、サブ機能部として、表情推定部２３４１と、属性推定部２３４２を含んでいる。

・アルバム作成部２３０の処理：
図４〜図１１を参照して、上述したアルバム作成部２３０の各機能部によって実行される一連の処理について説明する。本処理によって、画像処理装置２００は、アルバム作成装置およびコメントレイアウト装置として機能する。図４は、アルバム作成部によって実行される一連の処理の処理ルーチンを示すフローチャートである。図５は、コメントレイアウト処理の処理ルーチンを示すフローチャートである。図６は、対象画像の一例を示す説明図である。図７は、画像領域の認識結果の一例を示す第１の説明図である。図８は、画像領域の認識結果の一例を示す第２の説明図である。図９は、特徴ベクトル算出の概要を示す説明図である。図１０は、エッジ量の算出を説明するための説明図である。図１１は、コメントレイアウト処理の結果の一例を示す第１の説明図である。図１２は、コメントレイアウト処理の結果の一例を示す第２の説明図である。

アルバム作成部２３０の画像データ取得部２３１は、処理対象の画像（対象画像）を表す画像データを取得する（ステップＳ１０２）。例えば、画像データ取得部２３１は、ユーザによって選択された対象画像を表す画像データを、画像データフォルダ２４８から取得する。なお、画像データの選択は、所定の条件に合致するものを選択する手法であっても良い。例えば、ユーザは、アルバムを作成したい画像の選択条件として、撮影日時、位置情報、コメント情報などを、操作部２７０によって指示する。撮影日時が指示された場合には、画像データ取得部２３１は、その撮影日時が付された画像データを選択する。こうすることで、ユーザは、所望の画像データを簡単に選択することができる。

続いて、アルバム作成部２３０の画像配置部２３２は、選択された画像データが表す対象画像をアルバムとして配置する画像レイアウトを決定する（ステップＳ１０４）。具体的には、画像配置部２３２は、アルバムの一ページにおける対象画像の配置を示す複数種類のレイアウトの雛形の中から、ユーザの指示に従って、画像レイアウトを決定する。

画像レイアウトに対象画像が配置されると、アルバム作成部２３０のアルバム作成部２３０は、コメントレイアウト処理を実行する（ステップＳ１０６）。コメントレイアウト処理は、画像レイアウト（アルバム）上に配置された対象画像に対するコメント画像として、上述した吹き出し画像を対象画像上に配置する処理である。コメントレイアウト処理は、アルバム上の各対象画像に対して、繰り返し実行される。コメントレイアウト処理は、アルバム作成部２３０の画像領域認識部２３３と、特徴推定部２３４と、吹き出し形態決定部２３５と、吹き出し配置部２３６とによって、実行される処理である。

コメントレイアウト処理が開始されると、アルバム作成部２３０の画像領域認識部２３３は、対象画像を表す画像データを解析して、対象画像における人物の顔の画像領域（顔領域）を認識する。具体的には、画像領域認識部２３３は、対象画像における顔領域の位置、および、面積（大きさ）を認識する（ステップＳ２０２）。図６には、対象画像の一例として、２つの人物の顔Ｆ１、Ｆ２を被写体の一部とする対象画像Ｐが示されている。対象画像Ｐに対して、本ステップの処理が実行されると、図７に示すように、人物の顔Ｆ１に対応する顔領域Ａ１の重心Ｇ１の座標および顔領域Ａ１の面積が算出される。同様に、人物の顔Ｆ２に対応する顔領域Ａ２の重心Ｇ２の座標および顔領域Ａ２の面積が算出される。顔領域Ａ１、Ａ２の認識には、周知の画像処理技術が用いられる。例えば、画像領域認識部２３３は、ＲＧＢで表現される画像データを、輝度成分Ｙ、色差成分Ｃｂ、Ｃｒで表現されるＹＣｂＣｒの色空間に変換し、所定の閾値内の色差成分を持つ画素を肌色領域として抽出し、抽出した肌色領域に基づいて顔領域Ａ１、Ａ２を認識する。また、画像領域認識部２３３は、ニューラルネットワークを用いたマッチングにより、顔認識を行なっても良い。

続いて、画像領域認識部２３３は、対象画像中に被写体として人物の顔が在るか否かを判断する（ステップＳ２０４）。具体的には、画像領域認識部２３３は、ステップＳ２０２において、１つ以上の顔領域が認識された場合には、対象画像中に顔が在ると判断する（ステップＳ２０４：ＹＥＳ）。一方、画像領域認識部２３３は、ステップＳ２０２において、１つの顔領域も認識されなかった場合には、対象画像中に顔がないと判断する（ステップＳ２０４：ＮＯ）。

画像領域認識部２３３は、対象画像中に顔がないと判断すると（ステップＳ２０４：ＮＯ）、コメントレイアウト処理を終了する。コメントの配置は、人物の顔を被写体とする画像を対象とする処理であるからである。一方、画像領域認識部２３３は、対象画像中に顔が在ると判断すると（ステップＳ２０４：ＹＥＳ）、認識された顔領域がいくつあるか判断し、複数の顔領域が認識されている場合に、面積比率が所定値以下である顔領域を処理の対象から除外する（ステップＳ２０６）。すなわち、本ステップにおいて、画像領域認識部２３３は、吹き出し画像を配置する顔領域を判別している。具体的には、画像領域認識部２３３は、認識された複数の顔領域の中から面積が最大の顔領域を選定し、これに対する各顔領域の面積比率を算出する。この比率が所定閾値よりも小さい場合（本実施例では、３０％よりも小さい場合）には、画像領域認識部２３３は、その顔領域をコメントレイアウト処理の対象から除外する。

図８には、一の対象画像の中に、複数の顔領域が認識された例が示されている。図示するように、対象画像Ｐに対して、６つの顔領域が認識されたとする。画像領域認識部２３３は、この中で最も面積が大きい顔領域Ａ１を選定し、他のすべての顔領域Ａ２，Ａ３，・・について、上述した面積比率を算出する。例えば、顔領域Ａ２の面積比率は、（顔領域Ａ２の面積）／（顔領域Ａ１の面積）×１００（％）となる。図８に示す例では、算出された面積比率が３０％よりも小さい顔領域Ａ２，Ａ３・・については、処理の対象から除外され、顔領域Ａ１のみが、コメントレイアウト処理の対象とされる。こうした相対的な面積比率の評価を行なうことにより、例えば、市街地などの雑踏で撮影された対象画像における背景の通行人を、処理の対象から除外することができる。

続いて、アルバム作成部２３０は、処理の対象とされた顔領域の個数が所定の閾値より少ないか否かを判断する（ステップＳ２０８）。なお、本実施例では所定の閾値を５個に設定している。

アルバム作成部２３０は、処理対象の顔領域の個数が閾値より少ないと判断すると（ステップＳ２０８：ＹＥＳ）、各顔領域に、１つずつコメント画像を配置するための処理（ステップＳ２１０〜Ｓ２１６）に移る。一方、アルバム作成部２３０は、処理対象の顔領域の個数が閾値以上であると判断すると（ステップＳ２０８：ＮＯ）、対象画像全体に、１つのコメント画像を配置するための処理（ステップＳ２１８〜Ｓ２２４）に移る。

まず、各顔領域に、１つずつコメント画像を配置するための処理について説明する。アルバム作成部２３０の特徴推定部２３４は、処理対象の各顔領域に対応する人物の顔について特徴ベクトルの算出を行う。ここで、特徴ベクトルは、人物の顔の特徴の程度をベクトル空間で表現したものであり、上述した属性ベクトルおよび表情ベクトルを含む概念である。具体的には、特徴推定部２３４の属性推定部２３４２は、対象画像の画像データのうち、各顔領域に対応する画像データを解析して、属性ベクトル（ａ、ｂ）を算出する（ステップＳ２１０）。

属性ベクトルの算出、すなわち、顔画像に基づく、年齢および性別の評価を行う手法は、様々な周知の手法を用いることができる。本実施例では、予め年齢・性別の異なる複数の人物から取得された複数の人物の顔の特徴情報を、取得した人物の年齢・性別情報と対応付けて、属性推定データベース２４６に記憶しておく。そして、属性推定部２３４２は、対象画像の各顔領域に対応する画像データを解析して、各顔領域に対応する人物の顔の特徴情報（対象特徴情報）を算出する。そして、属性推定部２３４２は、属性推定データベース２４６に記憶された各特徴情報と、対象特徴情報との類似度をそれぞれ算出する。属性推定部２３４２は、算出された複数の類似度と、属性推定データベース２４６の各特徴情報に対応付けられた年齢・性別情報とを用いて、各顔領域に対応する人物の顔の年齢・性別を評価する。ここで、算出された評価値は、上述した属性ベクトル（ａ、ｂ）として出力される。なお、年齢および性別の評価を行う手法の詳細は、特開２００５−１６５４４７号公報に記載されている。

処理対象の各顔領域について、それぞれ属性ベクトル（ａ、ｂ）が算出されると、特徴推定部２３４の表情推定部２３４１は、もう１つの特徴ベクトルとして、上述した表情ベクトル（ｘ、ｙ、ｚ）を、処理対象の各顔領域について、それぞれ算出する（ステップＳ２１２。表情ベクトル（ｘ、ｙ、ｚ）の算出は、上述した属性ベクトル（ａ、ｂ）と同様に、対象画像の画像データのうち、各顔領域に対応する画像データを解析して、行われる。

表情ベクトルの算出、すなわち、顔画像に基づく、表情の認識を行う手法は、様々な周知の手法を用いることができる。まず、表情ベクトル（ｘ、ｙ、ｚ）のうち、喜怒を表す成分値ｘの算出手法の例について説明する。本実施例では、表情の程度が段階的に変化する複数の顔画像（表情参照画像）が、対応する表情ベクトルの成分値ｘと対応付けられて、表情推定データベース２４４に記憶されている。図９には、表情ベクトル（ｘ、ｙ、ｚ）の成分値ｘ（喜怒の程度を表す）と対応付けられて記憶されている複数の表情参照画像が、概念的に示されている。表情推定部２３４１は、処理対象の顔領域に対応する画像データ（顔画像）と各参照画像との類似度を、それぞれ算出し、最も類似している表情参照画像と対応付けられている成分値ｘの値を、当該顔領域の表情ベクトル値（ｘ、ｙ、ｚ）の成分値ｘの値とする。

なお、表情ベクトル（ｘ、ｙ、ｚ）のうち、哀楽を表す成分値ｙの算出手法は、成分値ｘの算出手法と同様であるので、その説明を省略する。なお、これらの喜怒哀楽の段階的な変化をベクトルとして算出する手法の詳細は、特開２００１−４３３４５号公報に記載されている。

表情ベクトル（ｘ、ｙ、ｚ）のうち、写真の写りの程度を表す成分値ｚの算出手法について説明する。表情推定部２３４１は、処理対象の顔領域に対応する顔画像が、いわゆる目つむり画像であるか否かを判定する。また、表情推定部２３４１は、処理対象の顔領域に対応する顔画像について、露出状態および合焦状態を評価する。

具体的には、目つむり画像であるか否かの判定は、顔領域において、瞳と略同形状の丸い形状をした領域が、瞳が在ると想定される位置領域内に２つ在るか否かを検出することによって実行される。目つむり画像であるか否かの判定の詳細は、特開２０００−２９２８５２号公報に記載されている。

処理対象の顔領域の露出状態の評価は、様々な周知の手法を用いることができ、例えば、いわゆる白飛び画素が顔領域に占める割合ＷＲ、および、いわゆる暗画素が顔領域に占める割合ＢＲを算出することによって、実行される。白飛び画素は、ＨＳＢ色空間において予め定められた低彩度、かつ、高明度の所定の色域（白色近傍の色域）に属する画素値を有する画素を意味する。暗画素は、ＨＳＢ色空間において予め定められた低彩度、かつ、低明度の所定の色域（黒色近傍の色域）に属する画素値を有する画素を意味する。白飛び画素の割合が大きい場合には、その顔領域は、いわゆる露出オーバーで撮影されており、写真写りはあまり良くないと判断できる。暗画素の割合が大きい場合には、その顔領域は、いわゆる露出アンダーあるいは逆光で撮影されており、写真写りは、あまり良くないと判断できる。

処理対象の顔領域の合焦状態の評価は、様々な周知の手法を用いることができ、例えば、処理対象の顔領域内の画素のエッジ量ＥＡを合焦状態に関する評価値として用いることができる。処理対象の顔領域のエッジ量ＥＡが大きいほど、その顔領域の合焦状態が良い（ピントが合っている）ことを表しており、エッジ量ＥＡが小さいほど、その顔領域の合焦状態が悪い（ピントが合っていない）ことを表している。顔領域のエッジ量ＥＡは、例えば、顔領域に含まれる全ての画素位置におけるエッジ量ＥＧの平均値が用いられ得る。画素位置におけるエッジ量ＥＧは、その画素位置における輝度値の変化の大きさを示す値である。画素位置におけるエッジ量ＥＧは、その画素位置の近傍における各画素の輝度値の差分を用いることができる。このような差分の計算方法としては、様々な方法を用いることができ、例えば、Ｐｒｅｗｉｔｔオペレータを用いることができる。図１０に示すように、複数の画素がＸ軸方向と、それと直行するＹ軸方向とに沿って配置され、さらに、Ｐ（ｉ，ｊ）が、Ｘ軸に沿ってｉ番目、Ｙ軸に沿ってｊ番目の画素の輝度値を表すとする。この場合、Ｐｒｅｗｉｔｔオペレータによる、画素位置（ｉ，ｊ）におけるエッジ量ＥＧ（ｉ，ｊ）のは以下の式を用いて算出される。

上述した目つむりの判定結果、露出状態の評価値ＷＲ、ＢＲ、および、合焦状態の評価値ＥＡを用いて、表情ベクトル（ｘ、ｙ、ｚ）の成分値ｚの値は、例えば、以下の式を用いて算出される。
ｚ＝−ｃ×ＭＴ−ｄ×ＷＲ−ｅ×ＢＲ＋ｆ×ＥＡ＋ｇ …（２）

ここで、ＭＴは、目つむりの判定結果を表し、例えば、目つむり画像である場合には、ＭＴ＝１、目つむり画像でない場合には、ＭＴ＝０とされる。また、ｃ、ｄ、ｅ、ｆ、ｇは、定数であり、ｚの値が−１．０〜１．０の範囲で、適切に写真写りの好悪を表すように、経験的に定められる。

以上説明した手法を用いて、処理対象の顔領域の全てについて、それぞれ、属性ベクトル（ａ、ｂ）および表情ベクトル（ｘ、ｙ、ｚ）が算出される。ここで、図６に示す対象画像Ｐにおける人物の顔Ｆ１に対応する顔領域Ａ１（図７）ついては、属性ベクトル＝（０．５、−０．９）、表情ベクトル（−０．９、０、０）と算出されたとする。この属性ベクトルの値は、人物の顔Ｆ１は、４０歳程度の中年の女性であると推定されることを表している。また、この表情ベクトルの値は、人物の顔Ｆ１は、怒りの表情が強く、哀楽の表情はなく、写真写りは普通であると推定されることを表している。また、図６に示す対象画像Ｐにおける人物の顔Ｆ２に対応する顔領域Ａ２（図７）ついては、属性ベクトル＝（０．１、０．９）、表情ベクトル（０、０、０）と算出されたとする。この属性ベクトルの値は、人物の顔Ｆ２は、１０歳前後の男の子であると推定されることを表している。また、この表情ベクトルの値は、人物の顔Ｆ２は、喜怒哀楽の無い表情であり、写真写りは普通であると推定されることを表している。無表情な顔は、眠そうな顔であると推定される。

処理対象の顔領域の全てについて、それぞれ、特徴ベクトル（属性ベクトルおよび表情ベクトル）が算出されると、アルバム作成部２３０の吹き出し形態決定部２３５は、算出された特徴ベクトルに応じて、各顔領域、すなわち、対象画像の被写体である各人物の顔について、配置される吹き出し画像の形態を決定する（ステップＳ２１４）。具体的には、吹き出し形態決定部２３５は、上述した吹き出しデータベース２４２に記憶されたテーブル２４２１（図２）を参照して決定される。例えば、対象画像Ｐ（図６）における人物の顔Ｆ１に配置される吹き出し画像の形態は、形状がＴｙｐｅＡ（ギザギザ形状）、色彩が赤色、フォントは太字と決定される（図２の最上段を参照）。一方、対象画像Ｐ（図６）における人物の顔Ｆ２に配置される吹き出し画像の形態は、形状がＴｙｐｅＣ（雲型形状）、色彩が白色、フォントは通常と決定される（図２の上から６段目を参照）。

さらに、吹き出し形態決定部２３５は、吹き出し画像の形態として、吹き出し画像の大きさを決定する。具体的には、吹き出し形態決定部２３５は、（｜ｘ｜＋｜ｙ｜）の値、すなわち、喜怒哀楽の程度の大きさが大きい程、吹き出し画像の大きさを大きく、（｜ｘ｜＋｜ｙ｜）の値が小さい程、吹き出し画像の大きさを小さく設定する。

処理対象の顔領域の全てについて、配置される吹き出し画像の形態が決定されると、アルバム作成部２３０の吹き出し配置部２３６は、各顔領域の位置、すなわち、対象画像の被写体である各人物の顔の位置に応じて、吹き出し画像を配置する（ステップＳ２１６）。配置される吹き出し画像は、前ステップＳ２１４において決定された形態の吹き出し画像である。図１１には、具体例として、対象画像Ｐに配置された吹き出し画像ＫａおよびＫｃが示されている。吹き出し画像が配置されると、コメントレイアウト処理は終了される。

次に、上述した、対象画像全体に、１つのコメント画像を配置するための処理（ステップＳ２１８〜Ｓ２２４）の説明に移る。図１２には、一の対象画像において、閾値以上の数の顔領域が、処理対象として認識される場合の一例が示されている。図示するように、対象画像Ｐ内には５つの人物の顔Ｆ１〜Ｆ５が存在しており、最も面積が大きい人物の顔Ｆ１に対する各顔Ｆ２〜Ｆ５の面積比率は３０％以上である。従って、ステップＳ２０６において５つの顔Ｆ１〜Ｆ５に対応する顔領域の全てが処理対象である顔領域として認識される。この場合には、処理対象の顔領域の個数が５個以上となるため、対象画像Ｐの全体に、一つの吹き出し画像を配置する処理が行われる。各顔に対応して、５つの吹き出し画像が配置されると、配置が複雑となると共に、全体として煩雑な印象を受ける。こうした場合に、１つの吹き出し画像を配置することで、適切なコメントの入力領域を確保することができる。

なお、本実施例では、図１２に示すように、対象画像Ｐの上側（対象画像Ｐの領域外）で、かつ、右よりの位置に、吹き出し画像が配置される。こうした吹き出し画像の配置位置は、予めデフォルト値として設定されている。

具体的には、まず、属性推定部２３４２は、全ての顔領域の平均属性ベクトルを算出する（ステップＳ２１８）。具体的には、属性推定部２３４２は、５つの顔領域のそれぞれについて上述した属性ベクトル（ａ、ｂ）を算出し、それらの各成分値の平均値を成分値とする平均属性ベクトルを算出する。

表情推定部２３４１は、全ての顔領域の平均表情ベクトルを算出する（ステップＳ２２０）。具体的には、表情推定部２３４１は、５つの顔領域のそれぞれについて上述した表情ベクトル（ｘ、ｙ、ｚ）を算出し、それらの各成分値の平均値を成分値とする平均表情ベクトルを算出する。

ここで、図１２に示す対象画像Ｐの平均属性ベクトル＝（０．１、０．９）、平均表情ベクトル（０．３、０．３、０．３）と算出されたとする。この平均属性ベクトルの値は、５つの人物の顔Ｆ１〜Ｆ５は、平均年齢１０歳の男の子のグループであると推定されることを表している。また、この平均表情ベクトルの値は、５つの人物の顔Ｆ１〜Ｆ５は、平均すれば、穏やかな笑顔であり、写真写りは比較的良いと推定されることを表している。

そして、吹き出し形態決定部２３５は、算出された平均表情ベクトルおよび平均属性ベクトルに応じて、配置される吹き出し画像の形態を決定する（ステップＳ２２２）。例えば、対象画像Ｐ（図１２）に配置される吹き出し画像の形態は、形状がＴｙｐｅＤ（略丸型形状）、色彩が水色、フォントは通常と決定される（図２の上から７段目を参照）。吹き出し配置部２３６は、決定された形態の吹き出し画像を、画像全体からでる吹き出し画像として、対象画像Ｐの上述した所定位置に配置する（ステップＳ２２４）。吹き出し画像が配置されると、コメントレイアウト処理は終了される。

図４に戻って説明を続ける。アルバム作成部２３０のテキスト取得部２３７は、ユーザによって入力されるコメントの内容（テキスト）を取得する。取得されたコメントの内容は、コメント画像の形態の一部として決定されたフォントを用いて、コメント画像上に記述される。この結果、図１１および図１２に示すようなテキスト入りのコメント画像が配置された画像を含むアルバムが完成される。完成されたアルバムは、表示部２６０に表示される（ステップＳ１０８）。

アルバム作成部２３０は、ユーザの指示に応じて、出力処理を実行し（ステップＳ１１０）、一連のアルバム作成処理を終了する。表示部２６０上に表示されたアルバムを見たユーザは、これを印刷する指示、再度編集する指示、あるいは、保存する指示など、種々の出力処理を指令する。例えば、印刷する指示がなされた場合には、アルバム作成部２３０は、印刷データを生成して印刷装置３００に出力する。こうして所望のアルバムが用紙に印刷される。

以上説明した画像処理装置２００によれば、対象画像に応じて、自動的に吹き出し画像を配置する。したがって、アルバムの作成、特に、コメント入力用の吹き出し画像の配置のためにユーザが実行すべき作業を低減または廃止することができる。

具体的には、対象画像の被写体である人物の顔の特徴の推定結果を用いて、コメント画像の形態が決定される。すなわち、対象画像の被写体である人物の表情、性別、年齢、写真写りを推定し、推定結果に基づいて、コメントの形態が決定される。従って、ユーザがコメント画像の選択・配置などの煩雑な作業をすることなく、被写体である人物の表情、性別、年齢、写真写りが考慮された適切な形態のコメント画像を、対象画像に配置することができる。

また、人物の特徴の推定は、特徴の程度を数値化した特徴ベクトル（属性ベクトルおよび表情ベクトル）を算出することによって行われるので、よりきめ細かにコメント画像の形態を決定することができる。

さらに、画像処理装置２００は、対象画像における顔領域の重心および面積を算出し、これらを考慮して、対象画像の適切な位置に、コメント画像を自動的に配置する。したがって、コメント画像が、人物の顔の画像中における位置等に応じて、配置されるので、ユーザによるコメント画像の位置決め作業を低減または廃止することができる。

また、顔領域の面積比率を用いて、主要な人物の顔の被写体のみを処理対象とするので、例えば、背景に多数の人物が写っている対象画像であっても、対象画像に応じて適切なコメント画像を配置することができる。

Ｂ．変形例：
・第１変形例：
本実施例では、スタンドアローンの画像処理装置２００が、コメントレイアウト装置、アルバム作成装置として機能するものとしたが、ネットワーク上の所定のサーバに、コメントレイアウト装置およびアルバム作成装置を配置することができる。図１３は、第１変形例に係るアルバム作成装置、および、コメントレイアウト装置として機能する画像処理装置２００を含むコンピュータシステムを示す説明図である。

第１変形例に係るコンピュータシステムは、画像処理装置２００と、ユーザの端末である端末計算機５００とを含む。画像処理装置２００と端末計算機５００とは、インターネットＩＮＴを介して接続されている。第１変形例に係る画像処理装置２００は、実施例に係る画像処理装置２００と異なり、表示部２６０、操作部２７０を備えていない。第１変形例に係る画像処理装置２００における他の構成（例えば、アルバム作成部２３０）は、図１を参照して説明した実施例に係る画像処理装置２００と同一であるので、図１３において図１と同一の符号を付し、その説明を省略する。

端末計算機５００は、ＣＰＵ５１０と、ＲＯＭやＲＡＭなどの内部記憶装置５２０と、表示部５６０と、マウスやキーボードなどの操作部５７０と、Ｉ／Ｆ部５９０と、を備えている。内部記憶装置５２０には、ブラウザ５２５が格納されている。端末計算機５００は、ブラウザ５２５を介して、画像処理装置２００のアルバム作成部２３０が提供するサービスを受けることができる。

画像処理装置２００は、画像データを格納するための画像データフォルダ２４８を端末計算機５００に対して提供するサービスを行っている。端末計算機５００のユーザは、端末計算機５００を用いて、画像処理装置２００にアクセスすることにより、大量の自己の画像データを、画像処理装置２００の画像データフォルダ２４８に格納することができる。さらに、画像処理装置２００は、アルバム作成部２３０を用いて、端末計算機５００のユーザのためにアルバムを作成するサービスを提供している。端末計算機５００のユーザは、端末計算機５００を用いて、画像処理装置２００にアクセスすることにより、アルバム作成部２３０を操作して、自己の撮影画像（例えば、画像データフォルダ２４８に格納されている画像データの画像）を含むアルバムを作成することができる。アルバム作成のための処理は、本質的に上述した実施例における処理と同一であるので、説明は省略する。

第１変形例に係るコンピュータシステムによれば、端末計算機５００のユーザは、端末計算機５００にブラウザ５２５がインストールされてさえいれば、画像処理装置２００にアクセスして、画像データの保存や、オリジナルアルバムの作成を容易に行うことができる。

・その他の変形例：
本実施例では、顔認識処理により、画像内における顔領域に対応して吹き出し画像を配置するものとしたが、顔領域に限らず、顔領域から判別できる人物の画像全体から吹き出し画像を出すものであっても良い。

本実施例では、アルバム作成における吹き出し画像の配置を例としているが、Ｌ版などの写真用紙に印刷する場合に、コメントレイアウト処理を用いることもできる。係る場合には、顔領域の位置、面積を認識し、顔領域に重ならない対象画像内の領域にコメント画像を配置するものとすれば良い。勿論、他の顔領域の有無などを考慮して、コメント画像を配置するものとして良い。

本実施例では、コメント画像として、代表的な形状の吹き出し画像を例に説明したが、コメント画像の形状はこれらに限られるものではない。

上記実施例および変形例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えてもよい。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

実施例に係るアルバム作成装置コメントレイアウト装置として機能する画像処理装置を示す説明図。 吹き出しデータベースに含まれるテーブルの一例を示す概念図。 吹き出し画像の一例を示す概念図。 アルバム作成部によって実行される処理ルーチンを示すフローチャート。 コメントレイアウト処理の処理ルーチンを示すフローチャート。 対象画像の一例を示す説明図。 画像領域の認識結果の一例を示す第１の説明図。 画像領域の認識結果の一例を示す第２の説明図。 特徴ベクトル算出の概要を示す説明図。 エッジ量の算出を説明するための説明図。 コメントレイアウト処理の結果の一例を示す第１の説明図。 コメントレイアウト処理の結果の一例を示す第２の説明図。 第１変形例に係るアルバム作成装置およびコメントレイアウト装置として機能する画像処理装置を含むコンピュータシステムを示す説明図。

符号の説明

２００…画像処理装置
２１０…ＣＰＵ
２２０…内部記憶装置
２３０…アルバム作成部
２３１…画像データ取得部
２３２…画像配置部
２３３…画像領域認識部
２３４…特徴推定部
２３４１…表情推定部
２３４２…属性推定部
２３５…吹き出し形態決定部
２３６…吹き出し配置部
２３７…テキスト取得部
２４０…外部記憶装置
２４２…吹き出しデータベース
２４２１…テーブル
２４４…表情推定データベース
２４６…属性推定データベース
２４８…画像データフォルダ
２６０…表示部
２７０…操作部
２９０…Ｉ／Ｆ部
３００…印刷装置
３５０…デジタルカメラ
５００…端末計算機
５１０…ＣＰＵ
５２０…内部記憶装置
５２５…ブラウザ
５６０…表示部
５７０…操作部
５９０…Ｉ／Ｆ部

Claims (12)

1. コメントを表示するためのコメント画像を、人物の顔を被写体とする対象画像に配置するコメントレイアウト装置であって、
   前記対象画像の画像データを取得する画像データ取得部と、
   前記画像データを解析して、前記対象画像における前記人物の顔の画像領域を認識する画像領域認識部と、
   前記人物の顔の画像領域に対応する画像データを解析して、前記対象画像における位置および／または大きさと、前記人物の顔の写りの程度を含む前記人物の顔の特徴を推定する特徴推定部と、
   前記特徴の推定結果を用いて、前記コメント画像の形態を決定する形態決定部と、
   前記決定された形態を有する前記コメント画像を、前記対象画像に対応付けて配置するコメント配置部と、
   を備える、コメントレイアウト装置。
2. コメントを表示するためのコメント画像を、人物の顔を被写体とする対象画像に配置するコメントレイアウト装置であって、
   前記対象画像の画像データを取得する画像データ取得部と、
   前記画像データを解析して、前記対象画像における前記人物の顔の画像領域を認識する画像領域認識部と、
   前記人物の顔の画像領域に対応する画像データを解析して、前記対象画像における位置および／または大きさを含む前記人物の顔の特徴を推定する特徴推定部と、
   前記特徴の推定結果を用いて、前記コメント画像の形態を決定する形態決定部と、
   前記決定された形態を有する前記コメント画像を、前記対象画像に対応付けて配置するコメント配置部と、
   を備え、
   前記特徴推定部は、前記人物の顔の特徴の推定結果を、前記人物の顔の特徴の程度をベクトル空間において表現した特徴ベクトルとして出力し、
   前記形態決定部は、前記特徴ベクトルの値に応じて、前記コメント画像の形態を決定する、コメントレイアウト装置。
3. 請求項１または請求項２に記載のコメントレイアウト装置において、
   推定される前記人物の顔の特徴は、前記人物の顔の表情を含む、コメントレイアウト装置。
4. 請求項１ないし請求項３のいずれかに記載のコメントレイアウト装置において、
   推定される前記人物の顔の特徴は、前記人物の年齢および／または性別を含む、コメントレイアウト装置。
5. 請求項１ないし請求項４のいずれかに記載のコメントレイアウト装置において、
   決定される前記コメント画像の形態は、前記コメント画像の形状および／または大きさを含む、コメントレイアウト装置。
6. 請求項１ないし請求項５のいずれかに記載のコメントレイアウト装置において、
   決定される前記コメント画像の形態は、前記コメント画像の色彩を含む、コメントレイアウト装置。
7. 請求項１ないし請求項６のいずれかに記載のコメントレイアウト装置において、
   決定される前記コメント画像の形態は、前記コメント画像に記述されるテキストの形態を含む、コメントレイアウト装置。
8. 請求項１ないし請求項７のいずれかに記載のコメントレイアウト装置において、
   前記画像領域認識部は、さらに、認識された前記人物の顔の画像領域の、前記対象画像における位置および／または大きさに関する領域情報を出力し、
   前記コメント配置部は、前記領域情報を考慮して、前記コメント画像を配置する、コメントレイアウト装置。
9. コメントを表示するためのコメント画像を、人物の顔を被写体とする対象画像に配置するコメントレイアウト方法であって、
   前記対象画像の画像データを取得し、
   前記画像データを解析して、前記対象画像において、被写体である前記人物の顔の画像領域を認識し、
   前記人物の顔の画像領域に対応する画像データを解析して、前記対象画像における位置および／または大きさと、前記人物の顔の写りの程度を含む前記人物の顔の特徴を推定し、
   前記特徴の推定結果を用いて、前記コメント画像の形態を決定し、
   前記決定された形態を有する前記コメント画像を、前記対象画像に対応付けて配置する、コメントレイアウト方法。
10. コメントを表示するためのコメント画像を、人物の顔を被写体とする対象画像に配置するコメントレイアウト方法であって、
    前記対象画像の画像データを取得し、
    前記画像データを解析して、前記対象画像において、被写体である前記人物の顔の画像領域を認識し、
    前記人物の顔の画像領域に対応する画像データを解析して、前記対象画像における位置および／または大きさを含む前記人物の顔の特徴を推定し、
    前記人物の顔の特徴の推定結果を、前記人物の顔の特徴の程度をベクトル空間において表現した特徴ベクトルとして出力し、
    前記特徴ベクトルの値に応じて、前記コメント画像の形態を決定し、
    前記決定された形態を有する前記コメント画像を、前記対象画像に対応付けて配置する、コメントレイアウト方法。
11. コメントを表示するためのコメント画像を、人物の顔を被写体とする対象画像に配置するコメントレイアウト装置を制御するコンピュータプログラムであって、
    前記対象画像の画像データを取得する機能と、
    前記画像データを解析して、前記対象画像において、被写体である前記人物の顔の画像領域を認識する機能と、
    前記人物の顔の画像領域に対応する画像データを解析して、前記対象画像における位置および／または大きさと、前記人物の顔の写りの程度を含む前記人物の顔の特徴を推定する機能と、
    前記特徴の推定結果を用いて、前記コメント画像の形態を決定する機能と、
    前記決定された形態を有する前記コメント画像を、前記対象画像に対応付けて配置する機能と、
    をコンピュータに実現させるコンピュータプログラム。
12. コメントを表示するためのコメント画像を、人物の顔を被写体とする対象画像に配置するコメントレイアウト装置を制御するコンピュータプログラムであって、
    前記対象画像の画像データを取得する機能と、
    前記画像データを解析して、前記対象画像において、被写体である前記人物の顔の画像領域を認識する機能と、
    前記人物の顔の画像領域に対応する画像データを解析して、前記対象画像における位置および／または大きさを含む前記人物の顔の特徴を推定し、前記人物の顔の特徴の推定結果を、前記人物の顔の特徴の程度をベクトル空間において表現した特徴ベクトルとして出力する機能と、
    前記特徴ベクトルの値に応じて、前記コメント画像の形態を決定する機能と、
    前記決定された形態を有する前記コメント画像を、前記対象画像に対応付けて配置する機能と、
    をコンピュータに実現させるコンピュータプログラム。

Images