JP5874982B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像を処理する画像処理装置、画像処理方法及びプログラムに関する。

一般に、デジタルカメラなどの撮像装置は、撮影時にその撮影日時の年月日情報や撮影場所の位置情報を取得して、その画像ファイルのＥｘｉｆ（Exchangeable Image File Format）情報として付加して記録保存するようにしている。更に、従来では、撮影画像内の人物の顔を認識してその顔から人物を特定し、その人物の名前及び年齢を撮影画像内の人物に関連付けておくことによって、その撮影画像の再生時に画像内の各人物に対応付けてその名前及び年齢を表示するようにした技術が開示されている（特許文献１参照）。

特開２００９−１１０１４７号公報

しかしながら、上述の特許文献の技術は、画像内の各人物に対応付けてその名前及び年齢を表示することによって、誰が何歳の時に撮影した画像であるかを知ることができたとしても、その画像を観る人が親族であるか他人であるかに拘わらず、その付加情報を一律に表示することは、形式的であって面白みに欠けたり、理解されなかったり、親しみ易さがなかったりする、などの問題が残る。このことは、画像を観る他に、付加情報に基づく何らかの処理を行う場合も同様の問題がある。

本発明の課題は、画像内の人物をその画像に対する処理の主体との関係において適切に特定できるようにすることである。

上述した課題を解決するために本発明の画像処理装置は、
所定の人物を視点とした複数の人物の続柄を表す第１のデータベースと、不特定の人物の相関関係に応じた続柄を定義する第２のデータベースと、を記憶する人物記憶手段と、
画像内の人物の顔に基づいてその人物を認識する認識手段と、
画像に対する処理の主体となる人物を決定する決定手段と、
前記決定手段によって決定された主体となる人物を視点として、前記認識手段によって認識された人物の続柄を、前記第１のデータベースと、前記第２のデータベースと、に基づいて特定する特定手段と、
を備えたことを特徴とする画像処理装置である。

上述した課題を解決するために本発明の画像処理方法は、
所定の人物を視点とした複数の人物の続柄を表す第１のデータベースと、不特定の人物の相関関係に応じた続柄を定義する第２のデータベースと、を記憶する人物記憶手段を備える画像処理装置が実行する画像処理方法であって、
画像内の人物の顔に基づいてその人物を認識するステップと、
画像に対する処理の主体となる人物を視点として、前記認識された人物の続柄を、前記第１のデータベースと、前記第２のデータベースと、に基づいて特定するステップと、
を含むことを特徴とする画像処理方法である。

上述した課題を解決するために本発明のプログラムは、
所定の人物を視点とした複数の人物の続柄を表す第１のデータベースと、不特定の人物の相関関係に応じた続柄を定義する第２のデータベースと、を記憶する人物記憶手段を備える画像処理装置制御するコンピュータに対して、
画像内の人物の顔に基づいてその人物を認識する機能と、
画像に対する処理の主体となる人物を決定する機能と、
前記決定された主体の人物を視点として、前記認識された人物の続柄を、前記第１のデータベースと、前記第２のデータベースと、に基づいて特定する機能と、
を実現させるためのプログラムである。

本発明によれば、画像内の人物をその画像に対する処理の主体との関係において適切に特定することができる。

画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。 名前データベースｄ１を説明するための図。 人物関係データベースｄ２を説明するための図。 関連解析基礎データベースｄ３を説明するための図。 （１）、（２）は、画像再生時にその画像に対する処理の主体を視点として、その画像内の各人物がどのような人物関係にあるかを示す情報（続柄）を各人物に対応付けて付加表示（識別表示）した場合を例示した図。 名前データベースｄ１及び人物関係データベースｄ２への登録処理を示したフローチャート。 再生モードで人物関係付加表示機能が指定された際に実行開始されるフローチャート。 図７の動作に続くフローチャート。 主体決定処理（図７のステップＢ３）を詳述するためのフローチャート。 （１）は、主体（Ａ又はＦ）に応じた人物関係を例示した図、（２）、（３）は、主体（Ａ又はＣ）の場合にその人物関係に応じて取得した文字列（続柄）を例示した図。 （１）、（２）は、人物関係を付加表示する場合の具体例を示した図。

以下、図１〜図１１を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、図１は、この画像処理装置（デジタルカメラ）の基本的な構成要素を示したブロック図である。
このデジタルカメラは、静止画像のほかに動画像の撮影も可能なデジタルコンパクトカメラであり、画像を撮影する撮像機能、現在日時やタイマ時間を計時する計時機能、記録保存している撮影済み画像（保存画像）を任意に読み出して再生する画像再生機能、画像内の人物の顔からその人物を認識する顔認識機能などのほか、本実施形態では人物関係付加表示機能を備えている。

この顔認識機能は、画像を解析して人物の顔を認識することでその人物を特定する機能であり、このような顔認識機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その説明は省略する。人物関係付加表示機能は、撮影画像の再生時にその画像に対する処理の主体（本実施形態では画像を観る主体）を視点として、その画像内の各人物がどのような関係にあるかを示す情報（例えば、親族であれば、続柄を示す文字列）を画像内の各人物に対応付けて付加表示（識別表示）する機能である。

制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図６〜図９に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリｍ１と、このデジタルカメラが動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリｍ２と、撮影済み画像を記録保存する画像メモリｍ３のほか、後述する名前データベースｄ１、人物関係データベースｄ２、関連解析基礎データベースｄ３を有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側における記憶領域を含むものであってもよい。

操作部４は、図示省略したが、撮影可能な状態とする撮影モードと撮影画像を再生する再生モードを任意に切り替えるモード変更キーと、撮影開始を指示するシャッタキーと、撮影パラメータ設定キーなどを備えている。制御部１は、この操作部４から操作キーに対応して出力される入力操作信号に応じて、例えば、モード変更処理、撮影処理、撮影条件の設定処理などを行う。表示部５は、高精細液晶ディスプレイあるいは有機ＥＬ（Electro Luminescence）ディスプレイで、ライブビュー画像を表示するモニタ画面となったり、撮影画像を再生する再生画面となったりする。なお、操作部４と表示部５とによってタッチパネル及び表示パネルを備えたタッチ表示部を構成するようにしてもよい。

撮像部６は、光学レンズからの被写体画像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に静止画撮影することが可能なもので、撮影レンズ、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。この撮像部６によって撮影された画像は、その画像のサイズを縮小することによって圧縮（可逆圧縮）してファイル化する画像圧縮処理が施された後に、記憶部３に記録保存される。

図２は、人物関係付加表示機能で使用する名前データベースｄ１を説明するための図である。
名前データベースｄ１は、複数の人物（グループを構成する各人物）の個々に対応してその個人情報（人物情報）を記憶するもので、「ＩＤ」、「名前」、「年齢」、「顔画像・特徴データ」の各項目を有し、その内容は予めユーザ操作によって操作部４から任意に入力されて登録されたものである。ここで、図示の例では、複数の人物（親族）を構成する各人の個人情報（人物情報）を記憶した場合で、「ＩＤ」は、人物識別情報であり、図示の例では“Ａ”、“Ｂ”、…、が人物ＩＤとして登録されている。

「名前」は、その人物の氏名（実名）である。「年齢」は、操作部４から予め入力された生年月日情報に基づいて算出した現時点での実年齢であり、制御部１は、その「年齢」の更新処理を定期的（例えば、１日毎）に実行するようにしている。「顔画像・特徴」は、本人の顔画像と共にその画像を解析して得られた顔の特徴情報であり、顔認識時に照合用として参照される基本情報である。なお、制御部１は、「顔画像・特徴」のうち最初に特徴情報で照合した結果、人物を認識することができなかった場合にその顔画像で再度照合するようにしている。

図３は、人物関係付加表示機能で使用する人物関係データベースｄ２を説明するための図である。
人物関係データベースｄ２は、上述の名前データベースｄ１内に記憶されている複数の人物の相関関係を定義するもので、その内容は予めユーザ操作により任意に入力されて登録されたものである。図示の例は、複数の人物として親族を例示した場合で、その親族の相関関係（親族の構成）をどのようなデータ構造で定義するかは任意である。図３（１）〜（３）は、親族の相関関係をツリー構造（階層構造）で示した相関図を示し、制御部１は、画像を観る主体となる人物を視点として、その画像内の人物との関係（人物関係：続柄）を人物関係データベースｄ２に定義されている複数の人物（親族）の相関関係（親族の構成）に基づいて特定するようにしている。なお、図中、黒塗りの円形は、主体となる人物（Ａ）を示している（以下、同様）。

図３（１）は、基準となる人物（ＩＤ：Ａ、男）を視点とした場合において、人物（ＩＤ：Ｂ、女）は人物（Ａ）の妻、人物（ＩＤ：Ｃ、男）は人物（Ａ）の息子、人物（ＩＤ：Ｄ、女）は人物（Ｃ）の妹であることを示した相関図である。同様に、図３（２）は、基準となる人物Ｂ（女）を視点とした場合に、人物（Ｃ）は人物（Ｂ）の息子、人物（Ｄ）は人物（Ｃ）の妹であることを示した相関図である。図３（３）は、基準となる人物Ａ（男）を視点とした場合に、人物（Ｂ）は人物（Ａ）の妻、人物（Ｃ）は人物（Ａ）の息子、人物（Ｄ）は人物（Ｃ）の妹、人物（Ｅ）は人物（Ｄ）の弟であることを示した相関図である。

図４は、人物関係付加表示機能で使用する関連解析基礎データベースｄ３を説明するための図である。
関連解析基礎データベースｄ３は、名前データベースｄ１内の各人物の「名前」に代わって呼ばれる続柄の一般定義を記憶するデータベースであり、名前データベースｄ１内の複数の人物（親族）において、基準となる人物を視点として、他の人物との関係（続柄）を示す文字列（人物関係を示す情報）を記憶している。すなわち、基準となる人物が誰かに応じて続柄の呼び方が異なるために、例えば、“妻の逆は夫”、“息子の逆は父”、…、“妻の父は義父”、…、“父の妻は母”、“父の父は祖父”…、を記憶している。

また、同じ視点でもその主体の年齢によって続柄の呼び方（表現形式）が異なるように、例えば、“父”＝“お父さん”、“祖父”＝“お爺ちゃん”、…などを記憶している（図示省略）。例えば、１８歳未満の場合には、その主体にとってどのような関係にある人物であるかを理解し易い表現又は親しみ易い表現となるような文字列を記憶している。制御部１は、画像再生時にその画像を観る主体を視点として、その画像内の各人物がどのような人物関係にあるかを、人物関係データベースｄ２を参照することによって特定した場合に、その相関関係に応じた続柄を示す文字列を関連解析基礎データベースｄ３から読み出すようにしている。

図５は、人物関係付加表示機能を実行した場合の表示例を示した図である。
すなわち、画像再生時にその画像を観る主体を視点として、その画像内の各人物がどのような人物関係（続柄）にあるかを示す情報を各人物に対応付けて付加表示（識別表示）した場合を例示した図である。制御部１は、画像再生時にその画像を観る主体となる人物を決定するようにしているが、その際、ユーザ操作によって入力指定された人物を主体として決定したり、撮像部６でユーザ自身を撮影した画像内の人物を主体として決定したりするようにしている。

図５（１）は、主体が人物（Ａ）の場合の表示例で、人物（Ｂ）の続柄として“妻”、人物（Ｃ）の続柄として“息子”が付加表示された場合である。この場合、続柄の付加表示（識別表示）は、背景用の矩形枠内に続柄の文字列を配置し、この矩形枠を画像内に合成するようにしたもので、人物の顔を避けてその身体内に合成配置した場合を例示している。図５（２）は、主体が人物（Ｃ）の場合の表示例で、人物（Ｂ）の続柄として“母”、人物（Ｃ）の続柄として“僕”が付加表示された場合である。この場合、図５（１）と同様に、続柄の付加表示（識別表示）は、矩形枠を画像内に合成するようにしたものであるが、人物全体（全身）を避けてその人物に対応付けて近接配置した場合を例示している。

なお、図５（１）、（２）の表示例では、矩形枠の下地の色（背景色）として、例えば、白色又は黒色などのように予め決められた色に統一するようにしている。また、上述の例では、背景用の矩形枠を配置する場合を示したが、続柄を示す文字列を画像内に直接合成するようにしてもよく、続柄を示す文字列を画像に直接配置する際には、その配置位置の画像色とのコントラストに応じて文字列の色を決定するようにしている。このように本実施形態においては、背景用の矩形枠内に続柄の文字列を配置する識別表示を行うのか、矩形枠を使用せずにその文字列を画像内に直接合成する識別表示を行うのかを任意に指定可能としている。また、矩形枠を使用した識別表示が指定された場合には、更に、矩形枠を顔以外の身体に合成配置するのか、身体以外の他の位置に合成配置するのかを任意に指定可能としている。

このように本実施形態において画像処理装置（デジタルカメラ）は、複数の人物（親族）の相関関係（親族の構成）を記憶する人物記憶手段（人物関係データベースｄ２）と、画像内の人物の顔に基づいてその人物を認識する認識手段（制御部１、名前データベースｄ１）と、画像に対する処理の主体（画像を観る主体）となる人物を決定する決定手段（制御部１、操作部４又は撮像部６）と、この決定手段によって決定された主体の人物を視点として、認識手段によって認識された人物との人物関係（続柄）を複数の人物の相関関係に基づいて特定する特定手段（制御部１、人物関係データベースｄ２）と、を備える構成となっている。

次に、本実施形態における画像処理装置（デジタルカメラ）の動作概念を図６〜図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図６〜図９は、カメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図６〜図９のフローのいずれから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図６は、名前データベースｄ１及び人物関係データベースｄ２への人物登録処理を示したフローチャートであり、メニュー画面の中から「人物登録処理」の項目が選択指定された際に実行開始される。
先ず、制御部１は、人物（親族）を撮影した画像を撮像部６から取得し（ステップＡ１）、その画像をファイル化して画像メモリｍ３（例えば、ＳＤカード）に記録保存（ステップＡ２）した後、その画像を解析し、いずれか一人の人物の顔を処理対象として特定してその顔画像を抽出すると共に、更にその顔画像を解析して輪郭、目、鼻、口などの特徴データを検出する（ステップＡ３）。

そして、検出した顔画像、特徴データに基づいて名前データベースｄ１の「顔画像・特徴」を参照し、基本的に同一（特徴的に同一）の「顔画像・特徴」が登録されているか、つまり、登録済みであるかを調べる（ステップＡ４）。「顔画像・特徴」が登録済みであれば（ステップＡ４でＹＥＳ）、その「顔画像・特徴」に今回新たに検出した顔画像・特徴データを上書きすることによってその内容を更新する処理（ステップＡ５）を行った後、その画像内に未処理の他の顔があるかを調べ（ステップＡ１１）、未処理の他の顔が残っていれば（ステップＡ１１でＹＥＳ）、上述のステップＡ３に戻り、その顔画像を抽出してその解析を行う。

いま、「顔画像・特徴」が登録済みでなければ（ステップＡ４でＮＯ）、新規登録の有無を問い合わせる画面を表示する（ステップＡ６）。この状態において、ユーザ操作で新規登録が指示されたかを調べ（ステップＡ７）、新規登録が指示されなければ（ステップＡ７でＮＯ）、上述のステップＡ１１に移るが、新規登録が指示されたときには（ステップＡ７でＹＥＳ）、今回検出した顔画像、特徴データを名前データベースｄ１に追加登録する（ステップＡ８）。

更に、その人物の個人情報（人物情報）として操作部４からその名前及び生年月日が入力されると（ステップＡ９）、制御部１は、その生年月日から年齢を算出して、名前データベースｄ１の「名前」、「年齢」に追加登録する（ステップＡ１０）。そして、画像内に未処理の他の顔があるかを調べ（ステップＡ１１）、未処理の他の顔が残っていれば（ステップＡ１１でＹＥＳ）、上述のステップＡ３に戻り、上述の動作を繰り返す。また、画像内に未処理の他の顔が残っていなければ（ステップＡ１１でＮＯ）、名前データベースｄ１への登録終了が指示されたかを調べ（ステップＡ１２）、その終了が指示されなければ（ステップＡ１２でＮＯ）、最初のステップＡ１に戻り、次の撮影画像を取得して、以下、上述の動作を繰り返す。

名前データベースｄ１への登録終了が指示されたときには（ステップＡ１２でＹＥＳ）、人物関係データベースｄ２への登録処理に移る（ステップＡ１３〜Ａ１５）。すなわち、人物関係データベースｄ２に基づいて人物の相関関係をツリー構造の相関図として定義した入力画面を表示する（ステップＡ１３）。ここで、ツリー構造の相関図内において今回新規に追加登録した人物の位置を指定したり、名前又はＩＤを入力したりすることによって、その新規登録した人物の相関関係が入力されると（ステップＡ１４）、その入力を反映した相関図を人物関係データベースｄ２に上書きすることでその内容を更新登録する処理を行う（ステップＡ１５）。その後、図６のフローから抜ける。

図７及び図８は、再生モードにおいて人物関係付加表示機能が指定された際に実行開始されるフローチャートである。
先ず，制御部１は、画像を観る主体は決定済みであるかを調べ（図７のステップＢ１）、主体が決定済みでなければ（ステップＢ１でＮＯ）、主体決定処理（ステップＢ３）に移るが、主体が決定済みであれば（ステップＢ１でＹＥＳ）、その主体の変更がユーザ操作によって指示されたかを調べる（ステップＢ２）。ここで、主体の変更が指示されたときには（ステップＢ２でＹＥＳ）、主体決定処理に移る（ステップＢ３）。

図９は、主体決定処理（図７のステップＢ３）を詳述するためのフローチャートである。
先ず、制御部１は、主体は親族内か、つまり、複数の人物（親族）の相関関係（親族の構成）内に属する人物を主体とすることがユーザ操作によって指示されたかを調べ（ステップＣ１）、親族内の人物が主体として指定されなければ（ステップＣ１でＮＯ）、他人を主体として決定する（ステップＣ２）。また、親族内の人物が主体として指示されたときには（ステップＣ１でＹＥＳ）、その主体を自動決定することがユーザ操作により指示されたかを調べる（ステップＣ３）。

自動決定が指示されたときには（ステップＣ３でＹＥＳ）、主体となる人物を撮影するために撮像部６を起動し（ステップＣ４）、その撮影画像を取得して画像内の顔を解析してその特徴を検出し、その検出結果（顔画像、特徴データ）に基づいて名前データベースｄ１を参照し、その顔の人物を主体として決定する（ステップＣ５）。また、主体の自動決定が指示されなければ（ステップＣ３でＮＯ）、名前データベースｄ１の「名前」を一覧表示し（ステップＣ６）、その一覧画面からユーザ操作によって選択された名前の人物を主体として決定する（ステップＣ７）。このようにして決定した主体をワークメモリｍ２に一時記憶（ステップＣ８）した後、図９のフローから抜ける。

このような主体決定処理（図７のステップＢ３）が終わると、上述のステップＢ１に戻る。いま、主体が決定済みであり（ステップＢ１でＹＥＳ）、かつその変更も指示されなければ（ステップＢ２でＮＯ）、上述の主体決定処理でワークメモリｍ２に一時記憶されている主体を読み出しておく（ステップＢ４）。そして、画像一覧画面を表示し（ステップＢ５）、その一覧画面の中から表示対象の画像がユーザ操作によって任意に選択されると（ステップＢ６）、その選択画像内の各人物の顔を検出し（ステップＢ７）、その検出結果（顔画像、特徴データ）に基づいて名前データベースｄ１を参照し、各人物をそれぞれ特定する（ステップＢ８）。

次に、図８のフローに移り、上述の主体決定処理（図７のステップＢ３）によって決定した主体は親族であるかを調べ（ステップＢ９）、親族以外の他人が主体であれば（ステップＢ９でＮＯ）、上述のステップＢ８で特定した各人物の「名前」の文字列（例えば、○○太郎、○○花子、○○一郎、○○優子など）を名前データベースｄ１から読み出し取得する（ステップＢ１０）。そして、後述する表示処理（ステップＢ１５〜Ｂ１８）に移る。また、主体が親族であれば（ステップＢ９でＹＥＳ）、上述のステップＢ８で特定した各人物に基づいて人物関係データベースｄ２を参照し、主体を視点として、各人物との人間関係を特定する（ステップＢ１１）。例えば、図１０（１）に示すように、主体（基準Ａ）の場合には、人物（Ｂ）は人物（Ａ）の妻、人物（Ｃ）は人物（Ａ）の息子、人物（Ｄ）は人物（Ｃ）の妹、人物（Ｅ）は人物（Ｄ）の弟となる人間関係を特定する。また、主体（基準Ｆ）の場合には、人物（Ｇ）は人物（Ｆ）の妻、人物（Ａ）は人物（Ｆ）の息子、人物（Ｈ）は人物（Ａ）の妹となる人間関係を特定する。

そして、主体の「年齢」を名前データベースｄ１から読み出し、その年齢層（例えば、１８歳未満／以上）を特定する（ステップＢ１２）。次に、主体の年齢層及び各人物との人間関係に基づいて関連解析基礎データベースｄ３を参照し（ステップＢ１３）、主体を視点として、各人物の続柄を表す文字列を取得する（ステップＢ１４）。例えば、図１０（２）に示すように、主体（基準Ａ）の場合に人物（Ａ）、（Ｂ）、〜（Ｈ）の続柄を示す文字列として、“私”、“妻”、“長男”、“娘”、“次男”、“父”、“母”、“妹”を取得する。また、図１０（３）に示すように、主体（基準Ｃ）の場合に、その人物（Ｃ）の年齢が１８歳未満であれば、人物（Ａ）、（Ｂ）、〜（Ｈ）の続柄を示す文字列として、“お父さん”、“お母さん”、“僕”、“妹”、“弟”、“おじいちゃん”、“おばあちゃん”、“叔母さん”を取得する。また、人物（Ｃ）の年齢が１８歳以上であれば、“父”、“母”、“僕”、“妹”、“弟”、“祖父、“祖母”、“叔母さん”を取得する。

そして、表示処理（ステップＢ１５〜Ｂ１８）に移り、先ず、表示形式を決定する（ステップＢ１５）。すなわち、背景用の矩形枠内に続柄の文字列を配置する識別表示がユーザ操作で指定されているのか、矩形枠を使用せずにその文字列を画像内に直接合成する識別表示がユーザ操作で指定されているのかの表示形式を決定する。次に、取得文字列の画像内の配置する位置を決定する（ステップＢ１６）。すなわち、人物の顔を避けてその身体内に取得文字列を配置することがユーザ操作で指定されているのか、人物全体（全身）を避けてその人物に対応付けて取得文字列を近接配置することがユーザ操作で指定されているのかの配置位置を決定する。

更に、表示色を決定する（ステップＢ１７）。すなわち、背景用の矩形枠内に続柄の文字列を配置する表示形式の場合には、矩形枠の下地の色（背景色）として、白色又は黒色を決定し、矩形枠を使用せずに取得文字列を画像内に直接配置する表示形式の場合には、その配置位置の画像色とのコントラストに応じて文字列の色を決定する。これによって決定した表示形式、配置位置、表示色で取得文字列を画像内の該当する人物に対応付けて付加表示（識別表示）する（ステップＢ１８）。

図１１は、人物関係付加表示の具体例を示した図で、表示形式として、矩形枠を使用せずにその文字列を画像内に直接合成すること、配置位置として、人物全体（全身）を避けてその人物に対応付けて取得文字列を近接配置することが指定された場合の表示例である。
図１１（１）は、親族以外の他人が主体の場合の人物関係付加表示例を示した図である。この場合、人物（Ａ）には“○○太郎”、人物（Ｃ）には“○○一郎”、人物（Ｄ）には“○○優子”、人物（Ｂ）には“○○花子”、人物（Ｅ）には“○○二郎”が付加表示（識別表示）される。図１１（２）は、親族（Ｃ：１８歳未満）が主体の場合の人物関係付加表示例を示した図である。この場合、人物（Ａ）には“お父さん”、人物（Ｃ）には“僕”、人物（Ｄ）には“妹”、人物（Ｂ）には“お母さん”、人物（Ｅ）には“弟”が付加表示（識別表示）される。

このように人物関係が付加表示されている状態において、ユーザ操作によりその画像の保存が指示されたかを調べたり（ステップＢ１９）、次の画像への切り替えが指示されたかを調べたり（ステップＢ２１）、人物関係付加表示の終了が指示されたかを調べたりする（ステップＢ２２）。いま、画像の保存が指示されたときには（ステップＢ１９でＹＥＳ）、人物関係（続柄）を示す情報（取得文字列）を合成した画像をファイル化して画像メモリｍ３（例えば、ＳＤカード）に記録保存する（ステップＢ２０）。

また、次の画像への切り替えが指示されたときには（ステップＢ２１でＹＥＳ）、図７のステップＢ２に移り、主体が変更されなければ（ステップＢ２でＮＯ）、上述の動作を繰り返す。また、主体の変更が指示されたときには（ステップＢ２でＹＥＳ）、主体決定処理（ステップＢ３）を実行した後、上述の動作を繰り返す。なお、人物関係付加表示機能の終了が指示されたときには（ステップＢ２２でＹＥＳ）、図７及び図８のフローから抜ける。

以上のように、本実施形態において制御部１は、名前データベースｄ１を参照し、画像内の人物の顔に基づいてその人物を認識し、画像に対する処理の主体となる人物を視点として、その認識した人物との人物関係を人物関係データベースｄ２に基づいて特定するようにしたので、画像内の人物をその画像に対する処理の主体との関係において適切に特定することができる。

制御部１は、特定した人物関係を示す情報を画像内の人物に対応付けて表示部５に識別表示するようにしたので、同じ人物でも主体が誰かによって異なる人物関係をその識別表示によって主体に知らせることができる。

制御部１は、主体となる人物が複数の人物の相関関係内に属している場合にその相関関係に基づいた識別表示するようにしたので、主体にとってはその人物がどのような関係にあるのかを容易に知ることができる。この場合、主体にとってその人物がどのような関係にあるのかを理解しやすい表現で識別表示したり、親しみやすい表現で識別表示したりすることが可能となり、例えば、家族紹介写真の作成などに便利なものとなる。

制御部１は、主体が複数の人物の相関関係内に属さない他人の場合には、名前データベースｄ１から名前を読み出して画像内の人物に対応付けて識別表示するようにしたので、誰からでも理解しやすい名前で識別表示することが可能となる。

制御部１は、人物関係を示す情報を識別表示する場合に、画像内において人物の顔を隠さない位置でその人物に対応付けて配置するようにしたので、人物関係を示す情報を適切な位置に配置することができ、主体にとっては人物の顔を確認しながら識別表示との対応を明瞭に理解することができる。

制御部１は、人物関係を示す情報を識別表示する場合に、画像内において人物全体を隠さない位置でその人物に対応付けて配置するようにしたので、画像内の人物が識別表示によって影響されることはなく、主体にとっては人物全体を確認しながら識別表示との対応を明瞭に理解することができる。

制御部１は、人物関係を示す情報を識別表示する場合に、画像内においてその情報を配置する下地の色に応じて選択した色で着色するようにしたので、対照色などによって見やすい表示が可能となり、配色を変更する編集操作も不要となる。

制御部１は、主体の年齢層に基づいて、人物関係を示す情報を変更するようにしたので、主体にとって理解し易く親しみのある情報を表示することが可能となる。

制御部１は、撮像部６によって撮影された画像内の顔からその人物を認識することによって主体となる人物を決定するようにしたので、主体を指定する操作などが不要となり、利便性が向上する。

制御部１は、主体となる人物を視点として、画像内の人物の続柄を親族の構成に基づいて特定するようにしたので、主体が誰かによって続柄の呼び方を変えることができる。また、親族というグループを単位とするために人物関係（続柄）も容易に特定することが可能となる。

制御部１は、操作部４から複数の人物の相関関係と共に各人物の個人情報が人物情報として任意に入力されると、入力された人物の相関関係及び人物情報を名前データベースｄ１及び人物関係データベースｄ２に記憶するようにしたので、ユーザ独自の人物の相関関係及び人物情報をいつでも自由に登録することができる。

制御部１は、人物関係を示す情報を画像に付加して記録保存するようにしたので、画像を再生するだけでその画像内の人物との関係をいつでも自由に知ることが可能となると共に、例えば、家族紹介写真をいつでも自由に作成することが可能となる。

なお、上述した実施形態においては、主体となる人物を視点として、画像内の人物との関係を示す情報（続柄）を識別表示するようにしたが、人物関係のほかにその個人情報（例えば、年齢など）も合わせて識別表示するようにしてもよい。この場合、主体が誰かに応じて個人情報の項目を選択して表示するようにしてもよい。
上述した実施形態においては、画像に対する処理の主体を、画像を観る主体とした場合を例示したが、撮影画像の付加情報に基づく何らかの処理を行う場合にはその処理の主体であってもよい。

上述した実施形態においては、複数の人物の相関関係として親族の相関図を例示したが、相関図としては、会社やその他の組織の人事構成図、組織図などであってもよい。

上述した実施形態においては、名前データベースｄ１の「名前」にその人物の氏名（実名）を記憶するようにしたが、ニックネーム、筆名、芸名、アイコンなどを記憶するようにしてもよい。

上述した実施形態においては、人物関係を示す情報（取得文字列）を合成した画像をファイル化して記録保存するようにしたが、人物関係を示す情報をその配置位置などと共に画像ファイルのＥｘｉｆ情報として格納するようにしてもよい。

上述した実施形態においては、特定した人物関係を示す情報を画像内の人物に対応付けて表示部５に識別表示するようにしたが、表示は行わず印刷するようにしてもよい。

また、上述した実施形態においては、画像処理装置としてデジタルカメラに適用した場合を例示したが、カメラに限らず、レコーダー、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、スマートフォンなどの携帯電話機、音楽プレイヤー、タブレット端末、テレビ受信機などであってもよい。

また、上述した本実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
複数の人物の相関関係を記憶する人物記憶手段と、
画像内の人物の顔に基づいてその人物を認識する認識手段と、
画像に対する処理の主体となる人物を決定する決定手段と、
前記決定手段によって決定された主体の人物を視点として、前記認識手段によって認識された人物との人物関係を前記複数の人物の相関関係に基づいて特定する特定手段と、
を備えたことを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記特定手段により特定された人物関係を示す情報に基づいて前記画像に対する所定の処理を行う処理手段を更に備える、
ようにしたことを特徴とする画像処理装置である。

（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記処理手段は、前記特定手段によって特定された人物関係を示す情報を画像内の人物に対応付けて識別表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記処理手段は、前記決定手段によって決定された主体の人物が前記複数の人物の相関関係内に属している場合にその相関関係に基づいた識別表示を行う、
ようにしたことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項３又は請求項４に記載の画像処理装置において、
前記人物記憶手段は、複数の人物の相関関係と共に各人物の顔及び名前を記憶し、
前記処理手段は、前記決定手段によって決定された主体の人物が前記複数の人物の相関関係に属さない他人の場合には、前記認識手段によって認識された人物の名前を前記人物記憶手段から読み出して画像内の人物に対応付けて識別表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項６）
請求項６記載の発明は、請求項３に記載の画像処理装置において、
前記人物関係を示す情報の識別表示は、前記画像内において人物の顔を隠さない位置でその人物に対応付けて配置する、
ようにしたことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記人物関係を示す情報の識別表示は、前記画像内において人物全体を隠さない位置でその人物に対応付けて配置する、
ようにしたことを特徴とする画像処理装置である。
（請求項８）
請求項８に記載の発明は、請求項３〜請求項７のいずれか１項に記載の画像処理装置において、
前記人物関係を示す情報の識別表示は、前記画像内においてその情報を配置する下地の色に応じて選択した色で着色する、
ようにしたことを特徴とする画像処理装置である。
（請求項９）
請求項９に記載の発明は、請求項３〜請求項８のいずれか１項に記載の画像処理装置において、
前記人物記憶手段は、複数の人物の相関関係と共に各人物の顔及び年齢を記憶し、
前記処理手段は、前記決定手段によって決定された主体の人物の年齢層に基づいて、前記人物関係を示す情報を変更する、
ようにしたことを特徴とする画像処理装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項９のいずれか１項に記載の画像処理装置において、
撮像手段を更に備え、
前記決定手段は、前記撮像手段によって撮影された画像内の顔からその人物を認識することによって主体となる人物を決定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１１）
請求項１１に記載の発明は、請求項１〜請求項１０のいずれか１項に記載の画像処理装置において、
前記人物記憶手段は、複数の人物の相関関係として親族の構成を記憶し、
前記特定手段は、前記決定手段によって決定された主体となる人物を視点として、前記認識手段によって認識された人物の続柄を前記親族の構成に基づいて特定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１〜請求項１１のいずれか１項に記載の画像処理装置において、
複数の人物の相関関係と共に各人物の個人情報を人物情報として任意に入力する入力手段を更に備え、
前記人物記憶手段は、前記入力手段から入力された人物の相関関係及び人物情報を記憶する、
ようにしたことを特徴とする画像処理装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１〜請求項１２のいずれか１項に記載の画像処理装置において、
前記特定手段によって特定された人物関係を示す情報を画像に付加して記録保存する画像保存手段を更に備える、
ようにしたことを特徴とする画像処理装置である。
（請求項１４）
請求項１４に記載の発明は、
画像内の人物の顔に基づいてその人物を認識するステップと、
画像に対する処理の主体となる人物を視点として、前記認識された人物との人物関係を複数の人物の相関関係に基づいて特定するステップと、
を含むことを特徴とする画像処理方法である。
（請求項１５）
請求項１５に記載の発明は、
コンピュータに対して、
画像内の人物の顔に基づいてその人物を認識する機能と、
画像に対する処理の主体となる人物を決定する機能と、
前記決定された主体の人物を視点として、前記認識された人物との人物関係を複数の人物の相関関係に基づいて特定する機能と、
を実現させるためのプログラムである。

１ 制御部
３ 記憶部
４ 操作部
５ 表示部
６ 撮像部
ｍ１ プログラムメモリ
ｍ３ 画像メモリ
ｄ１ 名前データベース
ｄ２ 人物関係データベース
ｄ３ 関連解析基礎データベース

Claims (15)

1. 所定の人物を視点とした複数の人物の続柄を表す第１のデータベースと、不特定の人物の相関関係に応じた続柄を定義する第２のデータベースと、を記憶する人物記憶手段と、
   画像内の人物の顔に基づいてその人物を認識する認識手段と、
   画像に対する処理の主体となる人物を決定する決定手段と、
   前記決定手段によって決定された主体となる人物を視点として、前記認識手段によって認識された人物の続柄を、前記第１のデータベースと、前記第２のデータベースと、に基づいて特定する特定手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記特定手段は、前記決定手段によって決定された主体となる人物が前記第１のデータベースに含まれ、かつ前記所定の人物とは異なる人物である場合に、当該決定された主体となる人物を視点として、前記認識手段によって認識された人物の続柄を、前記第１のデータベースと、前記第２のデータベースと、に基づいて特定する、
   ようにしたことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段により特定された続柄に基づいて前記画像に対する所定の処理を行う処理手段を更に備える、
   ようにしたことを特徴とする請求項１又は２に記載の画像処理装置
4. 前記人物記憶手段は、前記第２データベースの人物の相関関係に応じた続柄の定義として、続柄を示す文字列を記憶し、
   前記処理手段は、前記特定手段によって特定された続柄を示す文字列を画像内の人物に対応付けて識別表示する、
   ようにしたことを特徴とする請求項３に記載の画像処理装置。
5. 前記続柄を示す文字列の識別表示は、前記画像内において人物の顔を隠さない位置でその人物に対応付けて配置する、
   ようにしたことを特徴とする請求項３に記載の画像処理装置。
6. 前記続柄を示す文字列の識別表示は、前記画像内において人物全体を隠さない位置でその人物に対応付けて配置する、
   ようにしたことを特徴とする請求項５に記載の画像処理装置。
7. 前記続柄を示す文字列の識別表示は、前記画像内においてその文字列を配置する下地の色に応じて選択した色で着色する、
   ようにしたことを特徴とする請求項４〜請求項６のいずれか１項に記載の画像処理装置。
8. 前記人物記憶手段は、前記第１のデータベース、前記第のデータベースと共に各人物の顔と年齢とを対応付けて、更に記憶し、
   前記処理手段は、前記決定手段によって決定された主体の人物の年齢層に基づいて、前記続柄を示す文字列を変更する、
   ようにしたことを特徴とする請求項４〜請求項７のいずれか１項に記載の画像処理装置。
9. 前記処理手段は、前記決定手段によって決定された主体の人物が前記第１のデータベースに含まれている場合に前記続柄を示す文字列の識別表示を行う、
   ようにしたことを特徴とする請求項４に記載の画像処理装置。
10. 前記人物記憶手段は、前記第１のデータベース、前記第２のデータベースと共に各人物の顔と名前とを対応付けて、更に記憶し、
    前記処理手段は、前記決定手段によって決定された主体の人物が前記第１のデータベースに含まれていない他人の場合には、前記認識手段によって認識された人物の名前を前記人物記憶手段から読み出して画像内の人物に対応付けて識別表示する、
    ようにしたことを特徴とする請求項４に記載の画像処理装置。
11. 撮像手段を更に備え、
    前記決定手段は、前記撮像手段によって撮影された画像内の顔からその人物を認識することによって主体となる人物を決定する、
    ようにしたことを特徴とする請求項１〜請求項１０のいずれか１項に記載の画像処理装置。
12. 複数の人物関係と共に各人物の個人情報を人物情報として任意に入力する入力手段を更に備え、
    前記人物記憶手段は、前記入力手段から入力された人物の相関関係及び人物情報を記憶する、
    ようにしたことを特徴とする請求項１〜請求項１１のいずれか１項に記載の画像処理装置。
13. 前記特定手段によって特定された続柄を示す情報を画像に付加して記録保存する画像保存手段を更に備える、
    ようにしたことを特徴とする請求項１〜請求項１２のいずれか１項に記載の画像処理装置。
14. 所定の人物を視点とした複数の人物の続柄を表す第１のデータベースと、不特定の人物の相関関係に応じた続柄を定義する第２のデータベースと、を記憶する人物記憶手段を備える画像処理装置が実行する画像処理方法であって、
    画像内の人物の顔に基づいてその人物を認識するステップと、
    画像に対する処理の主体となる人物を視点として、前記認識された人物の続柄を、前記第１のデータベースと、前記第２のデータベースと、に基づいて特定するステップと、
    を含むことを特徴とする画像処理方法。
15. 所定の人物を視点とした複数の人物の続柄を表す第１のデータベースと、不特定の人物の相関関係に応じた続柄を定義する第２のデータベースと、を記憶する人物記憶手段を備える画像処理装置制御するコンピュータに対して、
    画像内の人物の顔に基づいてその人物を認識する機能と、
    画像に対する処理の主体となる人物を決定する機能と、
    前記決定された主体の人物を視点として、前記認識された人物の続柄を、前記第１のデータベースと、前記第２のデータベースと、に基づいて特定する機能と、
    を実現させるためのプログラム。

Images