JP5339631B2 - ディスプレイを有するデジタル写真表示装置、システム及びプログラム - Google Patents

Description

本発明は、ディスプレイを有するデジタル写真表示装置の技術に関する。例えばデジタルフォトフレームや携帯型プレーヤのような装置のディスプレイに、デジタル写真を表示する技術に関する。

現在、インターネットを介した「ターゲット広告技術」が実現されている。この技術によれば、広告配信サーバが、ユーザのプロファイル情報（年齢、性別、所在地、購入商品履歴、利用サービス履歴）に応じて、ユーザ毎に異なる広告情報を配信する。これによって、ユーザは、所持する端末のディスプレイに表示された最適な広告情報を閲覧することができる。この広告情報は、ユーザにとって、比較的嗜好に沿ったものとなる（例えば特許文献１参照）。

端末のディスプレイには、ユーザ所望の映像と共に、広告情報も表示される。例えばテレビの場合、セットトップボックスが、広告配信サーバから受信した広告情報を、そのテレビに出力する。また、例えばパーソナルコンピュータの場合、ネットワークを介して広告配信サーバから受信した広告情報を、ブラウザによってポップアップ的に表示することもできる。これら広告情報は、ユーザ所望の映像に対する視認に影響を与えない位置に表示される。

ユーザ毎に最適な広告情報を受信するために、ユーザは、広告配信サーバに対して、自らのプロファイル情報を登録しておく必要がある。このとき、ユーザが、自ら視認する端末に対してプロファイル情報を入力し、端末が広告配信サーバへそのプロファイル情報を送信するものであってもよい。ここで、プロファイル情報として履歴情報（購入商品履歴、利用サービス履歴）を含む場合、端末自体が、履歴情報を保存する必要がある。尚、セットトップボックスやパーソナルコンピュータのようなこれら端末は、ユーザが能動的に利用すべき装置である。

特開２００８−３０６７３７号公報 特開２００１−２１６５１５号公報 特開２００５−１６５４４７号公報

近年、デジタルフォトフレームのように、ユーザ自ら撮影したデジタル写真画像を蓄積したメモリを用いて、それらデジタル写真画像を、スライドショーとしてディスプレイに表示する装置が普及しつつある。これらデジタル写真画像は、テレビ映像やＷｅｂサイト映像と異なって、何ら意図的な属性を含まない。

また、前述したターゲット広告技術の端末として、デジタルフォトフレームを用いることも想定される。しなしながら、デジタルフォトフレームは、絵画を入れる額縁のようなものであって、ユーザによって操作可能なユーザ操作入力部を備えていない。そのために、ユーザが、プロファイル情報を入力することはできない。また、表示されるデジタル写真画像は、何ら意図的な属性を含まないために、デジタルフォトフレームに広告情報を配信するとするならば、不特定多数のユーザに対して一律の広告情報を配信することしか想定できない。

そこで、本発明は、デジタルフォトフレームのような装置であっても、ユーザによって撮影されたデジタル写真画像と共に、ユーザに最適な広告情報（関連情報）を表示することができるデジタル写真表示装置、システム及びプログラムを提供することを目的とする。

本発明によれば、デジタル写真画像をディスプレイに表示するデジタル写真表示装置において、
多数の写真画像を蓄積する写真画像蓄積手段と、
写真画像毎に、人物の顔領域を抽出する顔領域検出手段と、
顔領域における顔特徴量を取得する顔特徴量抽出手段と、
多数の写真画像における顔特徴量を保存する特徴量蓄積手段と、
顔特徴量を類似度に基づいてクラスタリングするクラスタリング手段と、
出現頻度の高い顔特徴量を、重要人物として判別する重要人物判別手段と、
重要人物の顔特徴量における属性情報を検出する属性取得手段と、
属性情報に基づく関連情報を取得する関連情報取得手段と、
重要人物の顔特徴量における関連情報を、写真画像と共に、ディスプレイに表示する表示制御手段と
を有することを特徴とする。

本発明のデジタル写真表示装置における他の実施形態によれば、
顔領域検出手段は、検出された顔領域毎に、当該写真画像全体における顔領域の面積及び／又は中心離隔距離に基づいて重要度Ｐを算出し、
特徴量蓄積手段は、当該顔領域における顔特徴量毎に前記重要度Ｐを対応付け、
クラスタリング手段は、クラスタ毎に、顔領域の重要度Ｐの総和ΣＰを算出し、
重要人物判別手段は、出現頻度及び重要度総和ΣＰに基づいて、重要人物の顔特徴量を判別する
ことも好ましい。

本発明のデジタル写真表示装置における他の実施形態によれば、
写真画像には、撮影時のカメラ状態を示す撮影付帯情報が付与されており、
写真画像から撮影付帯情報を取得するメタデータ抽出手段を更に有し、
顔領域検出手段は、更に撮影付帯情報に基づいて、顔領域の重要度Ｐを算出することも好ましい。

本発明のデジタル写真表示装置における他の実施形態によれば、
撮影付帯情報は、顔領域に対する焦点離隔距離であり、
顔領域検出手段は、顔領域に対する焦点離隔距離が近いほど、顔領域の重要度Ｐが高くなるように修正することも好ましい。

本発明のデジタル写真表示装置における他の実施形態によれば、
撮影付帯情報は、撮影元カメラ種別であり、
顔領域検出手段は、撮影元カメラ種別が、ユーザ使用のカメラであるほど、顔領域の重要度Ｐが高くなるように修正することも好ましい。

本発明のデジタル写真表示装置における他の実施形態によれば、当該デジタル写真表示装置は、デジタルフォトフレーム、又は、ディスプレイ搭載型の携帯プレーヤであってもよい。

本発明のデジタル写真表示装置における他の実施形態によれば、
属性情報に基づく関連情報を蓄積した配信サーバへ、ネットワークを介して属性情報を送信する属性情報送信手段と、
配信サーバから、属性情報に基づく関連情報を受信する関連情報受信手段と
を有することも好ましい。

本発明のデジタル写真表示装置における他の実施形態によれば、
属性情報は、年齢性別情報であり、
関連情報は、広告情報であり、
配信サーバは、広告配信サーバであることも好ましい。

本発明によれば、前述したデジタル写真表示装置と通信する配信サーバであって、
属性情報に対応付けた関連情報を蓄積する関連情報蓄積手段と、
デジタル写真表示装置から、属性情報を受信する属性情報受信手段と、
関連情報蓄積手段を用いて、属性情報に応じた関連情報を検索する関連情報検索手段と、
検索された関連情報を、デジタル写真表示装置へ送信する関連情報送信手段と
を有することを特徴とする。

本発明によれば、デジタル写真画像をディスプレイに表示するデジタル写真表示装置と、配信サーバとが、ネットワークを介して接続されたシステムであって、
デジタル写真表示装置は、
多数の写真画像を蓄積する写真画像蓄積手段と、
写真画像蓄積手段に蓄積された多数の写真画像を、配信サーバへ送信する写真画像送信手段と、
配信サーバから、関連情報を受信する関連情報受信手段と、
写真画像と共に、関連情報をディスプレイに表示する表示制御手段と
を有し、
配信サーバは、
属性情報に対応付けた関連情報を蓄積する関連情報蓄積手段と、
デジタル写真表示装置から、多数の写真画像を受信する写真画像受信手段と、
写真画像毎に、人物の顔領域を抽出する顔領域検出手段と、
顔領域における顔特徴量を取得する顔特徴量抽出手段と、
多数の写真画像における顔特徴量を保存する特徴量蓄積手段と、
顔特徴量を類似度に基づいてクラスタリングするクラスタリング手段と、
出現頻度の高い顔特徴量を、重要人物として判別する重要人物判別手段と、
重要人物の顔特徴量における属性情報を検出する属性取得手段と、
関連情報蓄積手段を用いて、属性情報に基づく関連情報を取得する関連情報取得手段と、
関連情報を、デジタル写真表示装置へ送信する関連情報送信手段と
を有することを特徴とする。

本発明によれば、デジタル写真画像をディスプレイに表示するデジタル写真表示装置と、属性情報に基づく関連情報を蓄積した配信サーバとが、ネットワークを介して接続されたシステムであって、
デジタル写真表示装置は、
多数の写真画像を蓄積する写真画像蓄積手段と、
写真画像毎に、人物の顔領域を抽出する顔領域検出手段と、
顔領域における顔特徴量を取得する顔特徴量抽出手段と、
多数の写真画像における顔特徴量を保存する特徴量蓄積手段と、
特徴量蓄積手段に蓄積された多数の顔特徴量を、配信サーバへ送信する顔特徴量送信手段と、
配信サーバから、関連情報を受信する関連情報受信手段と、
写真画像と共に、関連情報をディスプレイに表示する表示制御手段と
を有し、
配信サーバは、
属性情報に対応付けた関連情報を蓄積する関連情報蓄積手段と、
デジタル写真表示装置から、多数の顔特徴量を受信する顔特徴量受信手段と、
顔特徴量を類似度に基づいてクラスタリングするクラスタリング手段と、
出現頻度の高い顔特徴量を、重要人物として判別する重要人物判別手段と、
重要人物の顔特徴量における属性情報を検出する属性取得手段と、
関連情報蓄積手段を用いて、属性情報に基づく関連情報を取得する関連情報取得手段と、
関連情報を、デジタル写真表示装置へ送信する関連情報送信手段と
を有することを特徴とする。

本発明によれば、デジタル写真画像を表示するディスプレイを有する装置に搭載されたコンピュータを機能させるデジタル写真表示プログラムにおいて、
多数の写真画像を蓄積する写真画像蓄積手段と、
写真画像毎に、人物の顔領域を抽出する顔領域検出手段と、
顔領域における顔特徴量を取得する顔特徴量抽出手段と、
多数の写真画像における顔特徴量を保存する特徴量蓄積手段と、
顔特徴量を類似度に基づいてクラスタリングするクラスタリング手段と、
出現頻度の高い顔特徴量を、重要人物として判別する重要人物判別手段と、
重要人物の顔特徴量における属性情報を検出する属性取得手段と、
属性情報に基づく関連情報を取得する関連情報取得手段と、
重要人物の顔特徴量における関連情報を、写真画像と共に、ディスプレイに表示する表示制御手段と
を有することを特徴とする。

本発明のデジタル写真表示装置、システム及びプログラムによれば、デジタルフォトフレームのような装置であっても、ユーザによって撮影されたデジタル写真画像と共に、ユーザに最適な広告情報（関連情報）を表示することができる。

本発明におけるシステム構成図である。 本発明におけるデジタル写真表示装置の機能構成図である。 各機能構成部の処理イメージを表す説明図である。 顔領域検出における重要度Ｐを表す説明図である。 写真画像の入手先を表す説明図である。 本発明におけるデジタル写真表示装置及び広告配信サーバの第１の機能構成図である。 タッチパネルディスプレイにおけるユーザ操作の応答を表す説明図である。 本発明におけるデジタル写真表示装置及び広告配信サーバの第２の機能構成図である。 本発明におけるデジタル写真表示装置及び広告配信サーバの第３の機能構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、本発明におけるシステム構成図である。

図１によれば、デジタル写真表示装置１が、ホームネットワークに接続されている。デジタル写真表示装置１は、例えばデジタルフォトフレームや、ディスプレイ搭載型の携帯プレーヤのような端末であって、デジタル写真画像をディスプレイに表示する。ホームネットワークは、例えば無線ＬＡＮであって、アクセスポイントとしても機能するホームルータ３によって構築されている。また、ホームネットワークには、デジタルカメラやパーソナルコンピュータのような情報機器４も接続されている。

ホームルータ３は、アクセスネットワークを介してインターネットに接続される。図１によれば、インターネットには、広告配信サーバ２が接続されている。広告配信サーバ２は、ホームルータ３を介してデジタル写真表示装置１へ、広告情報（関連情報）を配信することができる。

デジタル写真表示装置１は、デジタル写真画像を記憶させたメモリカードを挿入することができる。また、デジタル写真表示装置１は、情報機器４からホームネットワークを介してデジタル写真画像を受信して蓄積するものであってもよい。

図２は、本発明におけるデジタル写真表示装置の機能構成図である。

図２によれば、デジタル写真表示装置１は、ディスプレイ１００と、写真画像蓄積部１０１とを有する。ディスプレイ１００は、写真画像蓄積部１０１に蓄積されたデジタル写真を表示することができ、例えばスライドショーのように逐次異なる写真を表示することができる。写真画像蓄積部１０１は、例えばメモリカードであってもよい。写真画像蓄積部１０１に蓄積される多数のデジタル写真画像は、例えばユーザによってデジタルカメラで撮影されたものである。

また、本発明のデジタル写真表示装置１は、顔領域検出部１１１と、メタデータ抽出部１１２と、顔特徴量抽出部１１３と、特徴量蓄積部１１４と、クラスタリング部１１５と、重要人物判別部１１６と、属性取得部１１７と、関連情報取得部１１８と、表示制御部１１９とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。尚、図３は、各機能構成部の処理イメージを表す説明図である。

顔領域検出部１１１は、写真画像毎に、人物の顔領域を抽出する（図３（ａ）参照）。顔領域の検出には、例えば特許文献２に記載の既存技術を用いることができる。顔領域の検出には、肌色領域検出法又はテンプレートマッチング法を用いることができる。

肌色領域検出法とは、ＲＧＢ表色系で表現された写真画像を、ＹＣｒＣｂ表色系（Ｙ(輝度),Ｃｒ(赤さ),Ｃｂ(青さ)）に変換し、Ｃｒ及びＣｂに対して閾値を設定することによって、肌色領域を検出する。この技術によれば、大まかな顔領域を高速に検出できると共に、画像サイズを変更しても顔領域の検出に影響を受けないという利点がある。一方で、顔以外の肌色部分について、誤認識や照明変化の影響を受けやすいという欠点もある。

テンプレートマッチング法とは、画像の濃淡情報が数値化されたテンプレート（顔パターン画像）を、写真画像上で走査しながら類似度を算出し、顔領域を検出する。この技術によれば、テンプレートの完成度が、顔領域の検出精度に大きく影響を与える。そのために、大量の顔画像及び非顔画像を用いて統計的方法を用いてテンプレートを作成することによって、認識効率を向上させている。

メタデータ抽出部１１２は、写真画像から撮影付帯情報を取得する。撮影付帯情報としては、例えばＥｘｉｆ(Exchangeable image file format)情報がある。Ｅｘｉｆ情報とは、日本電子工業振興協会(JEIDA)によって規格化された画像メタデータのフォーマットであって、焦点距離やカメラ機種等の情報を画像に埋め込まれる。

顔領域検出部１１１は、本発明によれば、顔領域毎に重要度Ｐを算出する。重要度Ｐは、例えば以下のように３つの算出例がある。

［第１の重要度Ｐの算出例］
顔領域検出部１１１は、検出された顔領域毎に、当該写真画像全体における顔領域の面積Ｓ及び／又は中心離隔距離Ｌに基づいて重要度Ｐを算出する。
Ｐ＝ｍ・Ｓⁿ／（Ｓave×Ｌ）
Ｓ：顔領域の面積
Ｓave：写真画像の中から取得された顔画像の面積の平均
Ｌ：写真画像の中心から離隔した長さ（中心離隔距離）
ｎ：重み付け定数
ｍ：撮影元カメラ種別に基づく係数

図４は、顔領域検出における重要度Ｐを表す説明図である。

図４によれば、３つの顔領域が検出されており、顔領域毎の面積Ｓが導出される。ここでは、３つの顔領域の面積の平均をＳave（＝(Σ_i=1 ³Ｓ)／３）とする。また、顔領域毎に、１枚の写真画像における中心からの離隔した長さＬ（中心離隔距離）も導出される。

これによって、当該写真画像全体における顔領域の面積Ｓ及び中心離隔距離Ｌに基づいて（Ｓ／Ｓave×Ｌ）、重要度Ｐを算出することができる。Ｓ／Ｓaveによって、顔領域の面積Ｓが平均Ｓaveよりも大きいほど、重要度Ｐを高くする。また、１／Ｌによって、中心離隔距離が短いほど、重要度Ｐを低くする。

図４（ａ）によれば、顔領域Ａは、顔領域Ｂ及びＣと比較して、顔領域の面積が大きいので、重要度Ｐは高くなる。図４（ｂ）によれば、顔領域Ｂは、顔領域Ａ及びＣと比較して、顔領域の面積は小さいが、中心離隔距離が短いので、重要度Ｐは高くなる。

［第２の重要度Ｐの算出例］
写真画像には、撮影時のカメラ状態を示す撮影付帯情報が付与されていることも好ましい。ここで、撮影付帯情報とは、例えば、写真画像における焦点位置である。写真画像全体の中で、顔領域毎に、焦点位置からの距離（焦点離隔距離）を導出し、顔領域に対する焦点離隔距離が近いほど、顔領域の重要度Ｐを高くする。即ち、焦点が一致している顔領域ほど、重要度Ｐを高くする。

図４（ｃ）によれば、顔領域Ｃは、顔領域Ａ及びＢと比較して、顔領域の面積は小さいが、焦点が一致している（焦点離隔距離が短い）ので、重要度Ｐは高くなる。

［第３の重要度Ｐの算出例］
写真画像には、撮影元カメラ種別を示す撮影付帯情報が付与されていることも好ましい。ここで、撮影付帯情報とは、ユーザ使用のカメラか、業者使用のカメラかを示す撮影元カメラ種別である。本発明によれば、ユーザ使用のカメラであるほど、撮影被写体の人物は、ユーザ又はユーザに関連する重要人物であるために、顔領域の重要度Ｐを高くする。

図５は、写真画像の入手先を表す説明図である。

図５によれば、デジタル写真表示装置１は、ホームネットワークに接続された他の情報機器４から写真画像を入手している。また、デジタル写真表示装置１は、インターネットに接続された外部のＷｅｂサーバからも写真画像を入手している。ホームネットワーク経由で入手された写真画像は、デジタル写真表示装置１を所持するユーザ又はユーザに関連する重要人物が被写体となっている確率が高い。一方で、インターネット経由で入手された写真画像は、ユーザ等の重要人物が被写体となっている確率が低い。

従って、ホームネットワーク経由で入手された、ユーザ使用のカメラで撮影された写真画像であるほど、重要度Ｐを高くする。
Ｐ＝ｍ・Ｓⁿ／（Ｓave×Ｌ）
ｍ：撮影元カメラ種別に基づく係数
ここで、ｍは、ユーザ使用のカメラであるほど大きい。従って、ユーザ使用のカメラで撮影された写真画像における顔領域の重要度Ｐほど、高くなる。

顔特徴量抽出部１１３は、顔領域におけるその顔の特徴を数値化した顔特徴量を取得する（図３（ｂ）参照）。抽出された顔領域は、同一人物であっても、写真画像毎に、距離、角度及び照明によって大きさ、向き及び輝度が異なる。そのために、抽出された顔領域は、正面から見た一定の画像に正規化される。例えば向きの正規化では、左右目頭の位置を基準点として顔領域画像の拡大、縮小及び回転が実行させる。そして、正規化された写真画像に対して、例えば幾何学的特徴又はパターン分布特徴を抽出する。幾何学的特徴としては、例えばＬＦＡ(Local Feature Analysis)法があり、パターン分布特徴としては、例えばGabor Wavelet変換法がある。

ＬＦＡ法とは、目、鼻、口等の部位に対して主成分分析をすることによって、特徴量を抽出する。具体的には、１カ所の部位について、テンプレートマッチング法によってどの部位であるかを特定する。次に、「目の上には眉がある」のように、顔全体の構造に関する知識に基づいて、他の部位について探索する。検出された部位に対して主成分分析を実行し、各部位の位置関係を表す特徴量を抽出する。最後に、幾何学的特徴量抽出によって、各部位同士の特徴的な位置関係を特徴量として表す。この技術によれば、髪、メガネ等の装飾品や、表情の変化にも、精度が高いという利点がある。

Gabor Wavelet変換法とは、写真画像を複数のフィルタリングにかけ、それぞれの画像を細分化して局所的に特徴量を算出する。特徴量は、局所的に数値化された複数の向き（縦、横、斜め等の方向）に対する濃淡の度合いとして扱われる。この技術によれば、顔の向きの変化に対しても精度が高いという利点と共に、細かい特徴点に対して詳細を位置決めするために、計算量が膨大であるという欠点もある。

特徴量蓄積部１１４は、多数の写真画像における顔特徴量を保存する。尚、特徴量蓄積部１１４は、当該顔領域における顔特徴量毎に、重要度Ｐを対応付けて蓄積する。

クラスタリング部１１５は、顔特徴量を類似度に基づいてクラスタリングする（図３（ｃ）参照）。特徴量蓄積部１１４に蓄積された多数の特徴量について、特徴量同士の距離に基づいてクラスタリングをする。これによって、同一人物の特徴量における出現回数を算出することができる。クラスタ化には、例えば「最短距離法（Nearest neighbor method）」を用いることができる。最短距離法とは、各要素（特徴量）間の距離を算出し、距離の近い要素を順次結合していくことで、段階的にクラスタリングを行う、階層型クラスタリング方法である。クラスタリングの処理は、写真画像が一定量程度追加される毎に実行され、例えば一定周期（例えば数日に１回程度）で実行されることも好ましい。

重要人物判別部１１６は、顔特徴量の出現頻度及び重要度Ｐを考慮して、重要人物を判別する（図３（ｃ）参照）。出現頻度が高く且つ重要度Ｐが高い顔領域画像は、デジタルフォトフレームによって再生されるデジタル写真における主な被写体であると想定される。その被写体は、デジタルフォトフレームの所有者本人、又は家族、友人、同僚等のような親しい人物といえる。そのため、所有者本人をターゲットとした広告情報や、所有者の親しい人物に対するギフトの広告情報を提示することが有効である。

重要人物判別部１１６は、同一クラスタに分類された各顔特徴量について、その重要度Ｐの重み付き総和を算出する。即ち、クラスタ内での特徴量の総和Ｐallは、以下の式によって算出される。
Ｐall＝Σｗn・Ｐn
ｗ：特徴量の確度によって定まる重み付け係数
Ｐallが上位のクラスタに分類される特徴量は、重要人物の特徴量であると判別される。重要人物として判別された特徴量のみが、属性取得部１１７へ出力される。

属性取得部１１７は、重要人物の顔特徴量における属性情報を検出する（図３（ｄ）参照）。属性情報は、例えば年齢・性別である。例えば特許文献３に記載された技術を用いて、顔画像からの年齢・性別を取得することができる。例えば、以下のように区分される。
・年齢区分：幼児、子供、学生、大人、壮年
・性別区分：男性、女性

関連情報取得部１１８は、属性情報に基づく関連情報を取得する。関連情報は、例えば属性情報に基づく広告情報である。ここで、関連情報取得部１１８は、属性情報に基づく関連情報を予め蓄積したものであってもよい。尚、後述する図６によれば、関連情報としての広告情報は、広告配信サーバ２から取得される。

表示制御部１１９は、重要人物の顔特徴量における関連情報を、写真画像と共に、ディスプレイに表示する。写真画像は、例えばスライドショーとして表示される。本発明によれば、その際に、例えば一定周期で、属性情報に基づく広告情報（関連情報）が、デジタル写真画像と共に表示される。

図６は、本発明におけるデジタル写真表示装置及び広告配信サーバの第１の機能構成図である。

図６のデジタル写真表示装置は、図２のデジタル写真表示装置と比較して、通信インタフェース１０２を更に有し、関連情報取得部１１８の機能のみが異なる。関連情報取得部１１８に代えて、属性情報送信部１２１及び関連情報受信部１２２を有する。属性情報送信部１２１は、広告配信サーバ２へ、ネットワークを介して属性情報を送信する。関連情報受信部は、広告配信サーバ２から、属性情報に基づく関連情報（広告情報）を受信する。

図６によれば、広告配信サーバ２は、通信インタフェース２０２と、属性情報受信部２１１と、関連情報検索部２１２と、関連情報取得部２１３と、関連情報送信部２１４とを有する。関連情報蓄積部２１３は、属性情報に対応付けた関連情報（広告情報）を蓄積する。属性情報受信部２１１は、デジタル写真表示装置１から、属性情報を受信し、その属性情報を、関連情報検索部２１２へ出力する。関連情報検索部２１２は、関連情報蓄積部２１３を用いて、属性情報に応じた関連情報を検索する。関連情報送信部２１４は、検索された関連情報を、デジタル写真表示装置１へ送信する。

図７は、タッチパネルディスプレイにおけるユーザ操作の応答を表す説明図である。

ディスプレイがタッチパネル式のものであって、ユーザ操作を入力することができる場合、広告配信サーバ２に対して、広告情報に対する応答を返信することもできる（図７（ａ）参照）。デジタル写真表示装置１は、広告配信サーバ２から、広告に関する更なる追加情報を受信することができる（図７（ｂ）参照）。

図８は、本発明におけるデジタル写真表示装置及び広告配信サーバの第２の機能構成図である。

図８によれば、デジタル写真表示装置１は、写真画像送信部１２３及び関連情報受信部１２２のみを有する。写真画像送信部１２３は、写真画像蓄積部１０１に蓄積された写真画像を、広告配信サーバ２へ送信する。

一方で、広告配信サーバ２は、図６と比較して、写真画像受信部２１５と、写真画像蓄積部１０１と、顔領域検出部１１１と、メタデータ抽出部１１２と、顔特徴量抽出部１１３と、特徴量蓄積部１１４と、クラスタリング部１１５と、重要人物判別部１１６と、属性取得部１１７とを更に有する。これら機能構成部は、図２で前述したデジタル写真表示装置１内の機能と全く同様である。

図９は、本発明におけるデジタル写真表示装置及び広告配信サーバの第３の機能構成図である。

図９によれば、図６と比較して、特徴量蓄積部１１４と、クラスタリング部１１５と、重要人物判別部１１６と、属性取得部１１７とが、広告配信サーバ２に配置されている。また、デジタル写真表示装置１は、特徴量送信部１２４を更に有し、顔特徴量抽出部１１３から出力された顔特徴量を、広告配信サーバ２へ送信する。

以上、詳細に説明したように、本発明のデジタル写真表示装置、システム及びプログラムによれば、デジタルフォトフレームのような装置であっても、ユーザによって撮影されたデジタル写真画像と共に、ユーザに最適な広告情報を表示することができる。

本発明によれば、ユーザの属性情報をデジタル写真画像から抽出するために、ユーザ自ら属性情報を入力する必要なく、広告配信サーバへ送信されたとしてもその匿名性を担保することができる。

尚、前述では、デジタル写真表示装置として、デジタル写真を表示するデジタルフォトフレームを例に説明したが、動画像を表示するものであってもよい。動画中のフレームから、属性情報を抽出することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ デジタル写真表示装置
１００ ディスプレイ
１０２ 通信インタフェース
１０１ 写真画像蓄積部
１１１ 顔領域検出部
１１２ メタデータ抽出部
１１３ 顔特徴量抽出部
１１４ 特徴量蓄積部
１１５ クラスタリング部
１１６ 重要人物判別部
１１７ 属性取得部
１１８ 関連情報取得部
１１９ 表示制御部
１２１ 属性情報送信部
１２２ 関連情報受信部
１２３ 写真画像送信部
１２４ 特徴量送信部
２ 広告配信サーバ
２０２ 通信インタフェース
２１１ 属性情報受信部
２１２ 関連情報検索部
２１３ 関連情報取得部
２１４ 関連情報送信部
２１５ 写真画像受信部
２１６ 特徴量受信部
３ ホームルータ
４ 情報機器

Claims (12)

1. デジタル写真画像をディスプレイに表示するデジタル写真表示装置において、
   多数の写真画像を蓄積する写真画像蓄積手段と、
   前記写真画像毎に、人物の顔領域を抽出する顔領域検出手段と、
   前記顔領域における顔特徴量を取得する顔特徴量抽出手段と、
   多数の写真画像における前記顔特徴量を保存する特徴量蓄積手段と、
   前記顔特徴量を類似度に基づいてクラスタリングするクラスタリング手段と、
   出現頻度の高い顔特徴量を、重要人物として判別する重要人物判別手段と、
   前記重要人物の顔特徴量における属性情報を検出する属性取得手段と、
   属性情報に基づく関連情報を取得する関連情報取得手段と、
   前記重要人物の顔特徴量における前記関連情報を、前記写真画像と共に、前記ディスプレイに表示する表示制御手段と
   を有することを特徴とするデジタル写真表示装置。
2. 前記顔領域検出手段は、検出された顔領域毎に、当該写真画像全体における顔領域の面積及び／又は中心離隔距離に基づいて重要度Ｐを算出し、
   前記特徴量蓄積手段は、当該顔領域における顔特徴量毎に前記重要度Ｐを対応付け、
   前記クラスタリング手段は、クラスタ毎に、前記顔領域の前記重要度Ｐの総和ΣＰを算出し、
   前記重要人物判別手段は、前記出現頻度及び重要度総和ΣＰに基づいて、重要人物の顔特徴量を判別する
   ことを特徴とする請求項１に記載のデジタル写真表示装置。
3. 前記写真画像には、撮影時のカメラ状態を示す撮影付帯情報が付与されており、
   前記写真画像から前記撮影付帯情報を取得するメタデータ抽出手段を更に有し、
   前記顔領域検出手段は、更に前記撮影付帯情報に基づいて、前記顔領域の重要度Ｐを算出することを特徴とする請求項２に記載のデジタル写真表示装置。
4. 前記撮影付帯情報は、前記顔領域に対する焦点離隔距離であり、
   前記顔領域検出手段は、前記顔領域に対する焦点離隔距離が近いほど、前記顔領域の重要度Ｐが高くなるように修正することを特徴とする請求項３に記載のデジタル写真表示装置。
5. 前記撮影付帯情報は、撮影元カメラ種別であり、
   前記顔領域検出手段は、前記撮影元カメラ種別が、ユーザ使用のカメラであるほど、前記顔領域の重要度Ｐが高くなるように修正することを特徴とする請求項３に記載のデジタル写真表示装置。
6. 当該デジタル写真表示装置は、デジタルフォトフレーム、又は、ディスプレイ搭載型の携帯プレーヤであることを特徴とする請求項１から５のいずれか１項に記載のデジタル写真表示装置。
7. 属性情報に基づく関連情報を蓄積した配信サーバへ、ネットワークを介して前記属性情報を送信する属性情報送信手段と、
   前記配信サーバから、前記属性情報に基づく前記関連情報を受信する関連情報受信手段と
   を有することを特徴とする請求項１から６のいずれか１項に記載のデジタル写真表示装置。
8. 前記属性情報は、年齢性別情報であり、
   前記関連情報は、広告情報であり、
   前記配信サーバは、広告配信サーバである
   ことを特徴とする請求項７に記載のデジタル写真表示装置。
9. 請求項７又は８に記載のデジタル写真表示装置と通信する前記配信サーバであって、
   属性情報に対応付けた関連情報を蓄積する関連情報蓄積手段と、
   前記デジタル写真表示装置から、前記属性情報を受信する属性情報受信手段と、
   前記関連情報蓄積手段を用いて、前記属性情報に応じた関連情報を検索する関連情報検索手段と、
   検索された前記関連情報を、前記デジタル写真表示装置へ送信する関連情報送信手段と
   を有することを特徴とする配信サーバ。
10. デジタル写真画像をディスプレイに表示するデジタル写真表示装置と、配信サーバとが、ネットワークを介して接続されたシステムであって、
    前記デジタル写真表示装置は、
    多数の写真画像を蓄積する写真画像蓄積手段と、
    前記写真画像蓄積手段に蓄積された多数の写真画像を、前記配信サーバへ送信する写真画像送信手段と、
    前記配信サーバから、前記関連情報を受信する関連情報受信手段と、
    前記写真画像と共に、前記関連情報を前記ディスプレイに表示する表示制御手段と
    を有し、
    前記配信サーバは、
    属性情報に対応付けた関連情報を蓄積する関連情報蓄積手段と、
    前記デジタル写真表示装置から、前記多数の写真画像を受信する写真画像受信手段と、
    前記写真画像毎に、人物の顔領域を抽出する顔領域検出手段と、
    前記顔領域における顔特徴量を取得する顔特徴量抽出手段と、
    多数の写真画像における前記顔特徴量を保存する特徴量蓄積手段と、
    前記顔特徴量を類似度に基づいてクラスタリングするクラスタリング手段と、
    出現頻度の高い顔特徴量を、重要人物として判別する重要人物判別手段と、
    前記重要人物の顔特徴量における属性情報を検出する属性取得手段と、
    前記関連情報蓄積手段を用いて、前記属性情報に基づく関連情報を取得する関連情報取得手段と、
    前記関連情報を、前記デジタル写真表示装置へ送信する関連情報送信手段と
    を有することを特徴とするシステム。
11. デジタル写真画像をディスプレイに表示するデジタル写真表示装置と、属性情報に基づく関連情報を蓄積した配信サーバとが、ネットワークを介して接続されたシステムであって、
    前記デジタル写真表示装置は、
    多数の写真画像を蓄積する写真画像蓄積手段と、
    前記写真画像毎に、人物の顔領域を抽出する顔領域検出手段と、
    前記顔領域における顔特徴量を取得する顔特徴量抽出手段と、
    多数の写真画像における前記顔特徴量を保存する特徴量蓄積手段と、
    前記特徴量蓄積手段に蓄積された多数の顔特徴量を、前記配信サーバへ送信する顔特徴量送信手段と、
    前記配信サーバから、前記関連情報を受信する関連情報受信手段と、
    前記写真画像と共に、前記関連情報を前記ディスプレイに表示する表示制御手段と
    を有し、
    前記配信サーバは、
    属性情報に対応付けた関連情報を蓄積する関連情報蓄積手段と、
    前記デジタル写真表示装置から、前記多数の顔特徴量を受信する顔特徴量受信手段と、
    前記顔特徴量を類似度に基づいてクラスタリングするクラスタリング手段と、
    出現頻度の高い顔特徴量を、重要人物として判別する重要人物判別手段と、
    前記重要人物の顔特徴量における属性情報を検出する属性取得手段と、
    前記関連情報蓄積手段を用いて、前記属性情報に基づく関連情報を取得する関連情報取得手段と、
    前記関連情報を、前記デジタル写真表示装置へ送信する関連情報送信手段と
    を有することを特徴とするシステム。
12. デジタル写真画像を表示するディスプレイを有する装置に搭載されたコンピュータを機能させるデジタル写真表示プログラムにおいて、
    多数の写真画像を蓄積する写真画像蓄積手段と、
    前記写真画像毎に、人物の顔領域を抽出する顔領域検出手段と、
    前記顔領域における顔特徴量を取得する顔特徴量抽出手段と、
    多数の写真画像における前記顔特徴量を保存する特徴量蓄積手段と、
    前記顔特徴量を類似度に基づいてクラスタリングするクラスタリング手段と、
    出現頻度の高い顔特徴量を、重要人物として判別する重要人物判別手段と、
    前記重要人物の顔特徴量における属性情報を検出する属性取得手段と、
    属性情報に基づく関連情報を取得する関連情報取得手段と、
    前記重要人物の顔特徴量における前記関連情報を、前記写真画像と共に、前記ディスプレイに表示する表示制御手段と
    を有することを特徴とするデジタル写真表示プログラム。

Images