JP5601142B2 - 画像表示装置、画像表示方法及びプログラム - Google Patents

Description

本発明は、画像を表示する表示部を備えた画像表示装置、画像表示方法及びプログラムに関する。

従来、画像を表示する表示部を備えた画像表示装置としては、表示部に表示されている画像内の人物の目の視線方向を画像処理により変更するようにした技術が存在している。例えば、テレビ電話のカメラに対して視線が一致する画像を予め登録しておき、通話中の通話者画像に、この登録画像（視線一致の登録画像）を貼り付けてその通話相手に送信するようにした技術が存在している（特許文献１参照）。また、人物の視線が撮影方向に一致させた画像を予め登録しておくことにより、この登録人物の視線が撮影方向に一致するように修正するようにした技術が存在している（特許文献２参照）。

特開２００５−１１７１０６号公報 特開２００７−１５７１７６号公報

しかしながら、上述した各先行技術にあっては、予め視線に関する画像を登録しておき、画像内にその登録画像を合成することにより撮影方向に視線が向くように画像処理する技術であるが、視線方向を所定の方向（撮影方向）に変更することができるだけであった。
ところで、デジタルカメラで撮影された画像を再生する装置として、デジタルフォトフレームと呼ばれる再生専用機が製品化されている。このデジタルフォトフレームは、好みの場所に設置しておくだけで、お気に入り画像（静止画）、例えば、人物やペットなどを撮影した画像、人物やペットなどを描いた画像を、いつでも自由に画像を鑑賞（視認）することができるという利点があるが、人物やペットなどの画像と視線を合わせるためにはその画像の視線方向から画像を見なければならなかった。

本発明の課題は、目を含む画像を表示している表示部に視線を向けている人物が居る場合に、その人物に応じて表示画像内の目の視線方向を変更できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、
画像を表示する表示部を備えた画像表示装置であって、
前記表示部に視線を向けている人物が居るか否かを監視する監視手段と、
前記監視手段により前記表示部に視線を向けている人物が検出された場合に、前記表示部を基準としてその人物の目の方向を検出する検出手段と、
前記表示部に表示される表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であるか否かを判別する判別手段と、
前記検出手段により前記表示部に視線を向けている人物の目の方向が検出され、かつ、前記判別手段により前記表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であると判別された場合に、前記表示画像内の目の視線方向が前記検出された目の方向に一致するように該表示画像内の目の画像部分を編集する画像編集を行う編集手段と、
を備えることを特徴とする。

請求項１に従属する発明として、
前記表示部側を撮影する撮像手段を更に備え、
前記監視手段は、前記撮像手段により撮像された画像を解析することにより前記表示部に視線を向けている人物が居るか否かを監視する、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。

請求項１あるいは請求項２に従属する発明として、
前記監視手段は、前記表示部に視線を向けている人物が居る場合にその人物の数は単数か複数かを検出し、
前記検出手段は、前記監視手段により前記表示部に視線を向けている複数の人物が検出された場合に、その複数の検出人物の個々に対応してその目の方向をそれぞれ検出する、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。

請求項３に従属する発明として、
前記検出手段は、前記複数の検出人物の個々を所定の順番で順次指定しながら各検出人物の目の方向をそれぞれ検出し、
前記編集手段は、各検出人物が順次指定される毎に、表示画像内の目の視線方向がその検出人物の目方向に一致するように該表示画像内の目の画像部分をそれぞれ編集する処理を行う、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。

請求項４に従属する発明として、
前記監視手段により前記表示部に視線を向けている複数の人物が検出された場合にその複数の検出人物の年齢をそれぞれ特定する年齢特定手段を更に備え、
前記検出手段は、前記複数の検出人物の個々を所定の順番で順次指定する場合に、前記年齢特定手段により特定された年齢順に従って順次指定する、
ようにしたことを特徴とする、請求項５記載の発明であってもよい。

請求項４に従属する発明として、
前記検出手段は、前記複数の検出人物の個々を所定の順番で順次指定する場合に、その複数の検出人物の並び順に従って各検出人物を順次指定する、
ようにしたことを特徴とする、請求項６記載の発明であってもよい。

請求項１〜請求項６記載に従属する発明として、
前記編集手段は、前記検出手段により前記表示部に視線を向けている人物の目の方向が検出され、かつ、前記判別手段により前記表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であると判別された場合に、前記表示部に視線を向けている人物の条件に応じて、前記表示画像内の目の視線方向が前記検出された目の方向に一致するように該表示画像内の目の画像部分を編集する、
ようにしたことを特徴とする、請求項７記載の発明であってもよい。

請求項７に従属する発明として、
人物を記憶する人物記憶手段と、
前記監視手段により前記表示部に視線を向けている人物が検出された場合に、前記人物記憶手段を参照してその検出人物を特定する特定手段と、
を更に備え、
前記編集手段は、前記検出人物が前記人物記憶手段に記憶されている人物であることを前記人物の条件とする、
ようにしたことを特徴とする、請求項８記載の発明であってもよい。

請求項７に従属する発明として、
前記編集手段は、前記表示部に表示されている目を含む画像と前記特定手段により特定された人物との対応関係を前記人物の条件とする、
ようにしたことを特徴とする、請求項９記載の発明であってもよい。

請求項７に従属する発明として、
前記監視手段により前記表示部に視線を向けている人物の年齢を特定する年齢特定手段を更に備え、
前記編集手段は、前記年齢特定手段により特定された年齢が所定の年齢層であることを前記人物の条件とする、
ようにしたことを特徴とする、請求項１０記載の発明であってもよい。

請求項７に従属する発明として、
前記監視手段により前記表示部に視線を向けている人物の性別を推測する性別特定手段を更に備え、
前記編集手段は、前記性別特定手段により特定された性別が所定の性別であることを前記人物の条件とする、
ようにしたことを特徴とする、請求項１１記載の発明であってもよい。

また、上述した課題を解決するために請求項１２記載の発明は、
コンピュータに対して、
画像を表示する表示部に視線を向けている人物が居るか否かを監視する機能と、
前記表示部に視線を向けている人物が検出された場合に、前記表示部を基準としてその人物の目の方向を検出する機能と、
前記表示部に表示される表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であるか否かを判別する機能と、
前記表示部に視線を向けている人物の目の方向が検出され、かつ、前記判別の結果、前記表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であると判別された場合に、前記表示画像内の目の視線方向が前記検出された目の方向に一致するように該表示画像内の目の画像部分を編集する画像編集を行う機能と、
を実現させるためのプログラム、であることを特徴とする。
また、上述した課題を解決するために請求項１３記載の発明は、
画像表示装置における画像表示方法であって、
画像を表示する表示部に視線を向けている人物が居るか否かを監視するステップと、
前記表示部に視線を向けている人物が検出された場合に、前記表示部を基準としてその人物の目の方向を検出するステップと、
前記表示部に表示される表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であるか否かを判別するステップと、
前記表示部に視線を向けている人物の目の方向が検出され、かつ、前記判別の結果、前記表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であると判別された場合に、前記表示画像内の目の視線方向が前記検出された目の方向に一致するように該表示画像内の目の画像部分を編集する画像編集を行うステップと、
を含むことを特徴とする。

本発明によれば、目を含む画像を表示している表示部に視線を向けている人物が居る場合に、その人物に応じて表示画像内の目の視線方向を変更することができ、表示中の画像をどの方向から見ても画像と視線を合わせることが可能となる。

画像表示装置として適用した再生専用機としてのデジタルフォトフレームの基本的な構成要素を示したブロック図。 （１）は、人物記憶部Ｍ４、（２）は、視線処理テーブル記憶部Ｍ５、（３）は、一時情報記憶部Ｍ３内のフラグ情報を説明するための図。 表示部４に表示されている目を含む画像に対して視線処理を実行した後の表示状態を示した図で、（１）は、表示部４に視線を向けている人物が単数の場合の表示例を示し、（２）は、複数の場合の表示例を示した図。 電源投入に伴って実行開始されるデジタルフォトフレームの動作概要を示したフローチャート。 図４の動作に続くフローチャート。 視線処理（図４のステップＡ１３、図５のステップＡ２２）を詳述するためのフローチャート。 視線処理テーブルＭ５の内容の他の例を示し、（１）は、単数用の視線処理テーブルＭ５−１の内容、（２）は、複数用の視線処理テーブルＭ５−２の内容を示した図。

以下、図１〜図６を参照して本発明の実施形態を説明する。
図１は、画像表示装置として適用した再生専用機としてのデジタルフォトフレームの基本的な構成要素を示したブロック図である。
デジタルフォトフレームは、例えば、全体が略長方体の薄型筐体を横長にして立て置きするスタンドタイプで、複数の画像データを順次読み出して再生するスライドショー機能、画像データを受信取得する通信機能、現在日時を計測する計時機能などを備え、制御部１を中核として動作する構成となっている。制御部１は、電源部（例えば、商用電源又は二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルフォトフレームの全体動作を制御する中央演算処理装置やメモリ（図示省略）などを有している。記憶部３は、例えば、ＲＯＭ、ＲＡＭ、ハードディスク、フラッシュメモリなどの２以上を組み合わせた構成で、プログラム記憶部Ｍ１、画像データ記憶部Ｍ２、一時情報記憶部Ｍ３、人物記憶部Ｍ４、視線処理テーブル記憶部Ｍ５などを有している。

プログラム記憶部Ｍ１は、図４〜図６に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要となる各種の情報が記憶されている。画像データ記憶部Ｍ２は、撮像装置（図示省略）で撮影された各撮影画像（静止画データ、動画データ、一部動画データ）などを再生用として保存記憶する領域であり、各画像データをファイル形式で記憶するようにしている。一時情報記憶部Ｍ３は、フラグ情報、画面情報など、このデジタルフォトフレームが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。なお、人物記憶部Ｍ４、視線処理テーブル記憶部Ｍ５については後述する。

表示部４は、例えば、高精細液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ）などを使用し、例えば、画像データを高精細に表示するもので、制御部１は、画像データ記憶部Ｍ２に記憶されている画像データを読み出して表示部４に表示させる。この表示部４は、その表面に指の接触を検出する接触操作部（透明なタッチパネル）を積層配設されており、例えば、静電容量方式、抵抗膜方式、圧電方式などのタッチスクリーン（タッチ画面）を構成する。

このタッチ画面に初期メニュー画面が表示されている状態において、そのメニュー画面の中から所望するメニュー項目の位置がタッチ（選択）操作されると、制御部１は、タッチ（選択）操作されたメニュー項目に対応する処理を実行する。操作部５は、図示省略したが、例えば、押しボタン型の各種キーとして、電源をオン／オフさせる電源キーのほか、例えば、初期メニュー画面が表示されている状態において、カーソルを移動させて任意のメニュー項目を選択する十字キー、選択項目のメニュー処理の実行を指示する決定キーなどを備え、制御部１は、この操作部５からの入力操作信号に応じた処理を行う。

カードＩＦ（インターフェース）６は、カードスロット（図示省略）に挿入接続されたメモリカード（図示省略）との間で画像データの送受信を行うもので、撮像装置（図示省略）で撮影された各画像データを、メモリカード（例えば、ＳＤカード）を介して取得するが、その際、制御部１は、カードＩＦ６に接続されたメモリカードから画像データを読み出す。なお、図示しないが、ＵＳＢ（Universal Serial Bus）インターフェースを設け、ＵＳＢメモリから画像データを読み出してもよい。

撮像部７は、デジタルフォトフレームの前面側において表示部４の近傍に配設され、表示部４側を撮影するデジタルカメラで、例えば、１２０°の広角撮影が可能となっている。そして、撮像部７は、撮影レンズ、絞り機構、撮像素子（Ｃ−ＭＯＳ、ＣＣＤ）、光学系駆動部のほか、アナログ処理回路、信号処理回路などを備えている。制御部１は、撮像部７で撮像された画像を解析しながら表示部４に視線を向けている人物（視認者）が居るかを監視し、視認者が居ることを検出すると、撮像部７により撮像された人物の顔を中心とした画像部分を取得すると共に、この画像部分を解析することにより人物（表示部４を視認する視認者）は誰であるかを特定する人物認識処理（人物特定処理）を行うようにしている。なお、表示部４に視線を向けている人物（視認者）とは、人物の顔が表示部４に向いている状態、つまり、両目が画像認識により特定できる状態を意味しているが、両目の瞳を表示部４に向いているか状態を意味してもよい。

通信部８は、そのアンテナＡＮを介してネットワーク９に接続可能なもので、このネットワーク９は、例えば、無線ＬＡＮ（構内ネットワーク）又は公衆移動体通信網（公衆無線回線）であり、例えば、自宅側又は通信事業者側などの記憶装置１０に接続されている。すなわち、このネットワーク９には、１乃至複数台の記憶装置１０が接続されており、制御部１は、ネットワーク９を介して外部の記憶装置１０に画像データ（撮影画像）をアップロードしたり、外部の記憶装置１０から画像データをダウンロードしたりするが、その際、そのいずれの記憶装置１０を任意に指定して、その記憶装置１０の間で画像データを送受信するようにしている。デジタルフォトフレームは、ネットワーク９を介して外部の記憶装置１０に接続されている状態において、この外部の記憶装置１０に画像データを格納したり、記憶装置１０から画像データを読み出したりする。

図２（１）は、人物記憶部Ｍ４、図２（２）は、視線処理テーブル記憶部Ｍ５、図２（３）は、一時情報記憶部Ｍ３内のフラグ情報を説明するための図である。
人物記憶部Ｍ４は、表示部４に表示されている画像を視認する可能性がある人物に関する情報を記憶するもので、図２（１）に示すように、「ＩＤ」、「性別」、「年齢」、「顔画像・特徴情報」の各項目を有し、その内容はユーザ操作により任意に設定されたものである。「ＩＤ」は、人物識別情報で、図示の例では、自分（設定者）である“Ｘ１”に対して“Ｘ２”〜Ｘ５はその家族である。「顔画像・特徴情報」は、その人物の顔を中心にして撮影した画像や顔の特徴を示した特徴情報で、人物を特定する人物認識時に使用するために事前に登録された登録情報である。

視線処理テーブル記憶部Ｍ５は、表示部４に表示される目を含む画像と視線処理条件とを対応付けて記憶するもので、図２（２）に示すように「表示画像」、「視線処理条件」の各項目を有し、その内容はユーザ操作により任意に設定されたものである。ここで、「表示画像」は、表示部４に表示させる画像で、例えば、人物やペットなどを撮影した画像、人物やペットなどを描いた画像のように目を含む画像などである。また、視線処理とは、表示部４に視線を向けている人物の目の方向を検出し、かつ、表示部４に目を含む画像が表示されている場合に、表示されている画像の目の視線方向が検出人物の目の方向に一致するように該表示画像内の目の画像部分を編集する画像編集処理である。つまり、目を含む画像を表示している表示部４に視線を向けている人物が居る場合に、その人物の目の方向に表示画像内の目の視線方向を変更する処理（表示画像内の目の瞳部分を検出人物の目の方向に移動させる編集処理）である。「視線処理条件」は、このような視線処理を実行するための実行条件を示している。

そして、視線処理テーブル記憶部Ｍ５には、表示部４に視線を向けている人物（視認者）が単数の場合に参照される単数用の視線処理テーブルＭ５−１と、表示部４に視線を向けている人物（視認者）が複数の場合に参照される単数用の視線処理テーブルＭ５−２を有している。なお、図示の例において、単数用の視線処理テーブルＭ５−１には、「表示画像」の“ＡＡＡ”に対応する「視線処理条件」として、“人物Ｘ１のみに視線を向ける”が記憶され、例えば、“ＡＡＡ”が恋人の顔写真であれば、自分（設定者）である“Ｘ１”に対してのみ視線を向けることを示している。また、「表示画像」の“ＢＢＢ”に対応する「視線処理条件」として、“人物Ｘ２、Ｘ３のみに視線を向ける”が記憶され、例えば、“ＢＢＢ”が子供（設定者）の写真であれば、その家族（両親）である“Ｘ２”、Ｘ３に対してのみ視線を向けることを示している。

このように単数用の視線処理テーブルＭ５−１の場合には、誰を対象に視線処理を行うかの人物を「視線処理条件」として設定するようにしたが、複数用の視線処理テーブルＭ５−２には、誰を対象に視線処理を行うかを示す人物を特定するほか、どのような順番で視線処理を実行するかの実行順も「視線処理条件」として設定するようにしている。なお、図示の例においては、「表示画像」の“ＣＣＣ”に対応する「視線処理条件」として、“人物Ｘ１、Ｘ２、Ｘ３、Ｘ４のみに年齢順に視線を向ける”が記憶され、例えば、“ＣＣＣ”がペットの顔写真であれば、その家族である“Ｘ１”、Ｘ２、Ｘ３、Ｘ４に対してのみ視線を向けることを示していると共に、年齢順に視線を向けるべきであることを示している。

また、図２（３）に示すように一時情報記憶部Ｍ３内の設定フラグ情報は、上述の視線処理テーブル記憶部Ｍ５の設定内容に基づいた視線処理を実行するか否かを示すフラグを記憶するもので、「固定の視線処理を行う」、「設定に応じた視線処理を行う」のいずれの処理を有効とするかをユーザ操作により任意に設定可能となっている。「固定の視線処理を行う」は、視線処理テーブル記憶部Ｍ５の設定内容に基づいた視線処理を実行しない、つまり、予め固定的に決められている方法で視線処理を実行すべきことを示し、「設定に応じた視線処理を行う」は、視線処理テーブル記憶部Ｍ５の設定内容に基づいた視線処理を実行すべきことを示している。ここで、図示の例では、「固定の視線処理を行う」に対応してフラグ“０”が設定され、「設定に応じた視線処理を行う」に対応してフラグ“１”が設定されている。これにより現在有効な項目は、「設定に応じた視線処理を行う」であることを示している。

図３は、表示部４に表示されている目を含む画像に対して視線処理を実行した後の表示状態を示した図で、図３（１）は、表示部４に視線を向けている人物（視認者）が居ることを検出した場合にその検出人物が単数の場合の表示例を示し、図３（２）は、検出人物が複数の場合の表示例を示している。なお、図中、○と△とを組み合わせた図形は、人物を表現し、特に内部を塗り潰した図形が検出人物を示している。制御部１は、表示部４の全体領域（有効表示領域）内に画像が表示されている状態において、その全体領域に対して目の画像部分の大きさが所定値以上の場合に、目を含む画像が表示されていると判別するようにしている。すなわち、人物の顔が表示されていても表示部４の全体領域に対してその目の画像部分の大きさが、例えば、標準視力で２ｍ先からでは認識することができない程、小さ過ぎるときには、視線処理を施しても大きな効果が得られないために目の画像部分の大きさが所定値以上であることを条件に目を含む画像が表示されていると判別するようにしている。

このように目を含む画像が表示されている場合に表示部４に視線を向けている人物（視認者）を検出すると、表示画像内の目の視線方向を検出した人物の目の方向に一致するように表示画像内の目の画像部分を編集する。この場合、図３（２）は、検出人物が複数の場合に、図２（３）で示した「固定の視線処理を行う」に設定フラグ情報“０”が設定されているときの視線処理を説明するための図で、「固定の視線処理を行う」の場合には、複数の検出人物の並び順に従って各検出人物を順次指定しながら視線処理を行うようにしている。図示の例では、図中、右側から左側に向かう並び順に従って各人物を順次指定するようにしている。

次に、本実施形態におけるデジタルフォトフレームの動作概念を図４〜図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図４及び図５は、デジタルフォトフレームの動作概要を示したフローチャートで、電源投入に伴って実行開始される。
先ず、デジタルフォトフレームの動作に必要となる各種の初期設定を行った後（図４のステップＡ１）、表示部４に初期メニュー画面を表示させる（ステップＡ２）。この初期メニュー画面には、“画像一覧表示”、“スライドショー”、“設定”、“編集”などの各メニュー項目が表示され、ユーザはその中から任意の項目位置に対してタッチ操作又は操作部５上での操作を行う。いま“画像一覧表示”の項目位置をタッチする操作又は操作部５上の操作（一覧表示操作）が行われたときには（ステップＡ３でＹＥＳ）、記憶部３内の画像データ記憶部Ｍ２に記憶されている画像データをアクセスすると共に（ステップＡ４）、カードＩＦ６を介してメモリカードをアクセスし（ステップＡ５）、更に外部の記憶装置１０に記憶されている当該ユーザ対応の画像データを通信部８からネットワーク９を介してアクセスする（ステップＡ６）。

そして、画像データ記憶部Ｍ２内の各画像データ、メモリカード内の各画像データ、外部の記憶装置１０内の各画像データをそれぞれサムネイル画像に変換して表示部４に一覧表示させる（ステップＡ７）。なお、表示部４の１画面内に全ての画像データを収めることができなかった場合には、操作部５上での画面切り換え操作やスクロール操作により、この一覧表示の内容を自由に変更することが可能となっている。この状態において、一覧画面の中からユーザの所望する任意のサムネイル画像を選択するためにその表示位置をタッチする操作又は操作部５上の操作（サムネイル選択操作）が行われたかを調べたり（ステップＡ８）、一覧表示の終了を指示する終了操作が行われたかを調べたりしながら操作待ち状態となる（ステップＡ９）。ここで、一覧表示の終了操作が行われたときには（ステップＡ９でＹＥＳ）、上述のメニュー画面に戻る（ステップＡ２）。

いま、サムネイル選択操作が行われたときには（ステップＡ８でＹＥＳ）、選択されたサムネイル画像を拡大して切り替え画面に表示させる（ステップＡ１０）。この場合、表示部４の全体領域（有効表示領域）内に画像を表示させる。この状態において、表示画像を解析して人物やペットなどの目の画像部分が含まれているかを判別し（ステップＡ１１）、表示画像内に目の画像部分が含まれているときには（ステップＡ１１でＹＥＳ）、表示部４の全体領域に対して目の画像部分の大きさ所定値以上であるかを判別する（ステップＡ１２）。

ここで、目の画像部分の大きさ所定値以上であれば（ステップＡ１２でＹＥＳ）、後述する視線処理を実行した後（ステップＡ１３）、画像表示の終了を指示する終了操作の有無を調べる（ステップＡ１４）。また、表示画像内に目の画像部分が含まれていないときには（ステップＡ１１でＮＯ）、又は目の画像部分が含まれていてもその大きさが所定値未満であれば（ステップＡ１２でＮＯ）、上述した視線処理（ステップＡ１３）をスキップして、ステップＡ１４に移り、画像表示の終了を指示する終了操作の有無を調べる。ここで、画像表示の終了操作が行われたときには（ステップＡ１４でＹＥＳ）、上述のメニュー画面に戻る（ステップＡ２）。

図６は、視線処理（図４のステップＡ１３、図５のステップＡ２２）を詳述するためのフローチャートである。
先ず、制御部１は、撮像部７で撮像された画像を取得してその画像を解析しながら表示部４に視線を向けている人物（視認者）が近傍に居るかを監視し（ステップＢ１）、人物の顔が表示部４に向いている状態において、人物の目の方向を検出できたか、つまり、表示部４を基準としてその人物の目の方向を検出することができたかを判別する（ステップＢ２）。ここで、画像解析により顔の輪郭、目、口、鼻、額などの形やそれらの位置関係から人物の目を検出する。その結果、人物の目を検出することができなかった場合には（ステップＢ２でＮＯ）、表示部４に視線を向けている人物が居ないと判断して、この時点で図６のフローから抜けるが、人物の目を検出することができたときには（ステップＢ２でＹＥＳ）、表示部４に視線を向けている人物が居ると判断して、その検出人物（目を検出した人物）の数を計数して単数かを調べる（ステップＢ３）。

ここで、検出人物が単数の場合に（ステップＢ３でＹＥＳ）、図２（３）に示した設定フラグ情報を参照し、その値は“０”であるか、つまり、視線処理の種類として「固定の視線処理を行う」が選択されているかを調べる（ステップＢ４）。いま、「固定の視線処理を行う」が選択されている場合（設定フラグ＝“０”の場合）には（ステップＢ４でＹＥＳ）、表示画像内の目の画像部分を編集する処理として、表示画像内の目の視線方向を、検出人物の目の方向に一致させる画像編集処理（表示画像内の目の瞳部分を、検出人物の目の方向に移動させる編集処理）を行う（ステップＢ５）。この場合、表示部４を基準としてその検出人物の目の方向を検出する。その後、図６のフローから抜ける。

また、検出人物が複数で（ステップＢ３でＮＯ）、「固定の視線処理を行う」が選択されている場合（設定フラグ＝“０”の場合）には（ステップＢ６でＹＥＳ）、複数の検出人物の個々を所定の順番で順次指定しながら各検出人物の目の方向をそれぞれ検出すると共に、各検出人物を順次指定する毎に、表示画像内の目の視線方向がその検出人物の目の方向に一致するように該表示画像内の目の画像部分をそれぞれ編集する処理を行う（ステップＢ７）。この場合、複数の検出人物の並び順（図中、右側からの並び順）に従って各検出人物を順次指定しながら表示部４を基準としてその検出人物の目の方向を検出すると共に、表示画像内の目の瞳部分を、検出人物の目の方向に移動させる視線処理を検出人物毎に行う。その後、図６のフローから抜ける。

一方、検出人物が単数か複数かに関わらず、「設定に応じた視線処理を行う」が選択されている場合（設定フラグ＝“１”の場合）には（ステップＢ４、Ｂ６でＮＯ）、検出人物の画像部分（顔を中心とした画像部分）を取得し（ステップＢ８）、この取得画像に基づいて人物記憶部Ｍ４内の各「顔画像・特徴情報」を参照しながら検出人物は誰であるかを特定する（ステップＢ９）。この場合、画像の顔の向き、大きさを補正した後、顔の輪郭、目、口、鼻、額の形、位置、大きさ、髪型、メガネの有無と種類などを個別に比較するほかに、それらを総合的に比較することによって人物認識（人物特定）を行う。その結果、特定することができた人物（特定人物）の数を計数して、特定人物は単数かを調べる（ステップＢ１０）。

いま、特定人物が単数であれば（ステップＢ１０でＹＥＳ）、単数用の視線処理テーブルＭ５−１を参照し（ステップＢ１１）、その参照結果に基づいて表示画像内の目の視線方向を、特定人物の目の方向に一致させる編集処理を行う（ステップＢ１２）。すなわち、表示画像に対応付けられている「視線処理条件」を単数用の視線処理テーブルＭ５−１から読み出して、この「視線処理条件」に特定人物が合致しているかを調べ、その条件に合致していれば、表示画像内の目の視線方向を、その特定人物の目の方向に一致させる編集処理を行う。例えば、表示画像が“ＡＡＡ”であれば、その「視線処理条件」は、“人物Ｘ１のみに視線を向ける”であるから、特定人物がＸ１の場合に限り編集処理を行い、また、表示画像が“ＢＢＢ”であれば、その「視線処理条件」は、“人物Ｘ２、Ｘ３のみに視線を向ける”であるから、特定人物が“Ｘ２”又はＸ３の場合に限り編集処理を行う。その後、図６のフローから抜ける。

また、特定人物が複数であれば（ステップＢ１０でＮＯ）、複数用の視線処理テーブルＭ５−２を参照し（ステップＢ１３）、その参照結果に基づいて表示画像内の目の視線方向を、特定人物の目の方向に一致させる編集処理を行う（ステップＢ１２）。すなわち、表示画像に対応付けられている「視線処理条件」を複数用の視線処理テーブルＭ５−２から読み出し、この「視線処理条件」に特定人物が合致していれば、表示画像内の目の視線方向を、その特定人物の目の方向に一致させる編集処理を行う。例えば、表示画像が“ＣＣＣ”であれば、その「視線処理条件」は、“人物Ｘ１、Ｘ２、Ｘ３、Ｘ４のみに年齢順に視線を向ける”であるから、複数の特定人物がＸ１、Ｘ２、Ｘ３、Ｘ４の組み合わせであれば、その年齢順に編集処理を行う。その後、図６のフローから抜ける。

他方、メニュー画面の中から“スライドショー表示”の項目位置をタッチする操作又は操作部５上の操作（スライドショー操作）が行われたときには（図５のステップＡ１５でＹＥＳ）、画像データ記憶部Ｍ２に記憶されている画像データをアクセスすると共に（ステップＡ１６）、カードＩＦ６を介してメモリカードをアクセスし（ステップＡ１７）、更に外部の記憶装置１０に記憶されている各画像データを通信部８からネットワーク９を介してアクセスする（ステップＡ１８）。そして、画像データ記憶部Ｍ２内の各画像データ、メモリカード内の各画像データ、外部の記憶装置１０内の各画像データを表示部４に順次表示させるスライドショー表示を開始させる（ステップＡ１９）。この場合、複数の画像データをその撮影日時の古い順又は新しい順などに応じて順次読み出してスライドショー表示を行うようにしているが、その読み出し順序はこれに限らず任意である。

このようにスライドショー表示を開始させた状態において、表示対象として読み出した画像を解析して人物やペットなどのように目の画像部分が表示画像内に含まれているかを判別し（ステップＡ２０）、目の画像部分が含まれていれば（ステップＡ２０でＹＥＳ）、表示部４の全体領域に対して目の画像部分の大きさ所定値以上であるかを判別する（ステップＡ２１）。ここで、目の画像部分の大きさ所定値以上であれば（ステップＡ２１でＹＥＳ）、上述した視線処理を実行した後（ステップＡ２２）、スライドショー表示の一時停止操作が行われたかを調べたり（ステップＡ２３）、スライドショー表示の終了を指示する終了操作が行われたかを調べたりする（ステップＡ２４）。ここで、いずれの操作も行われなければ（ステップＡ２４でＮＯ）、上述のステップＡ１９に戻り、スライドショー表示を継続させる。以下、次の画像が表示される毎に、上述のステップＡ１９〜Ａ２２が繰り返される。

いま、一時停止操作が行われたときには（ステップＡ２３でＹＥＳ）、一時停止操作時の画像をそのまま停止表示させるが（ステップＡ２５）、画像表示の終了を指示する終了操作が行われたときには（ステップＡ２６でＹＥＳ）、上述のメニュー画面に戻る（図４のステップＡ２）。また、スライドショー表示終了操作が行われたときにも（ステップＡ２４でＹＥＳ）、上述のメニュー画面に戻る（図４のステップＡ２）。また、“設定”、“編集”等のその他の項目位置をタッチする操作又は操作部５上の操作（その他の操作）が行われたときには（ステップＡ２７でＹＥＳ）、操作に応じたその他の処理として、例えば、人物記憶部Ｍ４、視線処理テーブル記憶部Ｍ５などに対する設定処理を実行したり、画像データ記憶部Ｍ２に画像を登録したり、画像データ記憶部Ｍ２から不要の画像を削除したりする処理を行った後（ステップＡ２８）、上述のメニュー画面に戻る（図４のステップＡ２）。

以上のように、本実施形態において制御部１は、表示部４に視線を向けている人物の目の方向を検出し、かつ、目を含む画像が表示されている場合に、表示画像内の目の視線方向が、検出人物の目の方向に一致するように表示画像内の目の画像部分を編集するようにしたので、目を含む画像を表示している表示部４に視線を向けている人物が居る場合に、その人物に応じて表示画像内の目の視線方向を変更することができ、ユーザにあっては、表示画像をどの方向から見ても画像と視線を合わせることが可能となり、従来のように、人物やペットなどの画像と視線を合わせるためにその画像の視線方向から画像を見る必要がなくなる。

表示部４側を撮影する撮像部７により撮像された画像を解析することにより表示部４に視線を向けている人物が居るか否かを監視するようにしたので、特別な操作を要求することなく、表示部４に視線を向けている人物を検出することができる。

表示画像内の目の画像部分の大きさが所定値以上の場合に、目を含む画像が表示されていると判別するようにしたので、例えば、標準視力で２ｍ先からでは認識することができない程、目の画像部分が小さ過ぎる画像を視線合わせの対象外とすることができる。

表示部４に視線を向けている人物が居る場合にその人物の数は単数か複数かを検出し、複数の場合には、その複数の人物の個々に対応してその目の方向をそれぞれ検出するようにしたので、表示部４に視線を向けている人物が複数の場合であっても視線合わせを行うことができる。

複数の検出人物の個々を所定の順番で順次指定しながら各検出人物の目の方向をそれぞれ検出し、各検出人物を順次指定する毎に、表示画像内の目の視線方向がその検出方向に一致するように表示画像内の目の画像部分をそれぞれ編集するようにしたので、複数の人物に対して視線合わせを所定の順番で行うことができる。

複数の人物に対して視線合わせを所定の順番で行う場合に、年齢順に従って行うようにしたので、年齢に応じた視線合わせが可能となる。

複数の人物に対して視線合わせを所定の順番で行う場合に、複数の人物の並び順に従って行うようにしたので、並び順に応じた視線合わせが可能となる。

表示部４に視線を向けている人物の目の方向が検出され、かつ、目を含む画像が表示されている場合に所定の条件下で、視線合わせを行うようにしたので、視線合わせを条件の成立した場合に限ることができる。その結果、表示部４に視線を向けている人物が居る場合に、表示画像との関係で適切な人物のみに視線を合わせることができる。

表示部４に視線を向けている人物が人物記憶部Ｍ４に記憶されている人物であることを条件として、視線合わせを行うようにしたので、特定の人物にだけ視線合わせを行うことができる。

表示部４に表示されている目を含む画像と人物とが視線処理テーブル記憶部Ｍ５に記憶されている対応関係にあることを所定の条件として、視線合わせを行うようにしたので、
表示されている画像と対応関係にある特定の人物に対して視線合わせを行うことができる。

なお、上述した実施形態において単数用の視線処理テーブルＭ５−１は、図２（２）に示すように、表示画像に対応して“人物Ｘ１のみに視線を向ける”又は“人物Ｘ２、Ｘ３のみに視線を向ける”を記憶するようにしたが、図７（１）に示すような内容であってもよい。すなわち、「表示画像」が“指定なし”の場合、つまり、どのような内容の画像が表示されているかを問わない場合の「視線処理条件」として“所定距離範囲内の人物にのみ視線を向ける”を記憶するようにしてもよい。この場合、制御部１は、撮像部７からの画像を解析することにより表示部４から距離的に近い人物を特定して、その人物の目の方向を検出するようにする。その際に、人物の一部分（例えば、顔部分）の大きさが所定値以上か否かにより距離的に近いか否かを判別するようにしてもよく、また、オートフォーカス機能（ＡＦ機能）を利用して各被写体（人物）までの距離を計測するようにしてもよい。なお、距離的に近いとは、視線合わせにとって効果的な距離（例えば、表示部４から２ｍ以内）を意味している。

このように表示部４に視線を向けている人物が検出された場合に、表示部４から距離的に近い人物を条件として視線合わせを行うようにすれば、表示部４を積極的に見ている可能性の強い人物に対して視線合わせを行うことができ、視線合わせが効果的なものとなる。

また、単数用の視線処理テーブルＭ５−１に図７（１）に示すような内容を記憶するようにしてもよい。すなわち、「表示画像」が“指定なし”の「視線処理条件」として“１０歳〜３０歳の人物のみ視線を向ける”を記憶するようにしてもよい。この場合、制御部１は、撮像部７からの画像を解析しながら人物記憶部Ｍ４を参照することにより人物の特定を行い、特定した各人物の「年齢」を人物記憶部Ｍ４からそれぞれ読み出して、特定の年齢層（例えば、１０歳〜３０歳）に該当しているかを判別するようにすればよい。

このように表示部４に視線を向けている人物の年齢を特定し、その年齢が所定の年齢層（例えば、１０歳〜３０歳）であることを条件として視線合わせを行うようにすれば、表示部４を積極的に見る可能性の強い人物に対して視線合わせを行うことができ、視線合わせが効果的なものとなる。

また、単数用の視線処理テーブルＭ５−１に図７（１）に示すような内容を記憶するようにしてもよい。すなわち、「表示画像」が“女性”の場合に、その「視線処理条件」として“男性にのみ視線を向ける”を記憶したり、「表示画像」が“男性”の場合に、その「視線処理条件」として“女性にのみ視線を向ける”を記憶したりするようにしてもよい。このように表示画像内の人物とは性別が異なる人物が表示部４を見ている場合に、異性を条件として視線合わせを行うようにしてもよい。ここで、制御部１は、撮像部７からの画像を解析しながら人物記憶部Ｍ４を参照することにより人物の特定を行い、特定した各人物の「性別」を人物記憶部Ｍ４からそれぞれ読み出して各人物の性別を判別するようにすればよい。なお、人物の性別を特定する場合、人物記憶部Ｍ４から特定人物の性別を読み出す場合に限らず、画像解析により性別を推測するようにしてもよい。

このように表示部４に視線を向けている人物の性別を特定し、その性別を条件（例えば、異性を条件）として視線合わせを行うようにすれば、表示部４を積極的に見る可能性の強い人物に対して視線合わせを行うことができ、視線合わせが効果的なものとなる。

また、複数用の視線処理テーブルＭ５−２に図７（２）に示すような内容を記憶するようにしてもよい。すなわち、図２（２）においては、「表示画像」の“ＣＣＣ”に対応する「視線処理条件」として“人物Ｘ１、Ｘ２、Ｘ３、Ｘ４のみに年齢順に視線を向ける”を記憶するようにしたが、図７（２）に示すように、「表示画像」の“指定なし”に対応する「視線処理条件」として“年齢の高い順に視線を向ける”を記憶するようにしてもよい。つまり、複数の検出人物に対して表示画像や人物に限らず、年齢の高い順に視線を向けるようにしてもよい。また、「表示画像」の“指定なし”に対応する「視線処理条件」として“女性を優先して右側から視線を向ける”を記憶するようにしてもよい。つまり、複数の検出人物に対して表示画像に限らず、女性を優先して右側から視線を向けた後、男性か居れば、その男性に対して向けるようにしてもよい。

また、上述した実施形態においては、人物の年齢を特定する場合、人物記憶部Ｍ４から特定人物の年齢を読み出すようにしたが、これに限らず、画像解析により年齢を推測するようにしてもよい。更に「視線処理条件」としては、年齢や性別に限らず、予め任意に設定した時間帯・曜日・日時であってもよい。

また、上述した実施形態においては、全体が略長方体の薄型筐体を横長にして立て置きするスタンドタイプのデジタルフォトフレームを示したが、これに限らず、壁掛けタイプのデジタルフォトフレームであってもよく、どのようなタイプのデジタルフォトフレームであっても同様に適用可能である。

また、上述した実施形態においては、画像表示装置としてデジタルフォトフレームに適用した場合を示したが、画像表示部を備えた携帯電話機・卓上電子計算機・パーソナルコンピュータ（ノートパソコンなど）・ＰＤＡ・デジタルカメラ・音楽プレイヤーなどであってもよい。

その他、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 制御部
３ 記憶部
４ 表示部
５ 操作部
７ 撮像部
Ｍ１ プログラム記憶部
Ｍ２ 画像データ記憶部
Ｍ３ 一時情報記憶部
Ｍ４ 人物記憶部
Ｍ５ 視線処理テーブル記憶部

Claims (13)

1. 画像を表示する表示部を備えた画像表示装置であって、
   前記表示部に視線を向けている人物が居るか否かを監視する監視手段と、
   前記監視手段により前記表示部に視線を向けている人物が検出された場合に、前記表示部を基準としてその人物の目の方向を検出する検出手段と、
   前記表示部に表示される表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であるか否かを判別する判別手段と、
   前記検出手段により前記表示部に視線を向けている人物の目の方向が検出され、かつ、前記判別手段により前記表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であると判別された場合に、前記表示画像内の目の視線方向が前記検出された目の方向に一致するように該表示画像内の目の画像部分を編集する画像編集を行う編集手段と、
   を備えることを特徴とする画像表示装置。
2. 前記表示部側を撮影する撮像手段を更に備え、
   前記監視手段は、前記撮像手段により撮像された画像を解析することにより前記表示部に視線を向けている人物が居るか否かを監視する、
   ようにしたことを特徴とする請求項１記載の画像表示装置。
3. 前記監視手段は、前記表示部に視線を向けている人物が居る場合にその人物の数は単数か複数かを検出し、
   前記検出手段は、前記監視手段により前記表示部に視線を向けている複数の人物が検出された場合に、その複数の検出人物の個々に対応してその目の方向をそれぞれ検出する、
   ようにしたことを特徴とする請求項１あるいは請求項２記載の画像表示装置。
4. 前記検出手段は、前記複数の検出人物の個々を所定の順番で順次指定しながら各検出人物の目の方向をそれぞれ検出し、
   前記編集手段は、各検出人物が順次指定される毎に、表示画像内の目の視線方向がその検出人物の目方向に一致するように該表示画像内の目の画像部分をそれぞれ編集する処理を行う、
   ようにしたことを特徴とする請求項３記載の画像表示装置。
5. 前記監視手段により前記表示部に視線を向けている複数の人物が検出された場合にその複数の検出人物の年齢をそれぞれ特定する年齢特定手段を更に備え、
   前記検出手段は、前記複数の検出人物の個々を所定の順番で順次指定する場合に、前記年齢特定手段により特定された年齢順に従って順次指定する、
   ようにしたことを特徴とする請求項４記載の画像表示装置。
6. 前記検出手段は、前記複数の検出人物の個々を所定の順番で順次指定する場合に、その複数の検出人物の並び順に従って各検出人物を順次指定する、
   ようにしたことを特徴とする請求項４記載の画像表示装置。
7. 前記編集手段は、前記検出手段により前記表示部に視線を向けている人物の目の方向が検出され、かつ、前記判別手段により前記表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であると判別された場合に、前記表示部に視線を向けている人物の条件に応じて、前記表示画像内の目の視線方向が前記検出された目の方向に一致するように該表示画像内の目の画像部分を編集する、
   ようにしたことを特徴とする請求項１〜請求項６記載の画像表示装置。
8. 人物を記憶する人物記憶手段と、
   前記監視手段により前記表示部に視線を向けている人物が検出された場合に、前記人物記憶手段を参照してその検出人物を特定する特定手段と、
   を更に備え、
   前記編集手段は、前記検出人物が前記人物記憶手段に記憶されている人物であることを前記人物の条件とする、
   ようにしたことを特徴とする請求項７記載の画像表示装置。
9. 前記編集手段は、前記表示部に表示されている目を含む画像と前記特定手段により特定された人物との対応関係を前記人物の条件とする、
   ようにしたことを特徴とする請求項８記載の画像表示装置。
10. 前記監視手段により前記表示部に視線を向けている人物の年齢を特定する年齢特定手段を更に備え、
    前記編集手段は、前記年齢特定手段により特定された年齢が所定の年齢層であることを前記人物の条件とする、
    ようにしたことを特徴とする請求項７記載の画像表示装置。
11. 前記監視手段により前記表示部に視線を向けている人物の性別を推測する性別特定手段を更に備え、
    前記編集手段は、前記性別特定手段により特定された性別が所定の性別であることを前記人物の条件とする、
    ようにしたことを特徴とする請求項７記載の画像表示装置。
12. コンピュータに対して、
    画像を表示する表示部に視線を向けている人物が居るか否かを監視する機能と、
    前記表示部に視線を向けている人物が検出された場合に、前記表示部を基準としてその人物の目の方向を検出する機能と、
    前記表示部に表示される表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であるか否かを判別する機能と、
    前記表示部に視線を向けている人物の目の方向が検出され、かつ、前記判別の結果、前記表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であると判別された場合に、前記表示画像内の目の視線方向が前記検出された目の方向に一致するように該表示画像内の目の画像部分を編集する画像編集を行う機能と、
    を実現させるためのプログラム。
13. 画像表示装置における画像表示方法であって、
    画像を表示する表示部に視線を向けている人物が居るか否かを監視するステップと、
    前記表示部に視線を向けている人物が検出された場合に、前記表示部を基準としてその人物の目の方向を検出するステップと、
    前記表示部に表示される表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であるか否かを判別するステップと、
    前記表示部に視線を向けている人物の目の方向が検出され、かつ、前記判別の結果、前記表示画像に人物の目が含まれ、該目の画像部分の大きさが所定値以上であると判別された場合に、前記表示画像内の目の視線方向が前記検出された目の方向に一致するように該表示画像内の目の画像部分を編集する画像編集を行うステップと、
    を含むことを特徴とする画像表示方法。
    
    

Images