JP5360406B2

JP5360406B2 - 画像表示装置

Info

Publication number: JP5360406B2
Application number: JP2009249011A
Authority: JP
Inventors: 静二 ▲高▼野
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-10-29
Filing date: 2009-10-29
Publication date: 2013-12-04
Anticipated expiration: 2029-10-29
Also published as: JP2011095984A

Description

本発明は、画像表示装置に関するものである。

ユーザを撮像するカメラを備え、カメラにより撮像された撮像画像に基づいてユーザの操作指示に係るコマンドを認識する画像表示装置が知られている（例えば、特許文献１参照）。この画像表示装置においては、ユーザがカメラに対して手を振ったことをトリガとしてコマンド認識を開始している。

特開２００９−７５６８５号公報

しかし、この画像表示装置においては、コマンド認識に係るトリガとなるユーザの手の動作を撮像画像全体において常に観察しなければならずユーザの操作指示に係るコマンド認識処理にかかる負荷が大きかった。

本発明の目的は、撮像画像に基づくユーザの操作指示に係るコマンドの認識処理にかかる負荷を軽減することができる画像表示装置を提供することである。

本発明の画像表示装置は、画像を表示する表示部と、前記表示部に表示される画像を鑑賞する操作者を撮像する撮像部と、前記撮像部により撮像した撮像画像に基づいて前記操作者の顔を検出する顔検出部と、前記顔検出部により検出された前記操作者の顔の動きを検出する動き検出部と、前記顔検出部により検出された前記操作者の前記撮像画像における顔の面積を算出する顔面積算出部と、前記顔検出部により検出された前記操作者の前記撮像画像における顔の位置に基づいて前記操作者の手を検出するための手検出領域を設定する手検出領域設定部と、前記手検出領域において前記操作者の手を検出する手検出部と、前記手検出部により検出された前記操作者の前記撮像画像における手の面積を算出する手面積算出部と、前記顔の面積と前記手の面積とを比較する面積比較部と、前記手検出部により検出された前記操作者の手の動作、形状又は位置を操作指示として認識するコマンド認識部と、前記コマンド認識部により認識された前記操作指示に基づいて、前記表示部に表示する画像の表示態様を制御する表示制御部とを備え、前記動き検出部により検出された顔の動作速度が所定値以下である場合、前記手検出領域設定部は前記操作者の手を検出するための前記手検出領域を設定し、前記動き検出部により検出された顔の動作速度が所定値以下でない場合、前記手検出領域設定部は前記面積比較部における比較結果に基づいて前記操作者の手を検出するための前記手検出領域を設定することを特徴とする。

本発明の画像表示装置によれば、ユーザの操作指示に係るコマンドの認識処理にかかる負荷を軽減することができる。

本発明の第１の実施の形態に係るＤＰＦの前面を示す図である。本発明の第１の実施の形態に係るＤＰＦの背面を示す図である。本発明の第１の実施の形態に係るＤＰＦのシステム構成を示すブロック図である。本発明の第１の実施の形態に係るＤＰＦの手検出領域を説明するための図である。本発明の第１の実施の形態に係るＤＰＦのコマンド認識処理を示すフローチャートである。本発明の第２の実施の形態に係るＤＰＦのコマンド認識処理を示すフローチャートである。本発明の他の実施の形態に係るＤＰＦの手検出領域を説明するための図である。本発明の他の実施の形態に係るＤＰＦの手検出領域を説明するための図である。

以下、図面を参照して本発明の第１の実施の形態に係る画像表示装置についてデジタルフォトフレーム（以下、ＤＰＦという。）を例に説明する。図１は、第１の実施の形態に係るＤＰＦの前面を示す図であり、図２は背面を示す図である。ＤＰＦ２の前面には、画像や時刻等の情報を電気的に表示するＬＣＤ等により構成される表示部４、表示部４に表示される画像を鑑賞するユーザを撮像する撮像レンズ６が設けられている。また、ＤＰＦ２の背面には、ＤＰＦ２を設置するために用いられる支持部材８が設けられている。

図３は、第１の実施の形態に係るＤＰＦのシステム構成を示すブロック図である。ＤＰＦ２はＣＰＵ１２を備え、ＣＰＵ１２には、後述するコマンドに基づいて表示部４の表示態様を制御する表示制御部１３、撮像レンズ６を介した被写体光を撮像する撮像素子等を備える撮像部１４、撮像部１４により撮像された撮像画像を所定のフレーム数または所定時間分記憶するメモリ１６、撮像画像のデータから特徴点や特定の形状、特定の色等を抽出することにより顔認識データを生成しユーザの顔を検出する顔検出部１８、顔認識データから検出した顔の面積を算出する顔面積算出部２０、検出した顔の検出時間を計測する検出時間計測部２２、検出した顔の動作速度を検出する顔動作検出部２４、検出した顔の位置を基準にしてユーザの手を検出するための手検出領域を設定する手検出領域設定部２６、設定した手検出領域において特徴点や特定の形状、特定の色、位置等を抽出することによりユーザの手を検出する手検出部２８、検出した手の撮像画像における面積を算出する手面積算出部３０、手検出領域において検出したユーザの手の動作、形状又は位置を認識する手動作認識部３２、所定の手の動作、形状又は位置と操作指示に係るコマンドとを対応付けて記憶する手動作記憶部３４、表示部４に表示する画像や情報を記憶するメモリカード３６が接続されている。

図４は、第１の実施の形態に係るＤＰＦの手検出領域を説明するための図である。撮像画像４０において顔検出部１８によりユーザの顔３８が検出されると、検出された顔の略中心を基準としてＸ軸方向に±ａ_１ピクセル、Ｙ軸方向に±ｂ_１ピクセルの手検出領域４２を設定する。従って、手検出部２８は、手検出領域４２内にある手４４の検出を行うが、手検出領域４２外にある手４６の検出は行わない。また、矢印４８で示すように手検出領域４２は、顔の動作に合わせて移動する。

次に、図５に示すフローチャートを参照して第１の実施の形態に係るＤＰＦのコマンド認識処理について説明する。撮像部１４により表示部４の前方方向の表示部４に表示される画像を鑑賞するユーザの撮像を行うと（ステップＳ１：Ｙ）、所定フレーム数または所定時間分の撮像画像データをメモリ１６に記憶する（ステップＳ２）。撮像部１４による撮像が行われない場合には（ステップＳ１：Ｎ）、撮像が行われるまで待機する。

次に、顔検出部１８は、撮像された画像データから人物の顔の検出を行い、顔が検出されたか否かを判定する（ステップＳ３）。顔が検出された場合には、ステップＳ４〜Ｓ８に示す操作意思判定条件に合うか否かを判定することにより、顔が検出された人物にＤＰＦ２を操作する意思があるか否かを判定する。即ち、操作意思判定条件を満たすことをトリガとして、顔が検出された人物をユーザとして判定する。なお、複数の人物の顔が検出された場合には、ＤＰＦ２に最も近い距離に位置する人物を検出してもよいし、予め登録された人物を検出してもよい。一方、顔が検出されなかった場合には、ステップＳ１の処理に戻る。

ステップＳ３において顔が検出された場合には、操作意思判定条件として、まず、顔検出部１８により検出された顔の位置が特定領域にあるか否かを判定する（ステップＳ４）。ここで、例えば顔の位置が画像の中央付近である場合には、顔の位置が特定領域にあると判定する。一方、顔の検出位置が画像の端である場合には、顔の位置が特定領域外にあると判定する。顔の位置が特定領域にない場合には（ステップＳ４：Ｎ）、ステップＳ１の処理に戻る。

顔の位置が特定領域にある場合には（ステップＳ４：Ｙ）、ステップＳ５の処理に進み、次の操作意思判定条件に合致するか否かを判定する。即ち、顔面積算出部２０により算出された撮像画像における顔の面積が所定の面積以上を占めるか否かを判定する（ステップＳ５）。所定の面積以上占める場合には、顔が検出された人物にＤＰＦ２を操作する意思があると判断し、ステップＳ９の処理に進む。

一方、検出された顔面積が画像において所定の面積以下である場合には（ステップＳ５：Ｎ）、検出時間測定部２２により測定される顔検出時間が所定時間以上であるか否かを判定する（ステップＳ６）。顔検出時間が所定時間以上である場合、即ち、ユーザが表示部４を所定時間以上連続して見ている場合には、顔が検出された人物にＤＰＦ２を操作する意思があるものと判断し、ステップＳ９の処理に進む。

一方、顔検出時間が所定時間以下である場合には（ステップＳ６：Ｎ）、顔動作検出部２４により検出された顔の動作速度が所定速度以下であるか否かを判定する（ステップＳ７）。所定速度以下である場合には顔が検出された人物にＤＰＦ２を操作する意思があるものと判断し、ステップＳ９の処理に進む。

一方、顔の動作速度が所定速度以上である場合には（ステップＳ７：Ｎ）、顔面積算出部２０により算出された撮像画像における顔面積及び手面積算出部３０により算出された撮像画像における手面積を用いて顔面積と手面積の比を算出し、面積比が所定の範囲にあるか否かを判定する（ステップＳ８）。面積比が所定の範囲にある場合には、顔が検出された人物にＤＰＦ２を操作する意思があるものと判断し、ステップＳ９の処理に進む。一方、顔と手の面積比が所定の範囲内にない場合には（ステップＳ８：Ｎ）、処理を終了する。

ステップＳ４〜Ｓ８の処理において顔が検出された人物にＤＰＦ２を操作する意思があると判断された場合には、顔が検出された人物をユーザと判定し、ユーザの手を検出するための手検出領域を設定する（ステップＳ９）。このとき、図４に示すようにユーザの顔の略中心を基準としてＸ軸方向に±ａ_１ピクセル、Ｙ軸方向に±ｂ_１ピクセルの手検出領域４２を設定する。

そして手検出部２８により手検出領域４２においてユーザの手を検出すると（ステップ１０：Ｙ）、ＣＰＵ１２は手動作認識部３２の制御を開始し手の動作、形状また位置を解析する（ステップＳ１１）。特に限定されるものではないが、手の形状、位置を解析する場合は、例えば、撮影画像の１フレームを解析し、また、動作を解析する場合は、複数フレームの解析をする。なお、手検出領域４２内で手が複数検出された場合には、ＤＰＦ２に距離が最も近い手の動作、形状又は位置を解析してもよいし、手面積算出部３０により算出された手面積が最も大きい手の動作、形状又は位置を解析してもよい。

解析した手の動作、形状又は位置が手動作記憶部３４に記憶されている手動作に該当する場合には（ステップＳ１２：Ｙ）、手動作、形状または位置に対応付けられたコマンドを実行する（ステップＳ１３）。例えば、手を左から右へ動かす動作である場合には、画像送りを実行する。また、手を開いた状態から閉じる動作である場合には電源をオフする処理を実行する。また、手のひらをＤＰＦ２に対して向けた状態で近づけると表示部４に表示されている画像の拡大、遠ざけると画像の縮小を実行する。なお、ＤＰＦ２が表示部４による表示を行わずに撮像部１４による撮像を行うスリープ状態において、手を閉じた状態から開く動作をした場合に電源をスリープ状態から起動状態に回復する処理を実行してもよい。なお、手の動きだけでなく、例えば、両腕を交差させ×印が形成された場合には電源をオフする処理を実行してもよい。なお、ステップＳ１３の処理のあと、メモリ１６に記憶された所定フレーム数または所定時間分の撮像画像データは削除してもよい。

また、ステップＳ１０において手が検出されなかった場合、ステップＳ１２において解析した手の動作、形状又は位置が手動作記憶部３４に記憶されている手動作に該当しない場合には、ステップＳ１の処理に戻る。

本実施の形態に係るＤＰＦによれば、人物の顔が検出され、検出された顔が特定領域にあることを条件として操作意思判定を行うため、ユーザの操作指示に係るコマンド認識処理にかかる負荷を軽減することができる。

また、操作意思判定を行い操作意思が認められる人物について手動作認識を行うため、ユーザが意図しないＤＰＦの動作を防ぐことができる。また、手検出領域内で手が検出されない場合には手動作認識を行わないため、ユーザの操作指示に係るコマンド認識処理にかかる負荷を軽減することができ、ユーザ以外の手の動作、形状又は位置の認識によるユーザの意図しないＤＰＦの動作を防ぐことができる。

なお、上述の実施の形態においては、顔検出部１８により検出された人物が複数である場合には１の人物について操作意思判定を行う構成としたが、検出された複数の人物全てについて操作意思判定を行い、操作意思が認められる人物について手検出領域を設定し手の検出を行う構成としてもよい。

また、上述の実施の形態に係る図５のフローチャートに示すステップＳ７の処理において、顔動作検出部２４により検出された顔の動作速度が所定速度以下であるか否かを判定する構成としたが、検出された顔の動作の加速度が所定の値以下であるか否か、または検出された顔の撮像画像内での移動量が所定の値以下であるか否か等を判定する構成としてもよい。

次に図６を参照して本発明の第２の実施の形態に係るＤＰＦのコマンド認識処理について説明する。第１の実施の形態においてはコマンド認識処理を所定のフレーム数または所定時間分の撮像画像について行う構成としたが、この第２の実施の形態においては、手が検出された後は手を追尾してコマンド認識処理を行う構成に変更したものである。従って、第１の実施の形態と同一の構成についての詳細な説明は省略し、異なる部分のみについて詳細に説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。

図６は、第２の実施の形態に係るコマンド認識処理を示すフローチャートである。撮像部１４による前方方向の表示部４に表示される画像を鑑賞するユーザの撮像を開始すると（ステップＳ２１：Ｙ）、撮像画像データのメモリ１６への記憶を開始する（ステップＳ２２）。撮像部１４による撮像が開始されない場合には（ステップＳ２１：Ｎ）、撮像が開始されるまで待機する。

次に、顔検出部１８は、撮像された画像データから人物の顔の検出を行い、顔が検出されたか否かを判定する（ステップＳ２３）。顔が検出された場合には、ステップＳ２４〜Ｓ２８に示す操作意思判定条件に合うか否かを判定することにより、顔が検出された人物にＤＰＦ２を操作する意思があるか否かを判定する。一方、顔が検出されなかった場合には、顔が検出されるまで待機する。

ステップＳ２４〜Ｓ２９に示す処理は図５のフローチャートのステップＳ４〜Ｓ９に示す処理と同様であるため説明は省略する。なお、ステップＳ２４において顔の位置が特定領域にない場合及びステップＳ２８において顔と手の面積比が所定の範囲内にない場合には、ステップＳ２３の処理に戻り新たな撮像画像データについて顔が検出された否かの判定を行う。

そして手検出部２８により手検出領域４２においてユーザの手を検出すると（ステップ３０：Ｙ）、ＣＰＵ１２は手動作認識部３２の制御を開始し手の動作、形状また位置を解析する（ステップＳ３１）。解析した手の動作、形状又は位置が手動作記憶部３４に記憶されている手動作に該当する場合には（ステップＳ３２：Ｙ）、手動作、形状または位置に対応付けられたコマンドを実行する（ステップＳ３３）。

また、ステップＳ３０において手が検出されなかった場合、ステップＳ３２において解析した手の動作、形状又は位置が手動作記憶部３４に記憶されている手動作に該当しない場合には、ステップＳ３４に示す処理に進む。

次に、操作意思判定条件の全てを満たさなくなったか否かを判定し（ステップＳ３４）、操作意思判定条件を満たさない場合には処理を終了する。即ち、i）ユーザの顔が特定領域にあることを満たさない場合には撮像を停止し（ステップＳ３５）、処理を終了する。また、ii）画像におけるユーザの顔面積が所定の面積以上であること、iii）顔検出時間が所定時間以上であること、vi）ユーザの顔の動作速度が一定速度以下であること、v）顔と手の面積比が所定の範囲内であることの４条件の何れをも満たさない場合には、撮像を停止し（ステップＳ３５）、処理を終了する。一方、上述の顔検出条件i）を満たしかつ、ii）〜v）の何れかを満たす場合には、ステップＳ３０に戻り、新たな撮像画像データについて手が検出されたか否かを判定し処理を継続する。

本実施の形態に係るＤＰＦによれば、人物の顔が検出され、検出された顔が特定領域にあることを条件として操作意思判定を行い、さらに一旦顔検出を行った後は顔検出をおこなわないため、ユーザの操作指示に係るコマンド認識にかかる負荷を軽減することができる。また、ステップＳ３４で手が検出されなかった場合に処理を終了してもよい。

なお、上述の各実施の形態においてはユーザの手を検出し手の動きを解析する構成を例に説明したが、図７に示すように肘や肩等の支点を検出する構成としてもよい。この場合には、検出された人物の顔３８を基準にＸ軸方向に±ａ_２ピクセル、Ｙ軸方向に−ｂ_２ピクセルの支点検出領域５０を設定する。支点検出領域５０に例えば支点である肘５２があり、かつ、手検出領域４２に手４４がある場合にのみ手検出部２８による手の検出を行い、手動作認識部３２により手の動作、形状又は位置の解析を行う。従って、高精度に手の検出を行うことができる。また、この場合においても矢印４８，５２に示すように顔３８の動きに合わせて手検出領域４２及び支点検出領域５０は移動する。

また、図８に示すようにユーザの右手または左手の一方の動きのみを検出する構成としてもよい。この場合には、検出された人物の顔３８を基準にＸ軸方向に＋ａ_３ピクセルまたは−ａ_３ピクセル、Ｙ軸方向に−ｂ_３ピクセルの点を手検出領域５６の中心位置５８とする。ここで、図８においては、ユーザの右手を検出する場合を例として人物の顔３８を基準にＸ軸方向に−ａ_３ピクセル、Ｙ軸方向に−ｂ_３ピクセルの点を中心位置５８としている。そして、中心位置５８を基準にＸ軸方向に±ａ_４ピクセル、Ｙ軸方向に±ｂ_４ピクセルの手検出領域５６を設定する。従って、一方の手の動きのみを検出することができ、手の動きの誤検出によるユーザの望まないＤＰＦ２の動作を防ぐことができる。また、矢印６０に示すように手検出領域５６は、顔３８の動きに合わせて移動する。

また、上述の各実施の形態においては、操作意思判定としてi）ユーザの顔が特定領域にあることを満たし、かつ、ii）画像におけるユーザの顔面積が所定の面積以上であること、iii）顔検出時間が所定時間以上であること、vi）ユーザの顔の動作速度が一定速度以下であること、v）顔と手の面積比が所定の範囲内であることの４条件のうち１つを満たせば操作意思があるものとする構成としたが、i）〜v）の操作意思判定条件のうち予め定められた所定数の条件を満たした場合に操作意思があるものと判定する構成としてもよいし、特定の操作意思判定の条件を所定数組み合わせた判定基準を満たした場合に操作意思があるものと判定する構成としてもよい。また、例えばi）を満たす場合等、i）〜v）の操作意思判定条件のうち何れか１つを満たす場合に操作意思があるものと判定する構成としてもよい。

また、同様に上述の実施の形態におけるコマンド認識処理の終了条件として上述のi）を満たさない場合、または、ii）〜v）の何れをも満たさない場合にコマンド認識処理を終了する構成したが、i）〜v）の条件をすべて満たさなくなった場合にコマンド認識処理を終了する構成としてもよい。また、これらのうち予め定められた所定数の条件を満たさなくなった場合にコマンド認識処理を終了する構成としてもよいし、特定の操作意思判定の条件を所定数組み合わせた判定基準を満たさなくなった場合にコマンド認識処理を終了する構成としてもよい。

２…ＤＰＦ、４…表示部、１２…ＣＰＵ、１３…表示制御部、１４…撮像部、１６…メモリ、１８…顔検出部、２０・・・顔面積算出部、２６…手検出領域設定部、２８…手検出部、３０…手面積算出部、３２…手動作認識部、３４…手動作記憶部

Claims

画像を表示する表示部と、
前記表示部に表示される画像を鑑賞する操作者を撮像する撮像部と、
前記撮像部により撮像した撮像画像に基づいて前記操作者の顔を検出する顔検出部と、
前記顔検出部により検出された前記操作者の顔の動きを検出する動き検出部と、
前記顔検出部により検出された前記操作者の前記撮像画像における顔の面積を算出する顔面積算出部と、
前記顔検出部により検出された前記操作者の前記撮像画像における顔の位置に基づいて前記操作者の手を検出するための手検出領域を設定する手検出領域設定部と、
前記手検出領域において前記操作者の手を検出する手検出部と、
前記手検出部により検出された前記操作者の前記撮像画像における手の面積を算出する手面積算出部と、
前記顔の面積と前記手の面積とを比較する面積比較部と、
前記手検出部により検出された前記操作者の手の動作、形状又は位置を操作指示として認識するコマンド認識部と、
前記コマンド認識部により認識された前記操作指示に基づいて、前記表示部に表示する画像の表示態様を制御する表示制御部と
を備え、
前記動き検出部により検出された顔の動作速度が所定値以下である場合、前記手検出領域設定部は前記操作者の手を検出するための前記手検出領域を設定し、前記動き検出部により検出された顔の動作速度が所定値以下でない場合、前記手検出領域設定部は前記面積比較部における比較結果に基づいて前記操作者の手を検出するための前記手検出領域を設定することを特徴とする画像表示装置。
前記顔検出部により検出された前記操作者の顔の位置が前記撮像画像における特定領域に存在するか否かを判定する顔位置判定部を備え、
前記顔位置判定部が、前記顔の位置が前記特定領域に存在すると判定する場合には、前記手検出領域設定部は、前記操作者の顔の位置に基づいて前記操作者の手を検出するための前記手検出領域を設定することを特徴とする請求項１記載の画像表示装置。
前記顔の面積が所定値以上であるか否かを判定する顔面積判定部を備え、
前記顔面積判定部が、前記顔の面積が前記所定値以上であると判定する場合には、前記手検出領域設定部は、前記操作者の手を検出するための前記手検出領域を設定することを特徴とする請求項１または２記載の画像表示装置。
前記顔検出部により前記操作者の顔が検出されている顔検出時間を計測する検出時間計測部と、
前記顔検出時間が所定時間以上であるか否かを判定する時間判定部と
を備え、
前記時間判定部が、前記顔検出時間が所定時間以上であると判定する場合には、前記手検出領域設定部は、前記操作者の手を検出するための前記手検出領域を設定することを特徴とする請求項１〜３の何れか一項に記載の画像表示装置。
前記操作者の手の動作、形状又は位置を所定の操作指示と対応付けて記憶する記憶部を
備え、
前記コマンド認識部が、前記操作者の手の動作、形状又は位置が前記記憶部に記憶されている動作、形状又は位置であると認識する場合には、前記表示制御部は、前記手の動作、形状又は位置に対応付けられた操作指示を実行することを特徴とする請求項１〜４の何れか一項に記載の画像表示装置。
前記顔検出部は、前記手検出領域設定部による前記操作者の手を検出するための前記手検出領域が設定された場合には、前記操作者の顔の検出を停止することを特徴とする請求項１〜５の何れか一項に記載の画像表示装置。