JP4979895B2

JP4979895B2 - ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ

Info

Publication number: JP4979895B2
Application number: JP2005126933A
Authority: JP
Inventors: ゆかり片山; 正勝森; 慎也井口; 俊之森多; 裕史長野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-04-25
Filing date: 2005-04-25
Publication date: 2012-07-18
Anticipated expiration: 2025-04-25
Also published as: JP2006301534A

Description

本発明は、ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイに関する。

従来から、街頭やショッピングモール、デパートに大型の高精細ディスプレイを設置し、広告用の掲示板として使用するということが行われている。こうしたディスプレイの制御に関する種々の技術が提案されている。

例えば、ディスプレイで表示される広告に関連する、より詳細な情報の提供を行うとして、広告と連絡番号が表示された表示手段と、前記広告及び前記連絡番号を見て前記連絡番号によってアクセスしてきた広告受給者の携帯型端末に前記広告に対応したデジタル情報を供給する管理手段とを有する広告装置（特許文献１参照）が提案されている。

また、ユーザが接触してくることによるディスプレイの劣化を防止する技術として、例えば、ビデオカメラによりユーザを撮影し、そのユーザが体の部位を用いて指し示した先の、撮影空間内の位置もしくは実物体を認識するインタフェース方法であって、基準カメラを含む複数のビデオカメラを用いて、実空間を撮影した画像を入力する段階と、前記基準カメラから撮影物体までの距離情報を、前記撮影画像を用いたステレオ法により生成する段階と、前記基準カメラで撮影した画像である基準画像からの前記距離情報を用いてボクセル空間を生成する段階と、前記基準カメラからの撮影画像上で、ユーザの体の予め定めた部位２箇所を始点と終点として検出し、該画像上でのそれらの２次元座標を算出する段階と、前記距離情報と、前記始点・終点の画像上での２次元座標とから、実空間上における前記始点・終点の３次元座標を算出し、ユーザが指し示す実空間上での方向情報を算出する段階と、前記生成されたボクセル空間上の任意の３次元位置に、実空間上に存在する実物体の情報である、一部もしくは全体に渡る３次元位置情報およびその付加情報を登録する段階と、前記ユーザの指し示す実空間上での方向情報と、登録されている物体の３次元位置情報とを照合し、操作者が指し示す３次元指示位置情報である、ユーザが指し示す方向の延長線と、登録された物体との交点に関する情報を検出する段階と、前記生成されたボクセル空間、前記登録過程および結果、前記３次元指示方向情報、および指示された物体の情報と撮影画像とを重畳表示する段階とを有するインタフェース方法（特許文献２参照）が提案されている。

また、カメラで撮影した画像から人物の存在を識別する技術として、例えば、人物の顔を含む動画像から顔の動きを検出する装置において、ある時刻に撮影された画像を輝度・色差表現に変換する第一の輝度・色差変換手段と、前記ある時刻に撮影された輝度・色差表現された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、次の時刻に撮影された画像を輝度・色差表現に変換する第二の輝度・色差変換手段と、前記ある時刻に撮影された画像の輝度成分と前記次の時刻に撮影された画像の輝度成分とから前記肌色領域内だけで動き量を表す画像を計算するマスク領域輝度差分計算手段とを備えることを特徴とする人物動き領域検出装置（特許文献３参照）が提案されている。

また同様な技術として、例えば、人物の顔が撮影されている画像中を、画像の天地方向に調べた時に、明るさが明から暗そして明に変化する点と、暗から明に変化する点で挟まれる領域を検出する手段と、該領域から、該領域の形状特徴と領域内の輝度特徴が人物の目に近い領域を目候補領域として取り出す手段と、上記領域から、上記領域の形状特徴と領域内の輝度特徴が人物の口に近い領域を口候補領域として取り出す手段と、上記目候補領域から２つ、上記口候補領域から１つを重複せずに任意に組み合わせ、人物の顔らしい配置を為している組み合わせを取り出して顔候補領域として検出する手段とを有することを特徴とする顔検出装置（特許文献４参照）が提案されている。

また、ディスプレイの劣化、破損を防ぐためにディスプレイをガラスケース（ショーウィンドウ）の中に収める一方で、このガラスケースをユーザ等が叩いた音を解析し入力信号と認識する技術が提案されている（非特許文献１参照）。
特開２００２−３２６５２号公報特開２００４−２７２５１５号公報特許第２６６３８７８号公報特開平７−３１１８３３号公報ＪｏｓｅｐｈＡ．Ｐａｒａｄｉｓｏ，"ＴＲＡＣＫＩＮＧＣＯＮＴＡＣＴＡＮＤＦＲＥＥＧＥＳＴＵＲＥＡＣＲＯＳＳＬＡＲＧＥＩＮＴＥ-ＲＡＣＴＩＶＥＳＵＲＦＡＣＥＳ"，Ｖｏｌ．４６，Ｎｏ．７ＣＯＭＭＵＮＩＣＡＴＩＯＮＳＯＦＴＨＥＡＣＭ，Ｊｕｌｙ２００３

しかしながら、従来技術においては、ディスプレイに表示したコンテンツに関連する詳細な情報をユーザに提供する際に、当該ユーザに特定装置の所有やその操作を要求し、ユーザ側に負担を強いてしまうという課題があった。また、ディスプレイ画面において撮影中のユーザを表示する必要があるなど、ディスプレイ上の表示エリアの有効活用が図られないといった課題があった。また、ユーザの接触動作によるディスプレイの劣化や損傷を防ぐ従来技術では、実現に際して煩雑な手間やコスト増大を招来するといった課題があった。

そこで本発明は上記課題を鑑みてなされたものであり、ユーザの利便性を図ると共に、ディスプレイの効率的で低コストな管理を可能とすることを主たる目的とする。

上記課題を解決する本発明のディスプレイ制御装置は、ディスプレイの制御を行う装置であって、デフォルトコンテンツを表示中のディスプレイに対する、複数人による複数のアクセスを感知する物体検出部と、ディスプレイ上の、前記デフォルトコンテンツの各所定領域と対応付けた別コンテンツを格納したテーブルと、前記物体検出部が前記所定領域へのアクセスを感知した場合に、前記ディスプレイ上に前記別コンテンツの表示領域を表示する出力変化処理部と、を備え、前記出力変化処理部は、前記物体検出部が前記所定領域へのアクセスを複数感知した場合に、前記アクセスがあった所定領域について、前記テーブルにて対応付けられた別コンテンツの総数で、前記別コンテンツの表示領域を分割し、該分割した表示領域のそれぞれに、前記アクセスがあった所定領域に対応付けられた別コンテンツを表示する、ことを特徴とする。

また、前記ディスプレイ制御装置における、前記物体検出部は、ディスプレイに対する１つのアクセスを感知する複数のセンサからなり、各センサが１つずつのアクセスを感知するものであるとしてもよい。

また、前記ディスプレイ制御装置において、前記出力変化処理部は、前記別コンテンツの表示を終了したならば、デフォルトコンテンツの表示に戻す処理を実行するものであるとしてもよい。

また、前記ディスプレイ制御装置において、前記出力変化処理部は、所定時間の経過後に前記別コンテンツの表示を終了し、デフォルトコンテンツの表示に戻す処理を実行するものであるとしてもよい。

また、前記ディスプレイ制御装置は、ディスプレイ前方の映像を取得する映像取得部を備え、前記出力変化処理部は、前記映像取得部が得た映像が人物映像であって、当該人物映像がディスプレイに対向した顔映像であり、前期物体検出部における複数人のアクセス感知をディスプレイに顔を向けた人物の存在と認識し、ディスプレイにおけるコンテンツの出力形態変化の契機とするものであるとしてもよい。

また、前記ディスプレイ制御装置において、前記物体検出部が、赤外線センサまたは超音波センサのいずれかであるとしてもよい。

また、本発明のディスプレイ制御方法は、ディスプレイ上の、デフォルトコンテンツの各所定領域と対応付けた別コンテンツを格納したテーブルを記憶装置に備え、ディスプレイの制御を行うコンピュータが、デフォルトコンテンツを表示中のディスプレイに対する、複数人による複数のアクセスを感知する処理と、前記処理により前記所定領域へのアクセスを感知した場合に、前記ディスプレイ上に前記別コンテンツの表示領域を表示する処理と、前記処理により前記所定領域へのアクセスを複数感知した場合に、前記アクセスがあった所定領域について、前記テーブルにて対応付けられた別コンテンツの総数で、前記別コンテンツの表示領域を分割し、該分割した表示領域のそれぞれに、前記アクセスがあった所定領域に対応付けられた別コンテンツを表示する処理と、を実行することを特徴とする。

また、本発明のディスプレイ制御プログラムは、ディスプレイ上の、デフォルトコンテンツの各所定領域と対応付けた別コンテンツを格納したテーブルを記憶装置に備え、ディスプレイの制御を行うコンピュータに、デフォルトコンテンツを表示中のディスプレイに対する、複数人による複数のアクセスを感知する処理と、前記処理により前記所定領域へのアクセスを感知した場合に、前記ディスプレイ上に前記別コンテンツの表示領域を表示する処理と、前記処理により前記所定領域へのアクセスを複数感知した場合に、前記アクセスがあった所定領域について、前記テーブルにて対応付けられた別コンテンツの総数で、前記別コンテンツの表示領域を分割し、該分割した表示領域のそれぞれに、前記アクセスがあった所定領域に対応付けられた別コンテンツを表示する処理と、を実行させることを特徴とする。

また、本発明のディスプレイは、デフォルトコンテンツを表示中のディスプレイに対する、複数人による複数のアクセスを感知する物体検出部と、ディスプレイ上の、前記デフォルトコンテンツの各所定領域と対応付けた別コンテンツを格納したテーブルと、前記物体検出部が前記所定領域へのアクセスを感知した場合に、前記ディスプレイ上に前記別コンテンツの表示領域を表示する出力変化処理部と、を備え、前記出力変化処理部は、前記物体検出部が前記所定領域へのアクセスを複数感知した場合に、前記アクセスがあった所定領域について、前記テーブルにて対応付けられた別コンテンツの総数で、前記別コンテンツの表示領域を分割し、該分割した表示領域のそれぞれに、前記アクセスがあった所定領域に対応付けられた別コンテンツを表示するディスプレイ制御装置を備えたディスプレイにかかる。

本発明によれば、ユーザの利便性を図れると共に、ディスプレイの効率的で低コストな管理が可能となる。

−−−ディスプレイ設置形態の例−−−
以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本発明のディスプレイ制御装置１０とディスプレイ２０を示す図である。本発明のディスプレイ制御装置１０が制御対象とするディスプレイ２０は、例えばデパートやショッピングモールなどに設置され、館内の店舗案内をする表示板として利用される状況が想定できる。こうした表示板には各階の店舗の名前や扱う商品属性、雰囲気など、店舗の概略を示す概略表示情報がコンテンツ３０として表示される。図１に示す例では、例えばデパートの各階ごとに、１階の店舗１−Ａ、１−Ｂ、１−Ｃ、１−Ｄ、２階の店舗２−Ａ、２−Ｂ、２−Ｃ、２−Ｄ、・・・と概略表示情報３１が表示されている。

ディスプレイ制御装置１０は、前記表示板たるディスプレイ２０の前方を撮影するためのビデオカメラ１０１と、ディスプレイ２０の前方にて入力や選択の指示を行うユーザの有無やその位置を検出するための超音波センサ１０４〜１０７を備えている。なお、前記ビデオカメラ１０１や超音波センサ１０４〜１０７は、インターフェイスバス１０２を介して接続される。

前記ビデオカメラ１０１は、例えばディスプレイ２０の頂部２１に居てディスプレイ２０の前方を撮影方向として設置され、ディスプレイ２０の画面２２から前方に約３０ｃｍ離れた位置で、ディスプレイ２０の画面の幅および高さに対応した範囲１０８が撮影できるよう設定されているものとする。また、前記超音波センサ１０４〜１０７は、前記各店舗に対応した概略表示情報３１の配置マトリクス３３に対応して、当該配置マトリクス３３の列ごとに少なくとも１つづつ、前記ディスプレイ２０の頂部２１付近に設置される。この超音波センサ１０４〜１０７により、ディスプレイ２０の画面２２付近にて人物等の物体を検出できる領域は、図１で示す範囲１０９となる。

−−−システム構成例−−−
図２は、本実施形態のディスプレイ２０およびディスプレイ制御装置１０のブロック図である。前記ディスプレイ制御装置１０は、演算処理を実行するＣＰＵ２０１、ディスプレイとしての大型ディスプレイパネル２０、メモリ２０３、磁気ディスクなどの記憶装置２０４などにより構成され、それぞれが内部バス２０５により接続されている。また、この内部バス２０５には、前記ビデオカメラ１０１と接続するためのインターフェイスバス１０２と内部バス２０５との変換を行うＩＦ(インターフェイス)変換２０６と、超音波センサ１０４〜１０７の制御基盤２１０と接続するためのインターフェイスバス２０９と内部バス２０５との変換を行うＩＦ(インターフェイス)変換２０７が接続されている。

なお、前記ディスプレイ２０たる大型ディスプレイパネルは、ディスプレイ制御装置１０に含まれる場合（図中実線で囲んだディスプレイ制御装置１０）と、含まれない場合（図中破線で囲んだディスプレイ制御装置１０）の両方を想定できる。また、ディスプレイ制御装置１０として、前記ビデオカメラ１０１および超音波センサ１０４〜１０７、ならびにそれに付帯する制御基盤２１０、インターフェイス信号線２１５〜２１８を含まない例も想定できる。この場合、ビデオカメラ１０１および超音波センサ１０４〜１０７から、ディスプレイ制御装置１０の前方における映像や物体有無の検知情報等を取得して利用する装置がディスプレイ制御装置１０となる。

次に、本発明のディスプレイ制御装置１０の備える機能部につき説明する。なお、前記制御基盤２１０は、インターフェイス信号線２１５〜２１８により、複数の超音波センサ１０４〜１０７に接続され、それぞれの超音波センサの出力値を読み取り、ＩＦ(インターフェイス)変換２０７、内部バス２０５を介して、ＣＰＵ２０１に読み取り値を伝えるものである。

前記ディスプレイ制御装置１０は、本発明のディスプレイ制御方法を実行する機能を実現すべく書き換え可能メモリなどのプログラムデータベース１１に格納されたプログラム１２をメモリ２０３に読み出し、演算装置たるＣＰＵ２０１により実行する。

また、前記ディスプレイ制御装置１０が、例えばプログラム１２に基づき構成・保持する機能部につき説明を行う。前記ディスプレイ制御装置１０は、ディスプレイ前方の映像を取得する映像取得部１１０と、ディスプレイ前方における物体の存在有無を感知する物体検出部１１１とを備える。

また、前記ディスプレイ制御装置１０は、前記映像取得部１１０が得た映像が所定物体の映像である場合に、前記物体検出部１１１における物体の存在感知を契機に、ディスプレイ２０におけるコンテンツ３０の出力形態変化の処理を実行する、出力変化処理部１１２を備える。

また、前記ディスプレイ制御装置１０において、前記出力変化処理部１１２は、前記映像取得部１１０が得た映像が人物映像である場合に、前期物体検出部１１１における物体の存在感知を人物の存在と認識し、ディスプレイ２０におけるコンテンツ３０の出力形態変化の契機とするものであるとすれば好適である。

また、前記ディスプレイ制御装置１０において、前記出力変化処理部１１２は、前記映像取得部１１０が得た映像が人物映像であって、当該人物映像がディスプレイ２０に対向した顔映像である場合に、前期物体検出部１１１における物体の存在感知をディスプレイ２０に顔を向けた人物の存在と認識し、ディスプレイ２０におけるコンテンツ３０の出力形態変化の契機とするものとすれば好適である。

また、前記ディスプレイ制御装置１０において、前記物体検出部１１１が、ディスプレイ前方における物体の存在有無および存在位置を感知するものである場合、前記出力変化処理部１１２は、前記映像取得部１１０が得た映像が所定物体の映像である場合に、前記物体検出部１１１における物体の存在感知に際し、当該物体の存在位置の情報を、物体存在位置に応じたコンテンツ３０の出力形態変化を定めた表示テーブル１２５に照合し、前記存在位置の情報に応じたディスプレイ２０におけるコンテンツ３０の出力形態変化の処理を実行するものとすれば好適である。

また、前記物体検出部１１１は、赤外線センサまたは超音波センサのいずれかであることが想定できる。

なお、前記ディスプレイ制御装置１０は、ディスプレイ２０に表示されたプロンプト（コンピューターが、コマンド待ちの状態で表示している記号、文字、イメージなど）に対する入力に応じて処理を実行する装置であるとした場合、上記同様に、前記映像取得部１１０と前記物体検出部１１１とを備えると共に、前記物体検出部１１１の前記物体の検知に対応する前記プロンプトに対する入力に応じて処理を実行する処理部を備える。この処理部は、前記出力変化処理部１１２が担うこととできる。この場合、前記処理部は、前記映像取得部１１０から得た前記映像が所定物体の映像である場合に、前記物体検出部１１１による前記物体の検知を有効化するものとなる。

なお、これまで示したディスプレイ制御装置１０における各機能部１１０〜１１２は、ハードウェアとして実現してもよいし、メモリやＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などの適宜な記憶装置に格納したプログラムとして実現するとしてもよい。この場合、前記ＣＰＵ１０４がプログラム実行に合わせて記憶装置より該当プログラム１０２をメモリ１０３に読み出して、これを実行することとなる。

−−−超音波センサの概略−−−
図３に超音波センサ１０４〜１０７の概略図を示す。ここでの超音波センサ１０４〜１０７は、超音波の発振素子３０２および受信素子３０３が基盤３０１に取り付けられた構造を有している。この基盤３０１は、前記発振素子３０２から超音波が発振されてから、受信素子３０３に超音波の反射波が届くまでの時間を電圧に変え、これを信号線３０５に供給する機能を有する。また、前記超音波センサ１０４〜１０７は、電源電圧３０４から電源供給を受け、グランドレベル３０６でレベル位置を与えられる。また、これら電源電圧３０４、グランドレベル３０６に、信号線３０５が合わさって、インターフェイス信号線２１５〜２１８となる。

図４に超音波センサ１０４〜１０７の出力特性を示す。前記超音波センサ１０４〜１０７と検出対象物４０１との距離をＬとすると、Ｌ＜Ｌｍｉｎのとき、出力値はＡｍｉｎと一定の値となる。Ｌｍｉｎ＜Ｌ＜Ｌｍａｘのとき、出力値は直線上に増加する。Ｌ＞Ｌｍａｘのとき、出力値はＡｍａｘとなり、一定の値となる。本実施形態では、ディスプレイ２０の画面２２の下端２５から超音波センサまでの距離がＬｍａｘとなるように設定されている。

−−−テーブル構造−−−
次に、本実施形態におけるディスプレイ制御装置１０が利用するテーブルの構造について説明する。図５は、本実施形態における表示テーブルのデータ構造例を示す図である。前記表示テーブル１２５は、ディスプレイ２０の前方における物体存在位置（例：ディスプレイ２０で出力している概略表示情報３１をユーザが触ろうとしている位置）に応じたコンテンツの出力形態変化を定めたテーブルであり、例えば物体存在位置の近傍に表示されている（はずの）概略表示情報３１のＩＤ６０１をキーとして、当該ＩＤ６０１に対応付けた概略表示情報３１およびこれの詳細表示情報３２といった情報を関連づけたレコードの集合体となっている。なお、詳細表示情報３２は概略表示情報３１に該当する店舗に関する、より詳細な情報であり、前記概略表示情報３１へのユーザの疑似タッチ（超音波センサ１０４〜１０７が実際のタッチ前に検知できるので画面２２にユーザがふれる必要はない）に応じて、ディスプレイ制御装置１０がディスプレイ２０に出力する情報である（図６参照）。また、前記表示テーブル１２５は、前記ディスプレイ２０の記憶装置２０４に格納されているとしてもよい。

−−−処理フロー例−−−
以下、本実施形態におけるディスプレイ制御方法の実際手順について、図７に基づき説明する。なお、以下で説明するディスプレイ制御方法に対応する各種動作は、前記ディスプレイ制御装置１０が、メモリ２０３に読み出して実行するプログラム１２によって実現される。そして、このプログラム１２は、以下に説明される各種の動作を行うためのコードから構成されている。

このフローにおいて、電源が投入された後、前記ディスプレイ制御装置１０は、前記記憶装置２０４中の表示テーブル１２５において、店舗の概略表示情報３１のうち、例えばデパート各階における先頭から４つづつを取り出し、大型ディスプレイパネル２０に表示する(ステップ７０１)。たとえばデパート１階については、１−Ａ、１−Ｂ、１−Ｃ、１−Ｄの４つの概略表示情報３１を表示する（図１参照）。

なお、この概略表示情報３１は、ディスプレイ２０に表示されたプロンプト（コンピューターが、コマンド待ちの状態で表示している記号、文字、イメージなど）であるとも言える。この場合、ディスプレイ制御装置１０は、前記概略表示情報３１、つまりプロンプトに対する、超音波センサ１０４〜１０７等を介した人物による各種入力に応じて処理を実行する装置となる。つまり、ディスプレイ制御装置１０は、前記映像取得部１１０から得た前記映像が、人物など所定物体の映像である場合に、前記超音波センサ１０４〜１０７などの物体検出部１１１による前記物体の検知を有効化するものとなる。

次に、ディスプレイ制御装置１０は、インターフェイスバス１０２、ＩＦ変換２０６、内部バス２０５を介して、ビデオカメラ１０１から大型ディスプレイパネル２０の前を撮影した画像を取り込む(ステップ７０２)。

次に、ディスプレイ制御装置１０は、前記ビデオカメラ１０１より得た画像から、ある時刻Ｔの静止画を切り出す(ステップ７０３)。またディスプレイ制御装置１０は、時刻Ｔに切り出した前記静止画から、肌色領域および人間の目に該当する領域を抽出する(ステップ７０４)。この時、大きさが一定以上の肌色領域であって、当該肌色領域の中に人間の目と認識できる２つの部位が含まれるものが見つかれば、前記静止画像には、正面を向いた人間の顔の画像が含まれるとディスプレイ制御装置１０は判断する(ステップ７０５)。本ステップ７０４、７０５の動作についてさらに詳しく図８〜１４を用いて説明する。

たとえば、ディスプレイ制御装置１０が時刻Ｔに抽出した前記静止画が、図８に示す画像群８００であったとする。本実施形態の大型ディスプレイパネル２０はデパートやショッピングセンターなどに設置されるため、大型ディスプレイパネル２０の前には不特定多数の人が存在し、図８の画像群８００に示すように、一度に多くの人物が撮影されることが想定される。こうした人物の例としては、例えば画像群８００のうち画像８０１に示すように、遠くから大型ディスプレイパネル２０を眺めている人、或いは画像８０２に示すように大型ディスプレイパネル２０の前を横切る人、或いは画像８０３に示すように大型ディスプレイパネル２０に正対して接近し、なにがしかのアクセスをしようとしている人など様々である。

前記ビデオカメラ１０１は、超音波センサ１０４〜１０７の反応する領域、すなわち超音波センサ１０４〜１０７により物体を検出できる範囲１０９において、例えば手をかざす人物がいるかどうかを検出する。よって、超音波センサ１０４〜１０７の反応する領域１０９に手をかざすことができる人物は、大型ディスプレイパネル２０に充分近づいているはずであり、画像８０３に示す人物画像のようにビデオカメラ１０１の撮影画像には一定の大きさよりも大きく写る。つまり、肌色領域が所定値より大きくなる。

次に、前記画像群８００から人間の顔を抽出する動作について説明する。図１４は、本実施形態のディスプレイ制御装置１０における、顔検出動作を示すフローチャートである。ディスプレイ制御装置１０は、図９に示すように図８の静止画の画像群８００から肌色領域８１０のみを抽出する(ステップ１４０１)。次にディスプレイ制御装置１０は、前記肌色領域８１０に囲まれていて、当該肌色領域８１０とは異なる色の領域８０４（例：目や口などに当たる）を肌色で塗りつぶす(ステップ１４０２)。目や口など肌色領域８１０に囲まれている異なる色の領域８０４を肌色で塗りつぶした画像の例を、図１０に示す。なお、肌色領域は画像８０１、８０２、８０３と所定領域ごとに別個に認識される。

次にディスプレイ制御装置１０は、図１１に示すように、各画像８０１〜８０３における肌色領域８１０の画素数を、一定値αと比較し、αよりも画素数の小さい肌色領域８１０の画像８０１を削除する(ステップ１４０３)。一定値αは、例えば記憶装置２０４に格納されている値であり、ディスプレイ制御装置１０が利用する際に、この記憶装置２０４より読み出して利用する。

なお、前記一定値αは、ビデオカメラ１０１の設置場所、ビデオカメラ１０１の撮影できる角度などにより決まる値である。このαとしては、例えば、大型ディスプレイパネル２０の設置時に、複数の人物を大型ディスプレイパネル２０の前の超音波センサ１０４〜１０７の検出範囲１０９に立たせ、ここで測定した各人の肌色領域の画素数最小値から一定値γを引いた値を採用できる。こうして定めた一定値αは、例えば、前記記憶装置２０４において格納しておく。

このように画素数が一定値α以下である微小な肌色領域の画像を削除することにより、画像８０１のように大型ディスプレイパネル２０を遠くから眺めている人物の画像を、大型ディスプレイパネル２０にアクセスしている人物の範疇から予め除外することができる。

次にディスプレイ制御装置１０は、図１２に示すように、画像８０２、８０３より目に該当する部位を抽出する(ステップ１４０４)。具体的には、図８に示すカメラ画像８００の中で輝度が一定値β以下の黒い領域を抽出する。この一定値βも前記一定値αと同様に、例えば記憶装置２０４に格納されていて、ディスプレイ制御装置１０が利用する際に、この記憶装置２０４より読み出して利用する。ここでディスプレイ制御装置１０が検出した黒い領域の中で、図１１の画像８０２、８０３の肌色領域８１０中にある領域を目８１１として検出する。また、眉と目の誤検出を避けるため、１つの肌色領域８１０に複数の黒い領域が存在する場合、以下の３つの条件を持って目と検出する。
（１）肌色領域中の目の個数は２個以内である。
（２）目と目は顔の幅の４分の１以上横方向に離れていなければならない。
（３）２つの目の横方向のずれは、縦方向のずれよりも大きい。
ディスプレイ制御装置１０は、以上の３条件をもって目の検出を実行する。図１２に肌色領域８１０の中で目８１１を検出した画像を示す。

なお、輝度が一定値β以下の黒い領域を抽出したディスプレイ制御装置１０は、次に図１３に示すように目８１１が２つ存在しない肌色領域８１０の画像８０２を削除し(ステップ１４０５)、本フローを終了する。これにより、画像８０２のように大型ディスプレイパネル２０の前を横切る人物、つまり大型ディスプレイパネル２０に正対しない人物の画像を削除することができる。

このようにしてディスプレイ制御装置１０は、大型ディスプレイパネル２０にほぼ正対し一定距離内にいる人物を検出する。以下、フロー説明を図７のフローに戻す。本実施形態における静止画像８００の場合には、大型ディスプレイパネル２０の近くにいて、正面を向いている人物の数は"１"である。

大型ディスプレイパネル２０の近くにいて、正面を向いている人物の数が"０"である場合（ステップ７０５：ＮＯ）、ディスプレイ制御装置１０は、前記ステップ７０１に処理を戻す。このように大型ディスプレイパネル２０の近くにいて正面を向いている人物が"０"である場合は、すぐにステップ７０１に処理が戻ることにより、大型ディスプレイパネル２０の前の所定範囲内に新たに移動してきた人物が存在した場合、当該人物によるアクセスを迅速に受け付けて処理することが可能となる。

前記大型ディスプレイパネル２０の近くに人物が存在し、大型ディスプレイパネル２０の画面２２の正面を向いている人が"１"以上である場合には（ステップ７０５：ＹＥＳ）、ディスプレイ制御装置１０は、ビデオカメラ１０１から入力される画像の認識処理を一時中断し、インターフェイス信号線２１５〜２１８、制御基盤２１０、インターフェイスバス２０９、ＩＦ変換２０７、内部バス２０５を介して超音波センサ１０４〜１０７の出力値を読み込む(ステップ７０６)。

大型ディスプレイパネル２０を見ている人物が、大型ディスプレイパネル２０の画面２２に手を近づけていない場合、超音波センサ１０４〜１０７の出力値は、すべて「Ａｍａｘ」（図４参照）である。この場合には、超音波センサ１０４〜１０７の出力値が検出範囲１０９の対応値に入っていないとして（ステップ７０７：ＮＯ）、ステップ７０１に戻る。このように、本ステップにおいてすぐにステップ７０１に処理を戻すことにより、大型ディスプレイパネル２０の前の人物が当該ステップ７０７の処理後すぐに超音波センサ１０４〜１０７の検出範囲１０９にアクセスした場合に、迅速な対応が可能である。

他方、大型ディスプレイパネル２０を見ている人物が大型ディスプレイパネル２０の画面２２に手を近づけている場合には、手の上方に設置されている超音波センサだけが所定の出力値を出力する。この場合、前記超音波センサ１０４〜１０７の出力値は、当該超音波センサと前記人物の手との距離に応じて対応する値となる。たとえば大型ディスプレイパネル２０の画面２２を見ている人物が、図１に示した「４階」の店舗“４−Ａ”の概略表示情報３１にその手を近づけると、その上方にある超音波センサ１０４の出力値は、「Ａ４Ｌ」以上「Ａ４Ｈ」以下の出力値範囲４０５（図４参照）となる。超音波センサ１０５〜１０７の出力値は、「Ａｍａｘ」のままである。なお、図４に示すように、他の階：１〜３階に対応する出力値範囲は、それぞれ出力値範囲４０２、４０３、４０４となる。

この場合、ディスプレイ制御装置１０のＣＰＵ２０１は、４階の店舗“４−Ａ”の概略表示情報３１に人物の手が近づいたと判断し(ステップ７０７：ＹＥＳ)、記憶装置２０４の表示テーブル１２５から対応する店舗“４−Ａ”の詳細表示情報３２を読み出し、図６に示した大型ディスプレイパネル２０の画面上の領域５０１に詳細表示情報３２を表示する(ステップ７０８)。

ディスプレイ制御装置１０は、この詳細表示情報３２の表示開始から、前記人物（ユーザ）がこの詳細表示情報３２を見るのに十分な時間であるとして設定した一定時間の経過後(ステップ７０９)、前記領域５０１および領域５０１に表示していた詳細表示情報３２の出力を終了し(ステップ７１０)、処理をステップ７０１に戻す。

なお、大型ディスプレイパネル２０の画面２２を見ている人物が大型ディスプレイパネル２０に対するアクセス（操作）をしている間、ビデオカメラ１０１が撮影した画像の認識処理を行なわないとすれば、ディスプレイ制御装置１０におけるＣＰＵ負荷を軽減できるとともに、詳細表示情報３２の表示中にユーザの意図しない画面に表示を遷移させてしまうといった誤動作が起こりにくい。

また、２つ以上の超音波センサが同時に「Ａ４Ｌ」以上「Ａ４Ｈ」以下の出力値を示した場合には、大型ディスプレイパネル２０に対し２人以上の人物が同時にアクセスしている可能性がある。その場合、ディスプレイ制御装置１０は、"２人以上で同時にアクセスしないでください"といった所定の警告メッセージを前記記憶装置２０４等から抽出・表示する。また、ディスプレイ制御装置１０は、同時にアクセスしてきた前記人物のどちらか一方からのアクセスに対応した詳細表示情報３２を表示するとしてもよい。或いは、同時にアクセスしてきた人物全ての指示に対応して、各指示に応じた詳細表示情報３２の総数で画面２２における表示領域を分割し、各表示領域にそれぞれに詳細表示情報３２を表示するとしてもよい。この場合、ディスプレイ制御装置１０は、複数人によるアクセスを許容することとなる。

ステップ７０１に処理を戻したディスプレイ制御装置１０は、前記デパートにおける各階の店舗に関する概略表示情報３０１を上記同様に再表示する。その後、ステップ７０２で示したように、ビデオカメラ１０１から入力される画像を取り込み、中断していた人物の認識処理を再開することとなる。以降、大型ディスプレイパネル２０の稼働を停止するまで上記ステップを繰り返すのである。

このように本発明によれば、超音波センサなどのセンサとビデオカメラなどの撮影手段とを組み合わせて用いることで、たとえば人間以外の物体である虫などによる超音波センサ検出域への進入や、ディスプレイの前を横切るだけの人物（の一部である腕や洋服など）による超音波センサ検出域への進入に起因して、ディスプレイの表示を変更してしまうといった処理をキャンセルすることができ、効率的なディスプレイ制御を実現できる。

しかも、こうした処理に用いる超音波センサ等は比較的安価であり、また、データ処理に関するＣＰＵ負担も軽いものとできる。そのため、例えば２台以上のカメラで撮影した画像を処理する従来手法に比べ、低コストで処理効率の良好なディスプレイ制御装置の構成が可能となる。

したがって、ユーザの利便性が図れると共に、ディスプレイの効率的で低コストな管理が可能となる。

以上、本発明の実施の形態について、その実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

本実施形態のディスプレイおよびディスプレイ制御装置の概要を示す図である。本実施形態のディスプレイおよびディスプレイ制御装置のブロック図である。本実施形態の超音波センサの概要を示す図である。本実施形態の超音波センサの出力特性を示す図である。本実施形態における表示テーブルのデータ構造例を示す図である。本実施形態のディスプレイにユーザがアクセスしたときの画面遷移を表す図である。本実施形態のディスプレイ制御装置の動作を示すフローチャートである。本実施形態のカメラで撮影した、ある時刻Ｔの静止画を示す図である。本実施形態のカメラで撮影したある時刻Ｔの静止画から、肌色領域を抽出した画像を示す図である。本実施形態のカメラで撮影したある時刻Ｔの静止画から、肌色領域中の微小領域を肌色で塗りつぶした画像を示す図である。本実施形態のカメラで撮影したある時刻Ｔの静止画から、ある一定値よりも画素数の小さな肌色領域を削除した画像を示す図である。本実施形態のカメラで撮影したある時刻Ｔの静止画から、目を検出した画像を示す図である。本実施形態のカメラで撮影したある時刻Ｔの静止画から、目が２つ存在しない肌色領域を削除した画像を示す図である。本実施形態のディスプレイ制御装置における、顔検出動作を示すフローチャートである。

符号の説明

１０ディスプレイ制御装置１１プログラムデータベース
１２プログラム２０ディスプレイ
２１ディスプレイの頂部２２画面
２５画面下端３０コンテンツ
３１概略表示情報３２詳細表示情報
３３配置マトリクス
１０１ビデオカメラ１０２インターフェイスバス
１０４〜１０７超音波センサ１０８カメラの撮影範囲
１０９超音波センサの検出範囲１１０映像取得部
１１１物体検出部１１２出力変化処理部
１２５表示テーブル２０１ＣＰＵ
２０３メモリ２０４記憶装置
２０５内部バス２０６ＩＦ変換
２０７ＩＦ変換２０９インターフェイスバス
２１０超音波センサ制御基盤２１５〜２１８インターフェイス信号線
３０１超音波センサ基盤３０２超音波送信素子
３０３超音波受信素子３０４ＶＣＣ
３０５信号線３０６ＧＮＤ

Claims

ディスプレイの制御を行う装置であって、
デフォルトコンテンツを表示中のディスプレイに対する、複数人による複数のアクセスを感知する物体検出部と、
ディスプレイ上の、前記デフォルトコンテンツの各所定領域と対応付けた別コンテンツを格納したテーブルと、
前記物体検出部が前記所定領域へのアクセスを感知した場合に、前記ディスプレイ上に前記別コンテンツの表示領域を表示する出力変化処理部と、を備え、
前記出力変化処理部は、前記物体検出部が前記所定領域へのアクセスを複数感知した場合に、前記アクセスがあった所定領域について、前記テーブルにて対応付けられた別コンテンツの総数で、前記別コンテンツの表示領域を分割し、該分割した表示領域のそれぞれに、前記アクセスがあった所定領域に対応付けられた別コンテンツを表示する、
ことを特徴とするディスプレイ制御装置。
請求項１において、
前記物体検出部は、ディスプレイに対する１つのアクセスを感知する複数のセンサからなり、各センサが１つずつのアクセスを感知するものであることを特徴とするディスプレイ制御装置。
請求項１または２において、
前記出力変化処理部は、前記別コンテンツの表示を終了したならば、デフォルトコンテンツの表示に戻す処理を実行するものであることを特徴とするディスプレイ制御装置。
請求項３において、
前記出力変化処理部は、所定時間の経過後に前記別コンテンツの表示を終了し、デフォルトコンテンツの表示に戻す処理を実行するものであることを特徴とするディスプレイ制御装置。
請求項１〜４のいずれかにおいて、
ディスプレイ前方の映像を取得する映像取得部を備え、
前記出力変化処理部は、前記映像取得部が得た映像が人物映像であって、当該人物映像がディスプレイに対向した顔映像であり、前期物体検出部における複数人のアクセス感知をディスプレイに顔を向けた人物の存在と認識し、ディスプレイにおけるコンテンツの出力形態変化の契機とするものであることを特徴とするディスプレイ制御装置。
請求項１〜５のいずれかにおいて、
前記物体検出部が、赤外線センサまたは超音波センサのいずれかであることを特徴とするディスプレイ制御装置。
ディスプレイ上の、デフォルトコンテンツの各所定領域と対応付けた別コンテンツを格納したテーブルを記憶装置に備え、ディスプレイの制御を行うコンピュータが、
デフォルトコンテンツを表示中のディスプレイに対する、複数人による複数のアクセスを感知する処理と、
前記処理により前記所定領域へのアクセスを感知した場合に、前記ディスプレイ上に前記別コンテンツの表示領域を表示する処理と、
前記処理により前記所定領域へのアクセスを複数感知した場合に、前記アクセスがあった所定領域について、前記テーブルにて対応付けられた別コンテンツの総数で、前記別コンテンツの表示領域を分割し、該分割した表示領域のそれぞれに、前記アクセスがあった所定領域に対応付けられた別コンテンツを表示する処理と、
を実行することを特徴とするディスプレイ制御方法。
ディスプレイ上の、デフォルトコンテンツの各所定領域と対応付けた別コンテンツを格納したテーブルを記憶装置に備え、ディスプレイの制御を行うコンピュータに、
デフォルトコンテンツを表示中のディスプレイに対する、複数人による複数のアクセスを感知する処理と、
前記処理により前記所定領域へのアクセスを感知した場合に、前記ディスプレイ上に前記別コンテンツの表示領域を表示する処理と、
前記処理により前記所定領域へのアクセスを複数感知した場合に、前記アクセスがあった所定領域について、前記テーブルにて対応付けられた別コンテンツの総数で、前記別コンテンツの表示領域を分割し、該分割した表示領域のそれぞれに、前記アクセスがあった所定領域に対応付けられた別コンテンツを表示する処理と、
を実行させることを特徴とするディスプレイ制御プログラム。
デフォルトコンテンツを表示中のディスプレイに対する、複数人による複数のアクセスを感知する物体検出部と、
ディスプレイ上の、前記デフォルトコンテンツの各所定領域と対応付けた別コンテンツを格納したテーブルと、
前記物体検出部が前記所定領域へのアクセスを感知した場合に、前記ディスプレイ上に前記別コンテンツの表示領域を表示する出力変化処理部と、を備え、
前記出力変化処理部は、前記物体検出部が前記所定領域へのアクセスを複数感知した場合に、前記アクセスがあった所定領域について、前記テーブルにて対応付けられた別コンテンツの総数で、前記別コンテンツの表示領域を分割し、該分割した表示領域のそれぞれに、前記アクセスがあった所定領域に対応付けられた別コンテンツを表示するディスプレイ制御装置を備えたディスプレイ。