JP6583043B2 - 画像表示装置、表示制御方法および表示制御プログラム - Google Patents

Description

本発明は、画像表示装置、表示制御方法および表示制御プログラムに関する。

近年、表示部に商品に関する画像の一覧を表示することで、利用者が表示された一覧から商品を選択し、選択した商品を購入する手法がある。利用者に対して商品一覧を表示する手法として、利用者の視線を利用するものがある。例えば、利用者が注視している商品を検出し、検出した商品を商品一覧画面内の別領域に表示する。

特開２０１２−２２５８９号公報

しかしながら、上述の手法では、例えば、ユーザの視線に基づいて、１つのメニュー画面に商品一覧を表示するが、別のメニュー画面を表示する場合にユーザの視線に基づいて好適なメニュー画面を提供することは困難である。

一つの側面では、本発明は、好適なメニュー画面を提供できる画像表示装置、表示制御方法および表示制御プログラムを提供することにある。

一つの態様では、画像表示装置は、受付部と決定部と切替部とを有する。受付部は、表示部に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付ける。決定部は、前記第１のメニュー画面に対するユーザの視線に基づき、前記第２のメニュー画面の表示内容を決定する。切替部は、前記表示部に表示するメニュー画面を、前記第１のメニュー画面から、前記表示内容が決定された前記第２のメニュー画面に切り替える。

好適なメニュー画面を提供できる。

図１は、実施例の画像表示装置の構成の一例を示すブロック図である。 図２は、視線検出の一例を示す図である。 図３は、商品ＤＢの一例を示す図である。 図４は、第１のメニュー画面に対する視線の動きの一例を示す図である。 図５は、第２のメニュー画面の一例を示す図である。 図６は、第２のメニュー画面の他の一例を示す図である。 図７は、視線停留商品を表示する場合の第２のメニュー画面の一例を示す図である。 図８は、視線非停留商品を表示する場合の第２のメニュー画面の一例を示す図である。 図９は、実施例の画像表示処理の一例を示すフローチャートである。 図１０は、表示制御プログラムを実行するコンピュータの一例を示す図である。

以下、図面に基づいて、本願の開示する画像表示装置、表示制御方法および表示制御プログラムの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例の画像表示装置の構成の一例を示すブロック図である。図１に示す画像表示装置１００は、表示部に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付ける。画像表示装置１００は、第１のメニュー画面に対するユーザの視線に基づき、第２のメニュー画面の表示内容を決定する。画像表示装置１００は、表示部に表示するメニュー画面を、第１のメニュー画面から、表示内容が決定された第２のメニュー画面に切り替える。これにより、画像表示装置１００は、好適なメニュー画面を提供できる。

図１に示す画像表示装置１００は、視線検出部１１１と、表示部１１２と、商品データベース（商品ＤＢ）１２０と、決定部１３０と、切替部１４０と、受付部１１３とを有する。なお、画像表示装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の通信デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。画像表示装置１００の一例としては、飲食店で食券を販売する券売機を採用できる。画像表示装置１００には、上記の券売機のみならず、切符の券売機や自動販売機、コンビニエンスストアの店舗内に設置されるマルチメディア端末等の店舗設置型の端末を採用することもできる。また、画像表示装置１００は、上記の店舗設置型の端末の他にもパーソナルコンピュータやタブレット端末、スマートフォン等のネットワークに接続しショッピングを行える端末等を採用することもできる。

視線検出部１１１は、例えば、ユーザを撮像した撮像画像に基づいてユーザの視線を検出する。撮像画像は、例えば、赤外線ＬＥＤ（Light Emitting Diode）から赤外線を照射されたユーザの上半身を赤外線カメラで撮像した画像である。なお、視線検出部１１１は、図示しない赤外線カメラから撮像画像を取得するようにしてもよく、視線検出部１１１が図示しない赤外線ＬＥＤおよび赤外線カメラを有するようにしてもよい。また、撮像画像は、赤外線カメラで撮像された画像でなくてもよく、例えば、可視光カメラで撮像された画像であってもよい。

また、視線検出部１１１は、視線に代えて用いることができる他の情報を視線として検出してもよい。例えば、ユーザを撮像した撮像画像に基づいてユーザの顔向きを判別し、顔の正面方向を視線方向として検出してもよい。また、ユーザを撮像した撮像画像に基づいてユーザの体の向きを判別し、胴体の前側正面方向を視線方向として検出してもよい。また、ユーザの顔表面までの距離、即ち奥行情報を測定可能な装置を用いて計測される、ユーザの顔の立体的な位置情報を用いて、ユーザの顔向きを判別し、顔の正面方向を視線方向として検出してもよい。

視線検出部１１１は、所定間隔で撮像される撮像画像から、例えば赤外線がユーザの角膜上で反射した位置（角膜反射）およびユーザの瞳孔の位置を検出する。視線検出部１１１は、角膜反射と瞳孔の位置に基づいて、ユーザの視線を検出する。視線検出部１１１は、検出した視線を決定部１３０に出力する。図２は、視線検出の一例を示す図である。図２に示すように、視線検出部１１１は、時刻ｔ１において視線位置（Ｘ１、Ｙ１）を検出する。

時刻ｔ１から時刻ｔ２までの間にユーザの視線が移動した場合、視線検出部１１１は、時刻ｔ２において、視線位置（Ｘ１、Ｙ１）から視線が移動した距離だけ離れた視線位置（Ｘ２、Ｙ２）を検出する。この場合、視線位置（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）を結ぶ線分が、ユーザの視線が移動した軌跡となる。また、時刻ｔ２から時刻ｔ３までの間にユーザの視線が移動せず停留した場合、視線検出部１１１は、時刻ｔ３において、時刻ｔ２と同じ視線位置（Ｘ２、Ｙ２）を検出する。ここで、停留の判定は、例えば、所定時間内に複数回同じ位置で視線を検出した場合や、所定回数以上連続して同じ位置で視線を検出した場合、停留していると判断することができる。この場合、視線位置（Ｘ２、Ｙ２）は、視線の停留位置となる。なお、視線が停留した場合に検出する視線位置は、前の時刻と同じ視線位置でなくてもよく、前の時刻における視線位置までの距離が所定距離以下であってもよい。この場合、例えば、複数の視線位置の重心を停留位置としてもよい。なお、視線位置は、例えば、表示部１１２に表示する画面を含むＸＹ座標平面上の位置である。視線検出部１１１は、例えば、時刻と視線位置とを対応付けて決定部１３０に出力する。

図１の説明に戻って、表示部１１２は、各種情報を表示するための表示デバイスである。表示部１１２は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１２は、切替部１４０から入力された第１、第２のメニュー画面等の各種画面を表示する。ここで、第１、第２のメニュー画面は、画像表示装置１００が設置される店舗で提供される商品を表示するメニュー画面である。第１のメニュー画面は、例えば、ユーザが画像表示装置１００の前に立ったときに最初に表示するメニュー画面である。第２のメニュー画面は、第１のメニュー画面の次に表示するメニュー画面である。

受付部１１３は、ユーザからの各種操作を受け付ける入力デバイスである。受付部１１３は、例えば、入力デバイスとして、タッチパネル等によって実現される。この場合、表示部１１２の表示デバイスと、受付部１１３の入力デバイスとは、一体化されるようにしてもよい。また、受付部１１３は、例えば、入力デバイスとして、ボタンやキーボード、マウス等によって実現されるようにしてもよい。また、例えば、ジェスチャ認識装置や音声認識装置によって実現されるようにしてもよい。受付部１１３は、例えば、表示部１１２に第１のメニュー画面が表示されている場合に、第２のメニュー画面への遷移操作を受け付ける。また、受付部１１３は、例えば、表示部１１２に第１のメニュー画面や第２のメニュー画面が表示されている場合に、画面上の商品に対する選択操作を受け付ける。受付部１１３は、ユーザによって入力された操作を切替部１４０に出力する。

商品ＤＢ１２０は、画像表示装置１００が設置される店舗で提供される商品を管理するデータベースである。商品ＤＢ１２０は、商品の特徴を商品ごとに記憶する。図３は、商品ＤＢの一例を示す図である。図３に示すように、商品ＤＢ１２０は、「商品名」、「値段」といった項目を有する。

商品ＤＢ１２０は、商品の値段や原材料、割引クーポンの有無、商品の販売時期等の商品の特徴を示す情報を商品Ａ、Ｂ・・・ごとに記憶する。図３では、商品ＤＢ１２０は、例えば、商品名「商品Ａ」、値段「１２００円」、原材料「ａ、ｂ」・・・のように、商品の項目ごとに特徴を記憶する。なお、商品ＤＢ１２０が記憶する商品の特徴は、図３に示す例に限られない。例えば、商品ＤＢ１２０が、商品のジャンルや、商品の色や、新製品か否かを示す情報を特徴として記憶するようにしてもよい。

図１の説明に戻って、決定部１３０および切替部１４０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、決定部１３０および切替部１４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。決定部１３０および切替部１４０は、以下に説明する情報処理の機能や作用を実現または実行する。なお、決定部１３０および切替部１４０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

決定部１３０は、視線検出部１１１の検出結果に基づいて表示部１１２に表示する表示内容を決定する。決定部１３０は、特定部１３１と、抽出部１３２と、商品決定部１３３とを有する。

特定部１３１は、表示部１１２に第１のメニュー画面が表示されている場合に、視線検出部１１１からユーザの視線位置が入力されると、入力された視線位置に基づいてユーザの視線が停留した商品を特定する。ここで、第１のメニュー画面は、例えば、店舗で販売される商品の一覧が表示される画面であって、ユーザが画像表示装置１００の表示部１１２の前に立つことで、視線検出部１１１がユーザの視線を検出した場合に、表示部１１２に表示される画面である。

図４は、第１のメニュー画面に対する視線の動きの一例を示す図である。なお、図４も含め、以後の第１のメニュー画面例及び第２のメニュー画面例は、商品の画像が表示されている例を示しているが、表示対象をこれに限る必要はない。例えば、表示対象は、商品の静止画だけでなく、アニメーションのある画像や映像であってもよい。なお、商品および商品に対応する画像は、その数が限定されず、それぞれ１つ以上の場合であってもよい。

図４に示すように、第１のメニュー画面１０は、例えば、複数の商品Ａ〜Ｆに関する複数の画像１１Ａ〜１１Ｆを含む。画像１１Ａ〜１１Ｆは、対応する商品Ａ〜Ｆの特徴を含む。画像１１Ａ〜１１Ｆは、例えば、商品Ａ〜商品Ｆの商品名および値段を含む。なお、画像１１Ａ〜１１Ｆは、上記の商品名および値段のみならず、商品の外観を示す画像や原材料、商品のサイズ等、商品に関する情報を含むこともできる。また、第１のメニュー画面１０は、次のメニュー画面への遷移を受け付けるボタン１２を含む。

図４に示す直線は、視線が移動している場合の視線の軌跡を示している。また、丸は、視線が停留している場合の停留位置を示している。なお、丸の大きさは、視線の停留時間を示しており、丸の直径が大きいほど停留時間が長い。図４では、ユーザは、商品Ａ〜Ｄ、Ｆを順番に停留しながら視線を移動させている。ユーザは、商品Ｅ上では視線を停留させることなく、視線を商品Ｄから商品Ｆに移動させている。また、商品Ｆの停留時間が最も長い。

特定部１３１は、例えば、視線が停留した商品Ａ〜Ｄ、Ｆを特定し、抽出部１３２に特定した商品Ｆを視線停留商品として通知する。また、特定部１３１は、例えば、停留時間が所定時間以上の商品を視線停留商品としてもよい。また、特定部１３１は、所定時間内に計測された視線の停留時間長の合計が、所定時間以上の商品を視線停留商品としてもよい。

また、特定部１３１は、ユーザが視線を停留させていない商品Ｅを視線非停留商品として特定してもよい。この場合、特定部１３１は、抽出部１３２に特定した商品Ｅを視線非停留商品として通知する。

抽出部１３２は、特定部１３１が特定した視線停留商品の特徴を抽出する。抽出部１３２は、第１のメニュー画面１０に対する視線の停留位置、停留時間および軌跡の少なくとも１つに基づいて特徴を抽出する。図４に示す例では、視線は、商品Ａ、Ｂ、Ｆの商品名および値段上で停留しているが、商品Ｃ、Ｄの商品名には視線が停留しておらず、値段に視線が停留している。商品Ａ〜Ｄ、Ｆの値段に視線が停留していることから、ユーザは商品の値段に興味があることがわかる。そこで、抽出部１３２は、商品Ａ、Ｂ、Ｆの商品ジャンルを特徴として抽出してよい。例えば、第１のメニュー画面には、丼料理の商品が表示されており、商品Ａ、Ｂ、Ｆは和食の丼、商品Ｃ，Ｄ，Ｅは中華料理の丼であった場合、抽出部１３２は、「和食」というジャンルを特徴として抽出することができる。また、特に、商品Ａ、Ｂ、Ｆは、値段だけでなく商品名にも視線が停留しているため、商品Ａ、Ｂ、Ｆの値段には興味を示していることがわかる。そこで、抽出部１３２は、商品Ａ、Ｂ、Ｆの値段「１２００円」、「１１００円」を特徴として抽出することができる。抽出部１３２は、抽出した１以上の特徴を商品決定部１３３に出力する。

抽出部１３２が抽出する特徴は、上記の特徴に限られない。抽出部１３２は、例えば、停留時間が最も長い商品から特徴を抽出してもよい。図４に示すように、商品Ｆの停留時間が最も長い場合に、抽出部１３２は、例えば、商品名に含まれるキーワードを特徴として抽出するようにしてもよい。また、抽出部１３２は、例えば、停留位置が複数ある商品Ａ、Ｂ、Ｆに共通する特徴を抽出するようにしてもよい。なお、抽出部１３２が抽出する特徴は１つに限られない。抽出部１３２は、例えば、値段やサイズ等、複数の項目に関する複数の特徴を抽出するようにしてもよい。

図１の説明に戻って、商品決定部１３３は、抽出部１３２が抽出した特徴に基づいて、第２のメニュー画面に表示する表示商品を決定する。商品決定部１３３は、例えば、抽出部１３２が抽出した特徴であるジャンル「和食」を有する商品を商品ＤＢ１２０に問い合わせる。また、例えば、抽出部１３２が抽出した特徴である値段「１２００円」、「１１００円」を有する商品を商品ＤＢ１２０に問い合わせる。なお、抽出部１３２は、抽出した特徴を含む範囲の商品を商品ＤＢ１２０に問い合わせるようにしてもよい。この場合、抽出部１３２は、例えば値段「１２００円」以下の商品を商品ＤＢ１２０に問い合わせるようにしてもよい。

商品決定部１３３は、商品ＤＢ１２０から問い合わせた特徴を有する商品に関する情報を受け取る。商品決定部１３３は、例えば、商品ＤＢ１２０に「１２００円」以下の商品を問い合わせた場合、商品ＤＢ１２０から商品Ｇ、Ｈ、Ｊ〜Ｍに関する情報を受け取る。商品決定部１３３は、受け取った商品Ｇ、Ｈ、Ｊ〜Ｍを表示商品に決定する。

なお、商品決定部１３３は、例えば、商品ＤＢ１２０から受け取った商品数が、第２のメニュー画面に表示可能な商品数より多い場合には、視線停留商品の特徴により近い特徴を有する商品を表示商品に決定してもよい。また、商品決定部１３３は、受け取った商品に関する情報に基づき、当該商品の中から季節限定の商品や割引クーポンの利用が可能な商品等、店舗側が販売したい商品を表示商品に決定してもよい。なお、ここでは、商品決定部１３３は、第１のメニュー画面１０に含む商品とは異なる商品を表示商品に決定するものとする。なお、第１のメニュー画面において、各商品に対して視線の停留時間長がほぼ同等であった場合には、第２のメニュー画面として予め決められていた所定の商品を表示商品に決定してもよい。

なお、商品決定部１３３が決定する商品は、第１のメニュー画面１０に含む商品とは異なる商品に限られない。ユーザは、例えば、第１のメニュー画面１０で興味を持った商品を第２のメニュー画面でも確認したい場合がある。そこで、商品決定部１３３は、視線停留商品を表示商品に決定することもできる。この場合、商品決定部１３３は、例えば、第１のメニュー画面１０でユーザが興味を持った商品として、停留時間が最も長い商品Ｆを表示商品に決定する。また、例えば、ユーザの視線が一度も停留していない商品は、ユーザが見落とした可能性がある。そこで、商品決定部１３３は、ユーザが見落とした可能性がある商品として、特定部１３１で視線非停留商品として特定された商品Ｅを表示商品に決定することもできる。

商品決定部１３３は、視線の動き以外の情報に基づいて表示商品を決定するようにしてもよい。商品決定部１３３は、例えば、抽出部１３２が抽出した特徴が含まれていない商品であっても、季節限定の商品や割引クーポンの利用が可能な商品等、店舗側が販売したい商品を表示商品に決定してもよい。

商品決定部１３３は、第２のメニュー画面に表示すると決定した商品の中から強調表示する商品を決定する。なお、商品決定部１３３は、第２のメニュー画面に表示する商品については、抽出部１３２が抽出した特徴にかかわらず予め定められた商品を表示商品に決定し、該予め定められた商品の中でいずれを強調表示するかを、抽出部１３２が抽出した特徴に基づいて決定してもよい。商品決定部１３３は、例えば、商品ＤＢ１２０から受け取った商品情報に基づき、季節限定の商品や割引クーポンの利用が可能な商品等、店舗側が販売したい商品を強調表示する商品に決定する。また、商品決定部１３３は、視線停留商品の特徴により近い特徴を有する商品を強調表示する商品に決定してもよい。商品決定部１３３は、例えば、特徴が視線停留商品の特徴により多く一致する商品を、強調表示する商品に決定する。例えば、第１のメニュー画面では丼類を表示し、第２のメニュー画面ではスープ類を表示する場合、第１のメニュー画面において視線停留の時間長が最も長かった商品Ｆの商品ジャンルが「和食」である場合、第２のメニュー画面で表示するスープ類の商品のうち、「和食」に属する「味噌汁」や「豚汁」を強調表示し、「中華」に属する「タマゴスープ」や「酸辣湯」は強調表示しないと決定することができる。商品決定部１３３は、表示商品および強調表示する商品に関する情報を切替部１４０に出力する。

商品決定部１３３は、例えば、第１のメニュー画面１０に表示する商品を決定するようにしてもよい。商品決定部１３３は、例えば、ユーザが表示部１１２の前に立つことで視線検出部１１１が当該ユーザの視線検出を開始した場合に、第１のメニュー画面１０に表示する商品を決定する。この場合、商品決定部１３３は、あらかじめ決められた商品を第１のメニュー画面１０に表示する商品に決定する。

切替部１４０は、表示部１１２に表示する画面を切り替える。図４に示す第１のメニュー画面１０が表示されている場合に、ユーザが次のメニュー画面への遷移操作を受け付けるボタン１２をタッチ操作すると、切替部１４０は、第１のメニュー画面１０から第２のメニュー画面に切り替える。図５は、第２のメニュー画面の一例を示す図である。図５に示すように、切替部１４０は、商品決定部１３３が決定した商品Ｇ、Ｈ、Ｊ〜Ｍに関する画像１１Ｇ、１１Ｈ、１１Ｊ〜１１Ｍを含む第２のメニュー画面２０を表示部１１２に表示する。また、第２のメニュー画面２０は、第１のメニュー画面への遷移を受け付ける「戻る」ボタンや、次のメニュー画面への遷移を受け付けるボタン１２を含んでよい。画面の遷移は、表示中の画面から別の画面へ表示を切り替える指示を受け付けられれば、どのような方法により操作指示を受け付けても構わない。例えば、図示のようなボタン形式でなく、タブにより表示対象とする画面が選択されるものであっても構わない。

切替部１４０は、商品決定部１３３が強調表示すると決定した商品を強調表示して表示部１１２に表示するようにしてもよい。図６は、第２のメニュー画面の他の一例を示す図である。切替部１４０は、商品決定部１３３が強調表示すると決定した商品Ｇ、Ｊに関する画像１１Ｇ、１１Ｊに、付加情報を示す画像３１、３２を重畳した第２のメニュー画面３０を表示することで商品Ｇ、Jを強調表示する。ここで、画像３１は、「おすすめ」という付加情報を示す画像であり、画像３２は、例えば、利用可能なクーポンが存在する等「お得」という付加情報を示す画像である。なお、切替部１４０は、例えば、商品に関する画像のサイズや色を変えたり、画像を点滅表示させたりすることで、商品を強調表示することもできる。

切替部１４０は、商品決定部１３３が視線停留商品を表示商品に決定した場合、当該視線停留商品に関する画像を含む第２のメニュー画面を表示部１１２に表示するようにしてもよい。図７は、視線停留商品を表示する場合の第２のメニュー画面の一例を示す図である。切替部１４０は、例えば、第１のメニュー画面１０で表示した商品Ｆに関する画像１１Ｆを第２のメニュー画面４０に表示する。このとき、図７に示すように、切替部１４０は、例えば、ユーザが興味を持った商品Ｆの購入を促進できるように、商品Ｆを強調表示するようにしてもよい。強調表示は、例えば、図６と同様に、画像１１Ｆに、付加情報を示す画像３１を重畳して表示部１１２に表示するようにしてもよい。また、第２のメニュー画面上での商品Ｆの表示位置は、第１のメニュー画面上での商品Ｆの表示位置と同じ位置でもよいし、異なる位置でもよい。なお、ここでは、切替部１４０は、停留時間が最も長い商品Ｆに関する画像１１Ｆを第２のメニュー画面４０に含めて表示するが、例えば、複数の視線停留商品を第２のメニュー画面４０に含めて表示してもよい。

切替部１４０は、商品決定部１３３が視線非停留商品を表示商品に決定した場合、当該視線非停留商品に関する画像を含む第２のメニュー画面を表示部１１２に表示する。図８は、視線非停留商品を表示する場合の第２のメニュー画面の一例を示す図である。切替部１４０は、例えば、第１のメニュー画面１０で視線が停留していない商品Ｅに関する画像１１Ｅを第２のメニュー画面５０に表示する。このとき、図８に示すように、切替部１４０は、例えば、ユーザが商品Ｅを見落とさないように、商品Ｅを強調表示するようにしてもよい。

また、切替部１４０は、例えば、受付部１１３が受け付けた各種操作に応じて表示部１１２に表示される画面を切り替えるものとする。切替部１４０は、例えば、待機画面を表示部１１２に表示している場合に、視線検出部１１１がユーザの視線を検出すると、待機画面から第１のメニュー画面１０に切り替える。

次に、実施例の画像表示装置１００の動作について説明する。図９は、実施例の画像表示処理の一例を示すフローチャートである。

視線検出部１１１は、画像表示装置１００の前にユーザが立つと、ユーザの視線検出を開始する（ステップＳ１）。切替部１４０は、視線検出部１１１が視線検出を開始すると、第１のメニュー画面を表示部１１２に表示する（ステップＳ２）。視線検出部１１１は、第１のメニュー画面に対するユーザの視線位置を検出する（ステップＳ３）。視線検出部１１１は、検出した視線位置を決定部１３０に出力する。

決定部１３０の特定部１３１は、視線検出部１１１が検出した視線位置に基づいて、第１のメニュー画面に表示される商品の中から視線停留商品を特定する（ステップＳ４）。切替部１４０は、表示部１１２が第１のメニュー画面を表示している間に、受付部１１３が次のメニュー画面への遷移操作を受け付けたか否かを判定する（ステップＳ５）。切替部１４０は、遷移操作を受け付けていない場合には（ステップＳ５：否定）、ユーザによる操作の受付を待機し、ステップＳ３に戻る。切替部１４０は、遷移操作を受け付けた場合には（ステップＳ５：肯定）、第２のメニュー画面に表示する商品を決定部１３０に問い合わせる。

決定部１３０の抽出部１３２は、特定部１３１が特定した視線停留商品の特徴を抽出する（ステップＳ６）。抽出部１３２は、視線停留商品に含まれる特徴のうち、視線の停留位置に表示される特徴を抽出する。抽出部１３２は、抽出した特徴を商品決定部１３３に出力する。

商品決定部１３３は、抽出部１３２が抽出した特徴に基づいて第２のメニュー画面に表示する商品を決定する（ステップＳ７）。商品決定部１３３は、抽出部１３２が抽出した特徴と同じ特徴を有する商品に関する情報を商品ＤＢ１２０から取得する。商品決定部１３３は、取得した商品に関する情報に基づいて第２のメニュー画面に表示する商品を決定する。商品決定部１３３は、決定した商品に関する情報を切替部１４０に出力する。切替部１４０は、商品決定部１３３が決定した商品に関する画像を含む第２のメニュー画面を表示部１１２に表示する（ステップＳ８）。これにより、画像表示装置１００は、好適なメニュー画面を提供できる。

このように、画像表示装置１００は、表示部１１２に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付ける。また、画像表示装置１００は、第１のメニュー画面に対するユーザの視線に基づき、第２のメニュー画面の表示内容を決定する。また、画像表示装置１００は、表示部１１２に表示するメニュー画面を、第１のメニュー画面から、表示内容が決定された第２のメニュー画面に切り替える。その結果、好適なメニュー画面を提供できる。

また、画像表示装置１００は、視線が停留した商品を特定する。また、画像表示装置１００は、特定した商品の特徴を抽出する。また、画像表示装置１００は、抽出した特徴に基づき、特定した商品とは異なる商品を決定する。また、画像表示装置１００は、決定した商品に関する画像を含む第２のメニュー画面に切り替える。その結果、好適なメニュー画面を提供できる。

また、画像表示装置１００は、第２のメニュー画面に強調表示する商品を決定する。その結果、より好適なメニュー画面を提供できる。

また、画像表示装置１００は、視線が停留した商品を、第２のメニュー画面に表示する商品に決定する。その結果、ユーザが興味を示した商品を含むメニュー画面を提供できる。

また、画像表示装置１００は、視線が停留していない商品を特定する。また、画像表示装置１００は、視線が停留していない商品を、第２のメニュー画面に表示する商品に決定する。その結果、商品の見逃しを防ぐメニュー画面を提供できる。

また、画像表示装置１００は、視線の停留位置、停留時間および軌跡の少なくとも１つに基づいて特徴を抽出する。その結果、特徴に応じたメニュー画面を提供できる。上述のように好適なメニュー画面を提供できることにより、例えば、第１のメニュー画面に表示された商品Ａと関連のある商品Ｂが第２のメニュー画面に表示された場合に、商品Ｂに対する、ユーザの気付きやすさを高め、商品Ａとともに商品Ｂも購入する併買行動を見込めるようになる。

なお、上記実施例では、第１のメニュー画面に表示される商品画像に対するユーザの視線に基づいて第２のメニュー画面に表示する商品を決定したが、これに限定されない。例えば、表示部１１２の周囲におすすめ商品等の広告が掲載されている場合に、当該広告に対する視線に基づいて第２のメニュー画面に表示する商品を決定するようにしてもよい。すなわち、特定部１３１は、第１のメニュー画像に表示される複数の商品、または広告に掲載される商品のうち、視線が停留した視線停留商品を特定するようにしてもよい。なお、広告は、必ずしも表示部１１２の周囲に掲載される必要はない。ユーザの視線が向きやすく、また、ユーザの視線を検出できる範囲に掲載されていればよい。すなわち、広告は、例えば、幟やポスター等の画像表示装置１００の周囲に掲載されていてもよい。

このように、画像表示装置１００は、第１のメニュー画面および表示部１１２の周囲に表示される商品の中から視線停留商品を特定する。また、画像表示装置１００は、視線停留商品に基づいて特徴を抽出する。また、画像表示装置１００は、抽出した特徴に基づいて第２のメニュー画面に表示する商品を決定する。また、画像表示装置１００は、決定した商品に関する画像を含む第２のメニュー画面を表示する。その結果、好適なメニュー画面を提供できる。

なお、上記実施例では、第１のメニュー画面に表示する商品は、あらかじめ決められた商品としたが、これに限定されない。例えば、ユーザが過去に購入した商品履歴や過去に抽出した特徴等に基づいて商品を決定するようにしてもよい。

このように、画像表示装置１００は、視線検出部１１１が有するカメラを用いた画像認識処理を行うことでユーザを特定する。なお、ユーザの特定は、例えば、ユーザが所持するスマートフォン等の携帯端末にダウンロードされたアプリケーションと通信を行うことで実現することもできる。また、ユーザの特定は、例えば、ポイントカード等の店舗が発行するカードを読み取ることで実現することもできる。

また、画像表示装置１００は、例えば、特定したユーザの過去の商品履歴を図示しない履歴ＤＢに問い合わせて取得する。また、画像表示装置１００は、取得した商品履歴に含まれる商品の特徴を抽出する。また、画像表示装置１００は、抽出した特徴に基づいて第１のメニュー画面に表示する商品を決定する。また、画像表示装置１００は、決定した商品に関する画像を含む第１のメニュー画面を表示する。その結果、好適なメニュー画面を提供できる。

また、画像表示装置１００は、特定したユーザに対して商品を表示する場合に、商品決定に用いた特徴履歴を取得し、取得した特徴履歴に基づいて第１のメニュー画面に表示する商品を決定する。その結果、好適なメニュー画面を提供できる。

なお、上記実施例では、第１のメニュー画面は、ユーザが画像表示装置１００の前に立ったときに最初に表示する画面としたが、これに限定されない。例えば、ユーザからの遷移操作に応じて表示するメニュー画面であってもよい。また、この場合、画像表示装置１００は、第１のメニュー画面へ遷移する前に表示したメニュー画面に対するユーザの視線に基づいて、第１のメニュー画面の表示内容を決定してもよい。

このように、画像表示装置１００は、所定のメニュー画面から第１のメニュー画面に切り替える指示を受け付ける。また、画像表示装置１００は、所定のメニュー画面に対するユーザの視線に基づき、第１のメニュー画面の表示内容を決定する。また、画像表示装置１００は、所定のメニュー画面から、表示内容が決定された第１のメニュー画面に切り替える。その結果、好適なメニュー画面を提供できる。

また、画像表示装置１００は、第２のメニュー画面の表示内容を、所定のメニュー画面および第１のメニュー画面に対するユーザの視線に基づいて決定する。その結果、好適なメニュー画面を提供できる。

また、上記の説明においては、第１のメニュー画面、第２のメニュー画面に、それぞれ商品についての画像を表示する例と挙げて説明したが、表示対象とする内容を商品に限る必要はない。例えば、本や記事のような文書の一覧を各メニュー画面の表示内容としてもよい。また、第１のメニュー画面、第２のメニュー画面それぞれの表示は、図４〜８に示すようにそれぞれ異なる対象物を表示しなくても良く、例えば、契約書のように、条文や段落で区切られた１つの文書を表示対象としてもよい。その場合、例えば、第１のメニュー画面では基本契約を表示し、第１のメニュー画面において視線停留が検出された基本契約内の条文や段落と関係する他の契約を、第２のメニュー画面の表示対象としてもよい。また、例えば、第１のメニュー画面では、ある商品について複数の項目を含む概要説明カタログを表示し、第１のメニュー画面において視線停留が検出された項目についての詳細情報を、第２のメニュー画面の表示対象としてもよい。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、特定部１３１と抽出部１３２とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１０は、表示制御プログラムを実行するコンピュータの一例を示す図である。

図１０に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１〜２０８は、バス２０９に接続される。

ハードディスク装置２０８には、図１に示した視線検出部１１１、決定部１３０および切替部１４０の各処理部と同様の機能を有する表示制御プログラムが記憶される。また、ハードディスク装置２０８には、商品ＤＢ１２０および表示制御プログラムを実現するための各種データが記憶される。入力装置２０２は、例えば、コンピュータ２００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、コンピュータ２００のユーザに対して出力画面等の各種画面を表示する。媒体読取装置２０４は、記憶媒体から各種データを読み取る。インタフェース装置２０５は、例えば印刷装置等が接続される。通信装置２０６は、例えば、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。

ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示した視線検出部１１１、決定部１３０および切替部１４０として機能させることができる。

なお、上記の表示制御プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの表示制御プログラムを記憶させておき、コンピュータ２００がこれらから表示制御プログラムを読み出して実行するようにしてもよい。

以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。

（付記１）表示部に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付ける受付部と、
前記第１のメニュー画面に対するユーザの視線に基づき、前記第２のメニュー画面の表示内容を決定する決定部と、
前記表示部に表示するメニュー画面を、前記第１のメニュー画面から、前記表示内容が決定された前記第２のメニュー画面に切り替える切替部と、
を有することを特徴とする画像表示装置。

（付記２）前記決定部は、
前記視線が停留した商品を特定する特定部と、
前記特定部が特定した前記商品の特徴を抽出する抽出部と、
前記抽出部が抽出した前記特徴に基づき、前記特定部が特定した前記商品とは異なる複数の商品を決定する商品決定部と、を有し、
前記切替部は、
前記商品決定部が決定した前記商品に関する画像を含む前記第２のメニュー画面に切り替える、
ことを特徴とする付記１に記載の画像表示装置。

（付記３）前記商品決定部は、
前記第２のメニュー画面に強調表示する商品を決定する、
ことを特徴とする付記２に記載の画面表示装置。

（付記４）前記商品決定部は、
前記視線が停留した前記商品を、前記第２のメニュー画面に表示する商品に決定する、
ことを特徴とする付記２または３に記載の画像表示装置。

（付記５）前記特定部は、
前記視線が停留していない前記商品を特定し、
前記商品決定部は、
前記視線が停留していない前記商品を、前記第２のメニュー画面に表示する商品に決定する、
ことを特徴とする付記２〜４のいずれか１つに記載の画像表示装置。

（付記６）前記抽出部は、
前記視線の停留位置、停留時間および軌跡の少なくとも１つに基づいて前記特徴を抽出する、
ことを特徴とする付記２〜５のいずれか１つに記載の画像表示装置。

（付記７）表示部に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付け、
前記第１のメニュー画面に対するユーザの視線に基づき、前記第２のメニュー画面の表示内容を決定し、
前記表示部に表示するメニュー画面を、前記第１のメニュー画面から、前記表示内容が決定された前記第２のメニュー画面に切り替える、
処理をコンピュータが実行することを特徴とする表示制御方法。

（付記８）前記決定する処理は、
前記視線が停留した商品を特定し、
特定した前記商品の特徴を抽出し、
抽出した前記特徴に基づき、特定した前記商品とは異なる複数の商品を決定し、
前記切り替える処理は、
決定した前記商品に関する画像を含む前記第２のメニュー画面に切り替える、
ことを特徴とする付記７に記載の表示制御方法。

（付記９）前記商品を決定する処理は、前記第２のメニュー画面に強調表示する商品を決定する、
ことを特徴とする付記８に記載の表示制御方法。

（付記１０）前記商品を決定する処理は、前記視線が停留した前記商品を、前記第２のメニュー画面に表示する商品に決定する、
ことを特徴とする付記８または９に記載の表示制御方法。

（付記１１）前記特定する処理は、前記視線が停留していない前記商品を特定し、
前記商品決定部は、前記視線が停留していない前記商品を、前記第２のメニュー画面に表示する商品に決定する、
ことを特徴とする付記８〜１０のいずれか１つに記載の表示制御方法。

（付記１２）前記抽出する処理は、前記視線の停留位置、停留時間および軌跡の少なくとも１つに基づいて前記特徴を抽出する、
ことを特徴とする付記８〜１１のいずれか１つに記載の表示制御方法。

（付記１３）表示部に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付け、
前記第１のメニュー画面に対するユーザの視線に基づき、前記第２のメニュー画面の表示内容を決定し、
前記表示部に表示するメニュー画面を、前記第１のメニュー画面から、前記表示内容が決定された前記第２のメニュー画面に切り替える、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。

（付記１４）前記決定する処理は、
前記視線が停留した商品を特定し、
特定した前記商品の特徴を抽出し、
抽出した前記特徴に基づき、特定した前記商品とは異なる複数の商品を決定し、
前記切り替える処理は、
決定した前記商品に関する画像を含む前記第２のメニュー画面に切り替える、
ことを特徴とする付記１３に記載の表示制御プログラム。

（付記１５）前記商品を決定する処理は、前記第２のメニュー画面に強調表示する商品を決定する、
ことを特徴とする付記１４に記載の表示制御プログラム。

（付記１６）前記商品を決定する処理は、前記視線が停留した前記商品を、前記第２のメニュー画面に表示する商品に決定する、
ことを特徴とする付記１４または１５に記載の表示制御プログラム。

（付記１７）前記特定する処理は、前記視線が停留していない前記商品を特定し、
前記商品決定部は、前記視線が停留していない前記商品を、前記第２のメニュー画面に表示する商品に決定する、
ことを特徴とする付記１４〜１６のいずれか１つに記載の表示制御プログラム。

（付記１８）前記抽出する処理は、前記視線の停留位置、停留時間および軌跡の少なくとも１つに基づいて前記特徴を抽出する、
ことを特徴とする付記１４〜１７のいずれか１つに記載の表示制御プログラム。

１００ 画像表示装置
１１１ 視線検出部
１１２ 表示部
１１３ 受付部
１２０ 商品データベース
１３０ 決定部
１３１ 特定部
１３２ 抽出部
１３３ 商品決定部
１４０ 切替部

Claims (7)

1. 表示部に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付ける受付部と、
   前記第１のメニュー画面に対するユーザの視線に基づいて、前記視線が停留した商品を特定し、特定した前記商品の特徴を抽出し、抽出した前記特徴に基づき、特定した前記商品とは異なる商品を決定して、前記第２のメニュー画面の表示内容を決定する決定部と、
   前記表示部に表示するメニュー画面を、前記第１のメニュー画面から、前記表示内容が決定された前記第２のメニュー画面であって、前記決定部が決定した前記商品に関する画像を含む前記第２のメニュー画面に切り替える切替部と、
   を有することを特徴とする画像表示装置。
2. 前記決定部は、前記第２のメニュー画面に強調表示する商品を決定する、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記決定部は、さらに、前記視線が停留した前記商品を、前記第２のメニュー画面に表示する商品に決定する、
   ことを特徴とする請求項１または２に記載の画像表示装置。
4. 前記決定部は、前記視線が停留していない前記商品を特定し、前記視線が停留していない前記商品を、前記第２のメニュー画面に表示する商品に決定する、
   ことを特徴とする請求項１〜３のいずれか１つに記載の画像表示装置。
5. 前記決定部は、前記視線の停留位置、停留時間および軌跡の少なくとも１つに基づいて前記特徴を抽出する、
   ことを特徴とする請求項１〜４のいずれか１つに記載の画像表示装置。
6. 表示部に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付け、
   前記第１のメニュー画面に対するユーザの視線に基づいて、前記視線が停留した商品を特定し、特定した前記商品の特徴を抽出し、抽出した前記特徴に基づき、特定した前記商品とは異なる商品を決定して、前記第２のメニュー画面の表示内容を決定し、
   前記表示部に表示するメニュー画面を、前記第１のメニュー画面から、前記表示内容が決定された前記第２のメニュー画面であって、決定した前記商品に関する画像を含む前記第２のメニュー画面に切り替える、
   処理をコンピュータが実行することを特徴とする表示制御方法。
7. 表示部に表示された、商品に関する画像を含む第１のメニュー画面を、第２のメニュー画面に切り替える指示を受け付け、
   前記第１のメニュー画面に対するユーザの視線に基づいて、前記視線が停留した商品を特定し、特定した前記商品の特徴を抽出し、抽出した前記特徴に基づき、特定した前記商品とは異なる商品を決定して、前記第２のメニュー画面の表示内容を決定し、
   前記表示部に表示するメニュー画面を、前記第１のメニュー画面から、前記表示内容が決定された前記第２のメニュー画面であって、決定した前記商品に関する画像を含む前記第２のメニュー画面に切り替える、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。