JPWO2010070882A1 - 情報表示装置及び情報表示方法 - Google Patents

情報表示装置及び情報表示方法 Download PDF

Info

Publication number
JPWO2010070882A1
JPWO2010070882A1 JP2010525093A JP2010525093A JPWO2010070882A1 JP WO2010070882 A1 JPWO2010070882 A1 JP WO2010070882A1 JP 2010525093 A JP2010525093 A JP 2010525093A JP 2010525093 A JP2010525093 A JP 2010525093A JP WO2010070882 A1 JPWO2010070882 A1 JP WO2010070882A1
Authority
JP
Japan
Prior art keywords
user
content
interest
degree
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010525093A
Other languages
English (en)
Other versions
JP5518713B2 (ja
Inventor
幸太郎 坂田
幸太郎 坂田
前田 茂則
茂則 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010525093A priority Critical patent/JP5518713B2/ja
Publication of JPWO2010070882A1 publication Critical patent/JPWO2010070882A1/ja
Application granted granted Critical
Publication of JP5518713B2 publication Critical patent/JP5518713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

表示されるコンテンツに対するユーザの関心を効率的に高めることができる情報表示装置を提供する。情報表示装置(10)は、第1コンテンツを画面に表示する表示部(14)と、画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出するユーザ状態検出部(11)と、ユーザ状態検出部(11)によって検出されたユーザ状態に基づいて、表示部(14)によって画面に表示された第1コンテンツに対するユーザの関心度合いを示す関心度を推定する関心度推定部(12)と、関心度推定部(12)によって推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、第2コンテンツを表示部に表示させる表示制御部(13)とを備える。

Description

本発明は、コンテンツを表示する情報表示装置に関し、特に、ユーザの状態に基づいて表示制御を行う情報表示装置に関する。
近年、街頭などに大画面のディスプレイを設置し、このディスプレイに広告を表示する電子広告システムが実用化されている。繁華街、駅前の建造物の壁面、あるいは公共交通機関の駅の構内などにディスプレイを設置することによって、不特定多数のユーザに情報を提供することができる。
しかし、従来の電子広告システムでは、通りすがりの通行者がディスプレイに表示された広告を眺める程度であり、見る者に深い印象を与えることができないという問題があった。また、ディスプレイには同一映像(広告)が繰り返し表示されているので、待合せなどで滞留している人がディスプレイに表示された広告を見ても、すぐに見飽きてしまうという問題もあった。さらに、人の注目を引くように商品情報などの検索機能を備えたインタラクティブな電子広告システムもあるが、通りがかりの人にとって検索機能を利用することは面倒であった。このように、従来の電子広告システムは、通常の広告板又はポスターなどよりも人目を引きやすいが、広告効果を更に向上させる余地がある。
ところで、入力装置が受け付けたユーザからの要求に応じて情報を段階的に表示する情報表示装置が提案されている(例えば、特許文献1参照)。また、ユーザと情報表示装置との距離に応じて認知されない情報を除いた内容を提示する情報表示装置も提案されている(例えば、特許文献2参照)。
さらに、ユーザのコンテンツの視聴状態に合わせて、より適切なタイミングでコンテンツの再生中にコンテンツ情報を表示する情報表示装置も提案されている(例えば、特許文献3参照)。特許文献3に記載の情報表示装置は、ユーザがコンテンツを見ている時間に応じて関心度を生成し、生成した関心度が低下したときに、他のコンテンツの再生などを薦める。
このような特許文献1〜3に記載の情報表示装置によって、ユーザは、効率的に情報を取得することが可能となる。
特開平11−296542号公報 特開2003−271283号公報 特開2005−250322号公報
しかしながら、上記従来の情報表示装置は、情報取得に関するユーザの効率を高めることができるが、表示されたコンテンツにユーザを引き込む効果は期待できない。つまり、従来の情報表示装置では、ユーザの関心を効率的に高めることができない。
そこで本発明は、上記従来の課題を解決するものであって、表示されるコンテンツに対するユーザの関心を効率的に高めることができる情報表示装置等を提供することを目的とする。
上記目的を達成するために、本発明の一態様における情報表示装置は、第1コンテンツを画面に表示する表示部と、前記画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出するユーザ状態検出部と、前記ユーザ状態検出部によって検出されたユーザ状態に基づいて、前記表示部によって画面に表示された第1コンテンツに対するユーザの関心度合いを示す関心度を推定する関心度推定部と、前記関心度推定部によって推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、第2コンテンツを前記表示部に表示させる表示制御部とを備える。
これにより、ユーザ状態に応じて、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態でコンテンツを表示することができ、じらし効果によってユーザの関心を効率的に高めることができる。
ここで、じらし効果とは、コンテンツの少なくとも一部が示す情報をユーザに明らかにしないことにより、ユーザの注意を引くことができる効果をいう。つまり、じらし効果とは、ユーザをじらすことにより関心を高める効果である。
また、前記表示制御部は、さらに、前記関心度推定部によって推定された関心度の変化率の大きさが第2閾値を超えたときに、前記画面に表示された第2コンテンツの鮮明度又は開示度を上げることが好ましい。
これにより、ユーザの関心度の変化率の大きさに応じて、鮮明度又は開示度が下げられたコンテンツの鮮明度又は開示度を動的に上げることができるので、ユーザの関心が高まりつつある状態で、コンテンツが示す情報をユーザに開示することができる。その結果、ユーザの関心をさらに効率的に高めることもできるとともに、コンテンツが示す情報をユーザに強く印象付けることができる。
また、前記表示制御部は、さらに、前記関心度推定部によって推定された関心度が第3閾値を超えたときに、前記画面に表示された第2コンテンツの鮮明度又は開示度を上げることが好ましい。
これにより、ユーザの関心度の大きさに応じて、鮮明度又は開示度が下げられたコンテンツの鮮明度又は開示度を動的に上げることができるので、ユーザの関心が高いときに、コンテンツが示す情報をユーザに開示することができる。その結果、ユーザの関心をさらに効率的に高めることもできるとともに、コンテンツが示す情報をユーザに強く印象付けることができる。
また、前記表示制御部は、前記関心度推定部によって推定された関心度の変化率の大きさが前記第1閾値未満であって、かつ、前記関心度推定部によって推定された関心度の変化率の大きさが前記第1閾値未満である状態が所定時間継続している場合、前記第2コンテンツを前記表示部に表示させることが好ましい。
これにより、ユーザの関心度の変化率の大きさが一時的に小さくなったことに反応して、必要以上にコンテンツの鮮明度又は開示度を変更することを低減させることができる。
また、前記ユーザ状態検出部は、前記ユーザの移動方向を前記ユーザ状態として検出し、前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの移動方向が、当該ユーザから前記画面を代表する位置へ向かう方向、又は当該ユーザから前記第1コンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定することが好ましい。
これにより、ユーザの移動方向に応じて関心度を高精度に推定することができる。
また、前記ユーザ状態検出部は、前記ユーザの移動速度を前記ユーザ状態として検出し、前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの移動速度が小さいほど、関心度が高いと推定することが好ましい。
これにより、ユーザの移動速度に応じて関心度を高精度に推定することができる。
また、前記ユーザ状態検出部は、前記ユーザの位置を前記ユーザ状態として検出し、前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの位置と前記第1コンテンツが表示されている位置との距離が小さいほど関心度が高いと推定することが好ましい。
これにより、ユーザの位置に応じて関心度を高精度に推定することができる。
また、前記ユーザ状態検出部は、ユーザの視線方向を前記ユーザ状態として検出し、前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの視線方向が、当該ユーザから前記画面を代表する位置へ向かう方向、又は当該ユーザから前記第1コンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定することが好ましい。
これにより、ユーザの視線方向に応じて関心度を高精度に推定することができる。
また、さらに、前記画面の前方に位置するユーザの中からターゲットユーザを選定するターゲットユーザ選定部を備え、前記表示制御部は、前記ターゲットユーザ選定部によって選定されたターゲットユーザの関心度の変化率の大きさが前記第1閾値未満である場合、前記第2コンテンツを前記表示部に表示させることが好ましい。
これにより、画面の前方に位置するユーザの中から選定されたターゲットユーザ状態に応じて、コンテンツの鮮明度又は開示度を変更することができ、選定されたユーザの関心を効率的に高めることができる。
また、前記ターゲットユーザ選定部は、前記関心度推定部によって推定された関心度が第4閾値以上である場合、当該関心度に対応するユーザをターゲットユーザとして選定することが好ましい。
これにより、じらし効果によって関心を高められる可能性の高いユーザをターゲットユーザとして選定することができ、ユーザの関心をさらに効率的に高めることができる。
また、前記ターゲットユーザ選定部は、前記第1コンテンツが表示されている位置とユーザの位置との距離が第5閾値未満である場合、当該ユーザをターゲットユーザとして選定することが好ましい。
これにより、じらし効果によって関心を高められる可能性の高いユーザをターゲットユーザとして選定することができ、ユーザの関心をさらに効率的に高めることができる。
また、さらに、前記第2コンテンツの一部であってユーザに見せようとしている情報である本質情報を示す部分の位置を示す適用領域を少なくとも記憶しているコンテンツデータベースを備え、前記表示制御部は、前記コンテンツデータベースに記憶された前記第2コンテンツの適応領域の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、前記第2コンテンツを前記表示部に表示させることが好ましい。
これにより、本質情報が表示される領域の鮮明度又は開示度を低くすることができ、ユーザの注目を集める効果が高くなる。その結果、ユーザの関心を効率的に高めることができるとともに、ユーザに見せようとしている情報の印象を高めることができる。
また、前記予め定められた鮮明度又は開示度は、前記第1コンテンツの鮮明度又は開示度であり、前記表示制御部は、前記第1コンテンツを前記第2コンテンツとして前記表示部に表示させることが好ましい。
これにより、すでに表示されているコンテンツの鮮明度又は開示度をユーザ状態に応じて下げることができる。
また、本発明の一態様における情報表示方法は、第1コンテンツを画面に表示する第1の表示ステップと、前記画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出するユーザ状態検出ステップと、前記ユーザ状態検出ステップにおいて検出されたユーザ状態に基づいて、前記表示ステップにおいて画面に表示された第1コンテンツに対するユーザの関心度合いを示す関心度を推定する関心度推定ステップと、前記関心度推定ステップにおいて推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の領域の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、第2コンテンツを表示する第2の表示ステップとを含む。
これにより、上記情報表示装置と同様の効果を奏することができる。
なお、本発明は、このような情報表示方法をコンピュータに実行させるためのプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc Read Only Memory)等のコンピュータ読取可能な記録媒体、あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明の一態様における情報表示装置によれば、表示されたコンテンツに対するユーザの関心度の変化率の大きさに応じて、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態でコンテンツを表示することができる。その結果、じらし効果によってユーザの注目を引くことができるので、ユーザの関心を効率的に高めることができる。
図1は、本発明の実施の形態1における情報表示装置の外観図である。 図2は、本発明の実施の形態1における情報表示装置の機能構成を示すブロック図である。 図3は、鮮明度を説明するための図である。 図4は、開示度を説明するための図である。 図5は、本発明の実施の形態1における情報表示装置が実行する処理の流れを示すフローチャートである。 図6は、本発明の実施の形態1の変形例1における情報表示装置が実行する処理の流れを示すフローチャートである。 図7は、本発明の実施の形態1の変形例2における情報表示装置が実行する処理の流れを示すフローチャートである。 図8は、本発明の実施の形態2における情報表示装置の機能構成を示すブロック図である。 図9Aは、本発明の実施の形態2におけるユーザ位置算出方法を説明するための図である。 図9Bは、本発明の実施の形態2におけるユーザ位置算出方法を説明するための図である。 図10は、本発明の実施の形態2におけるコンテンツデータベースの一例を示す図である。 図11は、適用領域を説明するための図である。 図12は、本発明の実施の形態2における情報表示装置が行う処理の流れを示すフローチャートである。 図13は、本発明の実施の形態2における関心度の算出方法を説明するための図である。 図14Aは、本発明の実施の形態2におけるターゲットユーザの選定方法を説明するための図である。 図14Bは、本発明の実施の形態2におけるターゲットユーザの選定方法を説明するための図である。 図15は、本発明の実施の形態2における関心度の変化率の算出処理を説明するための図である。 図16は、本発明の実施の形態2における情報表示装置の動作の具体例を示す図である。 図17Aは、本発明の実施の形態2におけるコンテンツの表示方法の他の一例を示す図である。 図17Bは、本発明の実施の形態2におけるコンテンツの表示方法の他の一例を示す図である。 図18は、本発明の実施の形態2の変形例における視線方向の検出に関する処理の流れを示すフローチャートである。 図19は、本発明の実施の形態2の変形例におけるユーザの顔の向きを検出する処理を説明するための図である。 図20は、視線方向基準面について説明するための図である。 図21Aは、黒目中心の検出について説明するための図である。 図21Bは、黒目中心の検出について説明するための図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
本発明の実施の形態1における情報表示装置10は、画面にコンテンツを表示する装置であり、画面に表示されているコンテンツ(以下、単に「表示コンテンツ」という)に対するユーザの関心度に応じて、表示コンテンツの鮮明度又は開示度を変化させることを特徴とする。
図1は、本発明の実施の形態1における情報表示装置の外観図である。また、図2は、本発明の実施の形態1における情報表示装置の機能構成を示すブロック図である。
情報表示装置10は、ユーザ状態検出部11と、関心度推定部12と、表示制御部13と、表示部14とを備える。
ユーザ状態検出部11は、画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出する。具体的には、ユーザ状態検出部11は、例えば、脳波などの生体信号、ユーザの位置、速度、顔もしくは体の向き、視線方向、表情、発話内容、発話量、又は声の大きさなどをユーザ状態として検出する。
関心度推定部12は、ユーザ状態検出部11によって検出されたユーザ状態に基づいて、表示部14によって画面に表示されたコンテンツに対するユーザの関心度合いを示す関心度を推定する。
具体的には、例えば、関心度推定部12は、検出されたユーザの移動方向が、ユーザから画面を代表する位置へ向かう方向、又はユーザからコンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定する。つまり、関心度推定部12は、ユーザが画面又は表示コンテンツに向かって移動していれば関心度が高いと推定する。
ここで、画面を代表する位置とは、画面上の位置であって、例えば画面の中心位置(以下、単に「画面の中心」という)又は重心位置などである。また、コンテンツが表示されている位置とは、コンテンツが表示されている画面上の位置であって、当該コンテンツを代表する位置である。具体的には例えば、コンテンツが表示されている位置は、コンテンツが表示されている領域の中心位置(以下、単に「コンテンツの中心」という)あるいは重心位置などである。また例えば、コンテンツが表示されている位置は、コンテンツの一部が示す画像(例えば、広告対象商品の画像)が表示されている領域の中心位置あるいは重心位置であってもよい。
また、例えば、関心度推定部12は、検出されたユーザの移動速度が小さいほど、関心度が高いと推定する。つまり、ユーザが画面の前方でゆっくり移動していれば関心度が高いと推定する。
また、例えば、関心度推定部12は、検出されたユーザの位置とコンテンツが表示されている位置との距離が小さいほど関心度が高いと推定する。
また、例えば、関心度推定部12は、検出されたユーザの視線方向が、ユーザから画面を代表する位置へ向かう方向、又はユーザからコンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定する。つまり、関心度推定部12は、ユーザが画面又は表示コンテンツの方向を見ていれば関心度が高いと推定する。
また、関心度推定部12は、検出された生体信号、表情、発話内容、発話量、又は声の大きさ情報などに基づいて関心度を推定してもよい。
表示制御部13は、関心度推定部12によって推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、コンテンツを表示部14に表示させる。
具体的には、表示制御部13は、関心度の時間的な変化度合いを示す変化率の大きさa(t)を、式(1)に従って算出する。k(t)は、時刻tにおける関心度である。さらに、表示制御部13は、このように算出した変化率の大きさa(t)が第1閾値未満であるか否かを判定する。
ここで、変化率の大きさa(t)が第1閾値未満である場合、表示制御部13は、一部又は全部の鮮明度又は開示度が画面に表示されているコンテンツの鮮明度又は開示度よりも低い状態で、当該コンテンツを表示部14に表示させる。つまり、表示制御部13は、画面に表示されているコンテンツの少なくとも一部の鮮明度又は開示度を、例えば所定の時間だけ下げる。
Figure 2010070882
ここで、鮮明度とは、コンテンツの鮮明度合いを示す。つまり、鮮明度とは、コンテンツによって示される情報の鮮明さの度合いを示す。例えば、ぼかし効果又はモザイク効果などの映像効果がコンテンツに適用された場合、コンテンツの鮮明度は下がる。
また、開示度とは、コンテンツの開示度合いを示す。つまり、開示度とは、コンテンツによって示される情報が開示されている度合いを示す。例えば、コンテンツに含まれる画像とは異なる画像がコンテンツに含まれる画像の一部又は全部に重ねて配置されれば、コンテンツの開示度は下がる。
第1閾値は、例えば表示コンテンツに対するユーザの興味が低下するなどの理由により、コンテンツに対するユーザの関心度の変化が小さくなっていることを示す値である。
表示部14は、例えばプラズマディスプレイパネル(PDP:Plasma Display Panel)又は液晶パネル(Liquid Crystal Panel)などの画面を有し、当該画面にコンテンツを表示する。
図3は、鮮明度を説明するための図である。また図4は、開示度を説明するための図である。図3及び図4では、販売者「XXX Corporation」が販売する、ブランド名「ABCD」の商品「テレビ」を広告する画像を、画面に表示されるコンテンツの一例として説明する。
図3(a)は、鮮明度が下げられる前のコンテンツを示す。また、図3(b)は、コンテンツの一部である商品の外観を示す領域にモザイク処理が施されたコンテンツを示す。つまり、図3(b)は、図3(a)のコンテンツの鮮明度よりも低い状態で表示されたコンテンツを示す。
このように、表示制御部13は、コンテンツの一部にぼかし効果又はモザイク効果などの映像効果が適用されたコンテンツを画面に表示させることにより、コンテンツの一部の鮮明度を下げる。
図4(a)は、開示度が下げられる前のコンテンツを示す。また、図4(b)は、コンテンツの一部である商品の外観を示す領域に商品とは異なる画像が重ねられたコンテンツを示す。つまり、図4(b)は、図4(a)のコンテンツの開示度よりも低い状態で表示されたコンテンツを示す。
このように、表示制御部13は、コンテンツの一部の領域に元の画像とは異なる画像を重ねて表示させることにより、コンテンツの一部の開示度を下げる。
なお、表示制御部13は、元の画像からその画像とは異なる画像に自然に変形させるモーフィングにより、コンテンツの一部の開示度を下げてもよい。
また、図3及び図4では、コンテンツの一部について鮮明度又は開示度を下げることについて説明したが、表示制御部13は、コンテンツの全部について鮮明度又は開示度を下げてもよい。
なお、表示制御部13は、ユーザに見せようとしている情報である本質情報を示す部分の鮮明度又は開示度を下げることが好ましい。これにより、情報表示装置10は、本質情報が表示される領域の鮮明度又は開示度を低くすることができ、じらし効果によって、よりユーザの注目を集めることができる。その結果、情報表示装置10は、ユーザの関心を効率的に高めることができるとともに、ユーザに見せようとしている情報をユーザに強く印象づけることができる。
次に、以上のように構成された情報表示装置10における各種動作について説明する。
図5は、本発明の実施の形態1における情報表示装置が実行する処理の流れを示すフローチャートである。
まず、表示部14は、画面にコンテンツを表示する(S100)。次に、ユーザ状態検出部11は、ユーザ状態を検出する(S101)。続いて、関心度推定部12は、検出されたユーザ状態に基づいて関心度を推定する(S102)。さらに、表示制御部13は、関心度の変化率の大きさを算出する(S104)。そして、表示制御部13は、関心度の変化率の大きさが第1閾値未満であるか否かを判定する(S106)。
ここで、関心度の変化率の大きさが第1閾値未満である場合(S106のYes)、表示制御部13は、画面に表示されたコンテンツの少なくとも一部の鮮明度又は開示度を下げ(S108)、処理を終了する。つまり、表示制御部13は、ユーザの関心度に応じて、少なくとも一部の鮮明度又は開示度が画面に表示されたコンテンツの鮮明度又は開示度よりも低い状態で、コンテンツを画面に表示する。一方、関心度の変化率の大きさが第1閾値以上である場合(S106のNo)、処理を終了する。
このようなステップS100からステップS108までの処理を実行することにより、情報表示装置10は、ユーザの関心度に応じて、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、コンテンツを画面に表示することができる。なお、情報表示装置10は、ステップS101からステップS108までの処理を繰り返し実行してもよい。
以上のように、本実施の形態における情報表示装置10は、表示されたコンテンツに対するユーザの関心度の変化率の大きさに応じて、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態でコンテンツを表示することができる。その結果、情報表示装置10は、じらし効果によってユーザの注目を引くことができるので、ユーザの関心を効率的に高めることができる。
なお、本実施の形態において、表示制御部13は、関心度の変化率の大きさが単に第1閾値未満である場合に、コンテンツを鮮明度又は開示度が低い状態で表示部14に表示させていたが、これとは異なる場合であってもよい。例えば、表示制御部13は、関心度の変化率の大きさが第1閾値未満である状態が所定時間継続した場合に、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、コンテンツを表示部14に表示させてもよい。これにより、情報表示装置10は、ユーザの関心度の変化率の大きさが一時的に小さくなったことに反応して、必要以上にコンテンツの鮮明度又は開示度を変更することを低減させることができる。
(実施の形態1の変形例1)
実施の形態1の変形例1における情報表示装置10は、ユーザの関心度の変化率の大きさが小さいときに、現在画面に表示されているコンテンツとは異なるコンテンツを画面に表示する点が、実施の形態1における情報表示装置10と異なる。以下、実施の形態1と異なる点を中心に、本変形例について、図面を参照しながら説明する。
図2に示した実施の形態1における情報表示装置10と同様に、本変形例における情報表示装置10も、ユーザ状態検出部11と、関心度推定部12と、表示制御部13と、表示部14とを備える。なお、ユーザ状態検出部11と関心度推定部12と表示部14とは、実施の形態1と同様であるので、説明を省略する。
本変形例における表示制御部13は、関心度推定部12によって推定された関心度の変化率の大きさが第1閾値未満である場合、画面に表示されているコンテンツとは異なるコンテンツを、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で表示部14に表示させる。
ここで、予め定められた鮮明度又は開示度は、例えば、コンテンツ本来の鮮明度又は開示度である。つまり、予め定められた鮮明度又は開示度は、典型的には、鮮明度又は開示度を下げるための映像効果が適用されていない、又は鮮明度又は開示度を下げるための画像処理が施されていないコンテンツの鮮明度又は開示度である。
次に、以上のように構成された、本変形例における情報表示装置10における各種動作について説明する。
図6は、本発明の実施の形態1の変形例1における情報表示装置が実行する処理の流れを示すフローチャートである。なお、図6において、図5と同一の処理については、同一の符号を付し、説明を省略する。
関心度の変化率の大きさが第1閾値未満である場合(S106のYes)、表示制御部13は、画面に表示されているコンテンツとは異なるコンテンツを、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で表示部14に表示させ(S112)、処理を終了する。つまり、表示制御部13は、少なくとも一部の鮮明度又は開示度が予め下げられたコンテンツであって画面に表示されているコンテンツとは異なるコンテンツを表示部14に表示させる。
以上のように、本変形例における情報表示装置10は、コンテンツを新たに表示するときに鮮明度又は開示度を下げた状態で表示することができるので、じらし効果によってユーザの関心を効率的に高めることができる。
(実施の形態1の変形例2)
一律に所定の期間だけ鮮明度又は開示度を下げた場合、ユーザをじらす期間が長くなりすぎ、かえってユーザの関心を下げてしまうという問題がある。そこで、実施の形態1の変形例2における情報表示装置10は、コンテンツの鮮明度又は開示度を上げるタイミングをユーザの関心度に応じて動的に決定することを特徴とする。以下、実施の形態1と異なる点を中心に、本変形例について、図面を参照しながら説明する。
図2に示した実施の形態1における情報表示装置10と同様に、本変形例における情報表示装置10も、ユーザ状態検出部11と、関心度推定部12と、表示制御部13と、表示部14を備える。なお、ユーザ状態検出部11と関心度推定部12と表示部14とは、実施の形態1と同様であるので、説明を省略する。
本変形例における表示制御部13は、ユーザの関心度に基づいて、画面に表示されたコンテンツの鮮明度又は開示度を上げる。
具体的には、表示制御部13は、例えば、関心度推定部12によって推定された関心度の変化率の大きさが第2閾値を超えたときに、画面に表示されたコンテンツの鮮明度又は開示度を上げる。第2閾値は、コンテンツの鮮明度又は開示度を下げたことによりユーザの関心度の変化率が大きくなったことを示す値である。なお、第2閾値は、第1閾値以上であることが好ましい。
また、例えば、表示制御部13は、関心度推定部12によって推定された関心度が第3閾値を超えたときに、画面に表示されたコンテンツの鮮明度又は開示度を上げてもよい。第3閾値は、コンテンツの鮮明度又は開示度を下げたことによりユーザの関心度が上がったことを示す値である。
次に、以上のように構成された、本変形例における情報表示装置10における各種動作について説明する。
図7は、本発明の実施の形態1の変形例2における情報表示装置が実行する処理の流れを示すフローチャートである。なお、図7において、図5と同一の処理については、同一の符号を付し、説明を省略する。
関心度の変化率の大きさが算出された後、表示制御部13は、画面に表示されているコンテンツの鮮明度又は開示度がすでに下げられているか否かを判定する(S122)。つまり、表示制御部13は、画面に表示されているコンテンツが、あらかじめ定められた鮮明度又は開示度よりも鮮明度又は開示度が低い状態で画面に表示されているか否かを判定する。
ここで、鮮明度又は開示度がまだ下げられていない場合(S122のNo)、情報表示装置10は、ステップS106〜ステップS108の処理を実行し、ステップS101の処理に戻る。
一方、鮮明度又は開示度が下げられている場合(S122のYes)、表示制御部13は、ユーザの関心度に基づいて、コンテンツの鮮明度又は開示度を上げるか否かを判定する(S124)。
ここで、コンテンツの鮮明度又は開示度を上げると判定された場合(S124のYes)、表示制御部13は、画面に表示されたコンテンツの鮮明度又は開示度を上げ(S126)、ステップS101の処理に戻る。一方、鮮明度又は開示度を上げないと判定された場合(S124のNo)、ステップS101の処理に戻る。
以上のように、本変形例における情報表示装置10は、ユーザの関心度の変化率の大きさ又は関心度の大きさなどに応じて、画面に表示されたコンテンツの鮮明度又は開示度を動的に上げることができる。したがって、情報表示装置10は、ユーザ状態に応じて動的に、コンテンツが示す情報をユーザに開示することができる。その結果、情報表示装置10は、ユーザの関心をさらに効率的に高めることができるとともに、コンテンツが示す情報をユーザに強く印象づけることができる。
(実施の形態2)
次に、本発明の実施の形態2について、図面を用いて詳細に説明する。
本発明の実施の形態2における情報表示装置20は、画面の前方に位置するユーザの中からターゲットユーザを選定する点が実施の形態1における情報表示装置10と主として異なる。
図8は、本発明の実施の形態2における情報表示装置の機能構成を示すブロック図である。
図8に示すように、情報表示装置20は、ユーザ検出カメラ60から画像情報を得るユーザ識別部21と、ユーザ状態検出部22と、関心度推定部23と、ターゲットユーザ選定部24と、コンテンツデータベース25と、表示制御部26と、表示部27とを備える。
ユーザ検出カメラ60は、表示部27の画面の周囲に少なくとも2台設置される。つまり、ユーザ検出カメラ60は、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとを含む。そして、ユーザ検出カメラ60は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサと光学系とを備える。
また、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとは、画面の前方に存在するユーザを同時に撮影する。そして、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとは、撮影した画像を示す画像情報をユーザ識別部21及びユーザ状態検出部22へ出力する。
ユーザ識別部21は、ユーザ検出カメラ60から得た画像情報が示す画像において顔領域の抽出を行う。そして、ユーザ識別部21は、抽出した顔領域ごとに、当該顔領域の特徴を示す情報であってユーザを特定するための情報であるユーザ識別情報を出力する。
ユーザ状態検出部22は、画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出する。
具体的には、ユーザ状態検出部22は、第1のユーザ検出カメラ60a及び第2のユーザ検出カメラ60bによって撮影された画像間におけるユーザが写っている領域(以下、単に「ユーザ領域」という)の対応関係を利用して、ユーザと画面との相対位置をユーザ状態としてユーザごとに算出する。すなわち、ユーザ状態検出部22は、ステレオ視による視差を利用して、ユーザの位置をユーザ状態としてユーザごとに検出する。さらに、ユーザ状態検出部22は、検出されたユーザの位置の時間変化に基づいて、ユーザの移動ベクトル(ユーザの移動方向及びユーザの移動速度)を検出する。
図9A及び図9Bは、本発明の実施の形態2におけるユーザ位置算出方法を説明するための図である。
図9Aに示すように、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとが互いに間隔Bだけ離れて、情報表示装置20の画面に対して平行に設置される。具体的には、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとは、各ユーザ検出カメラの光軸が互いに平行に間隔Bだけ離れて画面と垂直になるように設置され、かつ、各ユーザ検出カメラの光学中心が画面を含む平面上に配置されるように設置される。
そして、ユーザ状態検出部22は、それぞれのユーザ検出カメラ60で撮影された画像内のユーザ領域を抽出する。そして、ユーザ状態検出部22は、画像間の対応するユーザ領域の位置のずれに基づいて、ユーザと情報表示装置20の画面との距離Dを算出する。具体的には、ユーザ状態検出部22は、例えば、ユーザのいない状態でそれぞれのユーザ検出カメラ60によってあらかじめ撮影された画像を保存しておき、ユーザが撮影範囲(ユーザ検出可能領域)に現れたときに撮影された画像と保存した画像との差分を求めることによりユーザ領域を抽出する。また、ユーザ状態検出部22は、顔画像の検出及び顔画像の照合により得られるユーザの顔領域をユーザ領域として抽出することもできる。
図9Bは、2つの画像上の対応するユーザ領域の位置関係を基にユーザとカメラ設置面(情報表示装置20の画面)との距離Dを求めるための、ステレオ視による測距原理を示した図である。位置測定対象であるユーザの像は第1のユーザ検出カメラ60a及び第2のユーザ検出カメラ60bそれぞれのイメージセンサの撮影面に図9Bに示すようにそれぞれ投影される。このように投影された位置測定対象の像の画像上のずれをZと表したとき、ユーザ状態検出部22は、カメラの焦点距離fとカメラの光軸間の距離Bとを用いて、ユーザと情報表示装置20の画面との距離Dを式(2)のように算出することができる。
Figure 2010070882
また、ユーザ状態検出部22は、情報表示装置20の画面に平行な方向のユーザ位置については、画像中のユーザ領域の位置と式(2)により算出された距離Dとを基に求めることができる。ユーザ状態検出部22は、このように情報表示装置20に対するユーザの相対的な位置を算出し出力する。
さらに、ユーザ状態検出部22は、このように算出された位置の時間的な変化に基づいて、ユーザの移動ベクトルを算出する。具体的には、ユーザ状態検出部22は、算出したユーザの位置をユーザごとに保持し、保持したユーザの位置を用いて、ユーザの移動ベクトルをユーザごとに算出する。
なお、ユーザ状態検出部22は、必ずしもステレオ視差に基づいてユーザの位置を算出する必要はない。例えば、ユーザ状態検出部22は、光波測距(Time of Flight)の原理により得られる距離情報から、ユーザと情報表示装置20との相対位置を算出してもよい。この場合、ユーザ検出カメラ60は、光波測距の原理を利用して距離情報を出力する距離画像センサを備え、少なくとも1台設置される。
また、情報表示装置20の画面前方の床面に設置された床圧力センサから、ユーザ状態検出部22は、情報表示装置20に対するユーザの相対位置を取得してもよい。この場合、ユーザ検出カメラ60は設置される必要がない。
関心度推定部23は、ユーザ状態検出部22が出力するユーザの位置等に基づいて、表示コンテンツに対するユーザの関心度をユーザ識別情報によって特定されるユーザごとに推定する。関心度の算出方法については、後述する。
ターゲットユーザ選定部24は、関心度推定部23が出力する各ユーザの関心度に基づいて、ターゲットユーザを選定する。例えば、ターゲットユーザ選定部24は、表示コンテンツに対する関心度が、表示コンテンツごとにあらかじめ定められた第4閾値以上である場合、当該関心度に対応するユーザをターゲットユーザとして選定する。第4閾値は、ユーザが表示コンテンツに対してある程度関心を示していることを示す値である。つまり、第4閾値は、コンテンツの鮮明度又は開示度を下げることにより、さらに関心度を高めることが期待されるユーザを選定するための値である。
なお、ターゲットユーザ選定部24は、ユーザの位置と表示コンテンツの中心との距離が表示コンテンツごとにあらかじめ定められた第5閾値未満である場合、当該ユーザをターゲットユーザとして選定してもよい。第5閾値は、ユーザが表示コンテンツに対してある程度関心を示していることを示す距離である。つまり、第5閾値は、コンテンツの鮮明度又は開示度を下げることにより、さらに関心度を高めることが期待されるユーザを選定するための距離である。
コンテンツデータベース25は、ユーザの関心度の水準を示す関心度レベルごとに、コンテンツと、当該コンテンツに対して適用される映像効果の種類及び適用領域とを記憶しているデータベースである。
図10は、本発明の実施の形態2におけるコンテンツデータベースの一例を示す図である。図10に示すように、コンテンツデータベース25には、関心度レベルごとに、コンテンツと映像効果及び適用領域とが関連付けられて格納されている。なお、図10では、コンテンツデータベース25に格納されたコンテンツが商品名又はブランド名「ABCD」の商品「テレビ」の広告に関するコンテンツである場合を一例として説明する。
関心度レベル「1」のコンテンツは、商品「テレビ」のイメージキャラクターが大きく描かれたコンテンツである。また、関心度レベル「2」のコンテンツは、イメージキャラクターが関心度レベル「1」よりも少し小さく描かれ、その代わりに商品の画像が左上方に描かれたコンテンツである。また、関心度レベル「3」のコンテンツは、商品のラインナップが示されたコンテンツである。このように、ユーザの関心度が高くなるにつれて、商品の詳細な情報を提示するコンテンツが格納されることにより、情報表示装置20は、ユーザの関心度が高まるにつれて、より詳細な情報を示し、広告にユーザの関心を引きつけることができる。
映像効果は、コンテンツの鮮明度又は開示度を下げるためにコンテンツに適用される効果である。例えば、映像効果は、コンテンツを隠す「hiding」、又はコンテンツをぼかす「blur」などの効果である。「blur(30)」とは、ぼかし効果の強度が「30」であることを示している。つまり、「blur(75)」は、「blur(30)」よりも強くぼかす効果であることを示す。このように、コンテンツデータベース25には、映像効果の種類に加えて、映像効果の強度もあわせて格納されることが好ましい。
適用領域は、コンテンツの全体「all」であってもよいし、コンテンツの一部の領域であってもよい。例えば、「rectangle(20、50、500、300)」は、座標(20、50)が一の頂点であり、座標(500、300)が当該一の頂点の対角に位置する頂点である長方形領域を示す。具体的には図11に示すように、「rectangle(20、50、500、300)」は、表示コンテンツの左上を座標原点とした座標系において、座標値x=20、y=50の点を左上の頂点、x=500、y=300の点を右下の頂点とする長方形領域を示す。
表示コンテンツが商品の広告の場合には、鮮明度又は開示度を下げるための映像効果を適用する適用領域が商品名あるいは商品のキャラクターなど商品の訴求に重要な情報を示す領域であれば、ユーザに対して一種のじらし効果が期待でき、情報表示装置20は、ユーザの注意を引くことができる。つまり、適用領域が本質情報を示す領域であれば、じらし効果によりユーザの関心を高めることができる。逆に、適用領域が鮮明度又は開示度を下げるための映像効果を重要な情報を示す領域以外の領域であっても、情報表示装置20は、重要な情報だけを鮮明に見せて、全体が分からないようにすることができ、ユーザの注意を引くことができる。
表示制御部26は、関心度推定部23によって推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、表示されているコンテンツとは異なるコンテンツを表示部27に表示させる。また、表示制御部26は、アプリケーション制御部26aと画面描画部26bとを有する。
アプリケーション制御部26aは、表示部27の画面の描画内容の更新を行う場合に、その描画内容の更新に関する情報である更新情報を画面描画部26bに出力する。
画面描画部26bは、更新情報に基づいて表示部27に表示するコンテンツを描画し、描画されたコンテンツを表示部27へ出力する。
表示部27は、画面を有し、画面描画部26bによって描画されたコンテンツを画面に表示する。
次に、以上のように構成された情報表示装置20における各種動作について説明する。特に、複数のユーザが情報表示装置20の前方にいる状況を例に、情報表示装置20の各種動作について説明する。
図12は、本発明の実施の形態2における情報表示装置が行う処理の流れを示すフローチャートである。図13は、本発明の実施の形態2における関心度の算出方法を説明するための図である。図14A及び図14Bは、本発明の実施の形態2におけるターゲットユーザの選定方法を説明するための図である。
まず、ユーザ識別部21は、ユーザ検出カメラ60によって撮影された画像から顔領域を抽出することにより、ユーザを特定するためのユーザ識別情報を生成する(S202)。
そして、ユーザ状態検出部22は、ユーザ検出カメラ60によって撮影された画像からユーザ領域を抽出し、抽出されたユーザ領域ごとにユーザ状態を検出する(S204)。具体的には、ユーザ状態検出部22は、ユーザ領域ごとにユーザの位置を算出する。さらに、ユーザ状態検出部22は、算出したユーザの位置の時間的変化に基づいて、ユーザの移動ベクトルを算出する。
そして、関心度推定部23は、ユーザの移動ベクトル
Figure 2010070882
と、ユーザの移動ベクトル
Figure 2010070882
と画面との交点から表示コンテンツの中心までの距離sと、ユーザの位置と表示コンテンツの中心との距離dと、を用いて、表示コンテンツに対するユーザの関心度kを式(3)に従って算出する(S206)。
Figure 2010070882
ここで、g1、g2及びg3は、ゲインであり、0以上の実数である。
式(3)の右辺の第1項は、ユーザの移動方向に関する項であり、表示コンテンツに近づくようにユーザが移動するほど関心度が大きくなるようにするための項である。
図13において実線で表された移動ベクトルは、その移動ベクトルを移動方向に延長すれば画面あるいは画面を延長した面と交差するベクトルを示す。一方、図13において点線で表された移動ベクトルは、その移動ベクトルを移動方向に延長しても画面及び画面を延長した面と交差することがないベクトルを示す。
ユーザの移動ベクトル
Figure 2010070882
と画面との交点から表示コンテンツの中心までの距離sは、ユーザが表示コンテンツに向かって移動しているほど小さい値となり、第1項は大きな値となる。したがって、この第1項により、ユーザの移動方向が表示コンテンツの中心に向かっているほど関心度が大きくなる。
なお、ユーザの移動ベクトル
Figure 2010070882
と画面との交点から表示コンテンツの中心までの距離sは、図13ではユーザA及びユーザCについてのみ図示されているが、他のユーザの距離sもユーザA及びユーザCと同様に算出される。また、ユーザBのように、移動ベクトルを移動方向に延長しても画面および画面を延長した面と交差することがないユーザの距離sは、無限大(∞)となり、第1項は、g1の値にかかわらず0となる。
また、図13において、距離sは、ユーザの移動ベクトルと画面との交点から表示コンテンツの中心までの距離であるが、ユーザの移動ベクトルと画面との交点から画面の中心までの距離であってもよい。この場合、関心度は、画面の中心に近づくようにユーザが移動するほど大きくなる。また、距離sは、ユーザの移動ベクトルと画面との交点から表示コンテンツの一部が示す画像の中心までの距離であってもよい。この場合、関心度は、表示コンテンツの一部が示す画像の中心に近づくようにユーザが移動するほど大きくなる。
式(3)の右辺の第2項は、ユーザの速度に関する項であり、ユーザがゆっくり移動するほど関心度が大きくなるようにするための項である。
式(3)の右辺の第3項は、ユーザの位置と表示コンテンツの中心との距離に関する項であり、ユーザの位置が表示コンテンツの位置に近いほど関心度が大きくなるようにするための項である。
次に、ターゲットユーザ選定部24は、ターゲットユーザを選定する(S208)。具体的には、ターゲットユーザ選定部24は、例えば、関心度kがあらかじめ定められた第4閾値kTH以上であるユーザをターゲットユーザと選定する。例えば図14Aにおいて、第4閾値kTHが「0.4」と設定されている場合、ターゲットユーザ選定部24は、関心度が「0.7」である「ユーザA」と関心度が「0.4」である「ユーザD」とをターゲットユーザとして選定する。
なお、ターゲットユーザ選定部24は、表示コンテンツの中心からの距離dがあらかじめ定められた第5閾値未満であるユーザをターゲットユーザとして選定してもよい。この場合、例えば図14Bにおいて、ターゲットユーザ選定部24は、表示コンテンツの中心からの距離dが第5閾値dt未満である「ユーザA」と「ユーザB」とをターゲットユーザとして選定する。
次に、表示制御部26は、ターゲットユーザについて、関心度の変化率の大きさの平均値を算出する(S210)。具体的には、表示制御部26は、現在時刻tにおいて、所定の時間間隔Δtにおける各ターゲットユーザの関心度の変化率の大きさを算出する。例えば、ステップS208において「ユーザA」と「ユーザB」とがターゲットユーザとして選定された場合、表示制御部26は、図15及び式(4)に示すように、「ユーザA」の関心度の変化率の大きさa_A(t)と「ユーザB」の関心度の変化率の大きさa_B(t)とを、算出された「ユーザA」の関心度k_aと「ユーザB」の関心度k_bとを用いて算出する。
Figure 2010070882
そして、表示制御部26は、このように算出されたユーザAとユーザBとの各々の関心度の変化率の大きさ(a_Aとa_B)の平均値を、ターゲットユーザの関心度の変化率の大きさの平均値a_allとして算出する。
次に、表示制御部26は、表示部27に表示されているコンテンツの少なくとも一部の鮮明度又は開示度が、予め定められた鮮明度又は開示度よりも低いか否かを判定する(S212)。
ここで、鮮明度又は開示度が予め定められた鮮明度又は開示度よりも高い場合(S212のNo)、表示制御部26は、関心度の変化率の大きさの平均値a_allが第1閾値を下回った状態が所定時間以上に継続しているか否かを判定する(S214)。
ここで、関心度の変化率の大きさの平均値a_allが第1閾値を下回った状態が所定時間以上に継続していない場合(S214のNo)、処理を終了する。一方、関心度の変化率の大きさの平均値a_allが第1閾値を下回った状態が所定時間以上に継続している場合(S214のYes)、表示制御部26は、算出された関心度に応じたコンテンツを、少なくとも一部の鮮明度又は開示度があらかじめ定められた鮮明度又は開示度よりも低い状態で表示する(S216)。具体的には、表示制御部26は、コンテンツデータベース25を参照することにより、算出された関心度に応じたコンテンツ及び映像効果を取得する。そして、表示制御部26は、取得したコンテンツを表示部27に表示するとともに、当該コンテンツに取得した映像効果を適用する。なお、関心度の変化率の大きさの平均値a_allが第1閾値を下回った状態が所定時間以上に継続している場合にコンテンツの鮮明度又は開示度を下げるのは、ユーザの関心度を引き上げる効果が高い(関心度を引き上げるべき)状況であるからである。
一方、鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い場合(S212のYes)、表示制御部26は、鮮明度又は開示度を上げるべきか否かを判定する(S218)。具体的には、例えば、表示制御部26は、関心度推定部23によって推定された関心度の変化率の大きさが第2閾値を超えるか否かに応じて、鮮明度又は開示度を上げるべきか否かを判定する。または、表示制御部26は、例えば、関心度推定部23によって推定された関心度が第3閾値を超えるか否かに応じて、鮮明度又は開示度を上げるべきか否かを判定する。
ここで、鮮明度又は開示度を上げるべきと判定された場合(S218のYes)、表示制御部26は、表示コンテンツの鮮明度又は開示度を上げ(S220)、処理を終了する。具体的には、表示制御部26は、画面に表示されているコンテンツに適用された映像効果を外す。一方、鮮明度又は開示度を上げるべきでないと判定された場合(S218のNo)、処理を終了する。
このようなステップS202からステップS220までの処理を実行することにより、情報表示装置20は、ターゲットユーザの関心度に応じて、コンテンツの少なくとも一部の鮮明度又は開示度を変化させることができる。なお、情報表示装置20は、ステップS202からステップS220までの処理を繰り返し実行してもよい。
以下に、図12に示す処理の流れを、図16を用いてさらに具体的に説明する。
図16は、本発明の実施の形態2における情報表示装置の動作の具体例を示す図である。図16では、画面の一部に商品「テレビ」の広告が表示されている。なお、情報表示装置20は、「ユーザA」の関心度に応じて、図10に示すコンテンツデータベース25に格納されたコンテンツを画面に表示する。例えば、図16(a)では、「ユーザA」の関心度が0〜k1の範囲にあるので、関心度レベル「1」のコンテンツが表示されている。
図16(a)に示す状況は、ターゲットユーザの関心度が順調に高まった後に、関心度の高まりが鈍った状況である。すなわち、図16(a)に示す状況は、ターゲットユーザの関心度の変化率が小さく、関心度の変化が安定した状況である。このような状況は、ターゲットユーザの表示コンテンツに対する関心がある程度高まったが、さらに関心が高まるほどの状況ではないことを示す。つまり、ターゲットユーザは、表示コンテンツによって提示された情報が、さらに関心を高めるほどの情報ではないと判断したと考えられる。このような状況では、表示コンテンツ(広告)の全体あるいは一部に映像効果を加えることで、ユーザに新たな刺激を与え、表示コンテンツ(広告)にさらなる関心を引きつけることができる。
図16(a)では、ターゲットユーザの関心度の変化率の大きさが第1閾値pcを所定時間継続して下回っているので、表示制御部26は、図16(b)に示すように、一部又は全部の鮮明度又は開示度があらかじめ定められた鮮明度又は開示度よりも低い状態で、コンテンツデータベース25に格納されたコンテンツを表示する。具体的には、表示制御部26は、現在の関心度レベルよりも1つ上の関心度レベルである関心度レベル「2」のコンテンツに表示コンテンツを切替え、さらに映像効果「hiding(20)」を表示コンテンツの適用領域「rectangle(20、50、500、300)」に適用する。その結果、表示コンテンツの商品「テレビ」が表示されている部分の開示度が下がるので、ユーザは、視認性が悪くなった当該部分に注目する。
そして、表示制御部26は、関心度の変化率の大きさが第2閾値pc2を超えたときに、図16(c)に示すように下げられた開示度を上げる。つまり、表示制御部26は、コンテンツに適用された映像効果を外す。なお、表示制御部26は、例えば、関心度がk1を超えたときに、コンテンツの開示度を上げてもよい。
図16(c)では、関心度がk1〜k2の範囲にあり、図16(a)と同様に、ターゲットユーザの関心度の変化率の大きさが閾値pcを所定時間継続して下回っている。そこで、表示制御部26は、図16(d)のように関心度レベル「3」のコンテンツに表示コンテンツを切替えるとともに、コンテンツの適用領域「all」に適用効果「blur(30)」を適用する。その結果、表示コンテンツの全体が一時的にぼかされ、鮮明度が下がるので、ユーザは、当該表示コンテンツに対してあらためて注目を注ぐことになる。
なお、図16の例では、図16(a)から図16(b)において、表示制御部26は、「ユーザA」が画面又は表示コンテンツに近づくにつれて、表示コンテンツ(広告)の表示領域の大きさを小さくしている。これにより、「ユーザA」は、表示コンテンツ全体を見やすくなり、表示コンテンツに対する「ユーザA」の関心が高められる。
このように、表示制御部26は、ターゲットユーザの少なくとも1人の位置に応じて、コンテンツが表示される画面の領域の位置又は大きさを制御することが好ましい。具体的には、表示制御部26は、例えば、ターゲットユーザの少なくとも1人の位置がコンテンツの表示されている位置に近いほど、コンテンツが表示される領域の大きさが小さくなるようにコンテンツを表示することが好ましい。また、例えば、表示制御部26は、例えば、ターゲットユーザの少なくとも1人の位置がコンテンツの表示されている位置に近いほど、コンテンツが表示される領域の位置がユーザに近づくようにコンテンツを表示することが好ましい。
以上のように、本実施の形態における情報表示装置20は、画面の前方に位置するユーザの中から選定されたターゲットユーザのユーザ状態に応じて、コンテンツの鮮明度又は開示度を変更することができ、ターゲットユーザとして選定されたユーザの関心を効率的に高めることができる。
また、情報表示装置20は、じらし効果によって注目を引くことができる可能性の高いユーザをターゲットユーザとして選定することができ、ユーザの関心を効率的に高めることができる。
なお、映像効果は、上記で例示したものに限られない。表示コンテンツの鮮明度又は開示度を下げてユーザを一時的にじらす効果があれば、他の映像効果であってもよい。例えば、映像効果は、ユーザの注意を引きやすいサインあるいは素材を利用した効果であってもよい。
なお、本実施の形態において、表示コンテンツの一例として広告に関するコンテンツを用いて説明したが、本発明の一態様における情報表示装置は、必ずしも広告に関するコンテンツを表示する必要はない。情報表示装置は、ユーザの関心を高めることで効果がある他のコンテンツを表示してもよい。
また、本実施の形態において、コンテンツは、画面の一部の領域に表示されていたが、図17Aに示すように、コンテンツは、画面全体に表示されてもよい。また、本実施の形態において、1つのコンテンツが画面に表示されていたが、図17Bに示すように2以上のコンテンツ(表示コンテンツA及び表示コンテンツB)が画面に表示されてもよい。この場合、情報表示装置20は、図12に示した処理をコンテンツごとに実行することが好ましい。
また、本実施の形態において、関心度推定部23は、ユーザの移動方向、移動速度、及び位置のすべてを用いて、関心度を推定していたが、ユーザの移動方向、移動速度、及び位置の少なくとも1つを用いて関心度を推定すればよい。例えば、式(3)において、ゲインg1とゲインg2とを0にすれば、関心度推定部23は、ユーザの位置と表示コンテンツの中心との距離のみに基づいて関心度kを算出することができる。
(実施の形態2の変形例)
実施の形態2の変形例における情報表示装置20は、さらにユーザの視線方向を用いて関心度を推定する点が、実施の形態2における情報表示装置20と異なる。以下、実施の形態2と異なる点を中心に、本変形例について、図面を参照しながら説明する。
図8に示した実施の形態2における情報表示装置20と同様に、本変形例における情報表示装置20は、ユーザ識別部21と、ユーザ状態検出部22と、関心度推定部23と、ターゲットユーザ選定部24と、コンテンツデータベース25と、表示制御部26と、表示部27とを備える。なお、ユーザ状態検出部22及び関心度推定部23以外の構成要素は、実施の形態2と同様であるので、説明を省略する。
ユーザ状態検出部22は、さらに、ユーザの視線方向をユーザ状態として検出する。具体的な視線方向の検出方法については後述する。
関心度推定部23は、検出されたユーザの視線方向が、ユーザから画面を代表する位置へ向かう方向、又はユーザからコンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定する。具体的には、関心度推定部23は、式(3)の右辺に、さらにユーザの視線方向に関する第4項を加えた式(5)を用いて関心度を算出する。式(5)の第4項は、ユーザの視線方向の単位ベクトルである視線方向ベクトル
Figure 2010070882
と画面との交点から表示コンテンツの中心までの距離tに1を加算した値の逆数であり、ユーザが表示コンテンツの中心の方向を見るほど大きな値となる。
Figure 2010070882
ここで、g4は、g1、g2及びg3と同様に、ゲインであり、0以上の実数である。
なお、距離tは、視線方向ベクトルと画面との交点から表示コンテンツの中心までの距離ではなく、視線方向ベクトルと画面との交点から画面の中心までの距離であってもよい。この場合、関心度は、ユーザが画面の中心の方向を見るほど大きくなる。また、距離tは、視線方向ベクトルと画面との交点から表示コンテンツの一部が示す画像の中心までの距離であってもよい。この場合、関心度は、ユーザが表示コンテンツの一部が示す画像の中心の方向を見るほど大きくなる。
次に、ユーザ状態検出部22による視線方向の検出方法について、図18を用いて説明する。
図18は、本発明の実施の形態2の変形例における視線方向の検出に関する処理の流れを示すフローチャートである。つまり、図18は、ユーザ状態検出部22によるユーザ状態の検出処理(図12のステップS204)の一部を示す。
図18に示すように、ユーザ状態検出部22は、ユーザの顔の向きを検出する処理(S510)の結果と、顔の向きに対する相対的な視線方向である相対視線方向を検出する処理(S530)の結果とに基づいて、視線方向を検出する(S550)。
そこでまず、ユーザの顔の向きを検出する処理(S510)について以下に説明する。
まず、ユーザ状態検出部22は、ユーザ検出カメラ60によって撮影された、画面の前方に存在するユーザの画像から顔領域の検出を行う(S512)。次に、ユーザ状態検出部22は、検出された顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す(S514)。
そして、ユーザ状態検出部22は、切り出された領域画像と、あらかじめ保持されたテンプレート画像との相関度を計算する(S516)。続いて、ユーザ状態検出部22は、各基準顔向きが示す角度を、計算された相関度に応じて重み付けして加算した重み付け和を求め、これを検出した顔領域に対応するユーザの顔の向きとして検出する(S518)。
以上のように、ユーザ状態検出部22は、ステップS512〜ステップS518の処理を実行することにより、ユーザの顔の向きを検出する。
次に、相対視線方向を検出する処理(S530)について説明する。
まず、ユーザ状態検出部22は、ユーザ検出カメラ60によって撮影された画像を用いて、ユーザの左右の目頭の3次元位置を検出する(S532)。続いて、ユーザ状態検出部22は、ユーザ検出カメラ60によって撮影された画像を用いて、ユーザの左右の黒目中心の3次元位置を検出する(S534)。そして、ユーザ状態検出部22は、左右の目頭の3次元位置から得られる視線方向基準面と左右の黒目中心の3次元位置とを用いて、相対視線方向を検出する(S536)。
以上のように、ユーザ状態検出部22は、ステップS532〜ステップS536の処理を実行することにより、相対視線方向を検出する。
そして、ユーザ状態検出部22は、上記のように検出された、ユーザの顔の向きと相対視線方向とを用いて、ユーザの視線方向を検出する。
次に、図19〜図21Bを用いて視線方向の検出処理の詳細を説明する。
図19は、本発明の実施の形態2の変形例におけるユーザの顔の向きを検出する処理を説明するための図である。
まず、ユーザ状態検出部22は、図19(a)に示すように、各基準顔向きに対応した顔部品特徴点の領域を記憶している顔部品領域DBから、顔部品特徴点の領域を読み出す。続いて、ユーザ状態検出部22は、図19(b)に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。
そして、ユーザ状態検出部22は、図19(c)に示すように、切り出された領域画像と、顔部品領域テンプレートDBに保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、ユーザ状態検出部22は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、ユーザ状態検出部22は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。
続いて、ユーザ状態検出部22は、図19(d)に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔の向きとして検出する。図19(d)の例では、基準顔向き+20度に対する重みが「0.85」、0度に対する重みが「0.14」、−20度に対する重みが「0.01」であるので、ユーザ状態検出部22は、顔の向きを16.8度(=20×0.85+0×0.14+(−20)×0.01)と検出する。
なお、本変形例では、ユーザ状態検出部22は、顔部品特徴点の領域画像を対象として相関度を計算したが、必ずしも顔部品特徴点の領域画像を対象とする必要はない。例えば、ユーザ状態検出部22は、顔領域全体の画像を対象として相関度を計算してもよい。
また、顔の向きを検出するその他の方法としては、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔の向きを計算する方法がある。顔部品特徴点の位置関係から顔向きを計算する方法としては、1つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の3次元モデルを回転・拡大縮小してマッチングし、得られた3次元モデルの回転量から顔向きを計算する方法がある。また、顔部品特徴点の位置関係から顔向きを計算する他の方法として、2台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の3次元位置を計算し、得られた顔部品特徴点の位置関係から顔の向きを計算する方法がある。具体的には例えば、両目及び口の3次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。
次に、相対視線方向を検出する方法について、図20、図21A及び図21Bを用いて説明する。本変形例では、ユーザ状態検出部22は、まず視線方向基準面を検出し、次に黒目中心の3次元位置を検出し、最後に相対視線方向を検出する。
まず、視線方向基準面の検出について説明する。
図20は、視線方向基準面について説明するための図である。本変形例では、ユーザ状態検出部22は、左右の目頭(左目及び右目の鼻側の端点)の3次元位置を検出することにより、視線方向基準面を検出する。
視線方向基準面は、相対視線方向を検出する際に基準となる面であり、図20に示すように顔の左右対称面と同一である。なお、目頭の位置は、目尻、口角、あるいは眉などの他の顔部品の位置に比べて、表情による変動が少なく、また誤検出が少ない。したがって、本変形例では、ユーザ状態検出部22は、顔の左右対称面である視線方向基準面を目頭の3次元位置を用いて検出する。
具体的には、ユーザ状態検出部22は、第1のユーザ検出カメラ60a及び第2のユーザ検出カメラ60bで同時に撮影された2枚の画像のそれぞれにおいて、顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、ユーザ状態検出部22は、検出した目頭領域の画像間の位置のずれ(視差)を利用して、左右の目頭それぞれの3次元位置を検出する。さらに、ユーザ状態検出部22は、図20に示すように、検出した左右の目頭の3次元位置を端点とする線分の垂直二等分面を視線方向基準面として検出する。
次に、黒目中心の検出に関して説明する。
図21A及び図21Bは、黒目中心の検出について説明するための図である。
人は、対象物からの光が瞳孔を通って網膜に届き、電気信号に変換され、その電気信号が脳に伝達されることにより、対象物を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒又は茶色であるので、画像処理によって瞳孔と虹彩とを判別することが難しい。また、瞳孔の中心と黒目(瞳孔及び虹彩の両方を含む)の中心とは、ほぼ一致する。そこで本変形例では、ユーザ状態検出部22は、相対視線方向を検出する際に、黒目中心の検出を行う。
ユーザ状態検出部22は、まず、撮影された画像から目尻と目頭との位置を検出する。そして、ユーザ状態検出部22は、図21Aに示すような、目尻と目頭とを含む領域の画像から、輝度が小さい領域を、黒目領域として検出する。具体的には、ユーザ状態検出部22は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。
次に、ユーザ状態検出部22は、図21Bに示すような、第1領域と第2領域とからなる黒目検出フィルタを黒目領域の任意の位置に設定する。そして、ユーザ状態検出部22は、第1領域内の画素の輝度と第2領域内の画素の輝度との領域間分散が最大となるような黒目検出フィルタの位置を探索し、探索結果が示す位置を黒目中心として検出する。ユーザ状態検出部22は、上記と同様に、同時に撮影された2枚の画像における黒目中心の位置のずれを利用して、黒目中心の3次元位置を検出する。
最後に、相対視線方向の検出について説明する。
ユーザ状態検出部22は、検出した視線方向基準面と、黒目中心の3次元位置とを用いて、相対視線方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約24mmである。したがって、基準となる方向(例えば正面)を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心位置までの変位を求めることで視線方向に変換算出することができる。
従来手法では基準となる方向を向いた時の黒目中心の位置が既知ではないため、キャリブレーションを必要としていた。しかし、本手法では、正面を向いたときは、左右の黒目中心を結んだ線分の中点が、顔の中心、すなわち視線方向基準面上に存在することを利用する。つまり、ユーザ状態検出部22は、左右の黒目中心を結んだ線分の中点と視線方向基準面との距離を算出することにより、相対視線方向を検出する。
具体的には、ユーザ状態検出部22は、眼球半径Rと左右の黒目中心を結んだ線分の中点と視線方向基準面との距離dとを用いて、式(6)に示すように、顔の向きに対する左右方向の回転角θを相対視線方向として検出する。
Figure 2010070882
以上のように、ユーザ状態検出部22は、視線方向基準面と黒目中心の3次元位置とを用いて、相対視線方向を検出する。そして、ユーザ状態検出部22は、検出された顔の向きと相対視線方向とを用いて、ユーザの視線方向を検出する。
以上のように、本変形例における情報表示装置20は、ユーザの視線方向を簡易に検出することができ、検出した視線方向を用いて関心度を高精度に推定することができる。
なお、本変形例において、関心度推定部23は、ユーザの移動方向、移動速度、位置、及び視線方向のすべてを用いて、関心度を推定していたが、必ずしもすべてを用いて関心度を推定する必要はない。例えば、式(5)において、ゲインg1とゲインg2とゲインg3とを0にすれば、関心度推定部23は、ユーザの視線方向のみに基づいて関心度kを算出することができる。
なお、上記実施の形態2又はその変形例において、情報表示装置20は、距離s又は距離tを用いて、移動方向又は視線方向と、ユーザからコンテンツが表示されている位置へ向かう方向との近さを数値化していたが、他の方法により数値化してもよい。例えば、情報表示装置20は、移動方向又は視線方向と、ユーザからコンテンツが表示されている位置へ向かう方向とが成す角度(−180度〜180度)の絶対値を用いて、移動方向又は視線方向と、ユーザからコンテンツが表示されている位置へ向かう方向との近さを数値化してもよい。
以上、本発明の一態様における情報表示装置について実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態又はその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態又はその変形例に施したもの、あるいは異なる実施の形態又はその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、上記実施の形態において、情報表示装置は、プラズマディスプレイパネル又は液晶パネルなどの画面を備えていたが、必ずしも画面を備える必要はない。例えば、情報表示装置は、スクリーン又は壁面などの投影面にコンテンツを投影するプロジェクタなどであってもよい。
さらに、本発明は、以下のように変形することもできる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAM又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
(2)上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
(3)上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAM、などから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す情報表示装置が備える特徴的な構成部の動作をステップとする方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読取可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD―ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明の一態様における情報表示装置は、表示コンテンツの開示度又は鮮明度を変更することにより、ユーザの表示コンテンツに対する関心度を高めることができるので、広告等のユーザの注意を引き付けたいコンテンツを表示する情報表示装置、例えば屋外電子広告(デジタル・サイネージ)あるいは大画面テレビ等として利用することができる。
10、20 情報表示装置
11、22 ユーザ状態検出部
12、23 関心度推定部
13、26 表示制御部
14、27 表示部
21 ユーザ識別部
24 ターゲットユーザ選定部
25 コンテンツデータベース
26a アプリケーション制御部
26b 画面描画部
60 ユーザ検出カメラ
60a 第1のユーザ検出カメラ
60b 第2のユーザ検出カメラ
本発明は、コンテンツを表示する情報表示装置に関し、特に、ユーザの状態に基づいて表示制御を行う情報表示装置に関する。
近年、街頭などに大画面のディスプレイを設置し、このディスプレイに広告を表示する電子広告システムが実用化されている。繁華街、駅前の建造物の壁面、あるいは公共交通機関の駅の構内などにディスプレイを設置することによって、不特定多数のユーザに情報を提供することができる。
しかし、従来の電子広告システムでは、通りすがりの通行者がディスプレイに表示された広告を眺める程度であり、見る者に深い印象を与えることができないという問題があった。また、ディスプレイには同一映像(広告)が繰り返し表示されているので、待合せなどで滞留している人がディスプレイに表示された広告を見ても、すぐに見飽きてしまうという問題もあった。さらに、人の注目を引くように商品情報などの検索機能を備えたインタラクティブな電子広告システムもあるが、通りがかりの人にとって検索機能を利用することは面倒であった。このように、従来の電子広告システムは、通常の広告板又はポスターなどよりも人目を引きやすいが、広告効果を更に向上させる余地がある。
ところで、入力装置が受け付けたユーザからの要求に応じて情報を段階的に表示する情報表示装置が提案されている(例えば、特許文献1参照)。また、ユーザと情報表示装置との距離に応じて認知されない情報を除いた内容を提示する情報表示装置も提案されている(例えば、特許文献2参照)。
さらに、ユーザのコンテンツの視聴状態に合わせて、より適切なタイミングでコンテンツの再生中にコンテンツ情報を表示する情報表示装置も提案されている(例えば、特許文献3参照)。特許文献3に記載の情報表示装置は、ユーザがコンテンツを見ている時間に応じて関心度を生成し、生成した関心度が低下したときに、他のコンテンツの再生などを薦める。
このような特許文献1〜3に記載の情報表示装置によって、ユーザは、効率的に情報を取得することが可能となる。
特開平11−296542号公報 特開2003−271283号公報 特開2005−250322号公報
しかしながら、上記従来の情報表示装置は、情報取得に関するユーザの効率を高めることができるが、表示されたコンテンツにユーザを引き込む効果は期待できない。つまり、従来の情報表示装置では、ユーザの関心を効率的に高めることができない。
そこで本発明は、上記従来の課題を解決するものであって、表示されるコンテンツに対するユーザの関心を効率的に高めることができる情報表示装置等を提供することを目的とする。
上記目的を達成するために、本発明の一態様における情報表示装置は、第1コンテンツを画面に表示する表示部と、前記画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出するユーザ状態検出部と、前記ユーザ状態検出部によって検出されたユーザ状態に基づいて、前記表示部によって画面に表示された第1コンテンツに対するユーザの関心度合いを示す関心度を推定する関心度推定部と、前記関心度推定部によって推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、第2コンテンツを前記表示部に表示させる表示制御部とを備える。
これにより、ユーザ状態に応じて、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態でコンテンツを表示することができ、じらし効果によってユーザの関心を効率的に高めることができる。
ここで、じらし効果とは、コンテンツの少なくとも一部が示す情報をユーザに明らかにしないことにより、ユーザの注意を引くことができる効果をいう。つまり、じらし効果とは、ユーザをじらすことにより関心を高める効果である。
また、前記表示制御部は、さらに、前記関心度推定部によって推定された関心度の変化率の大きさが第2閾値を超えたときに、前記画面に表示された第2コンテンツの鮮明度又は開示度を上げることが好ましい。
これにより、ユーザの関心度の変化率の大きさに応じて、鮮明度又は開示度が下げられたコンテンツの鮮明度又は開示度を動的に上げることができるので、ユーザの関心が高まりつつある状態で、コンテンツが示す情報をユーザに開示することができる。その結果、ユーザの関心をさらに効率的に高めることもできるとともに、コンテンツが示す情報をユーザに強く印象付けることができる。
また、前記表示制御部は、さらに、前記関心度推定部によって推定された関心度が第3閾値を超えたときに、前記画面に表示された第2コンテンツの鮮明度又は開示度を上げることが好ましい。
これにより、ユーザの関心度の大きさに応じて、鮮明度又は開示度が下げられたコンテンツの鮮明度又は開示度を動的に上げることができるので、ユーザの関心が高いときに、コンテンツが示す情報をユーザに開示することができる。その結果、ユーザの関心をさらに効率的に高めることもできるとともに、コンテンツが示す情報をユーザに強く印象付けることができる。
また、前記表示制御部は、前記関心度推定部によって推定された関心度の変化率の大きさが前記第1閾値未満であって、かつ、前記関心度推定部によって推定された関心度の変化率の大きさが前記第1閾値未満である状態が所定時間継続している場合、前記第2コンテンツを前記表示部に表示させることが好ましい。
これにより、ユーザの関心度の変化率の大きさが一時的に小さくなったことに反応して、必要以上にコンテンツの鮮明度又は開示度を変更することを低減させることができる。
また、前記ユーザ状態検出部は、前記ユーザの移動方向を前記ユーザ状態として検出し、前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの移動方向が、当該ユーザから前記画面を代表する位置へ向かう方向、又は当該ユーザから前記第1コンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定することが好ましい。
これにより、ユーザの移動方向に応じて関心度を高精度に推定することができる。
また、前記ユーザ状態検出部は、前記ユーザの移動速度を前記ユーザ状態として検出し、前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの移動速度が小さいほど、関心度が高いと推定することが好ましい。
これにより、ユーザの移動速度に応じて関心度を高精度に推定することができる。
また、前記ユーザ状態検出部は、前記ユーザの位置を前記ユーザ状態として検出し、前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの位置と前記第1コンテンツが表示されている位置との距離が小さいほど関心度が高いと推定することが好ましい。
これにより、ユーザの位置に応じて関心度を高精度に推定することができる。
また、前記ユーザ状態検出部は、ユーザの視線方向を前記ユーザ状態として検出し、前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの視線方向が、当該ユーザから前記画面を代表する位置へ向かう方向、又は当該ユーザから前記第1コンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定することが好ましい。
これにより、ユーザの視線方向に応じて関心度を高精度に推定することができる。
また、さらに、前記画面の前方に位置するユーザの中からターゲットユーザを選定するターゲットユーザ選定部を備え、前記表示制御部は、前記ターゲットユーザ選定部によって選定されたターゲットユーザの関心度の変化率の大きさが前記第1閾値未満である場合、前記第2コンテンツを前記表示部に表示させることが好ましい。
これにより、画面の前方に位置するユーザの中から選定されたターゲットユーザ状態に応じて、コンテンツの鮮明度又は開示度を変更することができ、選定されたユーザの関心を効率的に高めることができる。
また、前記ターゲットユーザ選定部は、前記関心度推定部によって推定された関心度が第4閾値以上である場合、当該関心度に対応するユーザをターゲットユーザとして選定することが好ましい。
これにより、じらし効果によって関心を高められる可能性の高いユーザをターゲットユーザとして選定することができ、ユーザの関心をさらに効率的に高めることができる。
また、前記ターゲットユーザ選定部は、前記第1コンテンツが表示されている位置とユーザの位置との距離が第5閾値未満である場合、当該ユーザをターゲットユーザとして選定することが好ましい。
これにより、じらし効果によって関心を高められる可能性の高いユーザをターゲットユーザとして選定することができ、ユーザの関心をさらに効率的に高めることができる。
また、さらに、前記第2コンテンツの一部であってユーザに見せようとしている情報である本質情報を示す部分の位置を示す適用領域を少なくとも記憶しているコンテンツデータベースを備え、前記表示制御部は、前記コンテンツデータベースに記憶された前記第2コンテンツの適応領域の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、前記第2コンテンツを前記表示部に表示させることが好ましい。
これにより、本質情報が表示される領域の鮮明度又は開示度を低くすることができ、ユーザの注目を集める効果が高くなる。その結果、ユーザの関心を効率的に高めることができるとともに、ユーザに見せようとしている情報の印象を高めることができる。
また、前記予め定められた鮮明度又は開示度は、前記第1コンテンツの鮮明度又は開示度であり、前記表示制御部は、前記第1コンテンツを前記第2コンテンツとして前記表示部に表示させることが好ましい。
これにより、すでに表示されているコンテンツの鮮明度又は開示度をユーザ状態に応じて下げることができる。
また、本発明の一態様における情報表示方法は、第1コンテンツを画面に表示する第1の表示ステップと、前記画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出するユーザ状態検出ステップと、前記ユーザ状態検出ステップにおいて検出されたユーザ状態に基づいて、前記表示ステップにおいて画面に表示された第1コンテンツに対するユーザの関心度合いを示す関心度を推定する関心度推定ステップと、前記関心度推定ステップにおいて推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の領域の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、第2コンテンツを表示する第2の表示ステップとを含む。
これにより、上記情報表示装置と同様の効果を奏することができる。
なお、本発明は、このような情報表示方法をコンピュータに実行させるためのプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc Read Only Memory)等のコンピュータ読取可能な記録媒体、あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明の一態様における情報表示装置によれば、表示されたコンテンツに対するユーザの関心度の変化率の大きさに応じて、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態でコンテンツを表示することができる。その結果、じらし効果によってユーザの注目を引くことができるので、ユーザの関心を効率的に高めることができる。
図1は、本発明の実施の形態1における情報表示装置の外観図である。 図2は、本発明の実施の形態1における情報表示装置の機能構成を示すブロック図である。 図3は、鮮明度を説明するための図である。 図4は、開示度を説明するための図である。 図5は、本発明の実施の形態1における情報表示装置が実行する処理の流れを示すフローチャートである。 図6は、本発明の実施の形態1の変形例1における情報表示装置が実行する処理の流れを示すフローチャートである。 図7は、本発明の実施の形態1の変形例2における情報表示装置が実行する処理の流れを示すフローチャートである。 図8は、本発明の実施の形態2における情報表示装置の機能構成を示すブロック図である。 図9Aは、本発明の実施の形態2におけるユーザ位置算出方法を説明するための図である。 図9Bは、本発明の実施の形態2におけるユーザ位置算出方法を説明するための図である。 図10は、本発明の実施の形態2におけるコンテンツデータベースの一例を示す図である。 図11は、適用領域を説明するための図である。 図12は、本発明の実施の形態2における情報表示装置が行う処理の流れを示すフローチャートである。 図13は、本発明の実施の形態2における関心度の算出方法を説明するための図である。 図14Aは、本発明の実施の形態2におけるターゲットユーザの選定方法を説明するための図である。 図14Bは、本発明の実施の形態2におけるターゲットユーザの選定方法を説明するための図である。 図15は、本発明の実施の形態2における関心度の変化率の算出処理を説明するための図である。 図16は、本発明の実施の形態2における情報表示装置の動作の具体例を示す図である。 図17Aは、本発明の実施の形態2におけるコンテンツの表示方法の他の一例を示す図である。 図17Bは、本発明の実施の形態2におけるコンテンツの表示方法の他の一例を示す図である。 図18は、本発明の実施の形態2の変形例における視線方向の検出に関する処理の流れを示すフローチャートである。 図19は、本発明の実施の形態2の変形例におけるユーザの顔の向きを検出する処理を説明するための図である。 図20は、視線方向基準面について説明するための図である。 図21Aは、黒目中心の検出について説明するための図である。 図21Bは、黒目中心の検出について説明するための図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
本発明の実施の形態1における情報表示装置10は、画面にコンテンツを表示する装置であり、画面に表示されているコンテンツ(以下、単に「表示コンテンツ」という)に対するユーザの関心度に応じて、表示コンテンツの鮮明度又は開示度を変化させることを特徴とする。
図1は、本発明の実施の形態1における情報表示装置の外観図である。また、図2は、本発明の実施の形態1における情報表示装置の機能構成を示すブロック図である。
情報表示装置10は、ユーザ状態検出部11と、関心度推定部12と、表示制御部13と、表示部14とを備える。
ユーザ状態検出部11は、画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出する。具体的には、ユーザ状態検出部11は、例えば、脳波などの生体信号、ユーザの位置、速度、顔もしくは体の向き、視線方向、表情、発話内容、発話量、又は声の大きさなどをユーザ状態として検出する。
関心度推定部12は、ユーザ状態検出部11によって検出されたユーザ状態に基づいて、表示部14によって画面に表示されたコンテンツに対するユーザの関心度合いを示す関心度を推定する。
具体的には、例えば、関心度推定部12は、検出されたユーザの移動方向が、ユーザから画面を代表する位置へ向かう方向、又はユーザからコンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定する。つまり、関心度推定部12は、ユーザが画面又は表示コンテンツに向かって移動していれば関心度が高いと推定する。
ここで、画面を代表する位置とは、画面上の位置であって、例えば画面の中心位置(以下、単に「画面の中心」という)又は重心位置などである。また、コンテンツが表示されている位置とは、コンテンツが表示されている画面上の位置であって、当該コンテンツを代表する位置である。具体的には例えば、コンテンツが表示されている位置は、コンテンツが表示されている領域の中心位置(以下、単に「コンテンツの中心」という)あるいは重心位置などである。また例えば、コンテンツが表示されている位置は、コンテンツの一部が示す画像(例えば、広告対象商品の画像)が表示されている領域の中心位置あるいは重心位置であってもよい。
また、例えば、関心度推定部12は、検出されたユーザの移動速度が小さいほど、関心度が高いと推定する。つまり、ユーザが画面の前方でゆっくり移動していれば関心度が高いと推定する。
また、例えば、関心度推定部12は、検出されたユーザの位置とコンテンツが表示されている位置との距離が小さいほど関心度が高いと推定する。
また、例えば、関心度推定部12は、検出されたユーザの視線方向が、ユーザから画面を代表する位置へ向かう方向、又はユーザからコンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定する。つまり、関心度推定部12は、ユーザが画面又は表示コンテンツの方向を見ていれば関心度が高いと推定する。
また、関心度推定部12は、検出された生体信号、表情、発話内容、発話量、又は声の大きさ情報などに基づいて関心度を推定してもよい。
表示制御部13は、関心度推定部12によって推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、コンテンツを表示部14に表示させる。
具体的には、表示制御部13は、関心度の時間的な変化度合いを示す変化率の大きさa(t)を、式(1)に従って算出する。k(t)は、時刻tにおける関心度である。さらに、表示制御部13は、このように算出した変化率の大きさa(t)が第1閾値未満であるか否かを判定する。
ここで、変化率の大きさa(t)が第1閾値未満である場合、表示制御部13は、一部又は全部の鮮明度又は開示度が画面に表示されているコンテンツの鮮明度又は開示度よりも低い状態で、当該コンテンツを表示部14に表示させる。つまり、表示制御部13は、画面に表示されているコンテンツの少なくとも一部の鮮明度又は開示度を、例えば所定の時間だけ下げる。
Figure 2010070882
ここで、鮮明度とは、コンテンツの鮮明度合いを示す。つまり、鮮明度とは、コンテンツによって示される情報の鮮明さの度合いを示す。例えば、ぼかし効果又はモザイク効果などの映像効果がコンテンツに適用された場合、コンテンツの鮮明度は下がる。
また、開示度とは、コンテンツの開示度合いを示す。つまり、開示度とは、コンテンツによって示される情報が開示されている度合いを示す。例えば、コンテンツに含まれる画像とは異なる画像がコンテンツに含まれる画像の一部又は全部に重ねて配置されれば、コンテンツの開示度は下がる。
第1閾値は、例えば表示コンテンツに対するユーザの興味が低下するなどの理由により、コンテンツに対するユーザの関心度の変化が小さくなっていることを示す値である。
表示部14は、例えばプラズマディスプレイパネル(PDP:Plasma Display Panel)又は液晶パネル(Liquid Crystal Panel)などの画面を有し、当該画面にコンテンツを表示する。
図3は、鮮明度を説明するための図である。また図4は、開示度を説明するための図である。図3及び図4では、販売者「XXX Corporation」が販売する、ブランド名「ABCD」の商品「テレビ」を広告する画像を、画面に表示されるコンテンツの一例として説明する。
図3(a)は、鮮明度が下げられる前のコンテンツを示す。また、図3(b)は、コンテンツの一部である商品の外観を示す領域にモザイク処理が施されたコンテンツを示す。つまり、図3(b)は、図3(a)のコンテンツの鮮明度よりも低い状態で表示されたコンテンツを示す。
このように、表示制御部13は、コンテンツの一部にぼかし効果又はモザイク効果などの映像効果が適用されたコンテンツを画面に表示させることにより、コンテンツの一部の鮮明度を下げる。
図4(a)は、開示度が下げられる前のコンテンツを示す。また、図4(b)は、コンテンツの一部である商品の外観を示す領域に商品とは異なる画像が重ねられたコンテンツを示す。つまり、図4(b)は、図4(a)のコンテンツの開示度よりも低い状態で表示されたコンテンツを示す。
このように、表示制御部13は、コンテンツの一部の領域に元の画像とは異なる画像を重ねて表示させることにより、コンテンツの一部の開示度を下げる。
なお、表示制御部13は、元の画像からその画像とは異なる画像に自然に変形させるモーフィングにより、コンテンツの一部の開示度を下げてもよい。
また、図3及び図4では、コンテンツの一部について鮮明度又は開示度を下げることについて説明したが、表示制御部13は、コンテンツの全部について鮮明度又は開示度を下げてもよい。
なお、表示制御部13は、ユーザに見せようとしている情報である本質情報を示す部分の鮮明度又は開示度を下げることが好ましい。これにより、情報表示装置10は、本質情報が表示される領域の鮮明度又は開示度を低くすることができ、じらし効果によって、よりユーザの注目を集めることができる。その結果、情報表示装置10は、ユーザの関心を効率的に高めることができるとともに、ユーザに見せようとしている情報をユーザに強く印象づけることができる。
次に、以上のように構成された情報表示装置10における各種動作について説明する。
図5は、本発明の実施の形態1における情報表示装置が実行する処理の流れを示すフローチャートである。
まず、表示部14は、画面にコンテンツを表示する(S100)。次に、ユーザ状態検出部11は、ユーザ状態を検出する(S101)。続いて、関心度推定部12は、検出されたユーザ状態に基づいて関心度を推定する(S102)。さらに、表示制御部13は、関心度の変化率の大きさを算出する(S104)。そして、表示制御部13は、関心度の変化率の大きさが第1閾値未満であるか否かを判定する(S106)。
ここで、関心度の変化率の大きさが第1閾値未満である場合(S106のYes)、表示制御部13は、画面に表示されたコンテンツの少なくとも一部の鮮明度又は開示度を下げ(S108)、処理を終了する。つまり、表示制御部13は、ユーザの関心度に応じて、少なくとも一部の鮮明度又は開示度が画面に表示されたコンテンツの鮮明度又は開示度よりも低い状態で、コンテンツを画面に表示する。一方、関心度の変化率の大きさが第1閾値以上である場合(S106のNo)、処理を終了する。
このようなステップS100からステップS108までの処理を実行することにより、情報表示装置10は、ユーザの関心度に応じて、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、コンテンツを画面に表示することができる。なお、情報表示装置10は、ステップS101からステップS108までの処理を繰り返し実行してもよい。
以上のように、本実施の形態における情報表示装置10は、表示されたコンテンツに対するユーザの関心度の変化率の大きさに応じて、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態でコンテンツを表示することができる。その結果、情報表示装置10は、じらし効果によってユーザの注目を引くことができるので、ユーザの関心を効率的に高めることができる。
なお、本実施の形態において、表示制御部13は、関心度の変化率の大きさが単に第1閾値未満である場合に、コンテンツを鮮明度又は開示度が低い状態で表示部14に表示させていたが、これとは異なる場合であってもよい。例えば、表示制御部13は、関心度の変化率の大きさが第1閾値未満である状態が所定時間継続した場合に、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、コンテンツを表示部14に表示させてもよい。これにより、情報表示装置10は、ユーザの関心度の変化率の大きさが一時的に小さくなったことに反応して、必要以上にコンテンツの鮮明度又は開示度を変更することを低減させることができる。
(実施の形態1の変形例1)
実施の形態1の変形例1における情報表示装置10は、ユーザの関心度の変化率の大きさが小さいときに、現在画面に表示されているコンテンツとは異なるコンテンツを画面に表示する点が、実施の形態1における情報表示装置10と異なる。以下、実施の形態1と異なる点を中心に、本変形例について、図面を参照しながら説明する。
図2に示した実施の形態1における情報表示装置10と同様に、本変形例における情報表示装置10も、ユーザ状態検出部11と、関心度推定部12と、表示制御部13と、表示部14とを備える。なお、ユーザ状態検出部11と関心度推定部12と表示部14とは、実施の形態1と同様であるので、説明を省略する。
本変形例における表示制御部13は、関心度推定部12によって推定された関心度の変化率の大きさが第1閾値未満である場合、画面に表示されているコンテンツとは異なるコンテンツを、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で表示部14に表示させる。
ここで、予め定められた鮮明度又は開示度は、例えば、コンテンツ本来の鮮明度又は開示度である。つまり、予め定められた鮮明度又は開示度は、典型的には、鮮明度又は開示度を下げるための映像効果が適用されていない、又は鮮明度又は開示度を下げるための画像処理が施されていないコンテンツの鮮明度又は開示度である。
次に、以上のように構成された、本変形例における情報表示装置10における各種動作について説明する。
図6は、本発明の実施の形態1の変形例1における情報表示装置が実行する処理の流れを示すフローチャートである。なお、図6において、図5と同一の処理については、同一の符号を付し、説明を省略する。
関心度の変化率の大きさが第1閾値未満である場合(S106のYes)、表示制御部13は、画面に表示されているコンテンツとは異なるコンテンツを、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で表示部14に表示させ(S112)、処理を終了する。つまり、表示制御部13は、少なくとも一部の鮮明度又は開示度が予め下げられたコンテンツであって画面に表示されているコンテンツとは異なるコンテンツを表示部14に表示させる。
以上のように、本変形例における情報表示装置10は、コンテンツを新たに表示するときに鮮明度又は開示度を下げた状態で表示することができるので、じらし効果によってユーザの関心を効率的に高めることができる。
(実施の形態1の変形例2)
一律に所定の期間だけ鮮明度又は開示度を下げた場合、ユーザをじらす期間が長くなりすぎ、かえってユーザの関心を下げてしまうという問題がある。そこで、実施の形態1の変形例2における情報表示装置10は、コンテンツの鮮明度又は開示度を上げるタイミングをユーザの関心度に応じて動的に決定することを特徴とする。以下、実施の形態1と異なる点を中心に、本変形例について、図面を参照しながら説明する。
図2に示した実施の形態1における情報表示装置10と同様に、本変形例における情報表示装置10も、ユーザ状態検出部11と、関心度推定部12と、表示制御部13と、表示部14を備える。なお、ユーザ状態検出部11と関心度推定部12と表示部14とは、実施の形態1と同様であるので、説明を省略する。
本変形例における表示制御部13は、ユーザの関心度に基づいて、画面に表示されたコンテンツの鮮明度又は開示度を上げる。
具体的には、表示制御部13は、例えば、関心度推定部12によって推定された関心度の変化率の大きさが第2閾値を超えたときに、画面に表示されたコンテンツの鮮明度又は開示度を上げる。第2閾値は、コンテンツの鮮明度又は開示度を下げたことによりユーザの関心度の変化率が大きくなったことを示す値である。なお、第2閾値は、第1閾値以上であることが好ましい。
また、例えば、表示制御部13は、関心度推定部12によって推定された関心度が第3閾値を超えたときに、画面に表示されたコンテンツの鮮明度又は開示度を上げてもよい。第3閾値は、コンテンツの鮮明度又は開示度を下げたことによりユーザの関心度が上がったことを示す値である。
次に、以上のように構成された、本変形例における情報表示装置10における各種動作について説明する。
図7は、本発明の実施の形態1の変形例2における情報表示装置が実行する処理の流れを示すフローチャートである。なお、図7において、図5と同一の処理については、同一の符号を付し、説明を省略する。
関心度の変化率の大きさが算出された後、表示制御部13は、画面に表示されているコンテンツの鮮明度又は開示度がすでに下げられているか否かを判定する(S122)。つまり、表示制御部13は、画面に表示されているコンテンツが、あらかじめ定められた鮮明度又は開示度よりも鮮明度又は開示度が低い状態で画面に表示されているか否かを判定する。
ここで、鮮明度又は開示度がまだ下げられていない場合(S122のNo)、情報表示装置10は、ステップS106〜ステップS108の処理を実行し、ステップS101の処理に戻る。
一方、鮮明度又は開示度が下げられている場合(S122のYes)、表示制御部13は、ユーザの関心度に基づいて、コンテンツの鮮明度又は開示度を上げるか否かを判定する(S124)。
ここで、コンテンツの鮮明度又は開示度を上げると判定された場合(S124のYes)、表示制御部13は、画面に表示されたコンテンツの鮮明度又は開示度を上げ(S126)、ステップS101の処理に戻る。一方、鮮明度又は開示度を上げないと判定された場合(S124のNo)、ステップS101の処理に戻る。
以上のように、本変形例における情報表示装置10は、ユーザの関心度の変化率の大きさ又は関心度の大きさなどに応じて、画面に表示されたコンテンツの鮮明度又は開示度を動的に上げることができる。したがって、情報表示装置10は、ユーザ状態に応じて動的に、コンテンツが示す情報をユーザに開示することができる。その結果、情報表示装置10は、ユーザの関心をさらに効率的に高めることができるとともに、コンテンツが示す情報をユーザに強く印象づけることができる。
(実施の形態2)
次に、本発明の実施の形態2について、図面を用いて詳細に説明する。
本発明の実施の形態2における情報表示装置20は、画面の前方に位置するユーザの中からターゲットユーザを選定する点が実施の形態1における情報表示装置10と主として異なる。
図8は、本発明の実施の形態2における情報表示装置の機能構成を示すブロック図である。
図8に示すように、情報表示装置20は、ユーザ検出カメラ60から画像情報を得るユーザ識別部21と、ユーザ状態検出部22と、関心度推定部23と、ターゲットユーザ選定部24と、コンテンツデータベース25と、表示制御部26と、表示部27とを備える。
ユーザ検出カメラ60は、表示部27の画面の周囲に少なくとも2台設置される。つまり、ユーザ検出カメラ60は、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとを含む。そして、ユーザ検出カメラ60は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサと光学系とを備える。
また、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとは、画面の前方に存在するユーザを同時に撮影する。そして、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとは、撮影した画像を示す画像情報をユーザ識別部21及びユーザ状態検出部22へ出力する。
ユーザ識別部21は、ユーザ検出カメラ60から得た画像情報が示す画像において顔領域の抽出を行う。そして、ユーザ識別部21は、抽出した顔領域ごとに、当該顔領域の特徴を示す情報であってユーザを特定するための情報であるユーザ識別情報を出力する。
ユーザ状態検出部22は、画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出する。
具体的には、ユーザ状態検出部22は、第1のユーザ検出カメラ60a及び第2のユーザ検出カメラ60bによって撮影された画像間におけるユーザが写っている領域(以下、単に「ユーザ領域」という)の対応関係を利用して、ユーザと画面との相対位置をユーザ状態としてユーザごとに算出する。すなわち、ユーザ状態検出部22は、ステレオ視による視差を利用して、ユーザの位置をユーザ状態としてユーザごとに検出する。さらに、ユーザ状態検出部22は、検出されたユーザの位置の時間変化に基づいて、ユーザの移動ベクトル(ユーザの移動方向及びユーザの移動速度)を検出する。
図9A及び図9Bは、本発明の実施の形態2におけるユーザ位置算出方法を説明するための図である。
図9Aに示すように、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとが互いに間隔Bだけ離れて、情報表示装置20の画面に対して平行に設置される。具体的には、第1のユーザ検出カメラ60aと第2のユーザ検出カメラ60bとは、各ユーザ検出カメラの光軸が互いに平行に間隔Bだけ離れて画面と垂直になるように設置され、かつ、各ユーザ検出カメラの光学中心が画面を含む平面上に配置されるように設置される。
そして、ユーザ状態検出部22は、それぞれのユーザ検出カメラ60で撮影された画像内のユーザ領域を抽出する。そして、ユーザ状態検出部22は、画像間の対応するユーザ領域の位置のずれに基づいて、ユーザと情報表示装置20の画面との距離Dを算出する。具体的には、ユーザ状態検出部22は、例えば、ユーザのいない状態でそれぞれのユーザ検出カメラ60によってあらかじめ撮影された画像を保存しておき、ユーザが撮影範囲(ユーザ検出可能領域)に現れたときに撮影された画像と保存した画像との差分を求めることによりユーザ領域を抽出する。また、ユーザ状態検出部22は、顔画像の検出及び顔画像の照合により得られるユーザの顔領域をユーザ領域として抽出することもできる。
図9Bは、2つの画像上の対応するユーザ領域の位置関係を基にユーザとカメラ設置面(情報表示装置20の画面)との距離Dを求めるための、ステレオ視による測距原理を示した図である。位置測定対象であるユーザの像は第1のユーザ検出カメラ60a及び第2のユーザ検出カメラ60bそれぞれのイメージセンサの撮影面に図9Bに示すようにそれぞれ投影される。このように投影された位置測定対象の像の画像上のずれをZと表したとき、ユーザ状態検出部22は、カメラの焦点距離fとカメラの光軸間の距離Bとを用いて、ユーザと情報表示装置20の画面との距離Dを式(2)のように算出することができる。
Figure 2010070882
また、ユーザ状態検出部22は、情報表示装置20の画面に平行な方向のユーザ位置については、画像中のユーザ領域の位置と式(2)により算出された距離Dとを基に求めることができる。ユーザ状態検出部22は、このように情報表示装置20に対するユーザの相対的な位置を算出し出力する。
さらに、ユーザ状態検出部22は、このように算出された位置の時間的な変化に基づいて、ユーザの移動ベクトルを算出する。具体的には、ユーザ状態検出部22は、算出したユーザの位置をユーザごとに保持し、保持したユーザの位置を用いて、ユーザの移動ベクトルをユーザごとに算出する。
なお、ユーザ状態検出部22は、必ずしもステレオ視差に基づいてユーザの位置を算出する必要はない。例えば、ユーザ状態検出部22は、光波測距(Time of Flight)の原理により得られる距離情報から、ユーザと情報表示装置20との相対位置を算出してもよい。この場合、ユーザ検出カメラ60は、光波測距の原理を利用して距離情報を出力する距離画像センサを備え、少なくとも1台設置される。
また、情報表示装置20の画面前方の床面に設置された床圧力センサから、ユーザ状態検出部22は、情報表示装置20に対するユーザの相対位置を取得してもよい。この場合、ユーザ検出カメラ60は設置される必要がない。
関心度推定部23は、ユーザ状態検出部22が出力するユーザの位置等に基づいて、表示コンテンツに対するユーザの関心度をユーザ識別情報によって特定されるユーザごとに推定する。関心度の算出方法については、後述する。
ターゲットユーザ選定部24は、関心度推定部23が出力する各ユーザの関心度に基づいて、ターゲットユーザを選定する。例えば、ターゲットユーザ選定部24は、表示コンテンツに対する関心度が、表示コンテンツごとにあらかじめ定められた第4閾値以上である場合、当該関心度に対応するユーザをターゲットユーザとして選定する。第4閾値は、ユーザが表示コンテンツに対してある程度関心を示していることを示す値である。つまり、第4閾値は、コンテンツの鮮明度又は開示度を下げることにより、さらに関心度を高めることが期待されるユーザを選定するための値である。
なお、ターゲットユーザ選定部24は、ユーザの位置と表示コンテンツの中心との距離が表示コンテンツごとにあらかじめ定められた第5閾値未満である場合、当該ユーザをターゲットユーザとして選定してもよい。第5閾値は、ユーザが表示コンテンツに対してある程度関心を示していることを示す距離である。つまり、第5閾値は、コンテンツの鮮明度又は開示度を下げることにより、さらに関心度を高めることが期待されるユーザを選定するための距離である。
コンテンツデータベース25は、ユーザの関心度の水準を示す関心度レベルごとに、コンテンツと、当該コンテンツに対して適用される映像効果の種類及び適用領域とを記憶しているデータベースである。
図10は、本発明の実施の形態2におけるコンテンツデータベースの一例を示す図である。図10に示すように、コンテンツデータベース25には、関心度レベルごとに、コンテンツと映像効果及び適用領域とが関連付けられて格納されている。なお、図10では、コンテンツデータベース25に格納されたコンテンツが商品名又はブランド名「ABCD」の商品「テレビ」の広告に関するコンテンツである場合を一例として説明する。
関心度レベル「1」のコンテンツは、商品「テレビ」のイメージキャラクターが大きく描かれたコンテンツである。また、関心度レベル「2」のコンテンツは、イメージキャラクターが関心度レベル「1」よりも少し小さく描かれ、その代わりに商品の画像が左上方に描かれたコンテンツである。また、関心度レベル「3」のコンテンツは、商品のラインナップが示されたコンテンツである。このように、ユーザの関心度が高くなるにつれて、商品の詳細な情報を提示するコンテンツが格納されることにより、情報表示装置20は、ユーザの関心度が高まるにつれて、より詳細な情報を示し、広告にユーザの関心を引きつけることができる。
映像効果は、コンテンツの鮮明度又は開示度を下げるためにコンテンツに適用される効果である。例えば、映像効果は、コンテンツを隠す「hiding」、又はコンテンツをぼかす「blur」などの効果である。「blur(30)」とは、ぼかし効果の強度が「30」であることを示している。つまり、「blur(75)」は、「blur(30)」よりも強くぼかす効果であることを示す。このように、コンテンツデータベース25には、映像効果の種類に加えて、映像効果の強度もあわせて格納されることが好ましい。
適用領域は、コンテンツの全体「all」であってもよいし、コンテンツの一部の領域であってもよい。例えば、「rectangle(20、50、500、300)」は、座標(20、50)が一の頂点であり、座標(500、300)が当該一の頂点の対角に位置する頂点である長方形領域を示す。具体的には図11に示すように、「rectangle(20、50、500、300)」は、表示コンテンツの左上を座標原点とした座標系において、座標値x=20、y=50の点を左上の頂点、x=500、y=300の点を右下の頂点とする長方形領域を示す。
表示コンテンツが商品の広告の場合には、鮮明度又は開示度を下げるための映像効果を適用する適用領域が商品名あるいは商品のキャラクターなど商品の訴求に重要な情報を示す領域であれば、ユーザに対して一種のじらし効果が期待でき、情報表示装置20は、ユーザの注意を引くことができる。つまり、適用領域が本質情報を示す領域であれば、じらし効果によりユーザの関心を高めることができる。逆に、適用領域が鮮明度又は開示度を下げるための映像効果を重要な情報を示す領域以外の領域であっても、情報表示装置20は、重要な情報だけを鮮明に見せて、全体が分からないようにすることができ、ユーザの注意を引くことができる。
表示制御部26は、関心度推定部23によって推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、表示されているコンテンツとは異なるコンテンツを表示部27に表示させる。また、表示制御部26は、アプリケーション制御部26aと画面描画部26bとを有する。
アプリケーション制御部26aは、表示部27の画面の描画内容の更新を行う場合に、その描画内容の更新に関する情報である更新情報を画面描画部26bに出力する。
画面描画部26bは、更新情報に基づいて表示部27に表示するコンテンツを描画し、描画されたコンテンツを表示部27へ出力する。
表示部27は、画面を有し、画面描画部26bによって描画されたコンテンツを画面に表示する。
次に、以上のように構成された情報表示装置20における各種動作について説明する。特に、複数のユーザが情報表示装置20の前方にいる状況を例に、情報表示装置20の各種動作について説明する。
図12は、本発明の実施の形態2における情報表示装置が行う処理の流れを示すフローチャートである。図13は、本発明の実施の形態2における関心度の算出方法を説明するための図である。図14A及び図14Bは、本発明の実施の形態2におけるターゲットユーザの選定方法を説明するための図である。
まず、ユーザ識別部21は、ユーザ検出カメラ60によって撮影された画像から顔領域を抽出することにより、ユーザを特定するためのユーザ識別情報を生成する(S202)。
そして、ユーザ状態検出部22は、ユーザ検出カメラ60によって撮影された画像からユーザ領域を抽出し、抽出されたユーザ領域ごとにユーザ状態を検出する(S204)。具体的には、ユーザ状態検出部22は、ユーザ領域ごとにユーザの位置を算出する。さらに、ユーザ状態検出部22は、算出したユーザの位置の時間的変化に基づいて、ユーザの移動ベクトルを算出する。
そして、関心度推定部23は、ユーザの移動ベクトル
Figure 2010070882
と、ユーザの移動ベクトル
Figure 2010070882
と画面との交点から表示コンテンツの中心までの距離sと、ユーザの位置と表示コンテンツの中心との距離dと、を用いて、表示コンテンツに対するユーザの関心度kを式(3)に従って算出する(S206)。
Figure 2010070882
ここで、g1、g2及びg3は、ゲインであり、0以上の実数である。
式(3)の右辺の第1項は、ユーザの移動方向に関する項であり、表示コンテンツに近づくようにユーザが移動するほど関心度が大きくなるようにするための項である。
図13において実線で表された移動ベクトルは、その移動ベクトルを移動方向に延長すれば画面あるいは画面を延長した面と交差するベクトルを示す。一方、図13において点線で表された移動ベクトルは、その移動ベクトルを移動方向に延長しても画面及び画面を延長した面と交差することがないベクトルを示す。
ユーザの移動ベクトル
Figure 2010070882
と画面との交点から表示コンテンツの中心までの距離sは、ユーザが表示コンテンツに向かって移動しているほど小さい値となり、第1項は大きな値となる。したがって、この第1項により、ユーザの移動方向が表示コンテンツの中心に向かっているほど関心度が大きくなる。
なお、ユーザの移動ベクトル
Figure 2010070882
と画面との交点から表示コンテンツの中心までの距離sは、図13ではユーザA及びユーザCについてのみ図示されているが、他のユーザの距離sもユーザA及びユーザCと同様に算出される。また、ユーザBのように、移動ベクトルを移動方向に延長しても画面および画面を延長した面と交差することがないユーザの距離sは、無限大(∞)となり、第1項は、g1の値にかかわらず0となる。
また、図13において、距離sは、ユーザの移動ベクトルと画面との交点から表示コンテンツの中心までの距離であるが、ユーザの移動ベクトルと画面との交点から画面の中心までの距離であってもよい。この場合、関心度は、画面の中心に近づくようにユーザが移動するほど大きくなる。また、距離sは、ユーザの移動ベクトルと画面との交点から表示コンテンツの一部が示す画像の中心までの距離であってもよい。この場合、関心度は、表示コンテンツの一部が示す画像の中心に近づくようにユーザが移動するほど大きくなる。
式(3)の右辺の第2項は、ユーザの速度に関する項であり、ユーザがゆっくり移動するほど関心度が大きくなるようにするための項である。
式(3)の右辺の第3項は、ユーザの位置と表示コンテンツの中心との距離に関する項であり、ユーザの位置が表示コンテンツの位置に近いほど関心度が大きくなるようにするための項である。
次に、ターゲットユーザ選定部24は、ターゲットユーザを選定する(S208)。具体的には、ターゲットユーザ選定部24は、例えば、関心度kがあらかじめ定められた第4閾値kTH以上であるユーザをターゲットユーザと選定する。例えば図14Aにおいて、第4閾値kTHが「0.4」と設定されている場合、ターゲットユーザ選定部24は、関心度が「0.7」である「ユーザA」と関心度が「0.4」である「ユーザD」とをターゲットユーザとして選定する。
なお、ターゲットユーザ選定部24は、表示コンテンツの中心からの距離dがあらかじめ定められた第5閾値未満であるユーザをターゲットユーザとして選定してもよい。この場合、例えば図14Bにおいて、ターゲットユーザ選定部24は、表示コンテンツの中心からの距離dが第5閾値dt未満である「ユーザA」と「ユーザB」とをターゲットユーザとして選定する。
次に、表示制御部26は、ターゲットユーザについて、関心度の変化率の大きさの平均値を算出する(S210)。具体的には、表示制御部26は、現在時刻tにおいて、所定の時間間隔Δtにおける各ターゲットユーザの関心度の変化率の大きさを算出する。例えば、ステップS208において「ユーザA」と「ユーザB」とがターゲットユーザとして選定された場合、表示制御部26は、図15及び式(4)に示すように、「ユーザA」の関心度の変化率の大きさa_A(t)と「ユーザB」の関心度の変化率の大きさa_B(t)とを、算出された「ユーザA」の関心度k_aと「ユーザB」の関心度k_bとを用いて算出する。
Figure 2010070882
そして、表示制御部26は、このように算出されたユーザAとユーザBとの各々の関心度の変化率の大きさ(a_Aとa_B)の平均値を、ターゲットユーザの関心度の変化率の大きさの平均値a_allとして算出する。
次に、表示制御部26は、表示部27に表示されているコンテンツの少なくとも一部の鮮明度又は開示度が、予め定められた鮮明度又は開示度よりも低いか否かを判定する(S212)。
ここで、鮮明度又は開示度が予め定められた鮮明度又は開示度よりも高い場合(S212のNo)、表示制御部26は、関心度の変化率の大きさの平均値a_allが第1閾値を下回った状態が所定時間以上に継続しているか否かを判定する(S214)。
ここで、関心度の変化率の大きさの平均値a_allが第1閾値を下回った状態が所定時間以上に継続していない場合(S214のNo)、処理を終了する。一方、関心度の変化率の大きさの平均値a_allが第1閾値を下回った状態が所定時間以上に継続している場合(S214のYes)、表示制御部26は、算出された関心度に応じたコンテンツを、少なくとも一部の鮮明度又は開示度があらかじめ定められた鮮明度又は開示度よりも低い状態で表示する(S216)。具体的には、表示制御部26は、コンテンツデータベース25を参照することにより、算出された関心度に応じたコンテンツ及び映像効果を取得する。そして、表示制御部26は、取得したコンテンツを表示部27に表示するとともに、当該コンテンツに取得した映像効果を適用する。なお、関心度の変化率の大きさの平均値a_allが第1閾値を下回った状態が所定時間以上に継続している場合にコンテンツの鮮明度又は開示度を下げるのは、ユーザの関心度を引き上げる効果が高い(関心度を引き上げるべき)状況であるからである。
一方、鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い場合(S212のYes)、表示制御部26は、鮮明度又は開示度を上げるべきか否かを判定する(S218)。具体的には、例えば、表示制御部26は、関心度推定部23によって推定された関心度の変化率の大きさが第2閾値を超えるか否かに応じて、鮮明度又は開示度を上げるべきか否かを判定する。または、表示制御部26は、例えば、関心度推定部23によって推定された関心度が第3閾値を超えるか否かに応じて、鮮明度又は開示度を上げるべきか否かを判定する。
ここで、鮮明度又は開示度を上げるべきと判定された場合(S218のYes)、表示制御部26は、表示コンテンツの鮮明度又は開示度を上げ(S220)、処理を終了する。具体的には、表示制御部26は、画面に表示されているコンテンツに適用された映像効果を外す。一方、鮮明度又は開示度を上げるべきでないと判定された場合(S218のNo)、処理を終了する。
このようなステップS202からステップS220までの処理を実行することにより、情報表示装置20は、ターゲットユーザの関心度に応じて、コンテンツの少なくとも一部の鮮明度又は開示度を変化させることができる。なお、情報表示装置20は、ステップS202からステップS220までの処理を繰り返し実行してもよい。
以下に、図12に示す処理の流れを、図16を用いてさらに具体的に説明する。
図16は、本発明の実施の形態2における情報表示装置の動作の具体例を示す図である。図16では、画面の一部に商品「テレビ」の広告が表示されている。なお、情報表示装置20は、「ユーザA」の関心度に応じて、図10に示すコンテンツデータベース25に格納されたコンテンツを画面に表示する。例えば、図16(a)では、「ユーザA」の関心度が0〜k1の範囲にあるので、関心度レベル「1」のコンテンツが表示されている。
図16(a)に示す状況は、ターゲットユーザの関心度が順調に高まった後に、関心度の高まりが鈍った状況である。すなわち、図16(a)に示す状況は、ターゲットユーザの関心度の変化率が小さく、関心度の変化が安定した状況である。このような状況は、ターゲットユーザの表示コンテンツに対する関心がある程度高まったが、さらに関心が高まるほどの状況ではないことを示す。つまり、ターゲットユーザは、表示コンテンツによって提示された情報が、さらに関心を高めるほどの情報ではないと判断したと考えられる。このような状況では、表示コンテンツ(広告)の全体あるいは一部に映像効果を加えることで、ユーザに新たな刺激を与え、表示コンテンツ(広告)にさらなる関心を引きつけることができる。
図16(a)では、ターゲットユーザの関心度の変化率の大きさが第1閾値pcを所定時間継続して下回っているので、表示制御部26は、図16(b)に示すように、一部又は全部の鮮明度又は開示度があらかじめ定められた鮮明度又は開示度よりも低い状態で、コンテンツデータベース25に格納されたコンテンツを表示する。具体的には、表示制御部26は、現在の関心度レベルよりも1つ上の関心度レベルである関心度レベル「2」のコンテンツに表示コンテンツを切替え、さらに映像効果「hiding(20)」を表示コンテンツの適用領域「rectangle(20、50、500、300)」に適用する。その結果、表示コンテンツの商品「テレビ」が表示されている部分の開示度が下がるので、ユーザは、視認性が悪くなった当該部分に注目する。
そして、表示制御部26は、関心度の変化率の大きさが第2閾値pc2を超えたときに、図16(c)に示すように下げられた開示度を上げる。つまり、表示制御部26は、コンテンツに適用された映像効果を外す。なお、表示制御部26は、例えば、関心度がk1を超えたときに、コンテンツの開示度を上げてもよい。
図16(c)では、関心度がk1〜k2の範囲にあり、図16(a)と同様に、ターゲットユーザの関心度の変化率の大きさが閾値pcを所定時間継続して下回っている。そこで、表示制御部26は、図16(d)のように関心度レベル「3」のコンテンツに表示コンテンツを切替えるとともに、コンテンツの適用領域「all」に適用効果「blur(30)」を適用する。その結果、表示コンテンツの全体が一時的にぼかされ、鮮明度が下がるので、ユーザは、当該表示コンテンツに対してあらためて注目を注ぐことになる。
なお、図16の例では、図16(a)から図16(b)において、表示制御部26は、「ユーザA」が画面又は表示コンテンツに近づくにつれて、表示コンテンツ(広告)の表示領域の大きさを小さくしている。これにより、「ユーザA」は、表示コンテンツ全体を見やすくなり、表示コンテンツに対する「ユーザA」の関心が高められる。
このように、表示制御部26は、ターゲットユーザの少なくとも1人の位置に応じて、コンテンツが表示される画面の領域の位置又は大きさを制御することが好ましい。具体的には、表示制御部26は、例えば、ターゲットユーザの少なくとも1人の位置がコンテンツの表示されている位置に近いほど、コンテンツが表示される領域の大きさが小さくなるようにコンテンツを表示することが好ましい。また、例えば、表示制御部26は、例えば、ターゲットユーザの少なくとも1人の位置がコンテンツの表示されている位置に近いほど、コンテンツが表示される領域の位置がユーザに近づくようにコンテンツを表示することが好ましい。
以上のように、本実施の形態における情報表示装置20は、画面の前方に位置するユーザの中から選定されたターゲットユーザのユーザ状態に応じて、コンテンツの鮮明度又は開示度を変更することができ、ターゲットユーザとして選定されたユーザの関心を効率的に高めることができる。
また、情報表示装置20は、じらし効果によって注目を引くことができる可能性の高いユーザをターゲットユーザとして選定することができ、ユーザの関心を効率的に高めることができる。
なお、映像効果は、上記で例示したものに限られない。表示コンテンツの鮮明度又は開示度を下げてユーザを一時的にじらす効果があれば、他の映像効果であってもよい。例えば、映像効果は、ユーザの注意を引きやすいサインあるいは素材を利用した効果であってもよい。
なお、本実施の形態において、表示コンテンツの一例として広告に関するコンテンツを用いて説明したが、本発明の一態様における情報表示装置は、必ずしも広告に関するコンテンツを表示する必要はない。情報表示装置は、ユーザの関心を高めることで効果がある他のコンテンツを表示してもよい。
また、本実施の形態において、コンテンツは、画面の一部の領域に表示されていたが、図17Aに示すように、コンテンツは、画面全体に表示されてもよい。また、本実施の形態において、1つのコンテンツが画面に表示されていたが、図17Bに示すように2以上のコンテンツ(表示コンテンツA及び表示コンテンツB)が画面に表示されてもよい。この場合、情報表示装置20は、図12に示した処理をコンテンツごとに実行することが好ましい。
また、本実施の形態において、関心度推定部23は、ユーザの移動方向、移動速度、及び位置のすべてを用いて、関心度を推定していたが、ユーザの移動方向、移動速度、及び位置の少なくとも1つを用いて関心度を推定すればよい。例えば、式(3)において、ゲインg1とゲインg2とを0にすれば、関心度推定部23は、ユーザの位置と表示コンテンツの中心との距離のみに基づいて関心度kを算出することができる。
(実施の形態2の変形例)
実施の形態2の変形例における情報表示装置20は、さらにユーザの視線方向を用いて関心度を推定する点が、実施の形態2における情報表示装置20と異なる。以下、実施の形態2と異なる点を中心に、本変形例について、図面を参照しながら説明する。
図8に示した実施の形態2における情報表示装置20と同様に、本変形例における情報表示装置20は、ユーザ識別部21と、ユーザ状態検出部22と、関心度推定部23と、ターゲットユーザ選定部24と、コンテンツデータベース25と、表示制御部26と、表示部27とを備える。なお、ユーザ状態検出部22及び関心度推定部23以外の構成要素は、実施の形態2と同様であるので、説明を省略する。
ユーザ状態検出部22は、さらに、ユーザの視線方向をユーザ状態として検出する。具体的な視線方向の検出方法については後述する。
関心度推定部23は、検出されたユーザの視線方向が、ユーザから画面を代表する位置へ向かう方向、又はユーザからコンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定する。具体的には、関心度推定部23は、式(3)の右辺に、さらにユーザの視線方向に関する第4項を加えた式(5)を用いて関心度を算出する。式(5)の第4項は、ユーザの視線方向の単位ベクトルである視線方向ベクトル
Figure 2010070882
と画面との交点から表示コンテンツの中心までの距離tに1を加算した値の逆数であり、ユーザが表示コンテンツの中心の方向を見るほど大きな値となる。
Figure 2010070882
ここで、g4は、g1、g2及びg3と同様に、ゲインであり、0以上の実数である。
なお、距離tは、視線方向ベクトルと画面との交点から表示コンテンツの中心までの距離ではなく、視線方向ベクトルと画面との交点から画面の中心までの距離であってもよい。この場合、関心度は、ユーザが画面の中心の方向を見るほど大きくなる。また、距離tは、視線方向ベクトルと画面との交点から表示コンテンツの一部が示す画像の中心までの距離であってもよい。この場合、関心度は、ユーザが表示コンテンツの一部が示す画像の中心の方向を見るほど大きくなる。
次に、ユーザ状態検出部22による視線方向の検出方法について、図18を用いて説明する。
図18は、本発明の実施の形態2の変形例における視線方向の検出に関する処理の流れを示すフローチャートである。つまり、図18は、ユーザ状態検出部22によるユーザ状態の検出処理(図12のステップS204)の一部を示す。
図18に示すように、ユーザ状態検出部22は、ユーザの顔の向きを検出する処理(S510)の結果と、顔の向きに対する相対的な視線方向である相対視線方向を検出する処理(S530)の結果とに基づいて、視線方向を検出する(S550)。
そこでまず、ユーザの顔の向きを検出する処理(S510)について以下に説明する。
まず、ユーザ状態検出部22は、ユーザ検出カメラ60によって撮影された、画面の前方に存在するユーザの画像から顔領域の検出を行う(S512)。次に、ユーザ状態検出部22は、検出された顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す(S514)。
そして、ユーザ状態検出部22は、切り出された領域画像と、あらかじめ保持されたテンプレート画像との相関度を計算する(S516)。続いて、ユーザ状態検出部22は、各基準顔向きが示す角度を、計算された相関度に応じて重み付けして加算した重み付け和を求め、これを検出した顔領域に対応するユーザの顔の向きとして検出する(S518)。
以上のように、ユーザ状態検出部22は、ステップS512〜ステップS518の処理を実行することにより、ユーザの顔の向きを検出する。
次に、相対視線方向を検出する処理(S530)について説明する。
まず、ユーザ状態検出部22は、ユーザ検出カメラ60によって撮影された画像を用いて、ユーザの左右の目頭の3次元位置を検出する(S532)。続いて、ユーザ状態検出部22は、ユーザ検出カメラ60によって撮影された画像を用いて、ユーザの左右の黒目中心の3次元位置を検出する(S534)。そして、ユーザ状態検出部22は、左右の目頭の3次元位置から得られる視線方向基準面と左右の黒目中心の3次元位置とを用いて、相対視線方向を検出する(S536)。
以上のように、ユーザ状態検出部22は、ステップS532〜ステップS536の処理を実行することにより、相対視線方向を検出する。
そして、ユーザ状態検出部22は、上記のように検出された、ユーザの顔の向きと相対視線方向とを用いて、ユーザの視線方向を検出する。
次に、図19〜図21Bを用いて視線方向の検出処理の詳細を説明する。
図19は、本発明の実施の形態2の変形例におけるユーザの顔の向きを検出する処理を説明するための図である。
まず、ユーザ状態検出部22は、図19(a)に示すように、各基準顔向きに対応した顔部品特徴点の領域を記憶している顔部品領域DBから、顔部品特徴点の領域を読み出す。続いて、ユーザ状態検出部22は、図19(b)に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。
そして、ユーザ状態検出部22は、図19(c)に示すように、切り出された領域画像と、顔部品領域テンプレートDBに保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、ユーザ状態検出部22は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、ユーザ状態検出部22は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。
続いて、ユーザ状態検出部22は、図19(d)に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔の向きとして検出する。図19(d)の例では、基準顔向き+20度に対する重みが「0.85」、0度に対する重みが「0.14」、−20度に対する重みが「0.01」であるので、ユーザ状態検出部22は、顔の向きを16.8度(=20×0.85+0×0.14+(−20)×0.01)と検出する。
なお、本変形例では、ユーザ状態検出部22は、顔部品特徴点の領域画像を対象として相関度を計算したが、必ずしも顔部品特徴点の領域画像を対象とする必要はない。例えば、ユーザ状態検出部22は、顔領域全体の画像を対象として相関度を計算してもよい。
また、顔の向きを検出するその他の方法としては、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔の向きを計算する方法がある。顔部品特徴点の位置関係から顔向きを計算する方法としては、1つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の3次元モデルを回転・拡大縮小してマッチングし、得られた3次元モデルの回転量から顔向きを計算する方法がある。また、顔部品特徴点の位置関係から顔向きを計算する他の方法として、2台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の3次元位置を計算し、得られた顔部品特徴点の位置関係から顔の向きを計算する方法がある。具体的には例えば、両目及び口の3次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。
次に、相対視線方向を検出する方法について、図20、図21A及び図21Bを用いて説明する。本変形例では、ユーザ状態検出部22は、まず視線方向基準面を検出し、次に黒目中心の3次元位置を検出し、最後に相対視線方向を検出する。
まず、視線方向基準面の検出について説明する。
図20は、視線方向基準面について説明するための図である。本変形例では、ユーザ状態検出部22は、左右の目頭(左目及び右目の鼻側の端点)の3次元位置を検出することにより、視線方向基準面を検出する。
視線方向基準面は、相対視線方向を検出する際に基準となる面であり、図20に示すように顔の左右対称面と同一である。なお、目頭の位置は、目尻、口角、あるいは眉などの他の顔部品の位置に比べて、表情による変動が少なく、また誤検出が少ない。したがって、本変形例では、ユーザ状態検出部22は、顔の左右対称面である視線方向基準面を目頭の3次元位置を用いて検出する。
具体的には、ユーザ状態検出部22は、第1のユーザ検出カメラ60a及び第2のユーザ検出カメラ60bで同時に撮影された2枚の画像のそれぞれにおいて、顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、ユーザ状態検出部22は、検出した目頭領域の画像間の位置のずれ(視差)を利用して、左右の目頭それぞれの3次元位置を検出する。さらに、ユーザ状態検出部22は、図20に示すように、検出した左右の目頭の3次元位置を端点とする線分の垂直二等分面を視線方向基準面として検出する。
次に、黒目中心の検出に関して説明する。
図21A及び図21Bは、黒目中心の検出について説明するための図である。
人は、対象物からの光が瞳孔を通って網膜に届き、電気信号に変換され、その電気信号が脳に伝達されることにより、対象物を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒又は茶色であるので、画像処理によって瞳孔と虹彩とを判別することが難しい。また、瞳孔の中心と黒目(瞳孔及び虹彩の両方を含む)の中心とは、ほぼ一致する。そこで本変形例では、ユーザ状態検出部22は、相対視線方向を検出する際に、黒目中心の検出を行う。
ユーザ状態検出部22は、まず、撮影された画像から目尻と目頭との位置を検出する。そして、ユーザ状態検出部22は、図21Aに示すような、目尻と目頭とを含む領域の画像から、輝度が小さい領域を、黒目領域として検出する。具体的には、ユーザ状態検出部22は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。
次に、ユーザ状態検出部22は、図21Bに示すような、第1領域と第2領域とからなる黒目検出フィルタを黒目領域の任意の位置に設定する。そして、ユーザ状態検出部22は、第1領域内の画素の輝度と第2領域内の画素の輝度との領域間分散が最大となるような黒目検出フィルタの位置を探索し、探索結果が示す位置を黒目中心として検出する。ユーザ状態検出部22は、上記と同様に、同時に撮影された2枚の画像における黒目中心の位置のずれを利用して、黒目中心の3次元位置を検出する。
最後に、相対視線方向の検出について説明する。
ユーザ状態検出部22は、検出した視線方向基準面と、黒目中心の3次元位置とを用いて、相対視線方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約24mmである。したがって、基準となる方向(例えば正面)を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心位置までの変位を求めることで視線方向に変換算出することができる。
従来手法では基準となる方向を向いた時の黒目中心の位置が既知ではないため、キャリブレーションを必要としていた。しかし、本手法では、正面を向いたときは、左右の黒目中心を結んだ線分の中点が、顔の中心、すなわち視線方向基準面上に存在することを利用する。つまり、ユーザ状態検出部22は、左右の黒目中心を結んだ線分の中点と視線方向基準面との距離を算出することにより、相対視線方向を検出する。
具体的には、ユーザ状態検出部22は、眼球半径Rと左右の黒目中心を結んだ線分の中点と視線方向基準面との距離dとを用いて、式(6)に示すように、顔の向きに対する左右方向の回転角θを相対視線方向として検出する。
Figure 2010070882
以上のように、ユーザ状態検出部22は、視線方向基準面と黒目中心の3次元位置とを用いて、相対視線方向を検出する。そして、ユーザ状態検出部22は、検出された顔の向きと相対視線方向とを用いて、ユーザの視線方向を検出する。
以上のように、本変形例における情報表示装置20は、ユーザの視線方向を簡易に検出することができ、検出した視線方向を用いて関心度を高精度に推定することができる。
なお、本変形例において、関心度推定部23は、ユーザの移動方向、移動速度、位置、及び視線方向のすべてを用いて、関心度を推定していたが、必ずしもすべてを用いて関心度を推定する必要はない。例えば、式(5)において、ゲインg1とゲインg2とゲインg3とを0にすれば、関心度推定部23は、ユーザの視線方向のみに基づいて関心度kを算出することができる。
なお、上記実施の形態2又はその変形例において、情報表示装置20は、距離s又は距離tを用いて、移動方向又は視線方向と、ユーザからコンテンツが表示されている位置へ向かう方向との近さを数値化していたが、他の方法により数値化してもよい。例えば、情報表示装置20は、移動方向又は視線方向と、ユーザからコンテンツが表示されている位置へ向かう方向とが成す角度(−180度〜180度)の絶対値を用いて、移動方向又は視線方向と、ユーザからコンテンツが表示されている位置へ向かう方向との近さを数値化してもよい。
以上、本発明の一態様における情報表示装置について実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態又はその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態又はその変形例に施したもの、あるいは異なる実施の形態又はその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、上記実施の形態において、情報表示装置は、プラズマディスプレイパネル又は液晶パネルなどの画面を備えていたが、必ずしも画面を備える必要はない。例えば、情報表示装置は、スクリーン又は壁面などの投影面にコンテンツを投影するプロジェクタなどであってもよい。
さらに、本発明は、以下のように変形することもできる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAM又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
(2)上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
(3)上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAM、などから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す情報表示装置が備える特徴的な構成部の動作をステップとする方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読取可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD―ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明の一態様における情報表示装置は、表示コンテンツの開示度又は鮮明度を変更することにより、ユーザの表示コンテンツに対する関心度を高めることができるので、広告等のユーザの注意を引き付けたいコンテンツを表示する情報表示装置、例えば屋外電子広告(デジタル・サイネージ)あるいは大画面テレビ等として利用することができる。
10、20 情報表示装置
11、22 ユーザ状態検出部
12、23 関心度推定部
13、26 表示制御部
14、27 表示部
21 ユーザ識別部
24 ターゲットユーザ選定部
25 コンテンツデータベース
26a アプリケーション制御部
26b 画面描画部
60 ユーザ検出カメラ
60a 第1のユーザ検出カメラ
60b 第2のユーザ検出カメラ

Claims (15)

  1. 第1コンテンツを画面に表示する表示部と、
    前記画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出するユーザ状態検出部と、
    前記ユーザ状態検出部によって検出されたユーザ状態に基づいて、前記表示部によって画面に表示された第1コンテンツに対するユーザの関心度合いを示す関心度を推定する関心度推定部と、
    前記関心度推定部によって推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、第2コンテンツを前記表示部に表示させる表示制御部とを備える
    情報表示装置。
  2. 前記表示制御部は、さらに、前記関心度推定部によって推定された関心度の変化率の大きさが第2閾値を超えたときに、前記画面に表示された第2コンテンツの鮮明度又は開示度を上げる
    請求項1に記載の情報表示装置。
  3. 前記表示制御部は、さらに、前記関心度推定部によって推定された関心度が第3閾値を超えたときに、前記画面に表示された第2コンテンツの鮮明度又は開示度を上げる
    請求項1に記載の情報表示装置。
  4. 前記表示制御部は、前記関心度推定部によって推定された関心度の変化率の大きさが前記第1閾値未満であって、かつ、前記関心度推定部によって推定された関心度の変化率の大きさが前記第1閾値未満である状態が所定時間継続している場合、前記第2コンテンツを前記表示部に表示させる
    請求項1に記載の情報表示装置。
  5. 前記ユーザ状態検出部は、前記ユーザの移動方向を前記ユーザ状態として検出し、
    前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの移動方向が、当該ユーザから前記画面を代表する位置へ向かう方向、又は当該ユーザから前記第1コンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定する
    請求項1に記載の情報表示装置。
  6. 前記ユーザ状態検出部は、前記ユーザの移動速度を前記ユーザ状態として検出し、
    前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの移動速度が小さいほど、関心度が高いと推定する
    請求項1に記載の情報表示装置。
  7. 前記ユーザ状態検出部は、前記ユーザの位置を前記ユーザ状態として検出し、
    前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの位置と前記第1コンテンツが表示されている位置との距離が小さいほど関心度が高いと推定する
    請求項1に記載の情報表示装置。
  8. 前記ユーザ状態検出部は、ユーザの視線方向を前記ユーザ状態として検出し、
    前記関心度推定部は、前記ユーザ状態検出部によって検出されたユーザの視線方向が、当該ユーザから前記画面を代表する位置へ向かう方向、又は当該ユーザから前記第1コンテンツが表示されている位置へ向かう方向に近いほど、関心度が高いと推定する
    請求項1に記載の情報表示装置。
  9. さらに、前記画面の前方に位置するユーザの中からターゲットユーザを選定するターゲットユーザ選定部を備え、
    前記表示制御部は、前記ターゲットユーザ選定部によって選定されたターゲットユーザの関心度の変化率の大きさが前記第1閾値未満である場合、前記第2コンテンツを前記表示部に表示させる
    請求項1に記載の情報表示装置。
  10. 前記ターゲットユーザ選定部は、前記関心度推定部によって推定された関心度が第4閾値以上である場合、当該関心度に対応するユーザをターゲットユーザとして選定する
    請求項9に記載の情報表示装置。
  11. 前記ターゲットユーザ選定部は、前記第1コンテンツが表示されている位置とユーザの位置との距離が第5閾値未満である場合、当該ユーザをターゲットユーザとして選定する
    請求項9に記載の情報表示装置。
  12. さらに、前記第2コンテンツの一部であってユーザに見せようとしている情報である本質情報を示す部分の位置を示す適用領域を少なくとも記憶しているコンテンツデータベースを備え、
    前記表示制御部は、前記コンテンツデータベースに記憶された前記第2コンテンツの適応領域の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、前記第2コンテンツを前記表示部に表示させる
    請求項1に記載の情報表示装置。
  13. 前記予め定められた鮮明度又は開示度は、前記第1コンテンツの鮮明度又は開示度であり、
    前記表示制御部は、前記第1コンテンツを前記第2コンテンツとして前記表示部に表示させる
    請求項1に記載の情報表示装置。
  14. 第1コンテンツを画面に表示する第1の表示ステップと、
    前記画面の前方に位置するユーザの物理的な状態であるユーザ状態を検出するユーザ状態検出ステップと、
    前記ユーザ状態検出ステップにおいて検出されたユーザ状態に基づいて、前記表示ステップにおいて画面に表示された第1コンテンツに対するユーザの関心度合いを示す関心度を推定する関心度推定ステップと、
    前記関心度推定ステップにおいて推定された関心度の変化率の大きさが第1閾値未満である場合、少なくとも一部の領域の鮮明度又は開示度が予め定められた鮮明度又は開示度よりも低い状態で、第2コンテンツを表示する第2の表示ステップとを含む
    情報表示方法。
  15. 請求項14に記載の情報表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
JP2010525093A 2008-12-16 2009-12-15 情報表示装置及び情報表示方法 Active JP5518713B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010525093A JP5518713B2 (ja) 2008-12-16 2009-12-15 情報表示装置及び情報表示方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008319228 2008-12-16
JP2008319228 2008-12-16
PCT/JP2009/006884 WO2010070882A1 (ja) 2008-12-16 2009-12-15 情報表示装置及び情報表示方法
JP2010525093A JP5518713B2 (ja) 2008-12-16 2009-12-15 情報表示装置及び情報表示方法

Publications (2)

Publication Number Publication Date
JPWO2010070882A1 true JPWO2010070882A1 (ja) 2012-05-24
JP5518713B2 JP5518713B2 (ja) 2014-06-11

Family

ID=42268562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010525093A Active JP5518713B2 (ja) 2008-12-16 2009-12-15 情報表示装置及び情報表示方法

Country Status (6)

Country Link
US (1) US8421782B2 (ja)
EP (1) EP2360663B1 (ja)
JP (1) JP5518713B2 (ja)
KR (1) KR101596975B1 (ja)
CN (1) CN101946274B (ja)
WO (1) WO2010070882A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061981A (ja) * 2014-09-18 2016-04-25 カシオ計算機株式会社 情報出力装置、情報出力方法、およびプログラム

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2515206B1 (en) * 2009-12-14 2019-08-14 Panasonic Intellectual Property Corporation of America User interface apparatus and input method
KR101694820B1 (ko) * 2010-05-07 2017-01-23 삼성전자주식회사 사용자 위치 인식 방법 및 장치
JP2012083669A (ja) * 2010-10-14 2012-04-26 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置、情報提示方法および情報提示プログラム
KR101858531B1 (ko) * 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
WO2012105196A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 関心度推定装置および関心度推定方法
JP2012165181A (ja) * 2011-02-07 2012-08-30 Sony Corp 映像再生装置と映像再生方法およびプログラム
CA2828123C (en) 2011-02-23 2019-06-18 Ayuda Media Systems Inc. Pay per look billing method and system for out-of-home advertisement
JP2012186621A (ja) * 2011-03-04 2012-09-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
WO2012175785A1 (en) * 2011-06-20 2012-12-27 Nokia Corporation Methods, apparatuses and computer program products for performing accurate pose estimation of objects
JP5932253B2 (ja) * 2011-07-12 2016-06-08 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体
JP5863423B2 (ja) 2011-11-30 2016-02-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10402879B2 (en) 2011-12-30 2019-09-03 Adidas Ag Offering a customized collection of products
US9690368B2 (en) 2011-12-30 2017-06-27 Adidas Ag Customization based on physiological data
ITMI20120061A1 (it) * 2012-01-20 2013-07-21 Palo Leonardo De Sistema di acquisizione automatica del numero degli spettatori presenti davanti al televisore e inoltro ad un server per l elaborazione dei dati acquisiti.
JP5668031B2 (ja) * 2012-07-25 2015-02-12 東芝テック株式会社 表示制御装置及び表示制御プログラム
US9485459B2 (en) * 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
US9654563B2 (en) 2012-12-14 2017-05-16 Biscotti Inc. Virtual remote functionality
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
JP6116273B2 (ja) * 2013-02-13 2017-04-19 三菱電機株式会社 広告提示装置
JP2015064513A (ja) * 2013-09-26 2015-04-09 カシオ計算機株式会社 表示装置、コンテンツ表示方法及びプログラム
CN106464959B (zh) 2014-06-10 2019-07-26 株式会社索思未来 半导体集成电路和具备该半导体集成电路的显示装置及控制方法
KR101649896B1 (ko) * 2014-08-18 2016-08-23 강민정 콘텐츠 제공장치
US10129312B2 (en) * 2014-09-11 2018-11-13 Microsoft Technology Licensing, Llc Dynamic video streaming based on viewer activity
CN105824400A (zh) * 2015-01-06 2016-08-03 索尼公司 电子设备的控制方法、控制装置以及电子设备
US9521143B2 (en) * 2015-02-20 2016-12-13 Qualcomm Incorporated Content control at gateway based on audience
EP3277359B1 (en) 2015-03-31 2024-01-31 Signify Holding B.V. Lighting system and method for improving the alertness of a person
US20160307227A1 (en) * 2015-04-14 2016-10-20 Ebay Inc. Passing observer sensitive publication systems
JP6614547B2 (ja) * 2015-08-17 2019-12-04 パナソニックIpマネジメント株式会社 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
JP6109288B2 (ja) * 2015-12-21 2017-04-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101744940B1 (ko) 2016-01-20 2017-06-08 서강대학교산학협력단 디지털 사이니지 시스템에서 상황인지형 컨텐츠 추천장치
EP3475759A4 (en) * 2016-06-23 2020-04-22 Outernets, Inc. INTERACTIVE CONTENT MANAGEMENT
CA3125871C (en) * 2016-06-24 2024-06-11 The Nielsen Company (Us), Llc Invertible metering apparatus and related methods
US10178433B2 (en) 2016-06-24 2019-01-08 The Nielsen Company (Us), Llc Invertible metering apparatus and related methods
US10405036B2 (en) 2016-06-24 2019-09-03 The Nielsen Company (Us), Llc Invertible metering apparatus and related methods
US9984380B2 (en) 2016-06-24 2018-05-29 The Nielsen Company (Us), Llc. Metering apparatus and related methods
EP3501014A1 (en) 2016-08-17 2019-06-26 VID SCALE, Inc. Secondary content insertion in 360-degree video
JP6304348B2 (ja) * 2016-11-14 2018-04-04 カシオ計算機株式会社 コンテンツ出力装置及びプログラム
US20200389700A1 (en) * 2017-09-04 2020-12-10 Sony Corporation Information processing apparatus and method, and program
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
US11188944B2 (en) 2017-12-04 2021-11-30 At&T Intellectual Property I, L.P. Apparatus and methods for adaptive signage
US20210023704A1 (en) * 2018-04-10 2021-01-28 Sony Corporation Information processing apparatus, information processing method, and robot apparatus
JP2020113075A (ja) * 2019-01-11 2020-07-27 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP7159135B2 (ja) * 2019-09-18 2022-10-24 デジタル・アドバタイジング・コンソーシアム株式会社 プログラム、情報処理方法及び情報処理装置
KR20210062955A (ko) * 2019-11-22 2021-06-01 엘지전자 주식회사 사용자인식에 기반한 디바이스의 제어
JP7316664B2 (ja) 2020-02-03 2023-07-28 マルコムホールディングス株式会社 対話ユーザの感情情報の提供装置
KR102284806B1 (ko) * 2021-04-29 2021-08-03 (주)비상정보통신 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법
CN114416272B (zh) * 2022-02-07 2024-04-05 神策网络科技(北京)有限公司 图形组件显示方法、装置、存储介质及电子设备
WO2024166619A1 (ja) * 2023-02-07 2024-08-15 パナソニックIpマネジメント株式会社 情報処理方法および情報処理システム
CN118395503B (zh) * 2024-06-24 2024-10-29 广东方天软件科技股份有限公司 基于同态加密的用户隐私保护方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943049A (en) 1995-04-27 1999-08-24 Casio Computer Co., Ltd. Image processor for displayed message, balloon, and character's face
JP3671258B2 (ja) 1995-04-27 2005-07-13 カシオ計算機株式会社 画像処理装置
JP2783212B2 (ja) 1995-09-08 1998-08-06 日本電気株式会社 情報提示装置
JPH1013605A (ja) 1996-06-19 1998-01-16 Star Micronics Co Ltd 電子式情報表示装置
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
JP2894307B2 (ja) 1996-12-19 1999-05-24 日本電気株式会社 情報表示装置
JPH10187747A (ja) 1996-12-26 1998-07-21 Digital Vision Lab:Kk 情報提示方法及び装置、情報表示装置及び音声出力装置
JPH11276461A (ja) 1998-03-27 1999-10-12 Suzuki Motor Corp 注意力測定装置及びこれを用いた情報提示装置
JPH11296542A (ja) 1998-04-14 1999-10-29 Nec Corp 情報表示装置及びその表示方法並びにその制御プログラムを記録した記録媒体
JPH10320093A (ja) 1998-05-22 1998-12-04 Nec Corp メッセージ出力制御方法
JP2001043384A (ja) * 1999-07-29 2001-02-16 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報空間の入力方法及び入力装置及び入出力連携方法及び入出力連携装置及び入力プログラム及び入出力連携プログラムを記録した記録媒体
DE19951001C2 (de) 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
JP2001216527A (ja) 2000-02-04 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体
JP2001306941A (ja) 2000-02-15 2001-11-02 Web Port:Kk コンピュータネットワークを用いた広告方法、広告システムおよび記録媒体
GB0012132D0 (en) * 2000-05-20 2000-07-12 Hewlett Packard Co Targeted information display
KR100579121B1 (ko) 2000-06-16 2006-05-12 가부시끼가이샤 도시바 광고분배방법 및 광고분배장치
JP3707361B2 (ja) 2000-06-28 2005-10-19 日本ビクター株式会社 情報提供サーバ及び情報提供方法
JP2002023685A (ja) 2000-07-10 2002-01-23 Matsushita Electric Ind Co Ltd 電光表示装置
JP2002041537A (ja) 2000-07-31 2002-02-08 Nec Corp 広告提示システム
JP2002063264A (ja) 2000-08-17 2002-02-28 Fujitsu Ltd 広告情報提供システム及び方法、並びに、広告情報提供プログラムを記録したコンピュータ読取可能な記録媒体
JP3770374B2 (ja) 2000-10-16 2006-04-26 シャープ株式会社 画像表示装置
JP2001273064A (ja) 2001-01-24 2001-10-05 Casio Comput Co Ltd 画像表示制御装置及び画像表示制御方法
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP2003058086A (ja) 2001-08-10 2003-02-28 Event Kogaku Kenkyusho:Kk ネットワーク上での商品・サービス・広告情報の提供方法、この方法を用いた情報提供システム及びそのコンピュータプログラム
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
JP2003216635A (ja) 2002-01-17 2003-07-31 Nippon Telegraph & Telephone East Corp エージェント情報提示装置
JP2003263145A (ja) 2002-03-07 2003-09-19 Pioneer Electronic Corp 情報表示装置
JP2003271283A (ja) 2002-03-19 2003-09-26 Fuji Xerox Co Ltd 情報表示装置
JP3968778B2 (ja) 2002-10-17 2007-08-29 横河電機株式会社 アラーム表示装置
JP2004185139A (ja) 2002-11-29 2004-07-02 Fuji Photo Film Co Ltd 表示システム及び表示装置の制御方法
JP2004246709A (ja) 2003-02-14 2004-09-02 Fuji Xerox Co Ltd 情報可視化装置、方法およびプログラム
JP2004310554A (ja) 2003-04-08 2004-11-04 Tokyo Electric Power Co Inc:The 画像データインターフェースシステム、インターフェース方法、インターフェースプログラム
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
JP4328136B2 (ja) 2003-06-19 2009-09-09 国立大学法人 奈良先端科学技術大学院大学 関心度推定装置
JP4140898B2 (ja) 2003-08-20 2008-08-27 日本電信電話株式会社 情報提示装置および情報提示装置の使用方法
JP2005115476A (ja) 2003-10-03 2005-04-28 Canon Inc 情報出力装置、リンク報知方法、プログラム、及び記憶媒体
JP4110323B2 (ja) 2003-11-27 2008-07-02 日本電信電話株式会社 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
WO2005071656A1 (en) 2004-01-20 2005-08-04 Koninklijke Philips Electronics, N.V. Message board with dynamic message relocation
JP4481682B2 (ja) 2004-02-25 2010-06-16 キヤノン株式会社 情報処理装置及びその制御方法
JP2005250322A (ja) 2004-03-08 2005-09-15 Matsushita Electric Ind Co Ltd 表示装置
JP4838499B2 (ja) 2004-05-21 2011-12-14 オリンパス株式会社 ユーザ支援装置
JP4911557B2 (ja) 2004-09-16 2012-04-04 株式会社リコー 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体
JP2006236013A (ja) 2005-02-25 2006-09-07 Nippon Telegr & Teleph Corp <Ntt> 環境的情報提示装置、環境的情報提示方法およびこの方法のプログラム
JP2006330912A (ja) 2005-05-24 2006-12-07 Toshiba Corp 情報処理装置およびプログラム
JP2007133305A (ja) 2005-11-14 2007-05-31 Nippon Telegr & Teleph Corp <Ntt> 情報表示制御装置および情報表示制御方法
JP2007133304A (ja) 2005-11-14 2007-05-31 Nippon Telegr & Teleph Corp <Ntt> 情報表示制御装置および情報表示制御方法
US20070150916A1 (en) 2005-12-28 2007-06-28 James Begole Using sensors to provide feedback on the access of digital content
JP4779673B2 (ja) 2006-01-30 2011-09-28 トヨタ自動車株式会社 情報提供装置
JP2007272369A (ja) * 2006-03-30 2007-10-18 Advanced Telecommunication Research Institute International コンテンツ提示装置
US8775252B2 (en) * 2006-05-04 2014-07-08 National Ict Australia Limited Electronic media system
US20070271580A1 (en) 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
JP2008141484A (ja) 2006-12-01 2008-06-19 Sanyo Electric Co Ltd 画像再生システム及び映像信号供給装置
US7556377B2 (en) * 2007-09-28 2009-07-07 International Business Machines Corporation System and method of detecting eye fixations using adaptive thresholds
JP5412743B2 (ja) * 2008-03-31 2014-02-12 大日本印刷株式会社 電子popシステム、サーバ、プログラム
JP5481954B2 (ja) * 2008-06-16 2014-04-23 大日本印刷株式会社 処理装置、処理方法、プログラム及びセンサシステム
US20100107184A1 (en) * 2008-10-23 2010-04-29 Peter Rae Shintani TV with eye detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061981A (ja) * 2014-09-18 2016-04-25 カシオ計算機株式会社 情報出力装置、情報出力方法、およびプログラム

Also Published As

Publication number Publication date
KR101596975B1 (ko) 2016-02-23
EP2360663A1 (en) 2011-08-24
EP2360663B1 (en) 2016-04-20
US8421782B2 (en) 2013-04-16
KR20110098988A (ko) 2011-09-05
CN101946274A (zh) 2011-01-12
WO2010070882A1 (ja) 2010-06-24
CN101946274B (zh) 2013-08-28
US20110050656A1 (en) 2011-03-03
JP5518713B2 (ja) 2014-06-11
EP2360663A4 (en) 2012-09-05

Similar Documents

Publication Publication Date Title
JP5518713B2 (ja) 情報表示装置及び情報表示方法
EP2395420B1 (en) Information display device and information display method
US9424467B2 (en) Gaze tracking and recognition with image location
US20120011454A1 (en) Method and system for intelligently mining data during communication streams to present context-sensitive advertisements using background substitution
US20130100140A1 (en) Human body and facial animation systems with 3d camera and method thereof
JP2007052304A (ja) 映像表示システム
TWI620098B (zh) 頭戴式裝置以及導覽方法
KR20160121287A (ko) 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
US12112449B2 (en) Camera-based transparent display
US20160231809A1 (en) Information processing device, information processing method, and program
JP2010102235A (ja) 電子広告システム
WO2016158001A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP5370380B2 (ja) 映像表示方法および映像表示装置
US20230010947A1 (en) Electronic apparatus, and method for displaying image on display device
CN110958463A (zh) 虚拟礼物展示位置的检测、合成方法、装置和设备
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
US11205405B2 (en) Content arrangements on mirrored displays
JP5426441B2 (ja) 広告画像表示装置、広告画像表示方法
JP2020101897A (ja) 情報処理装置、情報処理方法及びプログラム
Orlosky Depth based interaction and field of view manipulation for augmented reality
US11119313B1 (en) Imaging systems and methods for expanding field of view of captured images
JP2016062184A (ja) 動画像生成システム、動画像生成装置、動画像生成方法、及びコンピュータプログラム
CN107491172A (zh) 体感数据获取方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140402

R151 Written notification of patent or utility model registration

Ref document number: 5518713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350