JP6213077B2 - 情報処理装置、コンテンツ配信システム及びプログラム - Google Patents

情報処理装置、コンテンツ配信システム及びプログラム Download PDF

Info

Publication number
JP6213077B2
JP6213077B2 JP2013184956A JP2013184956A JP6213077B2 JP 6213077 B2 JP6213077 B2 JP 6213077B2 JP 2013184956 A JP2013184956 A JP 2013184956A JP 2013184956 A JP2013184956 A JP 2013184956A JP 6213077 B2 JP6213077 B2 JP 6213077B2
Authority
JP
Japan
Prior art keywords
item
operator
ambiguity
unit
attractiveness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013184956A
Other languages
English (en)
Other versions
JP2015052879A (ja
Inventor
英里奈 市川
英里奈 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013184956A priority Critical patent/JP6213077B2/ja
Publication of JP2015052879A publication Critical patent/JP2015052879A/ja
Application granted granted Critical
Publication of JP6213077B2 publication Critical patent/JP6213077B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理装置、コンテンツ配信システム及びプログラムに関する。
従来、自動販売機において商品に対応して設けられた複数のスイッチの操作の履歴データを記憶しておき、履歴データに基づいて商品の売上げの集計や売れ筋傾向を把握する技術が知られている(例えば、特許文献1参照)。
特開平8−287328号公報
しかしながら、特許文献1に記載の技術では、実際に購入する商品として選択されてスイッチが操作された商品しか履歴に残らず、商品を選択する過程での購入者の嗜好や感情的な迷いは反映されていない。
店舗などで電子メニューや電子アンケート調査等の項目を選択するシステムにおいても同様に、選択された項目しかデータとして残らない。そのため、選択者の嗜好や感情的な迷いを汲み取り、実際に選択された項目以外の項目にもどれだけ人が惹きつけられているのかを把握して、マーケティングや商品開発、コンテンツ投影などに利用するということができなかった。
本発明の課題は、実際に選択された以外の項目にもどれだけ人が惹きつけられているのかを把握できるようにすることである。
上記課題を解決するため、請求項1に記載の発明の情報処理装置は、
複数の項目のうち何れかを選択項目として選択するための操作手段と、
操作者が前記操作手段により前記選択項目を選択するまでの動作を示す情報を取得する取得手段と、
前記取得手段により取得された前記操作者の動作を示す情報に基づいて、前記操作者が前記選択項目を選択するまでの前記各項目に対する迷い度を算出する迷い度算出手段と、
前記迷い度算出手段により算出された前記選択項目に対する迷い度と前記選択項目以外の他の項目に対する迷い度と予め定められた閾値とに基づいて、前記各項目の魅力度を算出する魅力度算出手段と、
を備える。
本発明によれば、実際に選択された以外の項目にもどれだけ人が惹きつけられているのかを把握することが可能となる。
本実施形態におけるコンテンツ配信システムの全体構成を示す図である。 図1のデジタルサイネージ装置の機能的構成を示すブロック図である。 図2のスクリーン部の概略構成を示す図である。 図1のサーバ装置の機能的構成を示すブロック図である。 選択画面の一例を示す図である。 図2の制御部により実行される項目評価処理を示すフローチャートである。 図2の制御部により実行される初期注目項目決定処理Aを示すフローチャートである。 図2の制御部により実行される初期注目項目決定処理Bを示すフローチャートである。 図2の制御部により実行される初期注目項目決定処理Cを示すフローチャートである。 図2の制御部により実行される迷い度算出処理Aを示すフローチャートである。 図2の制御部により実行される迷い度算出処理Bを示すフローチャートである。 図2の制御部により実行される迷い度算出処理Cを示すフローチャートである。 図2の制御部により実行される魅力度算出処理を示すフローチャートである。 各項目の迷い度を棒グラフ化して示す図である。 図4の制御部により実行されるコンテンツ自動配信設定処理を示すフローチャートである。 各項目の総合魅力度を棒グラフ化して示す図である。
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
図1は発明の実施形態のコンテンツ配信システム1の概略構成を示すブロック図である。コンテンツ配信システム1には、デジタルサイネージ装置2と、通信ネットワークNを介してデジタルサイネージ装置2に通信自在なサーバ装置4とが備えられている。なお、デジタルサイネージ装置2の数は、特に限定されない。
[デジタルサイネージ装置2]
デジタルサイネージ装置2は、店舗などに設置され、コンテンツを再生する情報処理装置である。
図2はデジタルサイネージ装置2の主制御構成を示すブロック図である。
デジタルサイネージ装置2は、コンテンツの映像光を照射する投影部21と、投影部21から照射された映像光を背面で受けて前面に投影するスクリーン部22とを備えている。
まず、投影部21について説明する。
投影部21は、制御部23と、プロジェクタ24と、記憶部25と、通信部26と、計時部35と、を備えている。プロジェクタ24、記憶部25、通信部26、計時部35は、図2に示すように制御部23に接続されている。
制御部23は、記憶部25に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うCPU(Central Processing Unit)とプログラム実行時の作業領域となるメモリとを備えている(いずれも図示略)。制御部23は、迷い度算出手段、決定手段、計測手段、魅力度算出手段として機能する。また、撮像部30、音声入力部34、第1センサ36との協働により取得手段として機能する。
プロジェクタ24は、制御部23から出力された映像データの画像データを映像光に変換してスクリーン部22に向けて照射する。
記憶部25は、HDD(Hard Disk Drive)や不揮発性の半導体メモリ等により構成される。記憶部25には、図2に示すように、プログラム記憶部251、項目フレーズ記憶部252、ボタンフレーズ記憶部253、項目・ボタン対応付け記憶部254、ポジティブフレーズ記憶部255等が設けられている。
プログラム記憶部251は、制御部23で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等を記憶する。
項目フレーズ記憶部252は、スクリーン部22の画像形成部27に表示される選択画面271(図5参照)の各項目を識別するための項目番号に対応付けて、その項目に関係するフレーズ(例えば、コンテンツ名等)のテキストデータを記憶する。
ボタンフレーズ記憶部253は、後述する操作部32の各ボタンを識別するためのボタン番号に対応付けて、そのボタンに関係するフレーズ(例えば、操作ボタンの番号、位置(右から○番目等)、色、外形等)のテキストデータを記憶する。
項目・ボタン対応付け記憶部254は、選択画面271上に表示される各項目と操作部32の各操作ボタンとの対応関係を記憶する。なお、ここでは、項目番号とボタン番号は対応している。
ポジティブフレーズ記憶部255は、コンテンツに対してポジティブな(肯定的な)フレーズ(例えば、楽しい、面白い、インパクトがある、すごい等)のテキストデータを記憶する。
通信部26は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークN上のサーバ装置4等の外部機器との通信を行う。
計時部35は、RTC(Real Time Clock)等により構成され、現在日時情報を取得して制御部23に出力する。
次に、スクリーン部22について説明する。
図3は、スクリーン部22の概略構成を示す正面図である。図3に示すようにスクリーン部22には、画像形成部27と、画像形成部27を支持する台座28とが備えられている。
画像形成部27は、映像光の照射方向に対して略直交する例えばアクリル板などの一枚の透光板29により形成されている。透光板29の背面には背面投影用のフィルムスクリーンが積層され、なおかつフィルムスクリーンの背面にはフィルム状のフレネルレンズが積層されている。この画像形成部27と前述したプロジェクタ24とにより表示手段を構成している。
画像形成部27の上部には、撮影手段として、例えばカメラなどの撮像部30が設けられている。この撮像部30が画像形成部27に対向する空間の映像をリアルタイムに撮像して画像データ(動画データ)を生成する。撮像部30は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。
カメラの光学系は、画像形成部27の前にいる操作部32の操作者を撮像可能な方向に向けられている。また、その撮像素子は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を2次元の画像信号に変換する。
台座28には、操作手段としてのボタン式の操作部32と、音声を出力するスピーカなどの音声出力部33と、音声を電気信号に変換して入力するマイクロフォン等の音声入力部34と、赤外線や超音波によりスクリーン部22の前方の所定範囲内(操作部32が操作できる範囲内)における人の存在を検知する第2センサ37と、が設けられている。操作部32の各ボタンには、ボタン番号が付与されており、それぞれの色は異なっている。
また、操作部32の各ボタンに対応して、第1センサ36が設けられている。第1センサ36のそれぞれは、対応するボタンから所定範囲内に手指が近づいた(即ち、指差しが行われた)ことを検知するためのセンサである。第1センサ36のそれぞれは、例えば、測距センサと比較器等により構成され、測距センサから出力されるセンサ値(ボタンからの距離を示す値)が予め定められた閾値を下回る場合に、検知信号を制御部23に出力する。
撮像部30、操作部32、音声出力部33、音声入力部34、第1センサ36、及び第2センサ37は、図2に示すように制御部23に接続されている。
[サーバ装置4]
図4はサーバ装置4の主制御構成を示すブロック図である。
サーバ装置4は、制御部41と、表示部42と、入力部43と、通信部44と、記憶部45と、計時部46と、を備えて構成されている。表示部42、入力部43、通信部44、記憶部45、計時部46は、制御部41に接続されている。
制御部41は、各種のプログラムを実行して所定の演算や各部の制御を行うCPUとプログラム実行時の作業領域となるメモリとを備えている(いずれも図示略)。制御部41は、総合魅力度算出手段、配信設定手段として機能する。
表示部42は、LCD(Liquid Crystal Display)等で構成され、制御部41から入力される表示情報に応じて各種表示を行う。
入力部43はキーボードとマウス等のポインティングデバイスとからなり、サーバ装置4の管理者による入力を受け付けてその操作情報を制御部41に出力する。
通信部44は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークN上のデジタルサイネージ装置2等の外部機器との通信を行う。
記憶部45は、HDD(Hard Disk Drive)、不揮発性の半導体メモリ等により構成される。記憶部45には、図4に示すように、プログラム記憶部451、映像データ記憶部452、魅力度データ記憶部453、配信設定記憶部454等が設けられている。
プログラム記憶部451は、制御部41で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等を記憶する。
映像データ記憶部452は、デジタルサイネージ装置2で再生されるコンテンツの映像データを記憶する。映像データは、動画データを構成する複数のフレーム画像の画像データ及び各フレーム画像に対応する音声データにより構成されている。ここでは、コンテンツ1〜コンテンツ6の映像データが記憶されていることとする。
魅力度データ記憶部453は、記憶手段として、映像データ記憶部452に記憶されている各コンテンツの魅力度を蓄積記憶する。
配信設定記憶部454は、デジタルサイネージ装置2に配信するコンテンツ1〜コンテンツ6の配信設定情報(配信時刻、配信するコンテンツ(の番号)、配信順序等)を記憶する。なお、デフォルトではコンテンツ1〜コンテンツ6がこの順に配信する設定がされているものとする。
[コンテンツ配信システム1の動作]
次に、コンテンツ配信システム1の動作について説明する。
サーバ装置4の制御部41は、コンテンツを配信する時間帯が到来すると、配信設定記憶部454に記憶されている配信設定情報に基づいて、記憶部45の映像データ記憶部452から配信するコンテンツの映像データを読み出して、通信部44によりデジタルサイネージ装置2に送信する。デジタルサイネージ装置2の制御部23は、通信部26を介してサーバ装置4から配信された映像データの画像データをプロジェクタ24に、音声データを音声出力部33に出力し、スクリーン部22により再生させる。
また、デジタルサイネージ装置2の制御部23は、コンテンツの再生されていない時間帯等に、現在サーバ装置4から配信中の複数のコンテンツのうち最も良かったコンテンツを選択するための選択画面271をプロジェクタ24によりスクリーン部22の画像形成部27に表示させる。図5に、選択画面271の一例を示す。図5に示すように、選択画面271には「最も良かったコンテンツを選んでください」等のメッセージ271aと、配信期間中の複数コンテンツのそれぞれを選択するための項目(コンテンツ番号)271bと、が表示されている。また、各項目の表示部分には、各項目のコンテンツの代表画像が表示されている。
また、制御部23は、選択画面271の表示中に、後述する項目評価処理を実行し、操作部32の操作者の動作を解析して、操作者が選択項目を選択するまでの各項目に対する迷い度合いを数値化した迷い度を算出し、算出した各項目に対する迷い度に基づいて、操作者が各項目に感じた魅力の度合いを数値化した魅力度を算出する。
図6に、項目評価処理を示すフローチャートを示す。項目評価処理は、制御部23と記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により実行される。
まず、制御部23は、第2センサ37により人物の存在が検知されるのを待機する(ステップT1)。第2センサ37により人物の存在が検知されると(ステップT1;YES)、制御部23は、初期注目項目決定処理を実行する(ステップT2)。
初期注目項目決定処理は、人物(操作者)を検知してから所定時間(例えば、5秒)経過するまでの間、操作者の動作を示す情報を取得して解析を行い、操作者が初期に注目した(見た、指差した、発言した)項目(初期注目項目と呼ぶ)を決定する処理である。即ち、わずかな時間で操作者が惹かれた項目を決定する処理である。
初期注目項目決定処理としては、図7に示す初期注目項目決定処理A(瞳利用)、図8に示す初期注目項目決定処理B(指利用)、又は図9に示す初期注目項目決定処理C(発言利用)を実行することができる。
初期注目項目決定処理A(瞳利用)は、操作者の動作を示す情報として、操作者の視線方向を示す情報を取得し、操作者の視線方向を示す情報に基づいて、初期注目項目を決定する処理である。
初期注目決定処理B(指利用)は、操作者の動作示す情報として、操作者が指差した方向を示す情報を取得し、操作者が指差した方向を示す情報に基づいて、初期注目項目を決定する処理である。
初期注目項目決定処理C(発言利用)は、操作者の動作示す情報として、操作者の発言を示す情報を取得し、操作者の発言を示す情報に基づいて、初期注目項目を決定する処理である。
初期注目項目決定処理としては、上記3つのうち、何れかひとつを実行しても良いし、複数を並行して実行して処理結果を合算してもよい。何れの処理を実行するか、或いは合算するかは、予め設定されている。以下、初期注目項目決定処理A(瞳利用)、初期注目決定処理B(指利用)、初期注目項目決定処理C(発言利用)についてそれぞれ説明する。
図7に、初期注目項目決定処理A(瞳利用)のフローチャートを示す。初期注目項目決定処理Aは、制御部23と記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により実行される。
まず、制御部23は、撮像部30を起動させ、操作者の動画撮影を開始する(ステップS1)。なお、取り込まれた動画データ(各フレーム画像の画像データ)は、順次制御部23のメモリ内の一時記憶領域に記憶される。
次いで、制御部23は、メモリ内に各項目のカウンタ領域を設定して初期化する(ステップS2)。
次いで、制御部23は、撮像部30により取り込まれたフレーム画像を順次処理対象としてステップS3〜S6の処理を行う。
まず、制御部23は、処理対象のフレーム画像を解析して瞳検出を行い(ステップS3)、検出した瞳の位置に基づいて、操作者の視線方向を検出する(ステップS4)。フレーム画像からの瞳(黒目)の検出は、例えば、低輝度の円形領域を抽出することにより行うことができる。また、視線方向の検出は、例えば、特開2006−141862号公報のように、画像形成部27に表示された各項目や操作部32のそれぞれの操作ボタンを見ている人物を撮像部30により撮影した基準画像における黒目の中心の位置の座標を予め取得して記憶部25に記憶しておき、各基準画像から取得した座標位置と処理対象のフレーム画像から検出した黒目の中心の位置とに基づいて検出することができる。なお、瞳検出及び視線方向の検出の手法は、その他の公知の技術を用いても良く、特に限定されない。
次いで、制御部23は、検出された視線の方向が、何れかの項目または何れかの項目に対応するボタン(操作部32のボタン。以下同じ)の方向であるか否かを判断する(ステップS5)。視線の方向が、何れかの項目又は何れかの項目に対応するボタンの方向であると判断した場合(ステップS5;YES)、制御部23は、視線方向の項目又は視線方向のボタンに対応する項目のカウンタを1カウントアップ(加算)し(ステップS6)、ステップS7の処理に移行する。
視線の方向が、何れかの項目又は何れかの項目に対応するボタンの方向ではないと判断した場合(ステップS5;NO)、制御部23は、ステップS7の処理に移行する。
ステップS7において、制御部23は、図6のステップT1で操作者が検知されてから所定時間が経過したか否かを判断する(ステップS7)。操作者が検知されてから所定時間が経過していないと判断した場合(ステップS7;NO)、制御部23は、ステップS3に戻り、次のフレーム画像についてステップS3〜ステップS6の処理を実行する。
操作者が検知されてから所定時間が経過したと判断した場合(ステップS7;YES)、制御部23は、最もカウント数の多かった項目を初期注目項目として決定してメモリ内に記憶し(ステップS8)、初期注目項目決定処理Aを終了する。
図8に、初期注目項目決定処理B(指利用)のフローチャートを示す。初期注目項目決定処理Bは、制御部23と記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により実行される。
まず、制御部23は、撮像部30を起動させ、操作者の動画撮影を開始する(ステップS11)。なお、取り込まれた動画データ(各フレーム画像の画像データ)は、順次制御部23のメモリ内の一時記憶領域に記憶される。
次いで制御部23は、メモリ内に各項目のカウンタ領域を設定して初期化する(ステップS12)。
次いで、制御部23は、撮像部30により取り込まれたフレーム画像を順次処理対象としてステップS13〜S17の処理を行う。
まず、制御部23は、処理対象のフレーム画像を解析し、肌色認識を行い(ステップS13)、認識した肌色と形状から操作者の手指の位置を特定する(ステップS14)。例えば、撮像部30から取得されるRGB表色系のフレーム画像の画像データをHSV表色系に変換し、HSV表色系において肌色とされる範囲に含まれるHSV値のうち、最も広い範囲を占める色を操作者の肌色として認識することができる。また、手指の形状の基準画像を予め記憶部25に記憶しておき、認識された肌色の領域であって、基準画像の手指の形状に近い領域の位置を手指の位置として特定することができる。
次いで、制御部23は、特定された手指の位置に基づいて、操作者が指差している方向を検出する(ステップS15)。操作者が指差している方向の検出は、例えば、操作部32のそれぞれの操作ボタンを指している人物を撮像部30により撮影した基準画像における手指の位置の座標(例えば、指の先端の座標)を予め取得して記憶部25に記憶しておき、各基準画像から取得した座標位置と処理対象のフレーム画像から検出した手指の位置とに基づいて検出することができる。
次いで、制御部23は、検出された方向が、何れかの項目に対応するボタンの方向であるか否かを判断する(ステップS16)。検出された方向が、何れかの項目に対応するボタンの方向であると判断した場合(ステップS16;YES)、制御部23は、検出された方向のボタンに対応する項目のカウンタを1カウントアップし(ステップS17)、ステップS18の処理に移行する。
検出された方向が、何れかの項目に対応するボタンの方向ではないと判断した場合(ステップS16;NO)、制御部23は、ステップS18の処理に移行する。
ステップS18において、制御部23は、図6のステップT1で操作者が検知されてから所定時間が経過したか否かを判断する(ステップS18)。操作者が検知されてから所定時間が経過していないと判断した場合(ステップS18;NO)、制御部23は、ステップS13に戻り、次のフレーム画像についてステップS13〜ステップS17の処理を実行する。
操作者が検知されてから所定時間が経過したと判断した場合(ステップS18;YES)、制御部23は、最もカウント数の多かった項目を初期注目項目として決定してメモリ内に記憶し(ステップS19)、初期注目項目決定処理Bを終了する。
図9に、初期注目項目決定処理C(発言利用)のフローチャートを示す。初期注目項目決定処理Cは、制御部23と記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により実行される。
まず、制御部23は、音声入力部34を起動させ、スクリーン部22の前にいる操作者の音声の取り込みを開始する(ステップS21)。なお、取り込まれた音声データは、順次制御部23のメモリ内の一時記憶領域に記憶される。
次いで制御部23は、メモリ内に各項目のカウンタ領域を設定して初期化する(ステップS22)。
次いで、制御部23は、取り込まれた音声データに対してステップS23〜S26の処理を行う。
まず、制御部23は、音声入力部34により取り込まれた音声データに基づいて音声認識を行い、音声を、発言内容を示すテキストデータに変換する(ステップS23)。例えば、文字(列)のテキストデータとその文字を発音したときの音声信号の特徴を予め対応付けて記憶部25に記憶しておき、音声データに基づく音声信号と記憶部25に記憶されている音声信号の特徴とを比較して最も近い特徴の音声信号に対応するテキストデータに変換する。
次いで、制御部23は、変換されたテキストデータと、項目フレーズ記憶部252及びボタンフレーズ記憶部253に記憶されているフレーズのテキストデータとを照合し(ステップS24)、照合結果に基づいて、何れかの項目についての発言であるか否かを判断する(ステップS25)。具体的には、変換されたテキストデータからフレーズを検出し、検出されたフレーズと項目フレーズ記憶部252及びボタンフレーズ記憶部253に記憶されているフレーズとを照合し、一致した場合に、何れかの項目についての発言であると判断する。何れかの項目についての発言であると判断した場合(ステップS25;YES)、制御部23は、その発言に対応する項目のカウンタを1カウントアップし(ステップS26)、ステップS27の処理に移行する。
何れかの項目に対応する発言ではないと判断した場合(ステップS25;NO)、制御部23は、ステップS27の処理に移行する。
ステップS27において、制御部23は、図6のステップT1で操作者が検知されてから所定時間が経過したか否かを判断する(ステップS27)。操作者が検知されてから所定時間が経過していないと判断した場合(ステップS27;NO)、制御部23は、ステップS23に戻り、音声入力部34から入力される音声ついてステップS23〜ステップS26の処理を実行する。
操作者が検知されてから所定時間が経過したと判断した場合(ステップS27;YES)、制御部23は、最もカウント数の多かった項目を初期注目項目として決定してメモリ内に記憶し(ステップS28)、初期注目項目決定処理Cを終了する。
初期注目項目決定処理A〜Cのうち複数の処理結果を合算する場合、処理開始から所定時間が経過した時点の各処理におけるカウント数を項目毎に合算し、合算したカウント数の最も多かった項目を初期注目項目として決定する。なお、何れかの処理結果に重みを付けることとしてもよい。また、最もカウント数の多かった上位n個(nは正の整数)を初期注目項目としてもよい。
図6に戻り、初期注目項目決定処理が終了すると、制御部23は、迷い度算出処理を実行する(ステップT3)。
迷い度算出処理は、初期の所定時間経過後、選択項目を選択するまでの時間の操作者の動作を示す情報を取得して解析し、初期注目項目決定処理で決定された初期注目項目と、操作者が各項目に注目した(見た、指差した、発言した)時間とに基づいて操作者の各項目に対する迷い度を算出する処理である。
ステップS3では、図10に示す迷い度算出処理A(瞳利用)、図11に示す迷い度算出処理B(指利用)、又は図12に示す迷い度算出処理C(発言利用)の何れかを実行することができる。何れの処理を実行するかは、予め設定されている。また、複数の処理の処理結果を合算することとしてもよい。以下、迷い度算出処理A(瞳利用)、迷い度算出処理B(指利用)、迷い度算出処理C(発言利用)についてそれぞれ説明する。
図10に、迷い度算出処理A(瞳利用)のフローチャートを示す。迷い度算出処理Aは、制御部23と記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により実行される。なお、撮像部30においては動画撮影中であるものとして説明する。
まず、制御部23は、メモリ内の各項目のカウンタ領域を初期化する(ステップS41)。
次いで、制御部23は、撮像部30から取り込まれたフレーム画像を解析して瞳検出を行い(ステップS42)、検出した瞳の位置に基づいて、操作者の視線方向を検出する(ステップS43)。
次いで、制御部23は、検出された視線の方向が、何れかの項目または何れかの項目に対応するボタンの方向であるか否かを判断する(ステップS44)。視線の方向が、何れかの項目又は何れかの項目に対応するボタンの方向ではないと判断した場合(ステップS44;NO)、制御部23は、ステップS42の処理に戻る。
視線の方向が、何れかの項目又は何れかの項目に対応するボタンの方向であると判断した場合(ステップS44;YES)、制御部23は、内部クロックにより時間計測を開始し(ステップS45)、撮像部30から順次取り込まれるフレーム画像を解析して視線方向を検出し、視線方向がその項目から離れた(逸れた)か否かを判断する(ステップS46)。視線方向がその項目から離れたと判断するまで、制御部23は、フレーム画像の解析を続行し、視線方向がその項目から離れたと判断した場合(ステップS46;YES)、制御部23は、時間計測を終了する(ステップS47)。
次いで、制御部23は、視線方向が向いていた(操作者が見ていた)項目が初期注目項目決定処理で決定された初期注目項目であるか否かを判断する(ステップS48)。視線方向が向いていた項目が初期注目項目であると判断した場合(ステップS48;YES)、制御部23は、視線方向が向いていた項目のカウンタに、計測された時間(その項目に視線方向が向いていた時間)に応じた数値をカウントアップし(ステップS49)、ステップS53の処理に移行する。例えば、m秒(mは正の数)毎に数値を1カウントアップする。
一方、操作者が見ていた項目が初期注目項目ではないと判断した場合(ステップS48;NO)、制御部23は、計測された時間が予め定められた基準時間以上であるか否かを判断する(ステップS50)。
計測された時間が予め定められた基準時間以上であると判断した場合(ステップS50;YES)、制御部23は、視線方向が向いていた項目のカウンタに、計測された時間に応じた数値から予め定められた数値(例えば、2、3)を指し引いた数値をカウントアップし(ステップS51)、ステップS53の処理に移行する。
計測された時間が予め定められた基準時間に満たないと判断した場合(ステップS50;NO)、制御部23は、視線方向が向いていた項目のカウンタに、計測された時間に関係なく1をカウントアップし(ステップS52)、ステップS53の処理に移行する。
ステップS53において、制御部23は、操作部32の何れかのボタンが操作されたか否か、即ち、操作部32により項目のうちの一つが選択項目として選択されたか否かを判断する(ステップS53)。操作部32により選択項目が選択されていないと判断した場合(ステップS53;NO)、制御部23は、ステップS42の処理に戻り、ステップS42〜ステップS52の処理を繰り返し実行する。操作部32により選択項目が選択されたと判断した場合(ステップS53;YES)、制御部23は、操作部32により選択された選択項目をメモリに記憶するとともに、各項目のカウンタ領域の値を操作者の各項目に対する迷い度の値としてメモリに記憶し(ステップS54)、迷い度算出処理Aを終了する。
ここで、初期注目項目と決定された項目は、初期の段階から操作者が注目していた(惹かれていた)項目であり、その後においてもその項目を見ていた場合は、その項目を有力な選択候補として位置づけて迷っていた時間と考えられるので、その項目を見ていた時間に応じた数値をそのまま迷い度に反映させるようにしている。
初期注目項目と決定されなかった項目は、初めは操作者が注目していなかった項目であるが、その後、操作者がその項目を基準時間以上見ていた場合は、検討していくにつれて選択候補としての迷いがでてきたと考えられるので、その項目を見ていた時間に応じた数値から少し差し引いた値を迷い度に反映させるようにしている。
初期注目項目と決定されなかった項目であって、見ていた時間が基準時間に満たなかった項目は、確認程度にその項目を見ただけと考えられるので、見た時間に関係なく、1回につき1を迷い度に反映させるようにしている。
図11に、迷い度算出処理B(指利用)のフローチャートを示す。迷い度算出処理Bは、制御部23と記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により実行される。
まず、制御部23は、メモリ内の各項目のカウンタ領域を初期化する(ステップS61)。
次いで、制御部23は、何れかの第1センサ36が反応する(検知信号が出力される)のを待機する(ステップS62)。
何れかの第1センサ36が反応したと判断した場合(ステップS62;YES)、制御部23は、内部クロックにより時間計測を開始し(ステップS63)、その第1センサ36(反応したセンサ)がOFFとなる(検知信号が出力されなくなる)のを待機する(ステップS64)。その第1センサ36がOFFとなった場合(ステップS64;YES)、制御部23は、時間計測を終了する(ステップS65)。
次いで、制御部23は、反応した第1センサ36に対応するボタン(操作部32のボタン。以下同じ)の項目が初期注目項目決定処理で決定された初期注目項目であるか否かを判断する(ステップS66)。反応した第1センサ36に対応するボタンの項目が初期注目項目であると判断した場合(ステップS66;YES)、制御部23は、反応した第1センサ36に対応するボタンの項目のカウンタに、計測された時間(即ち、操作者が対応する操作ボタンを指差していた時間)に応じた数値をカウントアップし(ステップS67)、ステップS71の処理に移行する。例えば、m秒(mは正の数)毎に数値を1カウントアップする。
一方、反応した第1センサ36に対応するボタンの項目が初期注目項目ではないと判断した場合(ステップS66;NO)、制御部23は、計測された時間が予め定められた基準時間以上であるか否かを判断する(ステップS68)。
計測された時間が予め定められた基準時間以上であると判断した場合(ステップS68;YES)、制御部23は、反応した第1センサ36に対応するボタンの項目のカウンタに、計測された時間に応じた数値から予め定められた数値(例えば、2、3)を指し引いた数値をカウントアップし(ステップS69)、ステップS71の処理に移行する。
計測された時間が予め定められた基準時間に満たないと判断した場合(ステップS68;NO)、制御部23は、反応した第1センサ36に対応するボタンの項目のカウンタに、計測された時間に関係なく1をカウントアップし(ステップS70)、ステップS71の処理に移行する。
ステップS71において、制御部23は、ステップS53において、制御部23は、操作部32の何れかのボタンが操作されたか否か、即ち、操作部32により項目のうちの一つが選択項目として選択されたか否かを判断する(ステップS71)。操作部32により選択項目が選択されていないと判断した場合(ステップS71;NO)、制御部23は、ステップS62の処理に戻り、ステップS62〜ステップS70の処理を繰り返し実行する。操作部32により選択項目が選択されたと判断した場合(ステップS71;YES)、制御部23は、操作部32により選択された選択項目をメモリに記憶するとともに、各項目のカウンタ領域の値を操作者の各項目に対する迷い度の値としてメモリに記憶し(ステップS72)、迷い度算出処理Bを終了する。
ここで、初期注目項目と決定された項目は、初期の段階から操作者が注目していた(惹かれていた)項目であり、その後においてもその項目のボタンを指差していた場合は、その項目を有力な選択候補として位置づけて迷っていた時間と考えられるので、その項目を指差していた時間に応じた数値をそのまま迷い度に反映させるようにしている。
初期注目項目と決定されなかった項目は、初めは操作者が注目していなかった項目であるが、その後においてその項目のボタンを基準時間以上指差していた場合は、検討していくにつれて選択候補としての迷いがでてきたと考えられるので、その項目を指差していた時間に応じた数値から少し差し引いた値を迷い度に反映させるようにしている。
初期注目項目と決定されなかった項目であって、その項目のボタンを指差していた時間が基準時間に満たなかった項目は、確認程度にその項目を指差しただけと考えられるので、指差した時間に関係なく、1回につき1を迷い度に反映するようにしている。
図12に、迷い度算出処理C(発言利用)のフローチャートを示す。迷い度算出処理Cは、制御部23と記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により実行される。なお、音声入力部34は起動されているものとする。
まず、制御部23は、メモリ内の各項目のカウンタ領域を初期化する(ステップS81)。
次いで、制御部23は、音声入力部34から入力された音声の認識処理を行い、入力された音声をテキストデータに変換する(ステップS82)。
次いで、制御部23は、認識した音声のテキストデータと、項目フレーズ記憶部252に記憶されているフレーズのテキストデータとを照合し、認識した音声に含まれるフレーズが項目に関するフレーズと一致したか否かを判断する(ステップS83)。
認識した音声に含まれるフレーズが項目に関するフレーズと一致したと判断した場合(ステップS83;YES)、制御部23は、その項目を話されている項目と判定し、話されている項目をメモリに記憶し(ステップS85)、ステップS86の処理に移行する。
認識した音声に含まれるフレーズが項目に関するフレーズと一致していないと判断した場合(ステップS83;NO)、制御部23は、認識した音声のテキストデータと、ボタンフレーズ記憶部253に記憶されているフレーズのテキストデータとを照合し、認識した音声に含まれるフレーズが操作部32のボタンに関するフレーズと一致したか否かを判断する(ステップS84)。
認識した音声に含まれるフレーズが操作部32のボタンに関するフレーズと一致していないと判断した場合(ステップS84;NO)、制御部23は、ステップS82の処理に戻る。
認識した音声に含まれるフレーズが操作部32のボタンに関するフレーズと一致したと判断した場合(ステップS84;YES)、制御部23は、項目・ボタン対応付け記憶部254に記憶されている項目とボタンとの対応関係に基づいて、どの項目に関するフレーズが話されているかを判定し、話されている項目をメモリに記憶し(ステップS85)、ステップS86の処理に移行する。
ステップS86において、制御部23は、内部クロックにより時間計測を開始し(ステップS86)、音声入力部34から入力された音声の認識処理を行い、入力された音声をテキストデータに変換する(ステップS87)。
次いで、制御部23は、認識した音声のテキストデータと、ポジティブフレーズ記憶部255に記憶されているフレーズのテキストデータとを照合し、認識した音声に、ポジティブフレーズと一致するフレーズがあるか否かを判断する(ステップS87)。なお、完全一致のみならず、予め定められた範囲内で語尾が不一致のものも一致していると判断される。
認識した音声に、ポジティブフレーズと一致するフレーズがあると判断した場合(ステップS88;YES)、制御部23は、メモリの所定領域にフラグ1を設定し(ステップS89)、ステップS90の処理に移行する。認識した音声に、ポジティブフレーズと一致するフレーズがないと判断した場合(ステップS88;YES)、制御部23は、ステップS90の処理に移行する。
ステップS90において、制御部23は、音声入力部34から入力された波形を解析し、入力された音声に予め定められた所定時間の空白が存在したか、又は、音声が変化したかを判断する(ステップS90)。
入力された音声に予め定められた所定時間の空白が存在せず、音声も変化していないと判断した場合(ステップS90;NO)、制御部23は、ステップS87の処理に戻る。
一方、入力された音声に予め定められた所定時間の空白が存在した、又は、音声が変化したと判断した場合(ステップS90;YES)、制御部23は、時間の計測を終了し(ステップS91)、メモリの所定領域にフラグ1が設定されているか否かを判断する(ステップS92)。即ち、ポジティブフレーズが話されたか否かを判断する。
フラグ1が設定されていると判断した場合、即ち、ポジティブフレーズが話されたと判断した場合(ステップS92;YES)、制御部23は、ステップS85で判定された、話されていた項目が初期注目項目決定処理で決定された初期注目項目であるか否かを判断する(ステップS93)。話されていた項目が初期注目項目であると判断した場合(ステップS93;YES)、制御部23は、話されていた項目のカウンタに、計測された時間に応じた数値をカウントアップし(ステップS94)、ステップS98の処理に移行する。例えば、m秒(mは正の数)毎に数値を1カウントアップする。
一方、話されていた項目が初期注目項目ではないと判断した場合(ステップS93;NO)、制御部23は、計測された時間(その項目が話されていた時間)が予め定められた基準時間以上であるか否かを判断する(ステップS95)。
計測された時間が予め定められた基準時間以上であると判断した場合(ステップS95;YES)、制御部23は、話されていた項目のカウンタに、計測された時間に応じた数値から予め定められた数値(例えば、2、3)を指し引いた数値をカウントアップし(ステップS96)、ステップS98の処理に移行する。
計測された時間が予め定められた基準時間に満たないと判断した場合(ステップS95;NO)、制御部23は、話されていた項目のカウンタに、話されていた時間に関係なく1をカウントアップし(ステップS97)、ステップS98の処理に移行する。
ステップS98において、制御部23は、メモリ内の所定領域のフラグを消去する(ステップS98)。次いで、制御部23は、操作部32の何れかのボタンが操作されたか否か、即ち、操作部32により項目のうちの一つが選択されたか否かを判断する(ステップS99)。操作部32により項目のうちの一つが選択されていないと判断した場合(ステップS99;NO)、制御部23は、ステップS82の処理に戻り、ステップS82〜ステップS98の処理を繰り返し実行する。操作部32により項目のうちの一つが選択されたと判断した場合(ステップS99;YES)、制御部23は、操作部32により選択された選択項目をメモリに記憶するとともに、各項目のカウンタ領域の値を操作者の各項目に対する迷い度としてメモリに記憶し(ステップS100)、迷い度算出処理Cを終了する。
ここで、初期注目項目と判定された項目は、初期の段階から操作者が注目していた(惹かれていた)項目であり、その後においてその項目についてポジティブなフレーズを含む発言をしていた場合は、その項目を有力な選択候補として位置づけて迷っていた時間と考えられるので、その項目について話していた時間に応じた数値をそのまま迷い度に反映させるようにしている。
初期注目項目と判定されなかった項目は、初めは操作者が注目してなかった項目であるが、その後においてその項目について基準時間以上ポジティブなフレーズを含む発言をしていた場合は、検討していくにつれて選択候補としての迷いがでてきたと考えられるので、その項目について話していた時間に応じた数値から少し差し引いた値を迷い度に反映させるようにしている。
初期注目項目と判定されなかった項目であって、その項目についてポジティブフレーズを含む発言をしていた時間が基準時間に満たなかった項目は、選択候補としての迷いは少ないと考えられるので、話している時間に関係なく、1を迷い度に反映するようにしている。
図6に戻り、迷い度算出処理が終了すると、制御部23は、魅力度算出処理を実行する(ステップT4)。
魅力度算出処理では、操作部32により選択された選択項目に対する迷い度と予め定められた閾値との比較結果、及び、選択項目に対する迷い度と選択項目以外の他の項目に対する迷い度との比較結果に応じた所定の演算処理を各項目に対する迷い度に施すことにより、各項目の魅力度を算出する。
図13に、魅力度算出処理のフローチャートを示す。魅力度算出処理は、制御部23と記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により実行される。なお、以下の説明において、操作者の各項目に対する迷い度を各項目の迷い度と呼ぶ。
まず、制御部23は、迷い度算出処理の処理結果において、選択項目の迷い度がトップ(最大)であるか否かを判断する(ステップS110)。
選択項目の迷い度がトップであると判断した場合(ステップS110)、制御部23は、選択項目の迷い度が予め定められた閾値TH1以下であるか否かを判断する(ステップS111)。選択項目の迷い度が予め定められた閾値TH1以下であると判断した場合(ステップS111;YES)、制御部23は、選択項目と他の項目の迷い度に、予め定められた閾値TH2以上の差があるか否かを判断する(ステップS112)。予め定められた閾値TH2以上の差があると判断した場合(ステップS112;YES)、制御部23は、選択項目の迷い度に、その迷い度に応じた重み係数を乗算して選択項目の魅力度を算出するとともに、選択項目以外の項目の迷い度に0を乗算して選択項目以外の項目の魅力度を算出し(ステップS113)、魅力度算出処理を終了する。なお、重み付け係数は、1以上であり、迷い度が小さいほど大きくなるように設定されている。迷い度と重み付け係数とを対応付けたテーブルを記憶部25に記憶しておき、このテーブルに基づいて、迷い度に応じた重み付け係数を特定することとしてもよい。
図14(a)は、選択された選択項目1(コンテンツ1)の迷い度がトップで、選択項目1の迷い度が所定の閾値TH1以下であり、選択項目1の迷い度と他の項目2〜6(コンテンツ2〜6)の迷い度との差が所定の閾値TH2以上である場合の各項目の迷い度を棒グラフとして示したものである。図14(a)に示すような場合、操作者は、あまり長い時間迷うことなく選択項目1を選択しており、かつ、他の項目と比べて圧倒的に選択項目1に注目している時間は長い。即ち、操作者は、選択項目1に圧倒的に魅力を感じており、他の項目に気をとられることなく即決したと考えられる。そこで、選択項目1に対しては、算出された迷い度に、その迷い度に応じた重み付係数(迷い度が小さいほど大きい)を乗算して魅力度を算出する。他の項目に対しては、ほとんど魅力を感じていないと考えられるので、他の項目の迷い度に0を乗算して魅力度を0とする。
選択項目の迷い度がトップであり、選択項目の迷い度が予め定められた閾値TH1以下であるが、選択項目と他の項目の迷い度に予め定められた閾値TH2以上の差がないと判断した場合(ステップS112;NO)、制御部23は、選択項目の迷い度に、その迷い度に応じた重み係数を乗算して選択項目の魅力度を算出するとともに、選択項目以外の項目の迷い度に1を乗算して選択項目以外の項目の魅力度を算出し(ステップS114)、魅力度算出処理を終了する。なお、ステップS114で使用される重み係数は、1以上であり、迷い度が小さいほど大きくなるように設定されている。また、ステップS113で使用される重み係数よりも全体的に小さい値となっている。
図14(b)は、選択項目1の迷い度がトップで、選択項目1の迷い度が所定の閾値TH1以下であり、選択項目1の迷い度と他の項目2〜6の迷い度との差が所定の閾値TH2に満たない場合の各項目の迷い度を棒グラフとして示したものである。図14(b)に示すような場合、操作者は、あまり長い時間迷うことなく選択項目1を選択しているので、選択項目1に決定要素(他と比べた魅力)はあると考えられる。しかし、選択項目1以外の項目の中にも選択項目1と同じくらいの間注目していた項目がある。そこで、選択項目1に対しては、算出された迷い度に、その迷い度に応じた重み付係数(迷い度が小さいほど大きい)を乗算して魅力度を算出する。他の項目に対しては、迷い度に1を乗算して魅力度とする。
一方、選択項目の迷い度がトップであるが、選択項目の迷い度が予め定められた閾値TH1を超えていると判断した場合(ステップS111;YES)、制御部23は、選択項目と他の項目の迷い度に、予め定められた閾値TH2以上の差があるか否かを判断する(ステップS115)。予め定められた閾値TH2以上の差があると判断した場合(ステップS115;YES)、制御部23は、選択項目の迷い度に1を乗算して選択項目の魅力度を算出するとともに、選択項目以外の項目の迷い度に0を乗算して選択項目以外の項目の魅力度を算出し(ステップS116)、魅力度算出処理を終了する。
図14(c)は、選択項目1の迷い度がトップで、選択項目1の迷い度が所定の閾値TH1を超えており、選択項目1の迷い度と他の項目2〜6の迷い度との差が所定の閾値TH2以上である場合の各項目の迷い度を棒グラフとして示したものである。図14(c)に示すような場合、操作者は、ある程度長い時間迷った末に選択項目1を選択しているが、他の項目と比べて圧倒的に選択項目1に注目している時間は長い。即ち、操作者は、選択項目1に対して即決する決定要素は薄いものの、他の項目と比べて圧倒的に魅力を感じている(他の項目には魅力を感じていない)と考えられる。そこで、選択項目1に対しては、算出された迷い度に1を乗算して魅力度を算出する。他の項目に対しては、算出された迷い度に0を乗算して魅力度を0とする。
選択項目の迷い度がトップであるが、選択項目の迷い度が予め定められた閾値TH1を超えており、選択項目と他の項目の迷い度に予め定められた閾値TH2以上の差がないと判断した場合(ステップS115;NO)、制御部23は、全ての項目について、算出された迷い度に1を乗算して各項目の魅力度を算出し(ステップS117)、魅力度算出処理を終了する。
図14(d)は、選択項目1の迷い度がトップであるが、選択項目1の迷い度が所定の閾値TH1を超えており、かつ、選択項目1の迷い度と他の項目2〜6の迷い度との差が所定の閾値TH2に満たない場合の各項目の迷い度を棒グラフとして示したものである。図14(d)に示すような場合、操作者は、ある程度長い時間迷った末に選択項目1を選択しており、選択項目1に即決する決定要素は薄い。また、選択項目1以外の項目の中にも選択項目1と同じくらいの間注目していた項目がある。即ち、各項目の迷い度はそのまま各項目の魅力度を反映していると考えられる。そこで、全ての項目の迷い度に1を乗算して各項目の魅力度を算出する。
一方、選択項目の迷い度がトップではないと判断した場合(ステップS110;NO)、制御部23は、選択項目の迷い度が予め定められた閾値TH1以上であるか否かを判断する(ステップS118)。選択項目の迷い度が予め定められた閾値TH1以上であると判断した場合(ステップS118;YES)、制御部23は、選択項目とトップの項目の迷い度に、予め定められた閾値TH2以上の差があるか否かを判断する(ステップS119)。予め定められた閾値TH2以上の差がないと判断した場合(ステップS119;YES)、制御部23は、選択項目の迷い度に1を乗算して選択項目の魅力度を算出するとともに、選択項目以外の各項目の迷い度から予め定められた値だけ差し引いて選択項目以外の各項目の魅力度を算出し(ステップS120)、魅力度算出処理を終了する。
図14(e)は、選択項目1の迷い度がトップではなく、選択項目1の迷い度が所定の閾値TH1以上であり、選択項目1の迷い度とトップ項目の迷い度との差が所定の閾値TH2に満たない場合の各項目の迷い度を棒グラフとして示したものである。図14(e)に示すような場合、操作者は、迷い度がトップの項目にも大きな魅力を感じていたが、長い時間迷ってよく考えた上で、最終的に選択項目1の魅力のほうが大きいと判断して選択を行ったと考えられる。そこで、選択項目1に対しては、算出された迷い度に1を乗算して魅力度を算出する。他の項目については、選択項目1よりも魅力度を低くするため、算出された迷い度から予め定められた値だけ差し引いた値を魅力度として算出する。
選択項目の迷い度がトップではなく、選択項目の迷い度が予め定められた閾値TH1以上であるが、選択項目とトップの目の迷い度に予め定められた閾値TH2以上の差があると判断した場合(ステップS119;NO)、制御部23は、制御部23は、全ての項目について、算出された迷い度に1を乗算して各項目の魅力度を算出し(ステップS121)、魅力度算出処理を終了する。
図14(f)は、選択項目1の迷い度がトップではなく、選択項目1の迷い度が所定の閾値TH1以上であり、選択項目1のトップ項目の迷い度との差が所定の閾値TH2以上である場合の各項目の迷い度を棒グラフとして示したものである。図14(f)に示すような場合、操作者は、選択項目1についてもある程度注目したが、トップの項目の方により長く注目しており、選択項目1を選択したことは感覚的要素が強いと考えられる。即ち、各項目の迷い度はそのまま各項目の魅力度を反映していると考えられる。そこで、全ての項目の迷い度に1を乗算して各項目の魅力度を算出する。
一方、選択項目の迷い度がトップではなく、選択項目の迷い度が予め定められた閾値TH1以上ではないと判断した場合(ステップS118;NO)、制御部23は、選択項目とトップの項目の迷い度に予め定められた閾値TH2以上の差があるか否かを判断する(ステップS122)。選択項目とトップの項目の迷い度に予め定められた閾値TH2以上の差がないと判断した場合(ステップS122;YES)、制御部23は、選択項目の魅力度は選択項目の迷い度の値と判定し、選択項目以外の魅力度は、各項目の迷い度から予め定められた値だけ差し引いた値と判定し(ステップS123)、魅力度算出処理を終了する。
図14(g)は、選択項目1の迷い度がトップではなく、選択項目1の迷い度が所定の閾値TH1以上ではなく、選択項目1の迷い度とトップ項目の迷い度との差が所定の閾値TH2に満たない場合の各項目の迷い度を棒グラフとして示したものである。図14(g)に示すような場合、全体的な検討時間が少ないが、トップの項目と選択項目との迷い度の差が小さいので、迷って検討した上で、最終的に選択項目1の魅力のほうが大きいと判断して選択を行ったと考えられる。そこで、選択項目1に対しては、算出された迷い度に1を乗算して魅力度を算出する。他の項目については、選択項目1よりも魅力度を低くするため、算出された迷い度から予め定められた値だけ差し引いた値を魅力度として算出する。
一方、選択項目の迷い度がトップではなく、選択項目の迷い度が予め定められた閾値TH1以上ではなく、選択項目とトップの項目の迷い度に予め定められた閾値TH2以上の差があると判断した場合(ステップS122;NO)、制御部23は、選択項目の魅力度は選択項目の迷い度の値と判定し、選択項目以外の項目の魅力度は各項目の迷い度の値と判定し(ステップS124)、魅力度算出処理を終了する。
図14(h)は、選択項目1の迷い度がトップではなく、選択項目1の迷い度が所定の閾値TH1以上ではなく、選択項目1の迷い度とトップ項目の迷い度との差が所定の閾値TH2以上である場合の各項目の迷い度を棒グラフとして示したものである。図14(h)に示すような場合、全体的な検討時間が少なく、トップの項目と選択項目との迷い度の差が大きいので、選択項目1を選択したことは感覚的な要素が強いと考えられる。即ち、各項目の迷い度はそのまま各項目の魅力度を反映していると考えられる。そこで、全ての項目の迷い度に1を乗算して各項目の魅力度を算出する。
図6に戻り、魅力度算出処理が終了すると、制御部23は、判定された各項目の魅力度を通信部26によりサーバ装置4に送信し(ステップT5)、ステップT1の処理に戻る。
サーバ装置4の制御部41は、通信部44によりデジタルサイネージ装置2からの魅力度が受信されると、各項目の魅力度を魅力度データ記憶部453に記憶する。
次に、サーバ装置4において実行されるコンテンツ配信自動設定処理について説明する。コンテンツ配信自動設定処理は、デジタルサイネージ装置2から送信されてきた各項目の魅力度を集計して総合魅力度を算出し、総合魅力度に基づいて、コンテンツの自動配信設定を行う処理である。
図15に、コンテンツ配信自動設定処理のフローチャートを示す。コンテンツ配信自動設定処理は、入力部43によりコンテンツ配信自動設定処理の実行が指示された際に、制御部41と記憶部45のプログラム記憶部451に記憶されているプログラムとの協働により実行される。
まず、制御部41は、魅力度データ記憶部453に蓄積記憶されている魅力度を各項目毎(即ち、コンテンツ毎)に集計し、各項目(コンテンツ)について総合魅力度を算出する(ステップS201)。例えば、項目別に魅力度を加算して各項目の総合魅力度を算出する。
次いで、制御部23は、表示部42に目的設定画面(図示せず)を表示させ(ステップS202)、入力部43によりコンテンツ配信の目的が設定されるのを待機する(ステップS203)。目標設定画面は、ここでは、以下について設定する画面とする。
・「長時間人を惹き付けたい」か「店舗誘導や商品購入などの行動につなげたい」かの二者択一
・アピールしたいコンテンツがあるか否か
・アピールしたいコンテンツがある場合は、そのコンテンツID
入力部43によりコンテンツ配信の目的が設定されると(ステップS203;YES)、制御部41は、設定結果に基づいて、「長時間人を惹き付けたい」か「店舗誘導や商品購入などの行動につなげたい」の何れが選択されたかを判断する(ステップS204)。
「長時間人を惹き付けたい」が選択されたと判断した場合(ステップS204;YES)、制御部41は、個別にアピールしたいコンテンツがあるか否かを判断する(ステップS205)。個別にアピールしたいコンテンツがあると判断した場合(ステップS205;YES)、制御部41は、アピールしたいコンテンツの総合魅力度が上位N個(Nは正の整数)に該当するか否かを判断する(ステップS206)。アピールしたいコンテンツの総合魅力度が上位N個に該当すると判断した場合(ステップS206;YES)、制御部41は、アピールしたいコンテンツに、総合魅力度が高いコンテンツ(上位N個以内のコンテンツ。以下同じ。)と低いコンテンツ(下位N個以内のコンテンツ。以下同じ)を交互に隣り合わせて配信する設定を行い(ステップS207)、配信自動設定処理は終了する。配信する設定を行うとは、配信するコンテンツ及び配信する順番を含む配信設定情報を配信設定記憶部454に記憶させることである。
例えば、アピールしたいコンテンツが1で集計された総合魅力度が図16に示すグラフのとおりである場合、1・3・1・5・1・4・・・のように配信設定を行う。このように、総合魅力度の高いコンテンツと低いコンテンツを交互にアピールしたいコンテンツに隣り合わせることで、長時間人を惹きつける効果と、コンテンツの差別化ができるという効果を両立することができる。
一方、「長時間人を惹き付けたい」が選択され、個別にアピールしたいコンテンツがあると判断されたが、アピールしたいコンテンツの総合魅力度が上位N個に該当しないと判断した場合(ステップS206;NO)、制御部41は、アピールしたいコンテンツに総合魅力度が低いコンテンツを隣り合わせ、総合魅力度が高いコンテンツを時々間に入れて配信する設定を行い(ステップS208)、配信自動設定処理は終了する。
例えば、アピールしたいコンテンツが5で集計された総合魅力度が図16に示すグラフのとおりである場合、5・2・5・6・3・1・・・のように配信設定を行う。このように、アピールしたいコンテンツを総合魅力度の低めのコンテンツと隣り合わせることで、アピールしたいコンテンツを引き立たせることができる。また、時々総合魅力度の高いコンテンツを配信することで、長時間人を惹きつけることも可能となる。
一方、「長時間人を惹き付けたい」が選択されたが、個別にアピールしたいコンテンツがないと判断された場合(ステップS205;NO)、制御部41は、総合魅力度が高いコンテンツを中心に、ランダムで配信する設定を行い(ステップS209)、配信自動設定処理は終了する。
例えば、4・3・1・4・5・3・・・のように配信設定を行う。総合魅力度が高いコンテンツを中心に配信することで、人を長く惹きつけることが可能となる。
一方、「店舗誘導や商品購入などの行動につなげたい」が選択された場合(ステップS204;NO)、制御部41は、個別にアピールしたいコンテンツがあるか否かを判断する(ステップS210)。個別にアピールしたいコンテンツがあると判断した場合(ステップS210;YES)、制御部41は、アピールしたいコンテンツの総合魅力度が上位N個に該当するか否かを判断する(ステップS211)。アピールしたいコンテンツの総合魅力度が上位N個に該当すると判断した場合(ステップS211;YES)、制御部41は、総合魅力度が低いコンテンツを中心に、アピールしたいコンテンツを間に挟んで配信する設定を行い(ステップS212)、配信自動設定処理を終了する。
例えば、アピールしたいコンテンツが1で、集計された総合魅力度が図16に示すグラフのとおりである場合、1・2・5・1・6・5・・・のように配信設定を行う。アピールしたいコンテンツの総合魅力度が上位のため、総合魅力度が低いコンテンツを多めに配信することで、アピールしたいコンテンツを際立たせ、そのコンテンツの宣伝している商品購入の行動等につなげることができる。
一方、「店舗誘導や商品購入などの行動につなげたい」が選択され、個別にアピールしたいコンテンツがあると判断されたが、アピールしたいコンテンツの総合魅力度が上位N個に該当しないと判断した場合(ステップS211;NO)、制御部41は、総合魅力度が低いコンテンツを中心に、アピールしたいコンテンツの前後には総合魅力度が低いコンテンツ(アピールしたいコンテンツを除く)がくるように配信する設定を行い(ステップS213)、配信自動設定処理を終了する。
例えば、アピールしたいコンテンツが5で集計された総合魅力度が図16に示すグラフのとおりである場合、5・2・6・5・2・4・・・のように配信設定を行う。アピールしたいコンテンツを総合魅力度の低いコンテンツに隣り合わせた順序で配信することで、アピールしたいコンテンツを際立たせ、そのコンテンツの宣伝している商品購入の行動等につなげることが可能となる。
一方、「店舗誘導や商品購入などの行動につなげたい」が選択され、個別にアピールしたいコンテンツがないと選択されたと判断した場合(ステップS210;NO)、制御部41は、総合魅力度が低いコンテンツを中心に、ランダムに配信する設定を行い(ステップS214)、配信自動設定処理を終了する。総合魅力度が低いコンテンツを中心に配信することで、総合魅力度の低いコンテンツの認知度を上げることが可能となる。
以上説明したように、本実施形態におけるコンテンツ配信システム1によれば、デジタルサイネージ装置2の制御部23は、操作者が選択画面271に表示された複数の項目(コンテンツ)から選択項目(選択コンテンツ)を選択するまでの動作を示す情報(操作者の視線方向、指差しの方向、発言等を示す情報)を取得し、取得された操作者の動作を示す情報に基づいて、操作者が選択項目を選択するまでの各項目に対する迷い度を算出する。そして、操作部32により選択された選択項目に対する迷い度と予め定められた閾値との比較結果、及び、選択項目に対する迷い度と選択項目以外の他の項目に対する迷い度との比較結果に応じた所定の演算処理を各項目に対する迷い度に施すことにより、各項目の魅力度を算出する。
従って、実際に選択された選択項目以外の項目にもどれだけ人が惹きつけられているのかを把握することが可能となる。
具体的に、制御部23は、操作者の動作を示す情報に基づいて、所定時間が経過するまでの初期に操作者が注目した初期注目項目を決定し、その後に取得した操作者の動作を示す情報に基づいて、選択項目が選択されるまでの間に操作者が各項目に注目した時間を計測し、決定した初期注目項目と、操作者が各項目に注目した時間とに基づいて、操作者の各項目に対する迷い度を算出する。
従って、初期の段階で操作者に注目された初期注目項目と、選択項目を決定するまでに操作者が各項目に注目した時間とに基づいて、選択項目が選択されるまでの操作者の迷い度を算出することができる。
また、サーバ装置4の制御部41は、デジタルサイネージ装置2において算出された各項目(コンテンツ)に対する魅力度を魅力度データ記憶部453に蓄積記憶し、魅力度データ記憶部453に記憶された魅力度を項目(コンテンツ)毎に集計してコンテンツ毎に総合魅力度を算出し、算出された各コンテンツの総合魅力度に基づいて、複数のコンテンツのうちデジタルサイネージ装置2に配信するコンテンツ及びその配信順序を設定する。
従って、実際に選択されたコンテンツ以外のコンテンツにもどれだけ人が惹きつけられているのかを把握して、効果的なコンテンツ配信を行うことが可能となる。
なお、上記実施形態における記述内容は、本発明のコンテンツ配信システムの好適な一例であり、これに限定されるものではない。
例えば、上記実施形態において、初期注目決定処理においては、撮像部30により取得された撮影画像に基づいて操作者が指差した方向を示す情報を取得することとしたが、第1センサ36により操作者が指差した方向を示す情報を取得することとしてもよい。また、迷い度算出処理においては、第1センサ36により操作者が指差した方向を示す情報を取得することとしたが、撮像部30により取得された撮影画像に基づいて操作者が指差した方向を示す情報を取得することとしてもよい。
また、上記実施形態においては、コンテンツ自動配信設定処理をサーバ装置4の制御部41が行うこととしたが、デジタルサイネージ装置2の制御部23が行うこととしてもよい。即ち、操作手段、取得手段、迷い度算出手段、魅力度算出手段、記憶手段、総合魅力度算出手段、配信設定手段を全てデジタルサイネージ装置2に持たせることとしてもよい。なお、この場合、コンテンツの映像データは記憶部25に記憶されている。また、コンテンツの配信とは、制御部23からプロジェクタ24等に映像データを送信して再生させることをいう。
また、上記実施形態においては、情報処理装置をデジタルサイネージ装置とした例について説明したが、これに限定されるものではない。
また、上記実施形態においては、選択画面271に「最も良かったコンテンツを選んでください」等のメッセージを表示し、ユーザに選択を促していたが、これに限らず、例えば、自動販売機のように商品を表示し、ユーザが購入した場合などにも適用可能である。
その他、コンテンツ配信システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
複数の項目のうち何れかを選択項目として選択するための操作手段と、
前記操作手段の操作者が前記選択項目を選択するまでの動作を示す情報を取得する取得手段と、
前記取得手段により取得された前記操作者の動作を示す情報に基づいて、前記操作者が前記選択項目を選択するまでの前記各項目に対する迷い度を算出する迷い度算出手段と、
前記迷い度算出手段に基づいて、前記各項目の魅力度を算出する魅力度算出手段と、
を備える情報処理装置。
<請求項2>
前記迷い度算出手段は、
前記操作手段により選択された選択項目に対する迷い度と予め定められた閾値との比較結果、及び、前記選択項目に対する迷い度と前記選択項目以外の他の項目に対する迷い度との比較結果に応じた所定の演算処理を前記各項目に対する迷い度に施すことにより、前記各項目の魅力度を算出する請求項1に記載の情報処理装置。
<請求項3>
前記迷い度算出手段は、
前記取得手段により取得された前記操作者の動作を示す情報に基づいて、所定時間が経過するまでに前記操作者が注目した項目を決定する決定手段と、
前記取得手段により取得された前記操作者の動作を示す情報に基づいて、前記所定時間の経過後前記選択項目が選択されるまでの間に前記操作者が前記各項目に注目した時間を計測する計測手段と、を有し、
前記決定手段により決定された項目と、前記計測手段により計測された、前記操作者が前記各項目に注目した時間とに基づいて、前記操作者が前記選択項目を選択するまでの前記各項目に対する迷い度を算出する請求項2に記載の情報処理装置。
<請求項4>
前記操作者を撮影する撮影手段を備え、
前記取得手段は、前記撮影手段により得られた撮影画像を解析して、前記操作者が前記選択項目を選択するまでの前記操作者の視線方向を示す情報を取得し、
前記決定手段は、前記取得手段により取得された前記操作者の視線方向を示す情報に基づいて、前記操作者が注目した項目を決定し、
前記計測手段は、前記取得手段により取得された前記操作者の視線方向を示す情報に基づいて、前記操作者の視線方向が前記各項目を向いた時間をそれぞれ計測することにより、前記操作者が各項目に注目した時間を計測する請求項3に記載の情報処理装置。
<請求項5>
前記取得手段は、前記操作者が前記選択項目を選択するまでに前記操作者が指差した方向を示す情報を取得し、
前記決定手段は、前記取得手段により取得された前記操作者が指差した方向を示す情報に基づいて、前記操作者が注目した項目を決定し、
前記計測手段は、前記取得手段により取得された前記操作者が指差した方向を示す情報に基づいて、前記操作者が前記各項目を指差した時間をそれぞれ計測することにより、前記操作者が各項目に注目した時間を計測する請求項3又は4に記載の情報処理装置。
<請求項6>
前記操作者の音声を入力する音声入力手段を備え、
前記取得手段は、前記音声入力手段により入力された音声を解析して、前記操作者が前記選択項目を選択するまでの発言を示す情報を取得し、
前記決定手段は、前記取得手段により取得された前記操作者の発言を示す情報に基づいて、前記操作者が注目した項目を決定し、
前記計測手段は、前記取得手段により取得された前記操作者の発言を示す情報に基づいて、前記操作者が前記各項目について発言した時間をそれぞれ計測することにより、前記操作者が各項目に注目した時間を計測する請求項3〜5の何れか一項に記載の情報処理装置。
<請求項7>
前記操作手段は、前記操作者が前記複数の項目としての複数のコンテンツの中から選択項目としての選択コンテンツを選択するためのものであり、
前記魅力度算出手段により算出された前記各コンテンツに対する魅力度を蓄積記憶する記憶手段と、
前記記憶手段に記憶された魅力度を前記コンテンツ毎に集計して前記コンテンツ毎に総合魅力度を算出する総合魅力度算出手段と、
前記総合魅力度算出手段により算出された前記各コンテンツの総合魅力度に基づいて、前記複数のコンテンツのうち配信するコンテンツ及びその配信順序を設定する配信設定手段と、
を備える請求項1〜6の何れか一項に記載の情報処理装置。
<請求項8>
コンピュータを、
複数の項目のうち何れかを選択項目として選択するための操作手段、
前記操作手段の操作者が前記選択項目を選択するまでの動作を示す情報を取得する取得手段、
前記取得手段により取得された前記操作者の動作を示す情報に基づいて、前記操作者が前記選択項目を選択するまでの前記各項目に対する迷い度を算出する迷い度算出手段、
前記迷い度算出手段に基づいて、前記各項目の魅力度を算出する魅力度算出手段、
として機能させるためのプログラム。
1 コンテンツ配信システム
2 デジタルサイネージ装置
21 投影部
22 スクリーン部
23 制御部
24 プロジェクタ
25 記憶部
251 プログラム記憶部
252 項目フレーズ記憶部
253 ボタンフレーズ記憶部
254 項目・ボタン対応付け記憶部
255 ポジティブフレーズ記憶部
26 通信部
27 画像形成部
28 台座
29 透光板
30 撮像部
32 操作部
33 音声出力部
34 音声入力部
35 計時部
36 第1センサ
37 第2センサ
4 サーバ装置
41 制御部
42 表示部
43 入力部
44 通信部
45 記憶部
451 プログラム記憶部
452 映像データ記憶部
453 魅力度データ記憶部
454 配信設定記憶部
46 計時部

Claims (8)

  1. 複数の項目のうち何れかを選択項目として選択するための操作手段と、
    操作者が前記操作手段により前記選択項目を選択するまでの動作を示す情報を取得する取得手段と、
    前記取得手段により取得された前記操作者の動作を示す情報に基づいて、前記操作者が前記選択項目を選択するまでの前記各項目に対する迷い度を算出する迷い度算出手段と、
    前記迷い度算出手段により算出された前記選択項目に対する迷い度と前記選択項目以外の他の項目に対する迷い度と予め定められた閾値とに基づいて、前記各項目の魅力度を算出する魅力度算出手段と、
    を備える情報処理装置。
  2. 前記魅力度算出手段は、
    前記操作手段により選択された選択項目に対する迷い度と予め定められた閾値との比較結果、及び、前記選択項目に対する迷い度と前記選択項目以外の他の項目に対する迷い度との比較結果に応じた所定の演算処理を前記各項目に対する迷い度に施すことにより、前記各項目の魅力度を算出する請求項1に記載の情報処理装置。
  3. 前記迷い度算出手段は、
    前記取得手段により取得された前記操作者の動作を示す情報に基づいて、所定時間が経過するまでに前記操作者が注目した項目を決定する決定手段と、
    前記取得手段により取得された前記操作者の動作を示す情報に基づいて、前記所定時間の経過後前記選択項目が選択されるまでの間に前記操作者が前記各項目に注目した時間を計測する計測手段と、を有し、
    前記決定手段により決定された項目と、前記計測手段により計測された、前記操作者が前記各項目に注目した時間とに基づいて、前記操作者が前記選択項目を選択するまでの前記各項目に対する迷い度を算出する請求項2に記載の情報処理装置。
  4. 前記操作者を撮影する撮影手段を備え、
    前記取得手段は、前記撮影手段により得られた撮影画像を解析して、前記操作者が前記選択項目を選択するまでの前記操作者の視線方向を示す情報を取得し、
    前記決定手段は、前記取得手段により取得された前記操作者の視線方向を示す情報に基づいて、前記操作者が注目した項目を決定し、
    前記計測手段は、前記取得手段により取得された前記操作者の視線方向を示す情報に基づいて、前記操作者の視線方向が前記各項目を向いた時間をそれぞれ計測することにより、前記操作者が各項目に注目した時間を計測する請求項3に記載の情報処理装置。
  5. 前記取得手段は、前記操作者が前記選択項目を選択するまでに前記操作者が指差した方向を示す情報を取得し、
    前記決定手段は、前記取得手段により取得された前記操作者が指差した方向を示す情報に基づいて、前記操作者が注目した項目を決定し、
    前記計測手段は、前記取得手段により取得された前記操作者が指差した方向を示す情報に基づいて、前記操作者が前記各項目を指差した時間をそれぞれ計測することにより、前記操作者が各項目に注目した時間を計測する請求項3又は4に記載の情報処理装置。
  6. 前記操作者の音声を入力する音声入力手段を備え、
    前記取得手段は、前記音声入力手段により入力された音声を解析して、前記操作者が前記選択項目を選択するまでの発言を示す情報を取得し、
    前記決定手段は、前記取得手段により取得された前記操作者の発言を示す情報に基づいて、前記操作者が注目した項目を決定し、
    前記計測手段は、前記取得手段により取得された前記操作者の発言を示す情報に基づいて、前記操作者が前記各項目について発言した時間をそれぞれ計測することにより、前記操作者が各項目に注目した時間を計測する請求項3〜5の何れか一項に記載の情報処理装置。
  7. 請求項1〜6の何れか一項に記載の情報処理装置と、前記情報処理装置に通信自在なサーバ装置とからなるコンテンツ配信システムであって、
    前記操作手段は、前記操作者が前記複数の項目としての複数のコンテンツの中から選択項目としての選択コンテンツを選択するためのものであり、
    前記サーバ装置は、
    前記魅力度算出手段により算出された前記各コンテンツに対する魅力度を蓄積記憶する記憶手段と、
    前記記憶手段に記憶された魅力度を前記コンテンツ毎に集計して前記コンテンツ毎に総合魅力度を算出する総合魅力度算出手段と、
    前記総合魅力度算出手段により算出された前記各コンテンツの総合魅力度に基づいて、前記複数のコンテンツのうち配信するコンテンツ及びその配信順序を設定する配信設定手段と、
    を備えるコンテンツ配信システム
  8. 複数の項目のうち何れかを選択項目として選択するための操作部を備える情報処理装置のコンピュータを
    操作者が前記操作部により前記選択項目を選択するまでの動作を示す情報を取得する取得手段、
    前記取得手段により取得された前記操作者の動作を示す情報に基づいて、前記操作者が前記選択項目を選択するまでの前記各項目に対する迷い度を算出する迷い度算出手段、
    前記迷い度算出手段により算出された前記選択項目に対する迷い度と前記選択項目以外の他の項目に対する迷い度と予め定められた閾値とに基づいて、前記各項目の魅力度を算出する魅力度算出手段、
    として機能させるためのプログラム。
JP2013184956A 2013-09-06 2013-09-06 情報処理装置、コンテンツ配信システム及びプログラム Active JP6213077B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013184956A JP6213077B2 (ja) 2013-09-06 2013-09-06 情報処理装置、コンテンツ配信システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013184956A JP6213077B2 (ja) 2013-09-06 2013-09-06 情報処理装置、コンテンツ配信システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2015052879A JP2015052879A (ja) 2015-03-19
JP6213077B2 true JP6213077B2 (ja) 2017-10-18

Family

ID=52701874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013184956A Active JP6213077B2 (ja) 2013-09-06 2013-09-06 情報処理装置、コンテンツ配信システム及びプログラム

Country Status (1)

Country Link
JP (1) JP6213077B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256134B2 (ja) * 2014-03-20 2018-01-10 京セラドキュメントソリューションズ株式会社 電子機器及び操作支援プログラム
US10719703B2 (en) 2017-05-30 2020-07-21 Fujitsu Limited Non-transitory computer-readable storage medium for storing line-of-sight analysis program, line-of-sight analysis method, and line-of-sight analysis apparatus
JP7087403B2 (ja) * 2017-05-30 2022-06-21 富士通株式会社 視線分析プログラム、視線分析方法及び視線分析装置
US11956316B2 (en) * 2019-10-03 2024-04-09 Sumitomo Electric Industries, Ltd. Vehicle-mounted apparatus, vehicle-mounted communication system, and communication management method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350904A (ja) * 2000-06-07 2001-12-21 Canon Inc 電子機器及び営業用電子機器システム
US9606621B2 (en) * 2006-07-28 2017-03-28 Philips Lighting Holding B.V. Gaze interaction for information display of gazed items
JP4991440B2 (ja) * 2007-08-08 2012-08-01 株式会社日立製作所 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
JP5293570B2 (ja) * 2009-11-16 2013-09-18 富士通株式会社 表示装置、表示プログラム及び表示方法
US8830164B2 (en) * 2009-12-14 2014-09-09 Panasonic Intellectual Property Corporation Of America User interface device and input method
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法

Also Published As

Publication number Publication date
JP2015052879A (ja) 2015-03-19

Similar Documents

Publication Publication Date Title
US11650659B2 (en) User input processing with eye tracking
JP6753314B2 (ja) エフェクト生成装置およびエフェクト生成方法、並びにプログラム
US9355301B2 (en) Enhanced face recognition in video
US20150006281A1 (en) Information processor, information processing method, and computer-readable medium
CN104090973B (zh) 一种信息呈现方法及装置
JP2015064513A (ja) 表示装置、コンテンツ表示方法及びプログラム
JP6213077B2 (ja) 情報処理装置、コンテンツ配信システム及びプログラム
CN104463145B (zh) 一种电子设备及障碍提醒方法
JP7224488B2 (ja) インタラクティブ方法、装置、デバイス、及び記憶媒体
CN106462240A (zh) 用于提供触觉反馈以辅助捕获图像的系统和方法
CN108022543B (zh) 一种广告自主演示方法、系统和广告机及应用
CN111698564B (zh) 信息推荐方法、装置、设备及存储介质
US11625754B2 (en) Method for providing text-reading based reward-type advertisement service and user terminal for executing same
JP2017156514A (ja) 電子看板システム
CN111598651A (zh) 物品捐赠系统、物品的捐赠方法、装置、设备及介质
JP6405826B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6447681B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107077696B (zh) 人机匹配装置、匹配系统、人机匹配方法以及人机匹配程序
US9792617B2 (en) Systems and methods for generating surveys
JP2014191602A (ja) 表示装置、プログラム及び表示システム
US9483774B2 (en) Systems and methods for generating surveys
WO2014196261A1 (ja) 電子機器及びプログラム
JP6611859B2 (ja) 制御方法、情報処理装置及び制御プログラム
US20200272807A1 (en) Eye tracking method and user terminal performing same
KR101914665B1 (ko) 피사체 자동 인식기능을 통한 부가정보 표시 영상 제공장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170904

R150 Certificate of patent or registration of utility model

Ref document number: 6213077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150