JP6851745B2 - 画像制御方法、装置、及びプログラム - Google Patents

画像制御方法、装置、及びプログラム Download PDF

Info

Publication number
JP6851745B2
JP6851745B2 JP2016153804A JP2016153804A JP6851745B2 JP 6851745 B2 JP6851745 B2 JP 6851745B2 JP 2016153804 A JP2016153804 A JP 2016153804A JP 2016153804 A JP2016153804 A JP 2016153804A JP 6851745 B2 JP6851745 B2 JP 6851745B2
Authority
JP
Japan
Prior art keywords
user
control
information
display
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016153804A
Other languages
English (en)
Other versions
JP2018022381A (ja
Inventor
聡一 西山
聡一 西山
浩晃 杉村
浩晃 杉村
健 藤木
健 藤木
元 広住
元 広住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Fujitsu Social Science Labs Ltd
Original Assignee
Fujitsu Ltd
Fujitsu Social Science Labs Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Social Science Labs Ltd filed Critical Fujitsu Ltd
Priority to JP2016153804A priority Critical patent/JP6851745B2/ja
Priority to US15/661,724 priority patent/US10860176B2/en
Priority to EP17183970.7A priority patent/EP3279770B1/en
Publication of JP2018022381A publication Critical patent/JP2018022381A/ja
Application granted granted Critical
Publication of JP6851745B2 publication Critical patent/JP6851745B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

開示の技術は、画像制御方法、画像制御装置、及び画像制御プログラムに関する。
一般に、製品やサービスの企画及び開発においては、ユーザの生の声からユーザが何を要望しているかを如何にして早く正確に抽出するかが重要となる。このような背景から、現在、製品又はサービスに対するユーザの要望を抽出し、ユーザが満足する製品又はサービスを速やかに市場に提供するために、アンケートやインタビュー等により、ユーザの要望に対する様々な調査が積極的に行なわれている。そこで、ユーザの要望の抽出を支援する技術が提案されている。
例えば、入力された要望情報を解析し、解析された要望情報に基づいて、記憶装置に予め記憶された、要望情報に内包されるユーザの対象製品に対する潜在的利益の達成度を定量的に測定する尺度である評価指標に対して重み付けする技術が提案されている。この技術では、重み付けされた複数の評価指標から最も重み付けされた1つまたは複数の評価指標を選択し、選択された評価指標を最大化または最小化する1つまたは複数の製品の設計コンセプトを決定する。
また、文書および文書に付与する商品またはサービスに関連する付加情報である場面情報を入力し、入力された文書を形態素解析に基づいて解析する技術が提案されている。この技術では、文書を、場面情報に基づき所定の変換ルールに従って、ユーザが商品またはサービスに対して求める商品またはサービスの状態を示す要求表現に変換し、文書および要求表現を対応付けて表示する。
特開2002−108946号公報 特開2001−060194号公報
ユーザの要望を抽出し、要望に応じた製品やサービスを提供する際に、断片的なユーザの要望しか抽出できていない場合には、ユーザの要望を部分的に満たす製品やサービスの提供しか行うことができない。従って、提供される製品やサービスにとらわれることなく、ユーザが自由な発想で描いた将来のビジョンやコンセプトなど、要望の全体像を抽出することが重要である。ただし、このようなビジョンやコンセプトを厳密に抽出する作業は、時間やコストをかけたコンサルティングが必要となる。
そこで、ユーザの要望の抽出に役立つ様々な選択肢を、キーワードやイラストなどで表してユーザに提示し、ユーザ自身に自分の要望にあう内容の選択肢を選ばせる。そして、製品やサービスの提供者は、ユーザにより選ばれた選択肢を検討材料として、ユーザの要望を推測し、ユーザの要望に沿った製品やサービスを提供する手法が考えられる。
開示の技術は、一つの側面として、ユーザによる選択作業を妨げることなく、ユーザが様々な選択肢の存在に気付くことができるように、複数の選択肢を表示する技術を提供することを目的とする。
開示の技術は、一つの側面として、選択操作の対象となる複数の選択肢情報の各々が、表示態様を周期的に変化させながら表示されている表示装置に対するユーザの視線又は位置を示す検出情報を取得する。そして、取得した検出情報が示すユーザの視線が停留状態であるか否か、又は、取得した検出情報が示すユーザの位置が予め定めた範囲内か否かを判定する。そして、前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の変化の程度を変更するように制御する。
一つの側面として、ユーザによる選択作業を妨げることなく、ユーザが様々な選択肢の存在に気付くことができるように、複数の選択肢を表示することができる、という効果を有する。
第1及び第3実施形態に係る画像制御システムの概略構成を示すブロック図である。 選択肢カードの一例を示す図である。 選択肢カード及びビジョンを説明するための図である。 背景の軸の他の例を示す図である。 背景の軸の他の例を示す図である。 管理サーバの概略構成を示す機能ブロック図である。 カードデータベース(DB)の一例を示す図である。 制御情報DBの一例を示す図である。 背景DBの一例を示す図である。 ビジョンDBの一例を示す図である。 第1実施形態における予め定めた範囲を説明するための図である。 第1制御装置の概略構成を示す機能ブロック図である。 第2制御装置の概略構成を示す機能ブロック図である。 管理サーバとして機能するコンピュータの概略構成を示すブロック図である。 第1制御装置として機能するコンピュータの概略構成を示すブロック図である。 第2制御装置として機能するコンピュータの概略構成を示すブロック図である。 第1実施形態における第1管理処理の一例を示すフローチャートである。 第2管理処理の一例を示すフローチャートである。 第1及び第2実施形態における第1制御処理の一例を示すフローチャートである。 表示態様の変更制御を説明するための図である。 表示態様の変更制御を説明するための図である。 選択肢カードの選択を説明するための図である。 第2制御処理の一例を示すフローチャートである。 各装置間での情報のやり取りを示すシーケンス図である。 第2実施形態に係る画像制御システムの概略構成を示すブロック図である。 第1表示装置への視線方向を説明するための図である。 視線の停留領域及び視野範囲を説明するための図である。 第2実施形態における第1管理処理の一例を示すフローチャートである。 第3実施形態における予め定めた複数の範囲を説明するための図である。 第3実施形態における第1管理処理の一例を示すフローチャートである。 第3実施形態における第1制御処理の一例を示すフローチャートである。 選択肢カードの移動を説明するための図である。 制御情報DBの他の例を示す図である。
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。以下の各実施形態では、例えば、Information and Communication Technology(ICT)を活用し、社内外の問題解決を目指す例えばワークショップのような打合せを行うユーザグループの要望を抽出する場合を例に説明する。
<第1実施形態>
図1に示すように、第1実施形態に係る画像制御システム100は、管理サーバ110と、第1制御装置120と、第1表示装置130と、第2制御装置140と、第2表示装置150とを含む。図1に示すように、少なくとも、第1表示装置130及び第2表示装置150の各々は、画像制御システム100により提供されるサービスを使用したワークショップが行われる室内101に配置される。また、ワークショップに参加するユーザ105の各々には、位置センサ180Aが装着される。
管理サーバ110、第1制御装置120、及び第2制御装置140の各々は、ハブ190に接続されている。各装置とハブとの接続は、有線であっても無線であってもよい。また、第1制御装置120と第1表示装置130、及び第2制御装置140と第2表示装置150とはそれぞれ有線又は無線で接続されている。
管理サーバ110は、一般的なサーバ装置、パーソナルコンピュータ等の情報処理装置である。管理サーバ110は、画像制御システム100で用いられる各種情報を管理すると共に、第1制御装置120、及び第2制御装置140の各々に対し、各種処理の実行を指示する(詳細は後述)。
第1表示装置130は、複数の選択肢カード(詳細は後述)が表示される表示部と、表示された選択肢カードに対するユーザ105の操作を受け付ける操作部とを含む。第1表示装置130は、例えば、タッチパネルディスプレイで実現することができる。なお、本実施形態では、2台の第1表示装置130を連携して、1つの画面を表示する場合について説明する。
第1制御装置120は、第1表示装置130の表示制御、第1表示装置130を介して受け付けた情報の処理、及び管理サーバ110との通信制御を行う(詳細は後述)。
第2表示装置150は、選択肢カードを用いてユーザ105の要望を表したビジョン(詳細は後述)が表示される表示部と、表示された選択肢カードに対するユーザ105の操作を受け付ける操作部とを含む。第2表示装置150は、例えば、タッチパネルディスプレイで実現することができる。
第2制御装置140は、第2表示装置150の表示制御、第2表示装置150を介して受け付けた情報の処理、及び管理サーバ110との通信制御を行う(詳細は後述)。
位置センサ180Aは、例えば、バッジタイプなどでユーザ105に装着可能なタグと、室内101の固定位置に設置されたビーコンとの間の通信の電波強度等を用いて、タグを装着したユーザ105の位置を測位する。なお、位置センサ180Aは、Global Positioning System(GPS)やNear Field Communication(NFC)を使用してユーザ105の位置を測位するものでもよい。また、室内101を撮影した画像を解析して、ユーザ105の位置を測位してもよい。位置センサ180Aは、測位したユーザ105の位置を示す検出情報を出力する。
ここで、選択肢カード及びビジョンについて説明する。
選択肢カードは、ユーザ105の要望を抽出するための様々な選択肢の各々を、キーワードと、写真やイラストなどの画像とを用いて、電子的な1枚のカードで表したものである。図2に、選択肢カード10の一例を示す。図2の例では、選択肢カード10には、その選択肢カード10が表す選択肢を示すキーワード10Pと、イラスト10Qとが含まれる。選択肢カード10として表す選択肢には、様々な内容を採用することができ、例えば、施設に関するもの、働き方に関するもの、ICTを利用できそうなもの、ICTとは関係ないもの等を含むことができる。選択肢カード10は、キーワード10Pのみ、又はイラスト10Qのみを含むものであってもよい。
選択肢カード10は、選択肢の数だけ用意され、図3の上図に示すように、複数の選択肢カード10が、ユーザ105による選択操作を含む操作を受付可能な状態で、第1表示装置130に表示される。第1表示装置130への表示対象とする選択肢カード10は、用意した全ての選択肢カード10でもよいし、用意した選択肢カード10のうちの一部でもよい。ユーザ105は、第1表示装置130に表示された複数の選択肢カード10を見て、自身の要望に関連する選択肢カード10を選択する。
なお、選択肢カード10は、開示の技術の選択肢情報の一例である。
ビジョンは、選択肢カード10を用いてユーザ105の要望を模擬的に表す一種の図である。ビジョンは、図3の下図に示すように、ユーザ105の要望に応じて選択された背景12を含む。背景12は、タイトルが入力される領域12A、及び時間経過等を表す軸12Bを含む。図3の下図の例では、軸12Bの一例として、現在から将来へ向かう時間軸が用いられている。軸12Bは、図3の下図の例に示すように、長期の時間軸を示すものに限定されず、「朝」、「昼」、「夜」のような1日の時間軸を示すものであってもよい。また、軸12Bは、時間経過を表すものに限定されず、例えば、図4に示すように、「自社」、「関係会社」、「社会」のような役割の異なりを表すものであってもよい。また、図5に示すように、軸12Bは、「研究」、「開発」、「製造」、「販売」のような業務の異なりを表すものであってもよい。その他にも、「オフィス内」、「別オフィス」、「社外」のように、場所の異なりを表す軸12Bを用いてもよい。
第2表示装置150に表示された背景12上には、図3の下図に示すように、第1表示装置130上で選択された選択肢カード10が表示される。ユーザ105は、軸12Bを考慮して、表示された選択肢カード10を、適切な位置に配置する。このように、軸12Bを含む背景12上に選択肢カード10が配置されることにより、ユーザ105の要望を表すビジョンが描かれる。また、ビジョンへは、手書きツールを使用して描画を行うことも可能である。
以下、管理サーバ110、第1制御装置120、及び第2制御装置140の各々について、より詳細に説明する。
まず、管理サーバ110について説明する。図6に示すように、管理サーバ110は、機能部として、管理部111と、取得部112と、判定部113とを含む。また、管理サーバ110の所定の記憶領域には、カードデータベース(DB)115と、制御情報DB116と、背景DB117と、ビジョンDB118とが記憶される。
ここで、管理サーバ110の所定の記憶領域に記憶される各種データベースについて説明する。
カードDB115には、選択肢カード10毎のカード情報が記憶される。図7に、カードDB115の一例を示す。図7の例では、各行が1枚の選択肢カード10についてのカード情報に相当する。各カード情報は、選択肢カード10の識別情報である「カードID」、選択肢カード10に表示される「キーワード」、選択肢カード10に表示される写真やイラストなどの「画像データ」等の情報を含む。また、各カード情報は、選択肢カード10を第1表示装置130に表示する際の「表示位置」の情報を含む。例えば、第1表示装置130の表示領域の左上角を原点とし、右方向がx軸プラスの方向、下方向がy軸プラスの方向となるxy座標系を設定する。なお、表示領域内の点のいずれを原点とするかはシステム設計者が決定してよく、例えば表示領域の中央を原点としてもよい。そして、選択肢カード10の基準点(例えば、左上角)の表示位置を、第1表示装置130の表示領域に設定したxy座標系の座標値を用いて表すことができる。なお、選択肢カード10内の点のいずれを基準点とするかはシステム設計者が決定してよく、例えば選択肢カード10の中央を基準点としてもよい。
制御情報DB116には、第1表示装置130に選択肢カード10を表示する際に、各選択肢カード10の表示態様を時間経過に応じて変化させるように制御するための制御情報が記憶される。図8に、制御情報DB116の一例を示す。図8の例では、各行が1つの選択肢カード10についての制御情報に相当する。図8では、選択肢カード10の表示サイズを、予め定めた初期の表示サイズから、時間経過に応じて変化させる例を示している。
なお、制御情報DB116には、カードDB115に登録されている全ての選択肢カード10についての制御情報を登録しておいてもよいし、カードDB115に登録されている一部の選択肢カード10についての制御情報を登録しておいてもよい。制御情報DB116に制御情報が登録されていない選択肢カード10については、時間の経過に応じて表示サイズが変更されることなく、初期の表示サイズのまま第1表示装置130に表示される。一部の選択肢カード10についての制御情報を登録しておく場合、その一部の選択肢カード10は、カードDB115に登録されている選択肢カード10からランダムに選択することができる。また、過去のワークショップで選択された選択肢カード10の履歴を保持しておき、選択される頻度などに基づいて、一部の選択肢カード10を選択してもよい。また、各選択肢カード10に、その選択肢カード10が関連する業務、場所、時間等の属性を示す属性情報を対応付けておく。そして、ワークショップの目的やユーザグループの属性に応じて、関連する属性情報が対応付けられた選択肢カード10を一部の選択肢カード10として選択してもよい。
背景DB117には、第2表示装置150に表示する背景12の各々の情報が記憶される。図9に、背景DB117の一例を示す。図9の例では、各行が1つの背景12についての背景情報に相当する。各背景情報は、背景12の識別情報である「背景ID」、軸12Bを含む背景12の「画像データ」等の情報を含む。
ビジョンDB118には、第2表示装置150において、ユーザ105により作成されたビジョンの情報が記憶される。図10に、ビジョンDB118の一例を示す。図10の例では、各行が1つのビジョンを示すビジョン情報に相当する。各ビジョン情報は、ビジョンの識別情報である「ビジョンID」、ビジョンを作成したユーザグループの識別情報である「ユーザグループID」、及び第2表示装置150に表示されている背景12の「背景ID」の情報を含む。また、ビジョン情報は、ビジョンに含まれる選択肢カード10の「カードID」、選択肢カード10が背景12上のどの位置に表示されたかを示す「表示位置」等の情報を含む。「表示位置」は、上述した第1表示装置130上に表示される選択肢カード10の表示位置と同様に、第2表示装置150に表示された背景12領域に設定されたxy座標系の座標値を用いて表すことができる。ビジョン情報は、さらに、テキストデータとして入力された「タイトル」、手書きツールを使用して描画された画像を示す「手書きデータ」等の情報を含む。なお、タイトルについても、手書きデータとして入力することも可能である。
1つのユーザグループが、複数種類のビジョンを作成した場合には、そのユーザグループのユーザグループIDと対応づけて、異なる複数のビジョンIDの各々に対応付けられた複数のビジョン情報が記憶されることになる。なお、異なるビジョンとは、背景12、ビジョンに含まれる選択肢カード10、背景12に対する選択肢カード10の配置、手書き描画等のいずれかが異なるビジョンである。
ビジョンDB118には、図10に例示した以外のデータ項目をビジョンIDと対応づけて記憶してもよい。例えば、ビジョンが記憶された日時を示す情報を記憶してもよい。
次に、管理サーバ110の各機能部について説明する。
管理部111は、画像制御システム100により提供されるサービスの開始が指示されると、カードDB115から各選択肢カード10のカード情報を取得し、制御情報DB116から制御情報を取得する。管理部111は、取得したカード情報及び制御情報を第1制御装置120へ送信する。
また、管理部111は、背景DB117からいずれかの背景情報を取得し、第2制御装置140へ送信する。第2制御装置140へ送信する背景情報は、予め定めた背景情報であってもよいし、ランダムに選択した背景情報であってもよいし、ユーザ105により選択された背景情報であってもよい。
また、管理部111は、判定部113から、ユーザ105の位置が予め定めた範囲内である旨が通知されると、表示態様の変更制御の停止指示を第1制御装置120へ送信する(詳細は後述)。また、管理部111は、判定部113から、ユーザ105が予め定めた範囲内に存在しなくなった旨が通知されると、表示態様の変更制御の再開指示を第1制御装置120へ送信する(詳細は後述)。
さらに、管理部111は、第2制御装置140から送信されたビジョン情報を受信すると、受信したビジョン情報にビジョンIDを付与して、ビジョンDB118に記憶する。
取得部112は、各ユーザ105に装着された位置センサ180Aの各々から出力された検出情報を取得し、判定部113へ受け渡す。
判定部113は、取得部112から受け渡された検出情報に基づいて、各ユーザ105の位置を特定し、いずれかのユーザ105の位置が、室内101の予め定めた範囲内か否かを判定する。予め定めた範囲とは、第1表示装置130の設置位置に近接した範囲である。例えば、図11に示すように、第1表示装置130から、ユーザ105による第1表示装置130に対するタッチ操作が可能な距離(例えば、60cm)以内の範囲を、予め定めた範囲191とすることができる。
この範囲191に存在するユーザ105は、いずれかの選択肢カード10に注視している、又は選択肢カード10に対する選択操作を行っている若しくは行おうとしている状態であるとみなすことができる。以下、ユーザのこれらの作業を「選択作業」という。ユーザ105が選択作業状態の場合、第1表示装置130に表示している選択肢カード10の表示態様を時間経過に応じて変化させる表示態様の変更制御を継続したままでは、ユーザが選択操作の対象にしようとした選択肢カード10の表示態様がユーザの意図によらず変更されてしまう場合が生じる。そのため、ユーザ105による選択肢カード10の選択作業の妨げとなる場合がある。
そこで、判定部113は、ユーザ105の位置が予め定めた範囲191内である旨を管理部111へ通知する。これにより、上述したように、管理部111から、第1制御装置120へ、選択肢カード10の表示態様の変更制御の停止指示が送信され、選択肢カード10の表示態様の変更制御が停止される。
また、判定部113は、予め定めた範囲191内にユーザ105が存在しなくなった場合には、範囲191にユーザ105が存在しなくなった旨を管理部111へ通知する。これにより、上述したように、管理部111から、第1制御装置120へ、選択肢カード10の表示態様の変更制御の再開指示が送信され、選択肢カード10の表示態様の変更制御が再開される。
次に、第1制御装置120について説明する。図12に示すように、第1制御装置120は、機能部として、表示制御部121と、検出部122とを含む。
表示制御部121は、管理サーバ110から送信されたカード情報及び制御情報を受信し、カード情報が示す選択肢カード10の各々が、予め定めた初期の表示サイズで第1表示装置130に表示されるように制御する。初期の表示サイズは、固定の値としてもよいし、第1表示装置130に所定枚数の選択肢カード10が表示されるように計算されたサイズとしてもよい。
また、表示制御部121は、制御情報に基づいて、各選択肢カード10の表示態様を時間経過に応じて変化させる表示態様の変更制御を行う。本実施形態では、表示態様の変更制御の一例として、表示サイズの拡大及び縮小を繰り返す場合について説明する。具体的には、表示制御部121は、第1表示装置130への選択肢カード10の表示開始から、制御情報の「開始タイミング」で定められる時間が経過したタイミングで、表示態様の変更制御を開始する。表示制御部121は、制御情報が示す選択肢カード10の表示サイズが、初期の表示サイズから、制御情報の「最大表示サイズ」で定められる表示サイズを経て、初期の表示サイズに戻る一連の表示サイズの拡大及び縮小を繰り返し実行する。表示制御部121は、制御情報の「周期」で定める時間をかけて、一連の表示サイズの拡大及び縮小が1回実行されるように、選択肢カード10の表示サイズを徐々に変更する。
例えば、表示制御部121は、「最大表示サイズ」となるまで、選択肢カード10を上下及び左右に予め定めた画素数ずつ拡大し、「最大表示サイズ」から初期の表示サイズまで、選択肢カード10を上下及び左右に予め定めた画素数ずつ縮小する。また、表示制御部121は、選択肢カード10の現在の表示サイズを基準に、所定倍(例えば、1.1倍)ずつ拡大又は縮小してもよい。これにより、一連の表示サイズの拡大及び縮小の様子がアニメーション表示される。
また、表示制御部121は、各選択肢カード10の表示サイズを変更する際、選択肢カード10同士が重なり合わないように、各選択肢カード10の位置を調整する。選択肢カード10の位置の調整には、従来既知の画像の最適配置技術等を利用することができる。なお、選択肢カード10の重なり合いを許容し、重なり合う選択肢カード10の一方を、他方の選択肢カード10の上に重畳表示するようにしてもよい。
このように、選択肢カード10の表示態様を時間経過に応じて変化させることで、画面上に動きが生じるため、選択肢カード10へのユーザ105の注意を引き易くなる。
表示制御部121は、一旦開始した表示態様の変更制御を、表示態様の変更制御の停止指示を受信するまで、繰り返し実行する。表示制御部121は、管理サーバ110から、表示態様の変更制御の停止指示を受信すると、各選択肢カード10についての表示態様の変更制御を停止する。具体的には、表示制御部121は、各選択肢カード10の表示サイズを現在の表示サイズ又は初期の表示サイズのままで固定する。
上述したように、表示態様の変更制御の停止指示は、ユーザ105が第1表示装置130に近接した範囲191に存在する場合に、管理サーバ110から送信されるものである。すなわち、ユーザ105が選択肢カード10に対する選択作業を行っていることが想定される状態であることを表す。このような状態において、第1表示装置130に表示した選択肢カード10の表示態様の変更制御を停止することで、範囲191に存在するユーザ105による選択肢カード10の選択作業を妨げることが防止される。
また、表示制御部121は、管理サーバ110から、表示態様の変更制御の再開指示を受信すると、停止していた表示態様の変更制御を再開する。
第1表示装置130に表示される画面は、ワークショップに参加する全てのユーザ105により利用されるものである一方、気になる選択肢カード10を良く見て選択を検討する際などには、特定のユーザ105が占有して利用したい場合もある。上記のように、ユーザ105の位置に応じて選択肢カード10の表示態様を切り替えることで、ユーザ105全員での利用に適した表示態様であるパブリックモードと、特定のユーザ105向けの表示態様であるパーソナルモードとの切り替えが実現される。すなわち、選択肢カード10に対する注意を引き易い表示を行う領域は、パブリックモードの表示領域であり、ユーザ105による選択操作が行なわれようとしていると推定される領域は、パーソナルモードの表示領域である。
検出部122は、第1表示装置130に表示された選択肢カード10に対するユーザ105の選択操作を検出する。具体的には、検出部122は、ユーザ105による選択肢カード10へのタッチの継続時間が所定時間(例えば、3秒)を経過したか否かを検出する。検出部122は、タッチの継続時間が所定時間を経過したことを検出すると、タッチされた選択肢カード10のカード情報を第2制御装置140へ転送する。なお、選択肢カード10に対する選択操作の検出の仕方は上記の例に限定されない。例えば、選択肢カード10に対するタッチ操作を受け付けた場合に機能メニュー画面を表示し、表示した機能メニュー画面の中から「選択肢カードを選択する」という操作指示を受け付けるようにしてもよい。
次に、第2制御装置140について説明する。図13に示すように、第2制御装置140は、機能部として、表示制御部141と、受付部142と、作成部143とを含む。
表示制御部141は、管理サーバ110から送信された背景情報を受信すると、受信した背景情報が示す背景12を第2表示装置150に表示する。また、表示制御部141は、第1制御装置120からカード情報を受信すると、受信したカード情報が示す選択肢カード10を、背景12上に表示する。選択肢カード10を表示する位置はランダムに決定してもよいし、予め定めた位置に表示してもよい。
また、表示制御部141は、受付部142から、受付情報(詳細は後述)を通知されると、受付情報に基づいて、選択肢カード10の表示位置や表示サイズの変更、入力されたテキストデータの表示、描画された画像の表示等を行う。
受付部142は、第2表示装置150に表示された選択肢カード10の表示位置の変更、表示サイズの変更、テキストデータの入力、手書きツールを利用した描画等のユーザ105の操作を受け付ける。受付部142は、受け付けたユーザ105の操作の内容を示す受付情報を表示制御部141に通知する。
作成部143は、ユーザ105によりビジョンの確定が指示されると、第2表示装置150に表示された背景12上での各選択肢カード10の表示位置を求める。そして、作成部143は、第2表示装置150に表示されている背景12の背景ID、選択肢カード10のカードID、求めた各選択肢カード10の表示位置、入力されたテキストデータ、及び描画された手書きデータを含むビジョン情報を作成する。作成部143は、ログイン情報や本システム利用時の登録情報などから、ビジョンを作成したユーザグループのユーザグループIDを取得し、作成したビジョン情報にユーザグループIDを付加して、管理サーバ110へ送信する。
管理サーバ110は、例えば図14に示すコンピュータ20で実現することができる。コンピュータ20は、Central Processing Unit(CPU)21と、一時記憶領域としてのメモリ22と、不揮発性の記憶部23とを備える。また、コンピュータ20は、入出力装置24と、記憶媒体29に対するデータの読み込み及び書き込みを制御するRead/Write(R/W)部25と、インターネット等のネットワークに接続されるネットワークインターフェース(I/F)26とを備える。CPU21、メモリ22、記憶部23、入出力装置24、R/W部25、及びネットワークI/F26は、バス27を介して互いに接続される。
記憶部23は、Hard Disk Drive(HDD)、solid state drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部23には、コンピュータ20を管理サーバ110として機能させるための管理プログラム30が記憶される。管理プログラム30は、管理プロセス31と、取得プロセス32と、判定プロセス33とを有する。また、記憶部23は、カードDB115、制御情報DB116、背景DB117、及びビジョンDB118の各々を構成する情報が記憶される情報記憶領域35を有する。
CPU21は、管理プログラム30を記憶部23から読み出してメモリ22に展開し、管理プログラム30が有するプロセスを順次実行する。CPU21は、管理プロセス31を実行することで、図6に示す管理部111として動作する。また、CPU21は、取得プロセス32を実行することで、図6に示す取得部112として動作する。また、CPU21は、判定プロセス33を実行することで、図6に示す判定部113として動作する。また、CPU21は、情報記憶領域35から情報を読み出して、カードDB115、制御情報DB116、背景DB117、及びビジョンDB118の各々をメモリ22に展開する。これにより、管理プログラム30を実行したコンピュータ20が、管理サーバ110として機能することになる。
第1制御装置120は、例えば図15に示すコンピュータ40で実現することができる。コンピュータ40は、CPU41と、一時記憶領域としてのメモリ42と、不揮発性の記憶部43とを備える。また、コンピュータ40は、記憶媒体49に対するデータの読み込み及び書き込みを制御するR/W部45と、ネットワークI/F46とを備える。CPU41、メモリ42、記憶部43、R/W部45、及びネットワークI/F46は、バス47を介して互いに接続される。また、コンピュータ40は、ネットワークI/F46を介して、第1表示装置130と接続される。
記憶部43は、HDD、SSD、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部43には、コンピュータ40を第1制御装置120として機能させるための第1制御プログラム50が記憶される。第1制御プログラム50は、表示制御プロセス51と、検出プロセス52とを有する。
CPU41は、第1制御プログラム50を記憶部43から読み出してメモリ42に展開し、第1制御プログラム50が有するプロセスを順次実行する。CPU41は、表示制御プロセス51を実行することで、図12に示す表示制御部121として動作する。また、CPU41は、検出プロセス52を実行することで、図12に示す検出部122として動作する。これにより、第1制御プログラム50を実行したコンピュータ40が、第1制御装置120として機能することになる。
第2制御装置140は、例えば図16に示すコンピュータ60で実現することができる。コンピュータ60は、CPU61と、一時記憶領域としてのメモリ62と、不揮発性の記憶部63とを備える。また、コンピュータ60は、記憶媒体69に対するデータの読み込み及び書き込みを制御するR/W部65と、ネットワークI/F66とを備える。CPU61、メモリ62、記憶部63、R/W部65、及びネットワークI/F66は、バス67を介して互いに接続される。また、コンピュータ60は、ネットワークI/F66を介して、第2表示装置150と接続される。
記憶部63は、HDD、SSD、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部63には、コンピュータ60を第2制御装置140として機能させるための第2制御プログラム70が記憶される。第2制御プログラム70は、表示制御プロセス71と、受付プロセス72と、作成プロセス73とを有する。
CPU61は、第2制御プログラム70を記憶部63から読み出してメモリ62に展開し、第2制御プログラム70が有するプロセスを順次実行する。CPU61は、表示制御プロセス71を実行することで、図13に示す表示制御部141として動作する。また、CPU61は、受付プロセス72を実行することで、図13に示す受付部142として動作する。また、CPU61は、作成プロセス73を実行することで、図13に示す作成部143として動作する。これにより、第2制御プログラム70を実行したコンピュータ60が、第2制御装置140として機能することになる。
なお、管理プログラム30、第1制御プログラム50、及び第2制御プログラム70の各々により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit(ASIC)等で実現することも可能である。
次に、第1実施形態に係る画像制御システム100の作用について説明する。画像制御システム100により提供されるサービスの開始が指示されると、管理サーバ110において、図17に示す第1管理処理が実行される。また、管理サーバ110では、図18に示す第2管理処理も実行される。また、第1制御装置120において、図19に示す第1制御処理が実行される。また、第2制御装置140において、図23に示す第2制御処理が実行される。以下、各処理について詳述する。なお、第1管理処理、第1制御処理、及び第2制御処理は、開示の技術の画像制御方法の一例である。
まず、図17に示す第1管理処理について説明する。ステップS11で、管理部111が、カードDB115から各選択肢カード10のカード情報を取得し、制御情報DB116から制御情報を取得する。そして、管理部111は、取得したカード情報及び制御情報を第1制御装置120へ送信する。
次に、ステップS12で、管理部111が、背景DB117からいずれかの背景情報を取得し、第2制御装置140へ送信する。
次に、ステップS13で、取得部112が、各ユーザ105に装着された位置センサ180Aの各々から出力された検出情報を取得し、判定部113へ受け渡す。判定部113は、取得部112から受け渡された検出情報に基づいて、各ユーザ105の位置を特定する。
次に、ステップS14で、判定部113が、いずれかのユーザ105の位置が、予め定めた範囲191内か否かを判定する。いずれかのユーザ105の位置が範囲191内の場合には、処理はステップS15へ移行し、いずれのユーザ105の位置も範囲191内ではない場合には、処理はステップS16へ移行する。
ステップS15では、判定部113が、ユーザ105の位置が予め定めた範囲191内である旨を管理部111へ通知する。そして、管理部111が、選択肢カード10の表示態様の変更制御の停止指示を、第1制御装置120へ送信する。
一方、ステップS16では、判定部113が、予め定めた範囲191内にユーザ105が存在しなくなった旨を管理部111へ通知する。そして、管理部111が、選択肢カード10の表示態様の変更制御の再開指示を、第1制御装置120へ送信する。
次に、ステップS17で、管理部111が、画像制御システム100により提供されるサービスの終了が指示されたか否かを判定し、終了が指示されていない場合には、処理はステップS13に戻り、終了が指示された場合には、第1管理処理は終了する。
なお、ユーザ105が予め定めた範囲191に存在する状態又は存在しない状態が継続しており、上記ステップS14の判定結果が前回の判定結果と同じ場合には、上記ステップS15又はS16の処理はスキップしてもよい。すなわち、ユーザ105が予め定めた範囲191に侵入した際にステップS15を実行し、ユーザ105が予め定めた範囲191を退出した際にステップS16を実行すればよい。
次に、図18に示す第2管理処理について説明する。ステップS21で、管理部111が、第2制御装置140から送信されたビジョン情報を受信したか否かを判定する。ビジョン情報を受信した場合には、処理はステップS22へ移行し、管理部111が、受信したビジョン情報にビジョンIDを付与して、ビジョンDB118に記憶する。ビジョン情報を受信していない場合には、処理はステップS23へ移行する。
次に、ステップS23で、管理部111が、画像制御システム100により提供されるサービスの終了が指示されたか否かを判定し、終了が指示されていない場合には、処理はステップS21に戻る。終了が指示されている場合には、第2管理処理は終了する。
次に、図19に示す第1制御処理について説明する。第1制御処理は、管理サーバ110から送信されたカード情報及び制御情報を第1制御装置120が受信すると開始する。
ステップS31で、表示制御部121が、受信したカード情報が示す選択肢カード10の各々が、予め定めた初期の表示サイズで第1表示装置130に表示されるように制御する。
次に、ステップS32で、表示制御部121が、受信した制御情報に基づいて、各選択肢カード10の表示態様の変更制御を開始する。図20に、選択肢カード10が表示され、表示サイズの変更制御が開始された第1表示装置130の表示領域の一部の例を示す。図20に示すように、表示制御部121は、制御情報に基づいて、選択肢カード10の表示サイズが、初期の表示サイズから最大表示サイズを経て、初期の表示サイズに戻る一連の表示サイズの拡大及び縮小を繰り返し実行する。また、表示制御部121は、各選択肢カード10の表示サイズを変更する際、選択肢カード10同士が重なり合わないように、各選択肢カード10の位置を調整する。なお、各選択肢カード10の制御情報において、周期や開始タイミングを選択肢カード10毎に異なる値で定めておくことにより、図21に示すように、各時刻における各選択肢カード10の表示サイズにばらつきを持たせることができる。これにより、様々な選択肢カード10へのユーザ105の注意を引き易くなる。
次に、ステップS33で、検出部122が、第1表示装置130に表示された選択肢カード10が、ユーザ105によりタッチされたか否かを判定する。図22に、選択肢カード10が表示された第1表示装置130の表示領域の一部の一例を示す。図22に示すように、いずれかの選択肢カード10がユーザ105によりタッチされたことが検出されると、処理はステップS34へ移行する。
ステップS34では、検出部122が、選択肢カード10に対するタッチが継続しているか否かを判定する。タッチが継続している場合には、処理はステップS35へ移行し、タッチが継続していない場合には、処理はステップS37へ移行する。
ステップS35では、検出部122が、選択肢カード10へのタッチの継続時間が所定時間(例えば、3秒)を経過したか否かを判定する。タッチの継続時間が所定時間を経過していない場合には、処理はステップS34に戻り、タッチの継続時間が所定時間を経過した場合には、処理はステップS36へ移行する。
ステップS36では、検出部122が、タッチされた選択肢カード10のカード情報を第2制御装置140へ転送する。
次に、ステップS37で、表示制御部121が、画像制御システム100により提供されるサービスの終了が指示されたか否かを判定し、終了が指示されていない場合には、処理はステップS33に戻る。
一方、ステップS33で、検出部122が、選択肢カード10に対するタッチを検出していない場合には、処理はステップS38へ移行する。ステップS38では、表示制御部121が、管理サーバ110から、表示態様の変更制御の停止指示又は再開指示を受信したか否かを判定する。停止指示又は再開指示のいずれかを受信した場合には、処理はステップS39へ移行し、いずれも受信していない場合には、処理はステップS33に戻る。
ステップS39では、表示制御部121が、受信した指示に応じて、表示態様の変更制御を停止又は再開する。そして、処理はステップS33に戻る。
次に、図23に示す第2制御処理について説明する。第2制御処理は、管理サーバ110から送信された背景情報を第2制御装置140が受信すると開始する。
ステップS41で、表示制御部141が、受信した背景情報が示す背景12を第2表示装置150に表示する。ここで表示された背景12は、ユーザ105の指示により変更可能としてもよい。例えば、背景12の変更が指示された場合、第2制御装置140が管理サーバ110へ背景情報を要求する。そして、管理サーバ110が、背景DB117から前回送信した背景情報とは異なる背景情報を、第2制御装置140に送信する。
次に、ステップS42で、表示制御部141が、第1制御装置120からカード情報を受信したか否かを判定する。カード情報を受信している場合には、処理はステップS43へ移行する。ここで受信するカード情報は、上述の第1制御処理において、第1表示装置130上で選択された選択肢カード10のカード情報が第1制御装置120により転送されたものである。ステップS43では、表示制御部141が、受信したカード情報が示す選択肢カード10を、背景12上に表示し、処理はステップS44へ移行する。一方、カード情報を受信していない場合には、ステップS43の処理はスキップされ、処理はステップS44へ移行する。
ステップS44では、受付部142が、第2表示装置150に表示された選択肢カード10の表示位置の変更、表示サイズの変更、テキストデータの入力、手書きツールを利用した描画等のユーザ105の操作を受け付けたか否かを判定する。操作を受け付けた場合には、処理はステップS45へ移行する。ステップS45では、受付部142が、受け付けたユーザ105の操作の内容を示す受付情報を表示制御部141に通知する。そして、表示制御部141が、受付情報に基づいて、選択肢カード10の表示位置や表示サイズの変更、入力されたテキストデータの表示、描画された画像の表示等を行い、処理はステップS46へ移行する。一方、ユーザ105の操作を受け付けていない場合には、ステップS45の処理はスキップされ、処理はステップS46へ移行する。
ステップS46では、作成部143が、ユーザ105によりビジョンの確定が指示されたか否かを判定する。ビジョンの確定が指示されると、処理はステップS47へ移行する。ステップS47では、作成部143が、第2表示装置150に表示された背景12上での各選択肢カード10の表示位置を求める。そして、作成部143は、第2表示装置150に表示されている背景12の背景ID、選択肢カード10のカードID、求めた各選択肢カード10の表示位置、入力されたテキストデータ、及び描画された手書きデータを含むビジョン情報を作成する。さらに、作成部143は、ログイン情報や本システム利用時の登録情報などから、ビジョンを作成したユーザグループのユーザグループIDを取得する。そして、取得したユーザグループIDを、作成したビジョン情報に付加して、管理サーバ110へ送信し、処理はステップS48へ移行する。一方、ビジョンの確定が指示されていない場合には、ステップS47の処理はスキップされ、処理はステップS48へ移行する。
ステップS48では、受付部142が、画像制御システム100により提供されるサービスの終了が指示されたか否かを判定する。終了が指示されていない場合には、処理はステップS42に戻り、終了が指示されている場合には、第2制御処理は終了する。
次に、図24のシーケンス図を参照して、各装置間での情報のやり取りについて説明する。なお、図24のシーケンス図に含まれる各処理について、図17、図18、図19、及び図23で説明した処理と同様の処理については、図17、図18、図19、及び図23で用いた符号と同様の符号を付して説明する。
まず、画像制御システム100により提供されるサービスの開始が指示されると、管理サーバ110が、選択肢カード10のカード情報及び制御情報を、第1制御装置120へ送信する(S11)。そして、第1制御装置120が、カード情報に基づいて、第1表示装置130に選択肢カード10を表示する(S31)。また、第1制御装置120が、制御情報に基づいて、選択肢カード10の表示態様の変更制御を開始する(S32)。また、管理サーバ110が、背景情報を第2制御装置140へ送信する(S12)。そして、第2制御装置140が、背景情報に基づいて、第2表示装置150に背景12を表示する(S41)。
管理サーバ110は、位置センサ180Aの検出情報を取得し(S13)、取得した検出情報が示すユーザ105の位置に基づいて、ユーザ105の位置が予め定めた範囲191内か否かを判定する。そして、ユーザ105の位置が予め定めた範囲191内の場合には、管理サーバ110は、表示態様の変更制御の停止指示を第1制御装置120へ送信する(S15)。ユーザ105が予め定めた範囲191内に存在しなくなった場合には、管理サーバ110は、表示態様の変更制御の再開指示を第1制御装置120へ送信する(S16)。
第1制御装置120は、表示態様の変更制御の停止指示を受信した場合には、表示態様の変更制御を停止し、表示態様の変更制御の再開指示を受信した場合には、表示態様の変更制御を再開する(S39)。
第1制御装置120は、ユーザ105による第1表示装置130上での選択肢カード10の選択操作を検出する(S34、S35)。選択操作が検出されると、第1制御装置120が、選択された選択肢カード10のカード情報を、第2制御装置140へ転送する(S36)。
第2制御装置140は、カード情報を受信すると、受信したカード情報に基づいて、第2表示装置150に選択肢カード10を表示する(S43)。
第2表示装置150において、ユーザ105がビジョンの確定を指示すると(S46)、第2制御装置140が、第2表示装置150に表示されている背景12及び選択肢カード10に基づいてビジョン情報を作成し、管理サーバ110へ送信する(S47)。
以上説明したように、第1実施形態に係る画像制御システム100によれば、第1表示装置に表示する選択肢カードの表示態様を時間経過に応じて変化させる表示態様の変更制御を行う。これにより、ユーザが存在に気づいていなかった選択肢カードの存在に気付く可能性が高まり、ユーザが様々な選択肢を検討するきっかけを与えることができる。また、第1表示装置に表示された選択肢カードに対する選択操作が可能な範囲にユーザが存在する場合には、選択肢カードの表示態様の変更制御を停止する。これにより、ユーザによる選択肢カードの選択作業が妨げられることを防止することができる。
すなわち、第1実施形態に係る画像制御システム100によれば、ユーザによる選択作業を妨げることなく、ユーザが様々な選択肢の存在に気付くことができるように、複数の選択肢を表示することができる。
<第2実施形態>
次に、第2実施形態について説明する。第1実施形態では、ユーザの位置に基づいて、選択肢カードの表示態様の変更制御を停止するか否かを判定する場合について説明した。第2実施形態では、ユーザの視線に基づいて、選択肢カードの表示態様の変更制御を停止するか否かを判定する場合について説明する。なお、第2実施形態に係る画像制御システムにおいて、第1実施形態に係る画像制御システム100と同一の部分については、同一符号を付して詳細な説明を省略する。
図25に示すように、第2実施形態に係る画像制御システム200は、管理サーバ210と、第1制御装置220と、第1表示装置130と、第2制御装置140と、第2表示装置150と、視線センサ180Bとを含む。
視線センサ180Bとしては、例えば、赤外カメラ及び赤外光源と制御ソフトウェアとを備えた視線センサを用いることができる。この視線センサ180Bは、赤外光源による照射範囲を赤外カメラで撮影した画像から検出される瞳孔や角膜反射の位置に基づいて視線方向を算出し、算出した視線方向を示す検出情報を出力する。視線センサ180Bは、視線センサ180Bに含まれる赤外カメラにより、第1表示装置130方向へのユーザ105の視線を検出可能な位置、例えば第1表示装置130の上部又は下部などに設置される。なお、視線センサ180Bとしては、上記の方式に限定されず、可視光カメラを用いる方式など、他の方式の視線センサを採用してもよい。
管理サーバ210は、図6に示すように、機能部として、管理部211と、取得部212と、判定部213とを含む。また、管理サーバ210の所定の記憶領域には、カードDB115と、制御情報DB116と、背景DB117と、ビジョンDB118とが記憶される。
取得部212は、視線センサ180Bから出力された検出情報を取得し、判定部213へ受け渡す。
判定部213は、取得部212から受け渡された検出情報に基づいて、各ユーザ105の視線位置を特定し、いずれかのユーザ105の視線が、第1表示装置130上に停留状態か否かを判定する。具体的には、判定部213は、取得部212から受け渡された検出情報が示す視線方向と、視線センサ180Bと第1表示装置130との配置関係に基づいて、検出情報が示す視線方向のうち、第1表示装置130方向への視線方向を抽出する。例えば、図26に示すように、ユーザ105Aの視線方向192Aは第1表示装置130方向への視線方向であるため抽出され、ユーザ105Bの視線方向192Bは第1表示装置130方向への視線方向ではないため抽出されない。そして、判定部213は、抽出した視線方向が示す第1表示装置130上の視線位置を特定する。さらに、判定部213は、所定時間分(例えば、3秒分)の視線位置が、第1表示装置130上でのサイズが所定サイズである停留領域に収まっている場合に、ユーザ105の視線が第1表示装置130上で停留状態であると判定する。
判定部213は、ユーザ105の視線が第1表示装置130上で停留状態であると判定した場合には、第1表示装置130上での停留領域の中心座標を特定し、停留領域の中心座標と共に、ユーザ105の視線が停留状態である旨を管理部211へ通知する。一方、判定部213は、ユーザ105の視線が第1表示装置130上で停留状態ではないと判定した場合には、ユーザ105の視線が停留状態ではない旨を管理部211へ通知する。
管理部211は、第1実施形態における管理部111と同様に、各種データベースに対する情報の記憶及び読み出し、並びに第1制御装置220及び第2制御装置140との間での情報の送受信を管理する。
さらに、管理部211は、判定部213から、停留領域の中心座標と共に、ユーザ105の視線が停留状態である旨が通知されると、停留領域の中心座標に基づいて、ユーザ105が停留領域を注視している際の視野範囲を推定する。そして、管理部211は、推定した視野範囲に含まれる選択肢カード10の表示態様の変更制御の停止指示を第1制御装置220へ送信する。
例えば、現在時刻を含む直近の所定時間分の検出情報に基づいて特定された視線位置が、図27に示すように、第1表示装置130上の停留領域193に収まっているとする。この場合、判定部213から停留領域193の中心座標が通知されるため、管理部211は、この中心座標を中心とする所定半径の範囲を視野範囲194として推定する。そして、判定部213は、カードDB115の「表示位置」の項目を参照して、視野範囲194に含まれる選択肢カード10を特定する。判定部213は、特定した選択肢カード10のカードIDと共に、そのカードIDが示す選択肢カード10の表示態様の変更制御の停止指示を第1制御装置220へ送信する。
また、管理部211は、判定部213から、ユーザ105の視線が停留状態ではない旨が通知されると、表示態様の変更制御の再開指示を第1制御装置220へ送信する。
次に、第1制御装置220について説明する。図12に示すように、第1制御装置220は、機能部として、表示制御部221と、検出部122とを含む。
表示制御部221は、第1実施形態における表示制御部121と同様に、管理サーバ210から送信されたカード情報に基づく選択肢カード10の表示、制御情報に基づく表示態様の変更制御を行う。
さらに、表示制御部221は、管理サーバ210から、カードIDと共に表示態様の変更制御の停止指示を受信すると、受信したカードIDが示す選択肢カード10についての表示態様の変更制御を停止する。
これにより、第1表示装置130上で、ユーザ105の視野範囲194と推定される領域内に表示された選択肢カード10については表示態様の変更制御が停止される。そのため、ユーザ105が第1表示装置130を注視していると推定される最中に、選択肢カード10の表示態様が変更されてしまい、ユーザ105による選択肢カード10の選択作業を妨げられることを防止することができる。一方で、視野範囲194外の領域に表示された選択肢カード10については、表示態様の変更制御が停止されることはないため、他のユーザ105の選択肢カード10に対する注意を引き易い表示を継続することができる。すなわち、同一の第1表示装置130上に、いずれのユーザ105からも注視されておらず、選択肢カード10に対する注意を引き易い表示を行うパブリックモードの領域と、注視しているユーザ105が存在し選択肢カード10に対する注視を継続し易い表示を行うパーソナルモードの領域とが混在した表示態様が実現される。
また、表示制御部221は、管理サーバ210から、表示態様の変更制御の再開指示を受信すると、表示態様の変更制御を停止していた選択肢カード10についての表示態様の変更制御を再開する。これにより、第1表示装置130全体がパブリックモードの領域となる。
管理サーバ210は、例えば図14に示すコンピュータ20で実現することができる。コンピュータ20の記憶部23には、コンピュータ20を管理サーバ210として機能させるための管理プログラム30Aが記憶される。管理プログラム30Aは、管理プロセス31Aと、取得プロセス32Aと、判定プロセス33Aとを有する。
CPU21は、管理プログラム30Aを記憶部23から読み出してメモリ22に展開し、管理プログラム30Aが有するプロセスを順次実行する。CPU21は、管理プロセス31Aを実行することで、図6に示す管理部211として動作する。また、CPU21は、取得プロセス32Aを実行することで、図6に示す取得部212として動作する。また、CPU21は、判定プロセス33Aを実行することで、図6に示す判定部213として動作する。また、CPU21は、情報記憶領域34から情報を読み出して、各種データベースをメモリ22に展開する。これにより、管理プログラム30Aを実行したコンピュータ20が、管理サーバ210として機能することになる。
第1制御装置220は、例えば図15に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を第1制御装置220として機能させるための第1制御プログラム50Aが記憶される。第1制御プログラム50Aは、表示制御プロセス51Aと、検出プロセス52とを有する。
CPU41は、第1制御プログラム50Aを記憶部43から読み出してメモリ42に展開し、第1制御プログラム50Aが有するプロセスを順次実行する。CPU41は、表示制御プロセス51Aを実行することで、図12に示す表示制御部221として動作する。検出プロセス52については第1実施形態と同様である。これにより、第1制御プログラム50Aを実行したコンピュータ40が、第1制御装置220として機能することになる。
第2制御装置140は、第1実施形態と同様に、例えば図16に示すコンピュータ60で実現することができる。
なお、管理プログラム30A、及び第1制御プログラム50Aにより実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、第2実施形態に係る画像制御システム200の作用について説明する。第2実施形態では、管理サーバ210により実行される第1管理処理と、第1制御装置220により実行される第1制御処理とが、第1実施形態に係る作用と異なる。以下、第2実施形態における第1管理処理及び第1制御処理について説明する。なお、第2実施形態における第1管理処理及び第1制御処理の各々について、第1実施形態における第1管理処理及び第1制御処理の各々と同様の処理については、同一符号を付して詳細な説明を省略する。
図28に示す第2実施形態における第1管理処理のステップS11及びS12を経て、次のステップS211で、取得部212が、視線センサ180Bから出力された検出情報を取得し、判定部213へ受け渡す。そして、判定部213が、取得部212から受け渡された検出情報に基づいて、各ユーザ105の視線位置を特定する。
次に、ステップS212で、判定部213が、現在時刻を含む直近の所定時間分の検出情報から特定された視線位置が所定サイズの停留領域193に収まっているか否かに基づいて、ユーザ105の視線が第1表示装置130上で停留状態か否かを判定する。ユーザ105の視線が停留状態の場合には、処理はステップS213へ移行し、停留状態ではない場合には、処理はステップS16へ移行する。
ステップS213では、判定部213が、第1表示装置130上での停留領域の中心座標を特定し、停留領域193の中心座標と共に、ユーザ105の視線が停留状態である旨を管理部211へ通知する。そして、管理部211が、停留領域193の中心座標に基づいて、ユーザ105が停留領域193を注視している際の視野範囲194を推定する。そして、管理部211は、カードDB115の「表示位置」の項目を参照して、視野範囲194に含まれる選択肢カード10を特定する。
次に、ステップS214で、管理部211が、特定した選択肢カード10のカードIDと共に、そのカードIDが示す選択肢カード10の表示態様の変更制御の停止指示を第1制御装置220へ送信し、処理はステップS17へ移行する。
次に、第2実施形態における第1制御処理について説明する。第2実施形態における第1制御処理では、図19に示す第1実施形態における第1制御処理と同様の処理が実行される。ただし、ステップS38で、表示制御部221が、管理サーバ210から、カードIDと共に表示態様の変更制御の停止指示を受け付けたとする。この場合、次のステップS39では、表示制御部221が、受け付けたカードIDが示す選択肢カード10についての表示態様の変更制御を停止する。すなわち、カードIDが受け付けられていない選択肢カード10については、表示態様の変更制御が継続される。
以上説明したように、第2実施形態に係る画像制御システム200によれば、ユーザの視線が停留状態か否かに基づいて、選択肢カードの表示態様の変更制御を停止するか否かを判定する。これにより、第1実施形態と同様に、ユーザによる選択作業を妨げることなく、ユーザが様々な選択肢の存在に気付くことができるように、複数の選択肢を表示することができる。
なお、第2実施形態においても、第1実施形態と同様に、ユーザ105の位置に基づいて、選択肢カードの表示態様の変更制御を停止するか否かを判定するようにしてもよい。この場合、検出情報に基づいて特定されたユーザ105の位置に対応する第1表示装置130の領域、例えば、特定されたユーザ105の位置から手が届く範囲を想定した領域に表示された選択肢カード10の表示態様の変更制御を停止するようにすることができる。
また、第2実施形態においても、ユーザ105の視線が第1表示装置130上に停留状態であると判定された場合には、第1実施形態と同様に、全ての選択肢カード10の表示態様の変更制御を停止するようにしてもよい。
<第3実施形態>
次に、第3実施形態について説明する。第1及び第2実施形態では、ユーザの位置又は視線に基づいて、選択肢カードの表示態様の変更制御を停止する場合について説明した。第3実施形態では、ユーザの位置に基づいて、選択肢カードの表示態様の変更制御の程度を異ならせる場合について説明する。なお、第3実施形態に係る画像制御システムにおいて、第1実施形態に係る画像制御システム100又は第2実施形態に係る画像制御システム200と同一の部分については、同一符号を付して詳細な説明を省略する。
図1に示すように、第3実施形態に係る画像制御システム300は、管理サーバ310と、第1制御装置320と、第1表示装置130と、第2制御装置140と、第2表示装置150と、位置センサ180Aとを含む。
管理サーバ310は、図6に示すように、機能部として、管理部311と、取得部112と、判定部313とを含む。また、管理サーバ310の所定の記憶領域には、カードDB115と、制御情報DB116と、背景DB117と、ビジョンDB118とが記憶される。
判定部313は、取得部112から受け渡された検出情報に基づいて、各ユーザ105の位置を特定し、いずれかのユーザ105の位置が、室内101の予め定めた複数の範囲のいずれかの範囲内か否かを判定する。予め定めた複数の範囲としては、例えば、図29に示すように、第1表示装置130に近接した第1の範囲191、及び第1表示装置130と対向する側で第1の範囲191に近接する第2の範囲195を設定することができる。第1の範囲191は、第1実施形態における予め定めた範囲191と同様の趣旨で設定される範囲である。図29の例では、第1の範囲191として、2台の第1表示装置130のそれぞれに対応した第1の範囲191Aと第1の範囲191Bとが設定されている例を示している。また、第2の範囲195は、ユーザ105が第1表示装置130に表示された選択肢カード10を視認することはできるが、第1表示装置130に対するタッチ操作は行うことができない範囲を想定したものである。
判定部313は、いずれかのユーザ105の位置が、第1の範囲191A、191B、及び第2の範囲195のいずれかの範囲内の場合には、そのいずれかの範囲を特定する情報(例えば、範囲ID)を管理部311へ通知する。一方、いずれのユーザ105の位置も第1の範囲191A、191B、及び第2の範囲195のいずれにも含まれていない場合には、判定部313は、ユーザ105の位置は範囲外である旨を管理部311へ通知する。
管理部311は、第1実施形態における管理部111と同様に、各種データベースに対する情報の記憶及び読み出し、並びに第1制御装置320及び第2制御装置140との間での情報の送受信を管理する。
さらに、管理部311は、判定部313から、第1の範囲191A、191Bのいずれかを特定する情報が通知された場合には、その情報に基づいて該当の第1の範囲191A又は第1の範囲191Bを特定する。管理部311は、カードDB115の「表示位置」の項目を参照して、特定した第1の範囲191A又は191Bに対応する第1表示装置130に表示されている選択肢カード10のカードIDを特定する。そして、管理部311は、制御情報DB116から、特定したカードIDに対応する制御情報を取得し、表示態様の変更制御の程度を弱める制御情報を生成する。
具体的には、管理部311は、制御情報DB116に記憶されている制御情報の値を、表示態様の変更制御の通常の程度とし、この通常の程度の値を基準として、制御情報の値を変更した新たな制御情報を生成する。例えば、管理部311は、周期を長くしたり、最大表示サイズをより小さなサイズとしたりすることにより、変更制御の程度を弱める新たな制御情報を生成することができる。管理部311は、生成した新たな制御情報を第1制御装置320へ送信する。
また、管理部311は、判定部313から、第2の範囲195を特定する情報が通知された場合には、制御情報DB116から、第1表示装置130に表示している全ての選択肢カード10の制御情報を取得する。そして、管理部311は、取得した制御情報に基づいて、表示態様の変更制御の通常の程度の値を基準として、変更制御の程度を強める新たな制御情報を生成する。例えば、管理部311は、周期を短くしたり、最大表示サイズをより大きなサイズとしたり、色や輝度などの他の表示態様の変更制御を加えたりすることにより、変更制御の程度を強める新たな制御情報を生成することができる。管理部311は、生成した新たな制御情報を第1制御装置320へ送信する。
また、管理部311は、判定部313から、ユーザ105の位置は範囲外である旨が通知されると、表示態様の変更制御の程度を通常に戻す指示を第1制御装置320へ送信する。
次に、第1制御装置320について説明する。図12に示すように、第1制御装置320は、機能部として、表示制御部321と、検出部122とを含む。
表示制御部321は、第1実施形態における表示制御部121と同様に、管理サーバ310から送信されたカード情報に基づく選択肢カード10の表示、制御情報に基づく表示態様の変更制御を行う。
さらに、表示制御部321は、管理サーバ310から、新たな制御情報を受信すると、受信した新たな制御情報に基づいて、第1表示装置130上に表示している選択肢カード10の表示態様の変更制御の程度を変更する。
具体的には、ユーザ105の位置が第1の範囲191A又は191Bの場合には、変更制御の程度を弱めるための制御情報が管理サーバ310から送信される。表示制御部321は、この制御情報に基づいて、該当の選択肢カード10の表示態様の変更制御の程度を弱める。より具体的には、表示制御部321は、新たな制御情報に含まれるカードIDに基づいて、変更制御の程度を変更する選択肢カード10を特定する。そして、表示制御部321は、特定した選択肢カード10について、新たな制御情報に基づいて、例えば、表示サイズの拡大及び縮小の一連の表示態様の変更制御の周期を長くしたり、最大表示サイズが小さくなるように変更したりする。これにより、第1表示装置130上に表示された選択肢カード10の表示態様の変化の程度が緩やかになるため、ユーザ105による選択肢カード10の選択作業を妨げることを防止することができる。
また、ユーザ105の位置が第2の範囲195内の場合には、変更制御の程度を強めるための制御情報が管理サーバ310から送信される。表示制御部321は、この制御情報に基づいて、変更制御の程度を弱める場合と同様の処理により、全ての選択肢カード10の表示態様の変更制御の程度を強める。これにより、第1表示装置130上に表示された選択肢カード10の表示態様の変化がより活発になるため、選択肢カード10に対するユーザ105の興味をより引き付け、ユーザ105による選択肢カード10の選択作業を促進することができる。
なお、ユーザ105が、第1の範囲191A又は191Bと、第2の範囲195との両方に存在する場合には、ユーザ105による選択肢カード10の選択作業の妨げにならないことを優先させるために、変更制御の程度を弱める制御を実行する。
また、表示制御部321は、管理サーバ310から、表示態様の変更制御の程度を通常に戻す指示を受信すると、全ての選択肢カード10について、当初カード情報と共に受信した制御情報に基づく表示態様の変更制御に戻す。
管理サーバ310は、例えば図14に示すコンピュータ20で実現することができる。コンピュータ20の記憶部23には、コンピュータ20を管理サーバ310として機能させるための管理プログラム30Bが記憶される。管理プログラム30Bは、管理プロセス31Bと、取得プロセス32と、判定プロセス33Bとを有する。
CPU21は、管理プログラム30Bを記憶部23から読み出してメモリ22に展開し、管理プログラム30Bが有するプロセスを順次実行する。CPU21は、管理プロセス31Bを実行することで、図6に示す管理部311として動作する。また、CPU21は、判定プロセス33Bを実行することで、図6に示す判定部313として動作する。取得プロセス32については第1実施形態と同様である。また、CPU21は、情報記憶領域35から情報を読み出して、各種データベースをメモリ22に展開する。これにより、管理プログラム30Bを実行したコンピュータ20が、管理サーバ310として機能することになる。
第1制御装置320は、例えば図15に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を第1制御装置320として機能させるための第1制御プログラム50Bが記憶される。第1制御プログラム50Bは、表示制御プロセス51Bと、検出プロセス52とを有する。
CPU41は、第1制御プログラム50Bを記憶部43から読み出してメモリ42に展開し、第1制御プログラム50Bが有するプロセスを順次実行する。CPU41は、表示制御プロセス51Bを実行することで、図12に示す表示制御部321として動作する。検出プロセス52については第1実施形態と同様である。これにより、第1制御プログラム50Bを実行したコンピュータ40が、第1制御装置320として機能することになる。
第2制御装置140は、第1実施形態と同様に、例えば図16に示すコンピュータ60で実現することができる。
なお、管理プログラム30B、及び第1制御プログラム50Bにより実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、第3実施形態に係る画像制御システム300の作用について説明する。第3実施形態では、管理サーバ310により実行される第1管理処理と、第1制御装置320により実行される第1制御処理とが、第1実施形態に係る作用と異なる。以下、第3実施形態における第1管理処理及び第1制御処理について説明する。なお、第3実施形態における第1管理処理及び第1制御処理の各々について、第1実施形態における第1管理処理及び第1制御処理の各々と同様の処理については、同一符号を付して詳細な説明を省略する。
図30に示す第3実施形態における第1管理処理のステップS11〜S13を経て、次のステップS311で、判定部313が、特定したユーザ105の位置が第1の範囲191A又は191B内か否かを判定する。ユーザ105の位置が第1の範囲191A又は191B内の場合には、処理はステップS312へ移行し、第1の範囲191A又は191B外の場合には、処理はステップS313へ移行する。
ステップS312では、判定部313が、ユーザ105が存在する第1の範囲191A又は191Bを特定する情報を管理部311へ通知する。管理部311は、カードDB115の「表示位置」の項目を参照して、ユーザ105が存在する第1の範囲191A又は191Bに対応する第1表示装置130に表示されている選択肢カード10のカードIDを特定する。そして、管理部311は、制御情報DB116から、特定したカードIDに対応する制御情報を取得し、取得した制御情報に基づいて、表示態様の変更制御の程度を弱める制御情報を生成し、生成した新たな制御情報を第1制御装置320へ送信する。
一方、ステップS313では、判定部313が、特定したユーザ105の位置が第2の範囲195内か否かを判定する。ユーザ105の位置が第2の範囲195内の場合には、処理はステップS314へ移行し、第2の範囲195外の場合には、処理はステップS315へ移行する。
ステップS314では、判定部313が、ユーザ105が存在する第2の範囲195を特定する情報を管理部311へ通知する。管理部311は、第1表示装置130に表示されている全ての選択肢カード10について、制御情報DB116から制御情報を取得する。そして、管理部311は、取得した制御情報に基づいて、表示態様の変更制御の程度を強める制御情報を生成し、生成した新たな制御情報を第1制御装置320へ送信する。
一方、ステップS315では、管理部311が、第1表示装置130に表示されている全ての選択肢カード10の表示態様の変更制御の程度を通常に戻す指示を第1制御装置320へ送信する。
次に、図31に示す第3実施形態における第1制御処理のステップS31〜S32を経て、次のステップS33で否定判定されると、処理はステップS331へ移行する。
ステップS331では、表示制御部321が、管理サーバ310から、新たな制御情報を受信したか否かを判定する。新たな制御情報を受信した場合には、処理はステップS332へ移行し、受信していない場合には、処理はステップS333へ移行する。
ステップS332では、表示制御部321が、受信した新たな制御情報に基づいて、第1表示装置130上に表示している該当の選択肢カード10の表示態様の変更制御の程度を弱める、又は強めるように変更する。そして、処理はステップS33に戻る。
一方、ステップS333では、表示制御部321が、管理サーバ310から、表示態様の変更制御の程度を通常に戻す指示を受信したか否かを判定する。通常に戻す指示を受信した場合には、処理はステップS334へ移行し、受信していない場合には、処理はステップS33に戻る。
ステップS334では、表示制御部321が、第1表示装置130に表示している全ての選択肢カード10について、当初カード情報と共に受信した制御情報に基づく表示態様の変更制御、すなわち上記ステップS32と同じ変更制御に戻す。そして、処理はステップS33に戻る。
以上説明したように、第3実施形態に係る画像制御システム300によれば、ユーザの位置に応じて、第1表示装置に表示する選択肢カードの表示態様の変更制御の程度を弱めたり強めたりする。これにより、第1実施形態と同様に、ユーザによる選択作業を妨げることなく、ユーザが様々な選択肢の存在に気付くことができるように、複数の選択肢を表示することができると共に、ユーザによる選択肢の選択作業を促進することができる。
なお、第3実施形態においても、第2実施形態のように、ユーザ105の視線を検出して、視線が停留状態か否かの判定も合わせて行ってもよい。例えば、ユーザ105の位置が第2の範囲内の場合には、変更制御の程度を強め、ユーザ105の視線が第1表示装置130上に停留状態の場合には、変更制御の程度を弱めるように制御してもよい。
また、上記各実施形態では、選択肢カード10の表示態様の変更制御の一例として、選択肢カード10の表示サイズを時間経過に応じて拡大及び縮小させる場合について説明したが、これに限定されない。選択肢カード10の角度、色、輝度、コントラスト等を時間経過に応じて変化させるようにしてもよい。この場合、制御情報に、変化させる角度、色、輝度、コントラスト等の値を定めておけばよい。また、選択肢カード10の表示位置を時間経過に応じて変化させ、選択肢カード10を川の流れのように表現してもよい。
より具体的には、第1表示装置に表示する選択肢カードを図32の上図に示すように、複数の選択肢カード10を全体として右方向、左方向、上方向、又は下方向(図32の例では、右方向)に移動させる。そして、表示態様の変更制御を停止又は程度を弱める選択肢カード10(図32の例では、10F)の移動を停止させる、又は移動速度を遅くする。この変更制御に伴い、選択肢カード10Fの周辺の選択肢カード10を、図32の下図に示すように、選択肢カード10Fを回避するように移動させる。選択肢カード10の回避を伴う移動には、従来既知の画像の最適配置技術等を利用することができる。
上記のような選択肢カード10の移動を実現するために、制御情報DBには、各選択肢カード10の表示位置を時間経過に応じて変化させるための制御情報、すなわち、選択肢カード10を移動させるための制御情報が記憶される。この場合の制御情報DB416の一例を図33に示す。図33では、制御情報を、例えば、「1サイクル毎に所定方向(例えば、x軸のプラス方向)へ、所定画素数分(例えば、1画素分)移動させる」のような、移動方向及び移動速度を含む情報として特定した例を示している。
また、上記各実施形態において、第2表示装置を複数設けてもよい。この場合、第2表示装置の各々に異なる背景を表示する。そして、第1表示装置から選択された選択肢カードを第2表示装置に転送する際に、いずれの第2表示装置に転送するかを選択したうえで転送する。これにより、例えば、現在の状況用のビジョンと将来の希望用のビジョン等のように、それぞれ異なるビジョンを異なる第2表示装置に表示させることができる。
また、上記各実施形態において、手書きのメモなどをスキャナで読み取り、選択肢カードと同様の電子的なカード形式として、第2表示装置に表示してもよい。これにより、選択肢カードで表された選択肢にはない情報をビジョンに反映させることができる。
また、上記各実施形態では、第1表示装置130の表示制御を第1制御装置120(220、320)が行い、第2表示装置150の表示制御を第2制御装置140が行う場合について説明したが、これに限定されない。例えば、管理サーバ110(210、310)が、第1表示装置130及び第2表示装置150の表示制御を行ってもよい。この場合、第1制御装置120(220、320)の各機能部、及び第2制御装置140の各機能部を、管理サーバ110(210、310)に持たせればよい。
なお、各実施形態における管理サーバ110(210、310)の管理部111(211、311)、第1制御装置120(220、320)及び第2制御装置140の各々の表示制御部121(221、321)、141は、開示の技術の制御部の一例である。
また、上記各実施形態では、管理プログラム30、30A、30B、第1制御プログラム50、50A、50B、及び第2制御プログラム70が記憶部23、43、63に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、CD−ROM、DVD−ROM、USBメモリ等の記憶媒体に記憶された形態で提供することも可能である。
以上の各実施形態に関し、更に以下の付記を開示する。
(付記1)
選択操作の対象となる複数の選択肢情報が表示される表示装置に対するユーザの視線又は位置を示す検出情報を取得し、
取得した検出情報が示すユーザの視線が停留状態であるか否か、又は、取得した検出情報が示すユーザの位置が予め定めた範囲内か否かを判定し、
前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の変更を制御する
ことを含む処理をコンピュータに実行させることを特徴とする画像制御方法。
(付記2)
前記表示態様の変更を制御することは、前記複数の選択肢情報の各々の表示態様を時間経過に応じて変化させると共に、前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の時間経過に応じた変化の程度を変更することを含む付記1に記載の画像制御方法。
(付記3)
前記選択肢情報の表示態様の時間経過に応じた変化の程度を変更することは、前記選択肢情報の表示態様の時間経過に応じた変化を停止させることを含む付記2に記載の画像制御方法。
(付記4)
前記判定結果が、視線が停留状態であること、又は、ユーザの位置が前記表示装置からの距離が予め定めた第1距離以内の第1の範囲内であることを示す場合における前記変化の程度が、前記判定結果が、前記視線が停留状態ではないこと、又は、前記ユーザの位置が前記第1の範囲外であることを示す場合における前記変化の程度に比べて小さくなるように制御する付記2又は付記3に記載の画像制御方法。
(付記5)
前記判定結果が、ユーザの位置が前記第1の範囲外で、かつ前記第1距離より遠い第2距離以内の第2の範囲内であることを示す場合における前記変化の程度が、前記判定結果が、前記ユーザの位置が前記第2の範囲外であることを示す場合における前記変化の程度に比べて大きくなるように制御する付記4に記載の画像制御方法。
(付記6)
前記表示装置の所定領域を、前記表示装置の画面全体、又は前記ユーザの視線又は位置に対応する前記表示装置上の領域とする付記1〜付記5のいずれか1項に記載の画像制御方法。
(付記7)
前記選択肢情報の表示態様の変更は、該選択肢情報の表示サイズ、表示位置、角度、色、輝度、及びコントラストの少なくとも一つを変更することを含む付記1〜付記6のいずれか1項に記載の画像制御方法。
(付記8)
前記表示装置上で選択操作を受け付けた選択肢情報を、他の表示装置に表示させる付記1〜付記7のいずれか1項に記載の画像制御方法。
(付記9)
選択操作の対象となる複数の選択肢情報が表示される表示装置に対するユーザの視線又は位置を示す検出情報を取得する取得部と、
取得した検出情報が示すユーザの視線が停留状態であるか否か、又は、取得した検出情報が示すユーザの位置が予め定めた範囲内か否かを判定する判定部と、
前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の変更を制御する制御部と、
を含むことを特徴とする画像制御装置。
(付記10)
前記制御部は、前記複数の選択肢情報の各々の表示態様を時間経過に応じて変化させると共に、前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の時間経過に応じた変化の程度を変更する付記9に記載の画像制御装置。
(付記11)
前記選択肢情報の表示態様の時間経過に応じた変化の程度を変更することは、前記選択肢情報の表示態様の時間経過に応じた変化を停止させることを含む付記10に記載の画像制御装置。
(付記12)
前記制御部は、前記判定結果が、視線が停留状態であること、又は、ユーザの位置が前記表示装置からの距離が予め定めた第1距離以内の第1の範囲内であることを示す場合における前記変化の程度が、前記判定結果が、前記視線が停留状態ではないこと、又は、前記ユーザの位置が前記第1の範囲外であることを示す場合における前記変化の程度に比べて小さくなるように制御する付記10又は付記11に記載の画像制御装置。
(付記13)
前記制御部は、前記判定結果が、ユーザの位置が前記第1の範囲外で、かつ前記第1距離より遠い第2距離以内の第2の範囲内であることを示す場合における前記変化の程度が、前記判定結果が、前記ユーザの位置が前記第2の範囲外であることを示す場合における前記変化の程度に比べて大きくなるように制御する付記12に記載の画像制御装置。
(付記14)
前記表示装置の所定領域を、前記表示装置の画面全体、又は前記ユーザの視線又は位置に対応する前記表示装置上の領域とする付記9〜付記13のいずれか1項に記載の画像制御装置。
(付記15)
選択操作の対象となる複数の選択肢情報が表示される表示装置に対するユーザの視線又は位置を示す検出情報を取得し、
取得した検出情報が示すユーザの視線が停留状態であるか否か、又は、取得した検出情報が示すユーザの位置が予め定めた範囲内か否かを判定し、
前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の変更を制御する
ことを含む処理をコンピュータに実行させることを特徴とする画像制御プログラム。
(付記16)
前記表示態様の変更を制御することは、前記複数の選択肢情報の各々の表示態様を時間経過に応じて変化させると共に、前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の時間経過に応じた変化の程度を変更することを含む付記15に記載の画像制御プログラム。
(付記17)
前記選択肢情報の表示態様の時間経過に応じた変化の程度を変更することは、前記選択肢情報の表示態様の時間経過に応じた変化を停止させることを含む付記16に記載の画像制御プログラム。
(付記18)
前記判定結果が、視線が停留状態であること、又は、ユーザの位置が前記表示装置からの距離が予め定めた第1距離以内の第1の範囲内であることを示す場合における前記変化の程度が、前記判定結果が、前記視線が停留状態ではないこと、又は、前記ユーザの位置が前記第1の範囲外であることを示す場合における前記変化の程度に比べて小さくなるように制御する付記16又は付記17に記載の画像制御プログラム。
(付記19)
前記判定結果が、ユーザの位置が前記第1の範囲外で、かつ前記第1距離より遠い第2距離以内の第2の範囲内であることを示す場合における前記変化の程度が、前記判定結果が、前記ユーザの位置が前記第2の範囲外であることを示す場合における前記変化の程度に比べて大きくなるように制御する付記18に記載の画像制御プログラム。
(付記20)
前記表示装置の所定領域を、前記表示装置の画面全体、又は前記ユーザの視線又は位置に対応する前記表示装置上の領域とする付記15〜付記19のいずれか1項に記載の画像制御プログラム。
(付記21)
選択操作の対象となる複数の選択肢情報が表示される表示装置に対するユーザの視線又は位置を示す検出情報を取得し、
取得した検出情報が示すユーザの視線が停留状態であるか否か、又は、取得した検出情報が示すユーザの位置が予め定めた範囲内か否かを判定し、
前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の変更を制御する
ことを含む処理をコンピュータに実行させることを特徴とする画像制御プログラムを記憶した記憶媒体。
10 選択肢カード
12 背景
20、40、60 コンピュータ
21、41、61 CPU
22、42、62 メモリ
23、43、63 記憶部
29、49、69 記憶媒体
30、30A、30B 管理プログラム
50、50A、50B 第1制御プログラム
70 第2制御プログラム
100、200、300 画像制御システム
110、210、310 管理サーバ
111、211、311 管理部
112、212 取得部
113、213、313 判定部
120、220、320 第1制御装置
121、221、321 表示制御部
122 検出部
130 第1表示装置
140 第2制御装置
141 表示制御部
142 受付部
143 作成部
150 第2表示装置
180A 位置センサ
180B 視線センサ
115 カードデータベース(DB)
116、416 制御情報DB
117 背景DB
118 ビジョンDB

Claims (8)

  1. 選択操作の対象となる複数の選択肢情報の各々が、表示態様を周期的に変化させながら表示されている表示装置に対するユーザの視線又は位置を示す検出情報を取得し、
    取得した検出情報が示すユーザの視線が停留状態であるか否か、又は、取得した検出情報が示すユーザの位置が予め定めた範囲内か否かを判定し、
    前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の変化の程度を変更するように制御する
    ことを含む処理をコンピュータに実行させることを特徴とする画像制御方法。
  2. 前記表示態様の変化の程度を変更するように制御することは、前記複数の選択肢情報の各々の表示態様を時間経過に応じて変化させると共に、前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の時間経過に応じた変化の程度を変更することを含む請求項1に記載の画像制御方法。
  3. 前記選択肢情報の表示態様の時間経過に応じた変化の程度を変更することは、前記選択肢情報の表示態様の時間経過に応じた変化を停止させることを含む請求項2に記載の画像制御方法。
  4. 前記判定結果が、視線が停留状態であること、又は、ユーザの位置が前記表示装置からの距離が予め定めた第1距離以内の第1の範囲内であることを示す場合における前記変化の程度が、前記判定結果が、前記視線が停留状態ではないこと、又は、前記ユーザの位置が前記第1の範囲外であることを示す場合における前記変化の程度に比べて小さくなるように制御する請求項1〜請求項3のいずれか1項に記載の画像制御方法。
  5. 前記判定結果が、ユーザの位置が前記第1の範囲外で、かつ前記第1距離より遠い第2距離以内の第2の範囲内であることを示す場合における前記変化の程度が、前記判定結果が、前記ユーザの位置が前記第2の範囲外であることを示す場合における前記変化の程度に比べて大きくなるように制御する請求項4に記載の画像制御方法。
  6. 前記表示装置の所定領域を、前記表示装置の画面全体、又は前記ユーザの視線又は位置に対応する前記表示装置上の領域とする請求項1〜請求項5のいずれか1項に記載の画像制御方法。
  7. 選択操作の対象となる複数の選択肢情報の各々が、表示態様を周期的に変化させながら表示されている表示装置に対するユーザの視線又は位置を示す検出情報を取得する取得部と、
    取得した検出情報が示すユーザの視線が停留状態であるか否か、又は、取得した検出情報が示すユーザの位置が予め定めた範囲内か否かを判定する判定部と、
    前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の変化の程度を変更するように制御する制御部と、
    を含むことを特徴とする画像制御装置。
  8. 選択操作の対象となる複数の選択肢情報の各々が、表示態様を周期的に変化させながら表示されている表示装置に対するユーザの視線又は位置を示す検出情報を取得し、
    取得した検出情報が示すユーザの視線が停留状態であるか否か、又は、取得した検出情報が示すユーザの位置が予め定めた範囲内か否かを判定し、
    前記検出情報に基づく判定結果に応じて、前記表示装置の所定領域に表示された選択肢情報の表示態様の変化の程度を変更するように制御する
    ことを含む処理をコンピュータに実行させることを特徴とする画像制御プログラム。
JP2016153804A 2016-08-04 2016-08-04 画像制御方法、装置、及びプログラム Active JP6851745B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016153804A JP6851745B2 (ja) 2016-08-04 2016-08-04 画像制御方法、装置、及びプログラム
US15/661,724 US10860176B2 (en) 2016-08-04 2017-07-27 Image control method and device
EP17183970.7A EP3279770B1 (en) 2016-08-04 2017-07-31 Image control method, device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016153804A JP6851745B2 (ja) 2016-08-04 2016-08-04 画像制御方法、装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018022381A JP2018022381A (ja) 2018-02-08
JP6851745B2 true JP6851745B2 (ja) 2021-03-31

Family

ID=59506095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016153804A Active JP6851745B2 (ja) 2016-08-04 2016-08-04 画像制御方法、装置、及びプログラム

Country Status (3)

Country Link
US (1) US10860176B2 (ja)
EP (1) EP3279770B1 (ja)
JP (1) JP6851745B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026316A1 (ja) * 2018-07-30 2020-02-06 富士通株式会社 表示制御プログラム、装置、及び方法
WO2020026317A1 (ja) * 2018-07-30 2020-02-06 富士通株式会社 表示制御プログラム、装置、及び方法
JP7400531B2 (ja) * 2020-02-26 2023-12-19 株式会社リコー 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋
US11625095B2 (en) * 2021-01-22 2023-04-11 Zinn Labs, Inc. Gaze sensors and display elements for detection of gaze vectors and user control at headset

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001060194A (ja) 1999-08-20 2001-03-06 Toshiba Corp 企画支援装置、企画支援方法および企画支援プログラムを格納したコンピュータ読取り可能な記録媒体
JP4018356B2 (ja) 2000-07-28 2007-12-05 株式会社東芝 製品設計方法、製品設計装置および製品設計プログラムを格納する記憶媒体
JP4179269B2 (ja) 2004-05-07 2008-11-12 ソニー株式会社 携帯型電子機器、表示方法、そのプログラム及び表示操作装置
JP2007237986A (ja) * 2006-03-09 2007-09-20 Toyota Motor Corp 車両用入力装置
US8225229B2 (en) * 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
JP4411387B2 (ja) * 2007-08-07 2010-02-10 学校法人 大阪電気通信大学 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体
US20110267374A1 (en) * 2009-02-05 2011-11-03 Kotaro Sakata Information display apparatus and information display method
EP2441383B1 (en) * 2009-06-08 2015-10-07 Panasonic Intellectual Property Corporation of America Gaze target determination device and gaze target determination method
JP4824805B2 (ja) * 2009-09-28 2011-11-30 京セラ株式会社 携帯端末装置
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US9030505B2 (en) 2012-05-17 2015-05-12 Nokia Technologies Oy Method and apparatus for attracting a user's gaze to information in a non-intrusive manner
JP5635559B2 (ja) * 2012-05-28 2014-12-03 ヤフー株式会社 表示装置、表示方法及び表示プログラム
WO2014128749A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
KR102220910B1 (ko) * 2014-01-10 2021-02-25 엘지전자 주식회사 가전제품 및 가전제품 제어방법
JP2018526693A (ja) * 2015-08-04 2018-09-13 グーグル エルエルシー 仮想現実における注視対話のためのホバー挙動

Also Published As

Publication number Publication date
US20180039386A1 (en) 2018-02-08
JP2018022381A (ja) 2018-02-08
US10860176B2 (en) 2020-12-08
EP3279770B1 (en) 2019-09-04
EP3279770A1 (en) 2018-02-07

Similar Documents

Publication Publication Date Title
US20230176661A1 (en) Data and user interaction based on device proximity
KR102664838B1 (ko) 소셜 미디어 플랫폼들을 위한 친구 위치 공유 메커니즘
US10262356B2 (en) Methods and arrangements including data migration among computing platforms, e.g. through use of steganographic screen encoding
KR102702649B1 (ko) 데이터 메시 플랫폼
JP6851745B2 (ja) 画像制御方法、装置、及びプログラム
US20150212684A1 (en) Systems and methods for scheduling events with gesture-based input
US20160071326A1 (en) System and method for selecting targets in an augmented reality environment
CN111133365A (zh) 内容到空间3d环境的匹配
US20240202550A1 (en) Machine learning modeling using social graph signals
TWI617930B (zh) 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置
US11893208B2 (en) Combined map icon with action indicator
US11995108B2 (en) Systems, devices, and methods for content selection
WO2016005799A1 (en) Social networking system and method
US20220345846A1 (en) Focused map-based context information surfacing
JP6314649B2 (ja) コンテンツ関連付け及び表示方法、プログラム及び計算処理システム
JP2020106769A (ja) 表示プログラム、表示装置及び表示方法
CN114450655B (zh) 量化增强现实交互的系统和方法
JP6722505B2 (ja) 画像制御方法、装置、及びプログラム
JP6512062B2 (ja) 選択肢情報の提示システム、方法、及びプログラム
JP6657771B2 (ja) 選択肢情報の提示システム、方法、及びプログラム
JP7187523B2 (ja) マッチングシステム、眼鏡型デバイス、マッチングサーバ及びプログラム
US20230326244A1 (en) Systems and methods for context-dependent augmented reality
WO2024203975A1 (ja) 仮想ディスプレイの配置システム、仮想ディスプレイの配置方法およびプログラム記憶媒体
JP2024074176A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2024074018A (ja) 情報処理装置、情報処理方法、および情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210104

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R150 Certificate of patent or registration of utility model

Ref document number: 6851745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350