JP7316344B2 - アラート表示システム、アラート表示方法、およびアラート表示プログラム - Google Patents

アラート表示システム、アラート表示方法、およびアラート表示プログラム Download PDF

Info

Publication number
JP7316344B2
JP7316344B2 JP2021194644A JP2021194644A JP7316344B2 JP 7316344 B2 JP7316344 B2 JP 7316344B2 JP 2021194644 A JP2021194644 A JP 2021194644A JP 2021194644 A JP2021194644 A JP 2021194644A JP 7316344 B2 JP7316344 B2 JP 7316344B2
Authority
JP
Japan
Prior art keywords
alert
display
coordinates
user terminal
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021194644A
Other languages
English (en)
Other versions
JP2023081010A (ja
Inventor
尚 小嶋
優理 小田桐
昭彦 戀塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2021194644A priority Critical patent/JP7316344B2/ja
Priority to JP2022145417A priority patent/JP2023081283A/ja
Priority to PCT/JP2022/042275 priority patent/WO2023100637A1/ja
Priority to CN202280063522.9A priority patent/CN118020049A/zh
Publication of JP2023081010A publication Critical patent/JP2023081010A/ja
Application granted granted Critical
Publication of JP7316344B2 publication Critical patent/JP7316344B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Alarm Systems (AREA)

Description

本開示の一側面はアラート表示システム、アラート表示方法、およびアラート表示プログラムに関する。
特許文献1には、アラートに関するユーザの知覚状態を高める電子装置が記載されている。この電子装置では、ユーザが電子装置に目を向けていなかった場合に、プライミングキュー(視覚、触覚または音声など)を出力し、アラートをさらに出力する。特許文献2および3には、ユーザが装置上の画面を見ているかどうかを検知する技術が記載されている。
特開2017-224313号公報 特表2020-502491号公報 特開2014-146871号公報
ユーザがアラートを容易に気付く環境を提供することが望まれている。
本開示の一側面に係るアラート表示システムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、ユーザ端末の表示装置にアラートを表示し、ユーザ端末のユーザの視線を検知して、表示装置におけるユーザの視点座標を取得し、視点座標と、表示装置におけるアラートの領域座標とに基づいて、アラートの表示態様を変更する。
このような側面においては、ユーザ端末の表示装置におけるユーザの視点座標が取得され、視点座標とアラートの領域座標とに基づいてアラートの表示態様が変更される。すなわち、ユーザが表示装置上のどこを見ており、アラートが表示装置上のどこに表示されているかに基づいてアラートの表示態様が変更される。表示態様が変更されたアラートにより、ユーザがアラートを容易に気付く環境を提供することができる。
本開示の一側面によれば、ユーザがアラートを容易に気付く環境を提供することができる。
実施形態に係るアラート表示システムの適用の一例を示す図である。 実施形態に係るアラート表示システムに関連するハードウェア構成の一例を示す図である。 実施形態に係るアラート表示システムに関連する機能構成の一例を示す図である。 アラートの初期表示の一例を示す図である。 アラートの表示態様の第1変更例を示す図である。 アラートの表示態様の第2変更例を示す図である。 アラートの表示態様の第3変更例を示す図である。 アラートの表示態様の第4変更例を示す図である。 実施形態に係るアラート表示システムの第1動作例を示すフローチャートである。 実施形態に係るアラート表示システムの第2動作例を示すシーケンス図である。 実施形態に係るアラート表示システムの第3動作例を示すシーケンス図である。 別の実施形態に係るアラート表示システムに関連する機能構成の一例を示す図である。 アラートの表示の一例を示す図である。 別の実施形態に係るアラート表示システムの第1動作例を示すフローチャートである。 別の実施形態に係るアラート表示システムの第2動作例を示すシーケンス図である。 別の実施形態に係るアラート表示システムの第3動作例を示すシーケンス図である。
以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
[システムの概要]
実施形態に係るアラート表示システムは、ユーザのアラートに対する気付きを支援するコンピュータシステムである。ユーザとは、アラート表示システムを利用する人である。アラートとは、人に注意を喚起するための情報のことをいう。アラートの表現形式は限定されず、例えば、アラートは文書、画像(例えば、写真、映像など)、またはこれらの組合せによって表現されてもよい。「支援する」とは、ユーザがアラートに気付きやすくするために、アラートの表示態様を変更することにより行われる。アラートの表示態様とは、人が視覚を通して、アラートの情報を認識できる状態のことをいう。「表示態様を変更する」とは、アラートの状態に何らかの変更を加えることをいい、例えば視覚的な効果をアラートに加えることをいう。
アラート表示システムは、ユーザがどこを見ており、アラートがどこに表示されているかに基づいてアラートの表示態様を変更する。例えば、アラート表示システムは、ユーザの視線を検知して、ユーザの視点座標を取得する。視点座標とは、例えばユーザ端末の表示装置におけるユーザの視点の位置を示す座標である。視点座標は、例えば二次元または三次元の座標系を用いて表され得る。視点座標は、ユーザ端末により取得されてもよいし、ユーザ端末とは異なる他のコンピュータにより取得されてもよい。ユーザ端末は、一つの表示装置を備えてもよいし、複数の表示装置を備えてもよい。アラート表示システムは、視点座標とアラートの領域座標とに基づいて、アラートの表示態様を変更する。領域座標とは、アラートの表示位置の領域(範囲)を示す座標である。アラート表示システムは、サーバを用いて構成されてもよく、サーバを用いずに構成されてもよい。一例では、アラート表示システムは、一つまたは複数のサーバを備えるサーバシステムにより構成され得る。アラート表示システムは、同一のサーバシステムに接続する複数のユーザ端末と、各ユーザ端末が備える表示装置とにより構成されてもよい。この場合において、各ユーザ端末および各表示装置(以下「装置群」という。)のいずれかがユーザの視点座標を取得してもよいし、装置群のいずれかがユーザの視点座標を検出する対象(ユーザが見ている対象)となってもよいし、装置群のいずれかがユーザに対するアラート表示の機能等を担ってもよい。アラート表示システムは、装置群の間における視点座標の相対的な位置と向きを予め検知して記憶してもよい。以下、サーバおよびサーバシステムを総称して「サーバ」と記載する。
[システムの構成]
図1はアラート表示システム1の適用の一例を示す図である。アラート表示システム1は、サーバ10およびユーザ端末20を備える。サーバ10は、少なくとも一つのユーザ端末20の問合せに応答して、視点座標とアラートの領域座標との位置関係を判定するコンピュータである。サーバ10は通信ネットワークNを介して複数のユーザ端末20と接続する。通信ネットワークNの構成は限定されない。例えば、通信ネットワークNはインターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。
ユーザ端末20は、ユーザによって使用されるコンピュータである。図1では5台のユーザ端末20を示すが、ユーザ端末20の個数は限定されない。図1に例示するようにユーザ端末20の種類は限定されない。例えば、ユーザ端末20は高機能携帯電話機(スマートフォン)、タブレット端末、ウェアラブル端末(例えば、ヘッドマウントディスプレイ(HMD)、スマートグラスなど)、ラップトップ型パーソナルコンピュータ、携帯電話機などの携帯端末でもよい。あるいは、ユーザ端末20はデスクトップ型パーソナルコンピュータなどの据置型端末でもよい。
図2は、アラート表示システム1に関連するハードウェア構成の一例を示す図である。図2は、サーバ10として機能するサーバコンピュータ100と、ユーザ端末20として機能する端末コンピュータ200とを示す。
一例として、サーバコンピュータ100はハードウェア構成要素として、プロセッサ101、主記憶部102、補助記憶部103、および通信部104を備える。プロセッサ101は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサの例としてCPU(Central Processing Unit)およびGPU(Graphics Processing Unit)が挙げられる主記憶部102は、プログラム、演算結果などを記憶する装置であり、例えばROM(Read Only Memory)またはRAM(Random Access Memory)により構成される。補助記憶部103は、一般に主記憶部102よりも大量のデータを記憶することが可能な装置であり、ハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部103は、サーバコンピュータ100をサーバ10として機能させるためのサーバプログラムP1と各種のデータとを記憶する。本実施形態では、アラート表示プログラムはサーバプログラムP1として実装される。通信部104は、通信ネットワークNを介して他のコンピュータとの間でデータ通信を実行する装置であり、例えばネットワークカードまたは無線通信モジュールにより構成される。
サーバ10の各機能要素は、プロセッサ101または主記憶部102の上にサーバプログラムP1を読み込ませてプロセッサ101にそのプログラムを実行させることで実現される。サーバプログラムP1は、サーバ10の各機能要素を実現するためのコードを含む。プロセッサ101はサーバプログラムP1に従って通信部104を動作させ、主記憶部102または補助記憶部103におけるデータの読み出しおよび書き込みを実行する。
サーバ10は、一つまたは複数のコンピュータにより構成され得る。複数のコンピュータが用いられる場合には、通信ネットワークNを介してこれらのコンピュータが互いに接続されることで、論理的に一つのサーバ10が構成される。
一例として、端末コンピュータ200はハードウェア構成要素として、プロセッサ201、主記憶部202、補助記憶部203、および通信部204、入力インタフェース205、出力インタフェース206、および撮像部207を備える。プロセッサ201は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置であり、例えばCPUまたはGPUであり得る。主記憶部202は、プログラム、演算結果などを記憶する装置であり、例えばROMまたはRAMにより構成される。補助記憶部203は、一般に主記憶部202よりも大量のデータを記憶することが可能な装置であり、例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部203は、端末コンピュータ200をユーザ端末20として機能させるためのクライアントプログラムP2と各種のデータとを記憶する。通信部204は、通信ネットワークNを介して他のコンピュータとの間でデータ通信を実行する装置であり、例えばネットワークカードまたは無線通信モジュールにより構成される。入力インタフェース205は、ユーザの操作または動作に基づいてデータを受け付ける装置であり、例えば、キーボード、操作ボタン、ポインティングデバイス、タッチパネル、マイクロフォン、センサ、およびカメラのうちの少なくとも一つによって構成される。出力インタフェース206は、端末コンピュータ200で処理されたデータを出力する装置であり、例えば、モニタ、タッチパネル、HMDおよびスピーカのうちの少なくとも一つによって構成される。撮像部207は、現実世界を写した画像を撮影する装置であり、例えば、映像または写真を撮影するカメラである。撮像部207は入力インタフェース205としても機能し得る。
ユーザ端末20の各機能要素は、対応するクライアントプログラムP2をプロセッサ201または主記憶部202に読み込ませてプロセッサ201にそのプログラムを実行させることで実現される。クライアントプログラムP2は、ユーザ端末20の各機能要素を実現するためのコードを含む。プロセッサ201はクライアントプログラムP2に従って通信部204、入力インタフェース205、出力インタフェース206、または撮像部207を動作させ、主記憶部202または補助記憶部203におけるデータの読み出しおよび書き込みを行う。
サーバプログラムP1およびクライアントプログラムP2の少なくとも一つは、CD-ROM、DVD-ROM、半導体メモリなどの有形の記録媒体に非一時的に記録された上で提供されてもよい。あるいは、これらのプログラムの少なくとも一つは、搬送波に重畳されたデータ信号として通信ネットワークNを介して提供されてもよい。これらのプログラムは別々に提供されてもよいし、一緒に提供されてもよい。
図3は、アラート表示システム1に関連する機能構成の一例を示す図である。サーバ10は、機能要素として判定部11を備える。判定部11は、ユーザ端末20からの問合せに応答して、視点座標とアラートの領域座標との位置関係を判定する機能要素である。
ユーザ端末20は、機能要素としてアラート表示部21、トラッキング部22、問合せ部23、およびアラート制御部24を備える。アラート表示部21は、検知されたイベントに関するアラートをユーザ端末20の表示装置に表示する機能要素である。トラッキング部22は、ユーザ端末20のユーザの視線を検知して、表示装置における視点座標を取得する機能要素である。問合せ部23は、視点座標およびアラートの領域座標に基づく判定要求をサーバ10に送信する機能要素である。判定要求は、視点座標とアラートの領域座標との位置関係を問い合わせる要求である。アラート制御部24は、アラートの表示態様を変更する機能要素である。
図4は、アラートの初期表示の一例を示す図である。ユーザ端末20は、複数の表示装置D1、D2、およびD3を備える。例えば、複数の表示装置D1、D2、およびD3は、いわゆるマルチディスプレイとして構成される。一例では、複数の表示装置D1、D2、およびD3は、ユーザ端末20のオペレーティングシステムおよびアプリケーションプログラムに関する画面等を協働して表示する。複数の表示装置D1、D2、およびD3上の座標は、例えば二次元または三次元の座標系で表され得る。
ユーザ端末20は、それぞれが異なるオペレーティングシステムを備える複数のコンピュータによって構成されてもよい。例えば、ユーザ端末20は、第1ユーザ端末、および第1ユーザ端末のオペレーティングシステムとは異なるオペレーティングシステムを備える第2ユーザ端末により構成されてもよい。一例では、第1ユーザ端末は表示装置D1およびD2を備えてもよく、第2ユーザ端末は表示装置D3を備えてもよい。この場合、複数の表示装置D1およびD2上の座標と、表示装置D3上の座標とは、異なる座標系により表されてもよいし、仮想的な同一の座標系により表されてもよい。
アラート表示部21は、表示装置上の初期位置にアラートを表示する。初期位置とは、アラートが最初に表示される既定の表示位置である。初期位置はアラートごとに異なり得る。例えば、アラート表示部21は、表示装置D2上の初期位置L1にアラートAを表示する。アラートAの領域座標APは、表示装置D2上の初期位置L1にある。
続いて、トラッキング部22は、ユーザUの視線Vを検知し、ユーザUの視点座標VPを取得する。一例では、ユーザUの視点座標VPは表示装置D1上にある。問合せ部23は、ユーザUの視点座標VPおよびアラートAの領域座標APに基づく判定要求をサーバ10に送信する。サーバ10の判定部11は、例えばユーザUの視点座標VPがアラートAの領域座標APから所定の範囲内にあるか否かを判定する。一例では、判定部11は、視点座標VPが領域座標AP上にあるか否かを判定する。判定部11は、アラートの表示態様の変更が必要であること、または不要であることを示す判定結果を生成してもよい。そして、判定部11は、判定結果をユーザ端末20に送信する。
続いて、アラート制御部24は、判定結果に基づいてアラートの表示態様を変更する。図5~図8を参照して、アラートの表示態様の変更例を説明する。図5~図8において、ユーザUは、表示装置D1に視線Vを向けている。すなわち、ユーザUの視点座標VPは表示装置D1上にある。
図5は、アラートの表示態様の第1変更例を示す図である。第1変更例では、アラート制御部24が、アラートが表示されている表示位置から、視点座標に向けてアラートを移動させる。例えば、アラート制御部24は、アラートAが表示されている表示装置D2上の初期位置L1から、表示装置D1上の視点座標VPに向けてアラートAを移動させる。アラート制御部24は、アラートAの領域座標APと視点座標VPとが重なるようにアラートAを移動させてもよいし、アラートAの領域座標APと視点座標VPとが重ならないようにアラートAを移動させてもよい。また、アラート制御部24は、視点座標VPに向けてアラートAを徐々に移動させてもよいし、アラートAが表示されている表示位置から消えて、途中で表示されることなく視点座標VPに表示されるようにアラートAを移動させてもよい。一例では、アラート制御部24は、アラートAの領域座標APと視点座標VPとが重なるようにアラートAを徐々に移動させる。
図6は、アラートの表示態様の第2変更例を示す図である。第2変更例では、アラート制御部24が、アラートの表示態様を変更している間、アラートに関連付けられた音声の出力を継続する。「表示態様を変更している間」とは、アラートの表示態様が変更されている間の一部または全部の時間帯である。音声は、アラートの表示と共に出力される既定の音声(以下「既定音」という。)であってもよく、既定音とは別の音声であってもよい。アラート制御部24は、音声を所定の時間間隔で出力してもよい。アラート制御部24は、経過時間に従って音量を変更してもよい。一例では、アラート制御部24は、アラートAの表示態様を変更している間、アラートAに関連付けられた音声Sが鳴り続けるように、音声Sの出力を継続する。
図7は、アラートの表示態様の第3変更例を示す図である。第3変更例では、アラート制御部24が、表示位置の移動とは異なる効果をアラートに付加する。例えば、アラート制御部24は、振動させる効果EをアラートAに付加する。アラート制御部24は、形状を変化させる効果をアラートAに付加してもよい。形状を変化させる効果としては、例えば所定の大きさまで徐々に拡大する効果、拡大および縮小を繰り返す効果等が挙げられる。アラート制御部24は、アラートAの表示および非表示を切り替えて点滅させる効果をアラートAに付加してもよい。アラート制御部24は、所定の時間間隔でアラートAに付加された効果が表れるようにアラートAを制御してもよい。
図8は、アラートの表示態様の第4変更例を示す図である。表示装置D3には、操作対象を示すインタフェースであるカーソルCが表示されている。操作対象を示すインタフェースはカーソルC(マウスポインタ)に限られず、例えば文字入力に用いられるカーソルまたはアクティブウィンドウ等であってもよい。
第4変更例では、アラート制御部24が、アラートが最初に表示された表示位置である初期位置から、表示装置における操作対象を示すインタフェースの表示位置に基づいて設定される表示位置に向けてアラートを移動させる。例えば、アラート制御部24は、アラートAが最初に表示された表示位置である初期位置L1から、表示装置D3におけるカーソルCの表示位置に基づいて設定される表示位置L2に向けてアラートAを移動させてもよい。表示位置L2は、カーソルCを中心とする所与の範囲であってもよく、例えばカーソルCを中心とする矩形状の範囲であってもよいが、これに限られない。アラート制御部24は、アラートAの領域座標APとカーソルCとが重なるようにアラートAを移動させてもよいし、アラートAの領域座標APとカーソルCとが重ならないようにアラートAを移動させてもよい。また、アラート制御部24は、表示位置L2に向けてアラートAを徐々に移動させてもよいし、表示位置L2にアラートAが突然表示されるようにアラートAを移動させてもよい。一例では、アラート制御部24は、アラートAの領域座標APとカーソルCとが重なるようにアラートAを徐々に移動させる。これにより、アラートAの領域座標APは、表示装置D3における表示位置L2に移動する。
続いて、トラッキング部22は、ユーザUの視線Vを検知し、ユーザUの視点座標VPを取得する。一例では、ユーザUの視点座標VPは表示装置D1上にある。問合せ部23は、ユーザUの視点座標VPおよびアラートAの領域座標APに基づく判定要求をサーバ10に送信する。サーバ10の判定部11は、例えばユーザUの視点座標VPがアラートAの領域座標APから所定の範囲内にあるか否かを判定する。一例では、判定部11は、視点座標VPが領域座標AP上にあるか否かを判定する。そして、判定部11は、判定結果をユーザ端末20に送信する。
続いて、アラート制御部24は、判定結果に基づいてアラートの表示態様を変更する。例えば、アラート制御部24は、アラートが表示されている表示位置から、視点座標に向けてアラートを移動させる。一例では、アラート制御部24は、アラートAが表示されている表示装置D3上の表示位置L2から、表示装置D1上の視点座標VPに向けてアラートAを移動させる。以上説明したように、図8に示される第4変更例では、アラート制御部24が、アラートが最初に表示された表示位置である初期位置から、表示装置における操作対象を示すインタフェースの表示位置に基づいて設定される表示位置に向けてアラートを移動させる。さらに、アラート制御部24は、視点座標と、表示装置におけるアラートの領域座標とに基づいて、アラートが表示されている表示位置から、視点座標に向けてアラートを移動させる。すなわち、アラート制御部24は、アラートを二段階に移動させる。
[システムの動作]
アラート表示システム1の動作を説明するとともに、本実施形態に係るアラート表示方法について説明する。図9は、アラート表示システム1の第1動作例を処理フローS1として示すフローチャートである。
ステップS11では、ユーザ端末20のアラート表示部21がアラートを表示する。例えば、アラート表示部21は、ユーザ端末20のオペレーティングシステムまたはアプリケーションシステム上で発生したイベントに関するアラートをユーザ端末20の表示装置に表示する。アラート表示部21は、例えばWebアプリケーション上で発生したイベントに関するアラートをユーザ端末20の表示装置に表示してもよい。例えば、アラート表示部21は、アラートごとの初期位置にアラートを表示する。
ステップS12では、ユーザ端末20のトラッキング部22が、ユーザの視点座標を取得する。例えば、トラッキング部22はユーザの眼の動きに基づいて視点座標を特定する。その特定方法は限定されない。一例として、トラッキング部22は、ユーザ端末20の撮像部207によってユーザの眼の周辺画像を撮影し、ユーザの目頭を基準点とした虹彩の位置に基づいて視点座標を特定してもよい。他の例として、トラッキング部22は角膜反射法(PCCR)を用いてユーザの視点座標を特定してもよい。角膜反射法を採用する場合、ユーザ端末20はハードウェア構成として赤外線出射装置および赤外線カメラを備えてもよい。
ステップS13では、ユーザ端末20の問合せ部23が、視点座標およびアラートの領域座標に基づく判定要求をサーバ10に送信する。そして、サーバ10の判定部11は、ユーザの視点座標がアラートの領域座標から所定の範囲内にあるか否かを判定する。判定部11は、視点座標が領域座標上にあるか否かを判定してもよい。ここでは、判定部11は視点座標が領域座標から所定の範囲外にあると判定する。判定部11は、判定結果をユーザ端末20に送信する。
ステップS14では、ユーザ端末20のアラート制御部24が、判定結果に基づいて、アラートの表示態様を変更する。例えば、アラート制御部24は、視点座標が領域座標から所定の範囲外にある場合、アラートの表示態様を変更する。すなわち、アラート制御部24は、視点座標と、表示装置におけるアラートの領域座標とに基づいて、アラートの表示態様を変更する。アラート制御部24は、視点座標が領域座標に重ならない場合、アラートの表示態様を変更してもよい。
ステップS12~S14の処理は、繰り返し実行されてもよい。例えば、トラッキング部22は、所定の時間間隔でユーザの視点座標を取得する。問合せ部23は、所定の時間間隔で判定要求をサーバ10に送信する。判定部11は、判定要求ごとに判定結果をユーザ端末20に送信する。例えば、アラート制御部24は、視点座標がアラートの領域座標に重なるまで、アラートの表示態様を変更する。
ステップS12~S14に関連して、アラート制御部24は、アラートが最初に表示されてから予め定められた時間を経過するまでにおける、視点座標と領域座標とに基づいて、アラートの表示態様を変更するか否かを制御してもよい。例えば、トラッキング部22は、アラートが最初に表示されてから予め定められた時間内に、ユーザ端末20の表示装置上でユーザの視点がどのように移動したかを示す視点の軌跡を取得する。一例では、トラッキング部22は、ユーザの視点座標を所定の時間間隔ごとに特定し、時系列に沿って並ぶ複数の視点座標を視点の軌跡として取得する。問合せ部23は、視点の軌跡およびアラートの領域座標に基づく判定要求をサーバ10に送信する。判定部11は、視点の軌跡がアラートの領域座標から所定の範囲内にあるか否かを判定し、判定結果をユーザ端末20に送信する。例えば、判定部11は、視点の軌跡のうち、アラートの領域座標に重なる一つまたは複数の視点座標があるか否かを判定する。他の例として、判定部11は、所定の時間における視点の軌跡がアラートの領域座標に重なるか否かを判定する。アラート制御部24は、判定結果に基づいて、アラートの表示態様を変更するか否かを制御する。一例では、アラート制御部24は、アラートの領域座標に重なる一つまたは複数の視点座標があると判定された場合、アラートの表示態様を変更しない。アラート制御部24は、アラートの領域座標に重なる一つまたは複数の視点座標がないと判定された場合、アラートの表示態様を変更する。
ステップS12~S14に関連して、アラート制御部24は、視点座標が領域座標に向かって移動することに基づいて、アラートの表示態様を変更するか否かを制御してもよい。例えば、トラッキング部22は、所定の時間間隔でユーザの視点の軌跡を取得する。問合せ部23は、視点の軌跡およびアラートの領域座標に基づく判定要求をサーバ10に送信する。判定部11は、視点の軌跡がアラートの領域座標に近付くか否かを判定し、判定結果をユーザ端末20に送信する。例えば、判定部11は、視点の軌跡がアラートの領域座標に向かう方向に所定の距離を移動したか否かを判定する。他の例として、判定部11は、アラートの領域座標を基準とした所定の範囲外から、該所定の範囲内の距離に視点の軌跡が移動したか否かを判定する。
ステップS11に関連して、表示装置は、第1表示装置および第2表示装置を含んでもよい。例えば、第1表示装置は表示装置D2であってもよい。第2表示装置は表示装置D1およびD3であってもよい。アラート表示部21は、第1表示装置(例えば表示装置D2)上にアラートを表示してもよい。例えば、アラート表示部21は、第1表示装置のみにアラートを表示してもよい。換言すると、アラート表示部21は、第2表示装置(例えば表示装置D1およびD3)にアラートAを表示することなく、第1表示装置にアラートAを表示してもよい。ステップS14に関連して、アラート制御部24は、視点座標が第2表示装置上にある場合に、アラートの表示態様を変更してもよい。また別の例では、アラート制御部24は、視点座標が第1表示装置上にあり、かつアラートの領域座標から所定の範囲内にない場合に、アラートの表示態様を変更してもよい。
図10は、アラート表示システム1の第2動作例を処理フローS2として示すシーケンス図である。処理フローS2は、ユーザ端末20が、第1ユーザ端末および第2ユーザ端末により構成されている場合のアラート表示システム1の動作の一例である。
ステップS21では、第1ユーザ端末のアラート表示部21がアラートを表示する。例えば、第1ユーザ端末のアラート表示部21は、第1ユーザ端末のオペレーティングシステムまたはアプリケーションシステム上で発生したイベントに関するアラートを第1ユーザ端末の表示装置に表示する。第1ユーザ端末のアラート表示部21は、例えばWebアプリケーション上で発生したイベントに関するアラートを第1ユーザ端末の表示装置に表示してもよい。
ステップS22では、第1ユーザ端末が、第1ユーザ端末上におけるアラートの発生の通知をサーバ10に送信する。第1ユーザ端末は、アラートの領域座標を含む通知をサーバ10に送信してもよい。サーバ10は、アラートの発生の通知を第1ユーザ端末から受信する。
ステップS23では、サーバ10が、第1ユーザ端末および第2ユーザ端末に視点座標の取得の指示を送信する。第1ユーザ端末および第2ユーザ端末はそれぞれ、視点座標の取得の指示をサーバ10から受信する。
ステップS24では、第1ユーザ端末のトラッキング部22および第2ユーザ端末のトラッキング部22が、それぞれユーザの視点座標を取得する。ここでは、ユーザは第2ユーザ端末の表示装置に視線を向けているとして説明する。すなわち、ユーザの視点座標は、第1ユーザ端末の表示装置上にはなく、第2ユーザ端末の表示装置上にある。
ステップS25では、第1ユーザ端末の問合せ部23および第2ユーザ端末の問合せ部23が、視点座標およびアラートの領域座標に基づく判定要求をサーバ10に送信する。第1ユーザ端末は、第1ユーザ端末上のアラートの領域座標を含む判定要求をサーバ10に送信してもよい。サーバ10は、第1ユーザ端末および第2ユーザ端末から判定要求を受信する。
ステップS26では、サーバ10の判定部11が、視点座標とアラートの領域座標との位置関係を判定する。ここでは、判定部11は、第2ユーザ端末の表示装置上の視点座標が、第1ユーザ端末の表示装置上のアラートの領域座標から所定の範囲外にあると判定する。
ステップS27では、判定部11が判定結果を第1ユーザ端末および第2ユーザ端末に送信する。第1ユーザ端末に送信する判定結果は、第2ユーザ端末に送信する判定結果とは異なっていてもよい。例えば、判定部11は、アラートの表示態様の変更が必要であることを示す判定結果を第1ユーザ端末に送信すると共に、アラートの表示態様の変更が不要であることを示す判定結果を第2ユーザ端末に送信してもよい。第1ユーザ端末および第2ユーザ端末は、それぞれ判定結果をサーバ10から受信する。
ステップS28では、第1ユーザ端末のアラート制御部24および第2ユーザ端末のアラート制御部24がそれぞれ、必要に応じてアラートの表示態様を変更する。例えば、第1ユーザ端末のアラート制御部24は、視点座標が領域座標から所定の範囲外にある場合、アラートの表示態様を変更する。第2ユーザ端末のアラート制御部24は、処理を行わない。
アラート表示システム1は、サーバ10を用いずに構成されてもよい。この場合には、サーバ10の機能要素はユーザ端末20に実装されてもよい。あるいは、サーバ10の機能要素は複数のユーザ端末20のうち、いずれかに実装されてもよい。これに関連して、アラート表示プログラムはクライアントプログラムP2として実現されてもよい。
図11は、アラート表示システム1の第3動作例を処理フローS3として示すシーケンス図である。処理フローS4は、第1ユーザ端末と第2ユーザ端末とがP2P(Peer to Peer)接続されている場合のアラート表示システム1の動作の一例である。以下、第2ユーザ端末がサーバ10の役割を担うものとして説明する。すなわち、第2ユーザ端末は、機能要素として判定部11をさらに備える。
ステップS31では、第1ユーザ端末のアラート表示部21がアラートを表示する。ステップS31の処理は、処理フローS2のステップS21の処理と同様である。
ステップS32では、第1ユーザ端末が、第1ユーザ端末上におけるアラートの発生の通知を第2ユーザ端末に送信する。第1ユーザ端末は、アラートの領域座標を含む通知を第2ユーザ端末に送信してもよい。第2ユーザ端末は、アラートの発生の通知を第1ユーザ端末から受信する。
ステップS33では、第2ユーザ端末が、第1ユーザ端末に視点座標の取得の指示を送信する。第1ユーザ端末は、視点座標の取得の指示を第2ユーザ端末から受信する。
ステップS34では、第1ユーザ端末のトラッキング部22および第2ユーザ端末のトラッキング部22が、それぞれユーザの視点座標を取得する。ステップS34の処理は、処理フローS2のステップS24の処理と同様である。
ステップS35では、第1ユーザ端末の問合せ部23が、視点座標およびアラートの領域座標に基づく判定要求を第2ユーザ端末に送信する。第1ユーザ端末は、第1ユーザ端末上のアラートの領域座標を含む判定要求を第2ユーザ端末に送信してもよい。第2ユーザ端末は、第1ユーザ端末および第2ユーザ端末から判定要求を受信する。
ステップS36では、第2ユーザ端末の判定部11が、視点座標とアラートの領域座標との位置関係を判定する。ここでは、判定部11は、第2ユーザ端末の表示装置上の視点座標が、第1ユーザ端末の表示装置上のアラートの領域座標から所定の範囲外にあると判定する。
ステップS37では、第2ユーザ端末の判定部11が、判定結果を第1ユーザ端末に送信する。例えば、判定部11は、アラートの表示態様の変更が必要であることを示す判定結果を第1ユーザ端末に送信してもよい。第1ユーザ端末は、判定結果を第2ユーザ端末から受信する。
ステップS38では、第1ユーザ端末のアラート制御部24および第2ユーザ端末のアラート制御部24がそれぞれ、必要に応じてアラートの表示態様を変更する。ステップS38の処理は、処理フローS2のステップS28の処理と同様である。
[効果]
以上説明したように、本開示の一側面に係るアラート表示システムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、ユーザ端末の表示装置にアラートを表示し、ユーザ端末のユーザの視線を検知して、表示装置におけるユーザの視点座標を取得し、視点座標と、表示装置におけるアラートの領域座標とに基づいて、アラートの表示態様を変更する。
本開示の一側面に係るアラート表示方法は、少なくとも一つのプロセッサを備えるアラート表示システムによって実行される。アラート表示方法は、ユーザ端末の表示装置にアラートを表示するステップと、ユーザ端末のユーザの視線を検知して、表示装置におけるユーザの視点座標を取得するステップと、視点座標と、表示装置におけるアラートの領域座標とに基づいて、アラートの表示態様を変更するステップとを含む。
本開示の一側面に係るアラート表示プログラムは、ユーザ端末の表示装置にアラートを表示するステップと、ユーザ端末のユーザの視線を検知して、表示装置におけるユーザの視点座標を取得するステップと、視点座標と、表示装置におけるアラートの領域座標とに基づいて、アラートの表示態様を変更するステップとをコンピュータに実行させる。
このような側面においては、ユーザ端末の表示装置におけるユーザの視点座標が取得され、視点座標とアラートの領域座標とに基づいてアラートの表示態様が変更される。すなわち、ユーザが表示装置上のどこを見ており、アラートが表示装置上のどこに表示されているかに基づいてアラートの表示態様が変更される。表示態様が変更されたアラートにより、ユーザがアラートを容易に気付く環境を提供することができる。
他の側面に係るアラート表示システムでは、少なくとも一つのプロセッサが、視点座標が領域座標に重ならないことに基づいて、アラートの表示態様を変更してもよい。視点座標が領域座標に重ならない場合、ユーザがアラート表示を見ていないと推定される。この場合にアラートの表示態様が変更されることにより、ユーザがアラートを容易に気付く環境を提供することができる。
他の側面に係るアラート表示システムでは、少なくとも一つのプロセッサが、アラートが表示されている表示位置から、視点座標に向けてアラートを移動させてもよい。ユーザの視点座標にアラートが近付くことにより、ユーザがアラートをより容易に気付く環境を提供することができる。
他の側面に係るアラート表示システムでは、少なくとも一つのプロセッサが、アラートの表示態様を変更している間、アラートに関連付けられた音声の出力を継続してもよい。この場合、ユーザが音声を聞き逃す可能性が低減される。これにより、ユーザがアラートをより容易に気付く環境を提供することができる。
他の側面に係るアラート表示システムでは、少なくとも一つのプロセッサが、アラートが最初に表示された表示位置である初期位置から、表示装置における操作対象を示すインタフェースの表示位置に基づいて設定される表示位置に向けてアラートを移動させてもよい。インタフェースの表示位置の座標は容易に取得可能であるため、アラートの移動先の特定に係る計算コストを抑制できる。また、ユーザはインタフェースの表示位置を見る可能性が高いと推定されるため、ユーザがアラートをより容易に気付く環境を提供することができる。
他の側面に係るアラート表示システムでは、少なくとも一つのプロセッサが、アラートが最初に表示されてから予め定められた時間を経過するまでにおける、視点座標と領域座標とに基づいて、アラートの表示態様を変更するか否かを制御してもよい。このような構成によれば、予め定められた時間内に、ユーザが表示装置上のどこを見ており、アラートが表示装置上のどこに表示されていたかに基づいて、アラートの表示態様を変更するか否かが制御される。ユーザがアラートに気付いていると推定される場合にはアラートの表示態様を変更する必要がないため、不要な処理に係る計算コストを抑制できる。
他の側面に係るアラート表示システムでは、少なくとも一つのプロセッサが、視点座標が領域座標に向かって移動することに基づいて、アラートの表示態様を変更するか否かを制御してもよい。視点座標が領域座標に向かって移動する場合、ユーザがアラートに気付いていると推定される。この場合にはアラートの表示態様を変更する必要がないため、不要な処理に係る計算コストを抑制できる。
他の側面に係るアラート表示システムでは、表示装置が、第1表示装置および第2表示装置を含んでもよい。少なくとも一つのプロセッサは、第1表示装置上にアラートを表示し、視点座標が第2表示装置上にある場合に、アラートの表示態様を変更してもよい。ユーザが第2表示装置を見ている場合、ユーザは第1表示装置上に表示されたアラートに気付き難い。この場合にアラートの表示態様を変更することにより、ユーザがアラートをより容易に気付く環境を提供することができる。
続いて、別の実施形態に係るアラート表示システム1Aの適用の一例を説明する。図12は、アラート表示システム1Aに関連する機能構成の一例を示す図である。アラート表示システム1Aは、アラートの初期位置を視点座標に基づいて判定する点で、アラート表示システム1とは異なる。以下、アラート表示システム1Aについて、アラート表示システム1とは異なる箇所を主に説明する。サーバ10Aは、機能要素として判定部11Aを備える。判定部11Aは、アラートの表示位置を判定する機能要素である。
ユーザ端末20Aは、機能要素としてイベント検知部25、トラッキング部22、問合せ部23A、およびアラート表示部21Aを備える。イベント検知部25は、アラートに関連付けられたイベントを検知する機能要素である。問合せ部23Aは、視点座標に基づくアラートの表示位置の判定要求をサーバ10Aに送信する機能要素である。アラート表示部21Aは、視点座標に基づいて設定された表示位置にアラートを表示する機能要素である。
図13は、アラートの表示の一例を示す図である。トラッキング部22は、ユーザUの視線Vを検知し、ユーザUの視点座標VPを取得する。一例では、ユーザUの視点座標VPは表示装置D1上にある。問合せ部23Aは、視点座標VPに基づくアラートの表示位置の判定要求をサーバ10Aに送信する。サーバ10Aの判定部11Aは、視点座標VPに基づく表示位置を判定する。視点座標VPに基づく表示位置は、視点座標VPを中心とする所与の範囲であってもよく、例えば視点座標VPを中心とする矩形状の範囲であってもよいが、これに限られない。判定部11Aは、判定結果をユーザ端末20Aに送信する。アラート表示部21Aは、判定結果に基づいてアラートAを表示する。例えば、アラート表示部21Aは、視点座標VPに基づいて設定された表示位置にアラートAを表示する。アラート表示部21Aは、アラートAの領域座標APと視点座標VPとが重なるようにアラートAを表示させてもよいし、アラートAの領域座標APと視点座標VPとが重ならないようにアラートAを表示させてもよい。
図14は、アラート表示システム1Aの第1動作例を処理フローS4として示すフローチャートである。
ステップS41では、ユーザ端末20Aのイベント検知部25がアラートのイベントを検知する。例えば、イベント検知部25は、ユーザ端末20Aのオペレーティングシステムまたはアプリケーションシステム上で発生したイベントを検知する。イベント検知部25は、例えばWebアプリケーション上で発生したイベントを検知してもよい。
ステップS42では、ユーザ端末20Aのトラッキング部22が、ユーザの視点座標を取得する。ステップS42の処理は、処理フローS1のステップS12の処理と同様である。
ステップS43では、ユーザ端末20Aの問合せ部23Aが、視点座標に基づくアラートの表示位置の判定要求をサーバ10Aに送信する。そして、サーバ10Aの判定部11Aは、視点座標に基づく表示位置を判定する。判定部11Aは、判定結果をユーザ端末20Aに送信する。
ステップS44では、ユーザ端末20Aのアラート表示部21Aが、判定結果に基づいてアラートを表示する。例えば、アラート表示部21Aは、視点座標に基づいて設定された表示位置にアラートを表示する。
図15は、アラート表示システム1Aの第2動作例を処理フローS5として示すシーケンス図である。処理フローS5は、ユーザ端末20Aが、第1ユーザ端末および第2ユーザ端末により構成されている場合のアラート表示システム1Aの動作の一例である。
ステップS51では、第1ユーザ端末のイベント検知部25がアラートを検知する。例えば、第1ユーザ端末のイベント検知部25は、第1ユーザ端末のオペレーティングシステムまたはアプリケーションシステム上で発生したイベントを検知する。第1ユーザ端末のイベント検知部25は、例えばWebアプリケーション上で発生したイベントを検知してもよい。
ステップS52では、第1ユーザ端末が、第1ユーザ端末上におけるアラートの発生の通知をサーバ10Aに送信する。第1ユーザ端末は、アラートの領域座標を含む通知をサーバ10Aに送信してもよい。サーバ10Aは、アラートの発生の通知を第1ユーザ端末から受信する。
ステップS53では、サーバ10Aが、第1ユーザ端末および第2ユーザ端末に視点座標の取得の指示を送信する。第1ユーザ端末および第2ユーザ端末はそれぞれ、視点座標の取得の指示をサーバ10Aから受信する。
ステップS54では、第1ユーザ端末のトラッキング部22および第2ユーザ端末のトラッキング部22が、それぞれユーザの視点座標を取得する。ここでは、ユーザは第2ユーザ端末の表示装置に視線を向けているとして説明する。すなわち、ユーザの視点座標は、第1ユーザ端末の表示装置上にはなく、第2ユーザ端末の表示装置上にある。
ステップS55では、第1ユーザ端末の問合せ部23Aおよび第2ユーザ端末の問合せ部23Aが、視点座標に基づくアラートの表示位置の判定要求をサーバ10Aに送信する。第1ユーザ端末は、第1ユーザ端末上のアラートの領域座標を含む判定要求をサーバ10Aに送信してもよい。サーバ10Aは、第1ユーザ端末および第2ユーザ端末から判定要求を受信する。
ステップS56では、サーバ10Aの判定部11Aが、アラートの表示位置を判定する。例えば、判定部11Aは、視点座標に基づく表示位置を判定する。
ステップS57では、判定部11Aが判定結果を第1ユーザ端末および第2ユーザ端末に送信する。第1ユーザ端末および第2ユーザ端末は、それぞれ判定結果をサーバ10Aから受信する。
ステップS58では、第1ユーザ端末のアラート表示部21Aおよび第2ユーザ端末のアラート表示部21Aがそれぞれ、必要に応じてアラートを表示する。例えば、第1ユーザ端末のアラート表示部21Aは、視点座標に基づいて設定された表示位置にアラートを表示する。第2ユーザ端末のアラート表示部21Aは、処理を行わない。
図16は、アラート表示システム1Aの第3動作例を処理フローS6として示すシーケンス図である。処理フローS6は、第1ユーザ端末と第2ユーザ端末とがP2P(Peer to Peer)接続されている場合のアラート表示システム1Aの動作の一例である。以下、第2ユーザ端末がサーバ10Aの役割を担うものとして説明する。すなわち、第2ユーザ端末は、機能要素として判定部11Aをさらに備える。
ステップS61では、第1ユーザ端末のイベント検知部25がアラートを検知する。ステップS61の処理は、処理フローS5のステップS51の処理と同様である。
ステップS62では、第1ユーザ端末が、第1ユーザ端末上におけるアラートの発生の通知を第2ユーザ端末に送信する。第1ユーザ端末は、アラートの領域座標を含む通知を第2ユーザ端末に送信してもよい。第2ユーザ端末は、アラートの発生の通知を第1ユーザ端末から受信する。
ステップS63では、第2ユーザ端末が、第1ユーザ端末に視点座標の取得の指示を送信する。第1ユーザ端末は、視点座標の取得の指示を第2ユーザ端末から受信する。
ステップS64では、第1ユーザ端末のトラッキング部22および第2ユーザ端末のトラッキング部22が、それぞれユーザの視点座標を取得する。ステップS64の処理は、処理フローS5のステップS54の処理と同様である。
ステップS65では、第1ユーザ端末の問合せ部23が、視点座標およびアラートの領域座標に基づく判定要求を第2ユーザ端末に送信する。第1ユーザ端末は、第1ユーザ端末上のアラートの領域座標を含む判定要求を第2ユーザ端末に送信してもよい。第2ユーザ端末は、第1ユーザ端末および第2ユーザ端末から判定要求を受信する。
ステップS66では、第2ユーザ端末の判定部11が、アラートの表示位置を判定する。例えば、判定部11Aは、視点座標に基づく表示位置を判定する。
ステップS67では、第2ユーザ端末の判定部11が、判定結果を第1ユーザ端末に送信する。例えば、判定部11は、アラートの表示態様の変更が必要であることを示す判定結果を第1ユーザ端末に送信してもよい。第1ユーザ端末は、判定結果を第2ユーザ端末から受信する。
ステップS68では、第1ユーザ端末のアラート表示部21Aおよび第2ユーザ端末のアラート表示部21Aがそれぞれ、必要に応じてアラートを表示する。ステップS68の処理は、処理フローS5のステップS58の処理と同様である。
[効果]
本開示の一側面に係るアラート表示システムは少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、ユーザ端末のユーザの視線を検知して、ユーザ端末の表示装置におけるユーザの視点座標を取得し、視点座標に基づいて設定された表示位置にアラートを表示する。このような構成によれば、ユーザが見ている箇所の近くにアラートが表示されるため、ユーザがアラートを容易に気付く環境を提供することができる。
[変形例]
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。
上記実施形態では、ユーザの視点座標がユーザ端末20の表示装置上にある場合について説明したが、視点座標が表示装置外にあってもよい。例えば、トラッキング部22は、ユーザ端末20の表示装置外に向けられたユーザの視線を検出してもよい。すなわち、トラッキング部22は、ユーザがユーザ端末20の表示装置を見ていないことを示す視点座標を取得してもよい。例えば、アラート制御部24は、視点座標が表示装置外にある場合に、アラートに関連付けられた音声の出力を継続してもよい。このような構成によっても、ユーザがアラートを容易に気付く環境を提供することができる。
従来のアラートは、アラートの表示と共に既定音が出力される。これに対して、アラート表示システム1は、既定音の出力の要否を制御してもよい。例えば、アラート表示部21は、アラートを表示する一方で、既定音の出力をしないように制御してもよい。トラッキング部22は、アラートが最初に表示されてから予め定められた時間における視点の軌跡を取得してもよい。問合せ部23は、視点の軌跡およびアラートの領域座標に基づく判定要求をサーバ10に送信してもよい。判定部11は、視点の軌跡がアラートの領域座標から所定の範囲内にあるか否かを判定し、判定結果をユーザ端末20に送信してもよい。アラート制御部24は、視点の軌跡と領域座標とに基づいて、アラートに関連付けられた音声を出力するか否かを制御してもよい。例えば、アラート制御部24は、アラートの領域座標に重なる一つまたは複数の視点座標があると判定された場合、アラートの既定音を出力しない。アラート制御部24は、アラートの領域座標に重なる一つまたは複数の視点座標がないと判定された場合、アラートの既定音を出力する。このような構成によれば、アラートが表示されてから所定の時間内にユーザがアラートに気付いたと推定される場合には、アラートの既定音が出力されない。視線のみで不要なアラートの既定音が抑制されることにより、ユーザの利便性が向上する。一例では、Web会議中等のようにユーザ端末20の音声出力をミュートにしていない状態において、ユーザは視線のみでアラートの既定音を鳴らさない制御が可能となる。
上記実施形態では、ユーザ端末の表示装置上に一つのアラートが表示される場合について説明したが、複数のアラートが表示されてもよい。この場合、アラート制御部24は、複数のアラートのそれぞれを異なる表示態様に変更してもよい。また、アラート制御部24は、アラートが表示されてからの経過時間に応じて表示態様を変更してもよい。例えば、アラート制御部24は、経過時間が長い順または短い順に表示態様を変更してもよい。別の例では、アラート制御部24は、複数の表示装置のうち、一つの表示装置のみに表示されたアラートを他の表示装置に表示してもよい。さらに別の例では、アラート制御部24は、一つのアラートに対し複数の種類の表示態様の変更を組み合わせてもよい。これらのような構成によっても、ユーザがアラートを容易に気付く環境を提供することができる。
本開示において、「少なくとも一つのプロセッサが、第1の処理を実行し、第2の処理を実行し、…第nの処理を実行する。」との表現、またはこれに対応する表現は、第1の処理から第nの処理までのn個の処理の実行主体(すなわちプロセッサ)が途中で変わる場合を含む概念である。すなわち、この表現は、n個の処理のすべてが同じプロセッサで実行される場合と、n個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念である。
少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ(処理)の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の2以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。
本明細書で述べた各機能部の任意の一部または全部がプログラムによって実現されてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線(無線通信も含む)を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。
上記の記載に基づいて、当業者であれば、本開示についての追加の効果または種々の変形例を想到できるかもしれないが、本開示の態様は、上述した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨とを逸脱しない範囲で、種々の追加、変更および部分的削除が可能である。
例えば、本明細書において1台の装置(あるいは部材。以下同じ)として説明される構成(これは、図面において1台の装置として描かれている構成を含む)が、複数の装置によって実現されもよい。あるいは、本明細書において複数の装置として説明される構成(これは、図面において複数の装置として描かれている構成を含む)が1台の装置によって実現されてもよい。あるいは、或る装置(例えばサーバ)に含まれる手段または機能の一部または全部が、他の装置(例えばユーザ端末)に含まれてもよい。
本明細書に記載された事項のすべてが必須の要件というわけではない。例えば、本明細書に記載されているが特許請求の範囲に記載されていない事項は、任意の付加的事項ということができる。
本出願人は本明細書の「先行技術文献」欄に記載された公知技術を知っているにすぎない。本開示は必ずしもその公知技術における課題を解決することを目的とするものではないことにも留意されたい。本開示において解決しようとする課題は、本明細書の全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果に対応する課題が解決されるということもできる。しかし、その効果に関する記載は必ずしも、そのような特定の構成を必須の要件とする趣旨ではない。
1,1A…アラート表示システム、10,10A…サーバ、11,11A…判定部、20,20A…ユーザ端末、21,21A…アラート表示部、22…トラッキング部、23,23A…問合せ部、24…アラート制御部、25…イベント検知部、P1…サーバプログラム、P2…クライアントプログラム。

Claims (17)

  1. 少なくとも一つのプロセッサを備え、
    前記少なくとも一つのプロセッサが、
    表示装置として第1表示装置および第2表示装置を備えるユーザ端末の前記第1表示装置にアラートを表示し、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得し、
    前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記視点座標が前記第2表示装置上にある場合に、前記アラートの表示態様を変更し、
    前記ユーザ端末が、第1ユーザ端末および第2ユーザ端末を含み、
    前記第1表示装置が、前記第1ユーザ端末の表示装置であり、
    前記第2表示装置が、前記第2ユーザ端末の表示装置である、
    アラート表示システム。
  2. 少なくとも一つのプロセッサを備え、
    前記少なくとも一つのプロセッサが、
    ユーザ端末の表示装置にアラートを表示し、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得し、
    前記アラートが最初に表示された表示位置である初期位置から、前記表示装置における操作対象を示すインタフェースの表示位置に基づいて設定される表示位置に向けて前記アラートを移動させ、前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記アラートが表示されている表示位置から、前記視点座標に向けて前記アラートを移動させることによって、前記アラートの表示態様を変更する、
    アラート表示システム。
  3. 少なくとも一つのプロセッサを備え、
    前記少なくとも一つのプロセッサが、
    ユーザ端末の表示装置にアラートを表示し、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得し、
    前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記アラートの表示態様を変更し、
    前記視点座標が前記領域座標に重なる場合には、前記アラートに関連付けられた既定音を出力せず、前記視点座標が前記領域座標に重ならない場合には、前記アラートに関連付けられた既定音を出力する、
    アラート表示システム。
  4. 前記表示装置が、第1表示装置および第2表示装置を含み、
    前記少なくとも一つのプロセッサが、
    前記第1表示装置上に前記アラートを表示し、
    前記視点座標が前記第2表示装置上にある場合に、前記アラートの前記表示態様を変更する、
    請求項2または3に記載のアラート表示システム。
  5. 前記ユーザ端末が、単一のユーザ端末である、
    請求項2~4のいずれか一項に記載のアラート表示システム。
  6. 前記少なくとも一つのプロセッサが、前記アラートが表示されている表示位置から、前記視点座標に向けて前記アラートを移動させる、
    請求項3に記載のアラート表示システム。
  7. 前記少なくとも一つのプロセッサが、前記アラートが最初に表示された表示位置である初期位置から、前記表示装置における操作対象を示すインタフェースの表示位置に基づいて設定される表示位置に向けて前記アラートを移動させる、
    請求項3に記載のアラート表示システム。
  8. 前記少なくとも一つのプロセッサが、前記アラートの前記表示態様を変更している間、前記アラートに関連付けられた音声の出力を継続する、
    請求項1~3のいずれか一項に記載のアラート表示システム。
  9. 前記少なくとも一つのプロセッサが、前記視点座標が前記領域座標に重ならないことに基づいて、前記アラートの前記表示態様を変更する、
    請求項1~8のいずれか一項に記載のアラート表示システム。
  10. 前記少なくとも一つのプロセッサが、前記アラートが最初に表示されてから予め定められた時間を経過するまでにおける、前記視点座標と前記領域座標とに基づいて、前記アラートの前記表示態様を変更するか否かを制御する、
    請求項1~9のいずれか一項に記載のアラート表示システム。
  11. 前記少なくとも一つのプロセッサが、前記視点座標が前記領域座標に向かって移動することに基づいて、前記アラートの前記表示態様を変更するか否かを制御する、
    請求項1~10のいずれか一項に記載のアラート表示システム。
  12. 少なくとも一つのプロセッサを備えるアラート表示システムによって実行されるアラート表示方法であって、
    表示装置として第1表示装置および第2表示装置を備えるユーザ端末の前記第1表示装置にアラートを表示するステップと、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得するステップと、
    前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記視点座標が前記第2表示装置上にある場合に、前記アラートの表示態様を変更するステップとを含み、
    前記ユーザ端末が、第1ユーザ端末および第2ユーザ端末を含み、
    前記第1表示装置が、前記第1ユーザ端末の表示装置であり、
    前記第2表示装置が、前記第2ユーザ端末の表示装置である、
    アラート表示方法。
  13. 少なくとも一つのプロセッサを備えるアラート表示システムによって実行されるアラート表示方法であって、
    ユーザ端末の表示装置にアラートを表示するステップと、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得するステップと、
    前記アラートが最初に表示された表示位置である初期位置から、前記表示装置における操作対象を示すインタフェースの表示位置に基づいて設定される表示位置に向けて前記アラートを移動させ、前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記アラートが表示されている表示位置から、前記視点座標に向けて前記アラートを移動させることによって、前記アラートの表示態様を変更するステップと
    を含むアラート表示方法。
  14. 少なくとも一つのプロセッサを備えるアラート表示システムによって実行されるアラート表示方法であって、
    ユーザ端末の表示装置にアラートを表示するステップと、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得するステップと、
    前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記アラートの表示態様を変更するステップと、
    前記視点座標が前記領域座標に重なる場合には、前記アラートに関連付けられた既定音を出力せず、前記視点座標が前記領域座標に重ならない場合には、前記アラートに関連付けられた既定音を出力するステップと
    を含むアラート表示方法。
  15. 表示装置として第1表示装置および第2表示装置を備えるユーザ端末の前記第1表示装置にアラートを表示するステップと、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得するステップと、
    前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記視点座標が前記第2表示装置上にある場合に、前記アラートの表示態様を変更するステップとをコンピュータに実行させ、
    前記ユーザ端末が、第1ユーザ端末および第2ユーザ端末を含み、
    前記第1表示装置が、前記第1ユーザ端末の表示装置であり、
    前記第2表示装置が、前記第2ユーザ端末の表示装置である、
    アラート表示プログラム。
  16. ユーザ端末の表示装置にアラートを表示するステップと、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得するステップと、
    前記アラートが最初に表示された表示位置である初期位置から、前記表示装置における操作対象を示すインタフェースの表示位置に基づいて設定される表示位置に向けて前記アラートを移動させ、前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記アラートが表示されている表示位置から、前記視点座標に向けて前記アラートを移動させることによって、前記アラートの表示態様を変更するステップと
    をコンピュータに実行させるアラート表示プログラム。
  17. ユーザ端末の表示装置にアラートを表示するステップと、
    前記ユーザ端末のユーザの視線を検知して、前記表示装置における前記ユーザの視点座標を取得するステップと、
    前記視点座標と、前記表示装置における前記アラートの領域座標とに基づいて、前記アラートの表示態様を変更するステップと、
    前記視点座標が前記領域座標に重なる場合には、前記アラートに関連付けられた既定音を出力せず、前記視点座標が前記領域座標に重ならない場合には、前記アラートに関連付けられた既定音を出力するステップと
    をコンピュータに実行させるアラート表示プログラム。
JP2021194644A 2021-11-30 2021-11-30 アラート表示システム、アラート表示方法、およびアラート表示プログラム Active JP7316344B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021194644A JP7316344B2 (ja) 2021-11-30 2021-11-30 アラート表示システム、アラート表示方法、およびアラート表示プログラム
JP2022145417A JP2023081283A (ja) 2021-11-30 2022-09-13 アラート表示システム、アラート表示方法、およびアラート表示プログラム
PCT/JP2022/042275 WO2023100637A1 (ja) 2021-11-30 2022-11-14 アラート表示システム、アラート表示方法、およびアラート表示プログラム
CN202280063522.9A CN118020049A (zh) 2021-11-30 2022-11-14 警报显示系统、警报显示方法以及警报显示程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021194644A JP7316344B2 (ja) 2021-11-30 2021-11-30 アラート表示システム、アラート表示方法、およびアラート表示プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022145417A Division JP2023081283A (ja) 2021-11-30 2022-09-13 アラート表示システム、アラート表示方法、およびアラート表示プログラム

Publications (2)

Publication Number Publication Date
JP2023081010A JP2023081010A (ja) 2023-06-09
JP7316344B2 true JP7316344B2 (ja) 2023-07-27

Family

ID=86612167

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021194644A Active JP7316344B2 (ja) 2021-11-30 2021-11-30 アラート表示システム、アラート表示方法、およびアラート表示プログラム
JP2022145417A Pending JP2023081283A (ja) 2021-11-30 2022-09-13 アラート表示システム、アラート表示方法、およびアラート表示プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022145417A Pending JP2023081283A (ja) 2021-11-30 2022-09-13 アラート表示システム、アラート表示方法、およびアラート表示プログラム

Country Status (3)

Country Link
JP (2) JP7316344B2 (ja)
CN (1) CN118020049A (ja)
WO (1) WO2023100637A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005278938A (ja) 2004-03-30 2005-10-13 Nintendo Co Ltd ゲームプログラム
JP2012529223A (ja) 2009-06-03 2012-11-15 トランスパシフィック イメージ,エルエルシー マルチメディアの投影管理
JP2013203103A (ja) 2012-03-27 2013-10-07 Denso It Laboratory Inc 車両用表示装置、その制御方法及びプログラム
WO2014192103A1 (ja) 2013-05-29 2014-12-04 三菱電機株式会社 情報表示装置
WO2015029554A1 (ja) 2013-09-02 2015-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015134521A (ja) 2014-01-16 2015-07-27 三菱電機株式会社 車両情報表示制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005278938A (ja) 2004-03-30 2005-10-13 Nintendo Co Ltd ゲームプログラム
JP2012529223A (ja) 2009-06-03 2012-11-15 トランスパシフィック イメージ,エルエルシー マルチメディアの投影管理
JP2013203103A (ja) 2012-03-27 2013-10-07 Denso It Laboratory Inc 車両用表示装置、その制御方法及びプログラム
WO2014192103A1 (ja) 2013-05-29 2014-12-04 三菱電機株式会社 情報表示装置
WO2015029554A1 (ja) 2013-09-02 2015-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015134521A (ja) 2014-01-16 2015-07-27 三菱電機株式会社 車両情報表示制御装置

Also Published As

Publication number Publication date
CN118020049A (zh) 2024-05-10
WO2023100637A1 (ja) 2023-06-08
JP2023081283A (ja) 2023-06-09
JP2023081010A (ja) 2023-06-09

Similar Documents

Publication Publication Date Title
US11557102B2 (en) Methods for manipulating objects in an environment
US11250604B2 (en) Device, method, and graphical user interface for presenting CGR files
US20190217196A1 (en) Haptic sensations as a function of eye gaze
US11385761B2 (en) Device, method, and graphical user interface for composing CGR files
US11429246B2 (en) Device, method, and graphical user interface for manipulating 3D objects on a 2D screen
US11373271B1 (en) Adaptive image warping based on object and distance information
US11360550B2 (en) IMU for touch detection
US11768576B2 (en) Displaying representations of environments
US20240323475A1 (en) Changing Resource Utilization associated with a Media Object based on an Engagement Score
US11393164B2 (en) Device, method, and graphical user interface for generating CGR objects
US20240080543A1 (en) User interfaces for camera management
JP7316344B2 (ja) アラート表示システム、アラート表示方法、およびアラート表示プログラム
US11822716B2 (en) Directing a virtual agent based on eye behavior of a user
JP7384951B2 (ja) 遮られた物理的オブジェクトの位置を示すこと
US12008160B2 (en) Eye tracking based selection of a user interface (UI) element based on targeting criteria
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
US20240259687A1 (en) Integration of hardware and software tracking user interfaces
US20230065077A1 (en) Displaying a Rendered Volumetric Representation According to Different Display Modes
CN113157084A (zh) 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220705

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221102

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230714

R150 Certificate of patent or registration of utility model

Ref document number: 7316344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150