JP2024075801A - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
JP2024075801A
JP2024075801A JP2021050062A JP2021050062A JP2024075801A JP 2024075801 A JP2024075801 A JP 2024075801A JP 2021050062 A JP2021050062 A JP 2021050062A JP 2021050062 A JP2021050062 A JP 2021050062A JP 2024075801 A JP2024075801 A JP 2024075801A
Authority
JP
Japan
Prior art keywords
display
user
control
detection unit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021050062A
Other languages
English (en)
Inventor
怜央 水田
Reo Mizuta
康夫 森永
Yasuo Morinaga
望 松本
Nozomi Matsumoto
達哉 西▲崎▼
Tatsuya Nishizaki
有希 中村
Yuki Nakamura
弘行 藤野
Hiroyuki Fujino
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2021050062A priority Critical patent/JP2024075801A/ja
Priority to PCT/JP2022/005193 priority patent/WO2022201936A1/ja
Publication of JP2024075801A publication Critical patent/JP2024075801A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】 ユーザの状態に応じて適切にディスプレイにおける表示を行う。【解決手段】 表示制御装置であるディスプレイ10は、ユーザの眼の部分に装着されると共に別のユーザからの操作に応じた表示を行う透過型のディスプレイ10における表示を制御する装置であって、ディスプレイ10を装着するユーザの状態を検出する検出部12と、検出部12によって検出されたユーザの状態に応じて、別のユーザからのディスプレイ10の表示に係る操作に対する制御を行う制御部13と、を備える。【選択図】 図1

Description

本発明は、ディスプレイにおける表示を制御する表示制御装置に関する。
従来から、透過型のヘッドマウントディスプレイが用いられている(例えば、特許文献1参照)。透過型のヘッドマウントディスプレイによれば、ユーザは、現実世界を見ると共にディスプレイに表示された情報を参照することができる。
特開2018-91882号公報
従来から、ディスプレイにおける表示を別のユーザのディスプレイと共有する技術が用いられている。透過型のヘッドマウントディスプレイにおいても、表示を別のユーザと共有することが考えられる。この場合、ヘッドマウントディスプレイにおける表示が別のユーザによって遠隔で操作される。ヘッドマウントディスプレイのユーザが、ディスプレイを見る以外の行動をしていた場合、別のユーザからの操作はヘッドマウントディスプレイのユーザの邪魔になり得る。例えば、ヘッドマウントディスプレイのユーザが、ディスプレイの表示ではなく現実世界のものを見ている際に、表示されるコンテンツが別のユーザの操作によって目の前に移動されると、ユーザの行動の邪魔になる。
本発明は、上記に鑑みてなされたものであり、ユーザの状態に応じて適切にディスプレイにおける表示を行うことができる表示制御装置を提供することを目的とする。
上記の目的を達成するために、本発明に係る表示制御装置は、ユーザの眼の部分に装着されると共に別のユーザからの操作に応じた表示を行う透過型のディスプレイにおける表示を制御する表示制御装置であって、ディスプレイを装着するユーザの状態を検出する検出部と、検出部によって検出されたユーザの状態に応じて、別のユーザからのディスプレイの表示に係る操作に対する制御を行う制御部と、を備える。
本発明に係る表示制御装置では、ユーザの状態に応じて、別のユーザからのディスプレイの表示に係る操作に対する制御が行われる。例えば、ユーザの状態に応じて、別のユーザからの操作によるディスプレイの表示がユーザの邪魔にならないように表示を制御することができる。従って、本発明に係る表示制御装置によれば、ユーザの状態に応じて適切にディスプレイにおける表示を行うことができる。
本発明によれば、ユーザの状態に応じて、別のユーザからのディスプレイの表示に係る操作に対する制御が行われるため、ユーザの状態に応じて適切にディスプレイにおける表示を行うことができる。
本発明の実施形態に係る表示制御装置であるディスプレイの機能構成を示す図である。 ディスプレイにおける表示の例を示す図である。 本発明の実施形態に係る表示制御装置であるディスプレイで実行される処理を示すフローチャートである。 本発明の実施形態に係る表示制御装置であるディスプレイのハードウェア構成を示す図である。
以下、図面と共に本発明に係る表示制御装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
図1に本実施形態に係る表示制御装置であるディスプレイ10の機能構成を示す。表示制御装置であるディスプレイ10は、ディスプレイ10自身における表示を制御する。ディスプレイ10は、ユーザの眼の部分に装着される透過型のディスプレイである。例えば、ディスプレイ10は、眼鏡型のヘッドマウントディスプレイ、即ち、シースルーグラス(スマートグラス)である。ディスプレイ10は透過型であるため、ディスプレイ10を装着したユーザは、ディスプレイ10における表示(映像)と、外部の景色等とを同時に見ることができる。例えば、ディスプレイ10は、表示画面100を備えており、図2(a)及び図2(b)に示すように表示画面100の一部にコンテンツ110を表示する。ユーザは、表示画面100のコンテンツ110が表示されていない部分から外部の景色等を見ることができる。ユーザは、表示画面100のコンテンツ110が表示されている部分については、コンテンツ越しに外部の景色等を見ることができるか、コンテンツに阻害されて外部の景色等を見ることができない。
ディスプレイ10は、外部の景色等の周囲の環境に応じた表示を行うものであってもよい。即ち、ディスプレイ10は、AR(Augmented Reality)によって仮想のコンテンツの表示を行うもの、例えば、ARグラスであってもよい。
ディスプレイ10は、別のユーザからの操作に応じた表示を行う。例えば、ディスプレイ10は、ディスプレイ10自身における表示、例えば、デスクトップの画面を別のディスプレイと共有してもよい。即ち、ディスプレイ10と別のディスプレイとで同じ表示がなされてもよい。例えば、ディスプレイ10と上記の別のディスプレイ(あるいは、当該別のディスプレイに接続された端末、以下についても同様)とは、移動体通信網、無線LAN及びインターネット等の通信網によって互いに通信可能に構成されており、表示に係る情報を互いに送受信することで表示の共有を行う。あるいは、表示の共有は、ディスプレイ以外の装置、例えば、ディスプレイと通信可能なコンテンツ管理サーバを介して行われてもよい。
ディスプレイ10のユーザと別のディスプレイのユーザとは、共有される表示に対して操作を行うことができる。例えば、図2(b)の矢印に示すようにコンテンツ110の一つの表示位置を移動させることができる。なお、表示に対する操作は、コンテンツ110の移動に限られず任意のものであってもよい。このようにディスプレイ10は、別のユーザから表示の遠隔操作があった場合、当該遠隔操作に応じた表示を行う。表示の共有を行うことでディスプレイ10のユーザと、別のディスプレイのユーザとの間で、同じ情報を参照した上でのコミュニケーションを行うことができる。なお、上記の例では、2台のディスプレイでの表示の共有の例を示したが、3台以上のディスプレイでの表示の共有が行われてもよい。また、ディスプレイ10は、表示の共有以外で別のユーザからの操作に応じた表示を行ってもよい。
ディスプレイ10としては、従来の上記の機能を有するディスプレイを用いることができる。また、ディスプレイ10の上述した機能及び後述する本実施形態に係る機能の一部は、表示装置(例えば、上述したシースルーグラス)に接続される情報処理装置(例えば、スマートフォン)が有していてもよい。即ち、表示装置と情報処理装置とを含んで本実施形態に係るディスプレイ10が実現されてもよい。
引き続いて、本実施形態に係るディスプレイ10の機能を説明する。図1に示すようにディスプレイ10は、表示部11と、検出部12と、制御部13とを備えて構成される。また、ディスプレイ10は、上記以外にも従来のシースルーグラス等の従来の表示装置が備える機能を備えていてもよい。
表示部11は、ディスプレイ10に備えられる表示画面100での表示を行う機能部である。表示部11は、表示画面100に表示する表示情報を入力して、表示画面100に表示する。表示情報は、例えば、写真又は文字等のコンテンツであってもよいし、ブラウザ等の表示される内容が変更され得るものであってもよい。表示部11は、表示に係る操作を受け付けて当該操作を実行する。表示に係る操作は、例えば、表示画面100における表示情報を移動させる操作である。また、表示に係る操作は、それ以外の操作であってもよい。
表示に係る操作は、ディスプレイ10を装着するユーザ及び別のユーザから行われ得る。ディスプレイ10を装着するユーザが操作する場合には、表示に係る操作の受け付けは、例えば、ディスプレイ10に対するユーザの入力操作を受け付けることで行われる。別のディスプレイと表示を共有する場合には、表示部11は、操作を示す情報を別のディスプレイに送信する。
別のユーザが操作する場合には、表示に係る操作の受け付けは、例えば、別のユーザに用いられる別のディスプレイから送信される当該操作を示す情報を受信することで行われる。表示部11は、受け付けた操作が別のユーザからのものであるかを識別できるようになっている。例えば、操作を示す情報には、操作をしたユーザの識別子が付与されている。
表示部11による上記の機能は、ディスプレイに表示を行う従来の機能と同様のものでよい。また、後述するように表示部11による表示に係る操作の実行は、制御部13からの制御を受ける。
検出部12は、ディスプレイ10を装着するユーザの状態を検出する機能部である。検出部12は、ディスプレイ10を装着するユーザの状態として、当該ユーザの視線を検出してもよい。より具体的には、検出部12は、当該ユーザの視線の焦点距離を検出してもよい。また、検出部12は、当該ユーザの視線の方向を検出してもよい。あるいは、検出部12は、ディスプレイ10を装着するユーザの状態として、当該ユーザの移動状態を検出してもよい。
例えば、ディスプレイ10にユーザの状態を検出するためのセンサを検出部12の少なくとも一部として設けておき、センサを用いてユーザの状態を検出してもよい。ユーザの視線を検出する場合には、ディスプレイ10に、ユーザの眼球を撮像できるカメラを設けておく。検出部12は、カメラの撮像によって得られたユーザの眼球の画像から、ユーザの視線、より具体的には、視線の焦点距離及び方向を検出する。例えば、検出部12は、ユーザの眼球の動画像からユーザの眼球の動きを検出して、当該動きに基づいて視線の焦点距離及び方向を検出する。検出部12は、焦点距離として、例えば、眼球から焦点までの距離を検出する。検出部12は、視線の方向として、例えば、表示画面100における視線の位置(視線と表示画面100との交点の位置であり、例えば、表示画面100における座標)を検出する。画像からの視線の検出は、従来の方法と同様に行われればよい。
検出部12は、ユーザの移動状態としては、ユーザが歩行しているか否かを検出してもよい。この場合には、ディスプレイ10に、例えば、加速度センサを設けておく。検出部12は、加速度センサによって得られた情報から、ユーザが歩行しているか否かを検出する。加速度からのユーザが歩行しているか否かの検出は、従来の方法と同様に行われればよい。あるいは、ディスプレイ10にGPS(グローバル・ポジショニング・システム)等による自装置の測位機能を設けておき、検出部12は、測位機能によって得られたディスプレイ10の位置を示す情報に基づいて、ユーザが移動中(例えば、歩行中)か静止中かの検出を行ってもよい。この検出も、従来の方法と同様に行われればよい。
検出部12は、継続的に、例えば、一定時間毎にユーザの状態を検出する。検出部12は、検出したユーザの状態を示す情報を検出の度に制御部13に出力する。なお、検出部12は、上述したユーザの状態の少なくとも何れかについて検出を行えばよい。また、検出部12は、上述した方法以外でユーザの状態を検出してもよい。あるいは、検出部12は、後述する制御部13による制御に有用であれば、上述した状態以外のユーザの状態を検出してもよい。
制御部13は、検出部12によって検出されたユーザの状態に応じて、別のユーザからのディスプレイ10の表示に係る操作に対する制御を行う機能部である。制御部13は、検出部12によって検出された焦点距離に応じて、制御を行うか否かを判断してもよい。制御部13は、検出部12によって検出された視線の方向に応じて、制御を行う対象を設定してもよい。制御部13は、別のユーザからのディスプレイ10の表示に係る操作を禁止する制御、又は当該操作に係る表示を変更する制御を行ってもよい。制御部13は、制御対象となった別のユーザからの操作を記憶しておき、制御が終了した後に記憶した操作を実行させてもよい。
制御部13による制御は、例えば、別のユーザからの操作がディスプレイ10を装着しているユーザの邪魔にならないようにするためのものである。ディスプレイ10は透過型であるため、ディスプレイ10を装着したユーザは、ディスプレイ10を見る以外の行動をすることもできる。例えば、ディスプレイ10の表示を行ったまま、ユーザは、バスの時刻表を見たり、歩行したりすることができる。
例えば、ディスプレイ10を装着したユーザが、図2(a)に示すように、コンテンツが表示されていない表示画面100の中央の方向に視線を向けて、ディスプレイ10の表示ではない現実世界のバスの時刻表を見ているとする。即ち、ディスプレイ10を装着したユーザは、バスの時刻表を見ると共にコンテンツを別のユーザと共有している。その際に、図2(b)に示すように、別のユーザからの操作によってコンテンツが表示画面100の中央、即ち、ディスプレイ10を装着したユーザの目の前に移動すると、当該ユーザは視界を遮られてバスの時刻表を見るという行動の邪魔となる。あるいは、ユーザが歩いている際に上記のようにコンテンツが移動すると、当該ユーザは視界を遮られて周りが見えなくなり危険である。このようにユーザが、ディスプレイ10を見る以外の現実世界の行動を行っている場合には、別のユーザからの操作がユーザの行動の邪魔になることがある。制御部13による制御は、別のユーザからの操作がユーザの行動の邪魔になることを防止するためのものである。但し、制御部13による制御は、必ずしも上記の目的で行われなくてもよく、上記以外の目的で行われてもよい。例えば、制御部13は、以下のように制御を行う。
制御部13は、検出部12からユーザの状態を示す情報を入力する。制御部13は、予め記憶した判断基準に基づいて、検出部12から入力した情報から、別のユーザからのディスプレイ10の表示に係る操作に対する制御を行うか否かを判断する。例えば、検出部12から入力した情報が焦点距離を示すものであった場合、制御部13は、焦点距離が予め設定された範囲に含まれるか否かによって上記の判断を行う。上記の範囲は、例えば、ディスプレイ10を装着したユーザの焦点がディスプレイ10の表示画面100に合っている、即ち、当該ユーザがディスプレイ10の表示画面100を見ていると判断できる範囲である。
焦点距離が上記の範囲に含まれない場合、ディスプレイ10の表示画面100を見ておらず、例えば、現実世界のものを見ている(注視している)として、制御部13は、別のユーザからの操作に対する制御を行うと判断する。焦点距離が上記の範囲に含まれる場合、ディスプレイ10の表示画面100を見ているとして、制御部13は、別のユーザからの操作に対する制御を行わないと判断する。ユーザがディスプレイ10の表示画面100を見ていれば、別のユーザからの操作はユーザの邪魔にならないと考えられるためである。
あるいは、検出部12から入力した情報が、ユーザが歩行していることを示すものであった場合、制御部13は、別のユーザからの操作に対する制御を行うと判断し、検出部12から入力した情報が、ユーザが歩行していないことを示すものであった場合、制御部13は、別のユーザからの操作に対する制御を行わないと判断する。
制御部13は、別のユーザからの操作に対する制御を行うと判断し、かつその時点で表示部11に対する制御が行われていない場合、表示部11に対する制御を行う。制御は、例えば、別のユーザからのディスプレイ10の表示に係る操作を禁止する制御である。具体的には、制御は、ディスプレイ10に表示されている表示情報を移動又は拡大等する、別のユーザからの操作を禁止する、即ち、表示情報を一時停止させるものである。また、制御は、操作の一部を禁止するものであってもよい。例えば、表示情報を移動させる操作であった場合、制御は、表示情報を操作通りに完全に移動させずに少しだけ移動させる制御であってもよい。
表示部11は、制御部13からの制御を受けて、制御に応じた処理を行う。表示部11は、制御部13からの制御中にディスプレイ10の表示に係る操作を受け付けると、当該操作が別のユーザからのものであるか否かを識別する。当該操作が別のユーザからのものであると識別した場合、表示部11は、当該操作を禁止する。当該操作が別のユーザからのものでないと識別した場合、表示部11は、当該操作を禁止せずに実行する。
表示部11は、制御対象となった操作を示す情報を制御部13に出力する。制御部13は、表示部11から、制御対象となった操作を示す情報を入力して記憶(蓄積)する。
また、制御は、必ずしも、操作を禁止する制御でなくてもよく、操作に係る表示を変更する制御でもよい。例えば、移動対象となった表示情報を、非表示又は半透明にしたり、枠のみを表示したりする制御を行ってもよい。あるいは、移動対象となった表示情報を、ディスプレイ10の予め設定された位置、例えば、視界の隅となる位置に表示させる制御を行ってもよい。また、上述した趣旨に沿うものであれば、上述したもの以外の制御が行われてもよい。
制御部13は、別のユーザからの操作に対する制御を行わないと判断し、かつその時点で表示部11に対する当該制御が行われている場合、表示部11に対する当該制御を解除する。制御部13は、当該制御が解除されて終了した時点で記憶している制御対象となった操作を表示部11に実行させる。これによって、例えば、実行が禁止されていた表示情報の移動が行われる。制御対象となった操作が実行されると、制御部13は、記憶していた当該操作を示す情報を削除する。
また、制御部13は、予め記憶した判断基準に基づいて、検出部12から入力した情報から制御を行う対象を設定する。例えば、検出部12から入力した情報が視線の方向を示すものであった場合、制御部13は、視線の方向から制御を行う対象を設定する。制御部13は、制御を行う対象として、視線の方向である表示画面100における視線の位置に基づいて、表示画面100における領域を設定する。例えば、別のユーザからの表示に係る操作が、表示画面100の設定した領域外に既に表示されている表示情報を、設定した領域に移動させるもの、及び設定した領域に新たに表示情報を表示させるものである場合、当該操作に対する制御が行われる。あるいは、別のユーザからの表示に係る操作が、設定した領域に既に表示されている表示情報の移動等、設定した領域に既に表示されている表示情報に対する操作である場合、当該操作に対する制御が行われる。
制御部13は、表示部11に対して、設定した領域を通知すると共に領域に応じた別のユーザからの表示に係る操作に対する制御を行う。表示部11は、制御部13からの制御を受けると、当該操作が別のユーザからのものであるか否かを識別する。当該操作が別のユーザからのものであると識別した場合、表示に係る操作が、表示画面100に既に表示されている表示情報を、設定した領域に移動させるもの、及び設定した領域に新たに表示情報を表示させるものであれば、表示部11は、当該操作を禁止する。あるいは、表示に係る操作が、設定した領域に既に表示されている表示情報に対するものであれば、表示部11は、当該操作を禁止する。また、別のユーザから操作に対する制御は、上述したものと同様のものでもよい。また、この場合も、制御部13による制御対象となった操作を示す情報の記憶(蓄積)、及び制御終了後の当該操作の実行が行われてもよい。以上が、本実施形態に係るディスプレイ10の機能である。
引き続いて、図3のフローチャートを用いて、本実施形態に係るディスプレイ10で実行される処理(ディスプレイ10が行う動作方法)を説明する。本処理では、ユーザによってディスプレイ10が装着されて、ディスプレイ10において表示部11による表示が行われる際のものである。また、別のディスプレイとの間で表示の共有が行われ、別のユーザからのディスプレイ10の表示に係る操作が行われ得る。
本処理では、検出部12によって、ディスプレイ10を装着するユーザの状態が検出される(S01)。続いて、制御部13によって、ユーザの状態から、別のユーザからのディスプレイ10の表示に係る操作に対する制御を行うか否かが判断される(S02)。制御を行うと判断され、かつその時点で表示部11に対する制御が行われていない場合(S02のYES)、制御部13から表示部11への、別のユーザからの操作に対する制御が行われる(S03)。当該制御は、例えば、操作を禁止する制御である。当該制御が行われている際に、表示部11によって別のユーザからの操作が受け付けられると、制御に応じた処理が行われる。例えば、別のユーザからの操作が禁止される。また、制御対象となった操作は、制御部13によって記憶される。
S02において制御を行わないと判断され、かつその時点で表示部11に対する制御が行われている場合(S02のNO)、制御部13から表示部11への、別のユーザからの操作に対する制御が終了される(S04)。また、制御対象となった操作が制御部13によって記憶されていた場合、制御の終了後、表示部11によって当該操作が行われる(S05)。また、上記の制御は、ユーザの状態の状態に応じて、制御を行う対象が設定されて行われてもよい。上記の処理(S01~S05)は、表示部11による表示が行われている間、繰り返し行われる。以上が、本実施形態に係るディスプレイ10で実行される処理である。
本実施形態では、ユーザの状態に応じて、別のユーザからのディスプレイ10の表示に係る操作に対する制御が行われる。例えば、ユーザの状態に応じて、別のユーザからの操作によるディスプレイ10の表示がユーザの邪魔にならないように表示を制御することができる。従って、本実施形態によれば、ユーザの状態に応じて適切にディスプレイ10における表示を行うことができる。
本実施形態のように、ディスプレイ10を装着するユーザの状態として、当該ユーザの視線を検出してもよい。より具体的には、当該ユーザの視線の焦点距離を検出して、焦点距離に応じて制御を行うか否かを判断してもよい。この構成によれば、例えば、ユーザがディスプレイ10の表示画面100を見ていない場合に制御を行うことができ、ディスプレイ10の表示が、ユーザの邪魔になったり、ユーザに危険を生させたりすることを防止することができる。
あるいは、当該ユーザの視線の方向を検出して、視線の方向に応じて制御を行う対象を設定してもよい。この構成によれば、例えば、ユーザの視線の方向に応じて必要な対象のみに制御を行うことができ、より適切にディスプレイ10における表示を行うことができる。
また、本実施形態のように、ディスプレイ10を装着するユーザの状態として、当該ユーザの移動状態、より具体的には、ユーザが歩行しているか否かを検出してもよい。この構成によれば、例えば、ユーザが歩行している場合に制御を行うことができ、ディスプレイ10の表示によってユーザが歩行している際に危険が生じることを防止することができる。なお、ディスプレイ10を装着するユーザの状態としては、上記のものに限られず、表示の制御を行うのに有用のものであれば、その他の状態を検出して用いてもよい。
また、本実施形態のように、別のユーザから操作に対する制御としては、操作を禁止する制御、又は当該操作に係る表示を変更する制御を行ってもよい。この構成によれば、ユーザの状態に応じて適切かつ確実にディスプレイにおける表示を行うことができる。但し、適切にディスプレイにおける表示を行う制御であれば、上記以外の制御が行われてもよい。
また、本実施形態のように、制御対象となった別のユーザからの操作を記憶しておき、制御が終了した後に記憶した操作を実行させてもよい。この構成によれば、例えば、制御が終了した後に、ディスプレイ10における表示を別のディスプレイと共有した状態にさせることができ、ユーザの利便性を向上させることができる。但し、必ずしも、制御が終了した後に記憶した操作を実行させる必要はない。
検出部12は、ディスプレイ10を装着するユーザの状態として、上記の情報に加えて、あるいは上記の情報にかえて、当該ユーザの心拍又は発汗に係る状態を検出してもよい。具体的には、検出部12は、当該ユーザの心拍数若しくは発汗量、又はそれらの両方を検出してもよい。この場合、当該ユーザに心拍数を検出するセンサ又は発汗量を検出するセンサを取り付けておき、ディスプレイ10は、当該センサから当該ユーザの心拍数又は発汗量を示す情報を取得する。これらのセンサとしては、従来のものを用いることができる。この場合も、制御部13は、上記と同様に予め記憶した判断基準に基づいて、検出部12から入力した情報から、別のユーザからのディスプレイ10の表示に係る操作に対する制御を行うか否かを判断する。例えば、制御部13は、検出部12から入力した情報によって示されるセンサ又は発汗量が予め設定された閾値以上であった場合、あるいは、予め設定された閾値以下であった場合、別のユーザからの操作に対する制御を行うと判断する。
上記のような構成によって、例えば、運動中のアスリートが、装着したディスプレイ10にて監督からの指示を受けるシーンで、アスリートの心拍数又は発汗量の状況によって表示方法を変えることができる。これによって、短距離走でゴール直前のダッシュをするような場合に、監督の指示メッセージが視野の邪魔にならないようにできる。あるいは、ディスプレイ10を装着しながら、高所での危険な作業をしている時、作業者の心拍数により、状態の異常を感知した場合のみ、遠隔操作者の指示が表示されるようにすることができる。
上述した実施形態では、表示制御装置は、表示機能を有するディスプレイ10とて説明したが、必ずしも表示機能を有するものでなくてもよい。表示制御装置は、ユーザの眼の部分に装着されると共に別のユーザからの操作に応じた表示を行う(即ち、表示部11を備える)透過型のディスプレイに接続されて、ディスプレイにおける表示を制御する装置(システム)であり、上述した検出部12と、制御部13とを備えるものであればよい。
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信部(transmitting unit)や送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
例えば、本開示の一実施の形態におけるディスプレイ10は、本開示の情報処理を行うコンピュータとして機能してもよい。図4は、本開示の一実施の形態に係るディスプレイ10のハードウェア構成の一例を示す図である。上述のディスプレイ10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ディスプレイ10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
ディスプレイ10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。例えば、上述のディスプレイ10における各機能は、プロセッサ1001によって実現されてもよい。
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ディスプレイ10における各機能は、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよい。上述の各種処理は、1つのプロセッサ1001によって実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。ディスプレイ10が備える記憶媒体は、例えば、メモリ1002及びストレージ1003の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
また、プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバス1007によって接続される。バス1007は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
また、ディスプレイ10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
本開示において使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること、又は何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
本開示において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
10…ディスプレイ、11…表示部、12…検出部、13…制御部、1001…プロセッサ、1002…メモリ、1003…ストレージ、1004…通信装置、1005…入力装置、1006…出力装置、1007…バス。

Claims (8)

  1. ユーザの眼の部分に装着されると共に別のユーザからの操作に応じた表示を行う透過型のディスプレイにおける表示を制御する表示制御装置であって、
    前記ディスプレイを装着するユーザの状態を検出する検出部と、
    前記検出部によって検出されたユーザの状態に応じて、別のユーザからの前記ディスプレイの表示に係る操作に対する制御を行う制御部と、
    を備える表示制御装置。
  2. 前記検出部は、前記ディスプレイを装着するユーザの状態として、当該ユーザの視線を検出する請求項1に記載の表示制御装置。
  3. 前記検出部は、前記ディスプレイを装着するユーザの状態として、当該ユーザの視線の焦点距離を検出して、
    前記制御部は、前記検出部によって検出された焦点距離に応じて、前記制御を行うか否かを判断する、請求項2に記載の表示制御装置。
  4. 前記検出部は、前記ディスプレイを装着するユーザの状態として、当該ユーザの視線の方向を検出して、
    前記制御部は、前記検出部によって検出された視線の方向に応じて、前記制御を行う対象を設定する、請求項2又は3に記載の表示制御装置。
  5. 前記検出部は、前記ディスプレイを装着するユーザの状態として、当該ユーザの移動状態を検出する請求項1~4の何れか一項に記載の表示制御装置。
  6. 前記制御部は、別のユーザからの前記ディスプレイの表示に係る操作を禁止する制御、又は当該操作に係る表示を変更する制御を行う請求項1~5の何れか一項に記載の表示制御装置。
  7. 前記制御部は、制御対象となった別のユーザからの操作を記憶しておき、制御が終了した後に記憶した操作を実行させる請求項1~6の何れか一項に記載の表示制御装置。
  8. 前記検出部は、前記ディスプレイを装着するユーザの状態として、当該ユーザの心拍又は発汗に係る状態を検出する請求項1~7の何れか一項に記載の表示制御装置。
JP2021050062A 2021-03-24 2021-03-24 表示制御装置 Pending JP2024075801A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021050062A JP2024075801A (ja) 2021-03-24 2021-03-24 表示制御装置
PCT/JP2022/005193 WO2022201936A1 (ja) 2021-03-24 2022-02-09 表示制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021050062A JP2024075801A (ja) 2021-03-24 2021-03-24 表示制御装置

Publications (1)

Publication Number Publication Date
JP2024075801A true JP2024075801A (ja) 2024-06-05

Family

ID=83395469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021050062A Pending JP2024075801A (ja) 2021-03-24 2021-03-24 表示制御装置

Country Status (2)

Country Link
JP (1) JP2024075801A (ja)
WO (1) WO2022201936A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5308747B2 (ja) * 2008-09-03 2013-10-09 オリンパス株式会社 情報提示システム、プログラム及び情報記憶媒体
JP6292478B2 (ja) * 2014-06-17 2018-03-14 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
JP6202041B2 (ja) * 2015-04-24 2017-09-27 マツダ株式会社 車両用音声対話システム
JP2016209233A (ja) * 2015-05-07 2016-12-15 セイコーエプソン株式会社 生体情報処理システム、サーバーシステム、生体情報処理装置及び生体情報処理方法
JP6334484B2 (ja) * 2015-09-01 2018-05-30 株式会社東芝 メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー
JP6290467B1 (ja) * 2017-02-01 2018-03-07 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2020149399A (ja) * 2019-03-14 2020-09-17 株式会社シーエスレポーターズ 仮想現実空間の提供方法

Also Published As

Publication number Publication date
WO2022201936A1 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
JP6903935B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US11282481B2 (en) Information processing device
WO2019130991A1 (ja) 情報処理装置
US20220366874A1 (en) Eye gaze control of magnification user interface
WO2021076383A1 (en) Adaptive assistive technology techniques for computing devices
US20220083145A1 (en) Information display apparatus using line of sight and gestures
JP6558933B2 (ja) コミュニケーション支援システム、情報処理装置およびその制御方法
JP2024075801A (ja) 表示制御装置
WO2023026798A1 (ja) 表示制御装置
JP6999822B2 (ja) 端末装置および端末装置の制御方法
JP7562836B2 (ja) 表示制御装置
WO2022201739A1 (ja) 表示制御装置
WO2023026700A1 (ja) 表示制御装置
WO2022190735A1 (ja) 表示制御装置
JP7333460B2 (ja) 情報表示装置
WO2024048195A1 (ja) 表示制御装置
US11842119B2 (en) Display system that displays virtual object, display device and method of controlling same, and storage medium
JP7562831B2 (ja) 情報処理装置
JP2023181639A (ja) 情報処理装置
JP7497434B2 (ja) ヘッドマウントディスプレイ
JP7139395B2 (ja) 制御装置、プログラム、及びシステム
JP7576183B2 (ja) 仮想空間提供装置
WO2023037812A1 (ja) オンライン対話支援システム
WO2021172137A1 (ja) コンテンツ共有システム及び端末
JP7365501B2 (ja) 情報処理装置