JP6892961B1 - Control device, display control method and display control program - Google Patents

Control device, display control method and display control program Download PDF

Info

Publication number
JP6892961B1
JP6892961B1 JP2020163267A JP2020163267A JP6892961B1 JP 6892961 B1 JP6892961 B1 JP 6892961B1 JP 2020163267 A JP2020163267 A JP 2020163267A JP 2020163267 A JP2020163267 A JP 2020163267A JP 6892961 B1 JP6892961 B1 JP 6892961B1
Authority
JP
Japan
Prior art keywords
unit
display
virtual object
user
landscape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020163267A
Other languages
Japanese (ja)
Other versions
JP2022055698A (en
Inventor
福井 啓允
啓允 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2020163267A priority Critical patent/JP6892961B1/en
Application granted granted Critical
Publication of JP6892961B1 publication Critical patent/JP6892961B1/en
Publication of JP2022055698A publication Critical patent/JP2022055698A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

【課題】仮想オブジェクトの視認性を向上させる。【解決手段】ディスプレイ装置3は、仮想オブジェクトの表示部34への表示を制御する表示制御部365と、ユーザが表示部34を介して視認可能な風景の状態を特定する特定部363と、特定部363が特定した風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況か否かを判定する判定部364と、を有し、表示制御部365は、仮想オブジェクトの視認が困難な状況であると判定部364が判定すると、仮想オブジェクトの視認性を高める制御を行う。【選択図】図5PROBLEM TO BE SOLVED: To improve visibility of a virtual object. A display device (3) specifies a display control unit (365) that controls the display of a virtual object on a display unit (34) and a specific unit (363) that specifies a state of a landscape that can be visually recognized by a user via the display unit (34). The display control unit 365 has a determination unit 364 for determining whether or not the situation is difficult for the user to visually recognize the virtual object based on the state of the landscape specified by the unit 363, and the display control unit 365 has difficulty in visually recognizing the virtual object. When the determination unit 364 determines that it is a situation, it controls to improve the visibility of the virtual object. [Selection diagram] Fig. 5

Description

本発明は、制御装置、表示制御方法及び表示制御プログラムに関する。 The present invention relates to a control device, a display control method, and a display control program.

ユーザの頭部に装着可能なスマートグラスと呼ばれるディスプレイ装置が利用されている。特許文献1には、ディスプレイ装置に、仮想画面等の仮想オブジェクトを表示させることが開示されている。 A display device called smart glasses that can be worn on the user's head is used. Patent Document 1 discloses that a display device displays a virtual object such as a virtual screen.

特開2020−087190号公報Japanese Unexamined Patent Publication No. 2020-087190

ディスプレイ装置を介してユーザが視認する背景が明るかったり複雑であったりすると、ユーザが仮想オブジェクトを視認しにくいという問題がある。そこで、仮想オブジェクトの視認性を向上させることが求められている。 If the background that the user sees through the display device is bright or complicated, there is a problem that it is difficult for the user to see the virtual object. Therefore, it is required to improve the visibility of virtual objects.

そこで、本発明はこれらの点に鑑みてなされたものであり、仮想オブジェクトの視認性を向上させることを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to improve the visibility of a virtual object.

本発明の第1の態様に係る制御装置は、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置であって、前記仮想オブジェクトの前記表示部への表示を制御する表示制御部と、前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部と、前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部と、を有し、前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う。 The control device according to the first aspect of the present invention is a control device that controls the display of a virtual object displayed on the display unit of the display device mounted on the user's head, and the display unit of the virtual object. Based on the display control unit that controls the display on the display, the specific unit that specifies the state of the landscape that the user can see through the display unit, and the state of the landscape that the specific unit has specified, the user The display control unit has a determination unit for determining whether or not the virtual object is difficult to visually recognize, and when the determination unit determines that the virtual object is difficult to visually recognize, the virtual object is virtual. Controls to improve the visibility of objects.

本発明の第2の態様に係る表示制御方法は、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置が実行する、前記仮想オブジェクトの前記表示部への表示を制御するステップと、前記ユーザが前記表示部を介して視認可能な風景の状態を特定するステップと、特定された前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定するステップと、前記仮想オブジェクトの視認が困難な状況であると判定されると、前記仮想オブジェクトの視認性を高める制御を行うステップと、を有する。 The display control method according to the second aspect of the present invention is the display of the virtual object, which is executed by the control device that controls the display of the virtual object displayed on the display unit of the display device worn on the user's head. The user visually recognizes the virtual object based on the step of controlling the display on the unit, the step of specifying the state of the landscape that the user can see through the display unit, and the specified state of the landscape. It has a step of determining whether or not the situation is difficult, and a step of controlling the visibility of the virtual object when it is determined that the virtual object is difficult to see.

本発明の第3の態様に係る表示制御プログラムは、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御するコンピュータを、前記仮想オブジェクトの前記表示部への表示を制御する表示制御部、前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部、前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部、として機能させ、前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う。 In the display control program according to the third aspect of the present invention, a computer that controls the display of a virtual object displayed on the display unit of a display device mounted on the user's head is attached to the display unit of the virtual object. A display control unit that controls display, a specific unit that specifies a landscape state that the user can see through the display unit, and a virtual object by the user based on the landscape state specified by the specific unit. It functions as a determination unit for determining whether or not the situation is difficult to see, and when the determination unit determines that the virtual object is difficult to see, the display control unit determines the visibility of the virtual object. Control to increase.

本発明によれば、仮想オブジェクトの視認性を向上させることができるという効果を奏する。 According to the present invention, it is possible to improve the visibility of the virtual object.

本実施形態に係る表示制御システムの概要を示す図である。It is a figure which shows the outline of the display control system which concerns on this embodiment. 本実施形態に係るディスプレイ装置が、仮想オブジェクトの視認性を高める制御を行う例を説明する図である。It is a figure explaining the example that the display device which concerns on this Embodiment performs control which raises visibility of a virtual object. 本実施形態に係る配信装置の構成を示す図である。It is a figure which shows the structure of the distribution apparatus which concerns on this embodiment. 本実施形態に係るユーザ端末の構成を示す図である。It is a figure which shows the structure of the user terminal which concerns on this embodiment. 本実施形態に係るディスプレイ装置の構成を示す図である。It is a figure which shows the structure of the display device which concerns on this embodiment. 本実施形態に係るディスプレイ装置が実行する視認性向上に係る処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process which concerns on the visibility improvement executed by the display apparatus which concerns on this embodiment.

[表示制御システムSの概要]
図1は、本実施形態に係る表示制御システムSの概要を示す図である。表示制御システムSは、ディスプレイ装置3に仮想オブジェクトを表示させるシステムである。仮想オブジェクトは、例えば、仮想空間上に配置される仮想の人物、動物、車等の各種物体の三次元モデル、又は映像や仮想デスクトップ等のリモートワークを行うための仮想の二次元画面である。以下の説明において、仮想の二次元画面を仮想画面という。本実施形態では、ディスプレイ装置3に仮想オブジェクトとして仮想画面を表示させる例を説明する。
[Overview of display control system S]
FIG. 1 is a diagram showing an outline of a display control system S according to the present embodiment. The display control system S is a system for displaying a virtual object on the display device 3. The virtual object is, for example, a three-dimensional model of various objects such as a virtual person, an animal, or a car arranged in a virtual space, or a virtual two-dimensional screen for performing remote work such as a video or a virtual desktop. In the following description, a virtual two-dimensional screen is referred to as a virtual screen. In this embodiment, an example of displaying a virtual screen as a virtual object on the display device 3 will be described.

図1に示すように、表示制御システムSは、情報処理装置1と、携帯端末2と、ディスプレイ装置3とを有する。情報処理装置1は、仮想画面を提供するサーバやパーソナルコンピュータである。情報処理装置1は、インターネット回線や携帯電話網等の通信ネットワークを介して携帯端末2と通信可能に接続されており、携帯端末2に仮想画面を示す画面データを送信する。 As shown in FIG. 1, the display control system S includes an information processing device 1, a mobile terminal 2, and a display device 3. The information processing device 1 is a server or a personal computer that provides a virtual screen. The information processing device 1 is communicably connected to the mobile terminal 2 via a communication network such as an Internet line or a mobile phone network, and transmits screen data indicating a virtual screen to the mobile terminal 2.

携帯端末2は、例えばユーザが所持するスマートフォン、タブレット等の端末である。携帯端末2は、Bluetooth(登録商標)等の近距離無線通信や無線LAN等の無線通信、USB(登録商標)、HDMI(登録商標)/MHL(登録商標)、Ethernet(登録商標)等の有線通信を介して、ディスプレイ装置3と通信可能に接続されている。 The mobile terminal 2 is, for example, a terminal such as a smartphone or tablet owned by the user. The mobile terminal 2 includes short-range wireless communication such as Bluetooth (registered trademark), wireless communication such as wireless LAN, and wired communication such as USB (registered trademark), HDMI (registered trademark) / MHL (registered trademark), and Ethernet (registered trademark). It is communicably connected to the display device 3 via communication.

携帯端末2は、情報処理装置1から受信した画面データが示す仮想画面をディスプレイ装置3に表示させる。ディスプレイ装置3は、例えばユーザの頭部に装着されるスマートグラス等の端末である。ディスプレイ装置3は、携帯端末2の制御により仮想画面を表示する。本実施形態において、ディスプレイ装置3は、ユーザがディスプレイ装置3の表示部を介して視認可能な風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況であるか否かを判定する。ディスプレイ装置3は、仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。 The mobile terminal 2 causes the display device 3 to display a virtual screen indicated by screen data received from the information processing device 1. The display device 3 is, for example, a terminal such as a smart glass worn on the user's head. The display device 3 displays a virtual screen under the control of the mobile terminal 2. In the present embodiment, the display device 3 determines whether or not it is difficult for the user to visually recognize the virtual object based on the state of the landscape that the user can see through the display unit of the display device 3. When the display device 3 determines that it is difficult to visually recognize the virtual object, the display device 3 controls to enhance the visibility of the virtual object.

図2は、本実施形態に係るディスプレイ装置3が、仮想オブジェクトの視認性を高める制御を行う例を説明する図である。図2には、ディスプレイ装置3に表示される仮想画面Ovを示している。図2(a)に示すように、ユーザがディスプレイ装置3を介して視認可能な風景が単純である場合、ユーザは仮想画面Ovを容易に視認できる。これに対し、図2(b)に示すように、ユーザがディスプレイ装置3を介して視認可能な風景が複雑であると、ユーザは仮想画面Ovを視認するのが困難になる。そこで、ディスプレイ装置3は、ユーザによる仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。 FIG. 2 is a diagram illustrating an example in which the display device 3 according to the present embodiment controls to enhance the visibility of the virtual object. FIG. 2 shows a virtual screen Ov displayed on the display device 3. As shown in FIG. 2A, when the landscape that the user can see through the display device 3 is simple, the user can easily see the virtual screen Ov. On the other hand, as shown in FIG. 2B, if the scenery that the user can see through the display device 3 is complicated, it becomes difficult for the user to see the virtual screen Ov. Therefore, when the display device 3 determines that it is difficult for the user to visually recognize the virtual object, the display device 3 controls to enhance the visibility of the virtual object.

図2(c)には、ディスプレイ装置3が視認性を高める制御として仮想画面Ovの輝度を高めた例を示している。図2(c)に示す仮想画面Ovは、図2(b)に示す仮想画面Ovに比べて視認しやすいことが確認できる。このように、ディスプレイ装置3は、仮想オブジェクトの視認性を向上させることができる。 FIG. 2C shows an example in which the display device 3 increases the brightness of the virtual screen Ov as a control for enhancing visibility. It can be confirmed that the virtual screen Ov shown in FIG. 2C is easier to see than the virtual screen Ov shown in FIG. 2B. In this way, the display device 3 can improve the visibility of the virtual object.

[情報処理装置1の構成]
続いて、表示制御システムSの構成について説明する。まず、情報処理装置1の構成を説明する。図3は、本実施形態に係る情報処理装置1の構成を示す図である。図3に示すように、情報処理装置1は、通信部11と、記憶部12と、制御部13とを備える。
[Configuration of information processing device 1]
Subsequently, the configuration of the display control system S will be described. First, the configuration of the information processing device 1 will be described. FIG. 3 is a diagram showing a configuration of the information processing device 1 according to the present embodiment. As shown in FIG. 3, the information processing device 1 includes a communication unit 11, a storage unit 12, and a control unit 13.

通信部11は、インターネット回線や携帯電話網等の通信ネットワークに接続するためのインターフェースである。
記憶部12は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部12は、制御部13が実行するプログラムを記憶している。例えば、記憶部12は、制御部13を、画面データ生成部131及び送信制御部132として機能させるプログラムを記憶している。
The communication unit 11 is an interface for connecting to a communication network such as an Internet line or a mobile phone network.
The storage unit 12 is a storage medium including a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The storage unit 12 stores a program executed by the control unit 13. For example, the storage unit 12 stores a program that causes the control unit 13 to function as the screen data generation unit 131 and the transmission control unit 132.

制御部13は、例えばCPU(Central Processing Unit)である。制御部13は、記憶部12に記憶されたプログラムを実行することにより、画面データ生成部131及び送信制御部132として機能する。 The control unit 13 is, for example, a CPU (Central Processing Unit). The control unit 13 functions as the screen data generation unit 131 and the transmission control unit 132 by executing the program stored in the storage unit 12.

画面データ生成部131は、携帯端末2から仮想画面の取得要求を取得すると、仮想画面の画面データを生成する。
送信制御部132は、画面データ生成部131が画面データを生成すると、当該画面データを携帯端末2に送信する。
When the screen data generation unit 131 acquires the acquisition request of the virtual screen from the mobile terminal 2, the screen data generation unit 131 generates the screen data of the virtual screen.
When the screen data generation unit 131 generates screen data, the transmission control unit 132 transmits the screen data to the mobile terminal 2.

[携帯端末2の機能構成]
続いて、携帯端末2の構成を説明する。図4は、本実施形態に係る携帯端末2の構成を示す図である。図4に示すように、携帯端末2は、操作部21と、表示部22と、通信部23と、記憶部24と、制御部25とを備える。
[Functional configuration of mobile terminal 2]
Subsequently, the configuration of the mobile terminal 2 will be described. FIG. 4 is a diagram showing a configuration of a mobile terminal 2 according to the present embodiment. As shown in FIG. 4, the mobile terminal 2 includes an operation unit 21, a display unit 22, a communication unit 23, a storage unit 24, and a control unit 25.

操作部21は、ユーザの操作を受け付ける操作デバイスであり、例えば表示部22の表面に設けられたタッチパネルである。なお、操作部21には、携帯端末2に優先又は無線で接続されるマウスやキーボードが含まれていてもよい。 The operation unit 21 is an operation device that accepts user operations, and is, for example, a touch panel provided on the surface of the display unit 22. The operation unit 21 may include a mouse or keyboard that is preferentially or wirelessly connected to the mobile terminal 2.

表示部22は、各種の情報を表示するディスプレイである。
通信部23は、例えば携帯電話網の基地局との間でデータを送受信するための無線通信インターフェースである。通信部23は、携帯電話網の基地局を介して、情報処理装置1と無線通信を行う。また、通信部23は、ディスプレイ装置3との間でデータを送受信するための通信インターフェースである。通信部23は、ディスプレイ装置3と無線通信又は有線通信を行う。
The display unit 22 is a display that displays various types of information.
The communication unit 23 is, for example, a wireless communication interface for transmitting and receiving data to and from a base station of a mobile phone network. The communication unit 23 wirelessly communicates with the information processing device 1 via the base station of the mobile phone network. Further, the communication unit 23 is a communication interface for transmitting and receiving data to and from the display device 3. The communication unit 23 performs wireless communication or wired communication with the display device 3.

記憶部24は、ROM及びRAM等を含む記憶媒体である。記憶部24は、制御部25が実行するプログラムを記憶している。記憶部24は、制御部25を、オブジェクト要求部251、オブジェクト取得部252及び送信制御部253として機能させるオブジェクト表示プログラムを記憶する。 The storage unit 24 is a storage medium including a ROM, RAM, and the like. The storage unit 24 stores a program executed by the control unit 25. The storage unit 24 stores an object display program that causes the control unit 25 to function as the object request unit 251 and the object acquisition unit 252 and the transmission control unit 253.

制御部25は、例えばCPUであり、記憶部24に記憶されたオブジェクト表示プログラムを実行することにより、オブジェクト要求部251、オブジェクト取得部252及び送信制御部253として機能する。 The control unit 25 is, for example, a CPU, and functions as an object request unit 251, an object acquisition unit 252, and a transmission control unit 253 by executing an object display program stored in the storage unit 24.

オブジェクト要求部251は、情報処理装置1に仮想画面を示す画面データの取得要求を送信する。オブジェクト要求部251は、例えば、オブジェクト表示プログラムが実行されたことに応じて、情報処理装置1に仮想画面を示す画面データの取得要求の送信を開始する。オブジェクト要求部251は、仮想画面を示す画面データの取得要求を所定時間おきに情報処理装置1に送信する。
オブジェクト取得部252は、情報処理装置1から仮想画面を示す画面データを取得する。オブジェクト取得部252は、例えば、仮想画面の実空間の座標系に対応する位置を示す画面位置情報が関連付けられた画面データを生成する。
The object request unit 251 transmits a request for acquiring screen data indicating a virtual screen to the information processing device 1. The object request unit 251 starts transmitting a screen data acquisition request indicating a virtual screen to the information processing device 1, for example, in response to the execution of the object display program. The object request unit 251 transmits a screen data acquisition request indicating the virtual screen to the information processing device 1 at predetermined time intervals.
The object acquisition unit 252 acquires screen data indicating a virtual screen from the information processing device 1. The object acquisition unit 252 generates, for example, screen data associated with screen position information indicating a position corresponding to the coordinate system in the real space of the virtual screen.

送信制御部253は、オブジェクト取得部252が取得した画面データをディスプレイ装置3に送信することにより、当該画面データが示す仮想画面をディスプレイ装置3に表示させる。具体的には、送信制御部253は、オブジェクト取得部252が取得した画面位置情報を、ディスプレイ装置3における座標系に対応する位置情報であるスクリーン位置情報に変換する座標変換処理を実行する。送信制御部253は、スクリーン位置情報と、画面データとをディスプレイ装置3に送信する。 The transmission control unit 253 transmits the screen data acquired by the object acquisition unit 252 to the display device 3, so that the virtual screen indicated by the screen data is displayed on the display device 3. Specifically, the transmission control unit 253 executes a coordinate conversion process that converts the screen position information acquired by the object acquisition unit 252 into screen position information that is position information corresponding to the coordinate system in the display device 3. The transmission control unit 253 transmits the screen position information and the screen data to the display device 3.

[ディスプレイ装置3の機能構成]
続いて、ディスプレイ装置3の構成を説明する。図5は、本実施形態に係るディスプレイ装置3の構成を示す図である。図5に示すように、ディスプレイ装置3は、通信部31と、撮像部32と、照度センサ33と、表示部34と、記憶部35と、制御部36とを備える。
[Functional configuration of display device 3]
Subsequently, the configuration of the display device 3 will be described. FIG. 5 is a diagram showing a configuration of a display device 3 according to the present embodiment. As shown in FIG. 5, the display device 3 includes a communication unit 31, an image pickup unit 32, an illuminance sensor 33, a display unit 34, a storage unit 35, and a control unit 36.

通信部31は、携帯端末2との間でデータを送受信するための無線通信インターフェースである。通信部31は、制御部36の制御により、携帯端末2と無線通信又は有線通信を行う。
撮像部32は、ユーザがディスプレイ装置3を装着した場合におけるユーザの前方を撮像し、撮像画像を生成する。撮像部32は、生成した撮像画像を制御部36に出力する。
照度センサ33は、ディスプレイ装置3の周囲の照度を検出する。照度センサ33は、検出した照度を示す照度情報を制御部36に出力する。
The communication unit 31 is a wireless communication interface for transmitting and receiving data to and from the mobile terminal 2. The communication unit 31 performs wireless communication or wired communication with the mobile terminal 2 under the control of the control unit 36.
The image pickup unit 32 takes an image of the front of the user when the user wears the display device 3 and generates an captured image. The imaging unit 32 outputs the generated captured image to the control unit 36.
The illuminance sensor 33 detects the illuminance around the display device 3. The illuminance sensor 33 outputs illuminance information indicating the detected illuminance to the control unit 36.

表示部34は、導光板と、導光板に光を照射する照射部とを含んでいる。照射部は、制御部36の制御に応じて、画面データが示す仮想画面に対応する色の光を導光板に照射することにより、導光板に仮想画面を結像させる。 The display unit 34 includes a light guide plate and an irradiation unit that irradiates the light guide plate with light. The irradiation unit irradiates the light guide plate with light of a color corresponding to the virtual screen indicated by the screen data according to the control of the control unit 36, thereby forming the virtual screen on the light guide plate.

記憶部35は、ROM及びRAM等を含む記憶媒体である。記憶部35は、制御部36が実行するプログラムを記憶している。記憶部35は、制御部36を、取得部361、注視検出部362、特定部363、判定部364及び表示制御部365として機能させるプログラムを記憶する。 The storage unit 35 is a storage medium including a ROM, a RAM, and the like. The storage unit 35 stores a program executed by the control unit 36. The storage unit 35 stores a program that causes the control unit 36 to function as the acquisition unit 361, the gaze detection unit 362, the specific unit 363, the determination unit 364, and the display control unit 365.

制御部36は、例えばCPUであり、記憶部35に記憶されたプログラムを実行することにより、取得部361、注視検出部362、特定部363、判定部364及び表示制御部365として機能する。 The control unit 36 is, for example, a CPU, and functions as an acquisition unit 361, a gaze detection unit 362, a specific unit 363, a determination unit 364, and a display control unit 365 by executing a program stored in the storage unit 35.

取得部361は、携帯端末2から仮想画面を示す画面データと、スクリーン位置情報とを取得する。例えば、取得部361は、携帯端末2から所定時間おきに仮想画面を示す画面データと、スクリーン位置情報とを取得する。 The acquisition unit 361 acquires screen data indicating a virtual screen and screen position information from the mobile terminal 2. For example, the acquisition unit 361 acquires screen data indicating a virtual screen and screen position information from the mobile terminal 2 at predetermined time intervals.

注視検出部362は、ユーザが仮想画面を注視していることを検出する。具体的には、注視検出部362は、取得部361が取得したスクリーン位置情報に基づいてディスプレイ装置3に対する仮想画面の位置を特定し、ディスプレイ装置3の表示部34の中心から仮想画面に向かうベクトルを特定する。また、注視検出部362は、ディスプレイ装置3の表示部34の中心から正面方向に向かうベクトル、すなわち正面視線方向に向かうベクトルを特定する。注視検出部362は、特定した2つのベクトルのなす角度が所定の角度以下である場合に、ユーザが仮想画面を注視していることを検出する。注視検出部362は、特定した2つのベクトルのなす角度が所定時間連続して所定の角度以下である場合に、ユーザが仮想画面を注視していることを検出するようにしてもよい。 The gaze detection unit 362 detects that the user is gaze at the virtual screen. Specifically, the gaze detection unit 362 identifies the position of the virtual screen with respect to the display device 3 based on the screen position information acquired by the acquisition unit 361, and a vector from the center of the display unit 34 of the display device 3 toward the virtual screen. To identify. Further, the gaze detection unit 362 specifies a vector directed from the center of the display unit 34 of the display device 3 toward the front, that is, a vector directed toward the front line of sight. The gaze detection unit 362 detects that the user is gazing at the virtual screen when the angle formed by the two specified vectors is equal to or less than a predetermined angle. The gaze detection unit 362 may detect that the user is gazing at the virtual screen when the angle formed by the two specified vectors is continuously equal to or less than a predetermined angle for a predetermined time.

特定部363は、ユーザが表示部34を介して視認可能な風景の状態を特定する。特定部363は、ユーザが仮想画面を注視していることを注視検出部362が検出している場合に、撮像部32が撮像した撮像画像に基づいて、ユーザが表示部34を介して視認可能な風景の状態を特定する。 The identification unit 363 identifies the state of the landscape that can be visually recognized by the user via the display unit 34. When the gaze detection unit 362 detects that the user is gazing at the virtual screen, the specific unit 363 can be visually recognized by the user via the display unit 34 based on the captured image captured by the image pickup unit 32. Identify the state of the landscape.

特定部363は、風景の状態として、風景の色を特定する。例えば、特定部363は、撮像部32が撮像した撮像画像を構成する複数の画素の画素値の平均値が示す色を、風景の色として特定する。特定部363は、複数の画素値を複数の画素値の範囲のいずれかに分類して、複数の画素値の範囲のそれぞれに含まれる画素値の数を集計し、最も画素値の数が多い画素値の範囲を特定してもよい。そして、最も画素値の数が多い画素値の範囲に対応する色を、風景の色として特定してもよい。 The identification unit 363 specifies the color of the landscape as the state of the landscape. For example, the identification unit 363 specifies a color indicated by an average value of pixel values of a plurality of pixels constituting an image captured by the image pickup unit 32 as a landscape color. The specific unit 363 classifies a plurality of pixel values into one of a plurality of pixel value ranges, aggregates the number of pixel values included in each of the plurality of pixel value ranges, and has the largest number of pixel values. The range of pixel values may be specified. Then, the color corresponding to the range of the pixel values having the largest number of pixel values may be specified as the landscape color.

また、特定部363は、風景の状態として、風景の照度を特定する。例えば、特定部363は、照度センサ33が検出した照度を示す照度情報を取得することにより、風景の照度を特定する。 In addition, the specific unit 363 specifies the illuminance of the landscape as the state of the landscape. For example, the identification unit 363 specifies the illuminance of the landscape by acquiring the illuminance information indicating the illuminance detected by the illuminance sensor 33.

また、特定部363は、風景の状態として、風景の複雑さを示す複雑度を特定する。例えば、特定部363は、撮像部32が撮像した撮像画像に対し、高速フーリエ変換(FFT:Fast Fourier Transform)を行うことにより、撮像画像の周波数スペクトルを算出し、周波数スペクトルのピーク値に基づいて複雑度を特定する。 In addition, the specific unit 363 specifies the complexity indicating the complexity of the landscape as the state of the landscape. For example, the specific unit 363 calculates the frequency spectrum of the captured image by performing a fast Fourier transform (FFT) on the captured image captured by the imaging unit 32, and based on the peak value of the frequency spectrum. Identify the complexity.

判定部364は、特定部363が特定した風景の状態に基づいて、ユーザによる仮想画面の視認が困難な状況であるか否かを判定する。 The determination unit 364 determines whether or not it is difficult for the user to visually recognize the virtual screen based on the state of the landscape specified by the specific unit 363.

例えば、判定部364は、風景の色と、仮想画面の色とが類似している場合に、ユーザによる仮想画面の視認が困難な状況であると判定する。この場合、判定部364は、仮想画面の色の平均値と、特定部363が特定した色との類似度を算出する。判定部364は、類似度が第1の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。 For example, the determination unit 364 determines that it is difficult for the user to visually recognize the virtual screen when the color of the landscape and the color of the virtual screen are similar. In this case, the determination unit 364 calculates the degree of similarity between the average value of the colors of the virtual screen and the color specified by the specific unit 363. When the similarity exceeds the first threshold value, the determination unit 364 determines that it is difficult for the user to visually recognize the virtual screen.

また、判定部364は、特定部363が特定した風景の照度に基づいて、仮想画面の視認が困難な状況であるか否かを判定する。例えば、判定部364は、特定部363が特定した風景の照度が第2の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。 Further, the determination unit 364 determines whether or not it is difficult to visually recognize the virtual screen based on the illuminance of the landscape specified by the specific unit 363. For example, the determination unit 364 determines that it is difficult for the user to visually recognize the virtual screen when the illuminance of the landscape specified by the specific unit 363 exceeds the second threshold value.

また、判定部364は、特定部363が特定した風景の複雑度に基づいて、仮想画面の視認が困難な状況であるか否かを判定する。例えば、判定部364は、特定部363が特定した風景の複雑度が第3の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。 Further, the determination unit 364 determines whether or not it is difficult to visually recognize the virtual screen based on the complexity of the landscape specified by the specific unit 363. For example, the determination unit 364 determines that it is difficult for the user to visually recognize the virtual screen when the complexity of the landscape specified by the specific unit 363 exceeds the third threshold value.

表示制御部365は、取得部361が取得した画面データに基づいて仮想画面を表示部34に表示させる。表示制御部365は、取得部361が取得したスクリーン位置情報が示すディスプレイ装置3の表示部34の位置に、取得部361が取得した画面データに基づいて仮想画面を表示部34に表示させる。 The display control unit 365 causes the display unit 34 to display a virtual screen based on the screen data acquired by the acquisition unit 361. The display control unit 365 causes the display unit 34 to display a virtual screen at the position of the display unit 34 of the display device 3 indicated by the screen position information acquired by the acquisition unit 361, based on the screen data acquired by the acquisition unit 361.

表示制御部365は、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御を行う。具体的には、表示制御部365は、ユーザが仮想画面を注視していることを注視検出部362が検出している場合において、仮想画面の視認が困難な状況であると前記判定部が判定すると、仮想画面の視認性を高める制御を行う。 When the determination unit 364 determines that it is difficult to visually recognize the virtual screen, the display control unit 365 performs control to enhance the visibility of the virtual screen. Specifically, the display control unit 365 determines that it is difficult to visually recognize the virtual screen when the gaze detection unit 362 detects that the user is gazing at the virtual screen. Then, control is performed to enhance the visibility of the virtual screen.

例えば、表示制御部365は、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御として、図2(c)に示すように、仮想画面の輝度を上昇させる制御を行う。この場合、記憶部35は、複数の照度と、当該照度に対して適切な表示部34の輝度とを関連付けた関係情報を記憶しているものとする。そして、表示制御部365は、表示部34の輝度を、当該関係情報において、指示情報に含まれる照度情報が示すディスプレイ装置3の周囲の照度に関連付けられている輝度となるように調整することにより、仮想画面の輝度を上昇させる。このようにすることで、ディスプレイ装置3の周囲の照度に対して、表示部34の輝度を適切な値に調整することができる。 For example, when the determination unit 364 determines that it is difficult for the display control unit 365 to visually recognize the virtual screen, the brightness of the virtual screen is as shown in FIG. 2 (c) as a control for enhancing the visibility of the virtual screen. Controls to raise. In this case, it is assumed that the storage unit 35 stores the relationship information in which the plurality of illuminances and the brightness of the display unit 34 appropriate for the illuminance are associated with each other. Then, the display control unit 365 adjusts the brightness of the display unit 34 to be the brightness associated with the ambient illuminance of the display device 3 indicated by the illuminance information included in the instruction information in the relevant information. , Increase the brightness of the virtual screen. By doing so, the brightness of the display unit 34 can be adjusted to an appropriate value with respect to the illuminance around the display device 3.

また、表示制御部365は、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御として、仮想画面の色を、特定部363が特定した風景の色に基づいて変化させる。表示制御部365は、仮想画面の色を、特定部363が特定した風景の色に対して見やすい色に変化させる。例えば、表示制御部365は、仮想画面の背景色を、特定部363が特定した風景の色の補色に変化させる。このようにすることで、仮想画面を風景の色に対して見やすい状態に変化させることができる。 Further, when the determination unit 364 determines that it is difficult for the display control unit 365 to visually recognize the virtual screen, the display control unit 365 determines that the color of the virtual screen is specified by the specific unit 363 as a control for enhancing the visibility of the virtual screen. Change based on color. The display control unit 365 changes the color of the virtual screen to a color that is easy to see with respect to the color of the landscape specified by the specific unit 363. For example, the display control unit 365 changes the background color of the virtual screen to a complementary color of the landscape color specified by the specific unit 363. By doing so, the virtual screen can be changed to a state in which it is easy to see with respect to the color of the landscape.

また、表示制御部365は、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認が相対的に容易である領域に仮想画面を移動させるようにしてもよい。この場合、特定部363は、ユーザが表示部34を介して視認可能な風景の領域、すなわち、表示部34の領域のうち、仮想オブジェクトの視認が相対的に容易である領域を特定する。例えば、特定部363は、撮像部32が撮像した撮像画像に基づいて、明度が相対的に低い領域を特定する。そして、表示制御部365は、明度が相対的に低い領域が仮想画面の表示領域よりも大きい場合、明度が相対的に低い領域に仮想画面を移動させる。このようにすることで、仮想画面の背後が暗くなるため、仮想画面を見やすい状態にすることができる。 Further, when the determination unit 364 determines that it is difficult to visually recognize the virtual screen, the display control unit 365 may move the virtual screen to an area where the virtual screen is relatively easy to visually recognize. In this case, the identification unit 363 specifies an area of the landscape that the user can see through the display unit 34, that is, an area of the display unit 34 in which the virtual object is relatively easy to see. For example, the identification unit 363 identifies a region having a relatively low brightness based on the image captured by the image pickup unit 32. Then, when the area where the brightness is relatively low is larger than the display area of the virtual screen, the display control unit 365 moves the virtual screen to the area where the brightness is relatively low. By doing so, the back of the virtual screen becomes dark, so that the virtual screen can be easily seen.

[視認性向上に係る処理の流れ]
続いて、視認性向上に係る処理の流れを説明する。ここでは、視認性向上に係る処理として、輝度を調整する例を説明する。図6は、ディスプレイ装置3が実行する視認性向上に係る処理の流れを示すフローチャートである。
[Flow of processing related to visibility improvement]
Next, the flow of processing related to the improvement of visibility will be described. Here, an example of adjusting the brightness will be described as a process for improving visibility. FIG. 6 is a flowchart showing a flow of processing related to the improvement of visibility executed by the display device 3.

まず、取得部361は、携帯端末2から仮想画面を示す画面データ及びスクリーン位置情報を取得する(S1)。
表示制御部365は、取得部361が取得したスクリーン位置情報が示すディスプレイ装置3の表示部34の位置に、取得部361が取得した画面データに基づいて仮想画面を表示部34に表示させる(S2)。
First, the acquisition unit 361 acquires screen data and screen position information indicating a virtual screen from the mobile terminal 2 (S1).
The display control unit 365 causes the display unit 34 to display a virtual screen at the position of the display unit 34 of the display device 3 indicated by the screen position information acquired by the acquisition unit 361, based on the screen data acquired by the acquisition unit 361 (S2). ).

特定部363は、ユーザが仮想画面を注視していることを注視検出部362が検出しているか否かを判定する(S3)。特定部363は、ユーザが仮想画面を注視していることを検出していると判定すると、S4に処理を移し、ユーザが仮想画面を注視していることを検出していないと判定すると、本フローチャートに係る処理を終了する。 The specific unit 363 determines whether or not the gaze detection unit 362 has detected that the user is gaze at the virtual screen (S3). When the specific unit 363 determines that it has detected that the user is gazing at the virtual screen, it shifts the process to S4, and determines that it has not detected that the user is gazing at the virtual screen. End the process related to the flowchart.

特定部363は、ユーザが表示部34を介して視認可能な風景の状態を特定する(S4)。
判定部364は、特定部363が特定した風景の状態に基づいて、ユーザによる仮想画面の視認が困難な状況であるか否かを判定する(S5)。判定部364は、ユーザによる仮想画面の視認が困難な状況であると判定すると、S6に処理を移し、ユーザによる仮想画面の視認が困難な状況ではないと判定すると、本フローチャートに係る処理を終了する。
The identification unit 363 specifies the state of the landscape that can be visually recognized by the user via the display unit 34 (S4).
The determination unit 364 determines whether or not it is difficult for the user to visually recognize the virtual screen based on the state of the landscape specified by the specific unit 363 (S5). When the determination unit 364 determines that the situation is difficult for the user to visually recognize the virtual screen, the process is transferred to S6, and when it is determined that the situation is not difficult for the user to visually recognize the virtual screen, the determination unit 364 ends the process related to this flowchart. To do.

表示制御部365は、S5において、ユーザによる仮想画面の視認が困難な状況であると判定部364が判定すると、ディスプレイ装置3の表示部34の輝度を上昇させる(S6)。 When the determination unit 364 determines in S5 that it is difficult for the user to visually recognize the virtual screen, the display control unit 365 increases the brightness of the display unit 34 of the display device 3 (S6).

[本実施形態における効果]
以上説明したように、本実施形態に係るディスプレイ装置3は、ユーザが表示部34を介して視認可能な風景の状態を特定し、当該風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況か否かを判定する。ディスプレイ装置3は、仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。このようにすることで、ディスプレイ装置3は、仮想オブジェクトの視認性を向上させる。
[Effect in this embodiment]
As described above, the display device 3 according to the present embodiment identifies the state of the landscape that can be visually recognized by the user via the display unit 34, and it is difficult for the user to visually recognize the virtual object based on the state of the landscape. Judge whether or not the situation is When the display device 3 determines that it is difficult to visually recognize the virtual object, the display device 3 controls to enhance the visibility of the virtual object. By doing so, the display device 3 improves the visibility of the virtual object.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施の形態では、ディスプレイ装置3の制御部36が注視検出部362、特定部363、判定部364、及び表示制御部365として機能したが、これに限らない。例えば、情報処理装置1の制御部13又は携帯端末2の制御部25が、注視検出部362、特定部363、判定部364、及び表示制御部365として機能するようにしてもよい。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist thereof. is there. For example, in the above-described embodiment, the control unit 36 of the display device 3 functions as a gaze detection unit 362, a specific unit 363, a determination unit 364, and a display control unit 365, but the present invention is not limited to this. For example, the control unit 13 of the information processing device 1 or the control unit 25 of the mobile terminal 2 may function as a gaze detection unit 362, a specific unit 363, a determination unit 364, and a display control unit 365.

この場合、ディスプレイ装置3は、情報処理装置1又は携帯端末2がユーザが仮想画面を注視しているかの検出、及びユーザによる仮想画面の視認が困難な状況であるかの判定をできるようにするために、撮像部32が撮像した画像を情報処理装置1又は携帯端末2に送信してもよい。 In this case, the display device 3 enables the information processing device 1 or the mobile terminal 2 to detect whether the user is gazing at the virtual screen and determine whether the user is in a situation where it is difficult to visually recognize the virtual screen. Therefore, the image captured by the imaging unit 32 may be transmitted to the information processing device 1 or the mobile terminal 2.

また、上述の実施の形態では、表示制御部365は、ユーザが仮想画面を注視していることを注視検出部362が検出している場合において、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御を行ったが、これに限らない。表示制御部365は、注視検出部362による注視の検出状況に関わらず、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御を行うようにしてもよい。 Further, in the above-described embodiment, the display control unit 365 determines that it is difficult to visually recognize the virtual screen when the gaze detection unit 362 detects that the user is gazing at the virtual screen. When the unit 364 determines, the control for enhancing the visibility of the virtual screen is performed, but the present invention is not limited to this. When the determination unit 364 determines that it is difficult to visually recognize the virtual screen regardless of the detection status of the gaze by the gaze detection unit 362, the display control unit 365 performs control to enhance the visibility of the virtual screen. May be good.

また、例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Further, for example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination also has the effect of the original embodiment.

1・・・情報処理装置、11・・・通信部、12・・・記憶部、13・・・制御部、131・・・画面データ生成部、132・・・送信制御部、2・・・携帯端末、21・・・操作部、22・・・表示部、23・・・通信部、24・・・記憶部、25・・・制御部、251・・・オブジェクト要求部、252・・・オブジェクト取得部、253・・・送信制御部、3・・・ディスプレイ装置、31・・・通信部、32・・・撮像部、33・・・照度センサ、34・・・表示部、35・・・記憶部、36・・・制御部、361・・・取得部、362・・・注視検出部、363・・・特定部、364・・・判定部、365・・・表示制御部
1 ... Information processing device, 11 ... Communication unit, 12 ... Storage unit, 13 ... Control unit, 131 ... Screen data generation unit, 132 ... Transmission control unit, 2 ... Mobile terminal, 21 ... operation unit, 22 ... display unit, 23 ... communication unit, 24 ... storage unit, 25 ... control unit, 251 ... object request unit, 252 ... Object acquisition unit, 253 ... transmission control unit, 3 ... display device, 31 ... communication unit, 32 ... imaging unit, 33 ... illuminance sensor, 34 ... display unit, 35 ... -Storage unit, 36 ... Control unit, 361 ... Acquisition unit, 362 ... Gaze detection unit, 363 ... Specific unit, 364 ... Judgment unit, 365 ... Display control unit

Claims (9)

ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置であって、
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御する表示制御部と、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定する注視検出部と、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部と、
前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部と、
を有し、
前記表示制御部は、前記ユーザが前記仮想オブジェクトを注視していると前記注視検出部が判定している場合において、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う、
制御装置。
A control device that controls the display of virtual objects displayed on the display unit of a display device worn on the user's head.
A display control unit that controls the display of the virtual object at a position in the display unit corresponding to screen position information indicating a position in the real space coordinate system associated with the virtual object.
When the angle formed by the vector from the center of the display unit toward the position in the real space coordinate system corresponding to the screen position information and the vector from the center of the display unit toward the front is equal to or less than a predetermined angle. , A gaze detection unit that determines that the user is gaze at the virtual object,
A specific unit that identifies the state of the landscape that the user can see through the display unit,
A determination unit that determines whether or not it is difficult for the user to visually recognize the virtual object based on the state of the landscape specified by the specific unit.
Have,
When the gaze detection unit determines that the user is gazing at the virtual object , the display control unit determines that it is difficult to visually recognize the virtual object. Control to improve the visibility of virtual objects,
Control device.
前記注視検出部は、前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定時間連続して前記所定の角度以下である場合に、ユーザが仮想画面を注視していると判定する、
請求項1に記載の制御装置。
In the gaze detection unit, the angle formed by the vector from the center of the display unit toward the position in the real space coordinate system corresponding to the screen position information and the vector from the center of the display unit toward the front is a predetermined time. When the angle is continuously equal to or less than the predetermined angle, it is determined that the user is gazing at the virtual screen.
The control device according to claim 1.
前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの輝度を上昇させる、
請求項1又は2に記載の制御装置。
When the determination unit determines that it is difficult to visually recognize the virtual object, the display control unit increases the brightness of the virtual object.
The control device according to claim 1 or 2.
前記特定部は、前記風景の状態として前記風景の色を特定し、
前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの色を、前記特定部が特定した前記風景の色に基づいて変化させる、
請求項1から3のいずれか1項に記載の制御装置。
The specific unit specifies the color of the landscape as the state of the landscape,
When the determination unit determines that it is difficult to visually recognize the virtual object, the display control unit changes the color of the virtual object based on the color of the landscape specified by the specific unit.
The control device according to any one of claims 1 to 3.
前記特定部は、前記風景の照度を特定し、
前記判定部は、前記特定部が特定した前記風景の照度に基づいて、前記仮想オブジェクトの視認が困難な状況であるか否かを判定する、
請求項1から4のいずれか1項に記載の制御装置。
The specific part identifies the illuminance of the landscape and
The determination unit determines whether or not it is difficult to visually recognize the virtual object based on the illuminance of the landscape specified by the specific unit.
The control device according to any one of claims 1 to 4.
前記特定部は、前記風景の複雑さを示す複雑度を特定し、
前記判定部は、前記特定部が特定した前記風景の複雑度に基づいて、前記仮想オブジェクトの視認が困難な状況であるか否かを判定する、
請求項1から5のいずれか1項に記載の制御装置。
The specific part identifies the complexity indicating the complexity of the landscape and
The determination unit determines whether or not the virtual object is difficult to visually recognize based on the complexity of the landscape specified by the specific unit.
The control device according to any one of claims 1 to 5.
前記特定部は、前記表示部の前記風景に対応する領域のうち、前記仮想オブジェクトの視認が相対的に容易である領域を特定し、
前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記特定部が特定した前記仮想オブジェクトの視認が相対的に容易になる領域に前記仮想オブジェクトを移動させる、
請求項1から6のいずれか1項に記載の制御装置。
The specific unit identifies an area of the display unit corresponding to the landscape where the virtual object is relatively easy to see.
When the determination unit determines that the virtual object is difficult to see, the display control unit moves the virtual object to a region where the virtual object specified by the specific unit is relatively easy to see. Let,
The control device according to any one of claims 1 to 6.
ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置が実行する、
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御するステップと、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定するステップと、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定するステップと、
特定された前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定するステップと、
前記ユーザが前記仮想オブジェクトを注視していると判定している場合において、前記仮想オブジェクトの視認が困難な状況であると判定されると、前記仮想オブジェクトの視認性を高める制御を行うステップと、
を有する表示制御方法。
A control device that controls the display of virtual objects displayed on the display unit of the display device worn on the user's head executes.
A step of controlling the display of the virtual object at a position in the display unit corresponding to screen position information indicating a position in the real space coordinate system associated with the virtual object.
When the angle formed by the vector from the center of the display unit toward the position in the real space coordinate system corresponding to the screen position information and the vector from the center of the display unit toward the front is equal to or less than a predetermined angle. , The step of determining that the user is gazing at the virtual object,
A step of identifying a landscape state that can be visually recognized by the user through the display unit,
Based on the identified state of the landscape, a step of determining whether or not the situation is difficult for the user to visually recognize the virtual object, and
When it is determined that the user is gazing at the virtual object and it is determined that the virtual object is difficult to see, a step of controlling the visibility of the virtual object and a step of performing control are provided.
Display control method having.
ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御するコンピュータを、
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御する表示制御部、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定する注視検出部、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部、
前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部、として機能させ、
前記表示制御部は、前記ユーザが前記仮想オブジェクトを注視していると前記注視検出部が判定している場合において、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う、
表示制御プログラム。
A computer that controls the display of virtual objects displayed on the display unit of a display device worn on the user's head.
A display control unit that controls the display of the virtual object at a position in the display unit corresponding to screen position information indicating a position in a real space coordinate system associated with the virtual object.
When the angle formed by the vector from the center of the display unit toward the position in the real space coordinate system corresponding to the screen position information and the vector from the center of the display unit toward the front is equal to or less than a predetermined angle. , A gaze detection unit that determines that the user is gaze at the virtual object,
A specific unit that identifies the state of the landscape that the user can see through the display unit,
Based on the state of the landscape specified by the specific unit, the virtual object is made to function as a determination unit for determining whether or not it is difficult for the user to visually recognize the virtual object.
When the gaze detection unit determines that the user is gazing at the virtual object , the display control unit determines that it is difficult to visually recognize the virtual object. Control to improve the visibility of virtual objects,
Display control program.
JP2020163267A 2020-09-29 2020-09-29 Control device, display control method and display control program Active JP6892961B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020163267A JP6892961B1 (en) 2020-09-29 2020-09-29 Control device, display control method and display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020163267A JP6892961B1 (en) 2020-09-29 2020-09-29 Control device, display control method and display control program

Publications (2)

Publication Number Publication Date
JP6892961B1 true JP6892961B1 (en) 2021-06-23
JP2022055698A JP2022055698A (en) 2022-04-08

Family

ID=76464555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020163267A Active JP6892961B1 (en) 2020-09-29 2020-09-29 Control device, display control method and display control program

Country Status (1)

Country Link
JP (1) JP6892961B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014225727A (en) * 2013-05-15 2014-12-04 ソニー株式会社 Display control device, display control method, and recording medium
WO2016203792A1 (en) * 2015-06-15 2016-12-22 ソニー株式会社 Information processing device, information processing method, and program
WO2018037645A1 (en) * 2016-08-24 2018-03-01 ソニー株式会社 Information processing device, information processing method, and program
JP2018141824A (en) * 2017-02-27 2018-09-13 セイコーエプソン株式会社 Display device and control method of display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014225727A (en) * 2013-05-15 2014-12-04 ソニー株式会社 Display control device, display control method, and recording medium
WO2016203792A1 (en) * 2015-06-15 2016-12-22 ソニー株式会社 Information processing device, information processing method, and program
WO2018037645A1 (en) * 2016-08-24 2018-03-01 ソニー株式会社 Information processing device, information processing method, and program
JP2018141824A (en) * 2017-02-27 2018-09-13 セイコーエプソン株式会社 Display device and control method of display device

Also Published As

Publication number Publication date
JP2022055698A (en) 2022-04-08

Similar Documents

Publication Publication Date Title
CN110456907A (en) Control method, device, terminal device and the storage medium of virtual screen
CN110022470B (en) Method and system for training object detection algorithm using composite image and storage medium
CN104331168B (en) Display adjusting method and electronic equipment
US9541997B2 (en) Three-dimensional user interface apparatus and three-dimensional operation method
CN110969981A (en) Screen display parameter adjusting method and electronic equipment
JP6976395B1 (en) Distribution device, distribution system, distribution method and distribution program
KR102465654B1 (en) Head mounted display device and method therefor
US10540538B2 (en) Body information analysis apparatus and blush analysis method thereof
US20140043229A1 (en) Input device, input method, and computer program
US20170038912A1 (en) Information providing device
US12063346B2 (en) Electronic device for displaying content and method of operation thereof
US11475242B2 (en) Domain adaptation losses
US20210375232A1 (en) Generating Display Data based On Modified Ambient Light Luminance Values
KR20120060978A (en) Method and Apparatus for 3D Human-Computer Interaction based on Eye Tracking
CN111064891A (en) Shooting control method and electronic equipment
US11682183B2 (en) Augmented reality system and anchor display method thereof
CN109639981B (en) Image shooting method and mobile terminal
JP6892961B1 (en) Control device, display control method and display control program
US20210224591A1 (en) Methods and systems for training an object detection algorithm
CN116508056A (en) Living body detection device, control method, and computer-readable medium
CN111610886A (en) Method and device for adjusting brightness of touch screen and computer readable storage medium
CN113342157A (en) Eyeball tracking processing method and related device
CN111221410B (en) Method for transmitting eyeball tracking information, head-mounted display and computer device
JP6892960B1 (en) Control devices, information processing systems, control methods and programs
JP2019087136A (en) Screen display control method and screen display control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200929

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200929

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210528

R150 Certificate of patent or registration of utility model

Ref document number: 6892961

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150