JP6892961B1 - Control device, display control method and display control program - Google Patents
Control device, display control method and display control program Download PDFInfo
- Publication number
- JP6892961B1 JP6892961B1 JP2020163267A JP2020163267A JP6892961B1 JP 6892961 B1 JP6892961 B1 JP 6892961B1 JP 2020163267 A JP2020163267 A JP 2020163267A JP 2020163267 A JP2020163267 A JP 2020163267A JP 6892961 B1 JP6892961 B1 JP 6892961B1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- virtual object
- user
- landscape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000001514 detection method Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 26
- 230000010365 information processing Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
Abstract
【課題】仮想オブジェクトの視認性を向上させる。【解決手段】ディスプレイ装置3は、仮想オブジェクトの表示部34への表示を制御する表示制御部365と、ユーザが表示部34を介して視認可能な風景の状態を特定する特定部363と、特定部363が特定した風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況か否かを判定する判定部364と、を有し、表示制御部365は、仮想オブジェクトの視認が困難な状況であると判定部364が判定すると、仮想オブジェクトの視認性を高める制御を行う。【選択図】図5PROBLEM TO BE SOLVED: To improve visibility of a virtual object. A display device (3) specifies a display control unit (365) that controls the display of a virtual object on a display unit (34) and a specific unit (363) that specifies a state of a landscape that can be visually recognized by a user via the display unit (34). The display control unit 365 has a determination unit 364 for determining whether or not the situation is difficult for the user to visually recognize the virtual object based on the state of the landscape specified by the unit 363, and the display control unit 365 has difficulty in visually recognizing the virtual object. When the determination unit 364 determines that it is a situation, it controls to improve the visibility of the virtual object. [Selection diagram] Fig. 5
Description
本発明は、制御装置、表示制御方法及び表示制御プログラムに関する。 The present invention relates to a control device, a display control method, and a display control program.
ユーザの頭部に装着可能なスマートグラスと呼ばれるディスプレイ装置が利用されている。特許文献1には、ディスプレイ装置に、仮想画面等の仮想オブジェクトを表示させることが開示されている。 A display device called smart glasses that can be worn on the user's head is used. Patent Document 1 discloses that a display device displays a virtual object such as a virtual screen.
ディスプレイ装置を介してユーザが視認する背景が明るかったり複雑であったりすると、ユーザが仮想オブジェクトを視認しにくいという問題がある。そこで、仮想オブジェクトの視認性を向上させることが求められている。 If the background that the user sees through the display device is bright or complicated, there is a problem that it is difficult for the user to see the virtual object. Therefore, it is required to improve the visibility of virtual objects.
そこで、本発明はこれらの点に鑑みてなされたものであり、仮想オブジェクトの視認性を向上させることを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to improve the visibility of a virtual object.
本発明の第1の態様に係る制御装置は、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置であって、前記仮想オブジェクトの前記表示部への表示を制御する表示制御部と、前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部と、前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部と、を有し、前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う。 The control device according to the first aspect of the present invention is a control device that controls the display of a virtual object displayed on the display unit of the display device mounted on the user's head, and the display unit of the virtual object. Based on the display control unit that controls the display on the display, the specific unit that specifies the state of the landscape that the user can see through the display unit, and the state of the landscape that the specific unit has specified, the user The display control unit has a determination unit for determining whether or not the virtual object is difficult to visually recognize, and when the determination unit determines that the virtual object is difficult to visually recognize, the virtual object is virtual. Controls to improve the visibility of objects.
本発明の第2の態様に係る表示制御方法は、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御する制御装置が実行する、前記仮想オブジェクトの前記表示部への表示を制御するステップと、前記ユーザが前記表示部を介して視認可能な風景の状態を特定するステップと、特定された前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定するステップと、前記仮想オブジェクトの視認が困難な状況であると判定されると、前記仮想オブジェクトの視認性を高める制御を行うステップと、を有する。 The display control method according to the second aspect of the present invention is the display of the virtual object, which is executed by the control device that controls the display of the virtual object displayed on the display unit of the display device worn on the user's head. The user visually recognizes the virtual object based on the step of controlling the display on the unit, the step of specifying the state of the landscape that the user can see through the display unit, and the specified state of the landscape. It has a step of determining whether or not the situation is difficult, and a step of controlling the visibility of the virtual object when it is determined that the virtual object is difficult to see.
本発明の第3の態様に係る表示制御プログラムは、ユーザの頭部に装着されるディスプレイ装置の表示部に表示される仮想オブジェクトの表示を制御するコンピュータを、前記仮想オブジェクトの前記表示部への表示を制御する表示制御部、前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部、前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部、として機能させ、前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う。 In the display control program according to the third aspect of the present invention, a computer that controls the display of a virtual object displayed on the display unit of a display device mounted on the user's head is attached to the display unit of the virtual object. A display control unit that controls display, a specific unit that specifies a landscape state that the user can see through the display unit, and a virtual object by the user based on the landscape state specified by the specific unit. It functions as a determination unit for determining whether or not the situation is difficult to see, and when the determination unit determines that the virtual object is difficult to see, the display control unit determines the visibility of the virtual object. Control to increase.
本発明によれば、仮想オブジェクトの視認性を向上させることができるという効果を奏する。 According to the present invention, it is possible to improve the visibility of the virtual object.
[表示制御システムSの概要]
図1は、本実施形態に係る表示制御システムSの概要を示す図である。表示制御システムSは、ディスプレイ装置3に仮想オブジェクトを表示させるシステムである。仮想オブジェクトは、例えば、仮想空間上に配置される仮想の人物、動物、車等の各種物体の三次元モデル、又は映像や仮想デスクトップ等のリモートワークを行うための仮想の二次元画面である。以下の説明において、仮想の二次元画面を仮想画面という。本実施形態では、ディスプレイ装置3に仮想オブジェクトとして仮想画面を表示させる例を説明する。
[Overview of display control system S]
FIG. 1 is a diagram showing an outline of a display control system S according to the present embodiment. The display control system S is a system for displaying a virtual object on the display device 3. The virtual object is, for example, a three-dimensional model of various objects such as a virtual person, an animal, or a car arranged in a virtual space, or a virtual two-dimensional screen for performing remote work such as a video or a virtual desktop. In the following description, a virtual two-dimensional screen is referred to as a virtual screen. In this embodiment, an example of displaying a virtual screen as a virtual object on the display device 3 will be described.
図1に示すように、表示制御システムSは、情報処理装置1と、携帯端末2と、ディスプレイ装置3とを有する。情報処理装置1は、仮想画面を提供するサーバやパーソナルコンピュータである。情報処理装置1は、インターネット回線や携帯電話網等の通信ネットワークを介して携帯端末2と通信可能に接続されており、携帯端末2に仮想画面を示す画面データを送信する。 As shown in FIG. 1, the display control system S includes an information processing device 1, a mobile terminal 2, and a display device 3. The information processing device 1 is a server or a personal computer that provides a virtual screen. The information processing device 1 is communicably connected to the mobile terminal 2 via a communication network such as an Internet line or a mobile phone network, and transmits screen data indicating a virtual screen to the mobile terminal 2.
携帯端末2は、例えばユーザが所持するスマートフォン、タブレット等の端末である。携帯端末2は、Bluetooth(登録商標)等の近距離無線通信や無線LAN等の無線通信、USB(登録商標)、HDMI(登録商標)/MHL(登録商標)、Ethernet(登録商標)等の有線通信を介して、ディスプレイ装置3と通信可能に接続されている。 The mobile terminal 2 is, for example, a terminal such as a smartphone or tablet owned by the user. The mobile terminal 2 includes short-range wireless communication such as Bluetooth (registered trademark), wireless communication such as wireless LAN, and wired communication such as USB (registered trademark), HDMI (registered trademark) / MHL (registered trademark), and Ethernet (registered trademark). It is communicably connected to the display device 3 via communication.
携帯端末2は、情報処理装置1から受信した画面データが示す仮想画面をディスプレイ装置3に表示させる。ディスプレイ装置3は、例えばユーザの頭部に装着されるスマートグラス等の端末である。ディスプレイ装置3は、携帯端末2の制御により仮想画面を表示する。本実施形態において、ディスプレイ装置3は、ユーザがディスプレイ装置3の表示部を介して視認可能な風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況であるか否かを判定する。ディスプレイ装置3は、仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。 The mobile terminal 2 causes the display device 3 to display a virtual screen indicated by screen data received from the information processing device 1. The display device 3 is, for example, a terminal such as a smart glass worn on the user's head. The display device 3 displays a virtual screen under the control of the mobile terminal 2. In the present embodiment, the display device 3 determines whether or not it is difficult for the user to visually recognize the virtual object based on the state of the landscape that the user can see through the display unit of the display device 3. When the display device 3 determines that it is difficult to visually recognize the virtual object, the display device 3 controls to enhance the visibility of the virtual object.
図2は、本実施形態に係るディスプレイ装置3が、仮想オブジェクトの視認性を高める制御を行う例を説明する図である。図2には、ディスプレイ装置3に表示される仮想画面Ovを示している。図2(a)に示すように、ユーザがディスプレイ装置3を介して視認可能な風景が単純である場合、ユーザは仮想画面Ovを容易に視認できる。これに対し、図2(b)に示すように、ユーザがディスプレイ装置3を介して視認可能な風景が複雑であると、ユーザは仮想画面Ovを視認するのが困難になる。そこで、ディスプレイ装置3は、ユーザによる仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。 FIG. 2 is a diagram illustrating an example in which the display device 3 according to the present embodiment controls to enhance the visibility of the virtual object. FIG. 2 shows a virtual screen Ov displayed on the display device 3. As shown in FIG. 2A, when the landscape that the user can see through the display device 3 is simple, the user can easily see the virtual screen Ov. On the other hand, as shown in FIG. 2B, if the scenery that the user can see through the display device 3 is complicated, it becomes difficult for the user to see the virtual screen Ov. Therefore, when the display device 3 determines that it is difficult for the user to visually recognize the virtual object, the display device 3 controls to enhance the visibility of the virtual object.
図2(c)には、ディスプレイ装置3が視認性を高める制御として仮想画面Ovの輝度を高めた例を示している。図2(c)に示す仮想画面Ovは、図2(b)に示す仮想画面Ovに比べて視認しやすいことが確認できる。このように、ディスプレイ装置3は、仮想オブジェクトの視認性を向上させることができる。 FIG. 2C shows an example in which the display device 3 increases the brightness of the virtual screen Ov as a control for enhancing visibility. It can be confirmed that the virtual screen Ov shown in FIG. 2C is easier to see than the virtual screen Ov shown in FIG. 2B. In this way, the display device 3 can improve the visibility of the virtual object.
[情報処理装置1の構成]
続いて、表示制御システムSの構成について説明する。まず、情報処理装置1の構成を説明する。図3は、本実施形態に係る情報処理装置1の構成を示す図である。図3に示すように、情報処理装置1は、通信部11と、記憶部12と、制御部13とを備える。
[Configuration of information processing device 1]
Subsequently, the configuration of the display control system S will be described. First, the configuration of the information processing device 1 will be described. FIG. 3 is a diagram showing a configuration of the information processing device 1 according to the present embodiment. As shown in FIG. 3, the information processing device 1 includes a
通信部11は、インターネット回線や携帯電話網等の通信ネットワークに接続するためのインターフェースである。
記憶部12は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部12は、制御部13が実行するプログラムを記憶している。例えば、記憶部12は、制御部13を、画面データ生成部131及び送信制御部132として機能させるプログラムを記憶している。
The
The
制御部13は、例えばCPU(Central Processing Unit)である。制御部13は、記憶部12に記憶されたプログラムを実行することにより、画面データ生成部131及び送信制御部132として機能する。
The
画面データ生成部131は、携帯端末2から仮想画面の取得要求を取得すると、仮想画面の画面データを生成する。
送信制御部132は、画面データ生成部131が画面データを生成すると、当該画面データを携帯端末2に送信する。
When the screen
When the screen
[携帯端末2の機能構成]
続いて、携帯端末2の構成を説明する。図4は、本実施形態に係る携帯端末2の構成を示す図である。図4に示すように、携帯端末2は、操作部21と、表示部22と、通信部23と、記憶部24と、制御部25とを備える。
[Functional configuration of mobile terminal 2]
Subsequently, the configuration of the mobile terminal 2 will be described. FIG. 4 is a diagram showing a configuration of a mobile terminal 2 according to the present embodiment. As shown in FIG. 4, the mobile terminal 2 includes an
操作部21は、ユーザの操作を受け付ける操作デバイスであり、例えば表示部22の表面に設けられたタッチパネルである。なお、操作部21には、携帯端末2に優先又は無線で接続されるマウスやキーボードが含まれていてもよい。
The
表示部22は、各種の情報を表示するディスプレイである。
通信部23は、例えば携帯電話網の基地局との間でデータを送受信するための無線通信インターフェースである。通信部23は、携帯電話網の基地局を介して、情報処理装置1と無線通信を行う。また、通信部23は、ディスプレイ装置3との間でデータを送受信するための通信インターフェースである。通信部23は、ディスプレイ装置3と無線通信又は有線通信を行う。
The
The
記憶部24は、ROM及びRAM等を含む記憶媒体である。記憶部24は、制御部25が実行するプログラムを記憶している。記憶部24は、制御部25を、オブジェクト要求部251、オブジェクト取得部252及び送信制御部253として機能させるオブジェクト表示プログラムを記憶する。
The
制御部25は、例えばCPUであり、記憶部24に記憶されたオブジェクト表示プログラムを実行することにより、オブジェクト要求部251、オブジェクト取得部252及び送信制御部253として機能する。
The
オブジェクト要求部251は、情報処理装置1に仮想画面を示す画面データの取得要求を送信する。オブジェクト要求部251は、例えば、オブジェクト表示プログラムが実行されたことに応じて、情報処理装置1に仮想画面を示す画面データの取得要求の送信を開始する。オブジェクト要求部251は、仮想画面を示す画面データの取得要求を所定時間おきに情報処理装置1に送信する。
オブジェクト取得部252は、情報処理装置1から仮想画面を示す画面データを取得する。オブジェクト取得部252は、例えば、仮想画面の実空間の座標系に対応する位置を示す画面位置情報が関連付けられた画面データを生成する。
The
The
送信制御部253は、オブジェクト取得部252が取得した画面データをディスプレイ装置3に送信することにより、当該画面データが示す仮想画面をディスプレイ装置3に表示させる。具体的には、送信制御部253は、オブジェクト取得部252が取得した画面位置情報を、ディスプレイ装置3における座標系に対応する位置情報であるスクリーン位置情報に変換する座標変換処理を実行する。送信制御部253は、スクリーン位置情報と、画面データとをディスプレイ装置3に送信する。
The
[ディスプレイ装置3の機能構成]
続いて、ディスプレイ装置3の構成を説明する。図5は、本実施形態に係るディスプレイ装置3の構成を示す図である。図5に示すように、ディスプレイ装置3は、通信部31と、撮像部32と、照度センサ33と、表示部34と、記憶部35と、制御部36とを備える。
[Functional configuration of display device 3]
Subsequently, the configuration of the display device 3 will be described. FIG. 5 is a diagram showing a configuration of a display device 3 according to the present embodiment. As shown in FIG. 5, the display device 3 includes a
通信部31は、携帯端末2との間でデータを送受信するための無線通信インターフェースである。通信部31は、制御部36の制御により、携帯端末2と無線通信又は有線通信を行う。
撮像部32は、ユーザがディスプレイ装置3を装着した場合におけるユーザの前方を撮像し、撮像画像を生成する。撮像部32は、生成した撮像画像を制御部36に出力する。
照度センサ33は、ディスプレイ装置3の周囲の照度を検出する。照度センサ33は、検出した照度を示す照度情報を制御部36に出力する。
The
The
The
表示部34は、導光板と、導光板に光を照射する照射部とを含んでいる。照射部は、制御部36の制御に応じて、画面データが示す仮想画面に対応する色の光を導光板に照射することにより、導光板に仮想画面を結像させる。
The
記憶部35は、ROM及びRAM等を含む記憶媒体である。記憶部35は、制御部36が実行するプログラムを記憶している。記憶部35は、制御部36を、取得部361、注視検出部362、特定部363、判定部364及び表示制御部365として機能させるプログラムを記憶する。
The
制御部36は、例えばCPUであり、記憶部35に記憶されたプログラムを実行することにより、取得部361、注視検出部362、特定部363、判定部364及び表示制御部365として機能する。
The
取得部361は、携帯端末2から仮想画面を示す画面データと、スクリーン位置情報とを取得する。例えば、取得部361は、携帯端末2から所定時間おきに仮想画面を示す画面データと、スクリーン位置情報とを取得する。
The
注視検出部362は、ユーザが仮想画面を注視していることを検出する。具体的には、注視検出部362は、取得部361が取得したスクリーン位置情報に基づいてディスプレイ装置3に対する仮想画面の位置を特定し、ディスプレイ装置3の表示部34の中心から仮想画面に向かうベクトルを特定する。また、注視検出部362は、ディスプレイ装置3の表示部34の中心から正面方向に向かうベクトル、すなわち正面視線方向に向かうベクトルを特定する。注視検出部362は、特定した2つのベクトルのなす角度が所定の角度以下である場合に、ユーザが仮想画面を注視していることを検出する。注視検出部362は、特定した2つのベクトルのなす角度が所定時間連続して所定の角度以下である場合に、ユーザが仮想画面を注視していることを検出するようにしてもよい。
The
特定部363は、ユーザが表示部34を介して視認可能な風景の状態を特定する。特定部363は、ユーザが仮想画面を注視していることを注視検出部362が検出している場合に、撮像部32が撮像した撮像画像に基づいて、ユーザが表示部34を介して視認可能な風景の状態を特定する。
The
特定部363は、風景の状態として、風景の色を特定する。例えば、特定部363は、撮像部32が撮像した撮像画像を構成する複数の画素の画素値の平均値が示す色を、風景の色として特定する。特定部363は、複数の画素値を複数の画素値の範囲のいずれかに分類して、複数の画素値の範囲のそれぞれに含まれる画素値の数を集計し、最も画素値の数が多い画素値の範囲を特定してもよい。そして、最も画素値の数が多い画素値の範囲に対応する色を、風景の色として特定してもよい。
The
また、特定部363は、風景の状態として、風景の照度を特定する。例えば、特定部363は、照度センサ33が検出した照度を示す照度情報を取得することにより、風景の照度を特定する。
In addition, the
また、特定部363は、風景の状態として、風景の複雑さを示す複雑度を特定する。例えば、特定部363は、撮像部32が撮像した撮像画像に対し、高速フーリエ変換(FFT:Fast Fourier Transform)を行うことにより、撮像画像の周波数スペクトルを算出し、周波数スペクトルのピーク値に基づいて複雑度を特定する。
In addition, the
判定部364は、特定部363が特定した風景の状態に基づいて、ユーザによる仮想画面の視認が困難な状況であるか否かを判定する。
The
例えば、判定部364は、風景の色と、仮想画面の色とが類似している場合に、ユーザによる仮想画面の視認が困難な状況であると判定する。この場合、判定部364は、仮想画面の色の平均値と、特定部363が特定した色との類似度を算出する。判定部364は、類似度が第1の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。
For example, the
また、判定部364は、特定部363が特定した風景の照度に基づいて、仮想画面の視認が困難な状況であるか否かを判定する。例えば、判定部364は、特定部363が特定した風景の照度が第2の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。
Further, the
また、判定部364は、特定部363が特定した風景の複雑度に基づいて、仮想画面の視認が困難な状況であるか否かを判定する。例えば、判定部364は、特定部363が特定した風景の複雑度が第3の閾値を超えると、ユーザによる仮想画面の視認が困難な状況であると判定する。
Further, the
表示制御部365は、取得部361が取得した画面データに基づいて仮想画面を表示部34に表示させる。表示制御部365は、取得部361が取得したスクリーン位置情報が示すディスプレイ装置3の表示部34の位置に、取得部361が取得した画面データに基づいて仮想画面を表示部34に表示させる。
The
表示制御部365は、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御を行う。具体的には、表示制御部365は、ユーザが仮想画面を注視していることを注視検出部362が検出している場合において、仮想画面の視認が困難な状況であると前記判定部が判定すると、仮想画面の視認性を高める制御を行う。
When the
例えば、表示制御部365は、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御として、図2(c)に示すように、仮想画面の輝度を上昇させる制御を行う。この場合、記憶部35は、複数の照度と、当該照度に対して適切な表示部34の輝度とを関連付けた関係情報を記憶しているものとする。そして、表示制御部365は、表示部34の輝度を、当該関係情報において、指示情報に含まれる照度情報が示すディスプレイ装置3の周囲の照度に関連付けられている輝度となるように調整することにより、仮想画面の輝度を上昇させる。このようにすることで、ディスプレイ装置3の周囲の照度に対して、表示部34の輝度を適切な値に調整することができる。
For example, when the
また、表示制御部365は、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御として、仮想画面の色を、特定部363が特定した風景の色に基づいて変化させる。表示制御部365は、仮想画面の色を、特定部363が特定した風景の色に対して見やすい色に変化させる。例えば、表示制御部365は、仮想画面の背景色を、特定部363が特定した風景の色の補色に変化させる。このようにすることで、仮想画面を風景の色に対して見やすい状態に変化させることができる。
Further, when the
また、表示制御部365は、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認が相対的に容易である領域に仮想画面を移動させるようにしてもよい。この場合、特定部363は、ユーザが表示部34を介して視認可能な風景の領域、すなわち、表示部34の領域のうち、仮想オブジェクトの視認が相対的に容易である領域を特定する。例えば、特定部363は、撮像部32が撮像した撮像画像に基づいて、明度が相対的に低い領域を特定する。そして、表示制御部365は、明度が相対的に低い領域が仮想画面の表示領域よりも大きい場合、明度が相対的に低い領域に仮想画面を移動させる。このようにすることで、仮想画面の背後が暗くなるため、仮想画面を見やすい状態にすることができる。
Further, when the
[視認性向上に係る処理の流れ]
続いて、視認性向上に係る処理の流れを説明する。ここでは、視認性向上に係る処理として、輝度を調整する例を説明する。図6は、ディスプレイ装置3が実行する視認性向上に係る処理の流れを示すフローチャートである。
[Flow of processing related to visibility improvement]
Next, the flow of processing related to the improvement of visibility will be described. Here, an example of adjusting the brightness will be described as a process for improving visibility. FIG. 6 is a flowchart showing a flow of processing related to the improvement of visibility executed by the display device 3.
まず、取得部361は、携帯端末2から仮想画面を示す画面データ及びスクリーン位置情報を取得する(S1)。
表示制御部365は、取得部361が取得したスクリーン位置情報が示すディスプレイ装置3の表示部34の位置に、取得部361が取得した画面データに基づいて仮想画面を表示部34に表示させる(S2)。
First, the
The
特定部363は、ユーザが仮想画面を注視していることを注視検出部362が検出しているか否かを判定する(S3)。特定部363は、ユーザが仮想画面を注視していることを検出していると判定すると、S4に処理を移し、ユーザが仮想画面を注視していることを検出していないと判定すると、本フローチャートに係る処理を終了する。
The
特定部363は、ユーザが表示部34を介して視認可能な風景の状態を特定する(S4)。
判定部364は、特定部363が特定した風景の状態に基づいて、ユーザによる仮想画面の視認が困難な状況であるか否かを判定する(S5)。判定部364は、ユーザによる仮想画面の視認が困難な状況であると判定すると、S6に処理を移し、ユーザによる仮想画面の視認が困難な状況ではないと判定すると、本フローチャートに係る処理を終了する。
The
The
表示制御部365は、S5において、ユーザによる仮想画面の視認が困難な状況であると判定部364が判定すると、ディスプレイ装置3の表示部34の輝度を上昇させる(S6)。
When the
[本実施形態における効果]
以上説明したように、本実施形態に係るディスプレイ装置3は、ユーザが表示部34を介して視認可能な風景の状態を特定し、当該風景の状態に基づいて、ユーザによる仮想オブジェクトの視認が困難な状況か否かを判定する。ディスプレイ装置3は、仮想オブジェクトの視認が困難な状況であると判定すると、仮想オブジェクトの視認性を高める制御を行う。このようにすることで、ディスプレイ装置3は、仮想オブジェクトの視認性を向上させる。
[Effect in this embodiment]
As described above, the display device 3 according to the present embodiment identifies the state of the landscape that can be visually recognized by the user via the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施の形態では、ディスプレイ装置3の制御部36が注視検出部362、特定部363、判定部364、及び表示制御部365として機能したが、これに限らない。例えば、情報処理装置1の制御部13又は携帯端末2の制御部25が、注視検出部362、特定部363、判定部364、及び表示制御部365として機能するようにしてもよい。
Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist thereof. is there. For example, in the above-described embodiment, the
この場合、ディスプレイ装置3は、情報処理装置1又は携帯端末2がユーザが仮想画面を注視しているかの検出、及びユーザによる仮想画面の視認が困難な状況であるかの判定をできるようにするために、撮像部32が撮像した画像を情報処理装置1又は携帯端末2に送信してもよい。
In this case, the display device 3 enables the information processing device 1 or the mobile terminal 2 to detect whether the user is gazing at the virtual screen and determine whether the user is in a situation where it is difficult to visually recognize the virtual screen. Therefore, the image captured by the
また、上述の実施の形態では、表示制御部365は、ユーザが仮想画面を注視していることを注視検出部362が検出している場合において、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御を行ったが、これに限らない。表示制御部365は、注視検出部362による注視の検出状況に関わらず、仮想画面の視認が困難な状況であると判定部364が判定すると、仮想画面の視認性を高める制御を行うようにしてもよい。
Further, in the above-described embodiment, the
また、例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Further, for example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination also has the effect of the original embodiment.
1・・・情報処理装置、11・・・通信部、12・・・記憶部、13・・・制御部、131・・・画面データ生成部、132・・・送信制御部、2・・・携帯端末、21・・・操作部、22・・・表示部、23・・・通信部、24・・・記憶部、25・・・制御部、251・・・オブジェクト要求部、252・・・オブジェクト取得部、253・・・送信制御部、3・・・ディスプレイ装置、31・・・通信部、32・・・撮像部、33・・・照度センサ、34・・・表示部、35・・・記憶部、36・・・制御部、361・・・取得部、362・・・注視検出部、363・・・特定部、364・・・判定部、365・・・表示制御部
1 ... Information processing device, 11 ... Communication unit, 12 ... Storage unit, 13 ... Control unit, 131 ... Screen data generation unit, 132 ... Transmission control unit, 2 ... Mobile terminal, 21 ... operation unit, 22 ... display unit, 23 ... communication unit, 24 ... storage unit, 25 ... control unit, 251 ... object request unit, 252 ... Object acquisition unit, 253 ... transmission control unit, 3 ... display device, 31 ... communication unit, 32 ... imaging unit, 33 ... illuminance sensor, 34 ... display unit, 35 ... -Storage unit, 36 ... Control unit, 361 ... Acquisition unit, 362 ... Gaze detection unit, 363 ... Specific unit, 364 ... Judgment unit, 365 ... Display control unit
Claims (9)
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御する表示制御部と、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定する注視検出部と、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部と、
前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部と、
を有し、
前記表示制御部は、前記ユーザが前記仮想オブジェクトを注視していると前記注視検出部が判定している場合において、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う、
制御装置。 A control device that controls the display of virtual objects displayed on the display unit of a display device worn on the user's head.
A display control unit that controls the display of the virtual object at a position in the display unit corresponding to screen position information indicating a position in the real space coordinate system associated with the virtual object.
When the angle formed by the vector from the center of the display unit toward the position in the real space coordinate system corresponding to the screen position information and the vector from the center of the display unit toward the front is equal to or less than a predetermined angle. , A gaze detection unit that determines that the user is gaze at the virtual object,
A specific unit that identifies the state of the landscape that the user can see through the display unit,
A determination unit that determines whether or not it is difficult for the user to visually recognize the virtual object based on the state of the landscape specified by the specific unit.
Have,
When the gaze detection unit determines that the user is gazing at the virtual object , the display control unit determines that it is difficult to visually recognize the virtual object. Control to improve the visibility of virtual objects,
Control device.
請求項1に記載の制御装置。 In the gaze detection unit, the angle formed by the vector from the center of the display unit toward the position in the real space coordinate system corresponding to the screen position information and the vector from the center of the display unit toward the front is a predetermined time. When the angle is continuously equal to or less than the predetermined angle, it is determined that the user is gazing at the virtual screen.
The control device according to claim 1.
請求項1又は2に記載の制御装置。 When the determination unit determines that it is difficult to visually recognize the virtual object, the display control unit increases the brightness of the virtual object.
The control device according to claim 1 or 2.
前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの色を、前記特定部が特定した前記風景の色に基づいて変化させる、
請求項1から3のいずれか1項に記載の制御装置。 The specific unit specifies the color of the landscape as the state of the landscape,
When the determination unit determines that it is difficult to visually recognize the virtual object, the display control unit changes the color of the virtual object based on the color of the landscape specified by the specific unit.
The control device according to any one of claims 1 to 3.
前記判定部は、前記特定部が特定した前記風景の照度に基づいて、前記仮想オブジェクトの視認が困難な状況であるか否かを判定する、
請求項1から4のいずれか1項に記載の制御装置。 The specific part identifies the illuminance of the landscape and
The determination unit determines whether or not it is difficult to visually recognize the virtual object based on the illuminance of the landscape specified by the specific unit.
The control device according to any one of claims 1 to 4.
前記判定部は、前記特定部が特定した前記風景の複雑度に基づいて、前記仮想オブジェクトの視認が困難な状況であるか否かを判定する、
請求項1から5のいずれか1項に記載の制御装置。 The specific part identifies the complexity indicating the complexity of the landscape and
The determination unit determines whether or not the virtual object is difficult to visually recognize based on the complexity of the landscape specified by the specific unit.
The control device according to any one of claims 1 to 5.
前記表示制御部は、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記特定部が特定した前記仮想オブジェクトの視認が相対的に容易になる領域に前記仮想オブジェクトを移動させる、
請求項1から6のいずれか1項に記載の制御装置。 The specific unit identifies an area of the display unit corresponding to the landscape where the virtual object is relatively easy to see.
When the determination unit determines that the virtual object is difficult to see, the display control unit moves the virtual object to a region where the virtual object specified by the specific unit is relatively easy to see. Let,
The control device according to any one of claims 1 to 6.
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御するステップと、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定するステップと、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定するステップと、
特定された前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定するステップと、
前記ユーザが前記仮想オブジェクトを注視していると判定している場合において、前記仮想オブジェクトの視認が困難な状況であると判定されると、前記仮想オブジェクトの視認性を高める制御を行うステップと、
を有する表示制御方法。 A control device that controls the display of virtual objects displayed on the display unit of the display device worn on the user's head executes.
A step of controlling the display of the virtual object at a position in the display unit corresponding to screen position information indicating a position in the real space coordinate system associated with the virtual object.
When the angle formed by the vector from the center of the display unit toward the position in the real space coordinate system corresponding to the screen position information and the vector from the center of the display unit toward the front is equal to or less than a predetermined angle. , The step of determining that the user is gazing at the virtual object,
A step of identifying a landscape state that can be visually recognized by the user through the display unit,
Based on the identified state of the landscape, a step of determining whether or not the situation is difficult for the user to visually recognize the virtual object, and
When it is determined that the user is gazing at the virtual object and it is determined that the virtual object is difficult to see, a step of controlling the visibility of the virtual object and a step of performing control are provided.
Display control method having.
前記仮想オブジェクトに関連付けられた実空間の座標系における位置を示すスクリーン位置情報に対応する前記表示部内の位置への前記仮想オブジェクトの表示を制御する表示制御部、
前記表示部の中心から前記スクリーン位置情報に対応する前記実空間の座標系における位置に向かうベクトルと、前記表示部の中心から正面方向に向かうベクトルとのなす角度が所定の角度以下である場合に、前記ユーザが前記仮想オブジェクトを注視していると判定する注視検出部、
前記ユーザが前記表示部を介して視認可能な風景の状態を特定する特定部、
前記特定部が特定した前記風景の状態に基づいて、前記ユーザによる前記仮想オブジェクトの視認が困難な状況か否かを判定する判定部、として機能させ、
前記表示制御部は、前記ユーザが前記仮想オブジェクトを注視していると前記注視検出部が判定している場合において、前記仮想オブジェクトの視認が困難な状況であると前記判定部が判定すると、前記仮想オブジェクトの視認性を高める制御を行う、
表示制御プログラム。 A computer that controls the display of virtual objects displayed on the display unit of a display device worn on the user's head.
A display control unit that controls the display of the virtual object at a position in the display unit corresponding to screen position information indicating a position in a real space coordinate system associated with the virtual object.
When the angle formed by the vector from the center of the display unit toward the position in the real space coordinate system corresponding to the screen position information and the vector from the center of the display unit toward the front is equal to or less than a predetermined angle. , A gaze detection unit that determines that the user is gaze at the virtual object,
A specific unit that identifies the state of the landscape that the user can see through the display unit,
Based on the state of the landscape specified by the specific unit, the virtual object is made to function as a determination unit for determining whether or not it is difficult for the user to visually recognize the virtual object.
When the gaze detection unit determines that the user is gazing at the virtual object , the display control unit determines that it is difficult to visually recognize the virtual object. Control to improve the visibility of virtual objects,
Display control program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020163267A JP6892961B1 (en) | 2020-09-29 | 2020-09-29 | Control device, display control method and display control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020163267A JP6892961B1 (en) | 2020-09-29 | 2020-09-29 | Control device, display control method and display control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6892961B1 true JP6892961B1 (en) | 2021-06-23 |
JP2022055698A JP2022055698A (en) | 2022-04-08 |
Family
ID=76464555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020163267A Active JP6892961B1 (en) | 2020-09-29 | 2020-09-29 | Control device, display control method and display control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6892961B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014225727A (en) * | 2013-05-15 | 2014-12-04 | ソニー株式会社 | Display control device, display control method, and recording medium |
WO2016203792A1 (en) * | 2015-06-15 | 2016-12-22 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2018037645A1 (en) * | 2016-08-24 | 2018-03-01 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2018141824A (en) * | 2017-02-27 | 2018-09-13 | セイコーエプソン株式会社 | Display device and control method of display device |
-
2020
- 2020-09-29 JP JP2020163267A patent/JP6892961B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014225727A (en) * | 2013-05-15 | 2014-12-04 | ソニー株式会社 | Display control device, display control method, and recording medium |
WO2016203792A1 (en) * | 2015-06-15 | 2016-12-22 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2018037645A1 (en) * | 2016-08-24 | 2018-03-01 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2018141824A (en) * | 2017-02-27 | 2018-09-13 | セイコーエプソン株式会社 | Display device and control method of display device |
Also Published As
Publication number | Publication date |
---|---|
JP2022055698A (en) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110456907A (en) | Control method, device, terminal device and the storage medium of virtual screen | |
CN110022470B (en) | Method and system for training object detection algorithm using composite image and storage medium | |
CN104331168B (en) | Display adjusting method and electronic equipment | |
US9541997B2 (en) | Three-dimensional user interface apparatus and three-dimensional operation method | |
CN110969981A (en) | Screen display parameter adjusting method and electronic equipment | |
JP6976395B1 (en) | Distribution device, distribution system, distribution method and distribution program | |
KR102465654B1 (en) | Head mounted display device and method therefor | |
US10540538B2 (en) | Body information analysis apparatus and blush analysis method thereof | |
US20140043229A1 (en) | Input device, input method, and computer program | |
US20170038912A1 (en) | Information providing device | |
US12063346B2 (en) | Electronic device for displaying content and method of operation thereof | |
US11475242B2 (en) | Domain adaptation losses | |
US20210375232A1 (en) | Generating Display Data based On Modified Ambient Light Luminance Values | |
KR20120060978A (en) | Method and Apparatus for 3D Human-Computer Interaction based on Eye Tracking | |
CN111064891A (en) | Shooting control method and electronic equipment | |
US11682183B2 (en) | Augmented reality system and anchor display method thereof | |
CN109639981B (en) | Image shooting method and mobile terminal | |
JP6892961B1 (en) | Control device, display control method and display control program | |
US20210224591A1 (en) | Methods and systems for training an object detection algorithm | |
CN116508056A (en) | Living body detection device, control method, and computer-readable medium | |
CN111610886A (en) | Method and device for adjusting brightness of touch screen and computer readable storage medium | |
CN113342157A (en) | Eyeball tracking processing method and related device | |
CN111221410B (en) | Method for transmitting eyeball tracking information, head-mounted display and computer device | |
JP6892960B1 (en) | Control devices, information processing systems, control methods and programs | |
JP2019087136A (en) | Screen display control method and screen display control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200929 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200929 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6892961 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |