JP7118913B2 - Display device, display method and program - Google Patents

Display device, display method and program Download PDF

Info

Publication number
JP7118913B2
JP7118913B2 JP2019046975A JP2019046975A JP7118913B2 JP 7118913 B2 JP7118913 B2 JP 7118913B2 JP 2019046975 A JP2019046975 A JP 2019046975A JP 2019046975 A JP2019046975 A JP 2019046975A JP 7118913 B2 JP7118913 B2 JP 7118913B2
Authority
JP
Japan
Prior art keywords
display
display mode
unit
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019046975A
Other languages
Japanese (ja)
Other versions
JP2020150434A (en
Inventor
智明 今野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019046975A priority Critical patent/JP7118913B2/en
Publication of JP2020150434A publication Critical patent/JP2020150434A/en
Application granted granted Critical
Publication of JP7118913B2 publication Critical patent/JP7118913B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像データを表示する表示装置、表示方法及びプログラムに関する。 The present invention relates to a display device, display method, and program for displaying image data.

近年、現実空間に仮想情報を重畳してユーザに提示するＡＲ（Augmented Reality、拡張現実）技術に関する研究及び開発が進められている。特許文献１には、ＡＲ表示が可能なＨＤＭ（Head Mounted Display）型のデバイスが開示されている。 2. Description of the Related Art In recent years, research and development have progressed on AR (Augmented Reality) technology that superimposes virtual information on a real space and presents it to a user. Patent Literature 1 discloses an HDM (Head Mounted Display) type device capable of AR display.

特開２０１９－００８２９０号公報JP 2019-008290 A

ところで、ＡＲ表示には、ユーザの両目に視差画像を提示するステレオ表示と、ユーザの両目に単一画像を提示するモノラル表示とがある。ステレオ表示は、視差画像を表示することにより、画像に表示される被写体に奥行き感が得られるため、ユーザの体感品質がモノラル表示より高いが、２つの画像を処理するため、画像を表示するために用いられるリソースの負荷がモノラル表示より高くなる。一方、モノラル表示は、単一画像を表示することにより、１つの画像を処理するためのリソースの負荷がステレオ表示より低くなるが、視差画像の提示による被写体の奥行き感が失われるためユーザの体感品質がステレオ表示より低くなる。 By the way, AR display includes stereo display that presents parallax images to both eyes of the user and monaural display that presents a single image to both eyes of the user. In stereo display, by displaying parallax images, a sense of depth can be obtained in the subject displayed in the image, so the quality of experience for the user is higher than in monaural display. resource load is higher than for monaural display. On the other hand, monaural display reduces the resource load for processing one image by displaying a single image compared to stereo display. Lower quality than stereo viewing.

このように、体感品質の観点からはＡＲ表示としてステレオ表示を採用するのが好ましいが、リソース負荷の観点からはモノラル表示を採用するのが好ましい。そのため、ユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させるように、ＡＲ表示を制御することが要求されている。 In this way, it is preferable to adopt stereo display as AR display from the viewpoint of quality of experience, but it is preferable to adopt monaural display from the viewpoint of resource load. Therefore, it is required to control the AR display so as to reduce the resource load while suppressing the deterioration of the user's QoE.

そこで、本発明はこれらの点に鑑みてなされたものであり、ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができる表示装置、表示方法及びプログラムを提供することを目的とする。 Therefore, the present invention has been made in view of these points, and provides a display device, a display method, and a program that can reduce the load on resources while suppressing the deterioration of the user's experience quality in AR display. With the goal.

本発明の第１の態様に係る表示装置は、ユーザの両目それぞれに画像を提示するための表示部と、前記表示部に表示させる被写体と、前記表示部に表示させない透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部と、前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部と、前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部と、前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部と、を有する。 A display device according to a first aspect of the present invention is image data including a display unit for presenting an image to each of a user's eyes, a subject to be displayed on the display unit, and a transmissive area not to be displayed on the display unit. a calculation unit for calculating a depth index indicating the depth of the subject based on the image data; and a display unit for displaying the same image to the eyes. a determination unit that determines one of a monaural display mode to be presented and a stereo display mode in which the display unit presents parallax images to both eyes based on the depth index; a display control unit that causes the display unit to display the image data based on a display mode.

前記表示装置は、前記決定部が決定した前記表示モードを示すモード情報を前記画像生成装置に通知する通知部をさらに有してもよいし、前記表示制御部は、通知された前記モード情報が前記モノラル表示モードを示す場合に、前記画像生成装置が生成した単一画像を前記画像データとして前記表示部に表示させ、通知された前記モード情報が前記ステレオ表示モードを示す場合に、前記画像生成装置が生成した視差画像を前記画像データとして前記表示部に表示させてもよい。 The display device may further include a notification unit configured to notify the image generation device of mode information indicating the display mode determined by the determination unit, When the monaural display mode is indicated, a single image generated by the image generation device is displayed as the image data on the display unit, and when the notified mode information indicates the stereo display mode, the image generation is performed. A parallax image generated by the device may be displayed on the display unit as the image data.

前記決定部は、前記モノラル表示モードと前記ステレオ表示モードとのいずれかの前記表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定してもよい。 When the depth index indicates that the depth index is farther than a predetermined threshold value set for determining one of the monaural display mode and the stereo display mode, the determination unit selects the display mode as the display mode. When the monaural display mode is determined and the depth index indicates that the depth index is closer than the predetermined threshold value, the stereo display mode may be determined as the display mode.

前記決定部は、決定した前記表示モードに応じて異なる前記所定の閾値を設定してもよい。
前記算出部は、圧縮された前記画像データのサイズに基づいて、前記奥行指標を算出してもよい。 The determining unit may set different predetermined threshold values according to the determined display mode.
The calculation unit may calculate the depth index based on the size of the compressed image data.

前記取得部は、圧縮された前記画像データを前記画像生成装置から取得してもよいし、前記算出部は、圧縮された前記画像データを伸張した後に、伸張した前記画像データを所定の形式で圧縮した前記画像データのサイズに基づいて、前記奥行指標を算出してもよい。 The acquisition unit may acquire the compressed image data from the image generation device, and the calculation unit may decompress the compressed image data and then convert the decompressed image data into a predetermined format. The depth index may be calculated based on the size of the compressed image data.

前記算出部は、前記画像データに含まれる前記透過領域以外の画素の数に基づいて、前記奥行指標を算出してもよい。
前記算出部は、前記被写体の外接矩形のサイズに基づいて、奥行指標を算出してもよい。
前記算出部は、複数の前記被写体のうち、外接矩形のサイズが大きい前記被写体に基づいて、前記奥行指標を算出してもよい。 The calculation unit may calculate the depth index based on the number of pixels other than the transmissive region included in the image data.
The calculation unit may calculate the depth index based on the size of the circumscribed rectangle of the subject.
The calculation unit may calculate the depth index based on the subject having a large circumscribed rectangle among the plurality of subjects.

前記表示装置は、前記表示部に前記画像データを表示させるためのリソースの負荷状況を推定する負荷状況推定部をさらに有してもよいし、前記決定部は、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高いことを示す場合に、前記表示モードを前記モノラル表示モードに決定し、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高くないことを示す場合に、前記表示モードを前記ステレオ表示モードに決定してもよい。 The display device may further include a load condition estimation unit for estimating a load condition of resources for displaying the image data on the display unit. When the result indicates that the load status of the resource is high, the display mode is determined to be the monaural display mode, and when the result estimated by the load status estimation unit indicates that the load status of the resource is not high. , the display mode may be determined to be the stereo display mode.

前記決定部は、前記被写体の奥行きに関するアラートを表示しないアラート非表示モードと、前記アラートを表示するアラート表示モードとのいずれかのアラートモードを、前記奥行指標に基づいてさらに決定してもよいし、前記表示制御部は、前記決定部が決定した前記アラートモードに基づく情報を前記画像データに重畳して前記表示部に表示させてもよい。 The determining unit may further determine one of an alert non-display mode in which an alert regarding the depth of the subject is not displayed and an alert display mode in which the alert is displayed, based on the depth index. The display control unit may superimpose information based on the alert mode determined by the determination unit on the image data and display the information on the display unit.

前記アラート表示モードは、前記被写体の奥行きが短いことを警告する近距離用アラート表示モードと、前記被写体の奥行きが長いことを警告する遠距離用アラート表示モードとを含んでもよいし、前記決定部は、前記アラート非表示モードと前記近距離用アラート表示モードとの境界値である第１閾値よりも前記奥行指標が近いことを示す場合、前記アラートモードを前記近距離用アラート表示モードに決定し、前記アラート非表示モードと前記遠距離用アラート表示モードとの境界値である閾値であって、前記第１閾値と異なる第２閾値よりも前記奥行指標が遠いことを示す場合、前記アラートモードを前記遠距離用アラート表示モードに決定してもよい。 The alert display mode may include a short-distance alert display mode that warns that the depth of the subject is short, and a long-distance alert display mode that warns that the depth of the subject is long. determines the alert mode as the short-distance alert display mode when the depth index is closer than a first threshold, which is a boundary value between the alert non-display mode and the short-distance alert display mode. , a threshold that is a boundary value between the alert non-display mode and the long-distance alert display mode, and indicates that the depth index is farther than a second threshold different from the first threshold, the alert mode is set to The long-distance alert display mode may be determined.

本発明の第２の態様に係る表示方法は、コンピュータが実行する、ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得するステップと、前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出するステップと、前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定するステップと、決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させるステップと、を有する。 In a display method according to a second aspect of the present invention, a subject to be displayed on a display unit for presenting an image to each eye of a user, and a transmissive area indicating not to be displayed on the display unit, are executed by a computer. acquiring the image data from an image generation device that generates image data including the image data; calculating a depth index indicating the depth of the subject based on the image data; and a stereo display mode in which the display unit presents parallax images to both eyes based on the depth index; and causing the display unit to display the image data.

本発明の第３の態様に係るプログラムは、コンピュータを、ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部、前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部、前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部、及び前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部、として機能させる。 A program according to a third aspect of the present invention causes a computer to display an object on a display unit for presenting an image to each of a user's eyes, and image data including a transmissive area indicating that the display unit should not display an image. a calculation unit for calculating a depth index indicating the depth of the subject based on the image data; and a display unit for presenting the same image to the eyes. a determination unit that determines, based on the depth index, one of a monaural display mode and a stereo display mode in which the display unit presents parallax images to both eyes; and the display mode determined by the determination unit. a display control unit that causes the display unit to display the image data based on the above.

本発明によれば、ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, it is effective in the ability to reduce the load of a resource, suppressing the deterioration of quality of experience of a user in AR display.

表示システムの概要を説明するための図である。1 is a diagram for explaining an overview of a display system; FIG. 表示装置及び画像生成装置の構成を示す図である。It is a figure which shows the structure of a display apparatus and an image generation apparatus. アラートモードを説明するための図である。It is a figure for demonstrating alert mode. 画像データのサイズと奥行指標との関係を模式的に示す図である。FIG. 4 is a diagram schematically showing the relationship between the size of image data and a depth index; 被写体の外径矩形のサイズと奥行指標との関係を模式的に示す図である。FIG. 5 is a diagram schematically showing the relationship between the size of the outer diameter rectangle of a subject and the depth index; 表示システムの処理の流れを示すシーケンス図である。4 is a sequence diagram showing the flow of processing of the display system; FIG.

［表示システムＳの概要］
図１は、表示システムＳの概要を説明するための図である。表示システムＳは、表示装置１と、画像生成装置２とを有する。 [Overview of display system S]
FIG. 1 is a diagram for explaining an outline of a display system S. FIG. The display system S has a display device 1 and an image generation device 2 .

表示装置１は、現実空間に重畳した仮想情報をユーザに提示するＡＲ表示が可能なデバイスであり、例えば、スマートグラスをはじめとするＨＭＤ型のデバイス又はスマートフォン等である。仮想情報は、例えば、３次元コンピュータグラフィックス（以下、３ＤＣＧ（3-Dimensions Computer Graphics）という）空間内に配置されたオブジェクト（被写体Ａ）にレンダリング等のグラフィック処理を施したＣＧ画像である。表示装置１は、３ＤＣＧ空間内に配置された仮想カメラが撮像した２Ｄの画像データを仮想情報として表示する。 The display device 1 is a device capable of AR display that presents a user with virtual information superimposed on a real space, and is, for example, an HMD type device such as smart glasses or a smartphone. The virtual information is, for example, a CG image obtained by performing graphic processing such as rendering on an object (subject A) arranged in a three-dimensional computer graphics (hereinafter referred to as 3DCG (3-Dimensions Computer Graphics)) space. The display device 1 displays 2D image data captured by a virtual camera arranged in a 3DCG space as virtual information.

表示装置１は、当該表示装置１が備えるカメラで撮影した現実空間の画像に仮想情報を重畳した合成画像を非透過型のディスプレイに表示するビデオシースルー方式のデバイスであってもよいし、透過型のディスプレイに仮想情報を表示することにより、ユーザの目を通して現実空間と仮想空間とを合成する光学シースルー方式のデバイスであってもよい。 The display device 1 may be a video see-through device that displays a composite image in which virtual information is superimposed on an image of a real space captured by a camera included in the display device 1 on a non-transmissive display, or a transmissive device. It may be an optical see-through type device that synthesizes the real space and the virtual space through the user's eyes by displaying virtual information on the display of the device.

画像生成装置２は、表示装置１に表示させる被写体Ａと、表示装置１に表示させない透過領域（例えば背景）とを含む画像データを生成する装置であり、例えばサーバである。画像データは、例えば、動画像における１つのフレーム画像である。被写体Ａは、表示装置１が画像データを表示する際に透過せずに表示される領域であり、例えば、複数の画素値で表された領域である。透過領域は、表示装置１が画像データを表示する際に透過して表示される領域であり、例えば、同一の画素値（例えば黒色）で表された領域である。透過領域は、例えば、黒色に近い色の画素が分布した領域であってもよい。 The image generation device 2 is a device that generates image data including a subject A to be displayed on the display device 1 and a transmissive area (for example, background) that is not displayed on the display device 1, and is, for example, a server. Image data is, for example, one frame image in a moving image. The object A is an area displayed without being transparent when the display device 1 displays image data, and is an area represented by a plurality of pixel values, for example. The transparent area is an area that is transparently displayed when the display device 1 displays image data, and is, for example, an area represented by the same pixel value (for example, black). The transmissive area may be, for example, an area in which pixels having a color close to black are distributed.

図１に示す例において、まず、画像生成装置２は、画像データを生成する（図１の（１））。画像生成装置２は、生成した画像データを表示装置１に送信する（図１の（２））。 In the example shown in FIG. 1, the image generation device 2 first generates image data ((1) in FIG. 1). The image generation device 2 transmits the generated image data to the display device 1 ((2) in FIG. 1).

表示装置１は、画像生成装置２が生成した画像データを取得すると、取得した画像データに基づいて、被写体Ａの奥行きを示す奥行指標を算出する（図１の（３））。被写体Ａの奥行きは、ユーザから被写体Ａまでの距離、すなわち仮想空間における仮想カメラから被写体Ａまでの距離である。表示装置１は、算出した奥行指標に基づいて、表示モードを決定する（図１の（４））。 When acquiring the image data generated by the image generating device 2, the display device 1 calculates a depth index indicating the depth of the subject A based on the acquired image data ((3) in FIG. 1). The depth of the subject A is the distance from the user to the subject A, that is, the distance from the virtual camera to the subject A in the virtual space. The display device 1 determines the display mode based on the calculated depth index ((4) in FIG. 1).

表示モードは、モノラル表示モードと、ステレオ表示モードとを有する。モノラル表示モードは、ユーザの両目に単一画像を提示する表示モードである。ステレオ表示モードは、ユーザの両目に視差画像を提示する表示モードである。モノラル表示モード及びステレオ表示モードを比較すると、ユーザによる体感品質の高さにおいては、ステレオ表示モードの方が優れており、画像を表示させるために用いられるリソースの負荷の低さにおいては、モノラル表示モードの方が優れている。そこで、表示システムＳは、被写体Ａの奥行きが長く、視差の影響が小さい場合に、モノラル表示モードに基づく画像データを表示させ、被写体Ａの奥行きが短く、視差の影響が大きい場合に、ステレオ表示モードに基づく画像データを表示させる。 The display mode has a monaural display mode and a stereo display mode. Mono display mode is a display mode that presents a single image to both eyes of the user. Stereo display mode is a display mode that presents parallax images to both eyes of the user. Comparing the monaural display mode and the stereo display mode, the stereo display mode is superior in terms of the high quality of experience by the user, and the mono display mode is superior in terms of the low resource load used to display the image. mode is better. Therefore, the display system S displays image data based on the monaural display mode when the depth of the object A is long and the effect of parallax is small, and displays the image data in stereo when the depth of the object A is short and the effect of parallax is large. Display the image data based on the mode.

表示装置１は、算出した奥行指標が、被写体Ａの奥行きが短いことを示す場合、すなわち仮想カメラから被写体Ａまでの距離が近いことを示す場合、表示モードをステレオ表示モードに決定する。一方、表示装置１は、算出した奥行指標が、被写体Ａの奥行きが長いことを示す場合、すなわち仮想カメラから被写体Ａまでの距離が遠いことを示す場合、表示モードをモノラル表示モードに決定する。 When the calculated depth index indicates that the depth of the subject A is short, that is, when the distance from the virtual camera to the subject A is short, the display device 1 determines the stereo display mode as the display mode. On the other hand, when the calculated depth index indicates that the depth of the subject A is long, that is, when the distance from the virtual camera to the subject A is long, the display device 1 determines the monaural display mode as the display mode.

そして、表示装置１は、決定した表示モードに基づいて、画像データを表示する（図１の（５））。図１に示すように、表示装置１は、表示モードがモノラル表示モードである場合、単一画像として、画像Ｇ１をユーザの左目に提示し、画像Ｇ１と同じ画像である画像Ｇ２をユーザの右目に提示する。この場合、ユーザは、表示装置１に表示された被写体Ａを、視差画像の提示による奥行き感が失われた物体として認識する。一方、表示装置１は、表示モードがステレオ表示モードである場合、視差画像として、画像Ｇ３をユーザの左目に提示し、画像Ｇ３とは異なる地点で撮像された画像Ｇ４をユーザの右目に提示する。この場合、ユーザは、表示装置１に表示された被写体Ａを、視差画像の提示による奥行き感が得られる物体として認識する。 Then, the display device 1 displays the image data based on the determined display mode ((5) in FIG. 1). As shown in FIG. 1, when the display mode is the monaural display mode, the display device 1 presents an image G1 as a single image to the user's left eye, and presents an image G2, which is the same image as the image G1, to the user's right eye. presented to In this case, the user recognizes the subject A displayed on the display device 1 as an object that has lost the sense of depth due to the presentation of the parallax image. On the other hand, when the display mode is the stereo display mode, the display device 1 presents the image G3 as the parallax image to the user's left eye, and presents the image G4 captured at a point different from the image G3 to the user's right eye. . In this case, the user recognizes the object A displayed on the display device 1 as an object from which a sense of depth can be obtained by presenting the parallax image.

表示システムＳは、フレーム画像ごとに、図１の（１）から（５）までの処理を実行する。このようにすることで、表示装置１は、被写体Ａの奥行きを推定することができる。これにより、表示装置１は、被写体Ａの奥行きに応じて表示モードを制御することができる。その結果、表示システムＳは、ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができる。
以下、表示装置１及び画像生成装置２の構成について説明する。 The display system S executes the processes (1) to (5) in FIG. 1 for each frame image. By doing so, the display device 1 can estimate the depth of the subject A. FIG. Thereby, the display device 1 can control the display mode according to the depth of the subject A. FIG. As a result, the display system S can reduce the resource load while suppressing the deterioration of the user's experience quality in the AR display.
The configurations of the display device 1 and the image generation device 2 will be described below.

［表示装置１及び画像生成装置２の構成］
まず、表示装置１の構成について説明する。図２は、表示装置１及び画像生成装置２の構成を示す図である。表示装置１は、通信部１１と、表示部１２と、記憶部１３と、制御部１４とを有する。 [Configuration of display device 1 and image generation device 2]
First, the configuration of the display device 1 will be described. FIG. 2 is a diagram showing the configuration of the display device 1 and the image generation device 2. As shown in FIG. The display device 1 has a communication section 11 , a display section 12 , a storage section 13 and a control section 14 .

通信部１１は、ネットワークに接続するためのインターフェイスであり、例えば無線ＬＡＮコントローラを含んで構成されている。表示部１２は、ユーザの両目それぞれに画像を提示するためのディスプレイである。表示部１２は、透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。 The communication unit 11 is an interface for connecting to a network, and includes, for example, a wireless LAN controller. The display unit 12 is a display for presenting an image to each of the user's eyes. The display unit 12 may be a transmissive display or a non-transmissive display.

記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１３は、制御部１４が実行するプログラムを記憶している。 The storage unit 13 is a storage medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk. The storage unit 13 stores programs executed by the control unit 14 .

制御部１４は、例えば、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）等である。制御部１４は、記憶部１３に記憶されたプログラムを実行することにより、取得部１４１、算出部１４２、決定部１４３、負荷状況推定部１４４、通知部１４５及び表示制御部１４６として機能する。 The control unit 14 is, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). The control unit 14 functions as an acquisition unit 141 , a calculation unit 142 , a determination unit 143 , a load condition estimation unit 144 , a notification unit 145 and a display control unit 146 by executing programs stored in the storage unit 13 .

取得部１４１は、通信部１１を介して、表示部１２に表示させる被写体Ａと、表示部１２に表示させない透過領域とを含む画像データを画像生成装置２から取得する。取得部１４１は、例えば、動画像におけるフレーム画像ごとに、通信部１１を介して、当該フレーム画像を画像データとして画像生成装置２から取得する。取得部１４１は、圧縮された画像データを画像生成装置２から取得してもよい。 The acquisition unit 141 acquires image data including the subject A to be displayed on the display unit 12 and the transparent area not to be displayed on the display unit 12 from the image generation device 2 via the communication unit 11 . For example, the acquisition unit 141 acquires each frame image in the moving image from the image generation device 2 via the communication unit 11 as image data. The acquisition unit 141 may acquire compressed image data from the image generation device 2 .

算出部１４２は、取得部１４１が取得した画像データに基づいて、被写体Ａの奥行きを示す奥行指標を算出する。奥行指標の算出方法の詳細については後述する。 The calculator 142 calculates a depth index indicating the depth of the subject A based on the image data acquired by the acquirer 141 . The details of the depth index calculation method will be described later.

決定部１４３は、表示部１２がユーザの両目に同一の画像を提示するモノラル表示モードと、表示部１２がユーザの両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、奥行指標に基づいて決定する。具体的には、決定部１４３は、所定の閾値よりも奥行指標が遠いことを示す場合、表示モードをモノラル表示モードに決定し、所定の閾値よりも奥行指標が近いことを示す場合、表示モードをステレオ表示モードに決定する。所定の閾値は、モノラル表示モードとステレオ表示モードとのいずれかの表示モードを決定するために定められた値である。所定の閾値は、例えば、表示装置１に予め設定されている。 The determining unit 143 selects a display mode from a monaural display mode in which the display unit 12 presents the same image to both eyes of the user and a stereo display mode in which the display unit 12 presents parallax images to both eyes of the user. Make decisions based on metrics. Specifically, the determination unit 143 determines the display mode to be the monaural display mode when the depth index is farther than the predetermined threshold, and determines the display mode to be the monaural display mode when the depth index is closer than the predetermined threshold. to stereo display mode. The predetermined threshold value is a value determined for determining either the monaural display mode or the stereo display mode. The predetermined threshold value is preset in the display device 1, for example.

このように、決定部１４３は、被写体Ａの奥行きが長い場合に表示モードをモノラル表示モードに決定して表示部１２に単一画像を表示させることにより、ユーザの体感品質の低減を抑えつつ、画像データを表示させるために用いられるリソースの負荷を低減させることができる。また、決定部１４３は、被写体Ａの奥行きが短い場合に表示モードをステレオ表示モードに決定して表示部１２に視差画像を表示させることにより、ユーザの体感品質を向上させることができる。 In this way, the determining unit 143 determines the monaural display mode as the display mode when the depth of the subject A is long, and causes the display unit 12 to display a single image. It is possible to reduce the load on resources used to display image data. In addition, when the depth of subject A is short, the determination unit 143 determines the display mode to be the stereo display mode and causes the display unit 12 to display parallax images, thereby improving the user's experience quality.

決定部１４３は、決定した表示モードに応じて異なる所定の閾値を設定してもよい。決定部１４３は、例えば、決定部１４３が表示モードをモノラル表示モードに決定した場合、モノラル表示モードに対応する所定の閾値である表示モード用の第１閾値を設定し、決定部１４３が表示モードをステレオ表示モードに決定した場合、ステレオ表示モードに対応する所定の閾値であって、表示モード用の第１閾値と異なる表示モード用の第２閾値を設定する。このようにすることで、決定部１４３は、表示モードが頻繁に切り替わることによってユーザの体感品質が低下することを防ぐことができる。 The determining unit 143 may set different predetermined threshold values according to the determined display mode. For example, when the determining unit 143 determines the monaural display mode as the display mode, the determining unit 143 sets a first threshold value for the display mode, which is a predetermined threshold value corresponding to the monaural display mode. is determined to be the stereo display mode, a second threshold for the display mode, which is a predetermined threshold corresponding to the stereo display mode and which is different from the first threshold for the display mode, is set. By doing so, the determination unit 143 can prevent the quality of experience of the user from deteriorating due to frequent switching of the display mode.

決定部１４３は、奥行指標とリソースの負荷状況とに基づいて表示モードを決定してもよい。リソースの負荷状況に基づいて表示モードを決定する処理の詳細については後述する。 The determination unit 143 may determine the display mode based on the depth index and the resource load status. The details of the process of determining the display mode based on the resource load status will be described later.

表示制御部１４６は、決定部１４３が決定した表示モードに基づいて、画像データを表示部１２に表示させる。具体的には、表示制御部１４６は、決定された表示モードに基づいて画像生成装置２が生成した画像データを表示部１２に表示させる。 The display control unit 146 causes the display unit 12 to display the image data based on the display mode determined by the determination unit 143 . Specifically, the display control unit 146 causes the display unit 12 to display the image data generated by the image generation device 2 based on the determined display mode.

より具体的には、まず、決定部１４３が表示モードを決定すると、通知部１４５は、決定部１４３が決定した表示モードを示すモード情報を画像生成装置２に通知することにより、決定部１４３が決定した表示モードに基づく画像データを画像生成装置２に生成させる。そして、取得部１４１が、画像生成装置２によって生成された画像データを取得すると、表示制御部１４６は、取得された画像データを表示部１２に表示させる。 More specifically, first, when the determination unit 143 determines the display mode, the notification unit 145 notifies the image generation device 2 of mode information indicating the display mode determined by the determination unit 143, so that the determination unit 143 The image generation device 2 is caused to generate image data based on the determined display mode. Then, when the acquisition unit 141 acquires the image data generated by the image generation device 2, the display control unit 146 causes the display unit 12 to display the acquired image data.

表示制御部１４６は、例えば、通知されたモード情報がモノラル表示モードを示す場合に、画像生成装置２が生成した単一画像を画像データとして表示部１２に表示させる。一方、表示制御部１４６は、通知されたモード情報がステレオ表示モードを示す場合に、画像生成装置２が生成した視差画像を画像データとして表示部１２に表示させる。 For example, when the notified mode information indicates the monaural display mode, the display control unit 146 causes the display unit 12 to display the single image generated by the image generation device 2 as image data. On the other hand, when the notified mode information indicates the stereo display mode, the display control unit 146 causes the display unit 12 to display the parallax images generated by the image generation device 2 as image data.

通知部１４５は、画像生成装置２にモード情報を通知するとともに、現実空間における表示装置１の位置を示す位置情報を通知してもよい。この場合、表示装置１は、現実空間における表示装置１の位置を推定する不図示の位置推定部をさらに有してもよい。なお、表示システムＳは、位置推定部と同等の機能を有する外部装置を有してもよい。 The notification unit 145 may notify the image generation device 2 of the mode information and position information indicating the position of the display device 1 in the physical space. In this case, the display device 1 may further include a position estimation unit (not shown) that estimates the position of the display device 1 in the physical space. In addition, the display system S may have an external device having a function equivalent to that of the position estimation unit.

位置推定部は、公知の技術を用いて表示装置１の位置を推定することができる。位置推定部は、例えば、不図示のレーザ装置又は３Ｄカメラ等を用いて現実空間における周囲の環境を測定することによって表示装置１の位置を推定する。また、例えば、位置推定部は、カメラによって撮像された２つのフレーム画像間に基づいて自己位置認識（例えばVisual Odometry）を行うことによって表示装置１の位置を推定してもよい。また、位置推定部は、表示装置１の位置とともに、表示装置１の向きを推定してもよい。このように、表示装置１は、推定した表示装置１の位置を示す位置情報、及び推定した表示装置１の向きを示す向き情報を画像生成装置２に通知することにより、表示装置１の動きに連動した仮想カメラによって撮像された画像データを生成させることができる。 The position estimation unit can estimate the position of the display device 1 using a known technique. The position estimating unit estimates the position of the display device 1 by measuring the surrounding environment in the real space using, for example, a laser device or a 3D camera (not shown). Further, for example, the position estimation unit may estimate the position of the display device 1 by performing self-position recognition (for example, Visual Odometry) based on two frame images captured by a camera. Also, the position estimation unit may estimate the orientation of the display device 1 as well as the position of the display device 1 . In this way, the display device 1 notifies the image generation device 2 of the position information indicating the estimated position of the display device 1 and the orientation information indicating the estimated orientation of the display device 1, thereby allowing the display device 1 to move. Image data captured by the linked virtual camera can be generated.

表示制御部１４６は、決定部１４３が表示モードの決定に用いた画像データを、当該表示モードに基づく態様で表示部１２に表示させてもよい。表示制御部１４６は、例えば、決定部１４３が決定した表示モードがモノラル表示モードである場合において、取得部１４１が取得した画像データが視差画像である場合、２つの画像のうちのいずれかの画像を単一画像として表示部１２に表示させてもよい。また、表示制御部１４６は、例えば、決定部１４３が決定した表示モードがステレオ表示モードである場合において、取得部１４１が取得した画像データが単一画像である場合、単一画像に基づいて生成した視差画像を表示部１２に表示させてもよい。表示制御部１４６は、公知の技術を用いて単一画像から視差画像を生成することができる。 The display control unit 146 may cause the display unit 12 to display the image data used by the determination unit 143 to determine the display mode in a manner based on the display mode. For example, when the display mode determined by the determination unit 143 is the monaural display mode and the image data acquired by the acquisition unit 141 is a parallax image, the display control unit 146 selects one of the two images. may be displayed on the display unit 12 as a single image. Further, for example, when the display mode determined by the determination unit 143 is the stereo display mode and the image data acquired by the acquisition unit 141 is a single image, the display control unit 146 generates a The resulting parallax image may be displayed on the display unit 12 . The display control unit 146 can generate parallax images from a single image using known techniques.

表示制御部１４６は、被写体Ａの奥行きが長すぎたり短すぎたりする場合、ユーザの体感品質を向上させるためのアラートを表示部１２に表示させてもよい。この場合、表示装置１は、表示モードとは異なるモードであるアラートモードをさらに設けてもよい。 The display control unit 146 may cause the display unit 12 to display an alert for improving the user's experience quality when the depth of the subject A is too long or too short. In this case, the display device 1 may further have an alert mode, which is a mode different from the display mode.

アラートモードは、アラート非表示モードと、アラート表示モードとを含む。アラート非表示モードは、被写体Ａの奥行きに関するアラートを表示しないアラートモードであり、被写体Ａの奥行きが適正である場合（例えば、被写体Ａの奥行きが短くない場合）に決定されるアラートモードである。アラート表示モードは、アラートを表示するアラートモードであり、例えば、被写体Ａの奥行きが短い場合に決定されるアラートモードである。 The alert mode includes an alert non-display mode and an alert display mode. The alert non-display mode is an alert mode in which an alert regarding the depth of subject A is not displayed, and is an alert mode determined when the depth of subject A is appropriate (for example, when the depth of subject A is not short). The alert display mode is an alert mode that displays an alert, and is an alert mode that is determined, for example, when the depth of the subject A is short.

具体的には、まず、決定部１４３は、アラート非表示モードと、アラート表示モードとのいずれかのアラートモードを、奥行指標に基づいてさらに決定する。そして、表示制御部１４６は、決定部１４３が決定したアラートモードに基づく情報を画像データに重畳して表示部１２に表示させる。表示制御部１４６は、例えば、決定部１４３が決定したアラートモードがアラート表示モードである場合、被写体Ａの奥行きが近いことを示すメッセージをアラートモードに基づく情報として、画像データに重畳して表示部１２に表示させる。このようにすることで、ユーザは、被写体Ａが適切に表示されていないことを認識することができる。 Specifically, first, the determination unit 143 further determines one of the alert non-display mode and the alert display mode based on the depth index. Then, the display control unit 146 superimposes information based on the alert mode determined by the determination unit 143 on the image data and causes the display unit 12 to display the information. For example, when the alert mode determined by the determination unit 143 is the alert display mode, the display control unit 146 superimposes a message indicating that the depth of the subject A is near as information based on the alert mode on the image data and displays it on the display unit. 12 is displayed. By doing so, the user can recognize that the subject A is not properly displayed.

アラート表示モードは、被写体Ａの奥行きが短いことを警告する近距離用アラート表示モードと、被写体Ａの奥行きが長いことを警告する遠距離用アラート表示モードとを含んでもよい。この場合、決定部１４３は、奥行指標とアラートモード用の第１閾値とアラートモード用の第２閾値との関係に基づいて、アラートモードをアラート非表示モード、近距離用アラート表示モード及び遠距離用アラート表示モードのうちのいずれかに決定してもよい。アラートモード用の第１閾値は、アラート非表示モードと近距離用アラート表示モードとの境界値である。アラートモード用の第２閾値は、アラート非表示モードと遠距離用アラート表示モードとの境界値である閾値であって、アラートモード用の第１閾値と異なる閾値である。 The alert display mode may include a short-distance alert display mode that warns that the depth of the subject A is short, and a long-distance alert display mode that warns that the depth of the subject A is long. In this case, the determining unit 143 sets the alert mode to the alert non-display mode, the alert display mode for short distance, and the alert display mode for long distance based on the relationship between the depth index, the first threshold for alert mode, and the second threshold for alert mode. You may decide to use one of the following alert display modes. The first threshold for the alert mode is the boundary value between the alert non-display mode and the short-range alert display mode. The second threshold for the alert mode is a threshold that is a boundary value between the alert non-display mode and the long-distance alert display mode, and is different from the first threshold for the alert mode.

具体的には、決定部１４３は、アラートモード用の第１閾値よりも奥行指標が近いことを示す場合、アラートモードを近距離用アラート表示モードに決定し、アラートモード用の第２閾値よりも奥行指標が遠いことを示す場合、アラートモードを遠距離用アラート表示モードに決定してもよい。 Specifically, when the depth index indicates that the depth index is closer than the first threshold for the alert mode, the determination unit 143 determines the alert display mode for short distance as the alert mode, and determines that the depth index is closer than the second threshold for the alert mode. When the depth index indicates that the object is far, the alert mode may be determined to be the long-distance alert display mode.

図３は、アラートモードを説明するための図である。図３（１）に示す画像には、奥行きが短い被写体Ａが表示されており、図３（２）に示す画像には、奥行きが長い被写体Ａが表示されている。この場合において、決定部１４３が、アラートモードを近距離用アラート表示モードに決定した場合、表示制御部１４６は、近距離用アラート表示モードに対応する図３（１）に示すようなメッセージＭ１を、画像データに重畳して表示部１２に表示させる。一方、決定部１４３が、アラートモードを遠距離用アラート表示モードに決定した場合、表示制御部１４６は、遠距離用アラート表示モードに対応する図３（２）に示すようなメッセージＭ２を、画像データに重畳して表示部１２に表示させる。このようにすることで、ユーザは、被写体Ａが適切に表示されていないことを認識することができる。 FIG. 3 is a diagram for explaining the alert mode. In the image shown in FIG. 3(1), a subject A with a short depth is displayed, and in the image shown in FIG. 3(2), a subject A with a long depth is displayed. In this case, if the determination unit 143 determines the short-distance alert display mode as the alert mode, the display control unit 146 displays a message M1 corresponding to the short-distance alert display mode, as shown in FIG. , superimposed on the image data and displayed on the display unit 12 . On the other hand, when the determination unit 143 determines the alert display mode for long distance, the display control unit 146 displays a message M2 corresponding to the alert display mode for long distance as shown in FIG. It is superimposed on the data and displayed on the display unit 12 . By doing so, the user can recognize that the subject A is not properly displayed.

続いて、画像生成装置２の構成について説明する。画像生成装置２は、通信部２１と、記憶部２２、制御部２３とを有する。通信部２１は、ネットワークに接続するためのインターフェイスであり、例えば無線ＬＡＮコントローラを含んで構成されている。 Next, the configuration of the image generation device 2 will be described. The image generation device 2 has a communication section 21 , a storage section 22 and a control section 23 . The communication unit 21 is an interface for connecting to a network, and includes, for example, a wireless LAN controller.

記憶部２２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部２２は、制御部２３が実行するプログラムを記憶している。制御部２３は、例えばＣＰＵである。制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、生成部２３１及び送信部２３２として機能する。 The storage unit 22 is a storage medium such as ROM, RAM and hard disk. The storage unit 22 stores programs executed by the control unit 23 . The control unit 23 is, for example, a CPU. The control unit 23 functions as a generation unit 231 and a transmission unit 232 by executing programs stored in the storage unit 22 .

生成部２３１は、表示モードに基づいて画像データを生成する。具体的には、生成部２３１は、表示モードがステレオ表示モードである場合、視差画像を画像データとして生成し、表示モードがモノラル表示モードである場合、単一画像を画像データとして生成する。生成部２３１は、例えば、通信部２１を介して表示装置１から受信した表示モードに基づいて、画像データを生成する。また、生成部２３１は、例えば、予め設定された表示モードに基づいて画像データを生成してもよい。 The generator 231 generates image data based on the display mode. Specifically, the generator 231 generates parallax images as image data when the display mode is the stereo display mode, and generates a single image as image data when the display mode is the monaural display mode. The generation unit 231 generates image data based on the display mode received from the display device 1 via the communication unit 21, for example. Moreover, the generation unit 231 may generate image data based on, for example, a preset display mode.

生成部２３１は、例えば、動画像におけるフレーム画像ごとに、当該フレーム画像を画像データとして生成する。生成部２３１は、生成した画像データを所定の形式で圧縮してもよい。生成部２３１は、ＡＶＣ（Advanced Video Coding）又はＨＥＶＣ（High Efficiency Video Coding）等を所定の形式として画像データを圧縮してもよいし、ランレングス法等を所定の形式として画像データを圧縮してもよい。 For example, for each frame image in the moving image, the generation unit 231 generates the frame image as image data. The generation unit 231 may compress the generated image data in a predetermined format. The generation unit 231 may compress the image data using a predetermined format such as AVC (Advanced Video Coding) or HEVC (High Efficiency Video Coding), or may compress the image data using a predetermined format such as the run-length method. good too.

生成部２３１は、表示装置１からモード情報とともに、表示装置１の位置を示す位置情報及び表示装置１の向きを示す向き情報が通知された場合、位置情報が示す位置及び向き情報が示す向きから仮想カメラが撮像した画像データを生成してもよい。 When the position information indicating the position of the display device 1 and the orientation information indicating the orientation of the display device 1 are notified from the display device 1 together with the mode information, the generation unit 231 converts the position indicated by the position information and the orientation indicated by the orientation information. Image data captured by the virtual camera may be generated.

送信部２３２は、通信部２１を介して、生成部２３１が生成した画像データを表示装置１に送信する。送信部２３２は、例えば、フレーム画像ごとに、生成部２３１が生成した画像データを表示装置１に送信する。 The transmission unit 232 transmits the image data generated by the generation unit 231 to the display device 1 via the communication unit 21 . The transmission unit 232 transmits the image data generated by the generation unit 231 to the display device 1, for example, for each frame image.

［奥行指標の算出方法］
続いて、奥行指標の算出方法について説明する。上述のとおり、表示装置１の算出部１４２は、画像データに基づいて、被写体Ａの奥行きを示す奥行指標を算出する。算出部１４２は、様々な方法で奥行指標を算出することができる。 [Calculation method of depth index]
Next, a method for calculating the depth index will be described. As described above, the calculator 142 of the display device 1 calculates the depth index indicating the depth of the subject A based on the image data. The calculator 142 can calculate the depth index by various methods.

（画像データのサイズ）
算出部１４２は、圧縮された画像データのサイズに基づいて、奥行指標を算出する。具体的には、算出部１４２は、取得部１４１が取得した画像データを所定の形式で圧縮した画像データのサイズに基づいて、奥行指標を算出する。所定の形式は、ＬＺＳＳ（Lempel-Ziv-Storer-Szymanski）法をはじめとするデータ圧縮アルゴリズムであり、例えば、ランレングス法、ＰＮＧ（Portable Network Graphics）又はＺＩＰ等である。 (Image data size)
The calculator 142 calculates the depth index based on the size of the compressed image data. Specifically, the calculation unit 142 calculates the depth index based on the size of the image data obtained by compressing the image data obtained by the obtaining unit 141 in a predetermined format. The predetermined format is a data compression algorithm such as the LZSS (Lempel-Ziv-Storer-Szymanski) method, such as the run-length method, PNG (Portable Network Graphics), ZIP, or the like.

図４は、画像データのサイズと奥行指標との関係を模式的に示す図である。図４に示す画像は、画像生成装置２が生成した画像データである。図４（１）に示す画像には、奥行が遠い被写体Ａが表示されており、被写体Ａの面積より、被写体Ａ以外の領域である透過領域の面積の方が大きい。図４（２）に示す画像には、奥行きが短い被写体Ａが表示されており、透過領域の面積より被写体Ａの面積の方が大きい。 FIG. 4 is a diagram schematically showing the relationship between the size of image data and the depth index. The image shown in FIG. 4 is image data generated by the image generation device 2 . In the image shown in FIG. 4(1), a subject A whose depth is far is displayed. In the image shown in FIG. 4(2), a subject A having a short depth is displayed, and the area of the subject A is larger than the area of the transmissive region.

所定の形式として例示したランレングス法は、データ系列中に繰り返し現れるパターンを、繰り返し現れたパターンの回数に置き換えることによりデータを圧縮する。算出部１４２が、ランレングス法を用いて図４に示す２つの画像それぞれを圧縮した場合、透過領域の面積が小さい画像である図４（２）に示す画像の圧縮率より、同一の画素値で表された透過領域の面積が大きい画像である図４（１）に示す画像の圧縮率の方が高くなる。したがって、図４（１）に示す画像を圧縮した画像データは、図４（２）に示す画像を圧縮した画像データより小さくなる。このように、算出部１４２は、被写体Ａの奥行きに応じて変動する所定の形式で圧縮した画像データのサイズに基づいて奥行指標を算出することにより、被写体Ａの奥行きを推定することができる。なお、算出部１４２は、例えば、画像データの透過領域に黒色に近い色の画素が分布している場合、２値化して黒色を示す画素値に変換した後に、奥行指標を算出してもよい。 The run-length method exemplified as a predetermined format compresses data by replacing patterns appearing repeatedly in a data series with the number of times the pattern appears repeatedly. When the calculation unit 142 compresses each of the two images shown in FIG. 4 using the run-length method, the same pixel value is obtained from the compression rate of the image shown in FIG. The compression rate of the image shown in FIG. 4(1), which is an image having a large transmission area represented by , is higher. Therefore, the image data obtained by compressing the image shown in FIG. 4(1) is smaller than the image data obtained by compressing the image shown in FIG. 4(2). In this way, the calculation unit 142 can estimate the depth of the subject A by calculating the depth index based on the size of the image data compressed in a predetermined format that varies according to the depth of the subject A. Note that, for example, when pixels of a color close to black are distributed in the transmission region of the image data, the calculation unit 142 may calculate the depth index after converting into a pixel value indicating black by binarization. .

取得部１４１が取得した画像データが画像生成装置２によって圧縮されている場合、算出部１４２は、所定の形式で圧縮し直した画像データのサイズに基づいて、奥行指標を算出してもよい。具体的には、算出部１４２は、取得部１４１が圧縮された画像データを取得した場合、圧縮された画像データを伸張した後に、伸張した画像データを所定の形式で圧縮した画像データのサイズに基づいて、奥行指標を算出してもよい。なお、画像生成装置２が画像データを圧縮する形式と、算出部１４２が画像データを圧縮する形式とが同じ形式である場合、算出部１４２は、所定の形式で圧縮し直さずに、取得部１４１が取得した画像データのサイズに基づいて奥行指標を算出してもよい。 When the image data acquired by the acquisition unit 141 is compressed by the image generation device 2, the calculation unit 142 may calculate the depth index based on the size of the image data recompressed in a predetermined format. Specifically, when the acquisition unit 141 acquires compressed image data, the calculation unit 142 decompresses the compressed image data, and then reduces the decompressed image data to the size of image data compressed in a predetermined format. Based on this, the depth index may be calculated. Note that when the format in which the image generation device 2 compresses the image data and the format in which the calculation unit 142 compresses the image data are the same format, the calculation unit 142 does not compress the image data again in a predetermined format, and the acquisition unit The depth index may be calculated based on the size of the image data acquired by 141 .

算出部１４２は、例えば、画像データのサイズを奥行指標として算出する。また、算出部１４２は、例えば、伸張した画像データのサイズと圧縮した画像データのサイズとの割合、すなわち画像データの圧縮率を奥行指標として算出してもよい。また、算出部１４２は、例えば、画像データのサイズ又は画像データの圧縮率の逆数を奥行指標として算出してもよい。 The calculator 142 calculates, for example, the size of the image data as the depth index. Further, the calculation unit 142 may calculate, for example, the ratio of the size of the decompressed image data to the size of the compressed image data, that is, the compression rate of the image data, as the depth index. Further, the calculation unit 142 may calculate, for example, the size of the image data or the reciprocal of the compression ratio of the image data as the depth index.

ここで、取得部１４１が取得した画像データをｆとした場合、算出部１４２は、奥行指標ｄを、データ系列のサイズを取得する関数であるＳｉｚｅ及び入力データを所定の形式で圧縮して出力する関数であるＣｏｍｐｒｅｓｓｉｏｎを用いたｄ＝１／Ｓｉｚｅ（Ｃｏｍｐｒｅｓｓｉｏｎ（ｆ））の式を用いて算出することができる。この場合における奥行指標は、仮想カメラから被写体Ａまでの距離が遠くなるほど、すなわち被写体Ａの奥行きが長くなるほど値が大きくなり、仮想カメラから被写体Ａまでの距離が近くなるほど、すなわち被写体Ａの奥行きが短くなるほど値が小さくなる。このように、算出部１４２は、簡易な方法で被写体Ａの奥行きを推定することにより、算出処理の負荷を低減することができる。 Here, if the image data acquired by the acquisition unit 141 is f, the calculation unit 142 outputs the depth index d by compressing Size, which is a function for acquiring the size of the data sequence, and the input data in a predetermined format. It can be calculated using the formula d=1/Size (Compression(f)) using Compression, which is a function to In this case, the depth index increases as the distance from the virtual camera to subject A increases, that is, as the depth of subject A increases, and as the distance from the virtual camera to subject A decreases, that is, the depth of subject A increases. The shorter the value, the smaller the value. In this way, the calculation unit 142 can reduce the load of calculation processing by estimating the depth of the subject A by a simple method.

（透過領域以外の画素の数）
算出部１４２は、画像データに含まれる透過領域以外の画素の数に基づいて、奥行指標を算出してもよい。算出部１４２は、例えば、画像データに含まれる透過領域以外の画素をカウントし、カウントした画素の数を奥行指標として算出してもよい。また、算出部１４２は、カウントした画像データに含まれる透過領域以外の画素の数の逆数を奥行指標として算出してもよい。 (Number of pixels other than transparent area)
The calculator 142 may calculate the depth index based on the number of pixels other than the transmissive region included in the image data. For example, the calculation unit 142 may count pixels other than the transparent region included in the image data and calculate the number of counted pixels as the depth index. Further, the calculation unit 142 may calculate the reciprocal of the number of pixels other than the transmissive region included in the counted image data as the depth index.

ここで、透過領域の画素をＢＬＡＣＫ（例えば、ＲＧＢ値が（０，０，０）である黒画素）とし、透過領域以外の画素を＜＞ＢＬＡＣＫとした場合、算出部１４２は、奥行指標ｄを、データ系列内において検索条件に該当する画素の数をカウントする関数であるＣｏｕｎｔＩＦを用いたｄ＝１／ＣｏｕｎｔＩＦ（ｆ，＜＞ＢＬＡＣＫ）の式を用いて算出することができる。このようにすることで、算出部１４２は、画像データを所定の形式で圧縮しなくても、被写体Ａの奥行きを推定することができる。なお、算出部１４２は、画像データに含まれる透過領域の画素の数に基づいて、奥行指標を算出してもよい。 Here, when the pixels in the transmissive region are BLACK (for example, black pixels whose RGB values are (0, 0, 0)) and the pixels other than the transmissive region are < > BLACK, the calculation unit 142 calculates the depth index d can be calculated using the formula d=1/CountIF(f,<>BLACK) using CountIF, which is a function that counts the number of pixels that meet the search condition in the data series. By doing so, the calculation unit 142 can estimate the depth of the subject A without compressing the image data in a predetermined format. Note that the calculation unit 142 may calculate the depth index based on the number of pixels in the transparent region included in the image data.

（被写体Ａの外接矩形のサイズ）
算出部１４２は、被写体Ａの外接矩形のサイズに基づいて、奥行指標を算出してもよい。算出部１４２は、例えば、被写体Ａの外接矩形のサイズを奥行指標として算出してもよい。 (size of circumscribed rectangle of object A)
The calculation unit 142 may calculate the depth index based on the size of the circumscribed rectangle of the subject A. FIG. The calculation unit 142 may calculate, for example, the size of the circumscribed rectangle of the subject A as the depth index.

図５は、被写体Ａの外径矩形のサイズと奥行指標との関係を模式的に示す図である。図５の破線で示す領域Ｒは、被写体Ａの外接矩形を示す領域である。なお、図５においては、不明瞭とならないように、被写体Ａと領域Ｒとの間にスペースを設けている。図５（１）に示すように、被写体Ａの奥行きが長くなると、領域Ｒ１が示す被写体Ａの外接矩形のサイズが小さくなる。一方、図５（２）に示すように、被写体Ａの奥行きが短くなると、領域Ｒ２が示す被写体Ａの外接矩形のサイズが大きくなる。このように、算出部１４２は、被写体Ａの奥行きに応じて変動する被写体Ａの外接矩形のサイズに基づいて奥行指標を算出することにより、被写体Ａの奥行きを推定することができる。 FIG. 5 is a diagram schematically showing the relationship between the size of the outer diameter rectangle of subject A and the depth index. A region R indicated by a dashed line in FIG. In addition, in FIG. 5, a space is provided between the object A and the region R so as not to be unclear. As shown in FIG. 5(1), as the depth of subject A increases, the size of the circumscribed rectangle of subject A indicated by area R1 decreases. On the other hand, as shown in FIG. 5(2), when the depth of subject A becomes short, the size of the circumscribing rectangle of subject A indicated by region R2 increases. In this way, the calculation unit 142 can estimate the depth of the subject A by calculating the depth index based on the size of the circumscribed rectangle of the subject A, which varies according to the depth of the subject A.

ここで、算出部１４２は、奥行指標ｄを、対象領域の面積を算出する関数であるＡｒｅａと、データ系列内の前景領域（被写体Ａ）の外径矩形を求める関数であるＭｉｎＡｒｅａＲｅｃｔとを用いたｄ＝１／Ａｒｅａ（ＭｉｎＡｒｅａＲｅｃｔ（ｆ））の式を用いて算出することができる。 Here, the calculation unit 142 uses Area, which is a function for calculating the area of the target area, and MinAreaRect, which is a function for calculating the outer diameter rectangle of the foreground area (subject A) in the data series, for the depth index d. It can be calculated using the formula d=1/Area(MinAreaRect(f)).

ところで、図５（３）に示すように、画像データに複数の被写体Ａが含まれる場合がある。このように、画像データに複数の被写体Ａが含まれる場合、算出部１４２は、複数の被写体Ａのうち、外接矩形のサイズが大きい被写体Ａに基づいて、奥行指標を算出してもよい。図５（３）に示す例において、算出部１４２は、被写体Ａ１、Ａ２のうち、外接矩形のサイズが最も大きい被写体Ａ２の外径矩形である領域Ｒ４のサイズに基づいて、奥行指標を算出してもよい。また、算出部１４２は、画像データに含まれる被写体Ａ１の外接矩形である領域Ｒ３のサイズと、被写体Ａ２の外接矩形である領域Ｒ４のサイズとを合計した合計サイズに基づいて、奥行指標を算出してもよい。 By the way, as shown in FIG. 5(3), image data may include a plurality of subjects A. In FIG. In this way, when a plurality of subjects A are included in the image data, the calculation unit 142 may calculate the depth index based on the subject A whose circumscribed rectangle is larger in size among the plurality of subjects A. In the example shown in FIG. 5(3), the calculation unit 142 calculates the depth index based on the size of the area R4, which is the outer diameter rectangle of the subject A2 having the largest circumscribed rectangle size among the subjects A1 and A2. may Further, the calculation unit 142 calculates the depth index based on the total size of the size of the region R3, which is the circumscribed rectangle of the subject A1, and the size of the region R4, which is the circumscribed rectangle of the subject A2, included in the image data. You may

［リソースの負荷状況に基づいて表示モードを決定する処理］
続いて、負荷状況に基づいて表示モードを決定する処理について説明する。上述したとおり、モノラル表示モードでは単一画像が表示され、ステレオ表示モードでは視差画像が表示される。両者を比較すると、ステレオ表示モードの方がＣＰＵをはじめとするリソースに負荷がかかるため、リソースの負荷が高い状況でステレオ表示モードに基づく処理が実行されると、画像データが表示部１２に表示されるまでに時間がかかってしまい、ユーザの体感品質が低下し得る。そこで、表示装置１の決定部１４３は、奥行指標とリソースの負荷状況とに基づいて表示モードを決定してもよい。リソースは、表示部１２に画像データを表示させるために用いられる資源であり、例えば、表示装置１のＣＰＵ、ＧＰＵ、電池又はネットワーク等である。 [Processing to determine the display mode based on the load status of resources]
Next, processing for determining the display mode based on the load status will be described. As mentioned above, in mono display mode a single image is displayed and in stereo display mode parallax images are displayed. Comparing the two shows that the stereo display mode places a greater load on resources such as the CPU. Therefore, when processing based on the stereo display mode is executed in a situation where the resource load is high, the image data is displayed on the display unit 12. It takes a long time to receive the information, and the user's quality of experience may be degraded. Therefore, the determination unit 143 of the display device 1 may determine the display mode based on the depth index and the resource load status. A resource is a resource used for displaying image data on the display unit 12, such as the CPU, GPU, battery, or network of the display device 1, for example.

この場合において、負荷状況推定部１４４は、リソースの負荷状況を推定する。具体的には、負荷状況推定部１４４は、ＣＰＵの使用率、ＧＰＵの使用率、電池残量及びネットワークの状態それぞれを測定し、測定した結果に基づいてリソースの負荷状況を推定する。負荷状況推定部１４４は、測定した結果である各リソースの測定値を正規化した後に、リソースの負荷状況を推定してもよい。例えば、ネットワークの状態を測定する場合、負荷状況推定部１４４は、通信部１１が受信した電波強度をネットワークの状態として測定し、測定したネットワークの測定値を他のリソースの単位（例えばＣＰＵの使用率）と同じ単位になるように正規化する。負荷状況推定部１４４は、各リソースの測定値それぞれを各リソースに対応する重み係数（例えば０から１までを範囲とする数値）で重み付けした後に、リソースの負荷状況を推定してもよい。 In this case, the load condition estimation unit 144 estimates the load condition of the resource. Specifically, the load status estimation unit 144 measures the CPU usage rate, GPU usage rate, remaining battery level, and network status, and estimates the resource load status based on the measurement results. The load status estimation unit 144 may estimate the resource load status after normalizing the measured value of each resource, which is the result of the measurement. For example, when measuring the state of the network, the load state estimating unit 144 measures the radio wave intensity received by the communication unit 11 as the state of the network, and converts the measured network measurement value into another resource unit (for example, CPU usage normalize to have the same units as the rate). The load status estimation unit 144 may estimate the resource load status after weighting each measured value of each resource with a weighting factor (for example, a numerical value ranging from 0 to 1) corresponding to each resource.

ここで、表示装置１の電池残量をＬ＿Ｐｏｗｅｒ（値が低いほど負荷が高い）とし、表示装置１のＣＰＵの稼働率をＬ＿ＣＰＵ（値が高いほど負荷が高い）とし、表示装置１のＧＰＵの稼働率をＬ＿ＧＰＵ（値が高いほど負荷が高い）とし、ネットワークの状態をＬ＿ＮＥＴＷＯＲＫ（値が高いほど負荷が高い）とし、各リソースに対応する重み係数をａ、ｂ、ｃ、ｄとした場合、負荷状況推定部１４４は、リソースの負荷状況ｌを、ｌ＝１／（ａ・Ｌ＿Ｐｏｗｅｒ＋ｂ・（１－Ｌ＿ＣＰＵ）＋ｃ・（１－Ｌ＿ＧＰＵ）＋ｄ・（１－Ｌ＿ＮＥＴＷＯＲＫ））の式を用いて算出することができる。この場合、リソースの負荷状況ｌ（以下、「推定値」という。）は、値が高いほどリソースの負荷状況が高いことを示し、値が低いほどリソースの負荷状況が低いことを示す。 Here, let L_Power be the remaining battery level of the display device 1 (the lower the value, the higher the load), L_CPU be the operating rate of the CPU of the display device 1 (the higher the value, the higher the load), and the If the operating rate is L_GPU (the higher the value, the higher the load), the network state is L_NETWORK (the higher the value, the higher the load), and the weighting factors corresponding to each resource are a, b, c, and d, The load status estimation unit 144 calculates the resource load status l using the formula l=1/(a·L_Power+b·(1−L_CPU)+c·(1−L_GPU)+d·(1−L_NETWORK)). be able to. In this case, the resource load status l (hereinafter referred to as "estimated value") indicates that the higher the value, the higher the resource load status, and the lower the value, the lower the resource load status.

決定部１４３は、負荷状況推定部１４４がリソースの負荷状況を推定すると、負荷状況推定部１４４が推定した結果がリソースの負荷状況が高いことを示す場合に、表示モードをモノラル表示モードに決定し、負荷状況推定部１４４が推定した結果がリソースの負荷状況が高くないことを示す場合に、表示モードをステレオ表示モードに決定する。 When the load condition estimating unit 144 estimates the load condition of the resource, the determining unit 143 determines the display mode to be the monaural display mode when the estimated result of the load condition estimating unit 144 indicates that the load condition of the resource is high. , the display mode is determined to be the stereo display mode when the result estimated by the load condition estimation unit 144 indicates that the load condition of the resource is not high.

具体的には、決定部１４３は、負荷状況推定部１４４が推定した推定値が所定の閾値以上である場合、表示モードをモノラル表示モードに決定し、推定値が所定の閾値未満である場合、表示モードをステレオ表示モードに決定する。 Specifically, when the estimated value estimated by the load condition estimating unit 144 is equal to or greater than a predetermined threshold, the determining unit 143 determines the display mode to be monaural display mode, and when the estimated value is less than the predetermined threshold, Set the display mode to stereo display mode.

より具体的には、決定部１４３は、奥行指標に対応する所定の閾値よりも奥行指標が遠いことを示す場合、又は奥行指標に対応する所定の閾値よりも奥行指標が近いことを示し、かつ推定値が当該推定値に対応する所定の閾値以上である場合、表示モードをモノラル表示モードに決定する。一方、決定部１４３は、奥行指標に対応する所定の閾値よりも奥行指標が近いことを示し、かつ推定値が当該推定値に対応する所定の閾値未満である場合、表示モードをステレオ表示モードに決定する。 More specifically, if the determining unit 143 indicates that the depth index is farther than a predetermined threshold corresponding to the depth index, or indicates that the depth index is closer than a predetermined threshold corresponding to the depth index, and If the estimated value is greater than or equal to a predetermined threshold value corresponding to the estimated value, the display mode is determined to be the monaural display mode. On the other hand, if the depth index is closer than the predetermined threshold corresponding to the depth index and the estimated value is less than the predetermined threshold corresponding to the estimated value, the determining unit 143 changes the display mode to the stereo display mode. decide.

決定部１４３は、奥行指標と推定値とを統合した統合パラメータに基づいて、表示モードを決定してもよい。決定部１４３は、第１パラメータで重み付けした奥行指標と、第１パラメータとは異なる第２パラメータで重み付けした推定値とに基づいて、統合パラメータを算出する。第１パラメータ及び第２パラメータは、例えば、０から１までを範囲とする数値であり、予め設定されたパラメータである。 The determining unit 143 may determine the display mode based on an integrated parameter that integrates the depth index and the estimated value. The determining unit 143 calculates the integrated parameter based on the depth index weighted by the first parameter and the estimated value weighted by the second parameter different from the first parameter. The first parameter and the second parameter are, for example, numerical values ranging from 0 to 1, and are preset parameters.

ここで、第１パラメータをαとし、第２パラメータをβとした場合、決定部１４３は、統合パラメータｐを、ｐ＝α・ｄ＋β・ｌの式を用いて算出することができる。この場合における統合パラメータｐは、被写体Ａの奥行きが長くなるほど、またリソースの負荷状況が高くなるほど値が大きくなり、被写体Ａの奥行きが短くなるほど、またリソースの負荷状況が低くなるほど値が小さくなる。 Here, when the first parameter is α and the second parameter is β, the determination unit 143 can calculate the integrated parameter p using the formula p=α·d+β·l. In this case, the integration parameter p increases in value as the depth of subject A increases and as the resource load increases, and decreases as the depth of subject A decreases and as the resource load decreases.

決定部１４３は、統合パラメータを算出すると、算出した統合パラメータが、統合パラメータに対応する所定の閾値を超える場合、表示モードをモノラル表示モードに決定し、算出した統合パラメータが所定の閾値以下である場合、表示モードをステレオ表示モードに決定する。このように、決定部１４３は、リソースの負荷状況が高い場合に、表示モードをリソースの負荷が小さいモノラル表示モードに決定することにより、リソースが逼迫することによりユーザの体感品質が低下することを防ぐことができる。 When the integrated parameter is calculated, the determining unit 143 determines the display mode to be monaural display mode if the calculated integrated parameter exceeds a predetermined threshold corresponding to the integrated parameter, and the calculated integrated parameter is equal to or less than the predetermined threshold. In this case, the stereo display mode is determined as the display mode. In this way, when the resource load situation is high, the determination unit 143 determines the display mode to be the monaural display mode with a light resource load, thereby preventing the user's QoE from deteriorating due to resource tightness. can be prevented.

［表示システムＳの処理］
続いて、表示システムＳの処理の流れについて説明する。図６は、表示システムＳの処理の流れを示すシーケンス図である。図６に示すＳ６の処理は、Ｓ２とＳ３の間に実行されてもよいし、Ｓ３からＳ５までの処理と並列に実行されてもよい。 [Processing of display system S]
Next, the processing flow of the display system S will be described. FIG. 6 is a sequence diagram showing the processing flow of the display system S. As shown in FIG. The process of S6 shown in FIG. 6 may be performed between S2 and S3, or may be performed in parallel with the processes from S3 to S5.

本処理は、画像生成装置２の生成部２３１が、設定された表示モードに基づいて、画像データを生成したことを契機として開始する（Ｓ１）。画像生成装置２の送信部２３２は、通信部２１を介して、生成部２３１が生成した画像データを表示装置１に送信する（Ｓ２）。 This processing is started when the generation unit 231 of the image generation device 2 generates image data based on the set display mode (S1). The transmission unit 232 of the image generation device 2 transmits the image data generated by the generation unit 231 to the display device 1 via the communication unit 21 (S2).

表示装置１の算出部１４２は、取得部１４１が通信部１１を介して画像データを取得すると、取得された画像データに基づいて、被写体Ａの奥行指標を算出する（Ｓ３）。算出部１４２は、例えば、画像データのサイズに基づいて、奥行指標を算出する。 When the acquisition unit 141 acquires the image data via the communication unit 11, the calculation unit 142 of the display device 1 calculates the depth index of the subject A based on the acquired image data (S3). The calculator 142 calculates the depth index, for example, based on the size of the image data.

表示装置１の決定部１４３は、奥行指標に基づいて、モノラル表示モードとステレオ表示モードとのいずれかの表示モードを決定する（Ｓ４）。具体的には、決定部１４３は、所定の閾値よりも奥行指標が遠いことを示す場合、表示モードをモノラル表示モードに決定し、所定の閾値よりも奥行指標が近いことを示す場合、表示モードをステレオ表示モードに決定する。 The determination unit 143 of the display device 1 determines either the monaural display mode or the stereo display mode based on the depth index (S4). Specifically, the determination unit 143 determines the display mode to be the monaural display mode when the depth index is farther than the predetermined threshold, and determines the display mode to be the monaural display mode when the depth index is closer than the predetermined threshold. to stereo display mode.

表示装置１の通知部１４５は、決定部１４３が決定した表示モードを示すモード情報を画像生成装置２に通知する（Ｓ５）。そして、表示制御部１４６は、決定部１４３が決定した表示モードに基づいて、画像データを表示部１２に表示させる（Ｓ６）。具体的には、表示制御部１４６は、取得部１４１が取得した画像データを表示部１２に表示させる。 The notification unit 145 of the display device 1 notifies the image generation device 2 of mode information indicating the display mode determined by the determination unit 143 (S5). Then, the display control unit 146 causes the display unit 12 to display the image data based on the display mode determined by the determination unit 143 (S6). Specifically, the display control unit 146 causes the display unit 12 to display the image data acquired by the acquisition unit 141 .

［変形例］
上記において、表示装置１が、奥行指標に基づいて、表示モードとともにアラートモードを設定する例を説明したがこれに限らない。例えば、表示装置１は、奥行指標に基づいて、表示モードを設定せずに、アラートモードを設定してもよい。この場合、表示装置１は、奥行指標に基づいて、アラートモードとともに表示モードを設定してもよい。 [Modification]
Although the display device 1 sets the display mode and the alert mode based on the depth index has been described above, the present invention is not limited to this. For example, the display device 1 may set the alert mode without setting the display mode based on the depth index. In this case, the display device 1 may set the display mode together with the alert mode based on the depth index.

［本実施の形態における効果］
以上説明したとおり、表示システムＳは、表示装置１が、画像生成装置２によって生成された画像データに基づいて奥行指標を算出し、算出した奥行指標に基づいて表示モードを決定する。そして、表示装置１が、決定した表示モードに基づいて、画像データを表示する。このようにすることで、表示装置１は、画像データに基づいて被写体Ａの奥行きを推定することができる。これにより、表示装置１は、被写体Ａの奥行きに応じて表示モードを制御することができる。その結果、表示システムＳは、ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができる。 [Effects of this embodiment]
As described above, in the display system S, the display device 1 calculates the depth index based on the image data generated by the image generating device 2, and determines the display mode based on the calculated depth index. Then, the display device 1 displays the image data based on the determined display mode. By doing so, the display device 1 can estimate the depth of the subject A based on the image data. Thereby, the display device 1 can control the display mode according to the depth of the subject A. FIG. As a result, the display system S can reduce the resource load while suppressing the deterioration of the user's experience quality in the AR display.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of the gist thereof. be. For example, all or part of the device can be functionally or physically distributed and integrated in arbitrary units. In addition, new embodiments resulting from arbitrary combinations of multiple embodiments are also included in the embodiments of the present invention. The effect of the new embodiment caused by the combination has the effect of the original embodiment.

１ 表示装置
１１ 通信部
１２ 表示部
１３ 記憶部
１４ 制御部
１４１ 取得部
１４２ 算出部
１４３ 決定部
１４４ 負荷状況推定部
１４５ 通知部
１４６ 表示制御部
２ 画像生成装置
２１ 通信部
２２ 記憶部
２３ 制御部
２３１ 生成部
２３２ 送信部
Ｓ 表示システム
1 display device 11 communication unit 12 display unit 13 storage unit 14 control unit 141 acquisition unit 142 calculation unit 143 determination unit 144 load condition estimation unit 145 notification unit 146 display control unit 2 image generation device 21 communication unit 22 storage unit 23 control unit 231 Generation unit 232 Transmission unit S Display system

Claims (14)

ユーザの両目それぞれに画像を提示するための表示部と、
前記表示部に表示させる被写体と、前記表示部に表示させない透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部と、
前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部と、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定し、決定した前記表示モードに応じて異なる前記所定の閾値を設定する決定部と、
前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部と、
を有する表示装置。 a display for presenting an image to each of the user's eyes;
an acquisition unit that acquires the image data from an image generating device that generates image data including a subject to be displayed on the display unit and a transparent area not to be displayed on the display unit;
a calculation unit that calculates a depth index indicating the depth of the subject based on the image data;
A predetermined display mode determined for determining either a monaural display mode in which the display unit presents the same image to both eyes or a stereo display mode in which the display unit presents a parallax image to both eyes. When the depth index is farther than the threshold, the display mode is determined to be the monaural display mode, and when the depth index is closer than the predetermined threshold, the display mode is set to the stereo display mode. a determination unit that determines and sets the predetermined threshold value that differs according to the determined display mode ;
a display control unit for displaying the image data on the display unit based on the display mode determined by the determination unit;
display device. ユーザの両目それぞれに画像を提示するための表示部と、
前記表示部に表示させる被写体と、前記表示部に表示させない透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部と、
圧縮された前記画像データのサイズに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部と、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部と、
前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部と、
を有する表示装置。 a display for presenting an image to each of the user's eyes;
an acquisition unit that acquires the image data from an image generating device that generates image data including a subject to be displayed on the display unit and a transparent area not to be displayed on the display unit;
a calculation unit that calculates a depth index indicating the depth of the subject based on the size of the compressed image data;
One of a monaural display mode in which the display unit presents the same image to both eyes and a stereo display mode in which the display unit presents a parallax image to both eyes is determined based on the depth index. a decision unit;
a display control unit for displaying the image data on the display unit based on the display mode determined by the determination unit;
display device . 前記取得部は、圧縮された前記画像データを前記画像生成装置から取得し、
前記算出部は、圧縮された前記画像データを伸張した後に、伸張した前記画像データを所定の形式で圧縮した前記画像データのサイズに基づいて、前記奥行指標を算出する、
請求項２に記載の表示装置。 The acquisition unit acquires the compressed image data from the image generation device,
the calculating unit, after decompressing the compressed image data, calculates the depth index based on the size of the image data obtained by compressing the decompressed image data in a predetermined format;
3. The display device according to claim 2 . 前記決定部が決定した前記表示モードを示すモード情報を前記画像生成装置に通知する通知部をさらに有し、
前記表示制御部は、通知された前記モード情報が前記モノラル表示モードを示す場合に、前記画像生成装置が生成した単一画像を前記画像データとして前記表示部に表示させ、通知された前記モード情報が前記ステレオ表示モードを示す場合に、前記画像生成装置が生成した視差画像を前記画像データとして前記表示部に表示させる、
請求項１から３のいずれか一項に記載の表示装置。 a notification unit configured to notify the image generation device of mode information indicating the display mode determined by the determination unit;
When the notified mode information indicates the monaural display mode, the display control unit causes the display unit to display the single image generated by the image generating device as the image data, and controls the display unit to display the notified mode information. indicates the stereo display mode, causing the display unit to display the parallax image generated by the image generation device as the image data;
The display device according to any one of claims 1 to 3 . 前記算出部は、前記画像データに含まれる前記透過領域以外の画素の数に基づいて、前記奥行指標を算出する、
請求項１から４のいずれか一項に記載の表示装置。 The calculation unit calculates the depth index based on the number of pixels other than the transparent region included in the image data.
The display device according to any one of claims 1 to 4 . 前記算出部は、前記被写体の外接矩形のサイズに基づいて、奥行指標を算出する、
請求項１から５のいずれか一項に記載の表示装置。 The calculation unit calculates a depth index based on the size of a circumscribed rectangle of the subject.
The display device according to any one of claims 1 to 5 . 前記算出部は、複数の前記被写体のうち、外接矩形のサイズが大きい前記被写体に基づいて、前記奥行指標を算出する、
請求項６に記載の表示装置。 wherein the calculation unit calculates the depth index based on the subject having a larger circumscribed rectangle size among the plurality of subjects;
The display device according to claim 6 . 前記表示部に前記画像データを表示させるためのリソースの負荷状況を推定する負荷状況推定部をさらに有し、
前記決定部は、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高いことを示す場合に、前記表示モードを前記モノラル表示モードに決定し、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高くないことを示す場合に、前記表示モードを前記ステレオ表示モードに決定する、
請求項１から７のいずれか一項に記載の表示装置。 further comprising a load condition estimation unit for estimating a load condition of resources for displaying the image data on the display unit;
The determining unit determines the display mode to be the monaural display mode when the result estimated by the load condition estimating unit indicates that the load condition of the resource is high, and the result estimated by the load condition estimating unit is determining the display mode to be the stereo display mode if it indicates that the load status of the resource is not high;
The display device according to any one of claims 1 to 7 . 前記決定部は、前記被写体の奥行きに関するアラートを表示しないアラート非表示モードと、前記アラートを表示するアラート表示モードとのいずれかのアラートモードを、前記奥行指標に基づいてさらに決定し、
前記表示制御部は、前記決定部が決定した前記アラートモードに基づく情報を前記画像データに重畳して前記表示部に表示させる、
請求項１から８のいずれか一項に記載の表示装置。 The determining unit further determines an alert mode from an alert non-display mode in which an alert regarding the depth of the subject is not displayed and an alert display mode in which the alert is displayed, based on the depth index;
The display control unit superimposes information based on the alert mode determined by the determination unit on the image data and causes the display unit to display the information.
The display device according to any one of claims 1 to 8 . 前記アラート表示モードは、前記被写体の奥行きが短いことを警告する近距離用アラート表示モードと、前記被写体の奥行きが長いことを警告する遠距離用アラート表示モードとを含み、
前記決定部は、前記アラート非表示モードと前記近距離用アラート表示モードとの境界値である第１閾値よりも前記奥行指標が近いことを示す場合、前記アラートモードを前記近距離用アラート表示モードに決定し、前記アラート非表示モードと前記遠距離用アラート表示モードとの境界値である閾値であって、前記第１閾値と異なる第２閾値よりも前記奥行指標が遠いことを示す場合、前記アラートモードを前記遠距離用アラート表示モードに決定する、
請求項９に記載の表示装置。 The alert display mode includes a short-distance alert display mode that warns that the depth of the subject is short and a long-distance alert display mode that warns that the depth of the subject is long,
When the depth index indicates that the depth index is closer than a first threshold that is a boundary value between the alert non-display mode and the short-distance alert display mode, the determination unit changes the alert mode to the short-distance alert display mode. and a threshold that is a boundary value between the alert non-display mode and the long-distance alert display mode, and indicates that the depth index is farther than a second threshold different from the first threshold, determining the alert mode to the long-distance alert display mode;
The display device according to claim 9 . コンピュータが実行する、
ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得するステップと、
前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出するステップと、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定するステップと、
決定した前記表示モードに応じて異なる前記所定の閾値を設定するステップと、
決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させるステップと、
を有する表示方法。 the computer runs
a step of obtaining the image data from an image generation device that generates image data including a subject to be displayed on a display unit for presenting an image to each of the eyes of a user and a transparent area indicating that the display unit is not to display the image data; ,
calculating a depth index indicating the depth of the subject based on the image data;
A predetermined display mode determined for determining either a monaural display mode in which the display unit presents the same image to both eyes or a stereo display mode in which the display unit presents a parallax image to both eyes. When the depth index is farther than the threshold, the display mode is determined to be the monaural display mode, and when the depth index is closer than the predetermined threshold, the display mode is set to the stereo display mode. a step of determining ;
setting a different predetermined threshold value according to the determined display mode ;
displaying the image data on the display unit based on the determined display mode;
A display method that has コンピュータを、
ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部、
前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定し、決定した前記表示モードに応じて異なる前記所定の閾値を設定する決定部、及び
前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部、
として機能させるプログラム。 the computer,
An acquisition unit that acquires the image data from an image generation device that generates image data including a subject to be displayed on a display unit for presenting an image to each of the user's eyes and a transparent area indicating that the display unit is not to display the image data. ,
a calculation unit that calculates a depth index indicating the depth of the subject based on the image data;
A predetermined display mode determined for determining either a monaural display mode in which the display unit presents the same image to both eyes or a stereo display mode in which the display unit presents a parallax image to both eyes. When the depth index is farther than the threshold, the display mode is determined to be the monaural display mode, and when the depth index is closer than the predetermined threshold, the display mode is set to the stereo display mode. a determination unit that determines and sets the predetermined threshold value that differs according to the determined display mode; and a display control unit that causes the display unit to display the image data based on the display mode determined by the determination unit;
A program that acts as a コンピュータが実行する、 the computer runs
ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得するステップと、 a step of obtaining the image data from an image generation device that generates image data including a subject to be displayed on a display unit for presenting an image to each of the eyes of a user and a transparent area indicating that the display unit is not to display the image data; ,
圧縮された前記画像データのサイズに基づいて、前記被写体の奥行きを示す奥行指標を算出するステップと、 calculating a depth index indicating the depth of the subject based on the size of the compressed image data;
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定するステップと、 One of a monaural display mode in which the display unit presents the same image to both eyes and a stereo display mode in which the display unit presents a parallax image to both eyes is determined based on the depth index. a step;
決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させるステップと、 displaying the image data on the display unit based on the determined display mode;
を有する表示方法。 A display method that has コンピュータを、 the computer,
ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部、 An acquisition unit that acquires the image data from an image generation device that generates image data including a subject to be displayed on a display unit for presenting an image to each of the user's eyes and a transparent area indicating that the display unit is not to display the image data. ,
圧縮された前記画像データのサイズに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部、 a calculation unit that calculates a depth index indicating the depth of the subject based on the size of the compressed image data;
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部、及び One of a monaural display mode in which the display unit presents the same image to both eyes and a stereo display mode in which the display unit presents a parallax image to both eyes is determined based on the depth index. decision part, and
前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部、 a display control unit for displaying the image data on the display unit based on the display mode determined by the determination unit;
として機能させるプログラム。 A program that acts as a
JP2019046975A 2019-03-14 2019-03-14 Display device, display method and program Active JP7118913B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019046975A JP7118913B2 (en) 2019-03-14 2019-03-14 Display device, display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019046975A JP7118913B2 (en) 2019-03-14 2019-03-14 Display device, display method and program

Publications (2)

Publication Number Publication Date
JP2020150434A JP2020150434A (en) 2020-09-17
JP7118913B2 true JP7118913B2 (en) 2022-08-16

Family

ID=72432293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019046975A Active JP7118913B2 (en) 2019-03-14 2019-03-14 Display device, display method and program

Country Status (1)

Country Link
JP (1) JP7118913B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147276A1 (en) 2011-04-28 2012-11-01 パナソニック株式会社 Picture display device and picture display method
JP2012235218A (en) 2011-04-28 2012-11-29 Funai Electric Co Ltd Video output device
JP2013258705A (en) 2013-06-26 2013-12-26 Nec Casio Mobile Communications Ltd Terminal device and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083412A (en) * 2010-10-07 2012-04-26 Sony Corp Image processing device, image processing method, and program
JP6711379B2 (en) * 2018-08-22 2020-06-17 セイコーエプソン株式会社 Head-mounted display, computer program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147276A1 (en) 2011-04-28 2012-11-01 パナソニック株式会社 Picture display device and picture display method
JP2012235218A (en) 2011-04-28 2012-11-29 Funai Electric Co Ltd Video output device
JP2013258705A (en) 2013-06-26 2013-12-26 Nec Casio Mobile Communications Ltd Terminal device and program

Also Published As

Publication number Publication date
JP2020150434A (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US11153604B2 (en) Image compression for digital reality
JP6147275B2 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and program
KR101065230B1 (en) Rendering 3d video images on a stereo-enabled display
US20140092439A1 (en) Encoding images using a 3d mesh of polygons and corresponding textures
Dumic et al. Subjective evaluation and objective measures for point clouds—State of the art
US11468587B2 (en) System and method for depth map recovery
EP3816941A1 (en) Image processing system and method
US20240005526A1 (en) Device and Method for Optimizing Power Consumption During Frames Rendering
US20220382053A1 (en) Image processing method and apparatus for head-mounted display device as well as electronic device
US11893705B2 (en) Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
US11416964B2 (en) Method and device for adjusting resolution of HMD apparatus
US20160035127A1 (en) Three-dimensional image display system, server for three-dimensional image display system, and three-dimensional image display method
JP7118913B2 (en) Display device, display method and program
KR101373718B1 (en) Stereo matching apparatus and method for depth estimation for three dimensional image, and three dimensional image transmission apparatus and rendering apparatus through said stereo matching
KR101814174B1 (en) Apparatus and method for determining image type and smart device including the apparatus
US11973979B2 (en) Image compression for digital reality
US11461957B2 (en) Information processing device, information processing method, and program
WO2022259632A1 (en) Information processing device and information processing method
WO2022230253A1 (en) Information processing device and information processing method
US11323682B2 (en) Electronic device, content processing device, content processing system, image data output method, and image processing method
Zhang et al. A 3D subjective quality prediction model based on depth distortion
Doan et al. Hole-Filling Algorithm with Spatio-Temporal Background Information for View Synthesis
JP2022015209A (en) Image processing method, image processing program, and display device
JP2016082528A (en) System, program, display device, image processing device, control method for system, control method for display device, and control method for image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220803

R150 Certificate of patent or registration of utility model

Ref document number: 7118913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150