WO2018012207A1 - 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム - Google Patents
画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム Download PDFInfo
- Publication number
- WO2018012207A1 WO2018012207A1 PCT/JP2017/022489 JP2017022489W WO2018012207A1 WO 2018012207 A1 WO2018012207 A1 WO 2018012207A1 JP 2017022489 W JP2017022489 W JP 2017022489W WO 2018012207 A1 WO2018012207 A1 WO 2018012207A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- gesture
- user
- layer
- image
- hand
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title claims abstract 3
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 230000008859 change Effects 0.000 claims abstract description 14
- 238000002834 transmittance Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 30
- 230000003190 augmentative effect Effects 0.000 claims description 22
- 238000010079 rubber tapping Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 6
- 210000003811 finger Anatomy 0.000 description 66
- 238000012545 processing Methods 0.000 description 37
- 239000003550 marker Substances 0.000 description 36
- 230000006870 function Effects 0.000 description 30
- 238000003860 storage Methods 0.000 description 25
- 210000003128 head Anatomy 0.000 description 16
- 210000004185 liver Anatomy 0.000 description 16
- 210000001835 viscera Anatomy 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 206010033675 panniculitis Diseases 0.000 description 8
- 230000001681 protective effect Effects 0.000 description 8
- 210000004304 subcutaneous tissue Anatomy 0.000 description 8
- 210000000988 bone and bone Anatomy 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 210000003205 muscle Anatomy 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000035699 permeability Effects 0.000 description 5
- 210000002784 stomach Anatomy 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 4
- AHVPOAOWHRMOBY-UHFFFAOYSA-N 2-(diethylamino)-1-[6,7-dimethoxy-1-[1-(6-methoxynaphthalen-2-yl)ethyl]-3,4-dihydro-1h-isoquinolin-2-yl]ethanone Chemical compound C1=C(OC)C=CC2=CC(C(C)C3C4=CC(OC)=C(OC)C=C4CCN3C(=O)CN(CC)CC)=CC=C21 AHVPOAOWHRMOBY-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000952 spleen Anatomy 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000002350 laparotomy Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000012084 abdominal surgery Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002440 hepatic effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 210000001139 rectus abdominis Anatomy 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 210000000614 rib Anatomy 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
Definitions
- a display control function for displaying a three-dimensional virtual object in which a plurality of layers overlap in the depth direction on a head-mounted display; a first detection function for detecting a first gesture for moving a user's hand in the depth direction; A second detection function for detecting a second gesture using a finger of the user and a determination function for determining a selection layer selected by the user from a plurality of layers based on the first gesture, with the position of the back of the hand as a reference A determination function for performing the determination, and a reception function for receiving an instruction to the selection layer according to the second gesture. To be executed by the data.
- a virtual image using computer graphics is projected and displayed from the projection unit (not shown) on the inner surface of the screen 28 facing the eyes of the user 14.
- the projection unit includes a display element such as a liquid crystal that displays a virtual image, and a projection optical system that projects the virtual image displayed on the display element toward the inner surface of the screen 28.
- the virtual image is reflected by the inner surface of the screen 28 and enters the eyes of the user 14. Thereby, the user 14 recognizes the virtual image as a virtual image on the virtual space VS (see FIG. 4).
- One end of a cable 30 is connected to the main body 25.
- the other end of the cable 30 is connected to the control device 12.
- the HMD 11 communicates with the control device 12 via this cable 30. Note that communication between the HMD 11 and the control device 12 may be wireless communication instead of wired communication using the cable 30.
- the 3D image 40 is enlarged and displayed as it approaches, and conversely, when the user 14 moves away from the marker 39, the 3D image 40 is reduced and displayed as it moves away.
- the display of the 3D image 40 is changed according to the three-dimensional positional relationship between the HMD 11 (user 14) and the marker 39.
- the first detection unit 80 has a first detection function for detecting the first gesture.
- the first gesture is a gesture for the user 14 to select a desired layer from a plurality of layers of the 3D image 40. Below, the layer which the user 14 selects is called a selection layer.
- the detection unit 72 includes gestures other than the first gesture and the second gesture, for example, a virtual female It has a detection part which detects the gesture in the mode of laparotomy using.
- the determination unit 83 has a determination function of determining a selected layer from a plurality of layers of the 3D image 40 based on the first gesture.
- the determination unit 83 outputs the upper position information from the first detection unit 80 to the 3D image editing unit 85.
- the determination unit 83 is based on the upper position information and information on the positions of a plurality of layers in the 3D image 40 transmitted from the 3D image editing unit 85 according to the upper position information (hereinafter referred to as layer position information, see FIG. 10).
- layer position information hereinafter referred to as layer position information, see FIG. 10
- the determination based on the position of the upper 90 is performed.
- the determination unit 83 outputs the determined information on the selected layer (hereinafter, selected layer information, see FIG. 10) to the display control unit 74 as a processing result.
- the first gesture is a gesture for moving the hand 37 in the depth direction. More specifically, a gesture of swinging down the hand 37 in a state where the finger 38 is directed to a desired position on the 3D image 40 (a position near the navel in FIG. 9) from above the desired position along the depth direction. It is.
- the palm of the hand faces the camera 29. Therefore, as shown by the broken line, the upper 90 is not actually shown in the captured image. Therefore, the first detection unit 80 recognizes the base portion of the palm finger 38 shown in the captured image as an instep 90.
- the illustrations of the two frames on the left are the trajectories of the finger 38 in the captured image when rotated in the respective rotation directions.
- the upper frame is when the finger 38 is rotated clockwise, and the lower frame is when the finger 38 is rotated counterclockwise.
- the upper 90 is a fulcrum of rotation, and therefore the position of the upper 90 does not change even if the finger 38 is rotated.
- the user 14 can know at a glance which layer he / she is currently selecting. Further, since the annotation 95 indicating the name of the selected layer is displayed, even when the user 14 cannot visually recognize the selected layer, the user 14 can perceive which layer the selected layer is.
- the user 14 can easily grasp the sense of distance between the hand 37 and the 3D image 40. Specifically, the color of the layer is changed according to the distance between the layer and the hand 37 in the depth direction.
- the distance in the depth direction between the layer and the hand 37 is calculated by subtracting the Z coordinate of the upper surface of the layer in the layer position information from the Z coordinate (Z-BH) in the upper position information.
- the calculation of the distance is performed by the determination unit 83, and information on the calculated distance (hereinafter, distance information) is output to the display control unit 74.
- the display control unit 74 Based on the distance information from the determination unit 83, the display control unit 74, for example, darkens the color of the layer as the distance approaches.
- the user 14 can easily grasp the sense of distance between the hand 37 and the 3D image 40. Therefore, user convenience can be further improved.
- the gesture of tapping the finger 38 as the second gesture of the fourth embodiment is to return the finger 38 to the original position after bending the finger 38 toward the upper 90 side with the upper 90 as a fulcrum.
- the gesture of tapping the finger 38 also does not change the position of the upper 90, like the gesture of turning the finger 38 in the above embodiments. For this reason, as in each of the above-described embodiments, there is no possibility of misrecognizing an instruction for the selection layer as selection of the selection layer.
- a network server 105 other than the image storage server 19 may serve as the control device of the HMD 11.
- a local server installed in the medical facility 13 may serve as a control device for the HMD 11.
- the image storage server 19 may also be installed as a local server in the medical facility 13.
- the 3D image 40 is not limited to an image on the back of the upper body of the target patient. It may be an image of the whole body lying on its back or an image of another part such as the head.
- the layer may be a vascular tissue, a nerve tissue, or the like instead of or in addition to the skin 46, the subcutaneous tissue 47, and the like exemplified in the above embodiments.
- the preoperative conference performed in the medical facility 13 is illustrated as an application of the image display system 10 and the 3D image 40 is illustrated as a virtual object.
- the use of the image display system 10 is limited to the preoperative conference. Therefore, the virtual object is not limited to the 3D image 40.
- the application of the image display system 10 may be a game application, and a game character or the like may be displayed as a virtual object.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
ユーザの利便性を高めることが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供する。 第1検出部(80)は、ユーザ(14)の手(37)を3D画像(40)の深さ方向に移動させる第1ジェスチャーを検出し、手(37)の甲(90)の深さ方向の位置を示す甲位置情報を判定部(83)に出力する。判定部(83)は、甲位置情報に基づき、3D画像(40)の複数の層のうち、甲(90)と深さ方向の位置が一致する層を選択層と判定する。第2検出部(81)は、選択層の透過率を変更するための指(38)を用いた第2ジェスチャーを検出する。受付部(84)は選択層の透過率を変更する指示情報を受け付け、これを表示制御部(74)に出力する。表示制御部(74)は、判定部(83)で選択層と判定された層の透過率を、指示情報にしたがって変更する。
Description
本発明は、画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムに関する。
コンピュータを用いて作り出される仮想空間において、ユーザに現実に近い代替的な体験をさせる技術が知られている。例えば特許文献1には、頭部等の人体の一部を示す外観画像をユーザに表示し、ユーザが操作する入力デバイスに連動した仮想的なメスで患部の切開を行うバーチャル外科手術に関する技術が記載されている。
特許文献1において、外観画像は例えば三次元ボリュームレンダリング画像であり、入力デバイスにはグローブ型デバイスや反力付き入力デバイスといった手持ちの入力デバイスが挙げられている。特許文献1では、入力デバイスを介して外観画像に仮想的に与えられる力の大きさと向き、並びに力が与えられている外観画像上の位置を検出し、仮想的にメスが切開した深さを求めている。そして、求めた深さに対応する層(頭皮、頭蓋骨、脳組織、血管、神経系等)を判定している。
ところで、仮想空間においてユーザに代替的な体験をさせる技術には、ユーザの頭部に装着したヘッドマウントディスプレイ(以下、HMD(Head Mounted Display))を通じて、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させる技術がある。このHMDを用いた技術には、より直感的な操作を可能とするため、入力デバイスに代えてユーザの手や指等を用いたジェスチャーで操作を行わせるものがある。
特許文献1に記載の人体の三次元ボリュームレンダリング画像のような、複数の層が深さ方向に重なった三次元の仮想オブジェクトをHMDに表示し、ユーザがジェスチャーを用いて、複数の層の中の所望の層を選択し、さらに続けて選択した層(以下、選択層)に対して何らかの指示を行うことが考えられる。
例えば選択層の選択を、ユーザの指先を深さ方向に移動させるジェスチャーで行うような場合を想定する。この場合、ユーザの指先と深さ方向の位置が一致する層を選択層とし、また、選択層に対する指示を、指を回したりタップするジェスチャーとする。こうすれば、指だけで選択層の選択と選択層に対する指示を済ませることができる。
しかしながら、指を回したりタップするジェスチャーで指先の深さ方向の位置が変わってしまうので、選択層に対する指示を選択層の選択と誤認識してしまうおそれがある。したがって、この方法では、選択層の選択と、選択層に対する指示とを、スムーズかつ誤認識することなく済ませることはできず、ユーザの利便性を高めることができない。
特許文献1は、仮想的にメスが切開した深さを求め、求めた深さに対応する層を判定しているため、選択層の選択をしているとは言えるが、選択層に対する指示は記載されていない。また、そもそも特許文献1は、HMDを用いた技術ではなく、かつジェスチャーで操作を行うものでもない。
本発明は、ユーザの利便性を高めることが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することを目的とする。
上記課題を解決するために、本発明の画像表示システムは、ユーザの頭部に装着されたヘッドマウントディスプレイと、ヘッドマウントディスプレイの制御装置とを備え、ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させる画像表示システムにおいて、複数の層が深さ方向に重なった三次元の仮想オブジェクトをヘッドマウントディスプレイに表示させる表示制御部と、ユーザの手を深さ方向に移動させる第1ジェスチャーを検出する第1検出部と、手の指を用いた第2ジェスチャーを検出する第2検出部と、第1ジェスチャーに基づいて、複数の層の中からユーザが選択する選択層を判定する判定部であり、手の甲の位置を基準とした判定を行う判定部と、第2ジェスチャーに応じた選択層に対する指示を受け付ける受付部とを備える。
判定部は、手の甲と深さ方向の位置が一致する層を選択層と判定することが好ましい。あるいは、判定部は、手の甲から推定される指の先と深さ方向の位置が一致する層を選択層と判定することが好ましい。
表示制御部は、選択層の場合とそうでない場合とで層の表示態様を異ならせることが好ましい。また、表示制御部は、選択層の名称を示すアノテーションを表示させることが好ましい。さらに、表示制御部は、層と手との深さ方向に関する距離に応じて、層の色を変化させることが好ましい。
第2ジェスチャーは、指を回す、または指をタップするジェスチャーであることが好ましい。
受付部は、指示として、選択層の透過率を変更する指示を受け付けることが好ましい。
仮想オブジェクトは、現実空間における表示位置が固定されていることが好ましい。また、仮想オブジェクトは、人体の三次元ボリュームレンダリング画像であることが好ましい。
本発明のヘッドマウントディスプレイの制御装置は、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置において、複数の層が深さ方向に重なった三次元の仮想オブジェクトをヘッドマウントディスプレイに表示させる表示制御部と、ユーザの手を深さ方向に移動させる第1ジェスチャーを検出する第1検出部と、手の指を用いた第2ジェスチャーを検出する第2検出部と、第1ジェスチャーに基づいて、複数の層の中からユーザが選択する選択層を判定する判定部であり、手の甲の位置を基準とした判定を行う判定部と、第2ジェスチャーに応じた選択層に対する指示を受け付ける受付部とを備える。
本発明のヘッドマウントディスプレイの制御装置の作動方法は、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置の作動方法において、複数の層が深さ方向に重なった三次元の仮想オブジェクトをヘッドマウントディスプレイに表示させる表示制御ステップと、ユーザの手を深さ方向に移動させる第1ジェスチャーを検出する第1検出ステップと、手の指を用いた第2ジェスチャーを検出する第2検出ステップと、第1ジェスチャーに基づいて、複数の層の中からユーザが選択する選択層を判定する判定ステップであり、手の甲の位置を基準とした判定を行う判定ステップと、第2ジェスチャーに応じた選択層に対する指示を受け付ける受付ステップとを備える。
本発明のヘッドマウントディスプレイの制御装置の作動プログラムは、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、複数の層が深さ方向に重なった三次元の仮想オブジェクトをヘッドマウントディスプレイに表示させる表示制御機能と、ユーザの手を深さ方向に移動させる第1ジェスチャーを検出する第1検出機能と、手の指を用いた第2ジェスチャーを検出する第2検出機能と、第1ジェスチャーに基づいて、複数の層の中からユーザが選択する選択層を判定する判定機能であり、手の甲の位置を基準とした判定を行う判定機能と、第2ジェスチャーに応じた選択層に対する指示を受け付ける受付機能とを、コンピュータに実行させる。
本発明によれば、ユーザの手を深さ方向に移動させる第1ジェスチャーに基づいて、手の甲の位置を基準として、三次元の仮想オブジェクトの複数の層の中からユーザが選択する選択層を判定し、ユーザの手の指を用いた第2ジェスチャーに応じた選択層に対する指示を受け付けるので、選択層の選択と選択層に対する指示とを、スムーズかつ誤認識することなく済ませることができる。したがって、ユーザの利便性を高めることが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することができる。
[第1実施形態]
図1において、画像表示システム10は、HMD11A、11B、11Cと、制御装置12とを備え、医療施設13に設置されている。HMD11Aはユーザ14A、HMD11Bはユーザ14B、HMD11Cはユーザ14Cのそれぞれの頭部に装着される。ユーザ14A~14Cは、医療施設13に所属する医師や看護師といった医療スタッフである。なお、頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。また、以下では、特に区別する必要がない場合は、HMD11A~11CをまとめてHMD11、ユーザ14A~14Cをまとめてユーザ14とそれぞれ表記する場合がある。
図1において、画像表示システム10は、HMD11A、11B、11Cと、制御装置12とを備え、医療施設13に設置されている。HMD11Aはユーザ14A、HMD11Bはユーザ14B、HMD11Cはユーザ14Cのそれぞれの頭部に装着される。ユーザ14A~14Cは、医療施設13に所属する医師や看護師といった医療スタッフである。なお、頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。また、以下では、特に区別する必要がない場合は、HMD11A~11CをまとめてHMD11、ユーザ14A~14Cをまとめてユーザ14とそれぞれ表記する場合がある。
制御装置12は例えばデスクトップ型のパーソナルコンピュータであり、ディスプレイ15とキーボードおよびマウスで構成される入力デバイス16とを有する。ディスプレイ15は入力デバイス16の操作に用いる画面を表示する。操作に用いる画面はGUI(Graphical User Interface)を構成する。制御装置12は、ディスプレイ15の画面を通じて入力デバイス16からの操作指示の入力を受け付ける。
制御装置12は、ネットワーク17を介してデータセンタ18の画像蓄積サーバ19と相互に通信可能に接続されている。ネットワーク17は、インターネットや公衆通信網といったWAN(Wide Area Network)等である。ネットワーク17には、情報セキュリティを考慮して、VPN(Virtual Private Network)が構築されたり、HTTPS(Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルが使用されている。
画像蓄積サーバ19は、医療施設13で取得した患者の様々な医療画像を蓄積し、かつ医療画像を医療施設13に配信する。医療画像には、CT(Computed Tomography)スキャン画像45(図5参照)を画像処理により再構成した三次元ボリュームレンダリング画像(以下、3D画像)40(図3参照)等が含まれる。医療画像は、個々の患者を識別するための患者ID(Identification Data)、個々の医療画像を識別するための画像ID、あるいは医療画像を撮影したモダリティの種類、撮影日時等を検索キーとして検索が可能である。
画像蓄積サーバ19は、医療施設13からの検索キーを含む配信要求に応じて検索キーに対応する医療画像を検索し、検索した医療画像を医療施設13に配信する。なお、図1では1つの医療施設13だけが画像蓄積サーバ19に接続されているが、実際には画像蓄積サーバ19は複数の医療施設13と接続され、複数の医療施設13の医療画像を集積管理している。
図2において、HMD11は、本体部25とバンド部26とで構成される。本体部25はHMD11の装着時にユーザ14の眼前に位置する。バンド部26はHMD11の装着時にユーザ14の頭部の上半部に固定される。
本体部25は、保護枠27、スクリーン28、およびカメラ29を備えている。保護枠27はユーザ14の両眼全体を覆うゴーグル形状を有し、透明な色付きのガラスまたはプラスチックで形成される。図示は省略するが、保護枠27のユーザ14の顔面と接触する部分にはウレタンフォームが貼り付けられている。
スクリーン28およびカメラ29は、保護枠27の内側に配されている。スクリーン28は眼鏡形状を有し、保護枠27と同様に透明な材料で形成される。このスクリーン28と保護枠27を通じて、ユーザ14は現実空間RS(図4参照)を肉眼で視認する。つまりHMD11は透過型である。
また、ユーザ14の眼と対向するスクリーン28の内面には、コンピュータグラフィックスを用いた仮想画像が投影部(図示せず)から投影表示される。投影部は周知のように、仮想画像を表示する液晶等の表示素子と、表示素子に表示された仮想画像をスクリーン28の内面に向けて投影する投影光学系とで構成される。仮想画像はスクリーン28の内面で反射してユーザ14の眼に入射する。これにより、ユーザ14は仮想画像を仮想空間VS(図4参照)上の虚像として認識する。
仮想画像には、拡張現実空間ARS(図3参照)において、現実空間RSに存在する実在オブジェクトと同じようにユーザ14が認識する仮想オブジェクトがある。仮想オブジェクトは、例えば患者の上半身の3D画像40である。3D画像40は、例えば皮膚は肌色、骨は灰色、内臓は赤褐色等の色付けがなされている。ユーザ14は、3D画像40に対して、自らの手37(図3参照)および指38(人差し指、図3参照)を用いたジェスチャーを行う。
カメラ29は、例えばHMD11の装着時にユーザ14の眉間と対向する本体部25の上部中央に設けられている。カメラ29は、ユーザ14がHMD11を通じて認識する拡張現実空間ARSとほぼ同じ視野を所定のフレームレート(例えば30フレーム/秒)で撮像する。カメラ29は、撮像画像を逐次制御装置12に送信する。3D画像40に対するユーザ14の手37および指38を用いたジェスチャーは、このカメラ29の視野内で行われる。なお、ここでは透過型のHMD11を例示したが、カメラ29から出力された現実空間RSの撮像画像に仮想画像を重畳してスクリーン28の内面に投影表示する非透過型のHMDを用いてもよい。
本体部25にはケーブル30の一端が接続されている。ケーブル30の他端は制御装置12に接続されている。HMD11は、このケーブル30を介して制御装置12と通信する。なお、HMD11と制御装置12との間の通信を、ケーブル30を用いた有線通信ではなく無線通信としてもよい。
バンド部26は数センチ程度の幅を有する帯状の紐であり、横バンド31と縦バンド32とで構成される。横バンド31は、ユーザ14の両側頭部と後頭部に巻き付けられる。縦バンド32はユーザ14の前頭部、頭頂部、および後頭部に巻き付けられる。これら横バンド31および縦バンド32には図示しないバックルが取り付けられており、長さ調節が可能である。
図3は、医療施設13の手術室35にユーザ14A~14Cが集まり、手術予定の患者(以下、対象患者)の手術方針を検討するカンファレンスを開いている様子を示す。ユーザ14A~14Cは、HMD11A~11Cを通じて、それぞれ拡張現実空間ARS-A、ARS-B、ARS-Cを認識している。なお、図3では制御装置12やケーブル30の図示を省略している。
手術室35には手術台36が設置されている。ユーザ14Aは手術台36の一方の長辺のほぼ中央、ユーザ14Bは手術台36の一方の短辺、ユーザ14Cは手術台36の他方の短辺の(ユーザ14Bの反対側)にそれぞれ立っている。ユーザ14Aは手術台36に手37Aおよび指38Aを向けて、対象患者の病状等についてユーザ14B、14Cに説明を行っている。なお、以下では、HMD11およびユーザ14と同様に、ユーザ14A~14Cのそれぞれの手37A、37B、37Cをまとめて手37と表記する場合がある。また、ユーザ14Aの指38Aを単に指38と表記する場合がある。
手術台36にはマーカー39が載置されている。マーカー39は、例えば正方形の枠に白黒の規則的なパターンと上下左右の識別を可能とする識別線が描かれたシートである。マーカー39は、現実空間RSにおける仮想オブジェクトの出現位置を示す。つまり、仮想オブジェクトは、現実空間RSに存在するマーカー39上に表示位置が固定されている。
図3では、マーカー39上に、対象患者の上半身の仰向けの3D画像40が仮想オブジェクトとして表示された状態を示している。3D画像40は、その体軸が手術台36の長辺に沿い、かつ頸部がユーザ14B側、腰部がユーザ14C側となるように配置される。拡張現実空間ARS-A~ARS-Cでは、マーカー39は3D画像40によって隠されて表示されない。
ユーザ14A~14Cは、3D画像40に対して、仮想的なメスを用いて開腹手術を施したり、後述するように皮膚や皮下組織、骨の層を透過させて手術予定の患部を直接視認可能としたり等、様々な処理を施す。この3D画像40に対する処理は、同時に複数のユーザ14が実施すると混乱を来すため、例えば、処理権限を与えられた1人のユーザ14(ここではユーザ14A)が代表して実施する。なお、現実空間RSにおいては、手術台36には3D画像40は存在せず、マーカー39のみが載置されているため、手術台36上では3D画像40を破線で示し、マーカー39を実線で示している。
3D画像40の現実空間RSにおける表示位置がマーカー39上に固定され、かつユーザ14A~14Cの立ち位置が異なるため、ユーザ14A~14Cがそれぞれ認識する拡張現実空間ARS-A~ARS-Cにおける3D画像40の見え方が異なる。具体的には、ユーザ14Aは、3D画像40の右半身が手前側、頸部が左側に見える。ユーザ14Bは、3D画像40の頸部が手前側、腰部が奥側に見える。ユーザ14Cは反対に、3D画像40の腰部が手前側、頸部が奥側に見える。
また、例えばユーザ14がマーカー39に近付くと、近付くにつれて3D画像40が拡大表示され、逆にマーカー39から遠ざかると、遠ざかるにつれて3D画像40が縮小表示される。このように、3D画像40の表示は、HMD11(ユーザ14)とマーカー39との三次元的な位置関係に応じて変更される。
なお、当然ではあるが、現実空間RSの実在オブジェクトである手術台36やユーザ14Aの手37A等も、ユーザ14A~14Cがそれぞれ認識する拡張現実空間ARS-A~ARS-Cにおける見え方が異なる。例えばユーザ14Aの手37Aの見え方は、ユーザ14Aは手前側に見え、ユーザ14Bは右側に見え、ユーザ14Cは反対に左側に見える。
図4に、一例としてユーザ14Aが認識する拡張現実空間ARS-Aの成り立ちを示す。ユーザ14Aは、HMD11のスクリーン28と保護枠27を通じて、手術台36、ユーザ14Aの手37A、およびマーカー39が存在する現実空間RS-Aを視認する。加えて、ユーザ14Aは、スクリーン28の内面を通じて、3D画像40が存在する仮想空間VS-Aを視認する。これにより、ユーザ14Aは、現実空間RS-Aと仮想空間VS-Aを融合させた拡張現実空間ARS-Aを認識する。
図5は、3D画像40を構成する複数枚のCTスキャン画像45のうちの一枚を示したものである。ここで、CTスキャン画像45の面(スライス面)と平行な、腹背を結ぶ線に沿った人体の前後方向を深さ方向とする。CTスキャン画像45には、外側から順に、皮膚46、脂肪等の皮下組織47、腹直筋等の筋組織48、肋骨、胸骨等の骨49、肝臓50A、胃50B、脾臓50C等の内臓50といった人体組織の層が複数写されている。3D画像40は、こうした人体組織の複数の層が写されたCTスキャン画像45を再構成したものであるため、複数の層が深さ方向に重なった仮想オブジェクトである。
複数の層のうち、皮膚46、皮下組織47、筋組織48、骨49は、3D画像40上の位置に関わらず、外側からこの順に存在する。一方、肝臓50A等の内臓50は、3D画像40において、体軸方向の位置に応じて変わる。ここでは肝臓50A、胃50B、脾臓50Cを例示したが、上半身の3D画像40であるため、腎臓、膵臓、小腸、大腸といった他の内臓50も3D画像40に含まれている。
図6において、制御装置12は、前述のディスプレイ15および入力デバイス16に加えて、ストレージデバイス55、メモリ56、CPU(Central Processing Unit)57、および通信部58を備えている。これらはデータバス59を介して相互接続されている。
ストレージデバイス55は、制御装置12に内蔵、またはケーブルあるいはネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス55には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。
メモリ56は、CPU57が処理を実行するためのワークメモリである。CPU57は、ストレージデバイス55に記憶されたプログラムをメモリ56へロードして、プログラムにしたがった処理を実行することにより、制御装置12の各部を統括的に制御する。通信部58は、HMD11および画像蓄積サーバ19との間の各種データの通信を担う。
図7において、ストレージデバイス55には作動プログラム65が記憶されている。作動プログラム65は、制御装置12を構成するコンピュータを、HMD11の制御装置として機能させるためのアプリケーションプログラムである。ストレージデバイス55には、作動プログラム65の他に、第1対応情報66、第2対応情報67(図12参照)、および第3対応情報68が記憶されている。
作動プログラム65が起動されると、CPU57は、メモリ56等と協働して、撮像画像取得部70、3D画像取得部71、検出部72、処理部73、および表示制御部74として機能する。
撮像画像取得部70は、HMD11のカメラ29から所定のフレームレートで逐次送信される撮像画像を取得する。撮像画像取得部70は、取得した撮像画像を検出部72に出力する。
3D画像取得部71は、対象患者の3D画像40の配信要求を画像蓄積サーバ19に発行する。また、3D画像取得部71は、配信要求に応じて画像蓄積サーバ19から送信された対象患者の3D画像40を取得する。3D画像取得部71は、取得した3D画像40を処理部73に出力する。なお、配信要求に含まれる3D画像40の検索キーは、入力デバイス16を介して入力される。
検出部72は、第1対応情報66~第3対応情報68を参照して、撮像画像取得部70からの撮像画像に基づいた各種検出を行う。検出部72は、検出結果を処理部73に出力する。処理部73は、検出部72からの検出結果に基づいた各種処理を実施する。処理部73は、処理結果を表示制御部74に出力する。
表示制御部74は、仮想画像、すなわち仮想オブジェクトとしての3D画像40のHMD11への表示を制御する表示制御機能を担う。
図8において、検出部72は、第1検出部80、第2検出部81、および第3検出部82を有する。また、処理部73は、判定部83、受付部84、および3D画像編集部85を有する。
第1検出部80は、第1ジェスチャーを検出する第1検出機能を担う。第1ジェスチャーは、3D画像40の複数の層の中からユーザ14が所望の層を選択するためのジェスチャーである。以下では、ユーザ14が選択する層を選択層という。
第1検出部80は、第1対応情報66を参照して、マーカー39に対する手37の甲90(図9参照)の三次元的な位置を検出する。第1検出部80は、検出した甲90の位置の情報(以下、甲位置情報、図9参照)を、検出結果として判定部83に出力する。
第2検出部81は、第2ジェスチャーを検出する第2検出機能を担う。第2ジェスチャーは、例えば選択層の透過率を変更する指示を行うためのジェスチャーである。なお、透過率は%で表され、透過率0%の場合は選択層が完全に視認可能な状態、透過率100%の場合は選択層が完全に透明で、選択層の下の層が視認可能な状態である。
第2検出部81は、検出した第2ジェスチャーを、第2対応情報67を参照して選択層の透過率を変更する指示の情報(以下、指示情報、図13参照)に変換する。第2検出部81は、変換した指示情報を、検出結果として受付部84に出力する。
第3検出部82は、マーカー39に対するHMD11(ユーザ14の眼)の三次元的な位置を検出する。第3検出部82は、検出したHMD11の位置の情報(以下、HMD位置情報)を、検出結果として3D画像編集部85に出力する。
検出部72は、第1ジェスチャーを検出する第1検出部80、および第2ジェスチャーを検出する第2検出部81の他にも、第1ジェスチャーおよび第2ジェスチャー以外のジェスチャー、例えば仮想的なメスを用いた開腹手術のモードにおけるジェスチャーを検出する検出部をもつ。
判定部83は、第1ジェスチャーに基づいて、3D画像40の複数の層の中から選択層を判定する判定機能を担う。判定部83は、第1検出部80からの甲位置情報を3D画像編集部85に出力する。判定部83は、甲位置情報、並びに甲位置情報に応じて3D画像編集部85から送信される、3D画像40における複数の層の位置の情報(以下、層位置情報、図10参照)を元に、甲90の位置を基準とした判定を行う。判定部83は、判定した選択層の情報(以下、選択層情報、図10参照)を、処理結果として表示制御部74に出力する。
受付部84は、選択層に対する第2ジェスチャーに応じた指示を受け付ける受付機能を担う。具体的には、受付部84は、第2検出部81からの指示情報を受け付ける。受付部84は、受け付けた指示情報を、処理結果として表示制御部74に出力する。
3D画像編集部85は、第3検出部82からのHMD位置情報に応じて、3D画像取得部71からの3D画像40を編集する。より詳しくは、3D画像編集部85は、HMD位置情報で示されるHMD11の位置から見た場合の向きおよび大きさとなるよう、3D画像40に回転処理および拡縮処理を施す。位置情報はユーザ14A~14C毎に出力される。3D画像編集部85は、ユーザ14A~14C毎の位置情報に基づいて、ユーザ14A~14C毎に対応する3D画像40を編集する。3D画像編集部85は、編集した3D画像40を、処理結果として表示制御部74に出力する。また、3D画像編集部85は、判定部83からの甲位置情報に応じた層位置情報を判定部83に出力する。
なお、処理部73も、検出部72と同様に、第1ジェスチャーおよび第2ジェスチャー以外のジェスチャーに応じた処理、例えば開腹手術のモードと選択層の透過率を変更するモードを切り替える等の処理を施す処理部をもつ。
図9において、第1ジェスチャーは、手37を深さ方向に移動させるジェスチャーである。より詳しくは、指38を3D画像40上の所望の位置(図9では臍付近の位置)に向けた状態の手37を、深さ方向に沿って所望の位置の上方から下方に振り下ろすジェスチャーである。
第1検出部80は、周知の画像認識技術を用いて撮像画像内の手37の甲90およびマーカー39を認識する。そして、マーカー39の中心を原点とする三次元空間における甲90の位置座標(X-BH、Y-BH、Z-BH)を甲位置情報として検出する。なお、マーカー39の中心を原点とする三次元空間とは、マーカー39の中心を原点とし、マーカー39が置かれた平面(この場合は手術台36の上面)をXY平面、マーカー39が置かれた平面に垂直な軸をZ軸とする三次元空間である。
手37のイラストで示すように、ユーザ14が3D画像40に向けて自然に腕を伸ばした場合、カメラ29には手の平が対向する。このため破線で示すように、撮像画像には実際には甲90は写らない。そこで、第1検出部80は、撮像画像に写る手の平の指38の付け根部分を甲90として認識する。
ここで、甲位置情報を検出する際に第1検出部80が参照する第1対応情報66は、マーカー39の中心を原点とする三次元空間における甲90の位置座標を求めるための計算式である。この計算式は、例えば、撮像画像内におけるマーカー39を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置、並びに手37の大きさや指38の長さ等を変数とする。なお、図9では拡張現実空間ARSを示しているため、3D画像40内に入り込んだ指38の部分が描かれておらず、また、マーカー39が破線で描かれているが、撮像画像には指38の全体もマーカー39も写り込んでいる。
3D画像40上に破線で示す符号87は、甲位置情報で示される甲90の位置を基準として予め設定されたもので、選択層の透過率を変更する対象となる領域である。以下、この領域を対象領域87と表記する。対象領域87は、腹部の大部分をカバーする大きさであり、深さ方向に沿って四角柱状に設定されている。
図10において、3D画像編集部85から判定部83に出力される層位置情報は、甲位置情報と同様に、マーカー39の中心を原点とする三次元空間における各層の位置座標である。例えば皮膚46の位置座標は(X-SA、Y-SA、Z-SA)である。この位置座標は、対象領域87内の各層の位置座標の集合である。例えば皮膚46の位置座標(X-SA、Y-SA、Z-SA)は、対象領域87内の皮膚46の複数の位置座標(X-S1、Y-S1、Z-S1)、(X-S2、Y-S2、Z-S2)、(X-S3、Y-S3、Z-S3)、・・・の集合である。
各層は深さ方向に厚みをもっているため、各層のZ座標は、当該層の上面側と下面側のZ座標を少なくとも含む。つまり、各層のZ座標は各層の深さ方向の範囲を表すものである。
判定部83は、甲90と深さ方向の位置が一致する層を選択層と判定する。図10では、第1検出部80からの甲位置情報のZ座標(Z-BH)と、3D画像編集部85からの層位置情報の皮膚46のZ座標(Z-SA)とが一致する(Z-BHがZ-SAで示される皮膚46の範囲内にある)ため、皮膚46を選択層と判定した場合を例示している。なお、肝臓50A等の内臓50の場合は、Z座標だけでなく、甲位置情報と層位置情報のXY座標が一致するか否かも加味して判定が行われる。
図11は、図10で例示した、皮膚を選択層と判定した場合の、実際の甲90の位置と皮膚46の位置関係を端的に表したものである。このように、皮膚46と甲90の深さ方向の位置が一致するため、判定部83で皮膚46が選択層と判定される。
図12において、第2対応情報67は、指38の回転方向と、透過率の変動方向および透過率の単位変動幅との対応関係を示すものである。ここでは、甲90を支点として指38を時計回りに回転させるジェスチャーを、透過率を上げるジェスチャーに、甲90を支点として指38を反時計回りに回転させるジェスチャーを、透過率を下げるジェスチャーにそれぞれ対応させている。単位変動幅は、指38の単位回転量(例えば指38の1回転分)に対する透過率の変動幅である。時計回りの場合には+10%が、反時計回りの場合は-10%がそれぞれ対応付けられている。
左側の2コマのイラストは、それぞれの回転方向に回転させた場合の撮像画像に写る指38の軌跡である。上のコマは指38を時計回りに回転させた場合、下のコマは反時計回りに回転させた場合である。双方の場合とも甲90は回転の支点であるため、指38を回転させても甲90の位置は変化しない。
第2検出部81は、第1検出部80と同じく、周知の画像認識技術を用いて撮像画像内の指38を認識し、認識した指38の位置を所定フレーム毎に比較して、指38の回転方向および回転量を検出する。そして、第2対応情報67を参照して、検出した指38の回転方向および回転量を指示情報に変換する。例えば図13に示すように、指38が時計回りに2回転したことを検出した場合は、透過率を20%上げる指示情報に変換する。なお、初期段階においては、全ての層の透過率が0%に設定される。
第3検出部82も他の検出部80、81と同じく、周知の画像認識技術を用いて撮像画像内のマーカー39を認識する。そして、マーカー39を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を検出し、これらと第3対応情報68とに基づいて、HMD位置情報を検出する。
HMD位置情報は、甲位置情報および層位置情報と同様に、マーカー39の中心を原点とする三次元空間におけるHMD11の位置座標である。また、第3対応情報68は、マーカー39の中心を原点とする三次元空間におけるHMD11の位置座標を求めるための計算式である。この計算式は、例えば、マーカー39を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を変数とする。
表示制御部74は、判定部83からの選択層情報、および受付部84からの指示情報に応じて、3D画像編集部85からの3D画像40の選択層の透過率を変更する。例えば図14に示すように、選択層が皮膚46で、第2ジェスチャーの指38の回転方向が時計回り、回転量が10回転であった場合、表示制御部74は、矢印下部に示すように、対象領域87における皮膚46の透過率を100%とし、対象領域87において皮膚46の下の層である皮下組織47の層を露呈させる。なお、図14では皮膚46の透過率を変更する例を挙げたが、他の層についても同様に透過率が変更される。
また、表示制御部74は、判定部83からの選択層情報に応じて、選択層の場合とそうでない場合とで層の表示態様を異ならせる。例えば図15に示すように、皮膚46、皮下組織47、筋組織48、骨49の各層の透過率が100%に変更され、肝臓50A、胃50B等の複数の内臓50が視認可能な状態において、肝臓50Aが選択層とされた場合、表示制御部74は、ハッチングで示すように肝臓50Aに対して選択層でない場合と異なる色付けをする。例えば肝臓50Aの色を、選択層でない場合の赤褐色から黄色に変更する。なお、色を異ならせる方法に代えて、あるいは加えて、選択層の明るさや色の濃度を選択層でない場合と異ならせてもよく、選択層を明滅させてもよい。
さらに、表示制御部74は、選択層が他の層で覆い隠されていて、選択層をユーザ14が視認不可能な場合、図16に示すように選択層の名称を示すアノテーション95を表示させる。図16は、皮膚46の透過率が0%で、内臓50が皮膚46で覆い隠されて視認不可能な状態において、肝臓50Aが選択層とされた場合を例示している。この場合、アノテーション95には「肝臓」の文字が表示される。なお、図15および図16では、煩雑を避けるため内臓50として肝臓50Aと胃50Bの2つだけ描画しているが、実際には他の内臓50も表示される。
以下、上記構成による作用について、図17および図18のフローチャートを参照して説明する。まず、ユーザ14A~14Cは、カンファレンスを開くために手術室35に集まり、HMD11A~11Cを頭部に装着する。そして、手術台36の所望の位置にマーカー39を載置する。次いで、制御装置12の入力デバイス16を操作し、対象患者の3D画像40の配信要求を画像蓄積サーバ19に送信する。これにより、画像蓄積サーバ19から制御装置12に対象患者の3D画像40が配信される。
図17に示すように、制御装置12において、対象患者の3D画像40は3D画像取得部71で取得される(ステップS10)。3D画像40は表示制御部74を介してHMD11に表示される(ステップS11、表示制御ステップ)。
ユーザ14は、例えば患部を詳細に把握するために3D画像40に近付いたり、全体像を把握するために3D画像40から遠ざかったりする。あるいは、ユーザ14は、患部を違った角度から観察するために、顔の向きや立ち位置を変える。また、ユーザ14は、3D画像40に対してジェスチャーで様々な処理を施す。
制御装置12では、撮像画像取得部70で取得したカメラ29の撮像画像に基づいて、HMD11の位置、およびジェスチャーが検出部72で検出される(ステップS12)。そして、検出結果に応じた処理が処理部73で施される(ステップS13)。例えば第3検出部82でマーカー39に対するHMD11の三次元的な位置が検出され、その検出結果であるHMD位置情報に応じて、3D画像編集部85で3D画像40が編集される。
これらステップS11~S13の各処理は、入力デバイス16を介してカンファレンス終了の指示が入力されるまで(ステップS14でYES)繰り返し続けられる。
図18のフローチャートは、選択層の透過率を変更するモードの処理手順を示す。まず、第1検出部80で第1ジェスチャーが検出された場合(ステップS100でYES、第1検出ステップ)、図9で示したように、第1検出部80から判定部83に、マーカー39に対する手37の甲90の三次元的な位置を示す甲位置情報が出力される。
判定部83では、図10で示したように、第1検出部80からの甲位置情報と3D画像編集部85からの層位置情報とに基づき、選択層が判定される(ステップS110、判定ステップ)。選択層情報は表示制御部74に出力される。
続いて第2検出部81で第2ジェスチャーが検出された場合(ステップS120でYES、第2検出ステップ)、図12および図13で示したように、第2対応情報67が参照されて第2ジェスチャーが指示情報に変換される。指示情報は受付部84に出力される。
受付部84では、第2検出部81からの指示情報が受け付けられる(ステップS130、受付ステップ)。指示情報は表示制御部74に出力される。
表示制御部74では、判定部83からの選択層情報、および受付部84からの指示情報に応じて、図14で示したように3D画像40の選択層の透過率が変更される(ステップS140)。また、図15で示したように、選択層がそうでない場合と異なる表示態様で表示される。さらに、図16で示したように、選択層の名称を示すアノテーション95が表示される。
これら一連の処理は、ユーザ14から選択層の透過率を変更するモードを終了する指示があるまで(ステップS150でYES)、繰り返し続けられる。なお、選択層の透過率を変更するモードを終了する指示は、第1ジェスチャーおよび第2ジェスチャーとは異なる、例えば両手でバツ印を作るといったジェスチャーにより行われる。
選択層に対する指示を行うための指38を回す第2ジェスチャーで位置が変化しない甲90の位置を基準として選択層を判定するので、選択層に対する指示を選択層の選択と誤認識してしまうおそれがない。また、選択層を選択するためのジェスチャーを、手37を深さ方向に移動させる第1ジェスチャーとし、選択層に対する指示を行うためのジェスチャーを、指38を回す第2ジェスチャーとしたので、片方の手37だけで素早く簡単に選択層の選択と選択層に対する指示とを行うことができる。したがって、ユーザ14の利便性を高めることができる。
選択層の場合とそうでない場合とで層の表示態様を異ならせるので、ユーザ14は自分が今どの層を選択しているかが一目で分かる。また、選択層の名称を示すアノテーション95を表示させるので、選択層をユーザ14が視認不可能な場合でも、ユーザ14に選択層がどの層かを知覚させることができる。
3D画像40の現実空間における表示位置が固定されているので、ユーザ14は、3D画像40をあたかも実在オブジェクトのように認識することができる。このため、対象患者が手術台36に実際に寝ているような感覚でカンファレンスを行うことができる。
上記第1実施形態では、選択層が他の層で覆い隠されていて、選択層をユーザ14が視認不可能な場合にアノテーション95を表示させているが、選択層をユーザ14が視認可能か不可能かに関わらず、アノテーション95を表示させてもよい。例えば全ての層の透過率が0%に設定された初期段階において、皮膚46が選択層とされた場合も、「皮膚」の文字が記されたアノテーション95を表示する。また、表示態様を異ならせることによる選択層の表示と、選択層の名称を示すアノテーション95の表示とを同時に行ってもよい。
[第2実施形態]
上記第1実施形態では、甲90と深さ方向の位置が一致する層を選択層と判定している。この場合、図9や図11等に示すように、指38が層内に入り込んで見えなくなる。このため、ユーザ14によっては、選択層よりも奥側の層を選択している感覚であるのに、手前側の層が選択層とされるので違和感を覚える場合がある。そこで、図19および図20に示す第2実施形態では、指38の先が触れている層が選択されているように見せて、ユーザ14が違和感を抱くおそれを除く。
上記第1実施形態では、甲90と深さ方向の位置が一致する層を選択層と判定している。この場合、図9や図11等に示すように、指38が層内に入り込んで見えなくなる。このため、ユーザ14によっては、選択層よりも奥側の層を選択している感覚であるのに、手前側の層が選択層とされるので違和感を覚える場合がある。そこで、図19および図20に示す第2実施形態では、指38の先が触れている層が選択されているように見せて、ユーザ14が違和感を抱くおそれを除く。
具体的には図19に示すように、第1検出部80は、甲位置情報のZ座標(Z-BH)から指38の長さFLを加算あるいは減算することで、指38の先のZ座標(Z-EFT)を算出する。つまり、甲90の位置を基準として、甲90から指先方向へ一定の距離の位置にある層が選択される。甲位置情報のZ座標(Z-BH)から指38の長さFLを加算するか減算するかは、原点の位置によって決まる。指38の長さFLには、例えば成人男性の平均的な値が登録されている。第1検出部80は、甲位置情報の代わりに、算出したZ-EFTをZ座標とする推定指先位置情報(XY座標は甲位置情報と同じ)を判定部83に出力する。
判定部83は、第1検出部80からの推定指先位置情報と3D画像編集部85からの層位置情報とに基づいて選択層の判定を行う。判定部83は、甲90から推定される指38の先と深さ方向の位置が一致する層を選択層と判定する。図19では、第1検出部80からの推定指先位置情報のZ座標(Z-EFT)と、3D画像編集部85からの層位置情報の皮膚46のZ座標(Z-SA)とが一致する(Z-EFTがZ-SAで示される皮膚46の範囲内にある)ため、皮膚46を選択層と判定した場合を例示している。
この場合、図20に示すように、上記第1実施形態の甲90ではなく、甲90から推定した指38の先97と深さ方向の位置が一致する皮膚46が、判定部83で選択層と判定される。このように、ユーザ14の見た目では、指38の先97が触れた層が選択層とされるので、ユーザ14が違和感を抱くおそれがない。また、判定の基準はあくまでも甲90であるため、上記第1実施形態と同じく、選択層に対する指示を選択層の選択と誤認識してしまうおそれもない。
指38の長さFLは、成人男性の平均的な値といった定数に限らない。撮像画像内の手37の大きさや向き等を変数とする計算式で指38の長さFLを求めてもよい。また、指38の先97のZ座標(Z-EFT)だけでなく、XY座標も同様にして推定してもよい。
[第3実施形態]
図21に示す第3実施形態では、手37と3D画像40との距離感をユーザ14が掴みやすくする。具体的には、層と手37との深さ方向に関する距離に応じて、層の色を変化させる。
図21に示す第3実施形態では、手37と3D画像40との距離感をユーザ14が掴みやすくする。具体的には、層と手37との深さ方向に関する距離に応じて、層の色を変化させる。
層と手37との深さ方向に関する距離は、甲位置情報のZ座標(Z-BH)から層位置情報の層の上面のZ座標を減算することで算出される。この距離の算出は判定部83で行われ、算出した距離の情報(以下、距離情報)は表示制御部74に出力される。表示制御部74は、判定部83からの距離情報に基づいて、例えば距離が近付くにつれて層の色を濃くする。
図21は、手37との深さ方向に関する距離に応じて対象領域87内の皮膚46の色を変化させる様子を示す。A矢印の左側においては、皮膚46と手37との深さ方向に関する距離が、中央およびB矢印の右側と比較して最も離れている。このため、粗いハッチングで示すように、対象領域87内の皮膚46が例えば淡い橙色で色付けされる。A矢印の左側よりも距離が近付いた中央では、A矢印の左側よりも濃い橙色で色付けされる。そして、甲90と皮膚46の深さ方向の位置が一致し、皮膚46が選択層と判定されたB矢印の右側では、中央よりもさらに濃い橙色で色付けされる。
このように、層と手37との深さ方向に関する距離に応じて、層の色を変化させるので、ユーザ14は手37と3D画像40との距離感が掴みやすい。したがって、よりユーザの利便性を高めることができる。
なお、図21では、手37との深さ方向に関する距離に応じて皮膚46の色を変化させる例を挙げたが、手37との深さ方向に関する距離に応じて色を変化させる層は皮膚46に限らない。ユーザ14が視認可能で、かつ最も外側の層であれば、皮膚46以外の層も手37との深さ方向に関する距離に応じて色を変化させる。例えば皮膚46等の透過率が50%(半透明)で内臓50が透けて見えている状態の場合は、内臓50が視認可能な状態であるため、手37との深さ方向に関する距離に応じて内臓50の色を変化させる。
[第4実施形態]
上記各実施形態では、第2ジェスチャーとして指38を回すジェスチャーを例示し、受付部84で受け付ける指示として、選択層の透過率を変更する指示を例示したが、本発明はこれに限定されない。図22および図23に示す第4実施形態では、第2ジェスチャーを、指38をタップするジェスチャーとし、受付部84で受け付ける指示を、選択層に注釈を与える指示とする。
上記各実施形態では、第2ジェスチャーとして指38を回すジェスチャーを例示し、受付部84で受け付ける指示として、選択層の透過率を変更する指示を例示したが、本発明はこれに限定されない。図22および図23に示す第4実施形態では、第2ジェスチャーを、指38をタップするジェスチャーとし、受付部84で受け付ける指示を、選択層に注釈を与える指示とする。
図22において、第4実施形態の第2ジェスチャーである指38をタップするジェスチャーは、甲90を支点として指38を甲90側に反らせた後に元の位置に戻すというものである。この指38をタップするジェスチャーも、上記各実施形態の指38を回すジェスチャーと同じく、甲90の位置が変化しない。このため、上記各実施形態と同じく、選択層に対する指示を選択層の選択と誤認識してしまうおそれがない。
第2検出部81は、指38をタップするジェスチャーを検出した場合、選択層に注釈を与える旨の指示情報を受付部84に出力する。受付部84はこの選択層に注釈を与える旨の指示情報を表示制御部74に出力する。表示制御部74は、図23に示すように、選択層(ここでは肝臓50A)に対して注釈(ここでは「肝右葉腫大」)が記されたアノテーション100を表示させる。なお、注釈は、例えばHMD11に搭載したマイクでユーザ14の音声を収録し、収録した音声を認識して文字に変換することで入力する。
このように、第2ジェスチャーは、選択層の判定の基準となる甲90の位置が変化しないものであれば、指38を回すジェスチャー以外でもよい。図22では指38を1回タップするシングルタップを例示したが、指38を連続して2回タップするダブルタップを第2ジェスチャーとしてもよい。また、受付部84で受け付ける指示も、選択層の透過率を変更する指示、選択層に注釈を与える指示に限らない。選択層上の2点間の距離を測定する指示等でもよい。
さらに、選択層の透過率を変更するのではなく、選択層以外の他の層の透過率を変更してもよい。例えば選択層が肝臓50Aであった場合、肝臓50A以外の他の層の皮膚46、皮下組織47、筋組織48、骨49、および他の内臓50の透過率をまとめて変更する。こうすれば、選択層だけを視認したい場合に、他の層の透過率を一気に100%に変更することができ好適である。選択層の透過率を変更するか、選択層以外の他の層の透過率を変更するかをユーザ14が切り替え可能な構成としてもよい。
カメラ29の撮像画像と3D画像40の合成画像内の手37の甲90と3D画像40との位置関係に基づいて、甲位置情報を検出してもよい。
対象領域87は上記各実施形態のように四角柱状に限らない。例えば甲90を中心とする円あるいは楕円を面とする円柱あるいは楕円柱形状でもよい。
HMD11は、上記各実施形態のようにゴーグル形状の保護枠27でユーザ14の両目全体を覆い、バンド部26をユーザ14の頭部に固定するタイプに限らない。ユーザ14の耳にかけるテンプル、目頭の下部に当たる鼻当て、スクリーンを保持するリム等を有する眼鏡タイプのHMDを用いてもよい。
カメラ29はHMD11に搭載されていなくてもよい。少なくともユーザ14の手37を撮像可能であれば、カメラ29の設置位置は問わない。このため、カメラ29は、ユーザ14がHMD11を通じて認識する拡張現実空間ARSと同じ視野を撮像するものでなくともよい。例えばカメラ29を、処理権限を与えられたユーザ14の手37の甲90が写り込む、手術室35の任意の位置に設置してもよい。
上記各実施形態では、ユーザ14を3人としたが、ユーザ14は1人でも2人でもよく、3人以上でもよい。
上記各実施形態では、マーカー39で仮想オブジェクトの出現位置を規定する手法を用いているが、マーカー39を用いずに、設定された特定の実在オブジェクトに仮想オブジェクトを出現させる手法を採用してもよい。この場合、撮像画像に写る特定の実在オブジェクトを画像認識技術により認識し、認識した特定の実在オブジェクトをマーカー39に見立てて、特定の実在オブジェクト上に仮想オブジェクトを表示させる。
上記各実施形態では、HMD11の制御装置の機能をデスクトップ型のパーソナルコンピュータに担わせているが、本発明はこれに限定されない。画像蓄積サーバ19がHMD11の制御装置の機能の全てまたは一部を担ってもよい。例えば3D画像編集部85の機能を画像蓄積サーバ19が担う。この場合は画像蓄積サーバ19からHMD11に3D画像をストリーミング配信してもよい。
あるいは、図24に示すように、画像蓄積サーバ19とは別のネットワークサーバ105がHMD11の制御装置の機能を担ってもよい。さらには、医療施設13内に設置されたローカルサーバがHMD11の制御装置の機能を担ってもよい。画像蓄積サーバ19も医療施設13内にローカルサーバとして設置されていてもよい。
もしくは、図25に示すように、ユーザ14が腰等に付けて携帯可能な携帯コンピュータ110にHMD11の制御装置の機能を担わせてもよい。この場合、HMD11の制御装置の機能を担うコンピュータを、制御装置12のような市販のパーソナルコンピュータではなく、画像表示システム10に特化した専用の製品としてもよい。また、HMD11自体に制御装置の機能を搭載してもよい。この場合はHMD11自体が制御装置となる。
このように、本発明のHMD11の制御装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。HMD11の制御装置を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、撮像画像取得部70および検出部72の機能と、3D画像取得部71、処理部73、および表示制御部74の機能とを、2台のコンピュータに分散して担わせる。この場合は2台のコンピュータでHMD11の制御装置を構成する。
以上のように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム65等のAPについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
3D画像40は、対象患者の上半身の仰向けの画像に限らない。全身の仰向けの画像でもよいし、頭部等の他の部位の画像でもよい。また、層としては、上記各実施形態で例示した皮膚46、皮下組織47等に代えて、あるいは加えて、血管組織、神経組織等でもよい。
上記各実施形態では、画像表示システム10の用途として医療施設13内で行われる術前カンファレンスを例示し、仮想オブジェクトとして3D画像40を例示したが、画像表示システム10の用途は術前カンファレンスに限定されず、したがって仮想オブジェクトも3D画像40に限定されない。例えば画像表示システム10の用途をゲーム用途とし、ゲームのキャラクター等を仮想オブジェクトとして表示してもよい。
上記各実施形態において、例えば、撮像画像取得部70、3D画像取得部71、検出部72(第1検出部80、第2検出部81、第3検出部82)、処理部73(判定部83、受付部84、3D画像編集部85)、表示制御部74といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
各種のプロセッサには、CPU、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、専用電気回路等が含まれる。CPUは、周知のとおりソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサである。PLDは、FPGA(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
上記記載から、以下の付記項1に記載の画像表示システムを把握することができる。
[付記項1]
ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
前記ユーザの手を前記深さ方向に移動させる第1ジェスチャーを検出する第1検出プロセッサと、
前記手の指を用いた第2ジェスチャーを検出する第2検出プロセッサと、
前記第1ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定プロセッサであり、前記手の甲の位置を基準とした前記判定を行う判定プロセッサと、
前記第2ジェスチャーに応じた前記選択層に対する指示を受け付ける受付プロセッサとを備える画像表示システム。
[付記項1]
ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
前記ユーザの手を前記深さ方向に移動させる第1ジェスチャーを検出する第1検出プロセッサと、
前記手の指を用いた第2ジェスチャーを検出する第2検出プロセッサと、
前記第1ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定プロセッサであり、前記手の甲の位置を基準とした前記判定を行う判定プロセッサと、
前記第2ジェスチャーに応じた前記選択層に対する指示を受け付ける受付プロセッサとを備える画像表示システム。
本発明は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。例えば、第1実施形態と第4実施形態、あるいは第2実施形態と第3実施形態を複合して実施してもよい。また、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
10 画像表示システム
11、11A~11C ヘッドマウントディスプレイ(HMD)
12 制御装置
13 医療施設
14、14A~14C ユーザ
15 ディスプレイ
16 入力デバイス
17 ネットワーク
18 データセンタ
19 画像蓄積サーバ
25 本体部
26 バンド部
27 保護枠
28 スクリーン
29 カメラ
30 ケーブル
31 横バンド
32 縦バンド
35 手術室
36 手術台
37、37A、37B、37C 手
38、38A 指
39 マーカー
40 三次元ボリュームレンダリング画像(3D画像)
45 CTスキャン画像
46 皮膚
47 皮下組織
48 筋組織
49 骨
50 内臓
50A 肝臓
50B 胃
50C 脾臓
55 ストレージデバイス
56 メモリ
57 CPU
58 通信部
59 データバス
65 作動プログラム
66 第1対応情報
67 第2対応情報
68 第3対応情報
70 撮像画像取得部
71 3D画像取得部
72 検出部
73 処理部
74 表示制御部
80 第1検出部
81 第2検出部
82 第3検出部
83 判定部
84 受付部
85 3D画像編集部
87 対象領域
90 甲
95、100 アノテーション
97 指の先
105 ネットワークサーバ(制御装置)
110 携帯コンピュータ(制御装置)
ARS、ARS-A~ARS-C 拡張現実空間
RS、RS-A 現実空間
VS、VS-A 仮想空間
S10~S14、S100~S150 ステップ
11、11A~11C ヘッドマウントディスプレイ(HMD)
12 制御装置
13 医療施設
14、14A~14C ユーザ
15 ディスプレイ
16 入力デバイス
17 ネットワーク
18 データセンタ
19 画像蓄積サーバ
25 本体部
26 バンド部
27 保護枠
28 スクリーン
29 カメラ
30 ケーブル
31 横バンド
32 縦バンド
35 手術室
36 手術台
37、37A、37B、37C 手
38、38A 指
39 マーカー
40 三次元ボリュームレンダリング画像(3D画像)
45 CTスキャン画像
46 皮膚
47 皮下組織
48 筋組織
49 骨
50 内臓
50A 肝臓
50B 胃
50C 脾臓
55 ストレージデバイス
56 メモリ
57 CPU
58 通信部
59 データバス
65 作動プログラム
66 第1対応情報
67 第2対応情報
68 第3対応情報
70 撮像画像取得部
71 3D画像取得部
72 検出部
73 処理部
74 表示制御部
80 第1検出部
81 第2検出部
82 第3検出部
83 判定部
84 受付部
85 3D画像編集部
87 対象領域
90 甲
95、100 アノテーション
97 指の先
105 ネットワークサーバ(制御装置)
110 携帯コンピュータ(制御装置)
ARS、ARS-A~ARS-C 拡張現実空間
RS、RS-A 現実空間
VS、VS-A 仮想空間
S10~S14、S100~S150 ステップ
Claims (13)
- ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記ユーザの手を前記深さ方向に移動させる第1ジェスチャーを検出する第1検出部と、
前記手の指を用いた第2ジェスチャーを検出する第2検出部と、
前記第1ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定部であり、前記手の甲の位置を基準とした前記判定を行う判定部と、
前記第2ジェスチャーに応じた前記選択層に対する指示を受け付ける受付部とを備える画像表示システム。 - 前記判定部は、前記手の甲と前記深さ方向の位置が一致する前記層を前記選択層と判定する請求項1に記載の画像表示システム。
- 前記判定部は、前記手の甲から推定される前記指の先と前記深さ方向の位置が一致する前記層を前記選択層と判定する請求項1に記載の画像表示システム。
- 前記表示制御部は、前記選択層の場合とそうでない場合とで前記層の表示態様を異ならせる請求項1ないし3のいずれか1項に記載の画像表示システム。
- 前記表示制御部は、前記選択層の名称を示すアノテーションを表示させる請求項1ないし4のいずれか1項に記載の画像表示システム。
- 前記表示制御部は、前記層と前記手との前記深さ方向に関する距離に応じて、前記層の色を変化させる請求項1ないし5のいずれか1項に記載の画像表示システム。
- 前記第2ジェスチャーは、前記指を回す、または前記指をタップするジェスチャーである請求項1ないし6のいずれか1項に記載の画像表示システム。
- 前記受付部は、前記指示として、前記選択層の透過率を変更する指示を受け付ける請求項1ないし7のいずれか1項に記載の画像表示システム。
- 前記仮想オブジェクトは、前記現実空間における表示位置が固定されている請求項1ないし8のいずれか1項に記載の画像表示システム。
- 前記仮想オブジェクトは、人体の三次元ボリュームレンダリング画像である請求項1ないし9のいずれか1項に記載の画像表示システム。
- ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置において、
複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記ユーザの手を前記深さ方向に移動させる第1ジェスチャーを検出する第1検出部と、
前記手の指を用いた第2ジェスチャーを検出する第2検出部と、
前記第1ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定部であり、前記手の甲の位置を基準とした前記判定を行う判定部と、
前記第2ジェスチャーに応じた前記選択層に対する指示を受け付ける受付部とを備えるヘッドマウントディスプレイの制御装置。 - ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置の作動方法において、
複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御ステップと、
前記ユーザの手を前記深さ方向に移動させる第1ジェスチャーを検出する第1検出ステップと、
前記手の指を用いた第2ジェスチャーを検出する第2検出ステップと、
前記第1ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定ステップであり、前記手の甲の位置を基準とした前記判定を行う判定ステップと、
前記第2ジェスチャーに応じた前記選択層に対する指示を受け付ける受付ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。 - ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、
複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御機能と、
前記ユーザの手を前記深さ方向に移動させる第1ジェスチャーを検出する第1検出機能と、
前記手の指を用いた第2ジェスチャーを検出する第2検出機能と、
前記第1ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定機能であり、前記手の甲の位置を基準とした前記判定を行う判定機能と、
前記第2ジェスチャーに応じた前記選択層に対する指示を受け付ける受付機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17827338.9A EP3486751A1 (en) | 2016-07-12 | 2017-06-19 | Image display system, head-mounted display control device, and operating method and operating program for same |
CN201780043412.5A CN109478092A (zh) | 2016-07-12 | 2017-06-19 | 图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序 |
JP2018527466A JP6706323B2 (ja) | 2016-07-12 | 2017-06-19 | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム |
US16/244,489 US20190146653A1 (en) | 2016-07-12 | 2019-01-10 | Image display system, and control apparatus for head-mounted display and operation method therefor |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-137814 | 2016-07-12 | ||
JP2016137814 | 2016-07-12 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/244,489 Continuation US20190146653A1 (en) | 2016-07-12 | 2019-01-10 | Image display system, and control apparatus for head-mounted display and operation method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018012207A1 true WO2018012207A1 (ja) | 2018-01-18 |
Family
ID=60952870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/022489 WO2018012207A1 (ja) | 2016-07-12 | 2017-06-19 | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190146653A1 (ja) |
EP (1) | EP3486751A1 (ja) |
JP (1) | JP6706323B2 (ja) |
CN (1) | CN109478092A (ja) |
WO (1) | WO2018012207A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019139306A (ja) * | 2018-02-06 | 2019-08-22 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2021526701A (ja) * | 2018-05-29 | 2021-10-07 | センティエーアール インコーポレイテッド | 拡張現実環境内の使い捨てステッカー |
CN114138117A (zh) * | 2021-12-06 | 2022-03-04 | 塔普翊海(上海)智能科技有限公司 | 一种基于虚拟现实场景的虚拟键盘输入方法及系统 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10712835B2 (en) * | 2016-10-06 | 2020-07-14 | Htc Corporation | System and method for detecting hand gesture |
WO2019045144A1 (ko) * | 2017-08-31 | 2019-03-07 | (주)레벨소프트 | 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법 |
JP7119398B2 (ja) * | 2018-02-06 | 2022-08-17 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP6675136B1 (ja) * | 2019-06-20 | 2020-04-01 | パルス株式会社 | 仮想空間提供システム、仮想空間提供方法及びプログラム |
US11270114B2 (en) * | 2019-08-30 | 2022-03-08 | Lg Electronics Inc. | AR device and method for controlling the same |
CN116261850A (zh) * | 2020-06-30 | 2023-06-13 | 斯纳普公司 | 用于实时虚拟效果的骨骼跟踪 |
EP4197180A1 (en) * | 2020-08-13 | 2023-06-21 | Snap Inc. | User interface for pose driven virtual effects |
CN112035028A (zh) * | 2020-09-15 | 2020-12-04 | Oppo广东移动通信有限公司 | 界面控制方法、界面控制装置、存储介质与电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003099808A (ja) * | 2001-09-25 | 2003-04-04 | Gtv:Kk | 画像処理装置、バーチャル手術装置、画像処理機能をコンピュータに実現させるためのプログラム、および画像処理システム |
WO2010073928A1 (ja) * | 2008-12-22 | 2010-07-01 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP2010200894A (ja) * | 2009-03-02 | 2010-09-16 | Tadashi Ukimura | 手術支援システム及び手術ロボットシステム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011081480A (ja) * | 2009-10-05 | 2011-04-21 | Seiko Epson Corp | 画像入力システム |
JP5711962B2 (ja) * | 2010-12-27 | 2015-05-07 | 株式会社ソニー・コンピュータエンタテインメント | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 |
CN103472909B (zh) * | 2012-04-10 | 2017-04-12 | 微软技术许可有限责任公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
US9142185B2 (en) * | 2012-08-30 | 2015-09-22 | Atheer, Inc. | Method and apparatus for selectively presenting content |
US9983779B2 (en) * | 2013-02-07 | 2018-05-29 | Samsung Electronics Co., Ltd. | Method of displaying menu based on depth information and space gesture of user |
WO2014162762A1 (ja) * | 2013-04-02 | 2014-10-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US20150277700A1 (en) * | 2013-04-12 | 2015-10-01 | Usens, Inc. | System and method for providing graphical user interface |
CN103246351B (zh) * | 2013-05-23 | 2016-08-24 | 刘广松 | 一种用户交互系统和方法 |
JP6090140B2 (ja) * | 2013-12-11 | 2017-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR102210633B1 (ko) * | 2014-07-09 | 2021-02-02 | 엘지전자 주식회사 | 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법 |
JP6428020B2 (ja) * | 2014-07-24 | 2018-11-28 | セイコーエプソン株式会社 | Gui装置 |
CN104820584B (zh) * | 2015-01-07 | 2020-12-22 | 合肥工业大学 | 一种面向层次化信息自然操控的3d手势界面的构建方法及系统 |
-
2017
- 2017-06-19 JP JP2018527466A patent/JP6706323B2/ja active Active
- 2017-06-19 EP EP17827338.9A patent/EP3486751A1/en not_active Ceased
- 2017-06-19 WO PCT/JP2017/022489 patent/WO2018012207A1/ja unknown
- 2017-06-19 CN CN201780043412.5A patent/CN109478092A/zh active Pending
-
2019
- 2019-01-10 US US16/244,489 patent/US20190146653A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003099808A (ja) * | 2001-09-25 | 2003-04-04 | Gtv:Kk | 画像処理装置、バーチャル手術装置、画像処理機能をコンピュータに実現させるためのプログラム、および画像処理システム |
WO2010073928A1 (ja) * | 2008-12-22 | 2010-07-01 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP2010200894A (ja) * | 2009-03-02 | 2010-09-16 | Tadashi Ukimura | 手術支援システム及び手術ロボットシステム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3486751A4 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019139306A (ja) * | 2018-02-06 | 2019-08-22 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2021526701A (ja) * | 2018-05-29 | 2021-10-07 | センティエーアール インコーポレイテッド | 拡張現実環境内の使い捨てステッカー |
JP7105996B2 (ja) | 2018-05-29 | 2022-07-25 | センティエーアール インコーポレイテッド | 拡張現実環境内の使い捨てステッカー |
CN114138117A (zh) * | 2021-12-06 | 2022-03-04 | 塔普翊海(上海)智能科技有限公司 | 一种基于虚拟现实场景的虚拟键盘输入方法及系统 |
CN114138117B (zh) * | 2021-12-06 | 2024-02-13 | 塔普翊海(上海)智能科技有限公司 | 一种基于虚拟现实场景的虚拟键盘输入方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3486751A4 (en) | 2019-05-22 |
CN109478092A (zh) | 2019-03-15 |
US20190146653A1 (en) | 2019-05-16 |
JPWO2018012207A1 (ja) | 2019-06-13 |
EP3486751A1 (en) | 2019-05-22 |
JP6706323B2 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018012207A1 (ja) | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム | |
JP6672458B2 (ja) | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム | |
US20220334787A1 (en) | Customization of overlaid data and configuration | |
US11786319B2 (en) | Multi-panel graphical user interface for a robotic surgical system | |
US10929656B2 (en) | Method and system of hand segmentation and overlay using depth data | |
KR102577634B1 (ko) | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 | |
JP6774367B2 (ja) | ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム | |
US8520027B2 (en) | Method and system of see-through console overlay | |
US20140068476A1 (en) | Icon operating device | |
Lin et al. | Immersive virtual reality for visualization of abdominal CT | |
US20220117662A1 (en) | Systems and methods for facilitating insertion of a surgical instrument into a surgical space | |
KR101903996B1 (ko) | 의료 영상 시뮬레이션 방법 및 그 방법을 이용한 장치 | |
US20220392173A1 (en) | Virtual enhancement of a camera image | |
Ruegger | Touchless interaction with 3D images in the operating room | |
De Paolis | Advanced navigation and augmented visualization in minimally invasive surgery | |
CN118160044A (zh) | 叠加数据和配置的定制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17827338 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018527466 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017827338 Country of ref document: EP Effective date: 20190212 |