WO2023248381A1 - 映像表示システム、映像制御方法、及び映像制御プログラム - Google Patents

映像表示システム、映像制御方法、及び映像制御プログラム Download PDF

Info

Publication number
WO2023248381A1
WO2023248381A1 PCT/JP2022/024904 JP2022024904W WO2023248381A1 WO 2023248381 A1 WO2023248381 A1 WO 2023248381A1 JP 2022024904 W JP2022024904 W JP 2022024904W WO 2023248381 A1 WO2023248381 A1 WO 2023248381A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
video
aerial
display
image
Prior art date
Application number
PCT/JP2022/024904
Other languages
English (en)
French (fr)
Inventor
勇人 菊田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/024904 priority Critical patent/WO2023248381A1/ja
Publication of WO2023248381A1 publication Critical patent/WO2023248381A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the present disclosure relates to a video display system, a video control method, and a video control program.
  • the above device has a problem in that the imaging position of the aerial image may not be an appropriate position for the observer (that is, the user of the device).
  • the present disclosure aims to display aerial images at a display position appropriate for the user.
  • the video display system of the present disclosure includes an aerial video display unit that displays an aerial video as a real image within a predetermined displayable area in a three-dimensional space, and detects a user in the vicinity of the displayable area and provides detected information.
  • a sensor unit that outputs a
  • the apparatus is characterized by comprising a control section that controls the aerial image display section so that an image is displayed.
  • Another video display system of the present disclosure includes an aerial video display unit that displays an aerial video as a real image within a predetermined displayable area in a three-dimensional space, and detects a user near the displayable area.
  • a sensor unit that outputs detection information; and a sensor unit that determines a gesture including at least one of a movement and a posture of a body part of the user based on the detection information, and a display position of the aerial image within the displayable area where the gesture is determined; control for controlling the aerial video display unit so that the aerial video is displayed at a designated display position that is the display position designated by the position designation gesture when the gesture is a predetermined position designation gesture that designates the position designation gesture; It is characterized by having a part.
  • aerial images can be displayed at a display position appropriate for the user.
  • FIG. 1 is a diagram schematically showing the configuration of a video display system according to Embodiment 1.
  • FIG. 1 is a diagram showing an example of a usage state of the video display system according to Embodiment 1.
  • FIG. (A) and (B) are diagrams illustrating examples of designated display positions that are display positions of aerial images designated by a user.
  • 1 is a block diagram schematically showing the configuration of a control unit of the video display system according to Embodiment 1.
  • FIG. 1 is a diagram showing an example of a hardware configuration of a video display system according to Embodiment 1.
  • FIG. 3 is a flowchart showing the operation of the control unit of the video display system according to the first embodiment.
  • 2 is a diagram schematically showing the configuration of a video display system according to a modification of the first embodiment.
  • FIG. 2 is a block diagram schematically showing the configuration of a control unit of a video display system according to a modification of the first embodiment.
  • FIG. 7 is a flowchart showing the operation of the control unit of the video display system according to a modification of the first embodiment.
  • 2 is a diagram schematically showing the configuration of a video display system according to a second embodiment.
  • FIG. 2 is a block diagram schematically showing the configuration of a control unit of a video display system according to a second embodiment.
  • 7 is a flowchart showing the operation of the control unit of the video display system according to the second embodiment.
  • 3 is a diagram schematically showing the configuration of a video display system according to a modification of the second embodiment.
  • FIG. 7 is a flowchart showing the operation of the control unit of the video display system according to a modification of the second embodiment.
  • (A) and (B) are diagrams showing the configuration and operation of a video display system according to a third embodiment.
  • 7 is a flowchart showing the operation of the control unit of the video display system according to Embodiment 3.
  • (A) and (B) are diagrams showing examples of size designation gestures in the video display system according to the fourth embodiment.
  • (A) and (B) are diagrams showing examples of size designation gestures in a video display system according to a modification of the fourth embodiment.
  • 7 is a flowchart showing the operation of the control unit of the video display system according to the fourth embodiment.
  • the aerial image display unit 10 displays one or more aerial images (for example, aerial images 71, 72, etc.) within a predetermined displayable area 70 in a three-dimensional space.
  • the aerial image display unit 10 includes a display unit 11 as a display device that displays images, and a real image optical system 12 that forms images displayed on the display unit 11 as aerial images 71 and 72 in a displayable area 70. have.
  • the display unit 11 is, for example, a liquid crystal display or an LED (Light Emitting Diode) display, and displays video based on input video data (eg, video content).
  • the real image optical system 12 includes a beam splitter 13, which is an optical member that reflects and transmits incident light, and a retroreflective sheet 14, which is a retroreflective member that retroreflects the light reflected by the beam splitter 13.
  • the light retroreflected by the retroreflective sheet 14 travels in the opposite direction to the traveling direction of the light incident on the retroreflective sheet 14, passes through the beam splitter 13, and forms an image within the displayable area 70.
  • the beam splitter 13 may be any optical member that can reflect and transmit light and separate the beams, and may be a half mirror, a glass plate, etc., for example.
  • the retroreflective sheet 14 may be, for example, an encapsulated lens-type reflective sheet formed by embedding the lower halves of a large number of transparent micro glass beads (i.e., microbeads) in a reflective film, or a large number of transparent microprisms. This is a microprism type reflective sheet embedded in a film.
  • the sensor unit 20 includes, for example, a camera as an imaging device or a detector that detects an object.
  • the camera of the sensor unit 20 include an infrared camera, an infrared line sensor, a stereo camera, and a visible light camera.
  • a specific example of the detector is a distance measuring sensor such as LiDAR using light, millimeter wave radar using radio waves, or sonar using sound. Note that the detector can detect the distance to the object and the shape of the object.
  • the sensor unit 20 detects one or more users (for example, users 81 and 82) near the displayable area 70 and outputs detection information (for example, a video signal, a detection signal).
  • the control unit 30 determines a gesture that includes at least one of the movement and posture of the body parts of the users 81 and 82 based on the detection information, and specifies the display position of the aerial images 71 and 72 within the region 70 in which the gesture can be displayed.
  • the gesture is a predetermined position specifying gesture
  • the aerial image display section 10 is controlled so that the aerial images 71 and 72 are displayed at the specified display position, which is the display position specified by the position specifying gesture.
  • the control unit 30 controls the control unit 30 of the aerial image display unit 10 so that the aerial images 71 and 72 are displayed at the display position specified by the position specifying gesture.
  • the control unit 30 sets video data to be displayed on the display unit 11 (for example, selects video content from a database) in order to display the aerial images 71 and 72 at designated display positions within the displayable area 70.
  • the control unit 30 is configured such that the gesture includes a first gesture by a user 81 as a first user and a second gesture by a user 82 as a second user, and both the first gesture and the second gesture are When it is determined that the gesture is a position specifying gesture that specifies the display position of the aerial images 71 and 72 within the displayable area 70, the first display position specified by the first gesture and the position specified by the second gesture are determined.
  • the aerial image display section 10 is controlled so that the aerial images 71 and 72 are displayed at the second display position, respectively.
  • the control unit 30 sets video data to be displayed on the display unit 11 in order to display the aerial images 71 and 72 at designated display positions within the displayable area 70.
  • the control unit 30 detects the skeletons of the users 81 and 82 based on the detection information, and determines whether the skeletons for determining the display position designated by the position designation gesture are in a predetermined state based on the state of the skeletons. Based on this, the display position specified by the position specifying gesture may be determined.
  • control unit 30 defines a state in which the users 81 and 82 extend their first fingers in a first direction and extend their second fingers in a second direction intersecting the first direction as a position specifying gesture. Then, control may be performed to display the aerial images 71 and 72 at designated display positions designated by the first finger and the second finger.
  • the first finger and the second finger are the index finger and the thumb, and the intersecting angle is about 90 degrees.
  • the control unit 30 determines that the facial expressions are position specifying gestures, and displays the specified position specified by the facial expressions. Control may be performed to display the aerial images 71 and 72 at the positions. Facial expressions that can be used as gestures include, for example, opening and closing of the mouth, the shape of the mouth, blinking, winking of the eyes, facial expressions, and the line of sight of the eyes.
  • FIG. 2 is a diagram showing an example of how the video display system 1 is used.
  • FIGS. 3A and 3B are diagrams showing examples of designated display positions, which are display positions of the aerial video 71 designated by the user 81.
  • users 81 and 82 extend their index fingers in the vertical direction (height direction in FIG. 2) as a first direction, and extend their other fingers, or thumbs, in a second direction that intersects with the first direction.
  • the movement of stretching in the lateral direction (horizontal direction in FIG. 2) is regarded as a position specifying gesture.
  • aerial images 71 and 72 are displayed in each of rectangular areas having a vertical side approximately parallel to the index finger and a horizontal side approximately parallel to the thumb. Therefore, the user 81 can move the aerial images 71 and 72 as shown in FIGS. 3A and 3B by changing the position of the position specifying gesture made with the index finger and thumb.
  • FIG. 5 is a diagram showing an example of the hardware configuration of the video display system 1 according to the first embodiment.
  • the video display system 1 includes a display section 11, a sensor section 20, and a control section 30.
  • the control unit 30 is, for example, a computer that can execute the display control program according to the first embodiment.
  • the control unit 30 includes a processor 101, a memory 102, and a storage device 103.
  • the processor 101 is a CPU (Central Processing Unit) or the like.
  • the memory 102 is, for example, a volatile semiconductor memory such as RAM (Random Access Memory).
  • the storage device 103 is a nonvolatile storage device such as a hard disk drive (HDD) or a solid state drive (SSD).
  • the control unit 30 may include a communication unit that communicates with other devices via a network, and an operation unit such as a keyboard that is an input interface.
  • the display control program according to the first embodiment is realized by software, firmware, or a combination of software and firmware.
  • Software and firmware are written as programs and stored in memory 102.
  • the processor 101 can realize the functions of each section shown in FIG. 4 by reading and executing the display control program stored in the memory 102.
  • the control unit 30 may be partially implemented using dedicated hardware and partially implemented using software or firmware. In this way, the processing circuit can implement the functions of each functional block shown in FIG. 1 using hardware, software, firmware, or any combination thereof.
  • FIG. 6 is a flowchart showing the operation of the control unit 30 of the video display system 1 according to the first embodiment.
  • the control unit 30 receives detection information from the sensor unit 20 (step S11), detects the three-dimensional positions of the body parts of the users 81 and 82 (step S12), and determines the visible area of the users 81 and 82. (Step S13).
  • the control unit 30 sets video data (for example, video content) (step S14), determines a gesture based on the detection information (for example, video data) received from the sensor unit 20 (step S15), and displays an aerial video.
  • the unit 10 displays the aerial images 71 and 72 at the designated display position, which is the display position indicated by the gesture (step S16).
  • FIG. 7 is a diagram schematically showing the configuration of a video display system 1a according to a modification of the first embodiment.
  • the video display system 1a determines the display positions of the aerial images 71, 72 based on the positions and postures of the users 81, 82. This is different from the video display system 1 of FIG.
  • the three-dimensional positions of the eyes or faces of the users 81 and 82 are examples of the positions and orientations of the users 81 and 82, and the positions and orientations of the users 81 and 82 are determined based on the states of body parts other than the eyes or faces. Good too.
  • the user position/orientation determination unit 34a of the control unit 30a determines the three-dimensional positions of the eyes or faces of the users 81, 82, and determines the display positions of the aerial images 71, 72 based on the positions and orientations of the eyes or faces. , controls the aerial image display section 10 so that the aerial images 71 and 72 are displayed at the display position.
  • the control unit 30a may include both the user position and orientation determination unit 34a and the gesture determination unit 34.
  • the control unit 30a sets video data (for example, video content) (step S14a), determines the position and orientation of the users 81 and 82 based on the detection information (step S15a), and determines the position and orientation of the users 81 and 82 according to the position and orientation of the users 81 and 82.
  • Aerial images 71 and 72 are displayed in the area (step S16a).
  • the user 81 and 82 can , 82 can display the aerial images 71 and 72 at appropriate display positions.
  • the video display system 1a can display the aerial videos 71 and 72 at positions suitable for each of the users 81 and 82 in accordance with each person.
  • the video display system 1a extracts people in a specific position from a crowd, and displays an aerial image 71 on a specific screen at a position suitable for each extracted person. 72 can be displayed.
  • FIG. 10 is a diagram schematically showing the configuration of a video display system 2 according to the second embodiment.
  • the sensor section 20 includes a camera that photographs the user 81 and a target 90 to be displayed as an aerial video 71 and outputs video data.
  • the object 90 may be something other than an object, and may be, for example, an image displayed on a monitor (which may include a moving image) or information about a character string displayed on a monitor. That is, the object 90 is not limited to an actual object.
  • control unit 40 determines that the gesture is a target specifying gesture that is a predetermined gesture that specifies the target 90 to be displayed at the display position of the aerial image 71
  • the control unit 40 controls the target 90 specified by the target specifying gesture.
  • the aerial image display unit 10 is controlled so that the image is displayed as an aerial image 71 at the display position.
  • the target designation gesture is a gesture in which the user 81 points at a target 90 with a finger.
  • an aerial image of the object 90 is displayed in front of the user 81 (for example, at the display position in the first embodiment). 71 can be displayed.
  • the control unit 40 determines that an object intersecting the vector F in the direction pointed by the user's 81 finger is the object 90 to be displayed.
  • the object 90 is an object that actually exists, an object displayed on a large screen, or the like.
  • FIG. 11 is a block diagram schematically showing the configuration of the control unit 40 of the video display system 2 according to the second embodiment.
  • the gesture determination unit 34b determines the target 90 that the user 81 points to with a finger as a body part
  • the video data control unit 33 extracts video data of the target 90 from a database of pre-photographed video or from the sensor unit 20.
  • the video data being photographed is acquired, processed into a video format to be displayed at the display position, and provided to the display control unit 35.
  • FIG. 13 is a diagram schematically showing the configuration of a video display system 2a according to a modification of the second embodiment.
  • the video display system 2a further includes a camera 21 that photographs an object 90 to be displayed as an aerial image 71 and outputs video data of the object 90.
  • the control unit 40 causes the image of the object 90 specified by the object specifying gesture to be displayed in the aerial image at the display position.
  • the aerial image display section 10 is controlled so that the image is displayed as 71.
  • FIG. 14 is a flowchart showing the operation of the control unit of the video display system 2a according to a modification of the second embodiment.
  • steps that are the same as or correspond to the steps shown in FIG. 12 are given the same reference numerals as in FIG.
  • the video display system 2a is different from the video display system 2 in that the video captured by the camera 21 is displayed as an aerial video 71 at the display position.
  • the aerial image 71 of the target 90 indicated by the finger can be displayed at a display position appropriate for the user 81.
  • objects 90 that are far away, objects 90 that are in high positions that are difficult to reach, objects 90 in images displayed on a large screen, etc. can be displayed near the user 81 as aerial images 71. .
  • an operation may be performed to control the aerial video display unit 10 so that the aerial video 71 is displayed at a designated display position that is a display position designated by a position designation gesture.
  • the display position based on the position specifying gesture may be specified before or after the target specifying gesture. Further, the position specifying gesture may be another gesture as described in the first embodiment.
  • FIGS. 15A and 15B are diagrams showing the configuration and operation of the video display system 3 according to the third embodiment.
  • FIG. 15(A) shows how an aerial image 71 is displayed at a display position a distance L1 away from the aerial image display section 10a
  • FIG. 15(B) shows a state where an aerial image 71 is displayed at a distance L2 (L2 ⁇ L1 ) shows how an aerial image 71 is displayed at a distant display position.
  • the video display system 3 includes a sensor section 20, an aerial video display section 10a, and a control section 30.
  • the aerial image display section 10a includes a first display section 11a that displays a first image, a second display section 11b that displays a second image, and a real image of the first image or the second image. It has a real image optical system 12 that displays an aerial image 71. The distance from the first display section 11a to the real image optical system 12 is longer than the distance from the second display section 11b to the real image optical system 12.
  • FIG. 16 is a flowchart showing the operation of the control unit of the video display system 3 according to the third embodiment.
  • steps S31 to S34 are the same as steps S11 to S14 shown in FIG. 12.
  • the video display system 3 moves the displayable area 70 to the position specified by the gesture, and displays an aerial image within the displayable area 70. is displayed (step S36).
  • first display section 11a and the second display section 11b are shown as two display devices in FIGS. It can be replaced by a moving mechanism (not shown) that moves this display device.
  • the moving mechanism can move the display device closer to the real image optical system 12 or move it farther away from the display device.
  • the display device is placed in the first position shown as "first display part 11a" in FIG. 15(A) and in the first position shown as "second display part 11b" in FIG. 15(B). By moving to either position, the position of the aerial image in the depth direction is changed.
  • FIGS. 17A and 17B are diagrams showing examples of size designation gestures in the video display system according to the fourth embodiment.
  • FIG. 17(A) shows an example of a size specifying gesture in which the user 81 narrows the distance between two fingers to reduce the display area of the aerial image 71
  • FIG. An example of a size designation gesture is shown in which the display area of the aerial image 71 is enlarged by widening the distance between the fingers.
  • FIGS. 18A and 18B are diagrams showing examples of size designation gestures in a video display system according to a modification of the fourth embodiment.
  • FIG. 18(A) shows an example of a size specifying gesture in which the user 81 brings a finger, which is an example of a body part, closer to the display area to reduce the display area of the aerial image 71.
  • 81 shows an example of a size designation gesture that enlarges the display area of the aerial image 71 by moving the finger away from the display area.
  • the configuration of the video display system according to the modification of Embodiment 4 is the same as the configuration of the video display system of any of Embodiments 1 to 3 above.
  • the control unit of the fourth embodiment displays the aerial video 71 in the size specified by the size designation gesture.
  • the aerial image display section 10 is controlled so that the following is displayed. Note that although the user 81 performs gestures using the fingers of his hands, he may perform similar operations using body parts other than his fingers (for example, both arms, both legs, arms and fingers, etc.).
  • the aerial image 71 of the target 90 indicated by the finger can be displayed in a desired size at a display position suitable for the user 81.
  • video display systems according to the first to fourth embodiments can also be used as display devices for automobile equipment.
  • 1, 1a, 2, 2a, 3 video display system 10, 10a aerial video display section, 11 display section, 11a first display section, 11b second display section, 12 real image optical system, 13 beam splitter, 14 recursion Reflective sheet (retroreflective member), 20 sensor unit, 21 camera, 30, 30a, 40 control unit, 31 three-dimensional position detection unit, 32 visible area determination unit, 33 video data control unit, 34, 34b gesture determination unit, 34a User position/orientation determination unit, 35 Display control unit, 70 Displayable area, 71, 72 Aerial image, 81, 82 User, 81a Hand, 90 Target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

映像表示システム（１）は、三次元空間上の予め定められた表示可能領域（７０）内に実像である空中映像（７１、７２）を表示する空中映像表示部（１０）と、表示可能領域（７０）の近傍のユーザ（８１、８２）を検出して検出情報を出力するセンサ部（２０）と、検出情報に基づいてユーザ（８１、８２）の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが表示可能領域（７０）内における空中映像（７１、７２）の表示位置を指定する予め定められた位置指定ジェスチャである場合に、位置指定ジェスチャによって指定された表示位置である指定表示位置に空中映像（７１、７２）が表示されるように空中映像表示部（１０）を制御する制御部（３０）とを有する。

Description

映像表示システム、映像制御方法、及び映像制御プログラム
　本開示は、映像表示システム、映像制御方法及び映像制御プログラムに関する。
　特許文献１は、光線屈曲面の一方の面側に配置される被投影物の実像を当該光線屈曲面の他方の面側に空中映像として結像させる結像光学系と、前記実像に近接する物体の位置、又は位置及び形状を特定する物体特定手段と、を具備した空中映像インタラクション装置を提案している。
特許第５２１２９９１号公報
　しかしながら、上記装置では、空中映像の結像位置が観察者（すなわち、装置のユーザ）にとって適切な位置ではない場合があるという問題がある。
　本開示は、ユーザにとって適切な表示位置に空中映像を表示することを目的とする。
　本開示の映像表示システムは、三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、前記検出情報に基づいて前記ユーザの身体部位の三次元位置の判別を行い、前記判別の結果に基づいて前記空中映像の表示位置を決定し、前記表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する制御部と、を有することを特徴とする。
　本開示の他の映像表示システムは、三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、前記ジェスチャが前記表示可能領域内における前記空中映像の表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する制御部と、を有することを特徴とする。
　本開示によれば、ユーザにとって適切な表示位置に空中映像を表示することができる。
実施の形態１に係る映像表示システムの構成を概略的に示す図である。 実施の形態１に係る映像表示システムの使用状態の例を示す図である。 （Ａ）及び（Ｂ）は、ユーザによって指定された空中映像の表示位置である指定表示位置の例を示す図である。 実施の形態１に係る映像表示システムの制御部の構成を概略的に示すブロック図である。 実施の形態１に係る映像表示システムのハードウェア構成の例を示す図である。 実施の形態１に係る映像表示システムの制御部の動作を示すフローチャートである。 実施の形態１の変形例に係る映像表示システムの構成を概略的に示す図である。 実施の形態１の変形例に係る映像表示システムの制御部の構成を概略的に示すブロック図である。 実施の形態１の変形例に係る映像表示システムの制御部の動作を示すフローチャートである。 実施の形態２に係る映像表示システムの構成を概略的に示す図である。 実施の形態２に係る映像表示システムの制御部の構成を概略的に示すブロック図である。 実施の形態２に係る映像表示システムの制御部の動作を示すフローチャートである。 実施の形態２の変形例に係る映像表示システムの構成を概略的に示す図である。 実施の形態２の変形例に係る映像表示システムの制御部の動作を示すフローチャートである。 （Ａ）及び（Ｂ）は、実施の形態３に係る映像表示システムの構成及び動作を示す図である。 実施の形態３に係る映像表示システムの制御部の動作を示すフローチャートである。 （Ａ）及び（Ｂ）は、実施の形態４に係る映像表示システムにおけるサイズ指定ジェスチャの例を示す図である。 （Ａ）及び（Ｂ）は、実施の形態４の変形例に係る映像表示システムにおけるサイズ指定ジェスチャの例を示す図である。 実施の形態４に係る映像表示システムの制御部の動作を示すフローチャートである。
　以下に、実施の形態に係る映像表示システム、映像制御方法、及び映像制御プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。
《実施の形態１》
　図１は、実施の形態１に係る映像表示システム１の構成を概略的に示す図である。図１に示されるように、映像表示システム１は、実像を空中映像７１、７２として表示する（すなわち、投影する）映像表示装置としての空中映像表示部１０と、センサ部２０と、空中映像表示部１０の動作を制御する制御装置としての制御部３０とを有している。
　空中映像表示部１０は、三次元空間上の予め定められた表示可能領域７０内に１つ以上の空中映像（例えば、空中映像７１、７２など）を表示する。空中映像表示部１０は、映像を表示する表示装置としての表示部１１と、表示部１１に表示された映像を空中映像７１、７２として表示可能領域７０内に結像させる実像光学系１２とを有している。表示部１１は、例えば、液晶ディスプレイ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイなどであり、入力される映像データ（例えば、映像コンテンツ）に基づいて映像を表示する。
　実像光学系１２は、入射した光を反射及び透過させる光学部材であるビームスプリッタ１３と、ビームスプリッタ１３で反射した光を再帰反射させる再帰反射部材としての再帰反射シート１４とを有している。再帰反射シート１４で再帰反射した光は、再帰反射シート１４への入射した光の進行方向とは逆方向に進み、ビームスプリッタ１３を透過して表示可能領域７０内で結像する。
　ビームスプリッタ１３は、光を反射及び透過させて分離することができる光学部材であればよく、例えば、ハーフミラー、ガラス板などであってもよい。また、再帰反射シート１４は、例えば、多数の透明な微小ガラスビーズ（すなわち、マイクロビーズ）の下半分を反射膜に埋め込んで形成された封入レンズ型反射シート、又は多数の透明なマイクロプリズムを反射膜に埋め込んで形成されたマイクロプリズム型反射シートである。
　センサ部２０は、例えば、撮像装置としてのカメラ又は物体を検出する検出器を有している。センサ部２０のカメラの具体例は、赤外カメラ、赤外ラインセンサ、ステレオカメラ、可視光カメラ、などである。検出器の具体例は、例えば、光を用いたＬｉＤＡＲ、電波を用いたミリ波レーダー、又は音を用いたソナー等の測距センサである。なお、検出器は、物体までの距離及び物体の形状を検出することが可能である。センサ部２０は、表示可能領域７０の近傍の１人以上のユーザ（例えば、ユーザ８１、８２）を検出して検出情報（例えば、映像信号、検出信号）を出力する。
　制御部３０は、検出情報に基づいてユーザ８１、８２の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが表示可能領域７０内における空中映像７１、７２の表示位置を指定する予め定められた位置指定ジェスチャである場合に、位置指定ジェスチャによって指定された表示位置である指定表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。具体的には、制御部３０は、位置指定ジェスチャによって指定された表示位置に空中映像７１、７２が表示されるように空中映像表示部１０の制御部３０を制御する。制御部３０は、表示可能領域７０内において指定表示位置に空中映像７１、７２を表示させるために、表示部１１に表示させる映像データを設定する（例えば、データベースから映像コンテンツを選択する）。
　制御部３０は、ジェスチャが第１のユーザとしてのユーザ８１による第１のジェスチャと第２のユーザとしてのユーザ８２による第２のジェスチャとを含み、第１のジェスチャと第２のジェスチャの両方が表示可能領域７０内における空中映像７１、７２の表示位置を指定する位置指定ジェスチャであると判別した場合に、第１のジェスチャによって指定された第１の表示位置と第２のジェスチャによって指定された第２の表示位置との各々に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。例えば、制御部３０は、表示可能領域７０内において指定表示位置に空中映像７１、７２を表示させるために、表示部１１に表示させる映像データを設定する。
　制御部３０は、検出情報に基づいてユーザ８１、８２の骨格を検出し、骨格の状態に基づいて位置指定ジェスチャが指定する表示位置を決定する骨格が予め定められた状態であるか否かに基づいて位置指定ジェスチャが指定する表示位置を判別してもよい。
　また、制御部３０は、ユーザ８１、８２が手の第１の指を第１の方向に伸ばすとともに第２の指を前記第１の方向に交差する第２の方向に伸ばす状態を位置指定ジェスチャと判断し、第１の指と第２の指とで指定された指定表示位置に空中映像７１、７２を表示させる制御を行ってもよい。ここで、第１の指と第２の指は、他と人差し指と親指であり、交差角度は９０度程度である。
　また、制御部３０は、ユーザ８１、８２の顔の表情（表情の変化を含む）が予め定められた表情である場合に顔の表情を位置指定ジェスチャと判断し、表情で指定された指定表示位置に空中映像７１、７２を表示させる制御を行ってもよい。ジェスチャとして利用可能な表情は、例えば、口の開閉、口の形状、瞬き、目のウインク、顔の表情、目の視線方向などである。
　図２は、映像表示システム１の使用状態の例を示す図である。図３（Ａ）及び（Ｂ）は、ユーザ８１によって指定された空中映像７１の表示位置である指定表示位置の例を示す図である。図２では、ユーザ８１、８２は、人差し指を第１の方向としての縦方向（図２では高さ方向）に伸ばすとともに他の指である親指を第１の方向に交差する第２の方向としての横方向（図２では水平方向）に伸ばす動作を位置指定ジェスチャとみなしている。この例では、人差し指に概ね平行な縦方向の辺と親指に概ね平行な横方向の辺とを有する矩形の領域のそれぞれに空中映像７１、７２が表示される。したがって、ユーザ８１は、人差し指と親指とで作る位置指定ジェスチャの位置を変えることによって、図３（Ａ）及び（Ｂ）に示されるように、空中映像７１、７２を移動させることができる。
　図４は、実施の形態１に係る映像表示システム１の制御部３０の構成を概略的に示すブロック図である。図４に示されるように、制御部３０は、三次元位置検出部３１と、視覚可能領域判定部３２と、映像データ制御部３３と、ジェスチャ判別部３４と、表示制御部３５とを有している。
　三次元位置検出部３１は、空中映像７１、７２の観察者であるユーザ８１、８２の位置及び動きを検出する。例えば、三次元位置検出部３１は、空中映像表示部１０の近傍のユーザの位置及び視点位置（すなわち、目の位置）を特定する。
　視覚可能領域判定部３２は、ユーザ８１、８２が視覚できる（すなわち、観察することができる）領域である視覚範囲を判定する。視覚可能領域判定部３２は、例えば、空中映像表示部１０とユーザ８１、８２の目との位置関係に基づいて視覚範囲を計算する。具体的には、視覚可能領域判定部３２は、空中映像表示部１０の配置情報と、三次元位置検出部３１からの三次元位置情報とから、ユーザ８１、８２の視覚範囲を計算する。
　映像データ制御部３３は、空中映像７１、７２の視覚範囲に応じて、空中映像７１、７２を表示させるための映像データを制御する（すなわち、データベースから映像コンテンツを選択する）。例えば、１つの実像光学系１２で表示できる領域から、ユーザ８１、８２が視覚できる特定領域にのみ表示されるように映像データを制御する。
　ジェスチャ判別部３４は、ユーザ８１、８２が行う空間操作であるジェスチャ（すなわち、ユーザが発信するコマンド）を判別する。ジェスチャ判別部３４は、ユーザ８１、８２が空中映像７１、７２を視覚後に、ユーザが行う特定のジェスチャを検知して、ジェスチャによって操作したい内容を判別する。
　表示制御部３５は、ユーザ８１、８２が実施したジェスチャに応じて、映像データを制御する。制御内容は上記ジェスチャに応じた画面への遷移又は映像コンテンツの選択などである。表示制御部３５は、空中映像表示部１０へ映像データ（すなわち、映像コンテンツ）を出力する。
　図５は、実施の形態１に係る映像表示システム１のハードウェア構成の例を示す図である。映像表示システム１は、表示部１１と、センサ部２０と、制御部３０とを有している。制御部３０は、例えば、実施の形態１に係る表示制御プログラムを実行することができるコンピュータである。制御部３０は、プロセッサ１０１と、メモリ１０２と、記憶装置１０３とを有している。プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などである。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの、揮発性の半導体メモリである。記憶装置１０３は、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶装置である。また、制御部３０には、ネットワークを介して他の装置と通信を行う通信部、入力インタフェースであるキーボードなどの操作部、が備えられてもよい。
　制御部３０の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。
　処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらのうちのいずれかを組み合わせたものである。
　処理回路がプロセッサ１０１である場合、実施の形態１に係る表示制御プログラムは、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶された表示制御プログラムを読み出して実行することにより、図４に示される各部の機能を実現することができる。なお、制御部３０は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、図１に示される各機能ブロックの機能を実現することができる。
　図６は、実施の形態１に係る映像表示システム１の制御部３０の動作を示すフローチャートである。先ず、制御部３０は、センサ部２０から検出情報を受信し（ステップＳ１１）、ユーザ８１、８２の身体部位の三次元位置を検出し（ステップＳ１２）、ユーザ８１、８２の視覚可能領域を判定する（ステップＳ１３）。制御部３０は、映像データ（例えば、映像コンテンツ）を設定し（ステップＳ１４）、センサ部２０から受信した検出情報（例えば、映像データ）に基づいてジェスチャを判別し（ステップＳ１５）、空中映像表示部１０に、ジェスチャによって示された表示位置である指定表示位置に空中映像７１、７２を表示させる（ステップＳ１６）。
　以上に説明したように、実施の形態１によれば、ユーザ８１、８２のジェスチャによってユーザ８１、８２にとって適切な表示位置に空中映像７１、７２を表示させることができる。例えば、大人のユーザ８１、子供のユーザ８２、車椅子利用者であるユーザ（図示せず）に応じて空中映像７１、７２の表示位置を適切な位置に変更することができる。
　図７は、実施の形態１の変形例に係る映像表示システム１ａの構成を概略的に示す図である。図７において、図１に示される構成と同一又は対応する構成には、図１に示される符号と同じ符号が付されている。映像表示システム１ａは、ユーザ８１、８２の位置及び姿勢に基づいて空中映像７１、７２の表示位置を決定する点が、ユーザ８１、８２のジェスチャに基づいて空中映像７１、７２の表示位置を決定する図１の映像表示システム１と相違する。
　図７に示されるように、映像表示システム１ａは、空中映像表示部１０と、表示可能領域７０の近傍のユーザ８１、８２を検出して検出情報を出力するセンサ部２０と、表示制御装置としての制御部３０ａとを有している。制御部３０ａは、センサ部２０から出力された検出情報に基づいてユーザ８１、８２の身体部位の三次元位置の判別を行い、判別の結果に基づいて空中映像７１、７２の表示位置を決定し、表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。
　制御部３０ａは、ユーザ８１、８２の目又は顔の三次元位置の判別を行い、目の位置及び視線、又は顔の位置及び向きに基づいて空中映像７１、７２の表示位置を決定し、表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。つまり、映像表示システム１ａでは、ユーザ８１、８２が、空中映像表示部１０の近傍に近づくだけで、例えば、ユーザ８１、８２の目の位置の近くに空中映像７１、７２が表示される。ユーザ８１、８２の目又は顔の三次元位置は、ユーザ８１、８２の位置姿勢の例であり、ユーザ８１、８２の位置姿勢は、目又は顔以外の身体部位の状態に基づいて判別してもよい。
　図８は、実施の形態１の変形例に係る映像表示システム１ａの制御部３０ａの構成を概略的に示すブロック図である。図８において、図４に示される構成と同一又は対応する構成には、図４に示される符号と同じ符号が付されている。映像表示システム１ａは、ユーザ８１、８２の位置姿勢に基づいて空中映像７１、７２の表示位置を決定する点が、ユーザ８１、８２の動作であるジェスチャに基づいて空中映像７１、７２の表示位置を決定する図１の映像表示システム１と相違する。制御部３０ａは、ユーザ位置姿勢判別部３４ａを有し、図４のジェスチャ判別部を有していない点が、制御部３０と相違する。制御部３０ａのユーザ位置姿勢判別部３４ａは、ユーザ８１、８２の目又は顔の三次元位置の判別を行い、目又は顔の位置及び向きに基づいて空中映像７１、７２の表示位置を決定し、表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。なお、制御部３０ａは、ユーザ位置姿勢判別部３４ａとジェスチャ判別部３４の両方を有してもよい。
　図９は、実施の形態１の変形例に係る映像表示システム１ａの制御部３０ａの動作を示すフローチャートである。図９において、図６に示されるステップと同一又は対応するステップには、図６に示される符号と同じ符号が付されている。映像表示システム１ａでは、制御部３０ａは、センサ部２０から検出情報を受信し（ステップＳ１１）、ユーザ８１、８２の身体部位の三次元位置を検出し（ステップＳ１２）、ユーザ８１、８２の視覚可能領域を判定する（ステップＳ１３）。制御部３０ａは、映像データ（例えば、映像コンテンツ）を設定し（ステップＳ１４ａ）、検出情報に基づいてユーザ８１、８２の位置姿勢を判別し（ステップＳ１５ａ）、ユーザ８１、８２の位置姿勢に応じた領域に空中映像７１、７２を表示させる（ステップＳ１６ａ）。
　以上に説明したように、実施の形態１の変形例に係る映像表示システム１ａによれば、ユーザ８１、８２の身体部位の状態（例えば、目の位置、視線方向、顔の向き）によってユーザ８１、８２にとって適切な表示位置に空中映像７１、７２を表示させることができる。つまり、映像表示システム１ａは、ユーザ８１、８２の各々に適した位置に、各人に合わせて空中映像７１、７２を表示することができる。
　また、実施の形態１の変形例に係る映像表示システム１ａは、群衆の中から、特定の位置にいる人を抽出し、特定の画面を抽出された各人に適した位置に空中映像７１、７２を表示することができる。
　なお、実施の形態１の変形例に係る映像表示システム１ａにおいては、制御部３０ａは、判別の結果に基づいて決定された表示位置に空中映像７１、７２を表示させた後に、空中映像７１、７２が検出情報に基づいてユーザ８１、８２の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが表示可能領域７０内における空中映像７１、７２の表示位置を新たに指定する予め定められた位置指定ジェスチャである場合に、位置指定ジェスチャによって指定された表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御してもよい。
　また、映像表示システム１又は１ａに、後述の実施の形態２、３、４のいずれかの構成を組み合わせることが可能である。
《実施の形態２》
　図１０は、実施の形態２に係る映像表示システム２の構成を概略的に示す図である。実施の形態２に係る映像表示システム２では、センサ部２０は、ユーザ８１と、空中映像７１として表示させる対象９０とを撮影して映像データを出力するカメラを有している。対象９０は、物以外であってもよく、例えば、モニターに映っている映像（動画像を含んでもよい）又はモニターに映っている文字列の情報などでもよい。すなわち、対象９０は、実在する物に限定されない。制御部４０は、ジェスチャが空中映像７１の表示位置に表示させるべき対象９０を指定する予め定められたジェスチャである対象指定ジェスチャであると判別された場合に、対象指定ジェスチャによって指定された対象９０の映像が表示位置に空中映像７１として表示されるように空中映像表示部１０を制御する。
　図１０に示されるように、対象指定ジェスチャは、ユーザ８１が指で対象９０を指し示すジェスチャである。図１０では、人差し指で空中映像７１としてユーザ８１の目の前に表示させたい対象９０を指し示すだけで、ユーザ８１の目の前（例えば、実施の形態１における表示位置）に対象９０の空中映像７１を表示することができる。なお、制御部４０は、検出情報に基づいて、ユーザ８１の指が指し示す方向のベクトルＦと交差する物を、表示させるべき対象９０であると判別する。対象９０は、現実に存在する物、大きなスクリーンに表示された物、などである。
　図１１は、実施の形態２に係る映像表示システム２の制御部４０の構成を概略的に示すブロック図である。図１１において、図４に示される構成と同一又は対応する構成には、図４における符号と同じ符号が付されている。制御部４０では、ジェスチャ判別部３４ｂがユーザ８１が身体部位としての指で指し示す対象９０を判別し、映像データ制御部３３が対象９０の映像データを予め撮影された映像のデータベースから又はセンサ部２０で撮影されている映像データを取得し、表示位置に表示される映像形式に加工して表示制御部３５に提供する。
　図１２は、実施の形態２に係る映像表示システム２の制御部４０の動作を示すフローチャートである。図１２において、ステップＳ２１～Ｓ２３は、図６におけるステップＳ１１～Ｓ１３と同じである。映像表示システム２の制御部４０は、ユーザ８１が身体部位としての指で指し示す対象９０を判別し（ステップＳ２４）、対象９０の映像データを予め撮影された映像のデータベースから又はセンサ部２０で撮影されている映像データから取得し（ステップＳ２５）、ユーザ８１の位置姿勢を判別し（ステップＳ２６）、ユーザ８１の位置姿勢に応じた領域に対象９０の空中映像７１を表示する（ステップＳ２７）。
　図１３は、実施の形態２の変形例に係る映像表示システム２ａの構成を概略的に示す図である。図１３において、図１１に示される構成と同一又は対応する構成には、図１１における符号と同じ符号が付されている。映像表示システム２ａは、空中映像７１として表示させる対象９０を撮影して対象９０の映像データを出力するカメラ２１を更に有している。制御部４０は、ジェスチャが空中映像７１の表示位置に表示させる対象９０を指定する対象指定ジェスチャであると判別された場合に、対象指定ジェスチャによって指定された対象９０の映像が表示位置に空中映像７１として表示されるように空中映像表示部１０を制御する。
　図１４は、実施の形態２の変形例に係る映像表示システム２ａの制御部の動作を示すフローチャートである。図１４において、図１２に示されるステップと同一又は対応するステップには、図１２における符号と同じ符号が付されている。映像表示システム２ａは、カメラ２１で撮影された映像を表示位置に空中映像７１として表示する点が、映像表示システム２と相違する。
　実施の形態２によれば、ユーザ８１にとって適切な表示位置に指で示した対象９０の空中映像７１を表示させることができる。
　また、遠くにある対象９０、手の届きにくい高い位置にある対象９０、大画面のスクリーンに表示された画像内の対象９０、などをユーザ８１の近くに、空中映像７１で表示させることができる。
　また、映像表示システム２又は２ａに、実施の形態１、３、４のいずれかの構成を組み合わせることが可能である。例えば、図１０及び図１３に示される制御部４０は、カメラ２０で撮影された映像情報に基づいてユーザ８１の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが表示可能領域７０内における空中映像７１の表示位置を指定する予め定められた位置指定ジェスチャ（例えば、図２に示されるように、親指と人差し指でＬ字形状又は左右反転したＬ字形状を作るジェスチャ）である場合に、位置指定ジェスチャによって指定された表示位置である指定表示位置に空中映像７１が表示されるように空中映像表示部１０を制御する動作を行ってもよい。位置指定ジェスチャに基づく表示位置の指定は、対象指定ジェスチャの前又は後のいずれに行ってもよい。また、位置指定ジェスチャは、実施の形態１で説明したように、他のジェスチャであってもよい。
《実施の形態３》
　図１５（Ａ）及び（Ｂ）は、実施の形態３に係る映像表示システム３の構成及び動作を示す図である。図１５（Ａ）は、空中映像表示部１０ａから距離Ｌ１離れた表示位置に、空中映像７１を表示する様子を示し、図１５（Ｂ）は、空中映像表示部１０ａから距離Ｌ２（Ｌ２＜Ｌ１）離れた表示位置に、空中映像７１を表示する様子を示している。
　映像表示システム３は、センサ部２０と、空中映像表示部１０ａと、制御部３０とを有している。空中映像表示部１０ａは、第１の映像を表示する第１の表示部１１ａと、第２の映像を表示する第２の表示部１１ｂと、第１の映像又は第２の映像を実像である空中映像７１として表示する実像光学系１２とを有している。第１の表示部１１ａから実像光学系１２までの距離は、第２の表示部１１ｂから実像光学系１２までの距離より長い。また、制御部３０は、検出情報に基づいてユーザ８１の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが前記表示可能領域７０の奥行き方向の位置を指定する予め定められた奥行き指定ジェスチャである場合に、前記奥行き指定ジェスチャによって指定された表示可能領域７０内に空中映像７１が表示されるように空中映像表示部１０ａを制御する。
　奥行き指定ジェスチャは、ユーザ８１の身体部位で表示可能領域７０の奥行方向の位置を指定する動作である。奥行き指定ジェスチャは、奥行方向の位置が指定できるものであれば、どのようなジェスチャであってもよい。例えば、奥行き指定ジェスチャは、実施の形態１及び２で説明した位置指定ジェスチャに含まれてもよい。すなわち、奥行き指定ジェスチャは、位置指定ジェスチャと同時に行われるジェスチャであってもよい。例えば、図２に示されるように、親指と人差し指でＬ字形状又は左右反転したＬ字形状を作るジェスチャで、表示映像の高さ方向の位置と左右方向の位置とに加えて奥行方向の位置を指定してもよい。また、奥行き指定ジェスチャは、位置指定ジェスチャとは別のジェスチャであってもよい。この場合には、奥行き指定ジェスチャは、位置指定ジェスチャの前又は後に行われる。
　図１６は、実施の形態３に係る映像表示システム３の制御部の動作を示すフローチャートである。図１６において、ステップＳ３１～Ｓ３４は、図１２に示されるステップＳ１１～Ｓ１４と同じである。映像表示システム３は、ジェスチャが表示可能領域７０の奥行方向の位置が指定されると（ステップＳ３５）、ジェスチャによって指定された位置に表示可能領域７０を移動させ、表示可能領域７０内に空中映像を表示する（ステップＳ３６）。
　以上に説明したように、実施の形態３に係る映像表示システム３によれば、ユーザ８１にとって適切な表示位置に空中映像７１を表示することができる。
　また、映像表示システム３に、実施の形態１、２、４のいずれかの構成を組み合わせることが可能である。
　また、図１５（Ａ）及び（Ｂ）には、第１の表示部１１ａと第２の表示部１１ｂとを２つの表示デバイスとして記載しているが、この構成を、１つの表示デバイスと、この表示デバイスを移動させる移動機構（図示せず）とによって置き換えることが可能である。つまり、移動機構は、表示デバイスを実像光学系１２に近づけたり、表示デバイスから遠ざけたりすることができる。この場合には、表示デバイスは、図１５（Ａ）に「第１の表示部１１ａ」として示される第１の位置と、図１５（Ｂ）に「第２の表示部１１ｂ」として示される第２の位置とのいずれかの位置に移動することで、空中映像の奥行き方向の位置を変更する。
　また、図１５（Ａ）及び（Ｂ）に示される構成を、１つの表示デバイスと、実像光学系１２（又は、その一部の光学系）を移動させる移動機構（図示せず）とによって置き換えることが可能である。つまり、移動機構は、像光学系１２（又は、その一部の光学系）を表示デバイスに近づけたり、表示デバイスから遠ざけたりすることができる。この場合には、表示デバイスは、図１５（Ａ）に「第１の表示部１１ａ」として示される第１の位置と、図１５（Ｂ）に「第２の表示部１１ｂ」として示される第２の位置とのいずれかの位置に移動することで、空中映像の奥行き方向の位置を変更する。
《実施の形態４》
　図１７（Ａ）及び（Ｂ）は、実施の形態４に係る映像表示システムにおけるサイズ指定ジェスチャの例を示す図である。図１７（Ａ）は、ユーザ８１が２本の指の間隔を狭めることで、空中映像７１の表示領域を小さくするサイズ指定ジェスチャの例を示し、図１７（Ｂ）は、ユーザ８１が２本の指の間隔を広げることで、空中映像７１の表示領域を大きくするサイズ指定ジェスチャの例を示す。
　実施の形態４に係る映像表示システムの構成は、上記実施の形態１から３のいずれかの映像表示システムの構成と同じである。実施の形態４に係る映像表示システムの制御部は、ジェスチャが表示可能領域７０内における空中映像７１のサイズを拡大縮小する予め定められたサイズ指定ジェスチャである場合に、サイズ指定ジェスチャによって指定されたサイズで空中映像７１が表示されるように空中映像表示部１０を制御する。なお、ユーザ８１は、２本の指として、左右の手の指を使用しているが、片手の２本の指で同様の操作を行ってもよい。また、指以外の身体部位（例えば、両腕、両足、腕と指、など）で同様の操作を行ってもよい。
　図１８（Ａ）及び（Ｂ）は、実施の形態４の変形例に係る映像表示システムにおけるサイズ指定ジェスチャの例を示す図である。図１８（Ａ）は、ユーザ８１が身体部位の例としての指を表示領域に近づけることで、空中映像７１の表示領域を小さくするサイズ指定ジェスチャの例を示し、図１７（Ｂ）は、ユーザ８１が指を表示領域から遠ざけることで、空中映像７１の表示領域を大きくするサイズ指定ジェスチャの例を示す。
　実施の形態４の変形例に係る映像表示システムの構成は、上記実施の形態１から３のいずれかの映像表示システムの構成と同じである。実施の形態４の制御部は、ジェスチャが表示可能領域７０内における空中映像７１のサイズを拡大縮小する予め定められたサイズ指定ジェスチャである場合に、サイズ指定ジェスチャによって指定されたサイズで空中映像７１が表示されるように空中映像表示部１０を制御する。なお、ユーザ８１は、手の指を使用してジェスチャを行っているが、指以外の身体部位（例えば、両腕、両足、腕と指、など）で同様の操作を行ってもよい。
　図１９は、実施の形態４に係る映像表示システムの制御部の動作を示すフローチャートである。図１９において、ステップＳ４１～Ｓ４５は、図６に示されるステップＳ１１～Ｓ１５と同じである。実施の形態４に係る映像表示システムは、空中映像７１を表示した後に、サイズ指定ジェスチャによって空中映像７１を拡大縮小することができる（ステップＳ４６）。
　以上に説明したように、実施の形態４によれば、ユーザ８１にとって適切な表示位置に指で示した対象９０の空中映像７１を所望の大きさで表示することができる。
　また、実施の形態４に係る映像表示システムに、実施の形態１、２、３のいずれかの構成を組み合わせることが可能である。
《他の変形例》
　上記実施の形態１から４に係る映像表示システムは、多数の人が使用する非接触式の操作盤、ユーザ操作によって表示内容を切り替える機能を備えたデジタルサイネージ、などに適用可能である。
　また、上記実施の形態１から４に係る映像表示システムは、自動車の機器の表示装置としても使用可能である。
　１、１ａ、２、２ａ、３　映像表示システム、　１０、１０ａ　空中映像表示部、　１１　表示部、　１１ａ　第１の表示部、　１１ｂ　第２の表示部、　１２　実像光学系、　１３　ビームスプリッタ、　１４　再帰反射シート（再帰反射部材）、　２０　センサ部、　２１　カメラ、　３０、３０ａ、４０　制御部、　３１　三次元位置検出部、　３２視覚可能領域判定部、　３３　映像データ制御部、　３４、３４ｂ　ジェスチャ判別部、　３４ａ　ユーザ位置姿勢判別部、　３５　表示制御部、　７０　表示可能領域、７１、７２　空中映像、　８１、８２　ユーザ、　８１ａ　手、　９０　対象。

Claims (25)

  1. 　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、
    　前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、
    　前記検出情報に基づいて前記ユーザの身体部位の三次元位置の判別を行い、前記判別の結果に基づいて前記空中映像の表示位置を決定し、前記表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する制御部と、
    　を有することを特徴とする映像表示システム。
  2. 　前記制御部は、
    　前記身体部位として前記ユーザの顔又は目の三次元位置の判別を行い、
    　前記顔の位置及び向き又は前記目の位置及び視線に基づいて前記空中映像の前記表示位置を決定し、
    　前記表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項１に記載の映像表示システム。
  3. 　前記制御部は、
    　前記判別の結果に基づいて決定された前記表示位置に前記空中映像を表示させた後に、前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、
    　前記ジェスチャが前記表示可能領域内における前記空中映像の前記表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項１又は２に記載の映像表示システム。
  4. 　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、
    　前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、
    　前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、前記ジェスチャが前記表示可能領域内における前記空中映像の表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する制御部と、
    　を有することを特徴とする映像表示システム。
  5. 　前記制御部は、前記表示可能領域内において前記位置指定ジェスチャに応じて前記表示位置を変更する
    　ことを特徴とする請求項３又は４に記載の映像表示システム。
  6. 　前記制御部は、前記ジェスチャが第１のユーザによる第１のジェスチャと第２のユーザによる第２のジェスチャとを含み、前記第１のジェスチャと前記第２のジェスチャの両方が前記表示可能領域内における前記空中映像の前記表示位置を指定する位置指定ジェスチャであると判断した場合に、前記第１のジェスチャによって指定された第１の表示位置と前記第２のジェスチャによって指定された第２の表示位置との各々に前記空中映像が表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項３又は４に記載の映像表示システム。
  7. 　前記制御部は、前記表示可能領域内において前記位置指定ジェスチャに応じて前記第１の表示位置及び前記第２の表示位置を変更する
    　ことを特徴とする請求項６に記載の映像表示システム。
  8. 　前記制御部は、前記検出情報に基づいて前記ユーザの骨格の状態を検出し、前記骨格の状態に基づいて前記位置指定ジェスチャで指定される前記表示位置を決定する
    　ことを特徴とする請求項３から７のいずれか１項に記載の映像表示システム。
  9. 　前記制御部は、
    　前記ユーザのジェスチャとして手の第１の指を第１の方向に伸ばすとともに第２の指を前記第１の方向に交差する第２の方向に伸ばした状態を前記位置指定ジェスチャと判断し、
    　前記第１の指と前記第２の指とで指定された前記指定表示位置に前記空中映像を表示させる
    　ことを特徴とする請求項３から７のいずれか１項に記載の映像表示システム。
  10. 　前記制御部は、前記ユーザの顔の表情が予め定められた表情である場合に前記顔の前記表情を前記位置指定ジェスチャと判断し、
    　前記表情で指定された前記指定表示位置に前記空中映像を表示させる
    　ことを特徴とする請求項３から７のいずれか１項に記載の映像表示システム。
  11. 　前記センサ部は、少なくとも対象を撮影して映像データを出力するカメラを有し、
    　前記制御部は、
    　前記検出情報又は前記カメラで前記ユーザを撮影した場合の前記映像に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、
    　前記ジェスチャが前記表示位置に表示させる前記対象を指定する対象指定ジェスチャであると判別された場合に、前記対象指定ジェスチャによって指定された前記対象の映像が前記表示位置に前記空中映像として表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項１に記載の映像表示システム。
  12. 　前記制御部は、前記ジェスチャが前記表示可能領域内における前記空中映像の前記表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項１１に記載の映像表示システム。
  13. 　前記センサ部は、前記ユーザと、対象とを撮影して映像データを出力するカメラを有し、
    　前記制御部は、前記ジェスチャが前記指定表示位置に表示させる前記対象を指定する対象指定ジェスチャであると判別された場合に、前記対象指定ジェスチャによって指定された前記対象の映像が前記指定表示位置に前記空中映像として表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項３又は４に記載の映像表示システム。
  14. 　対象を撮影して前記対象の映像データを出力するカメラを更に有し、
    　前記制御部は、前記ジェスチャが前記指定表示位置に表示させる前記対象を指定する対象指定ジェスチャであると判別された場合に、前記対象指定ジェスチャによって指定された前記対象の映像が前記指定表示位置に前記空中映像として表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項３又は４に記載の映像表示システム。
  15. 　前記制御部は、前記ジェスチャが前記指定表示位置に表示させる対象を指定する対象指定ジェスチャであると判別された場合に、前記空中映像として表示させる対象を予め撮影した映像データを格納するデータベースから前記対象の映像情報を用いて、前記対象指定ジェスチャによって指定された前記対象の映像が前記指定表示位置に前記空中映像として表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項３又は４に記載の映像表示システム。
  16. 　前記対象指定ジェスチャは、前記ユーザが指で前記対象を指し示す動作である
    　ことを特徴とする請求項１１から１５のいずれか１項に記載の映像表示システム。
  17. 　前記制御部は、前記指が指し示す方向のベクトルと交差する物を前記対象であると判断する
    　ことを特徴とする請求項１６に記載の映像表示システム。
  18. 　前記空中映像表示部は、第１の映像を表示する第１の表示部と、第２の映像を表示する第２の表示部と、前記第１の映像又は前記第２の映像を前記実像である前記空中映像として表示する実像光学系とを有し、
    　前記第１の表示部から前記実像光学系までの距離は、前記第２の表示部から前記実像光学系までの距離より長く、
    　前記制御部は、前記検出情報に基づいて前記ユーザの前記身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、前記ジェスチャが前記表示可能領域の奥行き方向の位置を指定する予め定められた奥行き指定ジェスチャである場合に、前記奥行き指定ジェスチャによって前記奥行き方向の位置が指定された前記表示可能領域内に前記空中映像が表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項３、４、及び８から１６のいずれか１項に記載の映像表示システム。
  19. 　前記制御部は、前記ジェスチャが前記表示可能領域内における前記空中映像のサイズを拡大縮小する予め定められたサイズ指定ジェスチャである場合に、前記サイズ指定ジェスチャによって指定された前記サイズで前記空中映像が表示されるように前記空中映像表示部を制御する
    　ことを特徴とする請求項３、４、及び８から１６のいずれか１項に記載の映像表示システム。
  20. 　前記サイズ指定ジェスチャは、前記ユーザが２本の指の間隔を広げる又は狭める動作である
    　ことを特徴とする請求項１９に記載の映像表示システム。
  21. 　前記サイズ指定ジェスチャは、前記ユーザが指を前記表示可能領域に近づける又は遠ざける動作である
    　ことを特徴とする請求項１９に記載の映像表示システム。
  22. 　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、
    　前記表示可能領域の近傍のユーザを検出して検出情報を出力し、対象を撮影して映像データを出力するセンサ部と、
    　前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、前記ジェスチャが前記対象を指定する対象指定ジェスチャであると判別された場合に、前記対象指定ジェスチャによって指定された前記対象の映像が前記空中映像として表示されるように前記空中映像表示部を制御する制御部と、
    　を有することを特徴とする映像表示システム。
  23. 　前記センサ部は、前記表示可能領域の近傍のユーザを検出して検出情報を出力し、対象を撮影して映像データを出力するカメラ、又は、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ及び対象を撮影して映像データを出力するカメラ、又は、前記表示可能領域の近傍のユーザを検出して検出情報を出力する第１のカメラ及び対象を撮影して映像データを出力する第２のカメラ、を有することを特徴とする請求項２２に記載の映像表示システム。
  24. 　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、を有する映像表示システムによって実施される映像制御方法であって、
    　前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別するステップと、
    　前記ジェスチャが前記表示可能領域内における前記空中映像の表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御するステップと、
    　を有することを特徴とする映像制御方法。
  25. 　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、を有する映像表示システムを制御するコンピュータに、
    　前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別するステップと、
    　前記ジェスチャが前記表示可能領域内における前記空中映像の表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御するステップと、
    　を実行させることを特徴とする映像制御プログラム。
PCT/JP2022/024904 2022-06-22 2022-06-22 映像表示システム、映像制御方法、及び映像制御プログラム WO2023248381A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024904 WO2023248381A1 (ja) 2022-06-22 2022-06-22 映像表示システム、映像制御方法、及び映像制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024904 WO2023248381A1 (ja) 2022-06-22 2022-06-22 映像表示システム、映像制御方法、及び映像制御プログラム

Publications (1)

Publication Number Publication Date
WO2023248381A1 true WO2023248381A1 (ja) 2023-12-28

Family

ID=89379265

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024904 WO2023248381A1 (ja) 2022-06-22 2022-06-22 映像表示システム、映像制御方法、及び映像制御プログラム

Country Status (1)

Country Link
WO (1) WO2023248381A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156469A (ja) * 2016-02-29 2017-09-07 株式会社ニコン 結像光学系、光学系、表示装置、電子機器、表示方法およびプログラム
JP2019002976A (ja) * 2017-06-13 2019-01-10 コニカミノルタ株式会社 空中映像表示装置
JP2020187320A (ja) * 2019-05-17 2020-11-19 株式会社大真空 表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156469A (ja) * 2016-02-29 2017-09-07 株式会社ニコン 結像光学系、光学系、表示装置、電子機器、表示方法およびプログラム
JP2019002976A (ja) * 2017-06-13 2019-01-10 コニカミノルタ株式会社 空中映像表示装置
JP2020187320A (ja) * 2019-05-17 2020-11-19 株式会社大真空 表示システム

Similar Documents

Publication Publication Date Title
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
AU2015320043B2 (en) Display visibility based on eye convergence
KR20230066626A (ko) 증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
KR20230074780A (ko) 검출된 손 제스처들에 응답한 터치리스 포토 캡처
KR20230124732A (ko) 가상 및 그래픽 엘리먼트들을 제어하기 위한 미세 손제스처들
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
EP3616030B1 (en) Navigating a holographic image
JPWO2018003861A1 (ja) 表示装置および制御装置
CN114402589A (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
US11954268B2 (en) Augmented reality eyewear 3D painting
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
KR20140142337A (ko) 증강 현실 광 가이드 디스플레이
US20240144611A1 (en) Augmented reality eyewear with speech bubbles and translation
KR20230017849A (ko) 증강 현실 안내
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
KR20230026503A (ko) 사회적 거리두기를 사용한 증강 현실 경험들
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20230025913A (ko) 기분 공유를 갖는 증강 현실 안경류
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
WO2023248381A1 (ja) 映像表示システム、映像制御方法、及び映像制御プログラム
US20230007227A1 (en) Augmented reality eyewear with x-ray effect
KR102650349B1 (ko) Xr 디바이스 및 그 제어 방법
WO2024034053A1 (ja) 情報処理装置および情報処理方法
WO2023034752A1 (en) Gaze tracking for a retinal projection display system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22947942

Country of ref document: EP

Kind code of ref document: A1