WO2022114308A1 - 방향 식별을 위한 슬림형 xr 디바이스 및 그 제어 방법 - Google Patents

방향 식별을 위한 슬림형 xr 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
WO2022114308A1
WO2022114308A1 PCT/KR2020/017211 KR2020017211W WO2022114308A1 WO 2022114308 A1 WO2022114308 A1 WO 2022114308A1 KR 2020017211 W KR2020017211 W KR 2020017211W WO 2022114308 A1 WO2022114308 A1 WO 2022114308A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
slim
screen
camera
user
Prior art date
Application number
PCT/KR2020/017211
Other languages
English (en)
French (fr)
Inventor
윤홍수
신호동
심승보
김정현
Original Assignee
가온미디어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온미디어 주식회사 filed Critical 가온미디어 주식회사
Publication of WO2022114308A1 publication Critical patent/WO2022114308A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present invention relates to a technique for identifying the direction of an image captured by an XR device according to a movement of a user wearing the XR device.
  • the present invention relates to a technique for distributing a plurality of cameras to a frame front member and a frame rear member so that a result photographed from each camera is distinguished from the direction the XR device faces.
  • VR virtual reality
  • CG computer graphic
  • AR augmented reality
  • mixed reality (MR) technology is a computer graphics technology that provides by independently combining or mixing computer graphic images made virtual with respect to the real world.
  • AR technology is a method of overlaying a virtual digital image on an actual image.
  • MR technology is different from VR technology, which shows only virtual computer graphic images with blindfolded eyes in that the user's eyes can see the real world as a method of overlaying a virtual digital image on the real world.
  • MR devices can be used while walking in the real world while wearing glasses, so their uses (e.g., counter-terrorism operations, fire suppression operations, etc.) are much more diverse.
  • HMD-type XR devices have limitations in adopting modules for various purposes such as a plurality of control chips, distributing and installing a plurality of cameras and installing a configuration for operating the plurality of cameras is also spatial There have been limitations in terms of weight reduction and limitations.
  • a plurality of cameras are distributed and placed on the frame front member and the frame rear member in the XR device slimmed through the thin film type PCB member so that the direction of the photographed result can be identified while shooting the 360 degree direction of the XR device. Accordingly, it is required to implement a technology that can solve the problems of the prior art as described above.
  • the present invention has been proposed in view of the above, and an object of the present invention is to provide a light-weighted state in spite of installing a plurality of cameras for a light-weighted XR device so that the area and direction to be photographed by the XR device can be identified.
  • An object of the present invention is to provide a slim XR device and a control method therefor for direction identification to be maintained.
  • a slim XR device for direction identification includes one or more lens members 110 disposed on the user's eye side to guide the user's field of vision; a display member for displaying information on the lens member; a frame front member 130 for fixing the lens member in a form surrounding the edges of one or more lens members; One or more frame side members 140 that are fixed to both sides of the frame front member and extend rearwardly to mount the lens member on the user's face in cooperation with the frame front member; a PCB member 150 disposed on the front surface of the frame front member in the form of a thin film and connected to the display member to control the operation of the display member; a front camera member 161 that passes through the PCB member and shoots the front in a state where it is fitted on the front side of the frame front member; It is configured to include; one or more rear camera members 162 for photographing the rear in a state of being fitted to the rear end of the frame side member.
  • the front camera member 161 may be disposed between the PCB member and the frame front member, and in this case, the frame front member 130 is recessed by a predetermined depth backward in its front corresponding to the front camera member to the front camera member
  • a camera accommodating member 131 for accommodating; may be provided.
  • one or more side camera members 163 for photographing the side in a state in which the frame is fitted on the side wall of the side member may be configured to further include.
  • the lens member 110 may be made of a transparent material that can be viewed through the naked eye of the user, and the display member may be configured to display MR information on a partial region of the lens member by operating as an MR display member by an external control.
  • the present invention provides a method of controlling a slim XR device for direction identification providing a MR (Mixed Reality) mode and a VR (Virtual Reality) mode, comprising the steps of: (a) executing the MR mode; (b) displaying a screen in MR mode; (c) extracting additional information related to the VR mode by accessing the memory when a preset trigger condition is satisfied while the MR mode is running; (d) displaying a virtual object at a specific location within the screen of the VR mode within the screen of the MR mode based on the extracted additional information related to the VR mode;
  • the MR mode screen may include an object photographed by the camera of the XR device, and the VR mode screen may include at least one virtual object mapped to each location.
  • At least one virtual object mapped for each location on the screen in the VR mode may be configured to be changed for each user recognized by the XR device.
  • the step of tracking the gaze of the user of the XR device or a specific device may be configured to further include.
  • the trigger condition may be configured including a case in which the tracked user's gaze or a specific device is recognized for a preset time within a specific area within the screen of the MR mode.
  • the trigger condition includes a first condition in which a specific physical key button of the XR device or a corresponding remote control is pushed, a second condition in which a specific motion of the XR device or a corresponding remote control is detected, and a specific gesture by the camera of the XR device may be configured to include at least one of the sensed third conditions.
  • changing the virtual object at a specific location within the screen of the VR mode displayed within the screen of the MR mode according to the size or location of the area formed by the specific gesture; further comprising; can be configured.
  • the step (d) may include displaying an indicator for guiding at least one virtual object on the screen of the VR mode while the MR mode is being executed.
  • the indicator includes first graphic data indicating the type of at least one virtual object in the screen of the VR mode, second graphic data indicating the position of the at least one virtual object in the screen of the VR mode, and It may be configured to include at least one or more of third graphic data indicating the number of at least one virtual object in the screen.
  • the computer program according to the present invention is stored in the medium in order to execute the control method of the slim XR device for direction identification as described above in combination with hardware.
  • the present invention shows the advantage of identifying which of the results taken from each camera member on the basis of the XR device as a plurality of camera members are provided for the HMD type XR device.
  • the present invention also shows the advantage of maintaining the slimming state of the slimmed XR device despite having a plurality of camera members as the thin film type PCB member, the front camera member, and the rear camera member are provided.
  • the present invention also shows the advantage of improving the activity of the user wearing the XR device by implementing the overall slim front end of the XR device.
  • FIG. 1 is an exemplary view showing a slim-type XR device for direction identification according to the present invention.
  • Fig. 2 is a view in which the configuration of Fig. 1 is separated;
  • FIG 3 is a plan view of a state in which the slim XR device for direction identification is worn according to the first embodiment of the present invention.
  • FIG. 4 is an exemplary view showing a photographing angle of each camera member in FIG. 3 .
  • FIG. 5 is a plan view of a state in which a slim XR device for direction identification is worn according to a second embodiment of the present invention
  • FIG. 6 is an exemplary view showing a photographing angle of each camera member in FIG. 5 .
  • FIG. 7 is a flowchart illustrating a control method of a slim XR device for direction identification according to the present invention.
  • FIG. 8 is a view showing an example of a memory data structure in which the slim XR device for direction identification according to the present invention stores parameters for providing MR/VR services.
  • FIG. 1 is an exemplary diagram illustrating a slim XR device for direction identification according to the present invention
  • FIG. 2 is a diagram in which the configuration of FIG. 1 is separated
  • FIG. 3 is a view for direction identification according to a first embodiment of the present invention It is a plan view of a state in which the slim XR device is worn
  • FIG. 4 is an exemplary view showing the photographing angle of each camera member in FIG. 3 .
  • the slim XR device for direction identification includes a lens member 110, a display member (not shown), a frame front member 130, a frame side member 140, and a PCB member. 150 , a front camera member 161 , and rear camera members 162 and 162 ′ may be included.
  • the lens member 110 may be disposed on the user's face and eyes to guide the user's field of view. To this end, the lens member 110 may be configured as a pair as shown in FIG. 2 to correspond to the position of the user's two eyes, but one lens member 110 may be configured to be long left and right.
  • the display member (not shown) may be configured to display any one of MR information, AR information, and VR information on the inner surface of the lens member 110 .
  • the MR information is a so-called MR (computer graphic (CG) image that displays a virtual computer graphic (CG) image on the inner surface of the lens member 110 while the user is actually viewing the real world through the lens member 110 .
  • MR computer graphic
  • AR information AR information
  • VR information VR information of the present specification are defined as follows.
  • the MR information is a so-called MR (computer graphic (CG) image that displays a virtual computer graphic (CG) image on the inner surface of the lens member 110 while the user is actually viewing the real world through the lens member 110 .
  • CG computer graphic
  • VR mixed Reality
  • the AR information is preferably created virtually on the inner surface of the lens member 110 in a state in which the user is viewing a real image (eg, a professional baseball relay), not the real world, through the lens member 110 . It refers to the so-called AR (Augmented Reality) mode that displays computer graphics (CG) images.
  • AR Augmented Reality
  • VR information refers to a so-called VR (Virtual Reality) mode in which a computer graphic (CG) image made in advance by the user is displayed virtually through the lens member 110 .
  • CG computer graphic
  • the frame front member 130 fixes the lens member 110 in a shape surrounding the edges of one or more lens members 110 as shown in FIGS. 1 and 2 .
  • the frame side member 140 is fixed to both sides of the frame front member 130 as shown in Figs. 1 and 2 and extends rearwardly, so that the lens member 110 in cooperation with the frame front member 130 is used by the user. put it on the face.
  • the frame side member 140 may be configured as a pair to correspond to both ears of the user as shown in FIGS. 1 and 2 , or may be connected to both ends of the frame front member 130 in a ring shape.
  • the PCB member 150 is disposed in the form of a thin film on the front surface of the frame front member 130 as shown in FIG. 2 and is connected to the display member (not shown) to control the operation of the display member (not shown).
  • the PCB member 150 may be preferably composed of a lupus and a thin FPCB as shown in FIG. 2 .
  • the front camera member 161 may be configured to pass through the PCB member 150 as shown in FIGS. 1 to 4 and photograph the front in a state in which it is fitted in the front of the frame front member 130 .
  • the rear camera members 162 and 162 ′ may be configured to photograph the rear in a state in which they are respectively fitted to the rear end of the frame side member 140 as shown in FIGS. 3 and 4 .
  • each camera member can photograph is approximately 120 degrees or more.
  • the front camera member 161 having such a configuration may be disposed between the PCB member 150 and the frame front member 130 as shown in FIGS. 1 to 4 .
  • the frame front member 130 may be provided with a camera accommodating member 131, the camera accommodating member 131 is predetermined to the rear of its front corresponding to the front camera member 161 as shown in FIG. As the depth is recessed, the front camera member 161 can be accommodated.
  • FIG. 5 is a plan view of a state in which a slim XR device for direction identification is worn according to a second embodiment of the present invention
  • FIG. 6 is an exemplary view showing the photographing angle of each camera member in FIG. 5 .
  • the present invention may be configured to further include one or more side camera members (163, 163').
  • the side camera members 163 and 163 ′ may be configured to photograph the side while being fitted to the side wall of the frame side member 140 as shown in FIGS. 5 and 6 .
  • a unique number is specified for each of the side camera members 163 and 163' in advance, it can be identified in which direction the photographing result provided from each side camera member 163, 163' is based on the XR device. will be.
  • each of the side camera members 163 and 163' can photograph is approximately 120 degrees or more.
  • the lens member 110 may be made of a transparent material that can be seen through the user's naked eye.
  • the display member (not shown) may be configured to operate under an external control as an MR display member (not shown) to display MR information on a partial region of the lens member 110 .
  • FIG. 7 is a flowchart illustrating a control method of a slim XR device for direction identification according to the present invention.
  • a virtual object corresponding to a specific position within the screen of the VR mode is displayed in the screen of the MR mode.
  • the screen of the MR mode includes, for example, an object photographed by a camera of the slim XR device, and the screen of the VR mode includes at least one virtual object mapped for each location.
  • At least one virtual object mapped for each location on the screen in the VR mode may be changed for each user recognized by, for example, the slim XR device.
  • the trigger condition may include, for example, a case in which the tracked user's gaze or a specific device is recognized within a specific area within the screen of the MR mode for a preset time.
  • the trigger condition is, for example, a first condition in which a specific physical key button of the slim XR device or a corresponding remote control is pushed, a second condition in which a specific motion of the slim XR device or a corresponding remote control is detected, or the slim XR device At least one of a third condition in which a specific gesture is detected by the camera may be included.
  • the method further includes changing the virtual object at a specific location within the screen of the VR mode displayed within the screen of the MR mode according to the size or location of the area formed by the specific gesture. .
  • Step S150 may further include displaying an indicator for guiding at least one virtual object in the screen of the VR mode while the MR mode is being executed.
  • the indicator includes, for example, first graphic data indicating the type of at least one virtual object in the screen in VR mode, second graphic data indicating the position of at least one virtual object in the screen in VR mode, and in the screen in VR mode. It may include at least one of third graphic data indicating the number of at least one virtual object.
  • a slim XR device providing a plurality of XR (extended reality) related modes includes a memory, a controller executing a first mode among at least one mode, and a first It may include a display member that displays the screen of mode 1.
  • XR extended reality
  • the controller accesses the memory to extract second mode-related additional information, and based on the extracted second mode-related additional information, The display member is controlled to display a virtual object at a specific position on the screen in the second mode within the screen.
  • the first mode corresponds, for example, to the previously described MR mode
  • the second mode corresponds to, for example, the previously described VR mode.
  • FIG. 8 is a diagram illustrating an example of a memory data structure in which the slim XR device for direction identification according to the present invention stores parameters for providing MR/VR services.
  • specific parameters for the MR/VR service may be predefined in the memory of the slim XR device as shown in FIG. 8 in order to implement the embodiment of the present invention.
  • the same screen is provided in the MR mode regardless of ID.
  • arbitrary virtual objects and locations are defined differently for each ID.
  • the ID for distinguishing the user may be arbitrarily input by the user or may be automatically identified through a camera or the like. More specifically, for example, Mr Kim accesses the database shown in FIG. 8 when the trigger condition is satisfied while the XR device is running in the MR mode, and the location of additional information A (virtual object) on the screen of the VR mode and additional information B After checking the location of the (virtual object), a GUI indicating it may be displayed.
  • Ms Lee accesses the database shown in FIG. 8 when the trigger condition is satisfied while running the MR mode of the slim XR device, and the location of additional information A (virtual object) and additional information C (virtual object) on the screen in VR mode After checking the location of , it is also possible to display a GUI indicating it.
  • Ms Park accesses the database shown in Fig. 8 when the trigger condition is satisfied while executing the MR mode of the slim XR device, the location of additional information D (virtual object) on the screen in VR mode, and additional information E (virtual object) ) and F additional information (virtual object) may be located, and a GUI indicating this may be displayed.
  • the screen of the VR mode here is personalized, it is possible to set it differently for each user.
  • the present invention can be implemented in the form of computer-readable codes on a computer-readable non-volatile recording medium.
  • Various types of storage devices exist as such non-volatile recording media.
  • the form in which it is made and executed can also be implemented.
  • the present invention may be implemented in the form of a computer program stored in a medium to execute a specific procedure in combination with hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 XR 디바이스를 착용한 사용자의 이동에 따라 XR 디바이스가 촬영하는 영상의 방향을 식별하고자 하는 기술로서, 복수의 카메라를 프레임전방 부재와 프레임후방 부재에 분산 배치함에 따라 각 카메라로부터 촬영된 결과물이 XR 디바이스가 향하는 방향과 구별하도록 하는 기술에 관한 것이다. 특히, 얇은 막 형태의 PCB 부재를 통해 슬림화된 XR 디바이스에 대해 방향 식별을 위한 복수의 카메라를 채용함에도 불구하고 그 슬림화된 XR 디바이스가 슬림화된 상태를 유지하도록 하는 기술이다. 본 발명에 따르면, XR 디바이스의 선단부를 전체적으로 슬림하게 구현함에 따라 그 XR 디바이스를 착용한 유저의 활동성을 향상시킬 수 있는 장점이 있다.

Description

방향 식별을 위한 슬림형 XR 디바이스 및 그 제어 방법
본 발명은 XR 디바이스를 착용한 사용자의 이동에 따라 XR 디바이스가 촬영하는 영상의 방향을 식별하고자 하는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 복수의 카메라를 프레임전방 부재와 프레임후방 부재에 분산 배치함에 따라 각 카메라로부터 촬영된 결과물이 XR 디바이스가 향하는 방향과 구별하도록 하는 기술에 관한 것이다.
특히, 얇은 막 형태의 PCB 부재를 통해 슬림화된 XR 디바이스에 대해 방향 식별을 위한 복수의 카메라를 채용함에도 불구하고 그 슬림화된 XR 디바이스가 슬림화된 상태를 유지하도록 하는 기술이다.
가상현실(VR; Virtual Reality) 기술은 화면이나 렌즈를 통해 구현되는 객체나 배경 등을 가상으로 만들어진 컴퓨터그래픽(CG; Computer Graphic) 영상으로만 제공한다.
그리고, 증강현실(AR; Augmented Reality) 기술은 실제 영상에 대해 가상으로 만들어진 컴퓨터그래픽 영상을 더하여 함께 제공한다.
또한, 혼합현실(MR; Mixed Reality) 기술은 현실 세계에 대해 가상으로 만들어진 컴퓨터그랙픽 영상을 독립적으로 결합시키거나 믹싱하여 제공하는 컴퓨터그래픽 기술이다.
여기서, 위에 언급한 VR, AR, MR 등을 모두 간단히 확장현실(XR; extended reality) 기술로 지칭하기도 한다.
AR 기술은 실제 영상에 대해 가상의 디지털 이미지를 입히는 방식이다. 또한, MR 기술은 현실 세계에 대해 가상의 디지털 이미지를 입히는 방식으로서 유저의 눈으로 현실 세계를 볼 수 있다는 점에서 눈을 가린 채 가상의 컴퓨터그래픽 영상만 보여주는 VR 기술과는 다르다.
또한, 실내에서만 쓸 수 있는 VR 기기 및 AR 기기와 달리 MR 기기는 안경처럼 착용한 상태로 현실 세계를 걸어다니면서 사용할 수가 있으므로 그 쓰임새(예: 대테러 진압작전, 화재 진압작전 등)가 훨씬 다양하다.
그런데, XR 디바이스는 보통 HMD 방식으로 채용되기 때문에 그러한 구성의 XR 디바이스를 통해서는 사용자의 두상을 기준으로 360도 각도를 동시에 촬영한다는 것에 한계가 있어 왔다.
그리고, 그러한 HMD 방식의 XR 디바이스는 복수의 제어칩 등 다양한 목적의 모듈 들을 채택하는 것에도 한계가 있기 때문에 복수의 카메라를 분산 설치하고 그러한 복수의 카메라를 동작시키기 위한 구성을 설치하는 것에도 공간적인 한계와 경량화의 한계가 있어 왔다.
그에 따라, XR 디바이스의 360도 방향을 촬영하면서도 그 촬영된 결과물의 방향을 식별할 수 있도록 얇은 막 형태의 PCB 부재를 통해 슬림화된 XR 디바이스에서 프레임전방 부재와 프레임후방 부재에 복수의 카메라를 분산 배치함에 따라 상기와 같은 종래기술의 문제점을 해결할 수 있는 기술 구현이 요구된다.
본 발명은 상기한 점을 감안하여 제안된 것으로, 본 발명의 목적은 XR 디바이스가 촬영하는 영역과 방향을 식별할 수 있도록 경량화된 XR 디바이스에 대해 복수의 카메라를 설치함에도 불구하고 그 경량화된 상태를 유지하도록 하는 방향 식별을 위한 슬림형 XR 디바이스 및 그 제어 방법을 제공함에 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스는 사용자의 눈 쪽에 배치되어 사용자의 시야를 가이드하는 하나이상의 렌즈 부재(110); 렌즈 부재에 정보를 표시하는 디스플레이 부재; 하나이상의 렌즈 부재의 테두리를 감싸는 형태로 렌즈 부재를 고정하는 프레임전방 부재(130); 프레임전방 부재의 양측에 고정된 상태로 후방으로 연장됨에 따라 프레임전방 부재와 협동으로 렌즈 부재를 사용자의 안면에 거치시키는 하나이상의 프레임측방 부재(140); 프레임전방 부재의 전면에 얇은 막 형태로 배치되며 디스플레이 부재와 접속되어 디스플레이 부재의 동작을 제어하는 PCB 부재(150); PCB 부재를 관통하여 프레임전방 부재의 전면에 끼워져 배치된 상태로 전방을 촬영하는 전방 카메라 부재(161); 프레임측방 부재의 후단부에 끼워져 배치된 상태로 후방을 촬영하는 하나이상의 후방 카메라 부재(162);를 포함하여 구성된다.
그리고, 전방 카메라 부재(161)는 PCB 부재와 프레임전방 부재 사이에 배치될 수 있고, 이때, 프레임전방 부재(130)는 전방 카메라 부재에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰되어 전방 카메라 부재를 수용하는 카메라 수용부재(131);구비할 수 있다.
또한, 프레임측방 부재의 측벽에 끼워져 배치된 상태로 측방을 촬영하는 하나이상의 측방 카메라 부재(163);를 더 포함하여 구성될 수 있다.
여기서, 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어지고, 디스플레이 부재는 MR 표시 부재로서 외부의 제어로 동작하여 렌즈 부재의 일부 영역에 MR 정보를 표시하도록 구성될 수 있다.
다른 한편, 본 발명은 MR (Mixed Reality) 모드 및 VR (Virtual Reality) 모드를 제공하는 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법으로서, (a) MR 모드를 실행하는 단계; (b) MR 모드의 스크린을 디스플레이 하는 단계; (c) MR 모드 실행 중 기설정된 트리거(trigger) 조건이 만족된 경우 메모리에 액세스하여 VR 모드 관련 부가 정보를 추출하는 단계; (d) 추출된 VR 모드 관련 부가 정보에 기초하여 MR 모드의 스크린내에 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 디스플레이 하는 단계;를 포함하여 구성될 수 있다.
여기서, MR 모드의 스크린은, XR 디바이스의 카메라에 의해 촬영된 오브젝트를 포함하여 구성될 수 있고, VR 모드의 스크린은, 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트를 포함하여 구성될 수 있다.
그리고, VR 모드의 스크린내 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트는, XR 디바이스에 의해 인식된 유저별로 변경되도록 구성될 수 있다.
다른 한편, XR 디바이스의 유저의 시선 또는 특정 디바이스를 트래킹 하는 단계;를 더 포함하여 구성될 수도 있다.
이때, 트리거 조건은, 트래킹된 유저의 시선 또는 특정 디바이스가 MR 모드의 스크린내 특정 영역 내에서 기설정된 시간 동안 인식된 경우를 포함하여 구성될 수 있다.
그리고, 트리거 조건은, XR 디바이스 또는 대응하는 리모컨의 특정 물리키 버튼이 푸쉬된 제1조건과, XR 디바이스 또는 대응하는 리모컨의 특정 모션이 감지된 제2조건과, XR 디바이스의 카메라에 의해 특정 제스처가 감지된 제3조건 중 적어도 하나를 포함하여 구성될 수도 있다.
여기서, 트리거 조건이 제3조건에 해당하는 경우 특정 제스처가 형성하는 영역의 사이즈 또는 위치에 따라 MR 모드의 스크린내에서 디스플레이된 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 변경하는 단계;를 더 포함하여 구성될 수 있다.
그리고, 단계 (d)는, MR 모드를 실행 중 VR 모드의 스크린내 적어도 하나의 가상 오브젝트를 가이드 하기 위한 인디케이터를 디스플레이 하는 단계;를 구비할 수 있다.
또한, 인디케이터는, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 타입을 표시하는 제1 그래픽 데이터와, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 위치를 표시하는 제2 그래픽 데이터와, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 개수를 표시하는 제3 그래픽 데이터 중 적어도 하나이상을 포함하여 구성될 수 있다.
다른 한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법을 실행시키기 위하여 매체에 저장된 것이다.
본 발명은 HMD 방식의 XR 디바이스에 대해 복수의 카메라 부재를 구비함에 따라 각 카메라 부재로부터 촬영된 결과물이 XR 디바이스 기준으로 어느 쪽인지를 식별하도록 하는 장점을 나타낸다.
또한, 본 발명은 얇은 막 형태의 PCB 부재, 전방 카메라 부재, 후방 카메라 부재를 구비함에 따라 복수의 카메라 부재를 구비함에도 불구하고 그 슬림화된 XR 디바이스의 슬림화 상태를 유지하는 장점도 나타낸다.
또한, 본 발명은 XR 디바이스의 선단부를 전체적으로 슬림하게 구현함에 따라 그 XR 디바이스를 착용한 유저의 활동성을 향상시킬 수 있는 장점도 나타낸다.
도 1은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스를 도시한 예시도.
도 2는 도 1의 구성을 분리한 도면.
도 3은 본 발명의 제 1 실시예에 따른 방향 식별을 위한 슬림형 XR 디바이스를 착용한 상태의 평면도.
도 4는 도 3에서 각 카메라 부재의 촬영 각도를 표시한 예시도.
도 5는 본 발명의 제 2 실시예에 따른 방향 식별을 위한 슬림형 XR 디바이스를 착용한 상태의 평면도.
도 6은 도 5에서 각 카메라 부재의 촬영 각도를 표시한 예시도.
도 7은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법을 나타낸 순서도.
도 8은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스가 MR/VR 서비스 제공을 위한 파라미터들을 저장한 메모리 데이터 구조의 일례를 나타낸 도면.
이하, 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스를 도시한 예시도이고, 도 2는 도 1의 구성을 분리한 도면이고, 도 3은 본 발명의 제 1 실시예에 따른 방향 식별을 위한 슬림형 XR 디바이스를 착용한 상태의 평면도이고, 도 4는 도 3에서 각 카메라 부재의 촬영 각도를 표시한 예시도이다.
도 1 내지 도 4를 참조하면, 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스는 렌즈 부재(110), 디스플레이 부재(미도시), 프레임전방 부재(130), 프레임측방 부재(140), PCB 부재(150), 전방 카메라 부재(161), 후방 카메라 부재(162, 162')를 포함하여 구성될 수 있다.
렌즈 부재(110)는 사용자의 얼굴 눈 쪽에 배치되어 사용자의 시야를 가이드할 수 있다. 이를 위해, 렌즈 부재(110)는 사용자의 두 눈 위치에 대응하여 도 2에서와 같이 한 쌍으로 구성될 수도 있지만, 하나의 렌즈 부재(110)가 좌우로 길게 구성될 수도 있다.
디스플레이 부재(미도시)는 렌즈 부재(110)의 안쪽 면에 MR 정보, AR 정보, VR 정보 중 어느 하나를 표시하도록 구성될 수 있다.
여기서, 본 명세서의 MR 정보, AR 정보, VR 정보를 정의하면 다음과 같다. 먼저, MR 정보는 사용자가 렌즈 부재(110)를 통해 현실 세계를 실제로 보고 있는 상태에서 바람직하게는 그 렌즈 부재(110)의 내측면에 가상으로 만들어진 컴퓨터그래픽(CG) 영상을 표시하는 소위 MR (Mixed Reality) 모드를 의미한다.
그리고, AR 정보는 사용자가 렌즈 부재(110)를 통해 현실 세계가 아닌 촬영된 실제 영상(예: 프로야구 중계)을 보고 있는 상태에서 바람직하게는 그 렌즈 부재(110)의 내측면에 가상으로 만들어진 컴퓨터그래픽(CG) 영상을 표시하는 소위 AR (Augmented Reality) 모드를 의미한다.
또한, VR 정보는 사용자가 렌즈 부재(110)를 통해 가상으로 미리 만들어진 컴퓨터그래픽(CG) 영상이 표시되는 소위 VR(Virtual Reality) 모드를 의미한다.
프레임전방 부재(130)는 도 1과 도 2에서와 같이 하나이상의 렌즈 부재(110)의 테두리를 감싸는 형태로 렌즈 부재(110)를 고정한다.
프레임측방 부재(140)는 도 1과 도 2에서와 같이 프레임전방 부재(130)의 양측에 고정된 상태로 후방으로 연장됨에 따라 프레임전방 부재(130)와 협동으로 렌즈 부재(110)를 사용자의 안면에 거치시킨다.
여기서, 프레임측방 부재(140)는 도 1과 도 2에서와 같이 사용자의 양측 귀에 대응하도록 한 쌍으로 구성될 수도 있고, 프레임전방 부재(130)의 양단에 고리 형태로 연결될 수도 있다.
PCB 부재(150)는 도 2에서와 같이 프레임전방 부재(130)의 전면에 얇은 막 형태로 배치되며 디스플레이 부재(미도시)와 접속되어 디스플레이 부재(미도시)의 동작을 제어한다.
이를 위해, PCB 부재(150)는 바람직하게는 도 2에서와 같이 낭창낭창하고 얇은 FPCB로 구성될 수도 있다.
전방 카메라 부재(161)는 도 1 내지 도 4에서와 같이 PCB 부재(150)를 관통하여 프레임전방 부재(130)의 전면에 끼워져 배치된 상태로 전방을 촬영하도록 구성될 수 있다.
후방 카메라 부재(162, 162')는 도 3과 도 4에서와 같이 프레임측방 부재(140)의 후단부에 각각 끼워져 배치된 상태로 후방을 촬영하도록 구성될 수 있다.
여기서, 각 카메라 부재에 대해 고유번호를 미리 지정하게 되면 각 카메라 부재로부터 제공받는 촬영 결과물이 XR 디바이스를 기준으로 어느 방향의 것인지를 식별할 수 있을 것이다.
그리고, 각 카메라 부재가 촬영 가능한 광각은 대략 120도 이상인 것으로 채택함이 바람직하다.
이와 같은 구성의 전방 카메라 부재(161)는 도 1 내지 도 4에서와 같이 PCB 부재(150)와 프레임전방 부재(130) 사이에 배치될 수 있다.
이를 위해, 프레임전방 부재(130)는 카메라 수용부재(131)를 구비할 수 있는데, 카메라 수용부재(131)는 도 2에서와 같이 전방 카메라 부재(161)에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰됨에 따라 그 전방 카메라 부재(161)를 수용할 수 있게 된다.
한편, 도 5는 본 발명의 제 2 실시예에 따른 방향 식별을 위한 슬림형 XR 디바이스를 착용한 상태의 평면도이고, 도 6은 도 5에서 각 카메라 부재의 촬영 각도를 표시한 예시도이다.
도 5와 도 6을 참조하면, 본 발명은 하나이상의 측방 카메라 부재(163, 163')를 더 포함하여 구성될 수 있다.
측방 카메라 부재(163, 163')는 도 5와 도 6에서와 같이 프레임측방 부재(140)의 측벽에 끼워져 배치된 상태로 측방을 촬영하도록 구성될 수 있다.
여기서도. 각각의 측방 카메라 부재(163, 163')에 대해 고유번호를 미리 지정하게 되면 각 측방 카메라 부재(163, 163')로부터 제공받는 촬영 결과물이 XR 디바이스를 기준으로 어느 방향의 것인지를 식별할 수 있을 것이다.
또한, 각각의 측방 카메라 부재(163, 163')가 촬영 가능한 광각은 대략 120도 이상인 것으로 채택함이 바람직하다.
다른 한편, 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어질 수 있다. 이때, 디스플레이 부재(미도시)는 MR 표시 부재(미도시)로서 외부의 제어로 동작하여 렌즈 부재(110)의 일부 영역에 MR 정보를 표시하도록 구성될 수 있다.
도 7은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법을 나타낸 순서도이다.
단계 (S110) : 본 발명에 따른 슬림형 XR 디바이스는 MR (Mixed Reality) 모드 및 VR (Virtual Reality) 모드를 제공하기 위해 먼저, MR 모드를 실행할 수 있다.
단계 (S120, S130) : 나아가, MR 모드의 스크린을 디스플레이하고, MR 모드 실행 중 기설정된 트리거(trigger) 조건이 만족하는지 여부를 판단한다.
단계 (S140, S150) : 트리거 조건이 만족된 것으로 판단된 경우 메모리에 액세스하여 VR 모드 관련 부가 정보를 추출한다.
이어서, 그 추출된 VR 모드 관련 부가 정보에 기초하여 MR 모드의 스크린 내에 VR 모드의 스크린 내에서 특정 위치에 대응하는 가상 오브젝트를 디스플레이한다.
MR 모드의 스크린은 예컨대 슬림형 XR 디바이스의 카메라에 의해 촬영된 오브젝트를 포함하고, VR 모드의 스크린은 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트를 포함한다.
VR 모드의 스크린 내 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트는, 예컨대 슬림형 XR 디바이스에 의해 인식된 유저별로 변경될 수도 있다.
도 7에 도시되지는 않았으나, 슬림형 XR 디바이스의 유저의 시선 또는 특정 디바이스를 트래킹하는 단계를 더 포함하여 구성될 수도 있다.
이때, 트리거 조건은 예컨대 트래킹된 유저의 시선 또는 특정 디바이스가 MR 모드의 스크린 내 특정 영역 내에서 기설정된 시간 동안 인식된 경우를 포함할 수 있다.
트리거 조건은, 예를 들어, 슬림형 XR 디바이스 또는 이에 대응하는 리모컨의 특정 물리키 버튼이 푸쉬된 제1조건, 슬림형 XR 디바이스 또는 이에 대응하는 리모컨의 특정 모션이 감지된 제2조건 또는 슬림형 XR 디바이스의 카메라에 의해 특정 제스쳐가 감지된 제3조건 중 적어도 하나를 포함할 수 있다.
트리거 조건이 제3조건에 해당하는 경우, 특정 제스쳐가 형성하는 영역의 사이즈 또는 위치에 따라, MR 모드의 스크린내에서 디스플레이된 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 변경하는 단계를 더 포함한다.
단계 (S150)은 MR 모드를 실행 중, VR 모드의 스크린내 적어도 하나의 가상 오브젝트를 가이드하기 위한 인디케이터를 디스플레이하는 단계를 더 포함할 수도 있다.
여기서, 인디케이터는 예컨대 VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 타입을 표시하는 제1 그래픽 데이터, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 위치를 표시하는 제2 그래픽 데이터, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 개수를 표시하는 제3 그래픽 데이터 중 적어도 하나를 포함할 수 있다.
본 발명의 제어 방법과 유사하게, 장치 관점에서 살펴하면 XR (extended reality) 관련 복수 개의 모드를 제공하는 슬림형 XR 디바이스는, 메모리와, 적어도 하나의 모드 중 제1 모드를 실행하는 컨트롤러와, 그리고 제1 모드의 스크린을 디스플레이하는 디스플레이 부재를 포함할 수 있다. 여기서, 메모리의 특징은 이하 도 8에서 살펴 본다.
컨트롤러는, 제1 모드 실행 중 기설정된 트리거(trigger) 조건이 만족된 경우, 메모리에 액세스하여 제2 모드 관련 부가 정보를 추출하고, 추출된 제2 모드 관련 부가 정보에 기초하여, 제1 모드의 스크린내에 제2 모드의 스크린내 특정 위치의 가상 오브젝트를 디스플레이하도록 디스플레이 부재를 제어한다.
제1 모드는 예컨대 이전에 설명한 MR 모드에 해당하고, 제2 모드는 예를 들어 이전에 설명한 VR 모드에 해당한다.
도 8은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스가 MR/VR 서비스 제공을 위한 파라미터들을 저장한 메모리 데이터 구조의 일례를 나타낸 도면이다.
앞서 살펴 본 본 발명의 실시예를 구현하기 위하여 도 8에 도시된 바와 같이 슬림형 XR 디바이스의 메모리에 MR/VR 서비스를 위한 특정 파라미터들을 미리 정의할 수 있다.
종래에는 MR 모드를 실행하였다가, 개인화된 VR 모드의 정보를 불러오 기 위해서는 MR 모드가 VR 모드로 전체 전환되어야 하는 문제점이 있었다. 반면, 본원 발명에 의하면, MR 모드 실행 중 VR 모드의 가상 오브젝트들 중 일부만 불러오는 것이 가능하다.
도 8에 도시된 바와 같이, ID와 관계 없이 MR 모드에서는 동일한 화면이 제공된다. 그러나, MR 모드 실행 중 트리거 조건 만족시 VR 모드의 스크린내 특정 가상 오브젝트만 불러 오기 위하여, ID 별로 임의의 가상 오브젝트 및 위치가 다르게 정의된다.
한편, 사용자를 구별하기 위한 ID는, 사용자가 임의로 입력할 수도 있고 또는 카메라 등을 통해 자동 구별도 가능하다. 보다 구체적으로 예를 들면, Mr Kim이 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 도 8에 도시된 데이터베이스에 액세스 하여, VR 모드의 스크린내 A 부가 정보(가상 오브젝트)의 위치 및 B 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
반면, Ms Lee 가 슬림형 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 도 8에 도시된 데이터베이스에 액세스하여, VR 모드의 스크린내 A 부가 정보(가상 오브젝트)의 위치 및 C 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
마지막으로, Ms Park 이 슬림형 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 도 8에 도시된 데이터베이스에 액세스 하여, VR 모드의 스크린내 D 부가 정보(가상 오브젝트)의 위치, E 부가 정보(가상 오브젝트) 및 F 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
즉, 여기서의 VR 모드의 스크린은 개인화되어 있으므로, 사용자별로 다르게 설정하는 것이 가능하다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (10)

  1. 사용자의 눈 쪽에 배치되어 사용자의 시야를 가이드하는 하나이상의 렌즈 부재(110);
    상기 렌즈 부재에 정보를 표시하는 디스플레이 부재;
    상기 하나이상의 렌즈 부재의 테두리를 감싸는 형태로 상기 렌즈 부재를 고정하는 프레임전방 부재(130);
    상기 프레임전방 부재의 양측에 고정된 상태로 후방으로 연장됨에 따라 상기 프레임전방 부재와 협동으로 상기 렌즈 부재를 사용자의 안면에 거치시키는 하나이상의 프레임측방 부재(140);
    상기 프레임전방 부재의 전면에 얇은 막 형태로 배치되며 상기 디스플레이 부재와 접속되어 상기 디스플레이 부재의 동작을 제어하는 PCB 부재(150);
    상기 PCB 부재를 관통하여 상기 프레임전방 부재의 전면에 끼워져 배치된 상태로 전방을 촬영하는 전방 카메라 부재(161);
    상기 프레임측방 부재의 후단부에 끼워져 배치된 상태로 후방을 촬영하는 하나이상의 후방 카메라 부재(162);
    를 포함하여 구성되는 방향 식별을 위한 슬림형 XR 디바이스.
  2. 청구항 1에 있어서,
    상기 전방 카메라 부재(161)는 상기 PCB 부재와 상기 프레임전방 부재 사이에 배치되고,
    상기 프레임전방 부재(130)는,
    상기 전방 카메라 부재에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰되어 상기 전방 카메라 부재를 수용하는 카메라 수용부재(131);
    구비하는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스.
  3. 청구항 2에 있어서,
    상기 프레임측방 부재의 측벽에 끼워져 배치된 상태로 측방을 촬영하는 하나이상의 측방 카메라 부재(163);
    를 더 포함하여 구성되는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스.
  4. 청구항 3에 있어서,
    상기 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어지고,
    상기 디스플레이 부재는 MR 표시 부재로서 외부의 제어로 동작하여 상기 렌즈 부재의 일부 영역에 MR 정보를 표시하는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스.
  5. MR (Mixed Reality) 모드 및 VR (Virtual Reality) 모드를 제공하는 슬림형 XR 디바이스의 제어 방법으로서,
    (a) 상기 MR 모드를 실행하는 단계;
    (b) 상기 MR 모드의 스크린을 디스플레이 하는 단계;
    (c) 상기 MR 모드 실행 중 기설정된 트리거(trigger) 조건이 만족된 경우 메모리에 액세스하여 상기 VR 모드 관련 부가 정보를 추출하는 단계;
    (d) 상기 추출된 VR 모드 관련 부가 정보에 기초하여 상기 MR 모드의 스크린내에 상기 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 디스플레이 하는 단계;
    를 포함하여 구성되는 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법.
  6. 청구항 5에 있어서,
    상기 MR 모드의 스크린은,
    상기 XR 디바이스의 카메라에 의해 촬영된 오브젝트를 포함하여 구성되고,
    상기 VR 모드의 스크린은,
    각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트를 포함하여 구성되는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법.
  7. 청구항 5에 있어서,
    상기 VR 모드의 스크린내 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트는, 상기 XR 디바이스에 의해 인식된 유저별로 변경되도록 구성되는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법.
  8. 청구항 5에 있어서,
    상기 XR 디바이스의 유저의 시선 또는 특정 디바이스를 트래킹 하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법.
  9. 청구항 8에 있어서,
    상기 트리거 조건은,
    상기 트래킹된 유저의 시선 또는 특정 디바이스가 상기 MR 모드의 스크린내 특정 영역 내에서 기설정된 시간 동안 인식된 경우를 포함하여 구성되는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법.
  10. 하드웨어와 결합되어 청구항 5 내지 9 중 어느 하나의 항에 따른 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
PCT/KR2020/017211 2020-11-27 2020-11-28 방향 식별을 위한 슬림형 xr 디바이스 및 그 제어 방법 WO2022114308A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0163385 2020-11-27
KR1020200163385A KR102642822B1 (ko) 2020-11-27 2020-11-27 방향 식별을 위한 슬림형 xr 디바이스

Publications (1)

Publication Number Publication Date
WO2022114308A1 true WO2022114308A1 (ko) 2022-06-02

Family

ID=81755762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017211 WO2022114308A1 (ko) 2020-11-27 2020-11-28 방향 식별을 위한 슬림형 xr 디바이스 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR102642822B1 (ko)
WO (1) WO2022114308A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
JP2011071884A (ja) * 2009-09-28 2011-04-07 Brother Industries Ltd 作業支援システム
KR20150056359A (ko) * 2013-11-15 2015-05-26 엘지전자 주식회사 안경형 단말기 및 안경형 단말기의 제어방법
KR20190085894A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR20200061930A (ko) * 2018-11-26 2020-06-03 삼성전자주식회사 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120006430U (ko) * 2011-03-09 2012-09-19 주식회사 한국 오.지.케이 일반안경에 탈/부착이 가능한 3ｄ시청용 액티브 안경조립체
KR20190120349A (ko) * 2017-03-06 2019-10-23 스냅 인코포레이티드 웨어러블 디바이스 안테나 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
JP2011071884A (ja) * 2009-09-28 2011-04-07 Brother Industries Ltd 作業支援システム
KR20150056359A (ko) * 2013-11-15 2015-05-26 엘지전자 주식회사 안경형 단말기 및 안경형 단말기의 제어방법
KR20200061930A (ko) * 2018-11-26 2020-06-03 삼성전자주식회사 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
KR20190085894A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
KR102642822B1 (ko) 2024-03-04
KR20220074650A (ko) 2022-06-03

Similar Documents

Publication Publication Date Title
WO2019112285A1 (en) System and method for hmd configurable for various mobile device sizes
WO2013105715A1 (en) Device and method for controlling rotation of displayed image
WO2018128472A1 (en) Virtual reality experience sharing
WO2015030303A1 (en) Portable device displaying augmented reality image and method of controlling therefor
WO2015178535A1 (en) Wearable device displaying thumbnail image and method of controlling the same
WO2014104473A1 (en) Head mounted display and method of video communication using the same
WO2015108232A1 (en) Portable device and method for controlling the same
WO2016027930A1 (en) Portable device and method for controlling the same
WO2019004564A1 (en) SYSTEM FOR PROVIDING MULTIPLE VIEWS OF VIRTUAL REALITY
EP3108329A1 (en) Display system for displaying augmented reality image and control method for the same
WO2015046677A1 (en) Head-mounted display and method of controlling the same
WO2015046676A1 (en) Head-mounted display and method of controlling the same
EP3108289A1 (en) Head mounted display and method for controlling the same
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2020262923A1 (en) System and method for generating a mixed reality experience
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2015105234A1 (en) Head mounted display and method for controlling the same
WO2017200279A1 (en) Method and apparatus for facilitating interaction with virtual reality equipment
WO2015030305A1 (en) Portable device displaying augmented reality image and method of controlling therefor
WO2020085821A1 (ko) 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법
WO2018135730A1 (ko) Vr 영상 생성 방법, vr 영상 처리 방법 및 vr 영상 처리 시스템
WO2019139344A1 (en) Method and optical system for determining depth information
WO2022114306A1 (ko) 5g 통신 기능을 가지는 슬림형 xr 디바이스 및 그 제어 방법
WO2014003509A1 (ko) 증강 현실 표현 장치 및 방법
WO2022114308A1 (ko) 방향 식별을 위한 슬림형 xr 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20963703

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20963703

Country of ref document: EP

Kind code of ref document: A1