WO2022231224A1 - Augmented reality glasses providing panoramic multi-screens and panoramic multi-screen provision method for augmented reality glasses - Google Patents

Augmented reality glasses providing panoramic multi-screens and panoramic multi-screen provision method for augmented reality glasses Download PDF

Info

Publication number
WO2022231224A1
WO2022231224A1 PCT/KR2022/005820 KR2022005820W WO2022231224A1 WO 2022231224 A1 WO2022231224 A1 WO 2022231224A1 KR 2022005820 W KR2022005820 W KR 2022005820W WO 2022231224 A1 WO2022231224 A1 WO 2022231224A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearer
screen
panoramic
augmented reality
input signal
Prior art date
Application number
PCT/KR2022/005820
Other languages
French (fr)
Korean (ko)
Inventor
최치원
최지웅
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Publication of WO2022231224A1 publication Critical patent/WO2022231224A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present invention relates to an augmented reality glass and a method for providing a multi-screen therefor, and more particularly, to an augmented reality glass for providing a panoramic multi-screen and a method for providing a panoramic multi-screen for the augmented reality glass.
  • a head mounted display which is a type of wearable device, refers to various devices that a user can wear on the head to receive multimedia contents.
  • the head mounted display is worn on the user's body and provides images to the user in various environments as the user moves.
  • Such a head mounted display (HMD) is divided into a see-through type and a see-closed type, and the transparent type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). Reality, VR).
  • HMD for augmented reality various functions can be used like other smart devices such as smartphones and tablet PCs. Therefore, the development of technologies for the utilization and conversion of various functions in the HMD for augmented reality is emerging.
  • Patent Publication No. 10-2019-0093966 title of the invention: HMD device and operating method thereof, publication date: August 12, 2019
  • Patent Publication No. 10-2019-0093966 title of the invention: HMD device and operating method thereof, publication date: August 12, 2019
  • the present invention has been proposed to solve the above problems of the previously proposed methods, by generating a cylindrical virtual panoramic background and arranging a plurality of screens performing different functions at a predetermined angle on the virtual panoramic background.
  • a panoramic multi screen By composing a panoramic multi screen and controlling the video information in the field of view to change by moving the panoramic multi screen according to the wearer's input signal, each screen performing different functions can be switched according to the wearer's needs and used conveniently.
  • An object of the present invention is to provide an augmented reality glass that provides a panoramic multi-screen, and a panoramic multi-screen providing method for the augmented reality glass, which can increase the satisfaction of the wearer.
  • the present invention enables the wearer to easily switch various functions while wearing augmented reality glasses by moving the panoramic multi-screen through controller manipulation, gesture, and tracking direction of the wearer's gaze by the IMU sensor.
  • Another object of the present invention is to provide an augmented reality glass providing a panoramic multi-screen that can be maximized and a panoramic multi-screen providing method for the augmented reality glass.
  • Augmented reality glass providing a panoramic multi-screen according to the features of the present invention for achieving the above object
  • a screen configuration unit that generates a cylindrical virtual panoramic background centered on the augmented reality glass, and configures a panoramic multi-screen by arranging a plurality of screens performing different functions at a predetermined angle on the virtual panoramic background;
  • an image controller for controlling the image information of the panoramic multi-screen to be output as image light and provided as augmented reality
  • the video control unit controls the display of
  • the wearer is positioned at the center of the cylindrical virtual panoramic background, and the multi-panoramic screen is moved according to the wearer's input signal to change the image information of the wearer's field of view, thereby performing different functions. It is characterized in that each screen is switched and provided according to the input signal of the wearer.
  • the virtual panoramic background Preferably, the virtual panoramic background,
  • it may be configured in black.
  • the image control unit More preferably, the image control unit,
  • the wearer's input signal is
  • It may be input through at least one of a controller manipulation and a gesture.
  • the wearer's input signal is
  • the gaze direction tracking signal may be input as an input signal of the wearer.
  • the screen component Preferably, the screen component,
  • the plurality of screens may be arranged at an angle of 90 degrees.
  • the wearer's input signal is
  • On/off of the gaze direction tracking is controlled by the wearer, in an on state, a signal by the gaze direction tracking is input as an input signal of the wearer, and in an off state, a signal by manipulation of the controller or a gesture is transmitted to the wearer can be input as an input signal of
  • a cylindrical virtual panoramic background is created, and different functions are applied to the virtual panoramic background at a predetermined angle.
  • the wearer needs each screen that performs different functions by arranging a plurality of screens to perform a multi-panoramic screen, and moving the panoramic multi-screen according to the wearer's input signal to change the image information of the field of view. It can be switched according to the user's convenience to increase the wearer's satisfaction.
  • the panoramic multi-screen through controller operation, gesture, and tracking direction of the wearer's gaze by the IMU sensor, etc.
  • the wearer can easily switch various functions while wearing the augmented reality glasses, thereby maximizing the wearer's convenience.
  • FIG. 1 is a diagram illustrating a state in which a panoramic multi-screen is provided in an augmented reality glass that provides a panoramic multi-screen according to an embodiment of the present invention.
  • Figure 2 is a view showing the configuration of the augmented reality glass providing a panoramic multi-screen according to an embodiment of the present invention.
  • FIG 3 is a view showing, for example, a virtual panoramic background generated by a screen component of an augmented reality glass that provides a panoramic multi-screen according to an embodiment of the present invention.
  • Figure 4 is a view for explaining the screen change according to the tracking direction in the augmented reality glass providing a panoramic multi-screen according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a flow of a method for providing a panoramic multi-screen for augmented reality glasses according to an embodiment of the present invention.
  • S200 A step of controlling the image information of the panoramic multi-screen to be output as image light from the augmented reality glass and provided as augmented reality
  • the augmented reality glass 100 providing the panoramic multi-screen 10 according to an embodiment of the present invention transmits at least a portion of the light of the real world through the wearer's field of view. It is a device that provides augmented reality by combining the transmitted real world light and image light by outputting image light and transmitting it in the direction of the wearer's eyes, and is composed of a virtual panoramic background 11 and a plurality of screens 12 It is possible to provide the panoramic multi-screen 10 that becomes the image information combined with the real world.
  • the augmented reality glass 100 is a component for providing augmented reality to the wearer, and may include an optical device that is worn on the wearer's head and transmits image light for the realization of augmented reality to the wearer's eyes. have. A detailed configuration of the augmented reality glass 100 will be described in detail later with reference to FIG. 2 .
  • the augmented reality glasses 100 may be of various types, such as general glasses type, goggles type, helmet type, etc., a binocular type that transmits image information to both eyes of the wearer by outputting image light, and a monocular type that transmits image information to only one eye There may be brothers.
  • the augmented reality glass 100 providing a panoramic multi-screen 10 may be configured to include a screen configuration unit 110 and an image control unit 120 . and may further include a display 130 , an optical system 140 , and a sensor unit 150 .
  • the screen configuration unit 110 generates a cylindrical virtual panoramic background 11 centered on the augmented reality glass 100 , and a plurality of screens performing different functions at a predetermined angle to the virtual panoramic background 11 .
  • the panoramic multi-screen 10 can be configured.
  • FIG. 3 is a diagram illustrating, for example, a virtual panoramic background 11 generated by the screen component 110 of the augmented reality glass 100 providing the panoramic multi-screen 10 according to an embodiment of the present invention.
  • the screen component 110 of the augmented reality glass 100 that provides the panoramic multi-screen 10 according to an embodiment of the present invention is cylindrical around the augmented reality glass 100 .
  • the virtual panoramic background 11 may be configured in black to improve visibility of the plurality of screens 12 to be arranged.
  • various colors such as dark gray for improving visibility of the screen 12 may be configured.
  • the screen configuration unit 110 may configure the multi-panoramic screen 10 by arranging a plurality of screens 12 at a predetermined angle on the inner surface of the cylindrical virtual panoramic background 11 .
  • the predetermined angle may be different depending on the number of the screens 12 to be arranged.
  • the screen configuration unit 110 may arrange a plurality of screens 12 at an angle of 90 degrees, and arrange three or four screens 12 at an angle of 90 degrees to arrange the panoramic multi-screen 10 ) can be configured.
  • each screen 12 disposed on the virtual panoramic background 11 may perform different functions.
  • each screen 12 may be a different application execution screen, and may perform a predetermined role such as video conference or screen sharing.
  • the size of each screen 12 may be different from each other according to the function to be performed, and the size may be set by the wearer.
  • the image controller 120 may control the image information of the panoramic multi-screen 10 to be output as image light and provided as augmented reality. That is, the image controller 120 controls the image so that the panoramic multi-screen 10 is provided as image information combined with the light of the real world in the augmented reality glass 100, and displays the image on the display 130 to be described in detail later. By controlling the transmission of information, it is possible to output image light.
  • the image controller 120 provides the image information of the multi-panoramic screen 10, as shown in FIG. 1, the multi-panoramic screen 10 is outputted through the augmented reality glass 100 and delivered to the wearer's eyes. , the wearer can experience augmented reality in the form of a multi-panoramic multi-screen 10 superimposed on the real world within the field of view.
  • the multi-panoramic screen 10 is configured by arranging a plurality of screens 12 on the cylindrical virtual panoramic background 11 as shown in FIG. 3 , it is 360 degrees around the front of the wearer.
  • FOV Field of View
  • the front screen 12 among the plurality of screens 12 is all A, a part of the surrounding screen 12 may be included in the field of view.
  • the wearer uses the function of the screen 12 located in the front, that is, the application output to the screen 12 in the front or the function of the augmented reality glass 100 can interact with the wearer.
  • the image controller 120 causes the wearer to be positioned at the center of the cylindrical virtual panoramic background 11, and moves the panoramic multi-screen 10 according to the wearer's input signal to change the image information of the wearer's field of view.
  • each screen 12 performing different functions may be switched and provided according to the wearer's input signal. That is, the wearer uses the input signal to move the panoramic multi-screen 10 to change the screen 12 located in the front, so that the screen 12 is similar to using a multi-monitor by connecting multiple monitors in a computer. It can be switched and used.
  • the wearer's input signal may be input through at least one of a controller manipulation and a gesture.
  • the panoramic multi-screen 10 can be moved in a clockwise or counterclockwise direction (or left and right) through a controller operation or gesture, and the image control unit 120 moves in a clockwise or counterclockwise direction according to the wearer's input signal.
  • the screen 12 in the counterclockwise direction can be moved to the front of the wearer so that the screen 12 can be switched.
  • the screen 12 is switched, not only the image information is changed, but the interaction with the wearer is also switched, so that the wearer can use the function of the screen 12 positioned in the front through the interaction.
  • the wearer's input signal is a signal by the wearer's gaze direction tracking by the IMU sensor provided in the augmented reality glass 100, the on/off of the gaze direction tracking is controlled by the wearer, and the tracking direction tracking in the on state may be input as an input signal of the wearer.
  • FIG. 4 is a diagram for explaining the switching of the screen 12 according to the tracking direction in the augmented reality glass 100 that provides the panoramic multi-screen 10 according to an embodiment of the present invention.
  • the wearer's head using the IMU sensor provided on one side of the augmented reality glass 100 A direction, a posture, etc. can be estimated, and through this, the gaze direction viewed by the wearer can be tracked. For example, when the wearer looks at the video conference screen 12 on the left in the state shown in FIG.
  • on/off of gaze direction tracking may be controlled by the wearer, and on/off may be controlled by a controller, a gesture, a voice signal, or the like. That is, when the gaze direction tracking is used, the screen 12 may be switched unintentionally by the wearer, so that the wearer can control it on/off as necessary.
  • a signal by the gaze direction tracking may be input as an input signal of the wearer, and in the off state, a signal by a controller manipulation or a gesture may be received as an input signal of the wearer.
  • the image controller 120 may automatically adjust the transparency of the virtual panoramic background 11 using data received from the illuminance sensor.
  • the virtual panoramic background 11 may be configured in black to improve the visibility of the plurality of screens 12 to be arranged. information can be effectively combined.
  • the display 130 is configured to output the image light received from the image controller 120 so that the panoramic multi-screen 10 can be provided to the wearer.
  • the display 130 may be configured in various ways, such as OLED.
  • the optical system 140 may include a plurality of lenses and mirrors, and transmits the image light output from the display 130 to the eyes of the wearer while transmitting at least a portion of real world light through the wearer's field of view to enhance the wearer It can be configured to experience reality.
  • the optical system 140 may be implemented in various ways, for example, it may be implemented by an optical diffraction method, a beam splitter method, a pin mirror method, and the like.
  • the sensor unit 150 may include various types of sensors provided in the augmented reality glass 100 , and may include an IMU sensor, an illuminance sensor, a camera sensor, a chemical sensor, and the like.
  • the sensing data collected by the sensor unit 150 can be used by the image control unit 120 to provide image information, and in particular, the panoramic multi-screen 10 optimized for the wearer's situation using the information collected from the IMU sensor and the illuminance sensor. can provide
  • FIG. 5 is a diagram illustrating a flow of a method for providing a panoramic multi-screen 10 for augmented reality glasses 100 according to an embodiment of the present invention.
  • the panoramic multi-screen 10 providing method for the augmented reality glass 100 according to an embodiment of the present invention, at least a part of the light of the real world (real world) through the wearer's field of view
  • a method of providing a panoramic multi-screen 10 for augmented reality glass 100 that transmits, outputs image light and transmits it in the direction of the wearer's eyes, providing augmented reality by combining the transmitted real-world light and image light.
  • step S100 Create a cylindrical virtual panoramic background 11 centered on the augmented reality glass 100, and arrange a plurality of screens 12 that perform different functions at a predetermined angle on the virtual panoramic background 11 to create a panorama
  • step S200 The step of configuring the multi-screen 10 (S100), the step of controlling the image information of the panoramic multi-screen 10 to be output as image light from the augmented reality glass 100 and provided as augmented reality (S200), and the wearer's Control to change the image information of the wearer's field of view by moving the panoramic multi-screen 10 according to the input signal, so that each screen 12 performing different functions is switched and provided according to the wearer's input signal It may be implemented including step S300.
  • the panoramic multi-screen 10 providing method for the augmented reality glasses 100 may be composed of software recorded in hardware including a memory and a processor.
  • the method for providing a multi-panoramic screen 10 for the augmented reality glass 100 of the present invention may be stored and implemented in the augmented reality glass 100 .
  • a subject performing each step may be omitted.
  • step S100 a plurality of screens 12 performing different functions at a predetermined angle to the virtual panoramic background 11 are generated in a cylindrical virtual panoramic background 11 centered on the augmented reality glass 100. It can be arranged to configure the panoramic multi-screen 10 . Step S100 may be performed by the screen component 110 of the augmented reality glass 100 .
  • step S200 the image information of the multi-panoramic screen 10 may be controlled to be output as image light from the augmented reality glass 100 and provided as augmented reality.
  • Step S200 may be performed by the image controller 120 of the augmented reality glasses 100 .
  • step S300 the wearer is positioned at the center of the cylindrical virtual panoramic background 11, but the panoramic multi-screen 10 is moved according to the wearer's input signal to change the scene in the wearer's viewing direction, Each screen 12 performing a function may be controlled to be switched and provided according to the wearer's input signal.
  • Step S300 may be performed by the image controller 120 of the augmented reality glasses 100 .
  • the wearer's input signal is a signal by the wearer's gaze direction tracking by a controller operation, a gesture, or an IMU sensor, the on/off of the gaze direction tracking is controlled by the wearer, and A signal may be input as an input signal of the wearer, and a signal by a controller manipulation or a gesture may be input as an input signal of the wearer in the off state.
  • a cylindrical virtual panorama The background 11 is created, and a plurality of screens 12 that perform different functions at predetermined angles are arranged on the virtual panoramic background 11 to configure the panoramic multi-screen 10, and according to the wearer's input signal,
  • each screen 12 performing different functions can be switched according to the wearer's needs and used conveniently, thereby increasing the wearer's satisfaction. have.
  • augmented reality glass 100 for providing the panoramic multi-screen 10 proposed in the present invention and the panoramic multi-screen 10 providing method for the augmented reality glass 100, controller operation, gesture, IMU sensor By moving the panoramic multi-screen 10 through tracking of the wearer's gaze direction by
  • the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals.
  • the computer-readable medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, and floppy disks. It may include magneto-optical media and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Such a computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the computer-readable medium may be specially designed and configured to implement the present invention, or may be known and available to those skilled in the art of computer software.
  • it may include not only machine language code such as generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

According to augmented reality glasses providing panoramic multi-screens and a panoramic multi-screen provision method for augmented reality glasses, presented in the present invention, a cylindrical virtual panoramic background is generated, panoramic multi-screens are configured by arranging multiple screens, for carrying out mutually different functions, on the virtual panoramic background at predetermined angles, and image information of a view field is controlled so as to be changed by moving the panoramic multi-screens according to an input signal of a wearer, and thus each screen for carrying out the mutually different functions is switched according to the needs of the wearer, thereby enabling convenient use and thus enabling the satisfaction of the wearer to be increased.

Description

파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법Augmented reality glass providing panoramic multi-screen and panoramic multi-screen providing method for augmented reality glass
본 발명은 증강현실 글라스 및 이를 위한 멀티 화면 제공 방법에 관한 것으로서, 보다 구체적으로는 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법에 관한 것이다.The present invention relates to an augmented reality glass and a method for providing a multi-screen therefor, and more particularly, to an augmented reality glass for providing a panoramic multi-screen and a method for providing a panoramic multi-screen for the augmented reality glass.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.Various wearable devices are being developed in accordance with the trend of weight reduction and miniaturization of digital devices. A head mounted display, which is a type of wearable device, refers to various devices that a user can wear on the head to receive multimedia contents. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. Such a head mounted display (HMD) is divided into a see-through type and a see-closed type, and the transparent type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). Reality, VR).
한편, 증강현실용 HMD는 아직까지 증강현실 게임이나 특수 목적으로 사용되는 것이 대부분이고, 여러 가지 기능을 수행하기 위한 프로그램이나 인터페이스 등의 개발도 활발하지 않은 실정이다.On the other hand, most of the augmented reality HMDs are still used for augmented reality games or special purposes, and development of programs or interfaces for performing various functions is not actively developed.
그러나 증강현실용 HMD에서는, 스마트폰, 태블릿 PC 등 다른 스마트 디바이스처럼 다양한 기능을 사용할 수 있으며, 증강현실용 HMD의 대중화를 위해서는 이러한 다기능의 쉽고 편리한 활용이 필수적으로 요구된다. 따라서 증강현실용 HMD에서 다양한 기능의 활용 및 전환을 위한 기술의 개발이 대두된다.However, in HMD for augmented reality, various functions can be used like other smart devices such as smartphones and tablet PCs. Therefore, the development of technologies for the utilization and conversion of various functions in the HMD for augmented reality is emerging.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.On the other hand, as prior art related to the present invention, Patent Publication No. 10-2019-0093966 (title of the invention: HMD device and operating method thereof, publication date: August 12, 2019) and the like have been disclosed.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 원통형의 가상 파노라마 배경을 생성하고, 가상 파노라마 배경에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면을 배치하여 파노라마 멀티 화면을 구성하고, 착용자의 입력 신호에 따라 파노라마 멀티 화면을 이동시켜 뷰 필드의 영상 정보가 변경되도록 제어함으로써, 서로 다른 기능을 수행하는 각각의 화면을 착용자 필요에 따라 전환해 편리하게 사용할 수 있어 착용자의 만족도를 높일 수 있는, 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, by generating a cylindrical virtual panoramic background and arranging a plurality of screens performing different functions at a predetermined angle on the virtual panoramic background. By composing a panoramic multi screen and controlling the video information in the field of view to change by moving the panoramic multi screen according to the wearer's input signal, each screen performing different functions can be switched according to the wearer's needs and used conveniently. An object of the present invention is to provide an augmented reality glass that provides a panoramic multi-screen, and a panoramic multi-screen providing method for the augmented reality glass, which can increase the satisfaction of the wearer.
또한, 본 발명은, 컨트롤러 조작, 제스처, IMU 센서에 의한 착용자 주시 방향 트래킹 등을 통해 파노라마 멀티 화면을 이동시킴으로써, 착용자가 증강현실 글라스를 착용한 상태에서 여러 기능을 쉽게 전환할 수 있어 착용자 편의를 극대화할 수 있는, 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention enables the wearer to easily switch various functions while wearing augmented reality glasses by moving the panoramic multi-screen through controller manipulation, gesture, and tracking direction of the wearer's gaze by the IMU sensor. Another object of the present invention is to provide an augmented reality glass providing a panoramic multi-screen that can be maximized and a panoramic multi-screen providing method for the augmented reality glass.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 파노라마 멀티 화면을 제공하는 증강현실 글라스는,Augmented reality glass providing a panoramic multi-screen according to the features of the present invention for achieving the above object,
착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 영상 광을 출력해 상기 착용자의 눈 방향으로 전달하여, 투과되는 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 증강현실 글라스로서,It transmits at least a portion of the light of the real world through the wearer's field of vision, outputs image light and transmits it to the eye direction of the wearer, providing augmented reality by combining the transmitted real world light and image light As augmented reality glass,
상기 증강현실 글라스를 중심으로 하는 원통형의 가상 파노라마 배경을 생성하고, 상기 가상 파노라마 배경에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면을 배치하여 파노라마 멀티 화면을 구성하는 화면 구성부; 및a screen configuration unit that generates a cylindrical virtual panoramic background centered on the augmented reality glass, and configures a panoramic multi-screen by arranging a plurality of screens performing different functions at a predetermined angle on the virtual panoramic background; and
상기 파노라마 멀티 화면의 영상 정보가 영상 광으로 출력되어 증강현실로 제공되도록 제어하는 영상 제어부를 포함하며,and an image controller for controlling the image information of the panoramic multi-screen to be output as image light and provided as augmented reality,
상기 영상 제어부는,The video control unit,
상기 착용자가 상기 원통형의 가상 파노라마 배경의 중심에 위치하도록 하되, 상기 착용자의 입력 신호에 따라 상기 파노라마 멀티 화면을 이동시켜 상기 착용자의 뷰 필드의 영상 정보가 변경되도록 제어하여, 서로 다른 기능을 수행하는 각각의 화면이 상기 착용자의 입력 신호에 따라 전환 제공되는 것을 그 구성상의 특징으로 한다.The wearer is positioned at the center of the cylindrical virtual panoramic background, and the multi-panoramic screen is moved according to the wearer's input signal to change the image information of the wearer's field of view, thereby performing different functions. It is characterized in that each screen is switched and provided according to the input signal of the wearer.
바람직하게는, 상기 가상 파노라마 배경은,Preferably, the virtual panoramic background,
배치되는 복수의 화면의 시인성 향상을 위해 검은색으로 구성할 수 있다.In order to improve the visibility of a plurality of screens to be arranged, it may be configured in black.
더욱 바람직하게는, 상기 영상 제어부는,More preferably, the image control unit,
조도 센서로부터 수신한 데이터를 사용해, 상기 가상 파노라마 배경의 투명도를 자동으로 조절할 수 있다.Using data received from the illuminance sensor, it is possible to automatically adjust the transparency of the virtual panoramic background.
바람직하게는, 상기 착용자의 입력 신호는,Preferably, the wearer's input signal is
컨트롤러 조작 및 제스처 중 적어도 하나를 통해 입력될 수 있다.It may be input through at least one of a controller manipulation and a gesture.
바람직하게는, 상기 착용자의 입력 신호는,Preferably, the wearer's input signal is
상기 증강현실 글라스에 구비된 IMU 센서에 의한 착용자 주시 방향 트래킹에 의한 신호이며,It is a signal by tracking the wearer's gaze direction by the IMU sensor provided in the augmented reality glass,
상기 착용자에 의해 상기 주시 방향 트래킹의 온/오프가 제어되며, 온 상태에서 상기 주시 방향 트래킹에 의한 신호를 상기 착용자의 입력 신호로 입력받을 수 있다.On/off of the gaze direction tracking is controlled by the wearer, and in an on state, the gaze direction tracking signal may be input as an input signal of the wearer.
바람직하게는, 상기 화면 구성부는,Preferably, the screen component,
상기 복수의 화면을 90도 각도로 배치할 수 있다.The plurality of screens may be arranged at an angle of 90 degrees.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법은,In addition, the panoramic multi-screen providing method for augmented reality glasses according to the features of the present invention for achieving the above object,
착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 영상 광을 출력해 상기 착용자의 눈 방향으로 전달하여, 투과되는 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법으로서,It transmits at least a portion of the light of the real world through the wearer's field of vision, outputs image light and transmits it to the eye direction of the wearer, providing augmented reality by combining the transmitted real world light and image light As a method of providing a panoramic multi-screen for augmented reality glass,
(1) 상기 증강현실 글라스를 중심으로 하는 원통형의 가상 파노라마 배경을 생성하고, 상기 가상 파노라마 배경에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면을 배치하여 파노라마 멀티 화면을 구성하는 단계;(1) creating a cylindrical virtual panoramic background centered on the augmented reality glass, and configuring a multi-panoramic screen by arranging a plurality of screens performing different functions at a predetermined angle on the virtual panoramic background;
(2) 상기 파노라마 멀티 화면의 영상 정보가 상기 증강현실 글라스에서 영상 광으로 출력되어 증강현실로 제공되도록 제어하는 단계; 및(2) controlling the image information of the multi-panoramic screen to be output as image light from the augmented reality glass and provided as augmented reality; and
(3) 상기 착용자가 상기 원통형의 가상 파노라마 배경의 중심에 위치하도록 하되, 상기 착용자의 입력 신호에 따라 상기 파노라마 멀티 화면을 이동시켜 상기 착용자의 시야 방향의 장면이 변경되도록 제어하여, 서로 다른 기능을 수행하는 각각의 화면이 상기 착용자의 입력 신호에 따라 전환 제공되도록 제어하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.(3) control so that the wearer is positioned at the center of the cylindrical virtual panoramic background, the panoramic multi-screen is moved according to the wearer's input signal to change the scene in the wearer's viewing direction, so that different functions are performed It is characterized in that it comprises the step of controlling each screen to be performed to be switched and provided according to the input signal of the wearer.
바람직하게는, 상기 착용자의 입력 신호는,Preferably, the wearer's input signal is
컨트롤러 조작, 제스처 또는 IMU 센서에 의한 착용자 주시 방향 트래킹에 의한 신호이며,It is a signal by controller operation, gesture, or tracking the wearer's gaze direction by an IMU sensor,
상기 착용자에 의해 상기 주시 방향 트래킹의 온/오프가 제어되며, 온 상태에서 상기 주시 방향 트래킹에 의한 신호를 상기 착용자의 입력 신호로 입력받고, 오프 상태에서 상기 컨트롤러 조작 또는 제스처에 의한 신호를 상기 착용자의 입력 신호로 입력받을 수 있다.On/off of the gaze direction tracking is controlled by the wearer, in an on state, a signal by the gaze direction tracking is input as an input signal of the wearer, and in an off state, a signal by manipulation of the controller or a gesture is transmitted to the wearer can be input as an input signal of
본 발명에서 제안하고 있는 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법에 따르면, 원통형의 가상 파노라마 배경을 생성하고, 가상 파노라마 배경에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면을 배치하여 파노라마 멀티 화면을 구성하고, 착용자의 입력 신호에 따라 파노라마 멀티 화면을 이동시켜 뷰 필드의 영상 정보가 변경되도록 제어함으로써, 서로 다른 기능을 수행하는 각각의 화면을 착용자 필요에 따라 전환해 편리하게 사용할 수 있어 착용자의 만족도를 높일 수 있다.According to the augmented reality glass providing the panoramic multi-screen and the panoramic multi-screen providing method for the augmented reality glass proposed in the present invention, a cylindrical virtual panoramic background is created, and different functions are applied to the virtual panoramic background at a predetermined angle. The wearer needs each screen that performs different functions by arranging a plurality of screens to perform a multi-panoramic screen, and moving the panoramic multi-screen according to the wearer's input signal to change the image information of the field of view. It can be switched according to the user's convenience to increase the wearer's satisfaction.
또한, 본 발명에서 제안하고 있는 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법에 따르면, 컨트롤러 조작, 제스처, IMU 센서에 의한 착용자 주시 방향 트래킹 등을 통해 파노라마 멀티 화면을 이동시킴으로써, 착용자가 증강현실 글라스를 착용한 상태에서 여러 기능을 쉽게 전환할 수 있어 착용자 편의를 극대화할 수 있다.In addition, according to the augmented reality glass providing the panoramic multi-screen and the panoramic multi-screen providing method for the augmented reality glass proposed in the present invention, the panoramic multi-screen through controller operation, gesture, and tracking direction of the wearer's gaze by the IMU sensor, etc. By moving the , the wearer can easily switch various functions while wearing the augmented reality glasses, thereby maximizing the wearer's convenience.
도 1은 본 발명의 일실시예에 따른 파노라마 멀티 화면을 제공하는 증강현실 글라스에서 파노라마 멀티 화면이 제공되는 모습을 도시한 도면.1 is a diagram illustrating a state in which a panoramic multi-screen is provided in an augmented reality glass that provides a panoramic multi-screen according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 파노라마 멀티 화면을 제공하는 증강현실 글라스의 구성을 도시한 도면.Figure 2 is a view showing the configuration of the augmented reality glass providing a panoramic multi-screen according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 파노라마 멀티 화면을 제공하는 증강현실 글라스의 화면 구성부에서 생성한 가상 파노라마 배경을 예를 들어 도시한 도면.3 is a view showing, for example, a virtual panoramic background generated by a screen component of an augmented reality glass that provides a panoramic multi-screen according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 파노라마 멀티 화면을 제공하는 증강현실 글라스에서 주시 방향 트래킹에 따른 화면 전환을 설명하기 위해 도시한 도면.Figure 4 is a view for explaining the screen change according to the tracking direction in the augmented reality glass providing a panoramic multi-screen according to an embodiment of the present invention.
도 5는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법의 흐름을 도시한 도면.5 is a diagram illustrating a flow of a method for providing a panoramic multi-screen for augmented reality glasses according to an embodiment of the present invention.
<부호의 설명><Explanation of code>
10: 파노라마 멀티 화면10: Panoramic multi-screen
11: 가상 파노라마 배경11: Virtual Panoramic Background
12: 화면12: screen
100: 증강현실 글라스100: augmented reality glass
110: 화면 구성부110: screen component
120: 영상 제어부120: video controller
130: 디스플레이130: display
140: 광학계140: optical system
150: 센서부150: sensor unit
S100: 증강현실 글라스를 중심으로 하는 원통형의 가상 파노라마 배경을 생성하고, 가상 파노라마 배경에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면을 배치하여 파노라마 멀티 화면을 구성하는 단계S100: Creating a cylindrical virtual panoramic background centered on augmented reality glass, and configuring a panoramic multi-screen by arranging a plurality of screens performing different functions at a predetermined angle on the virtual panoramic background
S200: 파노라마 멀티 화면의 영상 정보가 증강현실 글라스에서 영상 광으로 출력되어 증강현실로 제공되도록 제어하는 단계S200: A step of controlling the image information of the panoramic multi-screen to be output as image light from the augmented reality glass and provided as augmented reality
S300: 착용자의 입력 신호에 따라 파노라마 멀티 화면을 이동시켜 착용자의 뷰 필드의 영상 정보가 변경되도록 제어하여, 서로 다른 기능을 수행하는 각각의 화면이 착용자의 입력 신호에 따라 전환 제공되도록 제어하는 단계S300: moving the panoramic multi-screen according to the wearer's input signal and controlling the image information of the wearer's field of view to change, so that each screen performing different functions is switched and provided according to the wearer's input signal
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.
도 1은 본 발명의 일실시예에 따른 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100)에서 파노라마 멀티 화면(10)이 제공되는 모습을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100)는, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 영상 광을 출력해 착용자의 눈 방향으로 전달하여, 투과되는 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 장치로써, 가상 파노라마 배경(11)과 복수의 화면(12)으로 구성되는 파노라마 멀티 화면(10)을 실제 세계와 결합되는 영상 정보로 제공할 수 있다.1 is a view showing a state in which the panoramic multi-screen 10 is provided in the augmented reality glass 100 that provides the panoramic multi-screen 10 according to an embodiment of the present invention. As shown in FIG. 1, the augmented reality glass 100 providing the panoramic multi-screen 10 according to an embodiment of the present invention transmits at least a portion of the light of the real world through the wearer's field of view. It is a device that provides augmented reality by combining the transmitted real world light and image light by outputting image light and transmitting it in the direction of the wearer's eyes, and is composed of a virtual panoramic background 11 and a plurality of screens 12 It is possible to provide the panoramic multi-screen 10 that becomes the image information combined with the real world.
여기서, 증강현실 글라스(100)는, 착용자에게 증강현실을 제공하기 위한 구성으로, 착용자의 머리에 착용되어 증강현실의 구현을 위한 영상 광을 착용자의 눈으로 전달하는 광학 장치를 포함하여 구성될 수 있다. 증강현실 글라스(100)의 세부적인 구성에 대해서는 추후 도 2를 참조하여 상세히 설명하도록 한다.Here, the augmented reality glass 100 is a component for providing augmented reality to the wearer, and may include an optical device that is worn on the wearer's head and transmits image light for the realization of augmented reality to the wearer's eyes. have. A detailed configuration of the augmented reality glass 100 will be described in detail later with reference to FIG. 2 .
또한, 증강현실 글라스(100)는, 일반적인 안경형, 고글형, 헬멧형 등 다양할 수 있으며, 영상 광을 출력해 착용자의 양안에 영상 정보를 전달하는 양안형, 한쪽 눈에만 영상 정보를 전달하는 단안형 등이 있을 수 있다.In addition, the augmented reality glasses 100 may be of various types, such as general glasses type, goggles type, helmet type, etc., a binocular type that transmits image information to both eyes of the wearer by outputting image light, and a monocular type that transmits image information to only one eye There may be brothers.
도 2는 본 발명의 일실시예에 따른 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100)의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100)는, 화면 구성부(110) 및 영상 제어부(120)를 포함하여 구성될 수 있으며, 디스플레이(130), 광학계(140) 및 센서부(150)를 더 포함하여 구성될 수 있다.2 is a diagram showing the configuration of the augmented reality glass 100 for providing the panoramic multi-screen 10 according to an embodiment of the present invention. As shown in FIG. 2 , the augmented reality glass 100 providing a panoramic multi-screen 10 according to an embodiment of the present invention may be configured to include a screen configuration unit 110 and an image control unit 120 . and may further include a display 130 , an optical system 140 , and a sensor unit 150 .
화면 구성부(110)는, 증강현실 글라스(100)를 중심으로 하는 원통형의 가상 파노라마 배경(11)을 생성하고, 가상 파노라마 배경(11)에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면(12)을 배치하여 파노라마 멀티 화면(10)을 구성할 수 있다.The screen configuration unit 110 generates a cylindrical virtual panoramic background 11 centered on the augmented reality glass 100 , and a plurality of screens performing different functions at a predetermined angle to the virtual panoramic background 11 . By arranging (12), the panoramic multi-screen 10 can be configured.
도 3은 본 발명의 일실시예에 따른 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100)의 화면 구성부(110)에서 생성한 가상 파노라마 배경(11)을 예를 들어 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100)의 화면 구성부(110)는, 증강현실 글라스(100)를 중심으로 원통형의 가상 파노라마 배경(11)을 생성할 수 있다. 여기서, 가상 파노라마 배경(11)은, 배치되는 복수의 화면(12)의 시인성 향상을 위해 검은색으로 구성할 수 있다. 실시예에 따라서, 어두운 회색 등 화면(12)의 시인성 향상을 위한 다양한 색상으로 구성할 수 있다.3 is a diagram illustrating, for example, a virtual panoramic background 11 generated by the screen component 110 of the augmented reality glass 100 providing the panoramic multi-screen 10 according to an embodiment of the present invention. . As shown in FIG. 3 , the screen component 110 of the augmented reality glass 100 that provides the panoramic multi-screen 10 according to an embodiment of the present invention is cylindrical around the augmented reality glass 100 . It is possible to create a virtual panoramic background 11 of Here, the virtual panoramic background 11 may be configured in black to improve visibility of the plurality of screens 12 to be arranged. According to an embodiment, various colors such as dark gray for improving visibility of the screen 12 may be configured.
화면 구성부(110)는, 원통형의 가상 파노라마 배경(11)의 내면에 복수의 화면(12)을 미리 정해진 각도로 배치해 파노라마 멀티 화면(10)을 구성할 수 있다. 여기서, 미리 정해진 각도는 배치되는 화면(12)의 개수에 따라 상이할 수 있다. 실시예에 따라서, 화면 구성부(110)는, 복수의 화면(12)을 90도 각도로 배치할 수 있으며, 3개 또는 4개의 화면(12)을 90도 각도로 배치해 파노라마 멀티 화면(10)을 구성할 수 있다.The screen configuration unit 110 may configure the multi-panoramic screen 10 by arranging a plurality of screens 12 at a predetermined angle on the inner surface of the cylindrical virtual panoramic background 11 . Here, the predetermined angle may be different depending on the number of the screens 12 to be arranged. According to an embodiment, the screen configuration unit 110 may arrange a plurality of screens 12 at an angle of 90 degrees, and arrange three or four screens 12 at an angle of 90 degrees to arrange the panoramic multi-screen 10 ) can be configured.
여기서, 가상 파노라마 배경(11)에 배치되는 화면(12)은 각각 서로 다른 기능을 수행할 수 있다. 예를 들어, 각각의 화면(12)은 서로 다른 애플리케이션 실행 화면일 수 있고, 화상 회의, 화면 공유 등 정해진 역할을 할 수 있다. 또한, 각각의 화면(12)은 수행하는 기능에 따라 그 크기가 서로 다를 수 있으며, 착용자에 의해 그 크기가 설정될 수도 있다.Here, the screen 12 disposed on the virtual panoramic background 11 may perform different functions. For example, each screen 12 may be a different application execution screen, and may perform a predetermined role such as video conference or screen sharing. In addition, the size of each screen 12 may be different from each other according to the function to be performed, and the size may be set by the wearer.
영상 제어부(120)는, 파노라마 멀티 화면(10)의 영상 정보가 영상 광으로 출력되어 증강현실로 제공되도록 제어할 수 있다. 즉, 영상 제어부(120)는, 파노라마 멀티 화면(10)이 증강현실 글라스(100)에서 실제 세계의 광과 결합하는 영상 정보로 제공되도록 영상을 제어하며, 추후 상세히 설명할 디스플레이(130)에 영상 정보를 전송 제어하여 영상 광이 출력되도록 할 수 있다.The image controller 120 may control the image information of the panoramic multi-screen 10 to be output as image light and provided as augmented reality. That is, the image controller 120 controls the image so that the panoramic multi-screen 10 is provided as image information combined with the light of the real world in the augmented reality glass 100, and displays the image on the display 130 to be described in detail later. By controlling the transmission of information, it is possible to output image light.
영상 제어부(120)에서 파노라마 멀티 화면(10)의 영상 정보를 제공하면, 도 1에 도시된 바와 같이, 증강현실 글라스(100)를 통해 파노라마 멀티 화면(10)이 출력되어 착용자의 눈으로 전달되며, 착용자는 뷰 필드 내에서 실제 세계에 파노라마 멀티 화면(10)이 중첩된 형태로 증강현실을 경험할 수 있다.When the image controller 120 provides the image information of the multi-panoramic screen 10, as shown in FIG. 1, the multi-panoramic screen 10 is outputted through the augmented reality glass 100 and delivered to the wearer's eyes. , the wearer can experience augmented reality in the form of a multi-panoramic multi-screen 10 superimposed on the real world within the field of view.
이때, 파노라마 멀티 화면(10)은 도 3에 도시된 바와 같이 원통형의 가상 파노라마 배경(11)에 복수의 화면(12)이 배치되어 구성되므로, 착용자의 전방을 중심으로 360도이다. 그러나 착용자 및 증강현실 글라스(100)의 FOV(Field of View)에 따라 전방의 뷰 필드만 볼 수 있으므로, 도 1에 도시된 바와 같이, 복수의 화면(12) 중 정면의 화면(12)은 전부가, 주변의 화면(12)은 일부가 뷰 필드에 포함될 수 있다. 착용자는 정면에 위치한 화면(12)의 기능을 사용하게 되는데 즉, 정면의 화면(12)으로 출력되는 애플리케이션 또는 증강현실 글라스(100)의 기능이 착용자와 상호작용을 할 수 있다.At this time, since the multi-panoramic screen 10 is configured by arranging a plurality of screens 12 on the cylindrical virtual panoramic background 11 as shown in FIG. 3 , it is 360 degrees around the front of the wearer. However, since only the front field of view can be seen according to the FOV (Field of View) of the wearer and the augmented reality glass 100, as shown in FIG. 1, the front screen 12 among the plurality of screens 12 is all A, a part of the surrounding screen 12 may be included in the field of view. The wearer uses the function of the screen 12 located in the front, that is, the application output to the screen 12 in the front or the function of the augmented reality glass 100 can interact with the wearer.
한편, 영상 제어부(120)는, 착용자가 원통형의 가상 파노라마 배경(11)의 중심에 위치하도록 하되, 착용자의 입력 신호에 따라 파노라마 멀티 화면(10)을 이동시켜 착용자의 뷰 필드의 영상 정보가 변경되도록 제어하여, 서로 다른 기능을 수행하는 각각의 화면(12)이 착용자의 입력 신호에 따라 전환 제공될 수 있다. 즉, 착용자는 입력 신호를 이용해 파노라마 멀티 화면(10)을 이동시켜서 전방에 위치하는 화면(12)이 변경되도록 함으로써, 컴퓨터에서 여러 개의 모니터를 연결해 멀티 모니터를 사용하는 것과 유사하게 화면(12)을 전환해 사용할 수 있다.Meanwhile, the image controller 120 causes the wearer to be positioned at the center of the cylindrical virtual panoramic background 11, and moves the panoramic multi-screen 10 according to the wearer's input signal to change the image information of the wearer's field of view. By controlling so as to be possible, each screen 12 performing different functions may be switched and provided according to the wearer's input signal. That is, the wearer uses the input signal to move the panoramic multi-screen 10 to change the screen 12 located in the front, so that the screen 12 is similar to using a multi-monitor by connecting multiple monitors in a computer. It can be switched and used.
여기서, 착용자의 입력 신호는, 컨트롤러 조작 및 제스처 중 적어도 하나를 통해 입력될 수 있다. 예를 들어, 컨트롤러 조작이나 제스처를 통해 파노라마 멀티 화면(10)을 시계 방향 또는 반시계 방향으로(또는, 좌우로) 이동시킬 수 있으며, 영상 제어부(120)는 착용자의 입력 신호에 따라 시계 방향이나 반시계 방향에 있는 화면(12)이 착용자 정면으로 이동해 화면(12) 전환이 이루어지도록 할 수 있다. 특히, 화면(12) 전환에 따라 영상 정보만 변경되는 것이 아니라 착용자와의 상호작용도 전환되어, 정면에 위치하게 된 화면(12)의 기능을 착용자가 상호작용을 통해 사용할 수 있다.Here, the wearer's input signal may be input through at least one of a controller manipulation and a gesture. For example, the panoramic multi-screen 10 can be moved in a clockwise or counterclockwise direction (or left and right) through a controller operation or gesture, and the image control unit 120 moves in a clockwise or counterclockwise direction according to the wearer's input signal. The screen 12 in the counterclockwise direction can be moved to the front of the wearer so that the screen 12 can be switched. In particular, as the screen 12 is switched, not only the image information is changed, but the interaction with the wearer is also switched, so that the wearer can use the function of the screen 12 positioned in the front through the interaction.
또한, 착용자의 입력 신호는, 증강현실 글라스(100)에 구비된 IMU 센서에 의한 착용자 주시 방향 트래킹에 의한 신호이며, 착용자에 의해 주시 방향 트래킹의 온/오프가 제어되며, 온 상태에서 주시 방향 트래킹에 의한 신호를 착용자의 입력 신호로 입력받을 수 있다.In addition, the wearer's input signal is a signal by the wearer's gaze direction tracking by the IMU sensor provided in the augmented reality glass 100, the on/off of the gaze direction tracking is controlled by the wearer, and the tracking direction tracking in the on state may be input as an input signal of the wearer.
도 4는 본 발명의 일실시예에 따른 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100)에서 주시 방향 트래킹에 따른 화면(12) 전환을 설명하기 위해 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100)에서는, 증강현실 글라스(100)의 일측에 마련된 IMU 센서를 이용해 착용자의 머리 방향, 자세 등을 추정할 수 있으며, 이를 통해 착용자가 바라보는 주시 방향을 트래킹할 수 있다. 예를 들어, 도 4에 도시된 바와 같은 상태에서 착용자가 왼쪽의 화상 회의 화면(12)을 주시하면, 증강현실 글라스(100)는 IMU 센서를 이용해 착용자가 고개를 왼쪽으로 돌린 것을 알 수 있고 센싱 데이터를 통해 주시 방향을 추출할 수 있다. 영상 제어부(120)는 추출된 착용자의 주시 방향을 이용해 화상 회의 화면(12)이 착용자의 뷰 필드 중심 즉, 정면에 오도록 파노라마 멀티 화면(10)을 시계 방향으로 이동시킬 수 있으며, 착용자는 정면으로 이동한 화상 회의 화면(12)과 상호작용하여 해당 기능을 사용할 수 있다.FIG. 4 is a diagram for explaining the switching of the screen 12 according to the tracking direction in the augmented reality glass 100 that provides the panoramic multi-screen 10 according to an embodiment of the present invention. As shown in FIG. 4 , in the augmented reality glass 100 providing the panoramic multi-screen 10 according to an embodiment of the present invention, the wearer's head using the IMU sensor provided on one side of the augmented reality glass 100 . A direction, a posture, etc. can be estimated, and through this, the gaze direction viewed by the wearer can be tracked. For example, when the wearer looks at the video conference screen 12 on the left in the state shown in FIG. 4 , the augmented reality glasses 100 can know that the wearer has turned their head to the left using the IMU sensor, and sensing The gaze direction can be extracted from the data. The image controller 120 may move the panoramic multi-screen 10 clockwise so that the video conference screen 12 comes to the center of the wearer's field of view, that is, the front, using the extracted gaze direction of the wearer, and the wearer faces the front. It is possible to use the corresponding function by interacting with the moved video conference screen 12 .
또한, 착용자에 의해 주시 방향 트래킹의 온/오프가 제어될 수 있는데, 온/오프의 제어는 컨트롤러, 제스처, 음성 신호 등에 의할 수 있다. 즉, 주시 방향 트래킹 사용 시 착용자가 의도하지 않은 화면(12) 전환이 일어날 수 있으므로, 착용자는 필요에 따라 이를 온/오프 제어할 수 있다. 주시 방향 트래킹의 온 상태에서는 주시 방향 트래킹에 의한 신호를 착용자의 입력 신호로 입력받고, 오프 상태에서는 컨트롤러 조작 또는 제스처에 의한 신호를 착용자의 입력 신호로 입력받을 수 있다.In addition, on/off of gaze direction tracking may be controlled by the wearer, and on/off may be controlled by a controller, a gesture, a voice signal, or the like. That is, when the gaze direction tracking is used, the screen 12 may be switched unintentionally by the wearer, so that the wearer can control it on/off as necessary. In the on state of the gaze direction tracking, a signal by the gaze direction tracking may be input as an input signal of the wearer, and in the off state, a signal by a controller manipulation or a gesture may be received as an input signal of the wearer.
한편, 영상 제어부(120)는, 조도 센서로부터 수신한 데이터를 사용해, 가상 파노라마 배경(11)의 투명도를 자동으로 조절할 수 있다. 가상 파노라마 배경(11)은 배치되는 복수의 화면(12)의 시인성 향상을 위해 검은색으로 구성될 수 있는데, 결합하는 실제 세계의 광의 밝기를 고려해 그 투명도를 조절함으로써, 증강현실의 실제 세계와 영상 정보가 효과적으로 결합하도록 할 수 있다.Meanwhile, the image controller 120 may automatically adjust the transparency of the virtual panoramic background 11 using data received from the illuminance sensor. The virtual panoramic background 11 may be configured in black to improve the visibility of the plurality of screens 12 to be arranged. information can be effectively combined.
디스플레이(130)는, 영상 제어부(120)로부터 전달받은 영상 광을 출력해 파노라마 멀티 화면(10)이 착용자에게 제공될 수 있도록 하는 구성이다. 디스플레이(130)는 OLED 등 다양하게 구성될 수 있다.The display 130 is configured to output the image light received from the image controller 120 so that the panoramic multi-screen 10 can be provided to the wearer. The display 130 may be configured in various ways, such as OLED.
광학계(140)는, 복수의 렌즈와 미러 등으로 구성될 수 있으며, 착용자의 시야를 통한 실제 세계 광의 적어도 일부를 투과시키면서 디스플레이(130)에서 출력된 영상 광을 착용자의 눈에 전달하여 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다. 광학계(140)는 다양한 방식으로 구현될 수 있으며, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.The optical system 140 may include a plurality of lenses and mirrors, and transmits the image light output from the display 130 to the eyes of the wearer while transmitting at least a portion of real world light through the wearer's field of view to enhance the wearer It can be configured to experience reality. The optical system 140 may be implemented in various ways, for example, it may be implemented by an optical diffraction method, a beam splitter method, a pin mirror method, and the like.
센서부(150)는, 증강현실 글라스(100)에 구비된 여러 종류의 센서를 포함해 구성될 수 있으며, IMU 센서, 조도 센서, 카메라 센서, 화학 센서 등을 포함할 수 있다. 센서부(150)에서 수집한 센싱 데이터는 영상 제어부(120)가 영상 정보 제공을 위해 사용할 수 있으며, 특히 IMU 센서와 조도 센서에서 수집한 정보를 사용해 착용자의 상황에 최적화된 파노라마 멀티 화면(10)을 제공할 수 있다.The sensor unit 150 may include various types of sensors provided in the augmented reality glass 100 , and may include an IMU sensor, an illuminance sensor, a camera sensor, a chemical sensor, and the like. The sensing data collected by the sensor unit 150 can be used by the image control unit 120 to provide image information, and in particular, the panoramic multi-screen 10 optimized for the wearer's situation using the information collected from the IMU sensor and the illuminance sensor. can provide
도 5는 본 발명의 일실시예에 따른 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법의 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법은, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 영상 광을 출력해 착용자의 눈 방향으로 전달하여, 투과되는 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법으로서, 증강현실 글라스(100)를 중심으로 하는 원통형의 가상 파노라마 배경(11)을 생성하고, 가상 파노라마 배경(11)에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면(12)을 배치하여 파노라마 멀티 화면(10)을 구성하는 단계(S100), 파노라마 멀티 화면(10)의 영상 정보가 증강현실 글라스(100)에서 영상 광으로 출력되어 증강현실로 제공되도록 제어하는 단계(S200), 및 착용자의 입력 신호에 따라 파노라마 멀티 화면(10)을 이동시켜 착용자의 뷰 필드의 영상 정보가 변경되도록 제어하여, 서로 다른 기능을 수행하는 각각의 화면(12)이 착용자의 입력 신호에 따라 전환 제공되도록 제어하는 단계(S300)를 포함하여 구현될 수 있다.5 is a diagram illustrating a flow of a method for providing a panoramic multi-screen 10 for augmented reality glasses 100 according to an embodiment of the present invention. As shown in Figure 5, the panoramic multi-screen 10 providing method for the augmented reality glass 100 according to an embodiment of the present invention, at least a part of the light of the real world (real world) through the wearer's field of view As a method of providing a panoramic multi-screen 10 for augmented reality glass 100 that transmits, outputs image light and transmits it in the direction of the wearer's eyes, providing augmented reality by combining the transmitted real-world light and image light. , Create a cylindrical virtual panoramic background 11 centered on the augmented reality glass 100, and arrange a plurality of screens 12 that perform different functions at a predetermined angle on the virtual panoramic background 11 to create a panorama The step of configuring the multi-screen 10 (S100), the step of controlling the image information of the panoramic multi-screen 10 to be output as image light from the augmented reality glass 100 and provided as augmented reality (S200), and the wearer's Control to change the image information of the wearer's field of view by moving the panoramic multi-screen 10 according to the input signal, so that each screen 12 performing different functions is switched and provided according to the wearer's input signal It may be implemented including step S300.
본 발명의 특징에 따른 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법은, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법은, 증강현실 글라스(100)에 저장 및 구현될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.The panoramic multi-screen 10 providing method for the augmented reality glasses 100 according to a feature of the present invention may be composed of software recorded in hardware including a memory and a processor. For example, the method for providing a multi-panoramic screen 10 for the augmented reality glass 100 of the present invention may be stored and implemented in the augmented reality glass 100 . Hereinafter, for convenience of description, a subject performing each step may be omitted.
단계 S100에서는, 증강현실 글라스(100)를 중심으로 하는 원통형의 가상 파노라마 배경(11)을 생성하고, 가상 파노라마 배경(11)에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면(12)을 배치하여 파노라마 멀티 화면(10)을 구성할 수 있다. 단계 S100은 증강현실 글라스(100)의 화면 구성부(110)에 의해 수행될 수 있다.In step S100, a plurality of screens 12 performing different functions at a predetermined angle to the virtual panoramic background 11 are generated in a cylindrical virtual panoramic background 11 centered on the augmented reality glass 100. It can be arranged to configure the panoramic multi-screen 10 . Step S100 may be performed by the screen component 110 of the augmented reality glass 100 .
단계 S200에서는, 파노라마 멀티 화면(10)의 영상 정보가 증강현실 글라스(100)에서 영상 광으로 출력되어 증강현실로 제공되도록 제어할 수 있다. 단계 S200은 증강현실 글라스(100)의 영상 제어부(120)에 의해 수행될 수 있다.In step S200, the image information of the multi-panoramic screen 10 may be controlled to be output as image light from the augmented reality glass 100 and provided as augmented reality. Step S200 may be performed by the image controller 120 of the augmented reality glasses 100 .
단계 S300에서는, 착용자가 원통형의 가상 파노라마 배경(11)의 중심에 위치하도록 하되, 착용자의 입력 신호에 따라 파노라마 멀티 화면(10)을 이동시켜 착용자의 시야 방향의 장면이 변경되도록 제어하여, 서로 다른 기능을 수행하는 각각의 화면(12)이 착용자의 입력 신호에 따라 전환 제공되도록 제어할 수 있다. 단계 S300은 증강현실 글라스(100)의 영상 제어부(120)에 의해 수행될 수 있다.In step S300, the wearer is positioned at the center of the cylindrical virtual panoramic background 11, but the panoramic multi-screen 10 is moved according to the wearer's input signal to change the scene in the wearer's viewing direction, Each screen 12 performing a function may be controlled to be switched and provided according to the wearer's input signal. Step S300 may be performed by the image controller 120 of the augmented reality glasses 100 .
보다 구체적으로, 착용자의 입력 신호는, 컨트롤러 조작, 제스처 또는 IMU 센서에 의한 착용자 주시 방향 트래킹에 의한 신호이며, 착용자에 의해 주시 방향 트래킹의 온/오프가 제어되며, 온 상태에서 주시 방향 트래킹에 의한 신호를 착용자의 입력 신호로 입력받고, 오프 상태에서 컨트롤러 조작 또는 제스처에 의한 신호를 착용자의 입력 신호로 입력받을 수 있다.More specifically, the wearer's input signal is a signal by the wearer's gaze direction tracking by a controller operation, a gesture, or an IMU sensor, the on/off of the gaze direction tracking is controlled by the wearer, and A signal may be input as an input signal of the wearer, and a signal by a controller manipulation or a gesture may be input as an input signal of the wearer in the off state.
전술한 바와 같이, 본 발명에서 제안하고 있는 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100) 및 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법에 따르면, 원통형의 가상 파노라마 배경(11)을 생성하고, 가상 파노라마 배경(11)에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면(12)을 배치하여 파노라마 멀티 화면(10)을 구성하고, 착용자의 입력 신호에 따라 파노라마 멀티 화면(10)을 이동시켜 뷰 필드의 영상 정보가 변경되도록 제어함으로써, 서로 다른 기능을 수행하는 각각의 화면(12)을 착용자 필요에 따라 전환해 편리하게 사용할 수 있어 착용자의 만족도를 높일 수 있다.As described above, according to the augmented reality glass 100 for providing the panoramic multi-screen 10 proposed in the present invention and the panoramic multi-screen 10 providing method for the augmented reality glass 100, a cylindrical virtual panorama The background 11 is created, and a plurality of screens 12 that perform different functions at predetermined angles are arranged on the virtual panoramic background 11 to configure the panoramic multi-screen 10, and according to the wearer's input signal, By moving the panoramic multi-screen 10 and controlling so that the image information of the field of view is changed, each screen 12 performing different functions can be switched according to the wearer's needs and used conveniently, thereby increasing the wearer's satisfaction. have.
또한, 본 발명에서 제안하고 있는 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100) 및 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법에 따르면, 컨트롤러 조작, 제스처, IMU 센서에 의한 착용자 주시 방향 트래킹 등을 통해 파노라마 멀티 화면(10)을 이동시킴으로써, 착용자가 증강현실 글라스(100)를 착용한 상태에서 여러 기능을 쉽게 전환할 수 있어 착용자 편의를 극대화할 수 있다.In addition, according to the augmented reality glass 100 for providing the panoramic multi-screen 10 proposed in the present invention and the panoramic multi-screen 10 providing method for the augmented reality glass 100, controller operation, gesture, IMU sensor By moving the panoramic multi-screen 10 through tracking of the wearer's gaze direction by
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Meanwhile, the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals. For example, the computer-readable medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, and floppy disks. It may include magneto-optical media and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Such a computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. In this case, the program instructions recorded in the computer-readable medium may be specially designed and configured to implement the present invention, or may be known and available to those skilled in the art of computer software. For example, it may include not only machine language code such as generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

Claims (8)

  1. 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 영상 광을 출력해 상기 착용자의 눈 방향으로 전달하여, 투과되는 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 증강현실 글라스(100)로서,It transmits at least a portion of the light of the real world through the wearer's field of vision, outputs image light and transmits it to the eye direction of the wearer, providing augmented reality by combining the transmitted real world light and image light As the augmented reality glass 100,
    상기 증강현실 글라스(100)를 중심으로 하는 원통형의 가상 파노라마 배경(11)을 생성하고, 상기 가상 파노라마 배경(11)에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면(12)을 배치하여 파노라마 멀티 화면(10)을 구성하는 화면 구성부(110); 및Creating a cylindrical virtual panoramic background 11 centered on the augmented reality glass 100, and placing a plurality of screens 12 performing different functions at a predetermined angle on the virtual panoramic background 11 a screen configuration unit 110 constituting the panoramic multi-screen 10; and
    상기 파노라마 멀티 화면(10)의 영상 정보가 영상 광으로 출력되어 증강현실로 제공되도록 제어하는 영상 제어부(120)를 포함하며,and an image controller 120 for controlling the image information of the panoramic multi-screen 10 to be output as image light and provided in augmented reality,
    상기 영상 제어부(120)는,The image control unit 120,
    상기 착용자가 상기 원통형의 가상 파노라마 배경(11)의 중심에 위치하도록 하되, 상기 착용자의 입력 신호에 따라 상기 파노라마 멀티 화면(10)을 이동시켜 상기 착용자의 뷰 필드의 영상 정보가 변경되도록 제어하여, 서로 다른 기능을 수행하는 각각의 화면(12)이 상기 착용자의 입력 신호에 따라 전환 제공되는 것을 특징으로 하는, 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100).The wearer is positioned at the center of the cylindrical virtual panoramic background 11, and the panoramic multi-screen 10 is moved according to the wearer's input signal to change the image information of the wearer's field of view, Augmented reality glasses 100 for providing a multi-panoramic screen 10, characterized in that each screen 12 performing different functions is switched according to the input signal of the wearer.
  2. 제1항에 있어서, 상기 가상 파노라마 배경(11)은,According to claim 1, wherein the virtual panoramic background (11),
    배치되는 복수의 화면(12)의 시인성 향상을 위해 검은색으로 구성하는 것을 특징으로 하는, 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100).Augmented reality glass 100 for providing a multi-panoramic screen 10, characterized in that it is configured in black to improve the visibility of a plurality of screens 12 to be arranged.
  3. 제2항에 있어서, 상기 영상 제어부(120)는,According to claim 2, wherein the image control unit 120,
    조도 센서로부터 수신한 데이터를 사용해, 상기 가상 파노라마 배경(11)의 투명도를 자동으로 조절하는 것을 특징으로 하는, 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100).Augmented reality glasses (100) for providing a multi-panoramic screen (10), characterized in that automatically adjusting the transparency of the virtual panoramic background (11) by using the data received from the illuminance sensor.
  4. 제1항에 있어서, 상기 착용자의 입력 신호는,According to claim 1, wherein the input signal of the wearer,
    컨트롤러 조작 및 제스처 중 적어도 하나를 통해 입력되는 것을 특징으로 하는, 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100).Augmented reality glass 100 that provides a panoramic multi-screen 10, characterized in that it is input through at least one of a controller operation and a gesture.
  5. 제1항에 있어서, 상기 착용자의 입력 신호는,According to claim 1, wherein the input signal of the wearer,
    상기 증강현실 글라스(100)에 구비된 IMU 센서에 의한 착용자 주시 방향 트래킹에 의한 신호이며,It is a signal by tracking the wearer's gaze direction by the IMU sensor provided in the augmented reality glass 100,
    상기 착용자에 의해 상기 주시 방향 트래킹의 온/오프가 제어되며, 온 상태에서 상기 주시 방향 트래킹에 의한 신호를 상기 착용자의 입력 신호로 입력받는 것을 특징으로 하는, 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100).On/off of the gaze direction tracking is controlled by the wearer, and in an on state, a signal by the gaze direction tracking is input as an input signal of the wearer. Reality Glass (100).
  6. 제1항에 있어서, 상기 화면 구성부(110)는,According to claim 1, wherein the screen configuration unit 110,
    상기 복수의 화면(12)을 90도 각도로 배치하는 것을 특징으로 하는, 파노라마 멀티 화면(10)을 제공하는 증강현실 글라스(100).Augmented reality glass (100) for providing a multi-panoramic screen (10), characterized in that the plurality of screens (12) are arranged at an angle of 90 degrees.
  7. 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 영상 광을 출력해 상기 착용자의 눈 방향으로 전달하여, 투과되는 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법으로서,It transmits at least a portion of the light of the real world through the wearer's field of vision, outputs image light and transmits it to the eye direction of the wearer, providing augmented reality by combining the transmitted real world light and image light As a method of providing a panoramic multi-screen 10 for augmented reality glass 100,
    (1) 상기 증강현실 글라스(100)를 중심으로 하는 원통형의 가상 파노라마 배경(11)을 생성하고, 상기 가상 파노라마 배경(11)에 미리 정해진 각도로 서로 다른 기능을 수행하는 복수의 화면(12)을 배치하여 파노라마 멀티 화면(10)을 구성하는 단계;(1) A plurality of screens 12 for generating a cylindrical virtual panoramic background 11 centered on the augmented reality glass 100, and performing different functions at a predetermined angle to the virtual panoramic background 11 Placing a step to configure the multi-panoramic screen (10);
    (2) 상기 파노라마 멀티 화면(10)의 영상 정보가 상기 증강현실 글라스(100)에서 영상 광으로 출력되어 증강현실로 제공되도록 제어하는 단계; 및(2) controlling the image information of the multi-panoramic screen 10 to be output as image light from the augmented reality glass 100 and provided as augmented reality; and
    (3) 상기 착용자가 상기 원통형의 가상 파노라마 배경(11)의 중심에 위치하도록 하되, 상기 착용자의 입력 신호에 따라 상기 파노라마 멀티 화면(10)을 이동시켜 상기 착용자의 시야 방향의 장면이 변경되도록 제어하여, 서로 다른 기능을 수행하는 각각의 화면(12)이 상기 착용자의 입력 신호에 따라 전환 제공되도록 제어하는 단계를 포함하는 것을 특징으로 하는, 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법.(3) control so that the wearer is positioned at the center of the cylindrical virtual panoramic background 11, and moves the panoramic multi-screen 10 according to the wearer's input signal to change the scene in the wearer's viewing direction Thus, the panoramic multi-screen 10 for augmented reality glasses 100, characterized in that it comprises the step of controlling each screen 12 performing different functions to be switched and provided according to the input signal of the wearer. How to provide.
  8. 제7항에 있어서, 상기 착용자의 입력 신호는,The method of claim 7, wherein the input signal of the wearer,
    컨트롤러 조작, 제스처 또는 IMU 센서에 의한 착용자 주시 방향 트래킹에 의한 신호이며,It is a signal by controller operation, gesture, or tracking the wearer's gaze direction by an IMU sensor,
    상기 착용자에 의해 상기 주시 방향 트래킹의 온/오프가 제어되며, 온 상태에서 상기 주시 방향 트래킹에 의한 신호를 상기 착용자의 입력 신호로 입력받고, 오프 상태에서 상기 컨트롤러 조작 또는 제스처에 의한 신호를 상기 착용자의 입력 신호로 입력받는 것을 특징으로 하는, 증강현실 글라스(100)를 위한 파노라마 멀티 화면(10) 제공 방법.On/off of the gaze direction tracking is controlled by the wearer, in an on state, a signal by the gaze direction tracking is input as an input signal of the wearer, and in an off state, a signal by manipulation of the controller or a gesture is transmitted to the wearer A method of providing a multi-panoramic screen (10) for augmented reality glasses (100), characterized in that it is input as an input signal of
PCT/KR2022/005820 2021-04-28 2022-04-23 Augmented reality glasses providing panoramic multi-screens and panoramic multi-screen provision method for augmented reality glasses WO2022231224A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210054986A KR20220147893A (en) 2021-04-28 2021-04-28 Ar glasses that provides panoramic multi-screen and method of providing panoramic multi-screen for ar glasses
KR10-2021-0054986 2021-04-28

Publications (1)

Publication Number Publication Date
WO2022231224A1 true WO2022231224A1 (en) 2022-11-03

Family

ID=83848214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005820 WO2022231224A1 (en) 2021-04-28 2022-04-23 Augmented reality glasses providing panoramic multi-screens and panoramic multi-screen provision method for augmented reality glasses

Country Status (2)

Country Link
KR (1) KR20220147893A (en)
WO (1) WO2022231224A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150122355A (en) * 2014-04-23 2015-11-02 엘지전자 주식회사 The Apparatus and Method for Head Mounted Display Device displaying Thumbnail image
KR20150146295A (en) * 2014-06-23 2015-12-31 엘지전자 주식회사 Head mounted display and method for controlling the same
KR101722177B1 (en) * 2016-07-15 2017-04-03 (주)인트라테크 Method and apparatus for hybrid displaying of VR(virtual reality) contents
KR20170094574A (en) * 2016-02-11 2017-08-21 엘지전자 주식회사 Head-mounted display device
KR20170142896A (en) * 2016-06-17 2017-12-28 연세대학교 산학협력단 Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150122355A (en) * 2014-04-23 2015-11-02 엘지전자 주식회사 The Apparatus and Method for Head Mounted Display Device displaying Thumbnail image
KR20150146295A (en) * 2014-06-23 2015-12-31 엘지전자 주식회사 Head mounted display and method for controlling the same
KR20170094574A (en) * 2016-02-11 2017-08-21 엘지전자 주식회사 Head-mounted display device
KR20170142896A (en) * 2016-06-17 2017-12-28 연세대학교 산학협력단 Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
KR101722177B1 (en) * 2016-07-15 2017-04-03 (주)인트라테크 Method and apparatus for hybrid displaying of VR(virtual reality) contents

Also Published As

Publication number Publication date
KR20220147893A (en) 2022-11-04

Similar Documents

Publication Publication Date Title
RU2488860C2 (en) Display arrangement and device
WO2017061677A1 (en) Head mount display device
WO2018128472A1 (en) Virtual reality experience sharing
WO2016017966A1 (en) Method of displaying image via head mounted display device and head mounted display device therefor
WO2020004966A1 (en) Smart glass display device for both augmented reality and virtual reality comprising plastic lcd shade
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2021118237A1 (en) Augmented reality visual field-sharing tactical training system optimized for multiple users
WO2022220658A1 (en) Mixed reality industrial helmet linked with digital twin and virtual image
WO2022050668A1 (en) Method for detecting hand motion of wearable augmented reality device by using depth image, and wearable augmented reality device capable of detecting hand motion by using depth image
WO2022149829A1 (en) Wearable electronic device, and input structure using motion sensor
WO2022231224A1 (en) Augmented reality glasses providing panoramic multi-screens and panoramic multi-screen provision method for augmented reality glasses
WO2019074228A2 (en) Head-mounted display for reducing virtual-reality motion sickness and operating method thereof
WO2023219254A1 (en) Hand distance estimation method and device for augmented reality glasses
WO2022255613A1 (en) Wearable electronic device
WO2022145888A1 (en) Method for controlling augmented reality device, and augmented reality device performing same
WO2022050742A1 (en) Method for detecting hand motion of wearable augmented reality device by using depth image and wearable augmented reality device capable of detecting hand motion by using depth image
WO2022014952A1 (en) Augmented reality display device
KR102410872B1 (en) Head mounted display device with projector mode
WO2021246634A1 (en) Augmented reality optical system comprising reflective surface, and head-mounted display device using same
WO2021182859A1 (en) Optical device including plurality of pinholes, and head-mounted display device using same
WO2023063515A1 (en) Method for operating app library by sequentially recognizing wrist and trigger gestures, and head mounted display device in which app library operates
WO2023096038A1 (en) Method for providing hand recognition-based virtual menu for augmented reality glasses device, and augmented reality glasses system providing hand recognition-based virtual menu
WO2023282446A1 (en) Wearable augmented reality device for providing interface by using hand joint recognition, and method for providing interface by wearable augmented reality device using hand joint recognition
WO2022260272A1 (en) Head-mounted display device adjusting interpupillary distance by moving binocular lenses simultaneously in rack-and-pinion method
WO2023210970A1 (en) Augmented-reality texture display method using augmented reality-dedicated writing tool

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22796057

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22796057

Country of ref document: EP

Kind code of ref document: A1