KR20200073487A - 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법 - Google Patents

카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법 Download PDF

Info

Publication number
KR20200073487A
KR20200073487A KR1020180161697A KR20180161697A KR20200073487A KR 20200073487 A KR20200073487 A KR 20200073487A KR 1020180161697 A KR1020180161697 A KR 1020180161697A KR 20180161697 A KR20180161697 A KR 20180161697A KR 20200073487 A KR20200073487 A KR 20200073487A
Authority
KR
South Korea
Prior art keywords
user
mixed reality
image
camera
processing unit
Prior art date
Application number
KR1020180161697A
Other languages
English (en)
Other versions
KR102145852B1 (ko
Inventor
윤홍서
한장희
정필중
이인환
Original Assignee
(주)이머시브캐스트
윤홍서
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이머시브캐스트, 윤홍서 filed Critical (주)이머시브캐스트
Priority to KR1020180161697A priority Critical patent/KR102145852B1/ko
Priority to US17/253,107 priority patent/US11314088B2/en
Priority to PCT/KR2019/016835 priority patent/WO2020122488A1/ko
Publication of KR20200073487A publication Critical patent/KR20200073487A/ko
Application granted granted Critical
Publication of KR102145852B1 publication Critical patent/KR102145852B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 카메라 기반의 혼합현실 글래스 장치에 관한 것으로, 사용자의 눈 방향에 배치된 밴드형 유연 디스플레이, 상기 밴드형 유연 디스플레이를 장착하고 상기 사용자의 머리를 따라 형성되는 머리 결합 밴드 및 상기 밴드형 유연 디스플레이에서 상기 사용자의 눈 반대방향에 장착되고 상기 사용자의 머리를 따라 배치되는 복수의 카메라들을 포함하는 스마트 글래스부, 상기 복수의 카메라들을 통해 상기 사용자의 주변 영상을 생성하는 실제 영상 처리부, 상기 사용자의 제어에 따른 직접적 또는 간접적 가상 영상을 생성하는 가상 영상 처리부 및 상기 사용자의 주변 영상에 상기 가상 영상을 오버레이하여 상기 밴드형 유연 디스플레이에 디스플레이하는 혼합현실 영상 처리부를 포함한다. 따라서, 본 발명은 스마트 글래스에 부착되고 비디오 레포지토리와 연동된 복수의 카메라를 통해 생성된 주변 영상에 가상영상을 오버레이한 혼합현실을 디스플레이할 수 있다.

Description

카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법 {CAMERA-BASED MIXED REALITY GLASS APPARATUS AND MIXED REALITY DISPLAY METHOD}
본 발명은 카메라 기반의 혼합현실 글래스 장치에 관한 것으로, 보다 상세하게는 비디오 레포지토리와 연동되고 복수의 카메라가 부착된 스마트 글래스를 통해 혼합현실을 디스플레이하는 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법에 관한 것이다.
혼합 현실(MR)은 현실을 기반으로 가상 정보를 부가하는 증강 현실(AR: Augmented Reality)과 가상 환경에 현실 정보를 부가하는 증강 가상(AV: Augmented Virtuality)의 의미를 포함한다. 즉, 현실과 가상이 자연스럽게 연결된 스마트 환경을 제공하여 사용자는 풍부한 체험을 할 수 있다. 예로, 사용자의 손바닥에 놓인 가상의 애완동물과 교감한다거나, 현실의 방 안에 가상의 게임 환경을 구축해 게임을 할 수 있다. 또 집안의 가구를 가상으로 재배치해 본다거나, 원격에 있는 사람들이 함께 모여 함께 작업하는 듯한 환경을 구축할 수 있다. 혼합현실의 구현은 통상적으로 실제 세계 인식, 가상 객체 생성, 실제와 가상의 융합(합성) 및 혼합 영상 뷰잉(viewing)으로 이루어지는 네 단계의 처리 과정을 거치며, 이러한 과정에 따라 사용되는 기술은 실세계 인식을 위한 비전 기술, 3D 모델링 및 저작 기술, 실사영상과 가상영상의 합성 기술, 실시간 렌더링 기술, 인터페이스 기술 등을 포함한다. 이러한 혼합현실의 구현에 있어서 가장 중요한 과정은 실제와 가상의 합성 즉, 실제공간과 가상공간을 융합하는 과정인데, 양 공간을 융합하는 과정을 정합(registration)이라 하며 정합에 있어서의 키포인트는 양 공간의 융합으로 인한 부자연스러움을 최소한으로 하는 것에 있다. 최근, 머리에 안경처럼 쓸 수 있는 장치로, 눈앞 지근 거리에 초점이 형성된 가상 스크린을 통하여 대형 화면을 보는 듯한 효과를 내는 머리 장착형 디스플레이(Head Mounted Display: HMD)장치가 보급화됨에 따라, 이를 이용하여 종래의 가상현실(Virtual Reality: VR)에 관련된 기술뿐만 아니라 현실에 적용되는 증강현실(AugmentedReality: AR) 또는 혼합현실(Mixed Reality: MR)에 관련된 기술이 소개되고 있다.
한국공개특허 제10-2018-0000017 (2018.01.02)호는 프라이버시 보호 기능을 갖는 스마트 글래스를 이용한 증강현실 제공 방법을 제공한다. 본 발명의 일 측면에 따른 스마트 글래스를 이용한 증강현실 제공 방법은 상기 스마트 글래스를 이용하여 전방을 촬영하는 제1방향 촬영 단계, 촬영된 사진 또는 동영상에서 사람과 배경을 구분하는 객체 구분 단계, 촬영된 사진 또는 동영상에 나타난 인물을 보정하는 인물 보정 단계, 및 보정 처리된 사진 또는 동영상을 저장하는 저장단계를 포함한다.
한국등록특허 제10-1724360 (2017.04.07)호는 일 실시예에 따른 혼합현실 디스플레이 장치는 가상현실에서 씬(Scene)의 정보를 이용하여 가상 객체를 생성한 후, 가상 객체에 대한 색상 맵 및 깊이 맵을 생성하는 가상 환경 렌더링부, 실제 환경의 정보를 이용하여 실제 객체에 대한 깊이 맵을 생성하는 깊이 렌더링부, 상기 가상 환경 렌더링부로부터 수신된 상기 가상 객체에 대한 색상 맵 및 깊이 맵, 상기 깊이 렌더링부로부터 수신된 상기 실제 객체에 대한 깊이 맵 및 시스루 카메라로부터 수신된 상기 실제 객체에 대한 색상 맵을 이용하여 폐색 처리를 실행하는 폐색 처리부 및 상기 폐색처리부로부터 수신된 상기 가상 객체의 색상 맵 및 상기 실제 객체의 색상 맵을 이용하여 색상 이미지를 출력하는 디스플레이부를 포함한다.
한국공개특허 제10-2018-0000017 (2018.01.02)호 한국등록특허 제10-1724360 (2017.04.07)호
본 발명의 일 실시예는 혼합현실 제공을 위해 비디오 레포지토리와 연동되고 복수의 카메라가 부착된 스마트 글래스를 포함하는 카메라 기반의 혼합현실 글래스 장치를 제공하고자 한다.
본 발명의 일 실시예는 스마트 글래스에 부착된 복수의 카메라를 통해 주변 영상을 생성 및 보정하여 비디오 레포지토리에 저장하고 가상영상을 오버레이하여 생성한 혼합현실을 디스플레이하는 카메라 기반의 혼합현실 글래스 장치를 제공하고자 한다.
본 발명의 일 실시예는 비디오 레포지토리와 연동되어 혼합현실 영상을 저장하여 보관할 수 있고 이후, 시간 또는 장소 정보를 통해 언제든지 원하는 영상을 불러들여 감상할 수 있게 함으로써 사용자에게 높은 몰입감을 제공하는 카메라 기반의 혼합현실 글래스 장치를 제공하고자 한다.
본 발명의 일 실시예는 혼합현실 영상을 제공하는 과정에서 실시간으로 카메라들의 앵글을 조정하여 사용자에게 최적의 초점 및 거리감을 제공하는 카메라 기반의 혼합현실 글래스 장치를 제공하고자 한다.
실시예들 중에서 카메라 기반의 혼합현실 글래스 장치는 사용자의 눈 방향에 배치된 밴드형 유연 디스플레이, 상기 밴드형 유연 디스플레이를 장착하고 상기 사용자의 머리를 따라 형성되는 머리 결합 밴드 및 상기 밴드형 유연 디스플레이에서 상기 사용자의 눈 반대방향에 장착되고 상기 사용자의 머리를 따라 배치되는 복수의 카메라들을 포함하는 스마트 글래스부, 상기 복수의 카메라들을 통해 상기 사용자의 주변 영상을 생성하고 전송하는 실제 영상 처리부, 상기 사용자의 제어에 따른 직접적 또는 간접적 가상 영상을 생성하는 가상 영상 처리부 및 상기 사용자의 주변 영상에 상기 가상 영상을 오버레이하여 상기 밴드형 유연 디스플레이에 디스플레이하는 혼합현실 영상 처리부를 포함한다.
상기 스마트 글래스부는 상기 머리 결합 밴드의 전방, 양 측면 및 후면에 각각 배치되어 상기 사용자에 대한 360도 영상을 상기 주변 영상으로 촬영하는 적어도 하나의 카메라를 더 포함할 수 있다.
상기 실제 영상 처리부는 GPS(Global Positioning System)를 포함하고, 상기 GPS를 통해 결정된 사용자의 위치와 시간 정보를 네트워크를 통해 비디오 레포지토리(repository)에 상기 사용자의 주변 영상과 함께 제공할 수 있다.
상기 실제 영상 처리부는 상기 주변 영상의 생성 전에 캘리브레이션을 통해 상기 사용자의 헤드 방향 중심 및 높이 중심을 결정하고, 상기 헤드 방향 중심 및 높이 중심을 기초로 상기 사용자의 이동 과정에서 발생되는 상하 이동 흔들림 및 상기 사용자의 헤드 회전에서 발생되는 좌우 회전 흔들림을 보정하여 상기 주변 영상을 360도 영상으로 비디오 레포지토리에 저장할 수 있다.
상기 실제 영상 처리부는 상기 상하 이동 및 좌우 회전 흔들림들에 관한 보정의 과정에서 상기 복수의 카메라들로부터 수신된 복수의 해당 영상들을 기계적으로 영상 스티칭한 후 중첩되는 경계 영역에 관한 영상 블렌딩을 수행할 수 있다.
상기 혼합현실 영상 처리부는 상기 영상 스티칭 및 상기 영상 블렌딩을 통해 보정된 360도 영상에 상기 가상 영상을 오버레이하고, 상기 가상 영상은 상기 사용자의 목적지를 가이드하는 경로 가이드를 포함할 수 있다.
상기 혼합현실 영상 처리부는 상기 사용자의 뇌파를 통해 사용자 시선의 방향을 예측하고 상기 사용자 시선의 방향에 따라 해당 혼합현실 영상을 미리 디스플레이 할 수 있다.
실시예들 중에서 카메라 기반의 혼합현실 글래스 장치는 사용자의 시선방향에 존재하는 물체와의 거리를 검출하고 상기 검출된 거리를 기초로 상기 복수의 카메라들의 각도를 기계적으로 실시간 조정하는 제1 카메라 조정부를 더 포함할 수 있다.
실시예들 중에서 카메라 기반의 혼합현실 글래스 장치는 상기 물체를 바라보는 사용자의 동공의 움직임을 검출하고 상기 검출된 동공의 움직임을 기초로 상기 복수의 카메라들의 각도를 기계적으로 실시간 조정하는 제2 카메라 조정부를 더 포함할 수 있다.
상기 혼합현실 영상 처리부는 혼합현실 영상을 네트워크를 통하여 비디오 레포지토리에 GPS 정보 및 시간정보와 함께 실시간으로 저장하고 동시에 복수의 사용자의 스마트 글래스들을 대상으로 실시간 전송(브로드캐스팅, broadcasting)하여 공유하며, 더 나아가 특정 시점 이후에 행해지는 사용자의 전송 요청에 따라 상기 비디오 레포지토리로부터 상기 GPS 정보 및 상기 시간 정보에 대한 혼합현실 영상을 수신하여 상기 사용자에게 제공할 수 있다.
실시예들 중에서 카메라 기반의 혼합현실 디스플레이 방법은 스마트 글래스에 배치된 복수의 카메라를 통해 사용자의 주변 영상을 생성하고 영상 스티칭을 통해 흔들림을 보정한 360도 영상으로 비디오 레포지토리에 저장하는 단계, 상기 사용자의 제어에 따른 직접적 또는 간접적 가상 영상을 생성하는 단계 및 상기 영상 스티칭을 통해 보정된 사용자의 주변 360도 영상에 상기 가상 영상을 오버레이하여 상기 밴드형 유연 디스플레이에 디스플레이하는 단계를 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다 거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치는 비디오 레포지토리와 연동되고 복수의 카메라가 부착된 혼합현실 제공을 위한 스마트 글래스를 포함할 수 있다.
본 발명의 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치는 스마트 글래스에 부착된 복수의 카메라를 통해 주변 영상을 생성 및 보정하여 비디오 레포지토리에 저장하고 가상영상을 오버레이하여 생성한 혼합현실을 디스플레이할 수 있다.
본 발명의 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치는 비디오 레포지토리와 연동되어 혼합현실 영상을 저장하여 보관할 수 있고 이후, 시간 또는 장소 정보를 통해 언제든지 원하는 혼합현실 영상을 불러들여 감상할 수 있게 함으로써 사용자에게 높은 몰입감을 제공할 수 있다.
본 발명의 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치는 혼합현실 영상을 제공하는 과정에서 실시간으로 카메라들의 앵글을 조정하여 사용자에게 최적의 초점 및 거리감을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 통한 혼합현실 디스플레이 시스템을 나타내는 도면이다.
도 2는 도 1에 있는 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 나타내는 블록도이다.
도 3은 도 2에 있는 일 실시예에 따른 스마트 글래스부를 나타내는 구성도이다.
도 4는 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 보여주는 구성도이다.
도 5는 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 통한 혼합현실 디스플레이 방법을 보여주는 흐름도이다.
도 6은 다른 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 통한 혼합현실 디스플레이 방법을 보여주는 흐름도이다.
도 7은 다른 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 보여주는 구성도(a) 및 블록도(b)이다.
도 8은 도 7의 실시예에 따른 스마트 글래스부를 나타내는 구성도이다.
도 9는 일 실시예에 따른 도 7의 제1 카메라 조정부를 보여주는 구성도이다.
도 10은 일 실시예에 따른 도 7의 제2 카메라 조정부를 보여주는 구성도이다.
도 11은 다른 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 통한 혼합현실 디스플레이 시스템을 나타내는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다 거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 통한 혼합현실 디스플레이 시스템을 나타내는 도면이다.
도 1을 참조하면, 혼합현실 디스플레이 시스템(100)은 카메라 기반의 혼합현실 글래스 장치(110), 가상현실 생성장치(120) 및 비디오 레포지토리(130)를 포함할 수 있다.
카메라 기반의 혼합현실 글래스 장치(110) 가상현실 생성장치(120) 및 비디오 레포지토리(130)와 네트워크를 통해 연결될 수 있는 컴퓨팅 장치에 해당한다. 카메라 기반의 혼합현실 글래스 장치(110)는 카메라를 통해 촬영된 주변 실제 영상과 사용자를 통해 제어되는 가상 영상을 합성하여 혼합 현실을 사용자에게 제공하기 위해 제안된다. 일 실시예에서, 카메라 기반의 혼합현실 글래스 장치(110)는 스마트 글래스의 외부면에 부착된 카메라를 통해 사용자 주변의 실제 영상이 생성되면 실제 영상을 사용자에 의해 입력 제어되는 가상현실 생성장치(120)로부터 가상영상과 합성하여 스마트 글래스의 내부면에 부착된 밴드형 유연 디스플레이를 통해 사용자에게 제공할 수 있다. 즉, 카메라 기반의 혼합현실 글래스 장치(110)는 사용자 머리에 부착되는 스마트 글래스(Head Mounted Display: HMD)를 통해 혼합현실을 제공할 수 있다. 여기에서, 혼합현실은 가상 세계와 현실 세계를 합쳐서 새로운 환경이나 시각화 등 새로운 정보를 만들어 내는 것을 의미할 수 있다. 특히, 실시간으로 현실과 가상에 존재하는 것 사이에서 실시간으로 상호작용할 수 있는 것을 말할 때 혼합 현실이라는 개념을 사용할 수 있다.
가상현실 생성장치(120)는 카메라 기반의 혼합현실 글래스 장치(110)와 네트워크를 통해 연결될 수 있는 컴퓨팅 장치에 해당하고, 예를 들어, 데스크톱, 노트북, 태블릿 PC 또는 스마트폰이나 이동형 셋톱박스 형태로 구현될 수 있다. 사용자는 가상현실 생성장치(120)를 통해 직접적 또는 간접적으로 제어되는 가상영상을 생성하여 카메라 기반의 혼합현실 글래스 장치(110)에 제공할 수 있다. 일 실시예에서, 가상현실 생성장치(120)는 비디오 레포지토리(130)와 유무선 네트워크 인터페이스를 통해 연결될 수 있고, 이 경우 비디오 레포지토리(130)에 저장된 혼합현실 영상 등을 제공받을 수 있다.
카메라 기반의 혼합현실 글래스 장치(110)는 비디오 레포지토리(130)를 포함하여 구현될 수 있고, 비디오 레포지토리(130)와 독립적으로 구현될 수 있다. 비디오 레포지토리(130)와 독립적으로 구현된 카메라 기반의 혼합현실 글래스 장치(110)는 비디오 레포지토리(130)와 네트워크를 통해 연결되어 영상 파일을 주고받을 수 있다.
비디오 레포지토리(130)는 카메라 기반의 혼합현실 글래스 장치(110)를 통한 혼합현실 디스플레이에 필요한 다양한 영상 정보들을 저장 및 전송할 수 있는 저장장치이다. 일 실시예에서, 비디오 레포지토리(130)는 밴드형 유연 디스플레이 및 머리 결합 밴드에 부착되는 복수의 카메라를 통해 촬영되고 실제 영상 처리부를 통해 생성되고 보정된 사용자 주변의 실제 영상을 저장할 수 있으며 반드시 이에 한정되지 않고, 사용자의 제어에 따른 간접적 가상 영상을 저장할 수 있다. 비디오 레포지토리(130)는 카메라 기반의 혼합현실 글래스 장치(110)를 통해 촬영되고 생성된 혼합현실 영상을 저장하여 보관할 수 있다. 비디오 레포지토리(130)는 카메라 기반의 혼합현실 글래스 장치(110)를 통한 혼합현실 디스플레이를 하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다. 또한, 다수의 유저가 카메라기반의 혼합현실 글래스 장치(110)를 사용하여 비디오 레포지토리(130)에 접속하여 저장된 정보를 실시간 또는 비실시간 전송 받아 소비할 수 있다.
도 2는 도 1에 있는 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 나타내는 블록도이다.
도 2를 참조하면, 카메라 기반의 혼합현실 글래스 장치(110)는 스마트 글래스부(210), 실제 영상 처리부(220), 가상 영상 처리부(230), 혼합현실 영상 처리부(240) 및 제어부(250)를 포함할 수 있다.
스마트 글래스부(210)는 사용자의 눈 방향에 배치된 밴드형 유연 디스플레이, 밴드형 유연 디스플레이를 장착하고 사용자의 머리를 따라 형성되는 머리 결합 밴드 및 밴드형 유연 디스플레이에서 사용자의 눈 반대방향에 장착되고 사용자의 머리를 따라 배치되는 복수의 카메라들을 포함할 수 있다. 밴드형 유연 디스플레이(212)는 사용자 눈 방향으로 배치되어 사용자에게 혼합현실 영상을 디스플레이 할 수 있다. 머리 결합 밴드(214)는 스마트 글래스를 사용자의 머리에 부착시킬 수 있도록 형성된다. 복수의 카메라들(216)은 사용자의 머리를 따라 머리 결합 밴드(214)상에 배치되어 주변 영상을 수신할 수 있다. 일 실시예에서, 스마트 글래스부(210)는 머리 결합 밴드의 전방, 양 측면 및 후면에 각각 배치되는 적어도 하나의 카메라(216)를 더 포함할 수 있다. 보다 구체적으로, 스마트 글래스부(210)는 머리 결합 밴드를 따라 머리 주위로 복수의 카메라(216)들을 포함할 수 있다. 예를 들어, 스마트 글래스부(210)는 머리 결합 밴드상에 사용자의 눈 방향, 귀 방향 및 뒤통수 방향으로 적어도 하나의 카메라(216)를 각각 배치할 수 있다. 보다 자세한 설명은 도 3을 참조하여 설명한다.
실제 영상 처리부(220)는 복수의 카메라들(216)을 통해 사용자의 주변 영상을 생성할 수 있다. 보다 구체적으로, 실제 영상 처리부(220)는 복수의 카메라들(216)을 통해 사용자 주변의 360도 영상을 생성할 수 있다. 일 실시예에서, 실제 영상 처리부(220)는 GPS(Global Positioning System)를 포함하고, GPS를 통해 결정된 사용자의 위치를 비디오 레포지토리(130)에 사용자의 주변 영상과 함께 제공할 수 있다. 여기에서, 비디오 레포지토리(130)는 다양한 영상을 저장하는 저장소에 해당하고 카메라 기반의 혼합현실 글래스 장치(110)와 네트워크를 통해 연결될 수 있다. 보다 구체적으로, 실제 영상 처리부(220)는 생성된 사용자의 주변 영상을 네트워크를 통해 연결된 원격 비디오 레포지토리(130)와 주고받을 수 있다. 일 실시예에서, 실제 영상 처리부(220)는 사용자의 주변 영상을 흔들림 보정하여 360도 영상으로 비디오 레포지토리(130)에 저장할 수 있다. 보다 구체적으로, 실제 영상 처리부(220)는 주변영상의 생성 전에 캘리브레이션(calibration)을 통해 사용자의 헤드 방향 중심 및 높이 중심을 결정하고, 헤드 방향 중심 및 높이 중심을 기초로 사용자의 이동 과정에서 발생되는 상하 이동 흔들림 및 사용자의 헤드 회전에서 발생되는 좌우 회전 흔들림을 보정하여 주변 영상을 360도 영상으로 비디오 레포지토리(130)에 저장할 수 있다. 여기에서, 캘리브레이션은 촬영기와 피사체 사이의 거리나 조명의 급작한 변화가 있는 장면을 촬영할 때 예정된 렌즈의 초점 거리나 조리개 눈금을 측정하고 미리 표시해 두는 것을 의미할 수 있다. 실제 영상 처리부(220)는 캘리브레이션을 통해 결정된 헤드 방향 중심 및 높이 중심을 기초로 사용자의 이동 과정에서 발생하는 상기 흔들림들을 보정할 수 있다. 일 실시예에서, 실제 영상 처리부(220)는 흔들림 보정의 과정에서 복수의 카메라들로부터 수신된 복수의 해당 영상들에 관한 영상 스티칭을 수행할 수 있다. 여기에서, 영상 스티칭(stitching)은 복수의 카메라로 촬영한 복수의 영상들의 ?후〈? 부분을 통합하는 과정을 포함하여 복수의 영상을 하나의 영상으로 결합하는 과정을 의미할 수 있다. 예를 들어, 실제 영상 처리부(220)는 영상 스티칭 과정에서 GPS에 의한 사용자의 위치 정보를 활용할 수 있다. 보다 구체적으로, 실제 영상 처리부(220)는 상하 이동 및 좌우 회전 흔들림들에 관한 보정의 과정에서 복수의 카메라들로부터 수신된 복수의 해당 영상들을 기계적으로 영상 스티칭한 후 중첩되는 경계 영역에 관한 영상 블렌딩을 수행할 수 있다. 여기에서, 영상 블렌딩(blending)은 영상 처리에 있어서 두개의 서로 다른 레이어를 혼합하는 것을 의미할 수 있다. 실제 영상 처리부(220)는 복수의 카메라들에 의해 촬영된 복수의 영상들에 대한 캘리브레이션을 통한 보정을 수행하고 영상 스티칭 및 영상 블렌딩을 수행하여 주변 영상을 생성할 수 있다.
가상 영상 처리부(230)는 사용자의 제어에 따른 직접적 또는 간접적 가상 영상을 생성할 수 있다. 여기에서, 가상 영상은 가상 현실(virtual reality:VR)기반의 사용자 주변의 가상의 영역 또는 가상의 물체들에 대한 영상을 의미할 수 있다. 일 실시예에서, 가상 영상 처리부(230)는 가상현실 생성장치(120)로부터 가상 영상을 수신할 수 있다. 보다 구체적으로, 가상 영상 처리부(230)는 사용자의 제어에 따라 가상현실 생성장치(120)을 통하여 직접적 또는 간접적으로 가상 영상을 수신하여 카메라 기반의 혼합현실 글래스 장치(110)에 제공할 수 있다. 예를 들어, 가상 영상 처리부(230)는 간접적으로는 비디오 레포지토리(130)로부터 저장된 영상을 수신하여 가상 영상을 생성할 수 있고, 직접적으로는 가상현실 생성장치(120)로부터 가상 영상을 생성할 수 있다. 가상 영상 처리부(230)는 직접적 및 간접적으로 생성된 복수의 가상 영상을 혼합현실 영상 처리부(240)에 제공할 수 있다.
혼합현실 영상 처리부(240)는 사용자의 주변 영상에 가상 영상을 오버레이하여 밴드형 유연 디스플레이에 디스플레이할 수 있다. 보다 구체적으로, 혼합현실 영상 처리부(240)는 실제 영상과 가상 영상의 합성을 통해 혼합현실을 생성하여 디스플레이 할 수 있다. 일 실시예에서, 혼합현실 영상 처리부(240)는 영상 스티칭을 통해 보정된 360도 영상에 가상 영상을 오버레이할 수 있다. 보다 구체적으로, 혼합현실 영상 처리부(240)는 360도로 제공되는 사용자 주변 영상에 가상 영상을 오버레이하여 360도의 혼합현실을 사용자에게 제공할 수 있다. 일 실시예에서, 혼합현실 영상 처리부(240)는 영상 스티칭 및 영상 블렌딩을 통해 보정된 360도 주변 영상에 사용자의 목적지를 가이드하는 경로 가이드를 포함하 가상 영상을 오버레이 할 수 있다. 예를 들어, 혼합현실 영상 처리부(240)는 사용자 주변영상과 함께 제공되는 사용자의 GPS 정보를 통해 상기 사용자 주변영상과 오버레이되는 가상 영상에 기 설정된 사용자의 목적지를 가이드 하는 경로 가이드를 생성하여 제공할 수 있다. 일 실시예에서, 혼합현실 영상 처리부(240)는 사용자의 뇌파를 검출하여 사용자의 정보를 생성할 수 있다. 여기에서, 사용자의 정보는 사용자의 시선의 방향, 동공의 상태 및 눈깜박임 여부 등에 해당할 수 있다. 보다 구체적으로, 혼합현실 영상 처리부(240)는 사용자의 뇌파를 통해 사용자 시선의 방향을 예측하고 사용자 시선의 방향에 따라 해당 혼합현실 영상을 미리 디스플레이 할 수 있다. 예를 들어, 혼합현실 영상 처리부(240)는 사용자 뇌파를 검출하여 사용자의 시선의 움직임을 예측하여 사용자 시선보다 0.2초~0.5초 빠르게 사용자 시선방향의 다양한 혼합현실 영상을 디스플레이 할 수 있다.
제어부(250)는 카메라 기반의 혼합현실 글래스 장치(110)의 동작 전반을 제어할 수 있고, 실제 영상 처리부(220), 가상 영상 처리부(230) 및 혼합현실 영상 처리부(240)간의 데이터 흐름을 제어할 수 있다.
도 3은 도 2에 있는 일 실시예에 따른 스마트 글래스부를 나타내는 구성도이다.
도 3을 참조하면, 스마트 글래스부(210)는 밴드형 유연 디스플레이(212), 머리 결합 밴드(214) 및 카메라(216)를 포함한다. 도 3a는 스마트 글래스부(210)의 스마트 글래스를 보여주는 사시도, 도 3b는 스마트 글래스의 정면, 윗면 및 배면을 보여주는 평면도, 도 3c는 스마트 글래스의 옆면 및 렌즈 덮개를 연 정면 모습을 보여주는 평면도에 해당할 수 있다.
일 실시예에서, 밴드형 유연 디스플레이(212)는 스마트 글래스의 사용자 눈 방향에 배치되어 투명 렌즈 및 디스플레이 패널을 포함할 수 있다. 머리 결합 밴드(214)는 카메라 기반의 혼합현실 글래스 장치(110)를 사용자의 머리에 장착시킬 수 있는 머리띠의 형태로 형성될 수 있다. 일 실시예에서, 머리 결합 밴드(214)는 겉면에 사용자의 머리를 따라 복수의 카메라(216)들을 배치할 수 있다. 복수의 카메라(216)들은 머리 결합 밴드의 전방, 양 측면 및 후면에 각각 배치되어 사용자에 대한 360도 영상을 주변 영상으로 촬영할 수 있다. 예를 들어, 머리 결합 밴드(214)는 사용자의 눈 반대방향, 사용자의 귀 방향 및 사용자 뒤통수 방향에 복수의 카메라(216)들을 배치할 수 있다. 일 실시예에서, 머리 결합 밴드(214)는 사용자 눈 반대방향인 전방에 전면 카메라를 장착한 렌즈 덮개(20)를 머리 결합 밴드(214)의 몸통부에서 접철시킬 수 있다. 보다 구체적으로, 머리 결합 밴드(214)는 전면 카메라를 장착한 렌즈 덮개(20)를 머리 결합 밴드(214)의 양 측면부에 있는 힌지(10)들을 중심으로 위아래로 여닫을 수 있다. 사용자는 렌즈 덮개(20)를 열면 투명 렌즈(30)를 통해 주변을 시각적으로 확인할 수 있고, 렌즈 덮개(20)를 닫으면 렌즈 덮개(20)의 사용자 눈 방향에 배치된 밴드형 유연 디스플레이(212)를 통해 주변 영상에 가상 영상을 오버레이한 혼합 현실 영상을 관람하게 된다.
도 4는 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 보여주는 구성도이다.
도 4에서, 실제 영상 처리부(220)는 GPS(Global Positioning System)를 포함하고, 카메라들(216)을 통해 촬영된 사용자의 주변 영상들을 인코딩(223)하여 GPS(222)를 통한 사용자의 위치정보와 함께 네트워크 모듈(40)을 통해 비디오 레포지토리(130)에 저장할 수 있다. 일 실시예에서, 실제 영상 처리부(220)는 주변 영상들의 인코딩 과정에서 사용자의 왼쪽 눈 위치의 카메라의 영상과 사용자의 오른쪽 눈 위치의 카메라의 영상을 분리하여 처리할 수 있다. 일 실시예에서, 실제 영상 처리부(220)는 사용자의 주변 영상을 일정 시간 간격 및 일정 공간 간격마다 분리하여 저장할 수 있다. 실제 영상 처리부(220)는 네트워크를 통해 비디오 레포지토리(130)로부터 저장된 사용자의 주변 영상을 수신하여 디코딩(224)하여 네트워크 모듈(40)을 통해 혼합현실 영상 처리부(240)에 제공할 수 있다.
가상 영상 처리부(230)는 네트워크를 통해 가상현실 생성장치(120)로부터 직접적 또는 간접적으로 생성된 가상 영상을 수신하여 디코딩(232)을 수행하고 혼합현실 영상 처리부(240)에 네트워크 모듈(40)을 통해 제공할 수 있다.
혼합현실 영상 처리부(240)는 실제 영상과 가상 영상을 합성하여 혼합현실 영상을 사용자 눈 좌우측 디스플레이 패널들(242, 243)에 각각 디스플레이 할 수 있다. 일 실시예에서, 혼합현실 영상 처리부(240)는 사용자 뇌파를 통해 사용자의 시선 움직임을 감지하고(60) 사용자 시선방향의 해당 혼합현실 영상을 사용자 좌우측 렌즈들을(70) 통해 디스플레이 할 수 있다. 일 실시예에서, 혼합현실 영상 처리부(240)는 비디오 레포지토리(130)에 저장된 과거의 특정 시점 또는 특정 장소에서의 주변 영상을 수신하여 해당 시점 또는 장소에서의 가상 영상과 합성하여 혼합현실 영상을 디스플레이 할 수 있다. 카메라 기반의 혼합현실 글래스 장치(110)는 사용자의 과거 혼합현실 영상 데이터를 비디오 레포지토리(130)에 실시간으로 저장하여 보관하고, 특정 레퍼런스를 통해 언제든 불러들여 사용자에게 제공할 수 있다.
도 5는 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 통한 혼합현실 디스플레이 방법을 보여주는 흐름도이다.
카메라 기반의 혼합현실 글래스 장치(110)는 실제 영상 처리부(220)를 통해 복수의 카메라들로 촬영된 사용자 주변 영상을 생성할 수 있다(단계 S510).
카메라 기반의 혼합현실 글래스 장치(110)는 가상 영상 처리부(230)를 통해 사용자의 제어에 따른 직접적 또는 간접적 가상 영상을 생성할 수 있다(단계 S520).
카메라 기반의 혼합현실 글래스 장치(110)는 혼합현실 영상 처리부(240)를 통해 사용자의 주변 영상에 가상 영상을 오버레이하여 밴드형 유연 디스플레이에 디스플레이 할 수 있다.
도 6은 다른 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 통한 혼합현실 디스플레이 방법을 보여주는 흐름도이다.
카메라 기반의 혼합현실 글래스 장치(110)는 실제 영상 처리부(220)를 통해 스마트 글래스부(210)의 스마트 글래스에 배치된 복수의 카메라에 의해 촬영된 사용자의 주변 영상의 생성 전 캘리브레이션을 통해 흔들림을 보정하고, 주변 영상을 생성하여 360도 영상으로 원격 비디오 레포지토리에 저장할 수 있다(단계 S610).
카메라 기반의 혼합현실 글래스 장치(110)는 가상 영상 처리부(230)를 통해 사용자의 제어에 따른 직접적 또는 간접적 가상 영상을 생성할 수 있다(단계 S620).
카메라 기반의 혼합현실 글래스 장치(110)는 혼합현실 영상 처리부(240)를 통해 영상 스티칭 및 영상 블렌딩으로 보정된 사용자의 주변 360도 영상을 비디오 레포지토리로부터 불러온 후 가상 영상을 오버레이하여 밴드형 디스플레이에 디스플레이 할 수 있다(단계 S630).
도 7은 다른 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 보여주는 구성도(a) 및 블록도(b)이다.
도 7a를 참조하면, 카메라 기반의 혼합현실 글래스 장치(110)는 제1 카메라 조정부(710) 및 제2 카메라 조정부(720)를 포함할 수 있다. 도 7b를 참조하면, 카메라 기반의 혼합현실 글래스 장치(110)는 스마트 글래스부(210), 실제 영상 처리부(220), 가상 영상 처리부(230), 혼합현실 영상 처리부(240) 및 제어부(250) 외에 복수의 카메라들(216)과 연결된 제1 카메라 조정부(710) 및 제2 카메라 조정부(720)를 더 포함할 수 있다. 보다 구체적으로, 도 7에서, 카메라 기반의 혼합현실 글래스 장치(110)는 복수의 카메라들(216) 사이에 배치되는 제1 카메라 조정부(710) 및 제2 카메라 조정부(720)를 더 포함하여, 사용자 시선방향에 존재하는 물체와의 거리에 따라 복수의 카메라들을 조정할 수 있다. 카메라 기반의 혼합현실 글래스 장치(110)는 제1 및 제2 카메라 조정부(710, 720)들을 통해 기존의 실외에서의 사용을 기준으로 결정된 카메라(216)의 각도에 따라 제공되는 초점을, 실내외 상황에 따라 가변적으로 결정되도록 카메라(216)의 각도를 실시간으로 조정할 수 있다. 보다 구체적으로, 카메라 기반의 혼합현실 글래스 장치(110)는 제1 및 제2 카메라 조정부(710, 720)들을 통해 물체와의 거리를 계산하고, 계산된 거리를 기초로 최적의 초점을 맞출 수 있는 전면 카메라들(216)의 각도를 산출하여 해당 각도에 따라 전면 카메라들(216)을 움직임으로써 물체의 초점을 정확하게 맞추고 현실과 같은 거리감을 사용자에게 제공할 수 있다. 즉, 카메라 기반의 혼합현실 글래스 장치(110)는 제1 및 제2 카메라 조정부(710, 720)들을 통해 실내외 장소를 불문하고 사용자에게 언제나 최적의 초점과 거리감을 가지는 혼합현실 영상을 제공할 수 있다.
보다 구체적으로, 카메라 기반의 혼합현실 글래스 장치(110)는 사용자 눈 반대방향으로 왼쪽 카메라(216a)들과 오른쪽 카메라(216b)들 사이에 배치되는 제1 카메라 조정부(710)와 사용자 눈방향의 밴드형 유연 디스플레이들(212) 사이에 배치되는 제2 카메라 조정부(720)를 통해 사용자 시선방향에 있는 물체와의 거리를 산출하고 산출된 거리를 기초로 복수의 카메라들(216)의 각도(angle)를 조정하여 사용자에게 물체와의 정확한 거리감을 제공할 수 있다. 일 실시예에서, 제1 카메라 조정부(710)는 3D IR 카메라(711)를 통해 사용자의 얼굴이 향하는 방향을 기초로 전방의 물체를 감지하여 카메라(216)를 조정할 수 있고, 제2 카메라 조정부(720)는 동공 추적 카메라(724)를 통해 사용자의 동공 시선이 향하는 방향을 기초로 전방의 물체를 감지하여 카메라(216)를 조정할 수 있다. 보다 구체적으로, 제1 카메라 조정부(710)와 제2 카메라 조정부(720)는 상호 보완적으로 작동하여 사용자에게 물체에 대한 최적의 심도를 제공하도록 카메라들을 조정할 수 있다. 제1 카메라 조정부(710) 및 제2 카메라 조정부(720) 각각에 대한 자세한 설명은 도 9 및 도 10을 참조한다.
도 8은 도 7의 실시예에 따른 스마트 글래스부를 나타내는 구성도이다.
도 8에서, 스마트 글래스부(210)는 3D IR 카메라(711) 및 동공 추적 카메라(724)를 더 포함할 수 있다. 여기에서, 3D IR(InfraRed) 카메라(711)는 적외선을 통해 스마트 글래스를 착용한 사용자의 전방 얼굴방향의 물체를 검출할 수 있다. 3D IR 카메라(711)는 적외선을 통해 검출된 전방의 물체와의 거리를 산출할 수 있다. 여기에서, 동공 추적 카메라(724)는 사용자의 동공의 움직임을 감지할 수 있다. 보다 구체적으로, 동공 추적 카메라(724)는 사용자의 동공이 향하는 시선방향의 물체와의 거리에 기초하여 움직이는 사용자의 동공의 위치를 검출할 수 있다.
일 실시예에서, 스마트 글래스부(210)는 머리결합 밴드(214)의 전방에 위치한 전면 카메라들(216a, 216b)의 사이에 3D IR 카메라(711)를 배치할 수 있다. 스마트 글래스부(210)는 스마트 글래스의 내측 사용자 눈 방향에 배치된 밴드형 유연 디스플레이(212)의 사이에 동공 추적 카메라(724)를 배치할 수 있다.
도 9는 일 실시예에 따른 도 7의 제1 카메라 조정부를 보여주는 구성도이다.
도 9를 참조하면, 제1 카메라 조정부(710)는 3D IR 카메라(711), 카메라 각도 조정 모터(712), 심도 산출 모듈(713) 및 카메라 각도 산출 모듈(714)을 포함할 수 있다.
도 9에서, 제1 카메라 조정부(710)는 스마트 글래스를 착용한 사용자의 얼굴이 향하는 전방의 물체(70)를 검출하여 전면 좌우측 카메라들(216a, 216b)의 각도를 조정할 수 있다. 보다 구체적으로, 제1 카메라 조정부(710)는 3D IR 카메라(711)를 통해서 전방의 물체(70)를 검출하여 거리를 산출할 수 있고, 산출된 거리를 가지고 심도 산출 모듈(713)을 통해서 심도(depth)를 산출하며, 산출된 심도를 기초로 카메라 각도 산출 모듈(714)을 통해 물체(70)에 최적의 초점을 제공하는 카메라의 각도를 산출할 수 있다. 여기에서, 심도(depth)는 카메라로 촬영시 초점이 맞는 피사체(물체)의 전면과 후면사이의 면적에 해당할 수 있다. 제1 카메라 조정부(710)는 산출된 카메라 각도를 기초로 카메라 각도 조정 모터(712)를 구동하여 전면 카메라들(216a, 216b)의 각도를 조정할 수 있다. 예를 들어, 제1 카메라 조정부(710)는 전방의 물체(70)의 거리가 가까울수록(D1) 물체를 향해 기울어진 카메라의 내각의 각도가 작아지도록(A1) 전면 카메라들(216a, 216b)의 각도를 조정하고, 물체(70)의 거리가 멀어질수록(D2) 카메라의 내각의 각도가 커지도록(A2) 전면 카메라들(216a, 216b)의 각도를 조정할 수 있다. 일 실시예에서, 제1 카메라 조정부(710)는 전면 카메라들(216a, 216b)의 각도 조정에 따라 측면 및 후면 카메라들의 각도도 조정할 수 있다. 예를 들어, 제1 카메라 조정부(710)는 전면 카메라들(216a, 216b)의 각도 조정정도를 기초로 기 설정된 특정 기준에 따라 측면 및 후면 카메라들의 각도를 가변적으로 조정할 수 있다.
도 10은 일 실시예에 따른 도 7의 제2 카메라 조정부를 보여주는 구성도이다.
도 10을 참조하면, 제2 카메라 조정부(720)는 카메라 각도 조정 모터(722), 카메라 각도 산출 모듈(723) 및 동공 추적 카메라(724)를 포함할 수 있다.
도 10에서, 제2 카메라 조정부(720)는 스마트 글래스를 착용한 사용자의 동공(pupil)이 향하는 시선 방향의 물체(70)를 검출하여 전면 카메라들(216a, 216b)의 각도를 조정할 수 있다. 보다 구체적으로, 제2 카메라 조정부(720)는 사용자의 동공의 움직임을 추적하는 동공 추적 카메라(724)를 통해 물체를 바라보는 사용자의 동공의 방향을 검출하고, 검출된 방향을 기초로 카메라 각도 산출 모듈(723)을 통해 전면 카메라들(216a, 216b)의 각도를 산출하여 산출된 각도를 기초로 카메라 각도 조정 모터(722)를 통해 카메라의 각도를 조정할 수 있다. 일 실시예에서, 제2 카메라 조정부(720)는 사용자의 동공이 바라보는 물체(70)의 거리가 가까운 경우, 좌우측 동공간 거리가 가까워짐에 따라 검출된 동공의 방향을 기초로 카메라 각도 산출 모듈(723)을 통해서 전면 카메라들(216a, 216b)의 각도를 좁힐 수 있다. 예를 들어, 제2 카메라 조정부(720)는 물체(70)의 거리가 가까운 경우에 물체(70)를 향해 기울어진 전면 카메라들(216a, 216b)의 내각(A1)을 물체(70)의 거리가 먼 경우에 물체(70)를 향해 기울어진 전면 카메라들(216a, 216b)의 내각(A2)보다 작게 형성할 수 있다.
도 11은 다른 일 실시예에 따른 카메라 기반의 혼합현실 글래스 장치를 통한 혼합현실 디스플레이 시스템을 나타내는 도면이다.
도 11을 참조하면, 혼합현실 디스플레이 시스템은 카메라 기반의 혼합현실 글래스 장치(110), 비디오 레포지토리(130) 및 복수의 혼합현실 스마트 글래스들(90)을 포함할 수 있다.
도 11에서, 카메라 기반의 혼합현실 글래스 장치(110)는 복수의 카메라들을 통해 사용자 주변 영상을 생성하고, 사용자 제어에 따라 생성된 가상 영상을 주변 영상에 오버레이하여 혼합현실을 사용자에게 제공할 수 있다. 일 실시예에서, 카메라 기반의 혼합현실 글래스 장치(110)는 생성된 혼합현실 영상을 직접 체험할뿐 아니라 비디오 레포지토리(130)에 체험 시간 및 장소에 대한 정보와 함께 실시간으로 저장하고, 브로드케스팅(132)을 통해 복수의 다른 동일한 혼합현실 스마트 글래스들(90)에 실시간으로 스트리밍할 수 있다. 보다 구체적으로, 카메라 기반의 혼합현실 글래스 장치(110)는 혼합현실 영상을 생성하고 실시간으로 다른 동일한 복수의 혼합현실 글래스 장치들(90)에 제공하며, 동시에 비디오 레포지토리(130)에 저장함으로써, 사용자에게 특정 시점 또는 특정 장소에서의 혼합현실 영상의 몰입감을 실시간으로 공유하고 보관하도록 할 수 있다. 예를 들어, 사용자가 현재 몰입된 장면이 그대로 복수명의 다른 사용자들에게 전달될 수 있고, 복수의 사용자들이 동일한 몰입감을 공유하게 될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 혼합현실 디스플레이 시스템
110: 카메라 기반의 혼합현실 글래스 장치
120: 가상현실 생성장치 130: 비디오 레포지토리
210: 스마트 글래스부 212: 밴드형 유연 디스플레이
214: 머리 결합 밴드 216: 카메라
220: 실제 영상 처리부
230: 가상 영상 처리부 240: 혼합현실 영상 처리부
250: 제어부
710: 제1 카메라 조정부 720: 제2 카메라 조정부
711: 3D IR 카메라 724: 동공 추적 카메라

Claims (11)

  1. 사용자의 눈 방향에 배치된 밴드형 유연 디스플레이, 상기 밴드형 유연 디스플레이를 장착하고 상기 사용자의 머리를 따라 형성되는 머리 결합 밴드 및 상기 밴드형 유연 디스플레이에서 상기 사용자의 눈 반대방향에 장착되고 상기 사용자의 머리를 따라 배치되는 복수의 카메라들을 포함하는 스마트 글래스부;
    상기 복수의 카메라들을 통해 상기 사용자의 주변 영상을 생성하고 전송하는 실제 영상 처리부;
    상기 사용자의 제어에 따른 직접적 또는 간접적 가상 영상을 생성하는 가상 영상 처리부; 및
    상기 사용자의 주변 영상에 상기 가상 영상을 오버레이하여 상기 밴드형 유연 디스플레이에 디스플레이하는 혼합현실 영상 처리부를 포함하는 카메라 기반의 혼합현실 글래스 장치.
  2. 제1항에 있어서, 상기 스마트 글래스부는
    상기 머리 결합 밴드의 전방, 양 측면 및 후면에 각각 배치되어 상기 사용자에 대한 360도 영상을 상기 주변 영상으로 촬영하는 적어도 하나의 카메라를 더 포함하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  3. 제1항에 있어서, 상기 실제 영상 처리부는
    GPS(Global Positioning System)를 포함하고, 상기 GPS를 통해 결정된 사용자의 위치와 시간 정보를 네트워크를 통해 비디오 레포지토리(repository)에 상기 사용자의 주변 영상과 함께 제공하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  4. 제1항에 있어서, 상기 실제 영상 처리부는
    상기 주변 영상의 생성 전에 캘리브레이션을 통해 상기 사용자의 헤드 방향 중심 및 높이 중심을 결정하고, 상기 헤드 방향 중심 및 높이 중심을 기초로 상기 사용자의 이동 과정에서 발생되는 상하 이동 흔들림 및 상기 사용자의 헤드 회전에서 발생되는 좌우 회전 흔들림을 보정하여 상기 주변 영상을 360도 영상으로 비디오 레포지토리에 저장하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  5. 제4항에 있어서, 상기 실제 영상 처리부는
    상기 상하 이동 및 좌우 회전 흔들림들에 관한 보정의 과정에서 상기 복수의 카메라들로부터 수신된 복수의 해당 영상들을 기계적으로 영상 스티칭한 후 중첩되는 경계 영역에 관한 영상 블렌딩을 수행하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  6. 제5항에 있어서, 상기 혼합현실 영상 처리부는
    상기 영상 스티칭 및 상기 영상 블렌딩을 통해 보정된 360도 영상에 상기 가상 영상을 오버레이하고, 상기 가상 영상은 상기 사용자의 목적지를 가이드하는 경로 가이드를 포함하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  7. 제1항에 있어서, 상기 혼합현실 영상 처리부는
    상기 사용자의 뇌파를 통해 사용자 시선의 방향을 예측하고 상기 사용자 시선의 방향에 따라 해당 혼합현실 영상을 미리 디스플레이하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  8. 제1항에 있어서,
    사용자의 시선방향에 존재하는 물체와의 거리를 검출하고 상기 검출된 거리를 기초로 상기 복수의 카메라들의 각도를 기계적으로 실시간 조정하는 제1 카메라 조정부를 더 포함하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  9. 제8항에 있어서,
    상기 물체를 바라보는 사용자의 동공의 움직임을 검출하고 상기 검출된 동공의 움직임을 기초로 상기 복수의 카메라들의 각도를 기계적으로 실시간 조정하는 제2 카메라 조정부를 더 포함하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  10. 제1항에 있어서, 상기 혼합현실 영상 처리부는
    혼합현실 영상을 네트워크를 통하여 비디오 레포지토리에 GPS 정보 및 시간정보와 함께 실시간으로 저장하고 동시에 복수의 사용자의 스마트 글래스들을 대상으로 실시간 전송(브로드캐스팅, broadcasting)하여 공유하며, 더 나아가 특정 시점 이후에 행해지는 사용자의 전송 요청에 따라 상기 비디오 레포지토리로부터 상기 GPS 정보 및 상기 시간 정보에 대한 혼합현실 영상을 수신하여 상기 사용자에게 제공하는 것을 특징으로 하는 카메라 기반의 혼합현실 글래스 장치.
  11. 스마트 글래스에 배치된 복수의 카메라를 통해 사용자의 주변 영상을 생성하고 영상 스티칭을 통해 흔들림을 보정한 360도 영상으로 비디오 레포지토리에 저장하는 단계;
    상기 사용자의 제어에 따른 직접적 또는 간접적 가상 영상을 생성하는 단계; 및
    상기 영상 스티칭을 통해 보정된 사용자의 주변 360도 영상에 상기 가상 영상을 오버레이하여 상기 밴드형 유연 디스플레이에 디스플레이하는 단계를 포함하는 카메라 기반의 혼합현실 디스플레이 방법.
KR1020180161697A 2018-12-14 2018-12-14 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법 KR102145852B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180161697A KR102145852B1 (ko) 2018-12-14 2018-12-14 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
US17/253,107 US11314088B2 (en) 2018-12-14 2019-12-02 Camera-based mixed reality glass apparatus and mixed reality display method
PCT/KR2019/016835 WO2020122488A1 (ko) 2018-12-14 2019-12-02 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161697A KR102145852B1 (ko) 2018-12-14 2018-12-14 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20200073487A true KR20200073487A (ko) 2020-06-24
KR102145852B1 KR102145852B1 (ko) 2020-08-19

Family

ID=71076950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161697A KR102145852B1 (ko) 2018-12-14 2018-12-14 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법

Country Status (3)

Country Link
US (1) US11314088B2 (ko)
KR (1) KR102145852B1 (ko)
WO (1) WO2020122488A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102283301B1 (ko) * 2020-12-31 2021-07-29 더에이치알더 주식회사 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법
KR102393309B1 (ko) * 2022-01-10 2022-04-29 정장수 3d 체험교육용 vr 제작방법
KR20220120266A (ko) * 2021-02-23 2022-08-30 한남대학교 산학협력단 Ar 스마트 글래스 시스템
KR20220166981A (ko) * 2021-06-11 2022-12-20 금오공과대학교 산학협력단 증강현실과 가상현실을 선택적으로 사용할 수 있는 하이브리드 영상출력 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11212509B2 (en) 2018-12-20 2021-12-28 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
CN112925413B (zh) * 2021-02-08 2023-06-23 维沃移动通信有限公司 增强现实眼镜及其触控方法
WO2023023785A1 (en) * 2021-08-25 2023-03-02 Aguirre Gutierrez Victor Jesus A surgical head camera arrangement
CN115047624B (zh) * 2022-05-24 2023-06-27 北京领为军融科技有限公司 智能眼镜操控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133323A (ko) * 2013-05-10 2014-11-19 한국과학기술원 썬캡형 증강현실 제공 장치 및 시스템
KR101724360B1 (ko) 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치
KR20180000017A (ko) 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 스마트 글래스를 이용한 증강현실 제공 방법
US20180052329A1 (en) * 2016-05-02 2018-02-22 Futurewei Technologies, Inc. Head mounted display content capture and sharing

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6355417B2 (en) * 1997-03-14 2002-03-12 Transgenomic, Inc. Band array display of polynucleotide separations
US20070035562A1 (en) * 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
KR100809479B1 (ko) * 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8678282B1 (en) * 2010-11-29 2014-03-25 Lockheed Martin Corporation Aim assist head-mounted display apparatus
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
CA2888943C (en) 2013-10-03 2015-08-18 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
CN109828671B (zh) 2014-01-23 2022-02-22 索尼公司 图像显示装置和图像显示方法
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US10426668B2 (en) * 2014-09-18 2019-10-01 Rohm Co., Ltd. Binocular display apparatus
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US20170365097A1 (en) * 2016-06-20 2017-12-21 Motorola Solutions, Inc. System and method for intelligent tagging and interface control
US20180116732A1 (en) * 2016-10-18 2018-05-03 The Board Of Trustees Of The Leland Stanford Junior University Real-time Three Dimensional Display of Flexible Needles Using Augmented Reality
TWI633336B (zh) * 2017-02-24 2018-08-21 宏碁股份有限公司 頭戴式顯示器、其視野校正方法以及混合實境顯示系統
US20180280656A1 (en) * 2017-03-28 2018-10-04 Nextvr Inc. Virtual reality methods and apparatus which use or include brain activity sensors
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
KR102434402B1 (ko) * 2017-09-19 2022-08-22 한국전자통신연구원 혼합현실 콘텐츠를 제공하는 장치 및 방법
US20190213792A1 (en) * 2018-01-11 2019-07-11 Microsoft Technology Licensing, Llc Providing Body-Anchored Mixed-Reality Experiences
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10706813B1 (en) * 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10898151B2 (en) * 2018-10-31 2021-01-26 Medtronic Inc. Real-time rendering and referencing for medical procedures
US11055913B2 (en) * 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US20200275071A1 (en) * 2019-03-20 2020-08-27 Anton Zavoyskikh Electronic visual headset
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11860455B2 (en) * 2019-12-11 2024-01-02 Nvidia Corporation Modular prescription augmented reality display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133323A (ko) * 2013-05-10 2014-11-19 한국과학기술원 썬캡형 증강현실 제공 장치 및 시스템
US20180052329A1 (en) * 2016-05-02 2018-02-22 Futurewei Technologies, Inc. Head mounted display content capture and sharing
KR20180000017A (ko) 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 스마트 글래스를 이용한 증강현실 제공 방법
KR101724360B1 (ko) 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102283301B1 (ko) * 2020-12-31 2021-07-29 더에이치알더 주식회사 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법
KR20220120266A (ko) * 2021-02-23 2022-08-30 한남대학교 산학협력단 Ar 스마트 글래스 시스템
KR20220166981A (ko) * 2021-06-11 2022-12-20 금오공과대학교 산학협력단 증강현실과 가상현실을 선택적으로 사용할 수 있는 하이브리드 영상출력 장치
KR102393309B1 (ko) * 2022-01-10 2022-04-29 정장수 3d 체험교육용 vr 제작방법

Also Published As

Publication number Publication date
KR102145852B1 (ko) 2020-08-19
US11314088B2 (en) 2022-04-26
WO2020122488A1 (ko) 2020-06-18
US20210271081A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
KR102145852B1 (ko) 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
US9858643B2 (en) Image generating device, image generating method, and program
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
US9927948B2 (en) Image display apparatus and image display method
US10629107B2 (en) Information processing apparatus and image generation method
US7817104B2 (en) Augmented reality apparatus and method
US10078366B2 (en) Head-mountable apparatus and system
US20120200667A1 (en) Systems and methods to facilitate interactions with virtual content
US11277603B2 (en) Head-mountable display system
KR20190112712A (ko) 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
KR20150090183A (ko) 3-d 플레놉틱 비디오 이미지들을 생성하는 시스템 및 방법
JP7047394B2 (ja) 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法
US20160234482A1 (en) Head-mountable display system
US20180205932A1 (en) Stereoscopic video see-through augmented reality device with vergence control and gaze stabilization, head-mounted display and method for near-field augmented reality application
CN106168855B (zh) 一种便携式mr眼镜、手机和mr眼镜系统
Kimura et al. Eyeglass-based hands-free videophone
US20140361987A1 (en) Eye controls
US20180192031A1 (en) Virtual Reality Viewing System
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
US20220239888A1 (en) Video distribution system, video distribution method, and display terminal
KR20190015903A (ko) 3차원 카메라와 헤드 마운트 디스플레이를 이용한 수술 녹화 및 중계 시스템
CN110749993B (zh) 为智能移动设备增添新型图像功能的方法与装置
WO2023136073A1 (ja) 画像表示装置および画像表示方法
WO2023248832A1 (ja) 遠隔視認システム、現地撮像システム
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant