KR20170081351A - 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템 - Google Patents

증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템 Download PDF

Info

Publication number
KR20170081351A
KR20170081351A KR1020160000284A KR20160000284A KR20170081351A KR 20170081351 A KR20170081351 A KR 20170081351A KR 1020160000284 A KR1020160000284 A KR 1020160000284A KR 20160000284 A KR20160000284 A KR 20160000284A KR 20170081351 A KR20170081351 A KR 20170081351A
Authority
KR
South Korea
Prior art keywords
information
camera
cameras
mesh information
virtual object
Prior art date
Application number
KR1020160000284A
Other languages
English (en)
Inventor
정성욱
조현우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160000284A priority Critical patent/KR20170081351A/ko
Priority to US15/001,414 priority patent/US20170193700A1/en
Publication of KR20170081351A publication Critical patent/KR20170081351A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치는 복수의 카메라 각각의 카메라 파라미터를 산출하는 파라미터 산출부, 상기 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 상기 복수의 카메라 각각에 대한 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 복수의 카메라가 촬영하는 대상 공간에 대한 월드 좌표계로 변환 처리하는 메쉬 정보 처리부, 상기 변환 처리된 상기 복수의 카메라 각각에 대한 메쉬 정보들의 중복 영역을 고려하여 상기 대상 공간에 대한 전체 맵을 생성하는 맵 생성부, 및 상기 전체 맵에 가상 객체를 증강시키는 증강 처리부를 포함할 수 있다.

Description

증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템{PROVIDING APPARATUS FOR AUGMENTED REALITY SERVICE, DISPLAY APPARATUS AND PROVIDING SYSTEM FOR AUGMENTED REALITY SERVICE COMPRISING THEREOF}
본 발명은 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템에 관한 것이다.
일반적인 교육용 증강현실 시스템은 카메라 영상에서 사용자를 분리하고, 정면의 대형 모니터에 가상객체 및 사람을 증강시켜 가상객체와의 인터랙션을 통해 가상환경에서의 교육적 효과를 이끌어내고 있다. 예를 들어, 3차원 기반의 증강현실 시스템의 경우, RGB-D 카메라를 사용하여 획득되는 깊이 정보를 이용한 컬러 및 깊이 영상을 활용하고 있다. 3차원 공간의 깊이 정보를 입력으로 사용하기 때문에 공간상에 객체의 위치정보를 추정할 수 있고 이를 증강현실 시스템에서 활용한다.
하지만, 기존의 시스템은 모든 가상 환경이 정면의 디스플레이에 증강되고, 다수의 사용자가 이용하는 경우 서비스가 제한되는 단점이 있다. 즉, 하나의 주 디스플레이에 모든 효과가 증강되기 때문에 모든 사용자는 디스플레이에서만 효과를 체험하게 되고, 디스플레이를 제외한 다른 뷰 상에서는 가상체험을 할 수 없다는 단점이 있다. 이와 같은 문제점을 해결하기 위해서 개인용 디스플레이가 필요하다.
그러나, 일반적인 상업용 헤드 마운트 디스플레이(Head Mount Display)의 경우 제한적인 자원(예를 들어, 처리속도, 배터리 문제 등)으로 인하여 고성능의 알고리즘을 처리하기에는 제한이 따른다.
본 발명의 일 목적은 정보 처리 시간을 단축시킬 수 있는 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템을 제공하는 데 있다.
본 발명의 일 목적은 사용자에게 실감나는 증강현실 서비스를 제공할 수 있는 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치는 복수의 카메라 각각의 카메라 파라미터를 산출하는 파라미터 산출부, 상기 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 상기 복수의 카메라 각각에 대한 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 복수의 카메라가 촬영하는 대상 공간에 대한 월드 좌표계로 변환 처리하는 메쉬 정보 처리부, 상기 변환 처리된 상기 복수의 카메라 각각에 대한 메쉬 정보들의 중복 영역을 고려하여 상기 대상 공간에 대한 전체 맵을 생성하는 맵 생성부, 및 상기 전체 맵에 가상 객체를 증강시키는 증강 처리부를 포함할 수 있다.
일 실시예에서, 상기 파라미터 산출부는 상기 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 이용하여 상기 카메라 파라미터를 산출할 수 있다.
일 실시예에서, 상기 파라미터 산출부는 상기 복수의 카메라 각각의 내부 파라미터 및 외부 파라미터를 산출할 수 있다.
일 실시예에서, 상기 맵 생성부는 상기 변환 처리된 복수의 카메라 각각에 대한 메쉬 정보들의 중복 영역을 단일화하여 상기 대상 공간에 대한 전체 맵을 생성할 수 있다.
일 실시예에서, 상기 전체 맵에 대한 정보, 상기 가상 객체에 대한 정보 및 상기 가상 객체에 대한 사용자의 입력에 따른 처리 정보를 다른 장치로 전송하는 통신부를 더 포함할 수 있다.
일 실시예에서, 상기 복수의 카메라는 RGB-D 카메라일 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치는 대상 공간의 월드 좌표계 정보 및 전체 맵 정보를 수신하는 통신부, 상기 대상 공간을 촬영하는 카메라, 상기 카메라의 카메라 파라미터를 산출하는 파라미터 산출부, 상기 카메라로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 월드 좌표계로 변환 처리하는 메쉬 정보 처리부, 상기 변환 처리된 메쉬 정보와 상기 전체 맵 정보를 이용하여 상기 전체 맵 상에서 상기 카메라의 촬영 영역의 위치를 추정하는 위치 추정부, 및 상기 촬영 영역에 가상 객체를 증강시키는 증강 처리부를 포함할 수 있다.
일 실시예에서, 상기 통신부는 상기 가상 객체에 대한 정보를 더 수신할 수 있다.
일 실시예에서, 상기 증강 처리부는 상기 가상 객체에 대한 정보를 이용하여 상기 추정된 촬영 영역에 매칭되는 가상 객체를 증강시킬 수 있다.
일 실시예에서, 상기 파라미터 산출부는 상기 카메라부터 획득되는 영상에 기초한 포인트 클라우드 정보를 이용하여 상기 카메라 파라미터를 산출할 수 있다.
일 실시예에서, 상기 파라미터 산출부는 상기 카메라의 내부 파라미터 및 외부 파라미터를 산출할 수 있다.
일 실시예에서, 상기 카메라의 촬영 영역과 상기 추정된 촬영 영역에 매칭되는 가상 객체를 출력하는 디스플레이부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템은 복수의 카메라로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 상기 복수의 카메라 각각에 대한 메쉬 정보로 변환하고, 상기 복수의 카메라 각각에 대한 메쉬 정보를 이용하여 상기 복수의 카메라가 촬영하는 대상 공간에 대한 전체 맵 정보를 생성하고, 상기 전체 맵 상에 가상 객체를 증강시키는 증강현실 서비스 제공 장치, 및 상기 증강현실 서비스 제공 장치로부터 전달되는 상기 전체 맵 정보에 기초하여 상기 전체 맵 상에서의 카메라의 촬영 영역을 추정하고, 상기 추정된 촬영 영역에 상기 가상 객체를 증강시키는 디스플레이 장치를 포함할 수 있다.
일 실시예에서, 상기 증강현실 서비스 제공 장치는 복수의 카메라 각각의 카메라 파라미터를 산출하는 파라미터 산출부, 상기 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 상기 복수의 카메라 각각에 대한 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 복수의 카메라가 촬영하는 대상 공간에 대한 월드 좌표계로 변환 처리하는 메쉬 정보 처리부, 상기 변환 처리된 상기 복수의 카메라 각각에 대한 메쉬 정보들의 중복 영역을 고려하여 상기 대상 공간에 대한 전체 맵을 생성하는 맵 생성부, 및 상기 전체 맵에 가상 객체를 증강시키는 증강 처리부를 포함할 수 있다.
일 실시예에서, 상기 디스플레이 장치는 대상 공간의 월드 좌표계 정보 및 전체 맵 정보를 수신하는 통신부, 상기 대상 공간을 촬영하는 카메라, 상기 카메라의 카메라 파라미터를 산출하는 파라미터 산출부, 상기 카메라로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 월드 좌표계로 변환 처리하는 메쉬 정보 처리부, 상기 변환 처리된 메쉬 정보와 상기 전체 맵 정보를 이용하여 상기 전체 맵 상에서 상기 카메라의 촬영 영역의 위치를 추정하는 위치 추정부, 및 상기 촬영 영역에 가상 객체를 증강시키는 증강 처리부를 포함할 수 있다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템은 정보 처리 시간을 단축시킬 수 있다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템은 사용자에게 실감나는 증강현실 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템을 보여준다.
도 2는 본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치를 보여주는 블록도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치를 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템을 보여준다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템(1000)은 증강현실 서비스 제공 장치(100) 및 디스플레이 장치(200)를 포함할 수 있다.
증강현실 서비스 제공 장치(100)는 증강현실 서비스를 제공하기 위한 대상 공간에 대한 전체 맵 정보를 생성할 수 있다. 예를 들어, 증강현실 서비스 제공 장치(100)는 복수의 카메라로부터 획득되는 대상 공간에 대한 영상에 기초한 포인트 클라우드 정보(Point Cloud Information)를 복수의 카메라 별로 메쉬 정보(Mesh Information)로 변환하고, 상기 메쉬 정보를 이용하여 복수의 카메라가 촬영하는 대상 공간에 대한 전체 맵 정보를 생성할 수 있다. 증강현실 서비스 제공 장치(100)는 생성된 전체 맵에 가상 객체를 증강시킬 수 있다. 증강현실 서비스 제공 장치(100)는 전체 맵 정보와 가상 객체에 대한 정보를 디스플레이 장치(200)로 전달할 수 있다.
디스플레이 장치(200)는 증강현실 서비스 제공 장치(100)로부터 전달되는 전체 맵 정보와 가상 객체에 대한 정보를 이용하여 사용자에게 증강현실 경험을 제공할 수 있다. 예를 들어, 디스플레이 장치(200)는 증강현실 서비스 제공 장치(100)로부터 전달되는 전체 맵 정보에 기초하여 카메라(즉, 디스플레이 장치(200)의 카메라)의 촬영 영역을 추정하고, 추정된 촬영 영역에 매칭되는 가상 객체를 증강시켜 출력할 수 있다.
디스플레이 장치(200)는 예를 들어, see-through 타입의 헤드 마운트 디스플레이(Head Mount Display) 장치일 수 있다. 헤드 마운트 디스플레이 장치는 사람의 머리, 얼굴 등에 착용하고, 카메라를 통해 촬영되는 영상에 포함된 객체에 관한 정보가 출력되도록 하는 장치를 의미할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치는 안경 형태와 같이 구현도 가능하고, 헬멧과 같이 머리에 착용하는 형태로 구현도 가능하다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템(1000)은 전체 맵 정보의 생성은 증강현실 서비스 제공 장치(100)에서 처리하고, 처리된 전체 맵 정보를 이용하여 디스플레이 장치(200)를 통해 증강현실 서비스를 제공함으로써 처리 시간을 단축시킬 수 있고, 사용자에게 실감나는 증강현실 서비스를 제공할 수 있다.
이하에서, 상술한 증강현실 서비스 제공 장치(100) 및 디스플레이 장치(200)가 더욱 구체적으로 설명된다.
도 2는 본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치를 보여주는 블록도이다. 도 3 및 도 4는 본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치의 동작을 설명하기 위한 도면이다.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치(100)는 파라미터 산출부(110), 메쉬 정보 처리부(120), 맵 생성부(130), 증강 처리부(140), 및 통신부(150)를 포함할 수 있다.
파라미터 산출부(110)는 복수의 카메라 각각의 카메라 파라미터를 산출할 수 있다. 도 3을 참조하면, 복수의 카메라가 대상 공간을 촬영하기 위해 배치될 수 있다. 도 3에서는 3대의 카메라(a, b, c)가 도시되나, 이에 한정되는 것은 아니다. 예를 들어, 복수의 카메라(a, b, c)는 RGB-D 카메라일 수 있다. 복수의 카메라(a, b, c) 중 어느 하나의 카메라는 기준 카메라(회전이 없고, 전체 맵 상의 (0, 0, 0)에 위치)로 정의될 수 있다.
파라미터 산출부(110)는 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 이용하여 카메라 파라미터를 산출할 수 있다. 예를 들어, 포인트 클라우드 정보는 복수의 카메라가 촬영하는 대상 공간에 대한 깊이 정보를 포함할 수 있다.
카메라 파라미터는 내부 파라미터 및 외부 파라미터를 포함할 수 있다. 예를 들어, 내부 파라미터는 초점거리, 주점 등의 파라미터를 포함할 수 있고, 외부 파라미터는 회전(rotation), 평행이동(translation) 등의 파라미터를 포함할 수 있다. 예를 들어, 파라미터 산출부(110)는 Tsai의 캘리브레이션 알고리즘을 이용하여 복수의 카메라 각각의 내부 파라미터를 산출할 수 있다. 예를 들어, 파라미터 산출부(110)는 기준 카메라를 기반으로 ICP(Iterative Closet Point) 알고리즘을 이용하여 다른 카메라의 외부 파라미터를 산출할 수 있다.
메쉬 정보 처리부(120)는 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 복수의 카메라 별로 메쉬 정보로 변환할 수 있다. 도 4를 참조하면, 메쉬 정보 처리부(120)에 의해 포인트 클라우드 정보들이 메쉬 정보로 변환된 예가 도시된다.
메쉬 정보 처리부(120)는 카메라 파라미터를 이용하여 메쉬 정보를 복수의 카메라가 촬영하는 대상 공간에 대한 월드 좌표계(World Cordinate)로 변환 처리할 수 있다. 일 측면에서, 메쉬 정보 처리부(120)는 복수의 카메라 각각에 대한 메쉬 정보를 상기 대상 공간에 대한 월드 좌표계로 투영 처리하는 것으로 이해될 수도 있다. 복수의 카메라 각각에 대한 메쉬 정보들은 법선 벡터 정보 및 위치 정보를 포함할 수 있다. 따라서, 각각의 메쉬 정보를 대상 공간에 대한 월드 좌표계로 투영 처리하는 경우 포인트 클라우드 정보를 직접 월드 좌표계로 투영 처리하는 것 보다 처리 시간을 단축시킬 수 있다.
맵 생성부(130)는 변환 처리된 복수의 카메라 각각에 대한 메쉬 정보들을 이용하여 대상 공간에 대한 전체 맵을 생성할 수 있다. 예를 들어, 전체 맵은 대상 공간에 대한 3차원 공간 지도를 의미할 수 있다.
보다 구체적으로, 맵 생성부(130)는 변환 처리된 복수의 카메라 각각에 대한 메쉬 정보들이 중복되는 영역을 고려하여 전체 맵을 생성할 수 있다. 예를 들어, 맵 생성부(130)는 복수의 카메라 각각에 대한 메쉬 정보들이 중복되는 영역을 단일화(또는 정합(예를 들어, 하나의 메쉬 정보로 재생성))하여 전체 맵을 생성할 수 있다. 예를 들어, 맵 생성부(130)는 대상 공간 전체에 대한 위치 정보 및 법선 벡터 정보를 기초로, 각각의 변환 처리된 메쉬 정보들의 법선 벡터 정보 및 위치 정보를 이용하여, 법선 벡터 정보 및 위치 정보가 중복되는 부분의 거리를 산출하고, 산출된 거리가 임계값 이하인 경우 메쉬 정보가 중복되는 영역으로 판단할 수 있다.
증강 처리부(140)는 전체 맵 상의 소정 영역에 가상 객체를 증강시킬 수 있다. 예를 들어, 가상 객체가 증강되는 영역, 가상 객체의 표시 형식, 가상 객체와 관련된 이벤트에 대한 정보 등은 미리 결정될 수 있다.
통신부(150)는 전체 맵 정보, 대상 공간에 대한 월드 좌표계 정보, 가상 객체에 대한 정보 및 가상 객체에 대한 사용자의 입력에 따른 처리 정보 등을 다른 장치(예를 들어, 디스플레이 장치(200))로 전달할 수 있다. 통신부(150)는 다양한 무선 통신 인터페이스를 포함할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 증강현실 서비스 제공 장치(100)는 복수의 카메라로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 메쉬 정보로 변환 처리하고, 변환 처리된 메쉬 정보를 이용하여 대상 공간에 대한 전체 맵 정보를 생성하므로, 포인트 클라우드 정보를 이용하여 직접 전체 맵 정보를 생성하는 경우에 비해 처리 시간을 단축시킬 수 있다. 즉, 복수의 카메라로부터 획득되는 영상에 기초한 다수의 포인트 클라우드 정보들의 처리에는 많은 시간이 소요되므로, 이들을 어느 정도 간략화시킨 메쉬 정보를 이용하여 전체 맵 정보를 생성함으로써 처리 시간을 단축시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치를 보여주는 블록도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 디스플레이 장치(200)는 카메라(210), 파라미터 산출부(220), 메쉬 정보 처리부(230), 위치 추정부(240), 통신부(250), 증강 처리부(260), 및 디스플레이부(270)를 포함할 수 있다.
카메라(210)는 대상 공간을 촬영할 수 있다. 디스플레이 장치(200)가 헤드 마운트 디스플레이 장치로 구현되는 경우 카메라(210)는 사용자의 시점에서 대상 공간을 촬영하도록 배치될 수 있다. 카메라(210)는 컬러 카메라(color camera) 및 깊이 카메라(depth camera)를 포함할 수 있다.
파라미터 산출부(220)는 카메라의 카메라 파라미터를 산출할 수 있다. 파라미터 산출부(220)는 카메라(210)로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 이용하여 카메라 파라미터를 산출할 수 있다. 예를 들어, 포인트 클라우드 정보는 카메라(210)가 촬영하는 대상 공간에 대한 깊이 정보를 포함할 수 있다.
카메라 파라미터는 내부 파라미터 및 외부 파라미터를 포함할 수 있다. 예를 들어, 내부 파라미터는 초점거리, 주점 등의 파라미터를 포함할 수 있고, 외부 파라미터는 회전(rotation), 평행이동(translation) 등의 파라미터를 포함할 수 있다. 예를 들어, 파라미터 산출부(220)는 Tsai의 캘리브레이션 알고리즘을 이용하여 카메라(210)의 내부 파라미터를 산출할 수 있다. 예를 들어, 파라미터 산출부(220)는 ICP(Iterative Closet Point) 알고리즘을 이용하여 카메라(210)의 외부 파라미터를 산출할 수 있다.
메쉬 정보 처리부(230)는 카메라(210)로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 메쉬 정보로 변환할 수 있다. 메쉬 정보 처리부(230)는 카메라 파라미터를 이용하여 메쉬 정보를 대상 공간에 대한 월드 좌표계(World Cordinate)로 변환 처리할 수 있다. 일 측면에서, 메쉬 정보 처리부(230)는 메쉬 정보를 상기 대상 공간에 대한 월드 좌표계로 투영 처리하는 것으로 이해될 수도 있다.
위치 추정부(240)는 변환 처리된 메쉬 정보와 전체 맵 정보를 이용하여 대상 공간에 대한 전체 맵 상에서 카메라(210)의 촬영 영역의 위치를 추정할 수 있다. 상기 전체 맵 정보는 증강현실 서비스 제공 장치(100)로부터 전달받을 수 있다. 예를 들어, 위치 추정부(240)는 두 단계에 따라 카메라(210)의 촬영 영역의 위치를 추정할 수 있다. 위치 추정부(240)는 변환 처리된 메쉬 정보와 카메라(210)의 외부 파라미터를 이용하여 전체 맵 상에서 카메라(210)의 대략적인 위치를 추정하고, 대상 공간에 대한 전체 맵(메쉬 맵)과 디스플레이 장치(200)의 메쉬 정보의 정합을 이용하여 카메라(210)의 촬영 영역의 정확한 위치를 추정할 수 있다.
통신부(250)는 다른 장치(예를 들어, 증강현실 서비스 제공 장치(100))로부터 대상 공간의 월드 좌표계 정보, 전체 맵 정보, 가상 객체에 대한 정보, 및/또는 가상 객체에 대한 사용자의 입력에 따른 처리 정보 등을 수신할 수 있다.
증강 처리부(260)는 카메라(210)의 촬영 영역으로 추정된 위치에 가상 객체를 증강시킬 수 있다. 예를 들어, 증강 처리부(260)는 통신부(250)를 통해 수신되는 가상 객체에 대한 정보를 이용하여 상기 추정된 촬영 영역에 매칭되는 가상 객체를 증강시킬 수 있다.
디스플레이부(270)는 카메라(210)의 촬영 영역과 추정된 촬영 영역에 매칭되어 증강되는 가상 객체를 출력할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치(200)는 카메라(210)로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 메쉬 정보로 변환하고, 변환된 메쉬 정보와 전체 맵 정보를 이용하여 전체 맵 상에서 촬영 영역의 정확한 위치를 추정하며 가상 객체를 증강시키므로, 처리 시간을 단축시킬 수 있고, 디스플레이 장치(200)를 사용하는 사용자에게 개인화된 증강현실 경험을 제공할 수 있다. 즉, 헤드 마운트 디스플레이 장치(200)를 착용한 사용자는 대상 공간에서 자신의 뷰 상에 증강된 가상 객체에 대한 입력을 실행할 수 있고, 입력에 따른 이벤트 발생 효과는 증강현실 서비스 제공 장치(100)를 통해 처리되어, 헤드 마운트 디스플레이 장치(200)로 전달되어 출력되므로 사용자는 보다 빠르고 실감나는 증강현실 경험을 제공받을 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 증강현실 서비스 제공 시스템 2000: 컴퓨팅 시스템
100: 증강현실 서비스 제공 장치 2100: 프로세서
110, 220: 파라미터 산출부 2200: 시스템 버스
120, 230: 메쉬 정보 처리부 2300: 메모리
130: 맵 생성부 2310: ROM
140, 260: 증강 처리부 2320: RAM
150, 250: 통신부 2400: 사용자 인터페이스 입력장치
200: 디스플레이 장치 2500: 사용자 인터페이스 출력장치
210: 카메라 2600: 스토리지
240: 위치 추정부 2700: 네트워크 인터페이스
270: 디스플레이부

Claims (15)

  1. 복수의 카메라 각각의 카메라 파라미터를 산출하는 파라미터 산출부;
    상기 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 상기 복수의 카메라 각각에 대한 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 복수의 카메라가 촬영하는 대상 공간에 대한 월드 좌표계로 변환 처리하는 메쉬 정보 처리부;
    상기 변환 처리된 상기 복수의 카메라 각각에 대한 메쉬 정보들의 중복 영역을 고려하여 상기 대상 공간에 대한 전체 맵을 생성하는 맵 생성부; 및
    상기 전체 맵에 가상 객체를 증강시키는 증강 처리부를 포함하는 증강현실 서비스 제공 장치.
  2. 제 1 항에 있어서,
    상기 파라미터 산출부는 상기 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 이용하여 상기 카메라 파라미터를 산출하는 것을 특징으로 하는 증강현실 서비스 제공 장치.
  3. 제 1 항에 있어서,
    상기 파라미터 산출부는 상기 복수의 카메라 각각의 내부 파라미터 및 외부 파라미터를 산출하는 것을 특징으로 하는 증강현실 서비스 제공 장치.
  4. 제 1 항에 있어서,
    상기 맵 생성부는 상기 변환 처리된 복수의 카메라 각각에 대한 메쉬 정보들의 중복 영역을 단일화하여 상기 대상 공간에 대한 전체 맵을 생성하는 것을 특징으로 하는 증강현실 서비스 제공 장치.
  5. 제 1 항에 있어서,
    상기 전체 맵에 대한 정보, 상기 가상 객체에 대한 정보 및 상기 가상 객체에 대한 사용자의 입력에 따른 처리 정보를 다른 장치로 전송하는 통신부를 더 포함하는 것을 특징으로 하는 증강현실 서비스 제공 장치.
  6. 제 1 항에 있어서,
    상기 복수의 카메라는 RGB-D 카메라인 것을 특징으로 하는 증강현실 서비스 제공 장치.
  7. 대상 공간의 월드 좌표계 정보 및 전체 맵 정보를 수신하는 통신부;
    상기 대상 공간을 촬영하는 카메라;
    상기 카메라의 카메라 파라미터를 산출하는 파라미터 산출부;
    상기 카메라로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 월드 좌표계로 변환 처리하는 메쉬 정보 처리부;
    상기 변환 처리된 메쉬 정보와 상기 전체 맵 정보를 이용하여 상기 전체 맵 상에서 상기 카메라의 촬영 영역의 위치를 추정하는 위치 추정부; 및
    상기 촬영 영역에 가상 객체를 증강시키는 증강 처리부를 포함하는 디스플레이 장치.
  8. 제 7 항에 있어서,
    상기 통신부는 상기 가상 객체에 대한 정보를 더 수신하는 것을 특징으로 하는 디스플레이 장치.
  9. 제 7 항에 있어서,
    상기 증강 처리부는 상기 가상 객체에 대한 정보를 이용하여 상기 추정된 촬영 영역에 매칭되는 가상 객체를 증강시키는 것을 특징으로 하는 디스플레이 장치.
  10. 제 7 항에 있어서,
    상기 파라미터 산출부는 상기 카메라부터 획득되는 영상에 기초한 포인트 클라우드 정보를 이용하여 상기 카메라 파라미터를 산출하는 것을 특징으로 하는 디스플레이 장치.
  11. 제 7 항에 있어서,
    상기 파라미터 산출부는 상기 카메라의 내부 파라미터 및 외부 파라미터를 산출하는 것을 특징으로 하는 디스플레이 장치.
  12. 제 7 항에 있어서,
    상기 카메라의 촬영 영역과 상기 추정된 촬영 영역에 매칭되는 가상 객체를 출력하는 디스플레이부를 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  13. 복수의 카메라로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 상기 복수의 카메라 각각에 대한 메쉬 정보로 변환하고, 상기 복수의 카메라 각각에 대한 메쉬 정보를 이용하여 상기 복수의 카메라가 촬영하는 대상 공간에 대한 전체 맵 정보를 생성하고, 상기 전체 맵 상에 가상 객체를 증강시키는 증강현실 서비스 제공 장치; 및
    상기 증강현실 서비스 제공 장치로부터 전달되는 상기 전체 맵 정보에 기초하여 상기 전체 맵 상에서의 카메라의 촬영 영역을 추정하고, 상기 추정된 촬영 영역에 상기 가상 객체를 증강시키는 디스플레이 장치를 포함하는 증강현실 서비스 제공 시스템.
  14. 제 13 항에 있어서,
    상기 증강현실 서비스 제공 장치는
    복수의 카메라 각각의 카메라 파라미터를 산출하는 파라미터 산출부;
    상기 복수의 카메라 각각으로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 상기 복수의 카메라 각각에 대한 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 복수의 카메라가 촬영하는 대상 공간에 대한 월드 좌표계로 변환 처리하는 메쉬 정보 처리부;
    상기 변환 처리된 상기 복수의 카메라 각각에 대한 메쉬 정보들의 중복 영역을 고려하여 상기 대상 공간에 대한 전체 맵을 생성하는 맵 생성부; 및
    상기 전체 맵에 가상 객체를 증강시키는 증강 처리부를 포함하는 증강현실 서비스 제공 시스템.
  15. 제 13 항에 있어서,
    상기 디스플레이 장치는
    대상 공간의 월드 좌표계 정보 및 전체 맵 정보를 수신하는 통신부;
    상기 대상 공간을 촬영하는 카메라;
    상기 카메라의 카메라 파라미터를 산출하는 파라미터 산출부;
    상기 카메라로부터 획득되는 영상에 기초한 포인트 클라우드 정보를 메쉬 정보로 변환하고, 상기 카메라 파라미터를 이용하여 상기 메쉬 정보를 상기 월드 좌표계로 변환 처리하는 메쉬 정보 처리부;
    상기 변환 처리된 메쉬 정보와 상기 전체 맵 정보를 이용하여 상기 전체 맵 상에서 상기 카메라의 촬영 영역의 위치를 추정하는 위치 추정부; 및
    상기 촬영 영역에 가상 객체를 증강시키는 증강 처리부를 포함하는 증강현실 서비스 제공 시스템.
KR1020160000284A 2016-01-04 2016-01-04 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템 KR20170081351A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160000284A KR20170081351A (ko) 2016-01-04 2016-01-04 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템
US15/001,414 US20170193700A1 (en) 2016-01-04 2016-01-20 Providing apparatus for augmented reality service, display apparatus and providing system for augmented reality service comprising the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160000284A KR20170081351A (ko) 2016-01-04 2016-01-04 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
KR20170081351A true KR20170081351A (ko) 2017-07-12

Family

ID=59235736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160000284A KR20170081351A (ko) 2016-01-04 2016-01-04 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템

Country Status (2)

Country Link
US (1) US20170193700A1 (ko)
KR (1) KR20170081351A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004704A1 (ko) 2017-06-27 2019-01-03 주식회사 엘지화학 리튬 이차전지용 양극 및 그의 제조방법
KR102299902B1 (ko) * 2020-07-17 2021-09-09 (주)스마트큐브 증강현실을 제공하기 위한 장치 및 이를 위한 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018125397A1 (de) * 2018-10-15 2020-04-16 Visualix GmbH Verfahren und Vorrichtung zur Bestimmung einer Umgebungskarte
US11133993B2 (en) 2019-02-28 2021-09-28 At&T Intellectual Property I, L.P. Augmented/mixed reality virtual venue pipeline optimization
CN115244581A (zh) * 2020-03-23 2022-10-25 罗伯特·博世有限公司 三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
CN113031265B (zh) * 2021-02-05 2023-06-30 杭州小派智能科技有限公司 一种分体式的ar显示设备和显示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004704A1 (ko) 2017-06-27 2019-01-03 주식회사 엘지화학 리튬 이차전지용 양극 및 그의 제조방법
KR102299902B1 (ko) * 2020-07-17 2021-09-09 (주)스마트큐브 증강현실을 제공하기 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
US20170193700A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
KR20170081351A (ko) 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
KR102068801B1 (ko) 가상 현실 화상을 조정하기 위한 방법 및 장치
CN106662930B (zh) 用于调整所捕获的图像的视角以供显示的技术
US11301677B2 (en) Deep learning for three dimensional (3D) gaze prediction
US9686539B1 (en) Camera pair calibration using non-standard calibration objects
JP5260705B2 (ja) ３次元拡張現実提供装置
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
CN102959616A (zh) 自然交互的交互真实性增强
IL308285A (en) System and method for augmentation and virtual reality
US20150009212A1 (en) Cloud-based data processing
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
US10154247B2 (en) Virtual reality communication systems and methods thereof
KR20170030325A (ko) 입방체 복원 장치 및 방법
EP3189493B1 (en) Depth map based perspective correction in digital photos
Rauter et al. Augmenting virtual reality with near real world objects
KR20120071281A (ko) 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법
Hwang et al. Monoeye: Monocular fisheye camera-based 3d human pose estimation
KR101842600B1 (ko) 가상현실 시스템 및 이를 이용한 가상현실 제공 방법
CN111742352A (zh) 3d对象建模方法以及相关设备和计算机程序产品
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
JP5759439B2 (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
JP2023093170A (ja) 携帯端末装置、および、そのプログラム