KR101295714B1 - 3차원 증강 현실 제공 장치 및 방법 - Google Patents

3차원 증강 현실 제공 장치 및 방법 Download PDF

Info

Publication number
KR101295714B1
KR101295714B1 KR1020100063053A KR20100063053A KR101295714B1 KR 101295714 B1 KR101295714 B1 KR 101295714B1 KR 1020100063053 A KR1020100063053 A KR 1020100063053A KR 20100063053 A KR20100063053 A KR 20100063053A KR 101295714 B1 KR101295714 B1 KR 101295714B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
reality data
location information
camera
Prior art date
Application number
KR1020100063053A
Other languages
English (en)
Other versions
KR20120002261A (ko
Inventor
박선형
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100063053A priority Critical patent/KR101295714B1/ko
Priority to US13/028,118 priority patent/US20120001901A1/en
Priority to EP20110170889 priority patent/EP2402906A3/en
Priority to JP2011139514A priority patent/JP5260705B2/ja
Priority to CN2011101756807A priority patent/CN102395036A/zh
Publication of KR20120002261A publication Critical patent/KR20120002261A/ko
Application granted granted Critical
Publication of KR101295714B1 publication Critical patent/KR101295714B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 증강 현실 제공 장치가 제공된다. 3차원 제공 장치는 객체를 포함하는 영상을 획득하는 영상획득부 및 객체의 3차원 위치 정보를 산출하고, 객체에 대응되는 증강 현실 데이터를 산출된 3차원 위치 정보에 따라 변환하고, 변환된 증강 현실 데이터와 획득된 영상을 이용하여 3차원 증강 현실 이미지를 생성하는 영상처리부를 포함할 수 있다.

Description

3차원 증강 현실 제공 장치 및 방법{Apparatus and Method for providing 3D Augmented Reality}
증강 현실(augmented reality, AR)의 구현을 위한 증강 현실 데이터 처리 및 영상 처리 기술과 관련된다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징이 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
통상적으로 증강 현실은 한 개의 카메라로부터 입력된 영상에 태그(tag)나 마커(marker)를 이용한 가상 객체를 합성하여 2D 상에서 원근이나 영상의 깊이와는 상관없는 영상을 제공하고 있다. 그러나 최근 3D 디스플레이에 많은 관심이 쏠리게 되면서 이 증강 현실도 3차원적으로 제공하기 위한 방법에 관한 연구가 다수 진행되고 있는 실정이다.
영상 내의 객체에 대응되는 증강 현실 데이터를 3차원 영상으로 변환하여 제공할 수 있는 3차원 증강 현실 제공 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 3차원 증강 현실 제공 장치는, 객체를 포함하는 영상을 획득하는 영상획득부 및 객체의 3차원 위치 정보를 산출하고, 객체에 대응되는 증강 현실 데이터를 산출된 3차원 위치 정보에 따라 변환하고, 변환된 증강 현실 데이터와 획득된 영상을 이용하여 3차원 증강 현실 이미지를 생성하는 영상처리부를 포함한다.
본 발명의 다른 양상에 따른 3차원 증강 현실 제공 장치는, 획득된 영상에 포함된 객체의 3차원 위치 정보를 산출하는 3D 위치 정보 산출부, 객체에 대응되는 증강 현실 데이터를 산출된 3차원 위치 정보에 따라 변환하는 증강 현실 데이터 변환부, 및 변환된 증강 현실 데이터와 획득된 영상을 이용하여 3차원 증강 현실 이미지를 생성하는 증강 현실 이미지 생성부를 포함한다.
본 발명의 일 양상에 따른 3차원 증강 현실 제공 방법은, 객체를 포함하는 영상을 획득하는 단계, 객체의 3차원 위치 정보를 산출하는 단계, 객체에 대응되는 증강 현실 데이터를 산출된 3차원 위치 정보에 따라 변환하는 단계, 변환된 증강 현실 데이터와 획득된 영상을 이용하여 3차원 증강 현실 이미지를 생성하는 단계, 및 생성된 3차원 증강 현실 이미지를 표시하는 단계를 포함한다.
개시된 내용에 따르면, 증강 현실 데이터가 영상과 합성될 때 증강 현실 데이터에 대응되는 객체의 3차원 위치 정보에 따라 증강 현실 데이터가 변환된 후 합성되기 때문에 3차원적으로 증강 현실 이미지가 사용자에게 제공되는 것이 가능하다.
도 1은 본 발명의 일 실시예에 따른 3차원 증강 현실 제공 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상처리부를 도시한다.
도 3은 본 발명의 일 실시예에 따른 3차원 위치 정보 획득 방법을 도시한다.
도 4는 본 발명의 일 실시예에 따른 3차원 증강 현실 이미지의 생성 과정을 도시한다.
도 5는 본 발명의 일 실시예에 따른 3차원 증강 현실 제공 방법을 도시한다.
도 6은 본 발명의 일 실시예에 따라 객체까지의 거리를 획득하는 원리를 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 3차원 증강 현실 제공 장치(100)를 도시한다.
도 1을 참조하면, 본 실시예에 따른 3차원 증강 현실 제공 장치(100)는 3차원 영상을 표시할 수 있는 각종 기기에 적용될 수 있다. 예를 들어, 카메라 모듈 및 디스플레이 모듈이 구비된 스마트 폰에 본 실시예에 따른 3차원 증강 현실 제공 장치(100)가 적용되는 경우, 카메라 모듈을 통해 촬영된 영상이 디스플레이 모듈에 3차원적으로 표시되는 것이 가능하다. 또한 본 실시예에 따른 3차원 증강 현실 제공 장치(100)는 영상을 3차원적으로 표시할 때 그 영상 내의 특정한 객체와 그 객체에 관한 증강 현실 데이터를 함께 표시하는 것이 가능하다. 예를 들어, 3차원 증강 현실 제공 장치(100)에 의해 어떤 나무가 촬영되고 그 나무가 표시될 때, 그 나무의 이름, 주요 서식지, 생태학적 특징 등을 나타내는 증강 현실 데이터가 그 나무의 이미지와 함께 3차원적으로 표시되는 것이 가능하다. 3차원 영상 표시 방법에 있어서는 안경 방식과 무안경 방식이 모두 사용될 수 있고, 무안경 방식에 있어서도 페럴랙스 배리어 방식 및 렌티큘러 스크린 방식이 모두 사용될 수 있다.
본 실시예에 따라, 3차원 증강 현실 제공 장치(100)는 영상획득부(101), 영상처리부(102), 및 영상표시부(103)를 포함하며, 추가적으로 센서부(104), 및 증강 현실 데이터 저장부(105)를 더 포함할 수도 있다.
영상획득부(101)는 적어도 1 이상의 객체가 포함된 영상을 획득하는 카메라 또는 이미지 센서가 될 수 있다. 예컨대, 영상획득부(101)는 3차원 영상을 생성하기 위한 좌-영상을 촬영하는 제 1 카메라와 3차원 영상을 생성하기 위한 우-영상을 촬영하는 제 2 카메라로 구성될 수 있다. 제 1 카메라에 의해 얻어진 좌-영상과 제 2 카메라에 의해 얻어진 우-영상을 영상처리부(102)가 합성해서 영상표시부(103)에 표시하면 사용자는 입체적으로 영상을 감상할 수 있다.
영상처리부(102)는 영상획득부(101)로부터 수신된 영상을 처리하여 영상표시부(103)에 표시될 3차원 증강 현실 이미지를 생성하는 영상 처리 프로세서(ISP) 또는 이 영상 처리 프로세서에서 실행되는 소프트웨어 모듈이 될 수 있다.
본 실시예에 따라, 영상처리부(102)는 영상에서 객체를 검출한다. 객체는 영상 내에 존재하는 각종 사람, 사물, 또는 마커(marker)가 될 수 있다. 영상처리부(102)는 다양한 객체 검출 알고리즘에 기반하여 객체를 검출하는 것이 가능하다. 또한 선택적으로, 센서부(104)에 의해 측정된 현재 위치, 현재 시각, 영상의 방위각 등을 활용하여 영상에서 객체를 검출하는 것이 가능하다. 센서부(104)는 GPS 센서, 가속도 센서 및 지자기 센서 중 적어도 하나를 포함할 수 있다.
또한 영상처리부(102)는 영상에 포함된 객체의 3차원 위치 정보를 산출한다. 3차원 위치 정보는 3차원 증강 현실 제공 장치(100)에서부터 객체까지의 거리에 대한 정보를 포함할 수 있다. 따라서 영상 내에 두 개의 객체가 있고 각 객체가 서로 다른 위치에 존재하고 있는 경우, 각 객체는 자신의 고유한 3차원 위치 정보를 가질 수 있다. 3차원 위치 정보, 예컨대, 객체까지의 거리는 다양한 방법으로 구할 수가 있다.
일 예로써, 영상획득부(101)가 3차원 영상 획득을 위해 일정한 간격으로 이격 설치된 제 1 카메라 및 제 2 카메라로 구성된 경우, 영상처리부(102)는 제 1 카메라와 제 2 카메라 간의 이격 거리와 그 객체를 촬영했을 때의 제 1 카메라와 제 2 카메라의 각도를 획득하고 획득된 이격 거리 및 각도에 기반한 삼각법을 적용해서 객체까지의 거리를 계산하는 것이 가능하다.
다른 예로써, 도 6은 본 실시예에 따라 객체까지의 거리를 획득하기 위한 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 사람의 눈과 같이 왼쪽 카메라와 오른쪽 카메라가 결합된 스테레오 카메라를 이용하여 객체까지의 거리가 계산됨을 알 수 있다. 예를 들어, C점에 왼쪽 카메라가 위치하고 C`점에 오른쪽 카메라가 위치하는 것이 가능하다. 즉, 참조 번호 601은 왼쪽 카메라로부터 얻어진 제 1 영상이 될 수 있고, 참조 번호 602는 오른쪽 카메라로부터 얻어진 제 2 영상이 될 수 있다. 이 때, 제 1 영상(601) 또는 제 2 영상(602)에서 특정한 지점(M)까지의 거리는 다음과 같은 식에 의해 구해질 수 있다.
z = (B/d)*F
위 식에서, z는 M점까지의 거리를 나타낸다. 그리고 B는 C점과 C`점 간의 거리를, d는 각 영상에서의 M점의 위치 좌표 차이(즉, X1과 X2의 차이)를, F는 카메라 렌즈의 초점 거리를 나타낸다. B 값은 상수(constant)로 주어지거나 측정이 가능한 값이고, d 값은 SSD(sum of squared difference) 기법에 의해 구할 수 있고, F는 카메라 렌즈에 따라 결정되는 값이므로, 두 개의 영상으로부터 영상의 각 객체까지의 거리 z 값을 구하는 것이 가능하다.
객체까지의 거리를 계산하는 또 다른 예로써, 영상획득부(101)가 3차원 영상 획득을 위해 일정한 간격으로 이격 설치된 제 1 카메라 및 제 2 카메라로 구성되고 각 카메라에 자동 초점 맞춤 기능(auto-focusing)이 구비되어 있는 경우, 영상처리부(102)는 제 1 카메라 및 제 2 카메라가 자동으로 초점을 맞추었을 때의 그 거리 및 제 1 카메라와 제 2 카메라 간의 이격 거리를 이용해서 객체까지의 거리를 계산하는 것이 가능하다.
다시 도 1에서, 또한 영상처리부(102)는 객체에 대응되는 증강 현실 데이터를 획득한다. 증강 현실 데이터란 객체와 관련된 각종 정보가 될 수 있다. 예를 들어, 객체가 어떤 나무인 경우 그 나무의 이름, 주요 서식지, 생태학적 특징 등을 소정의 태그 이미지(tag image)로 나타낸 것이 증강 현실 데이터가 될 수 있다. 영상처리부(102)는 증강 현실 데이터 저장부(105)에 저장된 증강 현실 데이터 중에서 객체에 대응되는 증강 현실 데이터를 추출하는 것이 가능하다. 증강 현실 데이터 저장부(105)는 3차원 증강 현실 제공 장치(100) 내부에 구성될 수도 있고, 외부에 형성된 후 네트워크를 통해 3차원 증강 현실 제공 장치(100)와 연결될 수도 있다.
또한 영상처리부(102)는 객체와 그 객체의 증강 현실 데이터가 함께 표시되도록 획득된 영상과 획득된 증강 현실 데이터를 합성해서 영상표시부(103)에 표시될 3차원 증강 현실 이미지를 생성한다. 그런데 증강 현실 데이터 저장부(105)에 저장된 제 1 객체의 증강 현실 데이터와 제 2 객체의 증강 현실 데이터는 거리 정보 또는 공간 정보를 가지고 있지 아니하므로, 만약 영상처리부(102)가 증강 현실 데이터를 그대로 합성하는 경우, 제 1 객체와 제 2 객체가 입체적으로 표시되더라도(즉, 제 1 객체가 제 2 객체보다 더 가깝게 표시되더라도) 제 1 객체의 증강 현실 데이터와 제 2 객체의 증강 현실 데이터는 3차원적으로 표시가 되지 아니할 수 있다. 따라서 영상처리부(102)는 증강 현실 데이터 역시 대응되는 객체와 함께 3차원적으로 표시되도록 증강 현실 데이터를 그 객체의 3차원 위치 정보에 따라 변환하고, 변환된 증강 현실 데이터와 획득된 영상을 합성해서 3차원 증강 현실 이미지를 생성하는 것이 가능하다.
이와 같이 본 실시예에 따른 3차원 증강 현실 제공 장치(100)는 증강 현실 데이터를 영상에 합성할 때 대응되는 객체의 3차원 위치 정보에 따라 증강 현실 데이터를 변환한 후 합성하기 때문에 3차원적으로 증강 현실 이미지를 사용자에게 제공하는 것이 가능하다.
도 2는 본 발명의 일 실시예에 따른 영상처리부(102)를 도시한다.
도 1 및 도 2를 참조하면, 본 실시예에 따른 영상처리부(102)는 3D 위치 정보 산출부(201), 증강 현실 데이터 변환부(202), 및 증강 현실 이미지 생성부(203)를 포함하며, 추가적으로 객체 검출부(204)를 더 포함할 수도 있다.
객체 검출부(204)는 획득된 영상에서 사용자의 관심 대상(또는 사용자가 관심 있어 할 것이라고 예측되는 대상)을 검출한다. 객체 검출부(204)가 영상에서 객체를 검출하는 방법은 다양한 방법이 이용될 수 있다. 예를 들어, 객체 검출부(204)는 영상에서 별도의 센싱 정보(예컨대, 현재 시각, 현재 위치, 촬영 방향 등)의 도움을 받아 영상에서 특정 영역을 지정하고 지정된 특정 영역에서 객체를 검출할 수 있다. 도 2에서는, 일 실시예에 따라, 얻어진 영상에 제 1 객체와 제 1 객체보다 멀리 떨어진 제 2 객체가 존재한다고 가정한다.
3D 위치 정보 산출부(201)는 검출된 객체의 3차원 위치 정보를 산출한다. 일 예로써, 3D 위치 정보 산출부(201)는 객체에 관한 좌-영상을 획득하는 제 1 카메라와 객체에 관한 우-영상을 획득하는 제 2 카메라 간의 이격 거리와 제 1 카메라 및 제 2 카메라의 방향을 이용하여 객체까지의 거리를 구하는 것이 가능하다. 다른 예로써, 3D 위치 정보 산출부(201)는 제 1 카메라와 제 2 카메라의 이격 거리와 각 카메라의 자동 초점 조절 기능을 토대로 객체까지의 거리를 구하는 것이 가능하다. 예를 들어, 3D 위치 정보 산출부(201)는 제 1 객체와 제 2 객체까지의 거리를 획득하여 제 2 객체가 제 1 객체에 비해 상대적으로 멀리 있음을 인식하는 것이 가능하다.
증강 현실 데이터 변환부(202)는 제 1 객체에 대응되는 제 1 객체의 증강 현실 데이터와 제 2 객체에 대응되는 제 2 객체의 증강 현실 데이터를 획득한다. 예를 들어, 증강 현실 데이터 변환부(202)는 증강 현실 데이터 저장부(105)에서 관련 정보를 추출하는 것이 가능하다. 또한 증강 현실 데이터 변환부(202)는 제 1 객체의 증강 현실 데이터와 제 2 객체의 증강 현실 데이터를 각 객체의 3차원 위치 정보에 따라 변환한다. 따라서 최종적인 3차원 영상이 생성될 때 증강 현실 데이터 역시 3차원적으로 표시되도록 하는 것이 가능하다. 예컨대, 제 1 객체가 제 2 객체보다 상대적으로 가깝게 위치하고 있으므로, 증강 현실 데이터 변환부(202)는 제 1 객체의 증강 현실 데이터가 제 2 객체의 증강 현실 데이터보다 상대적으로 앞쪽에 위치하도록 이미지를 변환하는 것이 가능하다. 제 1 객체에 대해서만 살펴보면, 3차원 증강 현실 이미지 생성을 위해 제 1 카메라의 좌영상과 합성될 제 1 객체의 제 1 증강 현실 데이터와 제 2 카메라의 우영상과 합성될 제 1 객체의 제 2 증강 현실 데이터가 각각 생성될 수 있다.
증강 현실 이미지 생성부(203)는 변환된 증강 현실 데이터와 얻어진 영상을 합성하여 3차원 증강 현실 이미지를 생성한다. 예를 들어, 증강 현실 이미지 생성부(203)는 제 1 카메라의 좌영상과 제 1 객체의 제 1 증강 현실 데이터를 합성하고, 제 2 카메라의 우영상과 제 1 객체의 제 2 증강 현실 데이터를 각각 합성한 후, 합성된 좌영상과 우영상을 다시 합성하여 최종적인 3차원 증강 현실 이미지를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 3차원 위치 정보 획득 방법을 도시한다.
도 3을 참조하면, 본 실시예에 따른 영상획득부(101)는 제 1 카메라(301)와 제 2 카메라(302)를 포함한다. 그리고 제 1 카메라(301)와 제 2 카메라(302) 간의 거리는 고정된 d로 주어진다. 영상획득부(101)는 3차원 영상을 생성하기 위해서 제 1 카메라(301)로 어떤 객체(303)(304)의 좌안영상을 촬영하고 제 2 카메라(302)로 동일한 객체(303)(304)의 우안영상을 촬영한다. 본 실시예에서는, 제 1 객체(303) 및 이러한 제 1 객체(303)와 다른 위치에 있는 제 2 객체(304)가 포함된 공간을 촬영한 경우에 있어서, 제 1 객체(303)와 제 2 객체(304)의 3차원 위치 정보를 획득하는 방법을 설명한다.
일 예로써, 제 1 카메라(301)와 제 2 카메라(302)는 동일한 대상물, 예컨대, 제 1 객체(303)를 동시에 촬영해야 하므로 각각의 카메라(301)(302)는 그 촬영 방향이 조절될 수 있게 형성된다. 즉 제 1 객체(303)를 촬영했을 때의 제 1 카메라(301)의 촬영 각도(θ1)와 제 2 카메라(302)의 촬영 각도(θ2)를 구할 수 있다. 제 1 카메라(301)와 제 2 카메라(302) 간의 거리 d는 고정된 값을 가지므로, θ1, θ2, 및 d를 통해 제 1 객체(303)까지의 거리 Lm을 구할 수 있다.
다른 예로써, 제 1 카메라(301)와 제 2 카메라(302)가 자동 초점 조절 기능을 갖는 경우, 자동 초점 조절 기능을 통해 동일한 대상물, 예컨대, 제 1 객체(303)를 촬영했을 때의 제 1 카메라(301)의 촬영 거리(f1)과 제 2 카메라(302)의 촬영 거리(f2)를 구할 수도 있다. 마찬가지로 제 1 카메라(301)와 제 2 카메라(302) 간의 거리 d가 고정된 값을 가지므로 f1, f2, 및 d를 통해 제 1 객체(303)까지의 거리 Lm을 구할 수 있다.
이러한 방법으로 제 1 객체(303)까지의 거리 Lm이 구해지면 동일한 방법으로 제 2 객체(304)까지의 거리 Ln을 구할 수 있다. 또한 선택적으로 제 2 객체(304)에 대해서는 절대 거리 Ln을 구하지 않고 제 1 객체(303)와의 상대적 거리 관계(즉, 제 1 객체(303)에 비해 가까운지 또는 먼지)만을 도출할 수도 있다.
도 3에서는, 두 개의 객체(303)(304)에 대해서만 설명하였으나 이것은 단순히 설명의 편의를 위한 것으로, 그 밖에도 다수의 객체가 존재하는 경우에도 마찬가지 방식이 적용될 수 있음은 당업자에게 자명하다. 또한, 얻어진 영상에서 어떠한 객체를 추출하고 관심 대상으로 삼을지는 센서부(104)의 센싱 정보를 활용할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 3차원 증강 현실 이미지의 생성 과정을 도시한다.
도 1 내지 도 4를 참조하면, 3차원 영상을 생성하기 위해서는 좌안영상(401)과 우안영상(402)이 필요하다. 예를 들어, 좌안영상(401)은 영상획득부(101)의 제 1 카메라(301)가 촬영하고 우안영상(402)은 영상획득부(101)의 제 2 카메라(302)가 촬영하는 것이 가능하다.
좌안영상(401) 및 우안영상(402)에는 제 1 객체(403)와 제 2 객체(404)가 존재한다. 예를 들어, 제 1 객체(403)는 상대적으로 가깝게 위치한 나무가 될 수 있고 제 2 객체(404)는 상대적으로 멀리 위치한 건물이 될 수 있다. 좌안영상(401)과 우안영상(402)이 획득되면, 영상처리부(102)는 제 1 객체(403)와 제 2 객체(404)의 3차원 위치 정보(예컨대, 거리 또는 위치 좌표)를 도 3과 같이 획득할 수 있다. 이때 제 1 객체(403)와 제 2 객체(404) 모두의 절대 거리를 계산할 수도 있고 어떤 하나의 물체(403)를 기준 물체로 정해놓고 나머지 물체(404)는 그 기준 물체와의 상대적 거리만을 계산하는 것도 가능하다.
제 1 객체(403)와 제 2 객체(404)의 3차원 위치 정보가 얻어지면, 영상처리부(102)는 증강 현실 데이터 저장부(105)에서 관련 정보를 추출한다. 예를 들어, 제 1 객체(403)와 관련된 증강 현실 데이터(405)와 제 2 객체(404)와 관련된 증강 현실 데이터(406)가 추출될 수 있다.
증강 현실 데이터(405)(406)가 추출되면, 영상처리부(102)는 각각의 증강 현실 데이터(405)(406)를 대응되는 객체(403)(404)의 3차원 위치 정보에 따라 변환한다. 예를 들어, 제 1 객체(403)가 제 2 객체(404) 보다 상대적으로 앞쪽에 위치하므로, 제 1 객체(403)의 증강 현실 데이터(405)가 제 2 객체(404)의 증강 현실 데이터(406) 보다 앞쪽에 위치하도록 증강 현실 데이터(405)(406)를 변환하는 것이 가능하다. 제 1 객체(403)의 증강 현실 데이터(405)를 살펴보면, 좌안영상(401)에 합성되는 제 1 증강 현실 데이터(405-1)와 우안영상(402)에 합성되는 제 2 증강 현실 데이터(405-2)가 각각 생성되는 것을 알 수 있다.
증강 현실 데이터(405)(406)가 변환되면, 영상처리부(102)는 변환된 증강 현실 데이터(405-1)(405-2)(406-1)(406-2)를 각 영상(401)(402)에 합성하고, 합성된 영상(407)(408)을 다시 합성해서 최종적인 3차원 영상(409)을 생성한다.
생성된 3차원 영상(409)을 살펴보면 제 1 객체(403)가 제 2 객체(404) 보다 앞쪽에 표시되고 제 1 객체(403)의 증강 현실 데이터(405) 역시 제 2 객체(404)의 증강 현실 데이터(406) 보다 앞쪽에 표시됨을 알 수 있다. 3차원 영상(409)에 있어서, 객체(403)(404) 및 증강 현실 데이터(405)(406)는 모두 좌안영상(401) 및 우안영상(402)을 기반으로 생성되었기 때문에 여기서 언급되는 앞 또는 뒤란 2차원적으로 표현되는 원근기법을 말하는 것이 아니라 3차원 영상에서의 앞 또는 뒤를 의미한다.
도 5는 본 발명의 일 실시예에 따른 3차원 증강 현실 제공 방법을 도시한다. 이 방법은 도 1의 3차원 증강 현실 제공 장치(100)에 의해 실행될 수 있다. 도 1 및 도 5를 참조하여 본 실시예에 따른 방법을 설명하면 다음과 같다.
먼저 객체를 포함하는 영상을 획득한다(501). 예를 들어, 영상획득부(101)가 3차원 영상을 위한 좌영상 및 우영상을 각각 촬영하는 것이 가능하다.
영상이 획득되면, 영상에 포함된 객체의 3차원 위치 정보를 산출한다(502). 예를 들어, 영상처리부(102)가 도 3과 같이 각 객체까지의 거리를 측정하는 것이 가능하다.
3차원 위치 정보가 산출되면, 객체에 대응되는 증강 현실 데이터를 추출하고 추출된 증강 현실 데이터를 산출된 3차원 위치 정보에 따라 변환한다(503). 예를 들어, 영상처리부(102)가 3차원 위치 정보에 기초하여 좌영상과 합성될 제 1 증강 현실 데이터와 우영상과 합성될 제 2 증강 현실 데이터를 각각 생성하는 것이 가능하다.
증강 현실 데이터가 변환되면, 변환된 증강 현실 데이터와 획득된 영상을 이용하여 3차원 증강 현실 이미지를 생성한다(504). 예를 들어, 영상처리부(102)가 제 1 증강 현실 데이터와 좌영상을 합성하고, 제 2 증강 현실 데이터와 우영상을 합성하고, 합성된 좌영상과 우영상을 이용하여 3차원 증강 현실 이미지를 생성하는 것이 가능하다.
3차원 증강 현실 이미지가 생성되면, 생성된 3차원 증강 현실 이미지를 표시한다(505). 예를 들어, 생성된 증강 현실 이미지가 제 1 객체에 관한 제 1 객체 이미지 및 제 1 객체보다 멀리 위치하는 제 2 객체에 관한 제 2 객체 이미지를 포함하는 경우, 제 1 객체에 대응되는 증강 현실 데이터가 제 2 객체에 대응되는 증강 현실 데이터보다 상대적으로 가깝게 느껴지도록 영상표시부(103)가 3차원 증강 현실 이미지를 표시하는 것이 가능하다.
이상에서 살펴본 것과 같이, 개시된 장치 및 방법에 의하면, 증강 현실 데이터가 객체의 3차원 위치 정보에 따라 제공되기 때문에 더욱 현실감 있는 3차원 증강 현실을 구현할 수 있게 된다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

Claims (21)

  1. 객체를 포함하는 영상을 획득하는 영상획득부;
    상기 객체의 3차원 위치 정보를 산출하고, 상기 산출된 3차원 위치 정보에 따라서 상기 객체에 대응되는 증강 현실 데이터를 변환하며, 또한 상기 변환된 증강 현실 데이터와 상기 획득된 영상을 이용하여 3차원 증강 현실 이미지를 생성하는 영상처리부; 및
    상기 생성된 증강 현실 이미지를 3차원적으로 표시하는 영상표시부; 를 포함하고,
    상기 영상획득부는 상기 객체에 관한 제 1 영상을 획득하는 제 1 카메라; 및 상기 객체에 관한 상기 제 1 영상과 상이한 제 2 영상을 획득하는 제 2 카메라; 를 포함하며,
    상기 영상처리부는 상기 3차원 위치 정보에 기초하여 상기 제 1 영상과 합성될 제 1 증강 현실 데이터와 상기 제 2 영상과 합성될 제 2 증강 현실 데이터를 각각 생성하고, 생성된 제 1 증강 현실 데이터와 상기 제 1 영상을 합성하고 생성된 제 2 증강 현실 데이터와 상기 제 2 영상을 합성한 후, 상기 3차원 증강 현실 이미지를 생성하되, 상기 생성된 증강 현실 이미지가 제 1 객체에 관한 제 1 객체 이미지 및 상기 제 1 객체보다 멀리 위치하는 제 2 객체에 관한 제 2 객체 이미지를 포함하는 경우, 상기 제 1 객체에 대응되는 증강 현실 데이터가 상기 제 2 객체에 대응되는 증강 현실 데이터보다 상대적으로 가깝게 느껴지도록 상기 3차원 증강 현실 이미지를 생성하는 3차원 증강 현실 제공 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 영상처리부는
    상기 제 1 영상 및 상기 제 2 영상을 이용하여 상기 객체까지의 거리 정보를 획득하고, 획득된 거리 정보를 이용하여 상기 3차원 위치 정보를 산출하는 3차원 증강 현실 제공 장치.
  4. 제 1 항에 있어서, 상기 영상처리부는
    상기 제 1 카메라 또는 상기 제 2 카메라의 자동 초점 조절 기능을 이용하여 상기 객체까지의 거리 정보를 획득하고, 획득된 거리 정보를 이용하여 상기 3차원 위치 정보를 산출하는 3차원 증강 현실 제공 장치.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    GPS 센서, 가속도 센서 및 지자기 센서 중 적어도 하나를 포함하는 센서부; 를 더 포함하는 3차원 증강 현실 제공 장치.
  8. 제 7 항에 있어서, 상기 영상처리부는
    상기 센서부의 센싱 정보를 이용하여 상기 획득된 영상 중에서 관심 영역을 지정하고 상기 관심 영역에서 상기 객체를 검출하는 3차원 증강 현실 제공 장치.
  9. 삭제
  10. 획득된 영상에 포함된 객체의 3차원 위치 정보를 산출하는 3D 위치 정보 산출부;
    상기 산출된 3차원 위치 정보에 따라서 상기 객체에 대응되는 증강 현실 데이터를 변환하는 증강 현실 데이터 변환부;
    상기 변환된 증강 현실 데이터와 상기 획득된 영상을 이용하여 3차원 증강 현실 이미지를 생성하는 증강 현실 이미지 생성부; 및
    상기 생성된 3차원 증강 현실 이미지를 3차원적으로 표시하는 영상표시부; 를 포함하고,
    상기 획득된 영상은 상기 객체에 관한 제 1 영상 및 상기 객체에 관한 상기 제 1 영상과 상이한 제 2 영상을 포함하며,
    상기 증강 현실 데이터 변환부는 상기 3차원 위치 정보에 기초하여 상기 제 1 영상과 합성될 제 1 증강 현실 데이터와 상기 제 2 영상과 합성될 제 2 증강 현실 데이터를 각각 생성하고,
    상기 증강 현실 이미지 생성부는 상기 생성된 제 1 증강 현실 데이터와 상기 제 1 영상을 합성하고 또한 상기 생성된 제 2 증강 현실 데이터와 상기 제 2 영상을 합성한 후, 상기 3차원 증강 현실 이미지를 생성하되, 상기 생성된 증강 현실 이미지가 제 1 객체에 관한 제 1 객체 이미지 및 상기 제 1 객체보다 멀리 위치하는 제 2 객체에 관한 제 2 객체 이미지를 포함하는 경우, 상기 제 1 객체에 대응되는 증강 현실 데이터가 상기 제 2 객체에 대응되는 증강 현실 데이터보다 상대적으로 가깝게 느껴지도록 상기 3차원 증강 현실 이미지를 생성하는 3차원 증강 현실 제공 장치.
  11. 제 10 항에 있어서, 상기 3D 위치 정보 산출부는
    상기 제 1 영상 및 상기 제 2 영상을 이용하여 상기 객체까지의 거리 정보를 획득하고, 획득된 거리 정보를 이용하여 상기 3차원 위치 정보를 산출하는 3차원 증강 현실 제공 장치.
  12. 제 10 항에 있어서, 상기 3D 위치 정보 산출부는
    상기 영상을 획득하기 위한 카메라의 자동 초점 조절 기능을 이용하여 상기 객체까지의 거리 정보를 획득하고, 획득된 거리 정보를 이용하여 상기 3차원 위치 정보를 산출하는 3차원 증강 현실 제공 장치.
  13. 삭제
  14. 삭제
  15. 객체를 포함하는 영상을 획득하는 단계;
    상기 객체의 3차원 위치 정보를 산출하는 단계;
    상기 객체에 대응되는 증강 현실 데이터를 상기 산출된 3차원 위치 정보에 따라 변환하는 단계;
    상기 변환된 증강 현실 데이터와 상기 획득된 영상을 이용하여 3차원 증강 현실 이미지를 생성하는 단계; 및
    상기 생성된 3차원 증강 현실 이미지를 표시하는 단계; 를 포함하고,
    상기 증강 현실 이미지를 표시하는 단계는
    상기 생성된 증강 현실 이미지가 제 1 객체에 관한 제 1 객체 이미지 및 상기 제 1 객체보다 멀리 위치하는 제 2 객체에 관한 제 2 객체 이미지를 포함하는 경우, 상기 제 1 객체에 대응되는 증강 현실 데이터가 상기 제 2 객체에 대응되는 증강 현실 데이터보다 상대적으로 가깝게 느껴지도록 상기 3차원 증강 현실 이미지를 표시하는 3차원 증강 현실 제공 방법.
  16. 제 15 항에 있어서, 상기 영상을 획득하는 단계는
    상기 3차원 증강 현실 이미지를 위한 좌영상 및 우영상을 각각 획득하는 과정을 포함하는 3차원 증강 현실 제공 방법.
  17. 제 16 항에 있어서, 상기 3차원 위치 정보를 산출하는 단계는
    상기 좌영상 및 우영상을 이용하여 상기 객체까지의 거리 정보를 획득하고, 획득된 거리 정보를 이용하여 상기 3차원 위치 정보를 산출하는 과정을 포함하는 3차원 증강 현실 제공 방법.
  18. 제 16 항에 있어서, 상기 3차원 위치 정보를 산출하는 단계는
    상기 좌영상 및 우영상을 획득하기 위한 카메라의 자동 초점 조절 기능을 이용하여 상기 객체까지의 거리 정보를 획득하고, 획득된 거리 정보를 이용하여 상기 3차원 위치 정보를 산출하는 과정을 포함하는 3차원 증강 현실 제공 방법.
  19. 제 16 항에 있어서, 상기 증강 현실 데이터를 변환하는 단계는
    상기 3차원 위치 정보에 기초하여 상기 좌영상과 합성될 제 1 증강 현실 데이터와 상기 우영상과 합성될 제 2 증강 현실 데이터를 각각 생성하는 과정을 포함하는 3차원 증강 현실 제공 방법.
  20. 제 19 항에 있어서, 상기 증강 현실 이미지를 생성하는 단계는
    상기 제 1 증강 현실 데이터와 상기 좌영상을 합성하고, 상기 제 2 증강 현실 데이터와 상기 우영상을 합성하고, 합성된 좌영상과 우영상을 이용하여 상기 3차원 증강 현실 이미지를 생성하는 3차원 증강 현실 제공 방법.
  21. 삭제
KR1020100063053A 2010-06-30 2010-06-30 3차원 증강 현실 제공 장치 및 방법 KR101295714B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020100063053A KR101295714B1 (ko) 2010-06-30 2010-06-30 3차원 증강 현실 제공 장치 및 방법
US13/028,118 US20120001901A1 (en) 2010-06-30 2011-02-15 Apparatus and method for providing 3d augmented reality
EP20110170889 EP2402906A3 (en) 2010-06-30 2011-06-22 Apparatus and method for providing 3D augmented reality
JP2011139514A JP5260705B2 (ja) 2010-06-30 2011-06-23 ３次元拡張現実提供装置
CN2011101756807A CN102395036A (zh) 2010-06-30 2011-06-24 用于提供3d增强现实图像的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100063053A KR101295714B1 (ko) 2010-06-30 2010-06-30 3차원 증강 현실 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120002261A KR20120002261A (ko) 2012-01-05
KR101295714B1 true KR101295714B1 (ko) 2013-08-16

Family

ID=44799575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100063053A KR101295714B1 (ko) 2010-06-30 2010-06-30 3차원 증강 현실 제공 장치 및 방법

Country Status (5)

Country Link
US (1) US20120001901A1 (ko)
EP (1) EP2402906A3 (ko)
JP (1) JP5260705B2 (ko)
KR (1) KR101295714B1 (ko)
CN (1) CN102395036A (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9093012B2 (en) 2012-02-29 2015-07-28 Lenovo (Beijing) Co., Ltd. Operation mode switching method and electronic device
CN103472909B (zh) * 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US9501831B2 (en) * 2012-10-02 2016-11-22 Google Inc. Identification of relative distance of objects in images
TWI571827B (zh) * 2012-11-13 2017-02-21 財團法人資訊工業策進會 決定３ｄ物件影像在３ｄ環境影像中深度的電子裝置及其方法
CN103873840B (zh) * 2012-12-12 2018-08-31 联想(北京)有限公司 显示方法及显示设备
US9342929B2 (en) * 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
CN104062758B (zh) * 2013-03-19 2017-02-08 联想(北京)有限公司 图像显示的方法和显示设备
KR102197964B1 (ko) * 2014-01-29 2021-01-04 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
CN103914869B (zh) * 2014-02-26 2017-02-22 浙江工业大学 支持骨架个性化编辑的轻量化三维树木模型构建方法
US20170046879A1 (en) * 2014-04-30 2017-02-16 Robert Paul Severn Augmented reality without a physical trigger
KR101646503B1 (ko) * 2014-12-17 2016-08-09 경북대학교 산학협력단 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
CN105872526B (zh) * 2015-01-21 2017-10-31 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
KR101649163B1 (ko) * 2015-06-29 2016-08-18 한국원자력연구원 핵연료교환기 비상구동 이동로봇 영상 가이드 시스템
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN105812680A (zh) * 2016-03-31 2016-07-27 联想(北京)有限公司 图像处理方法及电子设备
KR101837474B1 (ko) 2016-09-23 2018-04-19 주식회사 코젠 터널 자동제어시스템에 적용되는 3d 영상시스템
US11488369B2 (en) 2017-02-07 2022-11-01 Teledyne Flir Detection, Inc. Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems and methods for responding to threats
WO2018148316A1 (en) * 2017-02-07 2018-08-16 Flir Detection, Inc. Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems and methods for responding to threats
CN116456097A (zh) 2017-04-28 2023-07-18 苹果公司 视频流水线
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
US10861142B2 (en) 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
US11009949B1 (en) 2017-08-08 2021-05-18 Apple Inc. Segmented force sensors for wearable devices
KR102031870B1 (ko) * 2017-08-30 2019-10-16 주식회사 카이비전 가상 이미지 영상동기화를 위한 증강현실글래스
CN109688399A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 一种基于增强现实的立体图像显示方法和系统
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
US11527044B2 (en) * 2018-06-27 2022-12-13 Samsung Electronics Co., Ltd. System and method for augmented reality
KR102103991B1 (ko) * 2018-08-23 2020-04-23 주식회사 버넥트 혼합현실 기반의 접이식 표시 시스템
US10733800B2 (en) * 2018-09-17 2020-08-04 Facebook Technologies, Llc Reconstruction of essential visual cues in mixed reality applications
KR101985711B1 (ko) * 2019-03-13 2019-06-04 (주)정도기술 증강현실 ｃｃｔｖ 시스템 및 그 제어방법
KR102288528B1 (ko) * 2019-11-14 2021-08-10 한국광기술원 증강현실 영상 생성장치 및 방법
KR102338984B1 (ko) * 2020-04-20 2021-12-14 주식회사 스쿱 인공지능을 활용한 3d 모형 증강현실 서비스 제공 시스템 및 그 방법
KR102539838B1 (ko) * 2021-10-18 2023-06-08 서울과학기술대학교 산학협력단 증강 현실 기반의 건설 현장 안전 점검 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070076304A (ko) * 2006-01-18 2007-07-24 삼성전자주식회사 증강 현실 장치 및 방법
KR100922544B1 (ko) 2007-12-17 2009-10-21 한국전자통신연구원 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
WO2009020219A1 (ja) 2007-08-09 2009-02-12 Lotte Co., Ltd. リキッドセンターガム組成物
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070076304A (ko) * 2006-01-18 2007-07-24 삼성전자주식회사 증강 현실 장치 및 방법
KR100922544B1 (ko) 2007-12-17 2009-10-21 한국전자통신연구원 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템 및 그 방법

Also Published As

Publication number Publication date
JP5260705B2 (ja) 2013-08-14
EP2402906A3 (en) 2015-04-22
KR20120002261A (ko) 2012-01-05
CN102395036A (zh) 2012-03-28
EP2402906A2 (en) 2012-01-04
US20120001901A1 (en) 2012-01-05
JP2012014690A (ja) 2012-01-19

Similar Documents

Publication Publication Date Title
KR101295714B1 (ko) 3차원 증강 현실 제공 장치 및 방법
TWI574223B (zh) 運用擴增實境技術之導航系統
KR20160140452A (ko) 이미지 기반의 라이트 필드를 사용자의 디바이스 상에 표시하기 위한 방법 및 장치, 및 대응하는 컴퓨터 프로그램 제품
KR101665399B1 (ko) 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법
EP2879098A1 (en) Three-dimensional environment sharing system, and three-dimensional environment sharing method
JPWO2016017254A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR101506610B1 (ko) 증강현실 제공 장치 및 그 방법
IL308285A (en) System and method for augmentation and virtual reality
JP6589636B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
TW201335888A (zh) Ａｒ影像處理裝置及方法
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
KR20100011874A (ko) 3차원 공간정보를 통합한 도시 관리 시스템 구축장치 및 방법
Angladon et al. The toulouse vanishing points dataset
KR101522842B1 (ko) 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
KR101253644B1 (ko) 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
KR20140031129A (ko) 사용자 인터렉션에 기반한 전방위 영상의 가상면 생성 방법
JP2012133591A (ja) 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム
Agrawal et al. A review: Augmented reality and its working
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
JPWO2021178919A5 (ko)
KR101779423B1 (ko) 영상처리방법 및 영상처리장치
KR20200109799A (ko) 영상내 객체의 깊이정보를 추정하는 장치 및 방법
Etzold et al. MIPos: towards mobile image positioning in mixed reality web applications based on mobile sensors
KR102350226B1 (ko) 증강현실 컨텐츠 배치 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190128

Year of fee payment: 6