KR101509105B1 - 증강현실 제공 장치 및 그 방법 - Google Patents

증강현실 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR101509105B1
KR101509105B1 KR20130047314A KR20130047314A KR101509105B1 KR 101509105 B1 KR101509105 B1 KR 101509105B1 KR 20130047314 A KR20130047314 A KR 20130047314A KR 20130047314 A KR20130047314 A KR 20130047314A KR 101509105 B1 KR101509105 B1 KR 101509105B1
Authority
KR
South Korea
Prior art keywords
marker
image
camera module
coordinate
calculating
Prior art date
Application number
KR20130047314A
Other languages
English (en)
Other versions
KR20140128647A (ko
Inventor
이봉규
Original Assignee
주식회사 제이엠랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이엠랩 filed Critical 주식회사 제이엠랩
Priority to KR20130047314A priority Critical patent/KR101509105B1/ko
Publication of KR20140128647A publication Critical patent/KR20140128647A/ko
Application granted granted Critical
Publication of KR101509105B1 publication Critical patent/KR101509105B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 제공 장치는 제1 영상을 촬영하는 제1 카메라 모듈 및 제2 영상을 촬영하는 제2 카메라 모듈을 포함하는 카메라부, 상기 제1 영상 및 상기 제2 영상에 포함된 마커를 인식하는 영상 인식부, 및 상기 제1 영상에서 상기 마커의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 마커의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 마커의 깊이 정보를 산출하여 상기 마커의 3차원 좌표를 산출하는 마커 추출부를 포함한다. 스테레오 카메라를 이용하여 마커를 촬영함으로써 마커의 3차원 위치를 파악할 수 있고, 하나의 카메라의 사선과 수평인 마커도 다른 하나의 카메라로 검출할 수 있고, 마커의 상하 회전 및 이동에 대해 마커를 용이하게 추적할 수 있으며, 실시간으로 마커의 3차원 좌표를 산출함으로써, 추출된 3차원 좌표를 이용하여 실세계 정보와 컨텐츠 정보를 실시간으로 더욱 정확하게 일치시킬 수 있다.

Description

증강현실 제공 장치 및 그 방법{APPARATUS FOR PROVIDING AUGMENTED REALITY AND METHOD THEREOF}
본 발명은 증강현실 제공 장치 및 그 방법에 관한 것으로, 보다 상세하게는 스테레오 카메라(Stereoscopic camera)를 이용한 증강현실 제공 장치 및 그 방법에 관한 것이다.
증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.
이러한 증강현실 기술에는 마커 기반의 증강현실 기술과 센서 기반의 증강현실 기술이 있다. 마커 기반의 증강현실 기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의 증강현실 기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.
마커 기반의 증강현실 기술은 영상에서 추출된 마커의 크기와 기울기, 회전값을 이용하여 마커에 대응하는 영상을 보여준다. 그러나, 마커가 카메라의 사선과 수평방향으로 놓여 있는 경우에는 마커 검출이 불가능한 문제점이 있다. 이로 인하여 단일 카메라로 증강현실을 구현할 경우 마커의 상하 회전에 취약한 단점이 있다. 또한, 단일 카메라로 증강현실을 구현할 경우 마커의 3차원 위치 파악이 정확하게 이루어지지 않아 마커 회전과 이동에 대한 마커 추적에 많은 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는 단일 카메라를 이용한 증강현실을 구현할 때 발생하는 문제점을 해결할 수 있는 스테레오 카메라를 이용한 증강현실 제공 장치 및 그 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 증강현실 제공 장치는 제1 영상을 촬영하는 제1 카메라 모듈 및 제2 영상을 촬영하는 제2 카메라 모듈을 포함하는 카메라부, 상기 제1 영상 및 상기 제2 영상에 포함된 마커를 인식하는 영상 인식부, 및 상기 제1 영상에서 상기 마커의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 마커의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 마커의 깊이 정보를 산출하여 상기 마커의 3차원 좌표를 산출하는 마커 추출부를 포함한다.
상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 마커 추출부는 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 마커의 깊이 정보를 산출할 수 있다.
상기 마커 추출부는 수학식
Figure 112013037577973-pat00001
을 이용하여 상기 마커의 깊이 정보를 산출할 수 있고, 상기 Z는 상기 마커의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 마커의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 마커의 x축 좌표이다.
상기 마커 추출부는 상기 마커의 식별정보를 추출할 수 있다.
상기 마커의 식별정보를 데이터베이스에 저장된 마커의 특징정보와 비교하여 상기 마커에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보를 상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나에 합성하는 합성부를 더 포함할 수 있다.
상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나에 상기 컨텐츠 정보가 합성된 합성 영상을 디스플레이하는 디스플레이부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 증강현실 제공 방법은 제1 카메라 모듈을 이용하여 제1 영상을 촬영하고, 제2 카메라 모듈을 이용하여 제2 영상을 촬영하는 단계, 상기 제1 영상 및 상기 제2 영상에 포함된 마커를 인식하는 단계, 상기 제1 영상에서 상기 마커의 제1 좌표를 산출하는 단계, 상기 제2 영상에서 상기 마커의 제2 좌표를 산출하는 단계, 및 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 마커의 깊이 정보를 산출하여 상기 마커의 3차원 좌표를 산출하는 단계를 포함한다.
상기 마커의 3차원 좌표를 산출하는 단계는, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 마커의 깊이 정보를 산출하는 단계를 포함할 수 있다.
상기 마커의 식별정보를 추출하는 단계를 더 포함할 수 있다.
상기 마커의 식별정보를 데이터베이스에 저장된 마커의 특징정보와 비교하여 상기 마커에 대응하는 컨텐츠 정보를 호출하는 단계, 및 상기 컨텐츠 정보를 상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나에 합성하는 단계를 더 포함하는 할 수 있다.
상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나에 상기 컨텐츠 정보가 합성된 합성 영상을 디스플레이하는 단계를 더 포함할 수 있다.
스테레오 카메라를 이용하여 마커를 촬영함으로써 마커의 3차원 위치를 파악할 수 있다.
그리고 하나의 카메라의 사선과 수평인 마커도 다른 하나의 카메라로 검출할 수 있고, 마커의 상하 회전 및 이동에 대해 마커를 용이하게 추적할 수 있다.
또한, 실시간으로 마커의 3차원 좌표를 산출함으로써, 추출된 3차원 좌표를 이용하여 실세계 정보와 컨텐츠 정보를 실시간으로 더욱 정확하게 일치시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용하여 마커의 3차원 좌표를 산출하는 방법을 설명하기 위한 나타내는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 좌표계와 실제 좌표계를 나타내는 개략도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타내는 블록도이다.
도 1을 참조하면, 증강현실 제공 장치(100)는 카메라부(110), 영상 인식부(120), 마커 추출부(130), 합성부(140) 및 디스플레이부(150)를 포함한다.
카메라부(110)는 영상 정보를 획득하기 위한 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)을 포함한다. 제1 카메라 모듈(111)은 실시간으로 제1 영상을 촬영하고, 제2 카메라 모듈(112)은 실시간으로 제2 영상을 촬영할 수 있다. 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)은 카메라 렌즈를 대신하여 핀홀을 사용하는 핀홀 카메라(pinhole camera)로 마련될 수 있다. 이때, 제1 카메라 모듈(111)의 핀홀과 제2 카메라 모듈(112)의 핀홀은 소정의 이격 거리로 이격되어 마련된다. 카메라부(110)는 제1 영상 및 제2 영상을 영상 인식부(120) 및 합성부(140)에 전달한다.
영상 인식부(120)는 제1 영상 및 제2 영상에 포함된 마커를 인식한다. 영상 인식부(120)는 특정 임계값(threshold)을 기준으로 제1 영상 및 제2 영상을 0 또는 1의 값으로 변형시키는 이진화 작업을 수행할 수 있다. 영상 인식부(120)는 이진화 작업이 완료된 제1 영상 및 제2 영상에서 마커의 특징에 따라 선택적으로 마커의 경계 영역을 검출할 수 있다. 영상 인식부(120)는 마커의 경계 영역 내에서 영상을 추출한다. 마커의 경계 영역 내에서 영상이 추출됨으로써 차후의 연산량이 줄어들게 된다. 영상 인식부(120)는 템플릿 매칭(template matching), 주성분 분석(Principal Component Analysis, PCA) 등을 이용하여 추출된 영상이 특정 마커에 해당하는지 인식할 수 있다.
마커 추출부(130)는 제1 영상에서 인식된 마커의 제1 좌표를 산출하고, 제2 영상에서 인식된 마커의 제2 좌표를 산출한다. 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)이 핀홀 카메라이고 각각의 핀홀이 소정의 이격 거리로 이격되어 있으므로, 동일한 마커가 제1 영상 및 제2 영상에서 서로 다른 위치에 위치할 수 있다. 즉, 제1 영상에서 마커의 2차원의 제1 좌표와 제2 영상에서 마커의 2차원의 제2 좌표는 서로 다를 수 있다. 마커 추출부(130)는 제1 카메라 모듈(111)과 제2 카메라 모듈(112) 간의 이격 거리, 제1 좌표, 제2 좌표 및 초점 심도(focal depth)를 이용하여 마커의 깊이 정보를 산출하고, 마커의 3차원 좌표를 산출할 수 있다. 이에 대한 상세한 설명은 도 2 및 3에서 후술한다.
그리고 마커 추출부(130)는 마커의 식별정보를 추출할 수 있다. 마커 추출부(130)는 마커의 3차원 좌표 및 마커의 식별정보를 합성부(140)에 전달한다.
합성부(140)는 마커의 식별정보를 데이터베이스에 저장되어 있는 마커의 특징정보와 비교하여 마커에 대응하는 컨텐츠 정보를 호출한다. 그리고 합성부(140)는 마커의 3차원 좌표를 이용하여 제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보를 합성하여 합성 영상을 생성한다.
디스플레이부(150)는 제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보가 합성된 합성 영상을 디스플레이한다.
이때, 카메라부(110)에서 실시간으로 촬영되는 제1 영상 및 제2 영상에 대해 영상 인식부(120)에서 지속적인 마커 추적이 이루어지고, 마커 추출부(130)에서 마커의 3차원 좌표가 실시간으로 산출되면, 합성부(140)에서 컨텐츠 정보가 합성된 합성 영상이 실시간으로 생성되어 디스플레이부(150)에서 디스플레이될 수 있다.
이제, 도 2 및 3을 참조하여 마커의 3차원 좌표를 산출하는 방법에 대하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용하여 마커의 3차원 좌표를 산출하는 방법을 설명하기 위한 나타내는 개략도이다. 도 3은 본 발명의 일 실시예에 따른 카메라 좌표계와 실제 좌표계를 나타내는 개략도이다.
도 2 및 3을 참조하면, 제1 카메라 모듈(111)의 핀홀(C1')과 제2 카메라 모듈(112)의 핀홀(C2') 간의 이격 거리가 B 이고, 제1 카메라 모듈(111)의 핀홀(C1')을 통해 생성되는 제1 영상과 핀홀(C1') 간의 초점 심도(f)와 제2 카메라 모듈(112)의 핀홀(C2')을 통해 생성되는 제2 영상과 핀홀(C2') 간의 초점 심도(f)는 동일하다고 가정한다.
이때, 제1 카메라 모듈(111)의 핀홀(C1')을 통해 생성되는 제1 영상에서 마커는 카메라 좌표계의 m1(x1, y1)에 위치하게 되고, 제2 카메라 모듈(112)의 핀홀(C2')을 통해 생성되는 제2 영상에서 마커는 카메라 좌표계의 m2(x2, y2)에 위치하게 된다. 그리고 제1 영상의 중심점(C1)과 핀홀(C1')을 잇는 광학축과 제2 영상의 중심점(C2)과 핀홀(C2')을 잇는 광학축은 z 축 방향이 된다.
실제 좌표계에서 타겟의 좌표는 m(X, Y, Z)이고, 제1 카메라 모듈(111)의 핀홀(C1')의 좌표는 C1'(X1, Y1, Z1)이고, 제2 카메라 모듈(112)의 핀홀(C2')의 좌표는 C2'(X2, Y2, Z2)이다.
카메라 좌표계와 실제 좌표계가 일치된다고 가정하면, 도 3에 도시한 바와 같이 영상 평면과 실제 평면이 나란히 존재하게 된다. 영상 평면은 제1 영상 및 제2 영상의 평면을 의미하고, 실제 평면은 타겟이 위치하고 있는 평면을 의미한다.
이러한 경우, 실제 좌표계에서 타겟의 좌표 m(X, Y, Z)은 수학식 1과 같이 나타낼 수 있다.
Figure 112013037577973-pat00002
이때, 타겟의 좌표 m(X, Y, Z)의 Z 좌표는 제1 카메라 모듈(111)의 카메라 좌표계에서의 Z1 좌표 및 제2 카메라 모듈(112)의 카메라 좌표계에서의 Z2 좌표와 동일하다(Z1 = Z2 = Z).
그리고 X2 = X1 + B 이므로, 수학식 1을 수학식 2와 같이 나타낼 수 있고, 이로부터 수학식 3이 도출된다.
Figure 112013037577973-pat00003
Figure 112013037577973-pat00004
여기서, Z는 마커의 깊이 정보, f는 초점 심도, B는 제1 카메라 모듈(111)의 핀홀(C1')과 제2 카메라 모듈(112)의 핀홀(C2') 간의 이격 거리, x1은 제1 영상에서 마커의 x축 좌표, x2는 제2 영상에서 마커의 x축 좌표이다.
제1 영상의 카메라 좌표계에서 마커의 좌표 m1(x1, y1)에 Z 값을 추가하면, 제1 영상에서 마커의 3차원 좌표 m1(x1, y1, z1)이 산출된다(z1 = Z). 그리고, 제2 영상의 카메라 좌표계에서 마커의 좌표 m2(x2, y2)에 Z 값을 추가하면, 제2 영상에서 마커의 3차원 좌표 m2(x2, y2, z2)이 산출된다(z2 = Z).
즉, 마커의 깊이 정보를 산출하여 제1 영상 및 제2 영상에서 마커의 3차원 좌표를 얻을 수 있다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.
도 4를 참조하면, 제1 카메라 모듈(111)을 이용하여 제1 영상이 촬영되고, 제2 카메라 모듈(112)을 이용하여 제2 영상이 촬영된다(S110). 이때, 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)은 핀홀을 이용하여 영상을 촬영하는 핀홀 카메라일 수 있다. 제1 카메라 모듈(111)의 핀홀과 제2 카메라 모듈(112)의 핀홀은 소정의 이격 거리로 이격되어 마련될 수 있다.
제1 영상 및 제2 영상에 포함된 마커가 인식된다(S120). 특정 임계값을 기준으로 제1 영상 및 제2 영상이 0 또는 1의 값으로 변형되는 이진화 작업이 수행될 수 있다. 이진화 작업이 완료된 제1 영상 및 제2 영상에서 마커의 특징에 따라 선택적으로 마커의 경계 영역이 검출될 수 있다. 마커의 경계 영역 내에서 영상이 추출될 수 있으며, 이에 따라 차후의 연산량이 줄어들게 된다. 템플릿 매칭(template matching), 주성분 분석(Principal Component Analysis, PCA) 등을 이용하여 추출된 영상이 특정 마커에 해당하는지 인식될 수 있다.
제1 카메라 모듈(111)과 제2 카메라 모듈(112) 간의 이격 거리, 제1 영상에서의 마커의 제1 좌표, 제2 영상에서의 마커의 제2 좌표 및 초점 심도(focal depth)를 이용하여 마커의 깊이 정보가 산출되고, 마커의 3차원 좌표가 산출된다(S130). 즉, 제1 영상 및 제2 영상 중 적어도 어느 하나의 카메라 좌표계에서 마커의 3차원 위치가 산출된다.
마커의 식별정보가 추출된다(S140).
마커의 식별정보를 데이터베이스에 저장된 마커의 특징정보와 비교하여 마커에 대응하는 컨텐츠 정보가 호출되고, 호출된 컨텐츠 정보가 제1 영상 및 제2 영상 중 적어도 어느 하나에 합성되어 합성 영상이 생성된다(S150).
제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보가 합성된 합성 영상은 디스플레이부(150)를 통해 디스플레이된다(S160).
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 증강현실 제공 장치
110 : 카메라부
111 : 제1 카메라 모듈
112 : 제2 카메라 모듈
120 : 영상 인식부
130 : 마커 추출부
140 : 합성부
150 : 디스플레이부

Claims (11)

  1. 제1 영상을 촬영하는 제1 카메라 모듈 및 제2 영상을 촬영하는 제2 카메라 모듈을 포함하는 카메라부;
    상기 제1 영상 및 상기 제2 영상에 포함된 마커를 인식하는 영상 인식부; 및
    상기 제1 영상에서 상기 마커의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 마커의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 마커의 깊이 정보를 산출하여 상기 마커의 3차원 좌표를 산출하는 마커 추출부를 포함하며,
    상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고,
    상기 마커 추출부는 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 이용하여 하기 수학식에 따라 상기 마커의 깊이 정보를 산출하는 증강현실 제공 장치.
    [수학식]
    Figure 112014066352360-pat00010

    (상기 Z는 상기 마커의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 마커의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 마커의 x축 좌표)
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 마커 추출부는 상기 마커의 식별정보를 추출하는 증강현실 제공 장치.
  5. 제4 항에 있어서,
    상기 마커의 식별정보를 데이터베이스에 저장된 마커의 특징정보와 비교하여 상기 마커에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보를 상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나에 합성하는 합성부를 더 포함하는 증강현실 제공 장치.
  6. 제5 항에 있어서,
    상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나에 상기 컨텐츠 정보가 합성된 합성 영상을 디스플레이하는 디스플레이부를 더 포함하는 증강현실 제공 장치.
  7. 제1 카메라 모듈을 이용하여 제1 영상을 촬영하고, 제2 카메라 모듈을 이용하여 제2 영상을 촬영하는 단계;
    상기 제1 영상 및 상기 제2 영상에 포함된 마커를 인식하는 단계;
    상기 제1 영상에서 상기 마커의 제1 좌표를 산출하는 단계;
    상기 제2 영상에서 상기 마커의 제2 좌표를 산출하는 단계; 및
    상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 마커의 깊이 정보를 산출하여 상기 마커의 3차원 좌표를 산출하는 단계를 포함하며,
    상기 마커의 3차원 좌표를 산출하는 단계는,
    상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 이용하여 하기 수학식에 따라 상기 마커의 깊이 정보를 산출하는 단계를 포함하는 증강현실 제공 방법.
    [수학식]
    Figure 112014066352360-pat00011

    (상기 Z는 상기 마커의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 마커의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 마커의 x축 좌표)
  8. 삭제
  9. 제7 항에 있어서,
    상기 마커의 식별정보를 추출하는 단계를 더 포함하는 증강현실 제공 방법.
  10. 제9 항에 있어서,
    상기 마커의 식별정보를 데이터베이스에 저장된 마커의 특징정보와 비교하여 상기 마커에 대응하는 컨텐츠 정보를 호출하는 단계; 및
    상기 컨텐츠 정보를 상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나에 합성하는 단계를 더 포함하는 증강현실 제공 방법.
  11. 제10 항에 있어서,
    상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나에 상기 컨텐츠 정보가 합성된 합성 영상을 디스플레이하는 단계를 더 포함하는 증강현실 제공 방법.
KR20130047314A 2013-04-29 2013-04-29 증강현실 제공 장치 및 그 방법 KR101509105B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130047314A KR101509105B1 (ko) 2013-04-29 2013-04-29 증강현실 제공 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130047314A KR101509105B1 (ko) 2013-04-29 2013-04-29 증강현실 제공 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140128647A KR20140128647A (ko) 2014-11-06
KR101509105B1 true KR101509105B1 (ko) 2015-04-08

Family

ID=52454479

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130047314A KR101509105B1 (ko) 2013-04-29 2013-04-29 증강현실 제공 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101509105B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030057A (ko) * 2020-09-02 2022-03-10 이호승 고강도 집속 초음파 기반의 증강현실 영상 매칭형 홈 뷰티기기
KR20220030502A (ko) * 2020-09-02 2022-03-11 이호승 증강현실 기반의 피부미용기기

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101892740B1 (ko) 2016-10-11 2018-08-28 한국전자통신연구원 통합 이미지 마커 생성 방법 및 그 방법을 수행하는 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080018397A (ko) * 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 실시간 화상 기반의 3차원 모델링을 지원하는 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080018397A (ko) * 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 실시간 화상 기반의 3차원 모델링을 지원하는 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록 매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030057A (ko) * 2020-09-02 2022-03-10 이호승 고강도 집속 초음파 기반의 증강현실 영상 매칭형 홈 뷰티기기
KR20220030502A (ko) * 2020-09-02 2022-03-11 이호승 증강현실 기반의 피부미용기기
KR102583933B1 (ko) * 2020-09-02 2023-09-27 이호승 고강도 집속 초음파 기반의 증강현실 영상 매칭형 홈 뷰티기기
KR102583932B1 (ko) * 2020-09-02 2023-10-04 이호승 증강현실 기반의 피부미용기기

Also Published As

Publication number Publication date
KR20140128647A (ko) 2014-11-06

Similar Documents

Publication Publication Date Title
KR101506610B1 (ko) 증강현실 제공 장치 및 그 방법
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
US8872851B2 (en) Augmenting image data based on related 3D point cloud data
US10074179B2 (en) Image measurement device
JP5480777B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
KR101329111B1 (ko) 실내 네비게이션 시스템 및 방법
US20100295948A1 (en) Method and device for camera calibration
US9361731B2 (en) Method and apparatus for displaying video on 3D map
US9715632B2 (en) Intersection recognizing apparatus and computer-readable storage medium
EP3239933A1 (en) Authoring device and authoring method
US20160292888A1 (en) Image measurement device, and recording medium
US10346709B2 (en) Object detecting method and object detecting apparatus
KR101575954B1 (ko) 3차원 정합을 이용한 증강현실 장치 및 그 방법
US9947106B2 (en) Method and electronic device for object tracking in a light-field capture
KR101509105B1 (ko) 증강현실 제공 장치 및 그 방법
KR20160146567A (ko) 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法
JP5743935B2 (ja) 対象物検出装置および対象物検出方法
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
JP5651659B2 (ja) 物体検出システムおよびプログラム
JP2013038454A (ja) 画像処理装置および方法、並びにプログラム
KR101837269B1 (ko) 다중 마커 기반의 정합 가이드 방법 및 시스템
KR101455237B1 (ko) 자동추적 증강현실 제공 장치 및 그 방법
KR20220154556A (ko) 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right