KR101349347B1 - 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법 - Google Patents

증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법 Download PDF

Info

Publication number
KR101349347B1
KR101349347B1 KR1020120053954A KR20120053954A KR101349347B1 KR 101349347 B1 KR101349347 B1 KR 101349347B1 KR 1020120053954 A KR1020120053954 A KR 1020120053954A KR 20120053954 A KR20120053954 A KR 20120053954A KR 101349347 B1 KR101349347 B1 KR 101349347B1
Authority
KR
South Korea
Prior art keywords
equation
gyro sensor
matrix
coordinate system
camera
Prior art date
Application number
KR1020120053954A
Other languages
English (en)
Other versions
KR20130130283A (ko
Inventor
류제민
김신형
이영민
Original Assignee
에이알비전 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이알비전 (주) filed Critical 에이알비전 (주)
Priority to KR1020120053954A priority Critical patent/KR101349347B1/ko
Publication of KR20130130283A publication Critical patent/KR20130130283A/ko
Application granted granted Critical
Publication of KR101349347B1 publication Critical patent/KR101349347B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 정면객체 생성 시스템 및 방법에 관한 것으로, 스마트폰 자이로 센서를 이용하여 피치(pitch), 롤(roll), 요(yaw) 3축의 회전에 대하여 적용이 가능하게 하기 위한 것이다.
이를 위하여 본 발명은, 스마트 폰의 자세와 관련된 상기 자이로 센서 좌표계의 수치 판독 및 그 판독된 성분 보정에 필요한 다수의 파라미터(Rw-1,Rc-1,K,Ry) 및 그 초기치를 설정하는 단계, 자이로 센서 좌표계의 각 수치값으로부터 회전 행렬(R), 피치(pitch), 롤(roll)을 판독하여, 요(yaw)의 회전 행렬(Ry)을 획득하고 카메라의 방향을 추정하는 단계, 요의 회전 행렬(Ry)과 카메라의 방향 추정 결과를 반영하여 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 보정된 회전 행렬(R')을 획득하는 단계, 및 촬영 이미지를 정면 객체로 변환하는데에 사용되는 호모그래피 수학식(H)에 보정된 회전 행렬(R')과 카메라 칼리브레이션 행렬(K) 및 좌표계 전환행렬(C)을 적용하여 요(yaw)가 보정되고 방향 추정 결과가 반영된 영상 좌표계 기준의 호모그래피 행렬(H)을 획득하는 단계를 포함하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법을 제공하여, 주변의 사물을 어떠한 각도에서 촬영하여도 정면 객체로 적합하게 변형할 수 있게 한다.

Description

증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법{System for generating a frontal-view image for augmented reality based on the gyroscope of smart phone and Method therefor}
본 발명은 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법에 관한 것으로, 보다 상세하게는 스마트폰 자이로 센서를 이용하여 피치(pitch), 롤(roll), 요(yaw) 3축의 회전에 대하여 적용 가능한 정면객체 변환시스템 및 방법에 관한 것이다.
증강 현실(augmented reality)은 실제 눈에 보이는 현실 세계에 가상의 객체를 혼합하여 실제 그곳에 있는 것처럼 보이게 하는 기술로서, 이러한 증강현실을 구현하기 위한 대표적인 방법으로는 마커를 이용한 방법이 있다. 그러나 이러한 마커를 이용하는 방법은 비교적 간단하다는 장점이 있지만 마커가 가려지면 객체를 인식하지 못하기 때문에 증강하기 위한 물체마다 마커를 부착해야 한다는 단점이 있다.
반면에 마커가 없는 사물을 이용한 증강 현실 기술로는 NFT(Nature Feature Tracking)를 이용한 방법이 있는데, 상기 기술은 이미지의 특징점을 인식하여 증강현실을 구현하는 방식이다. 그러나 상기 기술은 인식할 이미지를 미리 등록하고 전처리해야 하는 과정이 별도로 필요하게 되는 단점이 있다.
최근 개발된 증강 현실 기술로는, 주변의 사물을 바로 인식하기 위해 스마트폰의 카메라로 촬영한 이미지를 스마트폰의 기울기를 통해 가상의 정면 객체(frontal-view)로 변환하는 방법이 있는데, 이 방법은 피치(pitch)를 이용하여 정면 객체를 얻는 방법이다.
이러한 피치를 이용하여 정면 객체를 얻기 위한 방법에서는 다음의 3가지 가정이 먼저 이루어진다.
첫째로, 변환할 대상이 수평면 또는 수직면이라는 가정이다. 이는 인공적인 환경에서 매우 흔한 경우이다.
두 번째로, 휴리스틱(heuristic)을 사용하여 대상면이 수평면인지 수직면인지를 결정한다. 예를 들어 수평면과 휴대폰의 각도를 θp라 하였을 때, 그 각도(θp)가 -π/4 < θp < π/4일 경우는 수직면이라 가정하고, 그 외의 경우는 수평면이라 가정한다.
세 번째로, 한 장의 이미지에선 카메라와 대상면 사이의 거리를 얻어낼 수 없으므로 d0라는 임의의 값을 사용한다.
이러한 가정들을 바탕으로 하여, 촬영된 이미지를 정면 객체로 변환하기 위해서는 다음의 수학식 1과 같은 호모그래피(homography)의 수식이 사용된다.
Figure 112012040657920-pat00001
이때 K는 카메라 칼리브레이션 행렬, n은 대상면의 법선 벡터[0,0,-1]T, R은 회전 행렬, t는 이동벡터이다.
그러나, 이와 같은 종래의 정면 객체 변환 방법은 피치(pitch)만을 이용하기 때문에 정면이 아닌 측면에서 촬영한 영상의 경우 적용이 어렵다는 단점이 있다.
본 발명은 스마트폰 자이로 센서를 이용하여 피치(pitch), 롤(roll), 요(yaw) 3축의 회전에 대하여 적용이 가능하도록 함으로써 주변의 사물을 어떠한 각도에서 촬영하여도 정면 객체로 적합하게 변형할 수 있는 정면객체 생성 시스템 및 방법을 제공하고자 하는 것이다.
상기 목적을 달성하기 위한 본 발명 시스템의 일 실시 형태는, 자이로 센서를 구비하고, 카메라를 통해 촬영한 이미지에 대하여 x, y, z 축에 대한 회전인 피치(pitch), 롤(roll), 요(yaw) 외에 사원수(quaternion), 사원수의 변환을 통한 회전 행렬(R)을 상기 자이로 센서 좌표계의 수치값으로 제공하는 스마트폰을 이용한 정면 객체(frontal-view) 변환시스템에 있어서, 스마트 폰의 자세와 관련된 상기 자이로 센서 좌표계의 수치 판독 및 그 판독된 성분 보정에 필요한 다수의 파라미터(Rw-1,Rc-1,K,Ry) 및 그 초기치를 설정하며, 자이로 센서 좌표계를 영상 좌표계로 전환하기 위해 필요한 좌표계 전환행렬(C)을 설정하는 파라미터 설정부, 이미지를 캡쳐하여 자이로 센서 좌표계의 각 수치값을 생성하고, 보정 및 방향 추정에 필요한 자이로 센서 좌표계의 회전 행렬(R), 피치(pitch), 롤(roll)을 판독하여 방향 추정부 및 연산부로 전달하는 수치 생성 및 판독부, 수치 생성 및 판독부에서 전달된 피치(pitch)와 롤(roll)을 체크하여 카메라의 방향을 추정하여 연산부로 전달하는 방향 추정부, 수치 생성 및 판독부에서 전달된 회전행렬(R)을 분해하여 요(yaw)의 보정에 필요한 요(yaw)의 수치를 산출하고, 그 산출된 요의 수치가 반영된 요(yaw)의 회전 행렬(Ry)을 획득하여 요의 회전 행렬(Ry)과 카메라의 방향 추정 결과를 반영하여 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 보정된 회전 행렬(R')을 획득하는 연산부 및 촬영 이미지를 정면 객체로 변환하는데에 사용되는 호모그래피 수학식(H)에 연산부에서 보정된 회전행렬(R')과 카메라 칼리브레이션 행렬(K) 및 상기 좌표계 전환행렬(C)을 적용하여 요(yaw)가 보정되고 피치(pitch)와 롤(roll)에 따른 방향 추정 결과가 반영된 영상 좌표계 기준의 투영변환을 위한 호모그래피 행렬(H)을 획득하는 좌표 변환부를 포함하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템이다.
상기 목적을 달성하기 위한 본 발명 방법의 일 실시 형태는, 자이로 센서를 구비하고, 카메라를 통해 촬영한 이미지에 대하여 x, y, z 축에 대한 회전인 피치(pitch), 롤(roll), 요(yaw) 외에 사원수(quaternion), 사원수의 변환을 통한 회전 행렬(R)을 상기 자이로 센서 좌표계의 수치값으로 제공하는 스마트폰을 이용한 정면 객체(frontal-view) 변환방법에 있어서, (a) 스마트 폰의 자세와 관련된 상기 자이로 센서 좌표계의 수치 판독 및 그 판독된 성분 보정에 필요한 다수의 파라미터(Rw-1,Rc-1,K,Ry) 및 그 초기치를 설정하는 단계, (b) 자이로 센서 좌표계의 각 수치값으로부터 회전 행렬(R), 피치(pitch), 롤(roll)을 판독하여, 요(yaw)의 회전 행렬(Ry)을 획득하고 카메라의 방향을 추정하는 단계, (c) 요의 회전 행렬(Ry)과 카메라의 방향 추정 결과를 반영하여 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 보정된 회전 행렬(R')을 획득하는 단계 및 (d) 촬영 이미지를 정면 객체로 변환하는데에 사용되는 호모그래피 수학식(H)에 보정된 회전 행렬(R')과 카메라 칼리브레이션 행렬(K) 및 좌표계 전환행렬(C)을 적용하여 요(yaw)가 보정되고 방향 추정 결과가 반영된 영상 좌표계 기준의 호모그래피 행렬(H)을 획득하는 단계를 포함하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법이다.
상기 목적을 달성하기 위한 본 발명 방법의 다른 실시 형태는, (e) 획득된 호모그래피 행렬(H)을 기준으로 퍼스펙티브를 실행하여 목적 이미지를 출력하는 단계;를 포함하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법이다.
본 발명에 따른 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법에 의하면, 스마트폰 자이로 센서를 이용하여 피치(pitch), 롤(roll), 요(yaw) 3축의 회전에 대하여 적용이 가능하게 되므로 주변의 사물을 어떠한 각도에서 촬영하여도 정면 객체로 적합하게 변형할 수 있는 이점이 있다.
또한 본 발명은 NFT와 같은 비 마커 기반의 증강현실 콘텐츠 표현에 있어서 트래킹 대상이 되는 다양한 타겟 이미지를 획득하는 데에 사용될 수 있으며, 아울러 모바일 증강현실 소셜 광고시장 등에 사용자 입력의 자연 마커 등록 및 증강현실 서비스 등에 유용하게 이용 가능하게 되는 장점이 있다.
도 1은 본 발명에 따른 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템의 주요부 구성을 개략적으로 도시한 블록도이다.
도 2a와 도 2b는 본 발명에 따른 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법을 도시한 동작 흐름도이다.
도 3은 본 발명에서의 방향 추정동작을 설명하기 위하여 카메라의 방향에 대한 피치와 롤을 예시한 참고도이다.
도 4는 본 발명에서의 좌표 변환동작을 설명하기 위하여 자이로 센서 좌표계와 영상 좌표계를 비교하여 예시한 참고도이다.
도 5는 본 발명에 의한 정면객체 생성시스템 및 방법을 통해 획득할 수 있는 관심 영역(천정, 벽, 바닥)에 대한 정면 객체 생성 결과 및 증강 현실 테스트 영상 예시화면으로서, (a)는 천장, (b)는 벽, (c)는 바닥의 경우를 각각 예시한 영상화면이다.
이하, 본 발명의 일 실시 형태에 의한 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법의 구성 및 동작을 첨부 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템의 주요부 구성을 개략적으로 도시한 블록도로서, 본 발명에 의한 정면객체 생성시스템은, 파라미터 설정부(11), 수치 생성 및 판독부(12), 방향 추정부(13), 연산부(14) 및 좌표 변환부(15)를 포함하여 구성되며, 이러한 시스템 구성은 자이로 센서를 구비하고, 카메라를 통해 촬영한 이미지에 대하여 x, y, z 축에 대한 회전인 피치(pitch), 롤(roll), 요(yaw) 외에 사원수(quaternion), 사원수의 변환을 통한 회전 행렬(R)을 자이로 센서 좌표계의 수치값으로 제공하는 스마트폰을 이용하여 구현될 수 있다.
파라미터 설정부(11)는 스마트 폰의 자세와 관련된 자이로 센서 좌표계의 수치 판독 및 그 판독된 성분 보정에 필요한 다수의 파라미터(Rw-1,Rc-1,K,Ry) 및 그 초기치를 설정하며, 자이로 센서 좌표계를 영상 좌표계로 전환하기 위해 필요한 좌표계 전환행렬(C)을 설정한다. 여기서 설정되는 파라미터는 벽면에 대한 보정행렬(Rw-1), 천장에 대한 보정행렬(Rc-1), 요(yaw)의 회전 행렬(Ry =I) 및 카메라 칼리브레이션 행렬(K)이다.
벽면에 대한 보정행렬(Rw-1)은 아래의 수학식 2와 같이 그 초기치가 설정되고, 천장에 대한 보정행렬(Rc-1)은 아래의 수학식 3과 같이 그 초기치가 설정된다.
Figure 112012040657920-pat00002
Figure 112012040657920-pat00003
수치 생성 및 판독부(12)는 이미지를 캡쳐하여 자이로 센서 좌표계의 각 수치값을 생성하고, 보정 및 방향 추정에 필요한 자이로 센서 좌표계의 회전 행렬(R), 피치(pitch), 롤(roll)을 판독하여 방향 추정부 및 연산부로 전달한다.
방향 추정부(13)는 상기 수치 생성 및 판독부에서 전달된 피치(pitch)와 롤(roll)을 체크하여 카메라의 방향을 추정하여 연산부로 전달한다. 이 방향 추정부(13)에서는, 수치 생성 및 판독부(12)에서 판독된 피치(pitch)와 롤(roll)을 체크하여, 피치 > π/4 일 경우 벽면으로, 피치 < π/4 이고│롤│ > π/2 일 경우 천장으로, 피치 < π/4이고 │롤│ < π/2 일 경우 바닥으로 카메라의 방향을 추정한다.
연산부(14)는 상기 수치 생성 및 판독부(12)에서 전달된 회전 행렬(R)을 분해하여 요(yaw)의 보정에 필요한 요(yaw)의 수치를 산출하고, 그 산출된 요의 수치가 반영된 요(yaw)의 회전 행렬(Ry)을 획득하여 상기 요의 회전 행렬(Ry)과 상기 카메라의 방향 추정 결과를 반영하여 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 보정된 회전 행렬(R')을 획득한다. 이때 연산부(14)에서는 자이로 센서 좌표계의 회전 행렬(R)이 아래의 수학식 4와 같을 때에 요(yaw)의 수치값을 아래의 수학식 5를 통해 산출한다.
Figure 112012040657920-pat00004
Figure 112012040657920-pat00005
또한 이 연산부(14)에서는 상기 산출된 요(yaw)의 수치값에 대하여 아래의 수학식 6을 통해 요(yaw)의 회전 행렬(Ry)을 설정한다.
Figure 112012040657920-pat00006
또한 이 연산부(14)에서는 상기 방향 추정부(13)에서 추정된 카메라의 방향에 따라, 파라미터 설정부에서 설정된 수학식 2 또는 수학식 3, 또는 상기 설정된 수학식 6을 이용하여 아래의 수학식 7 내지 수학식 9 중의 어느 하나의 수학식을 적용하여 1차 보정된 회전 행렬(R')을 획득한다.
Figure 112012040657920-pat00007
Figure 112012040657920-pat00008
Figure 112012040657920-pat00009
즉, 카메라의 방향이 바닥을 향하는 경우 상기 수학식 7을 통해, 카메라의 방향이 벽면을 향하는 경우 상기 수학식 8을 통해, 카메라의 방향이 천장을 향하는 경우 상기 수학식 9를 통해, 각각 상기 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 1차 보정된 회전 행렬(R')을 획득한다.
좌표 변환부(15)는 촬영 이미지를 정면 객체로 변환하는 데에 사용되는 호모그래피 수식(수학식 1)에 상기 연산부(14)에서 보정된 회전행렬(R')과 카메라 칼리브레이션 행렬(K) 및 상기 좌표계 전환행렬(C)을 적용하여 요(yaw)가 보정되고 피치(pitch)와 롤(roll)에 따른 방향 추정 결과가 반영된 영상 좌표계 기준의 투영변환을 위한 호모그래피 행렬(H)을 획득한다.
이때 좌표 변환부(15)에서는 정면 객체 변환에 필요한 수학식 1의 호모그래피의 수식(수학식 1)에 대하여, 자이로 센서 좌표계를 영상 좌표계로 변환하기 위한 수학식 10의 좌표계 전환행렬(C), 수학식 11의 가상의 카메라 좌표(P')와 수학식 12의 실제 카메라 좌표(P)로부터 산출되는 수학식 13의 정면 카메라와 실제 카메라 사이의 이동벡터(t), 및 방향 추정을 통해 보정된 회전 행렬(R')을 적용하여, 아래의 수학식 14를 통해 호모그래피 행렬(H)을 획득하며,
Figure 112012040657920-pat00010
Figure 112012040657920-pat00011
Figure 112012040657920-pat00012
Figure 112012040657920-pat00013
Figure 112012040657920-pat00014
상기 수학식 14의 대상면의 법선 벡터(n)은 아래의 수학식 15를 통해 유추되므로, 임의 설정값(N)을 아래의 수학식 16으로 설정하였을 때에, 호모그래피 행렬(H)은 아래의 수학식 17을 통해 획득하고,
Figure 112012040657920-pat00015
Figure 112012040657920-pat00016
Figure 112012040657920-pat00017
상기 보정된 회전 행렬(R')의 원소가 수학식 4와 같을 때에, 그로부터 치환 행렬(R")를 수학식 18로 설정하였을 때에, 상기 치환 행렬(R")을 아래의 수학식 19를 통해 획득하고, 투영 변환 수행에 필요한 호모그래피 행렬(H)을 아래의 수학식 20을 통해 획득한다.
Figure 112012040657920-pat00018
Figure 112012040657920-pat00019
Figure 112012040657920-pat00020
도 2a와 도 2b는 본 발명에 따른 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법을 도시한 동작 흐름도이고, 도 3과 도 4는 도 2a 및 도 2b의 동작 흐름도에서의 방향 추정동작 및 좌표 변환동작을 설명하기 위하여 예시한 참고도로서, (a) 파라미터(Rw-1,Rc-1,K,Ry) 및 초기치 설정단계(S101,S102), (b) 요(yaw)의 회전 행렬(Ry) 획득 및 카메라의 방향 추정단계(S110-S119), (c) 자이로 센서 좌표계의 회전 행렬(R) 보정단계(S120-S125), 및 (d) 요(yaw) 보정 및 방향 추정 결과 반영된 영상 좌표계 기준의 호모그래피 행렬(H) 획득단계(S126)를 포함하여 이루어지며, 게다가 (e) 호모그래피 행렬(H) 기준 퍼스펙티브 실행 및 목적 이미지 출력단계(S127,S128)를 더 포함하여서도 이루어질 수 있다. 이러한 정면객체 생성방법은 자이로 센서를 구비하고, 카메라를 통해 촬영한 이미지에 대하여 x, y, z 축에 대한 회전인 피치(pitch), 롤(roll), 요(yaw) 외에 사원수(quaternion), 사원수의 변환을 통한 회전 행렬(R)을 자이로 센서 좌표계의 수치값으로 제공하는 스마트폰을 이용하여 구현될 수 있다.
(a) 파라미터(Rw-1,Rc-1,K,Ry) 및 초기치 설정단계(S101,S102)는 도 1의 파라미터 설정부(11)에 의해 이루어지며, 스마트 폰의 자세와 관련된 자이로 센서 좌표계의 수치 판독 및 그 판독된 성분 보정에 필요한 다수의 파라미터(Rw-1,Rc-1,K, Ry) 및 그 초기치가 설정된다. 이 단계에서 벽면에 대한 보정 행렬(Rw-1)과 천장에 대한 보정 행렬(Rc-1)은 각각 상기 수학식 2 및 수학식 3과 같이 설정(S101)되며, 요(yaw)에 대한 회전 행렬(Ry)은 단위 행렬(I)로 설정(S102)된다.
(b) 요(yaw)의 회전 행렬(Ry) 획득 및 카메라의 방향 추정단계(S110-S119)는 수치 생성 및 판독부(12)와 연산부(14)와 방향 추정부(13)에 의해 이루어지며, 자이로 센서 좌표계의 각 수치값으로부터 회전 행렬(R), 피치(pitch), 롤(roll)을 판독하는 단계(S110), 요(yaw)의 회전 행렬(Ry)을 획득하는 단계(S111-S113), 카메라의 방향을 추정하는 단계(S114-S119)를 포함하여 이루어진다.
이 단계에서는 (b1) 판독된 상기 수학식 4와 같은 회전 행렬(R)을 분해하여 요(yaw)의 보정에 필요한 요(yaw)의 수치를 상기 수학식 5를 통해 산출하는 단계(S112), (b2) 산출된 요의 수치를 이용하여 수학식 6과 같은 요의 보정에 필요한 요(yaw)의 회전 행렬(Ry)을 획득하는 단계(S113), 및 (b3) 판독된 피치(pitch)와 롤(roll)을 체크하여 카메라의 방향을 추정하는 단계(S114-S119)가 순차적으로 실행된다. 특히 (b1) 및 (b2) 단계에서 요(yaw)의 수치를 산출하여 요의 회전 행렬(Ry)을 획득하는 이유는 자이로 센서의 수치 중에서 피치(pitch)와 롤(roll)의 경우 중력을 기준으로 하여 정확한 값을 받을 수 있지만 요(yaw)의 경우는 기준점이 매번 바뀌므로 이에 대한 보정을 필요로 하기 때문이다. 아울러 회전 행렬(R)을 분해하여 요의 수치를 얻는 이유는, 정면을 향하고 있을 때 요의 수치를 얻어야 하나 센서의 수치를 그대로 이용하는 경우 짐벌락 현상이 발생되므로 이를 배제하기 위해서이다.
특히 (b3) 단계에서는 피치 > π/4 일 경우 벽면으로 카메라의 방향을 추정하고, 피치 < π/4 이고│롤│ > π/2 일 경우 천장으로 카메라의 방향을 추정하며, 피치 < π/4이고 │롤│ < π/2 일 경우 바닥으로 카메라의 방향으로 추정한다. 이는 스마트폰 자이로 센서의 피치 기준은 바닥에 수평하게 누워 있을 때 0을 나타내며, 또한 피치의 범위는 -π/2 ~ π/2이므로 도 3의 카메라의 방향에 대한 피치와 롤의 예시 도면에서와 같이 피치와 롤을 함께 고려하여 카메라의 방향을 추정하기 때문이다.
(c) 자이로 센서 좌표계의 회전 행렬(R) 보정단계(S120-S125)는 연산부(14)에 의해 이루어지며, 요의 회전 행렬(Ry)과 카메라의 방향 추정 결과에 따라 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 각각 보정하여 보정된 회전 행렬(R')을 획득하는 단계이다. 이 단계에서는 방향 추정부(13)에서 설정된 카메라의 방향에 따라, 파라미터 설정부에서 설정된 수학식 2 또는 수학식 3, 또는 상기 설정된 수학식 6을 이용하여 상기 수학식 7 내지 수학식 9 중의 어느 하나의 수학식을 적용하여 1차 보정된 회전 행렬(R')을 획득할 수 있게 된다. 즉, 카메라의 방향이 바닥을 향하는 경우 수학식 7을 통해 1차 보정된 회전 행렬(R')을 획득하고, 카메라의 방향이 벽면을 향하는 경우 수학식 8을 통해 1차 보정된 회전 행렬(R')을 획득하며, 카메라의 방향이 천장을 향하는 경우 수학식 9를 통해 1차 보정된 회전 행렬(R')을 획득할 수 있게 된다. 이는 자이로 센서의 좌표계가 카메라의 방향이 바닥을 향할 때가 기준이 되므로, 벽면을 향할 때와 천장을 향할 때에 각각 피치에 대한 π/2, π만큼의 회전 행렬을 보정해주어야 하기 때문이다.
(d) 요(yaw) 보정 및 방향 추정 결과 반영된 영상 좌표계 기준의 호모그래피 행렬(H) 획득단계(S126)는 연산부(14) 및 좌표 변환부(15)에 의해 이루어지며, 촬영 이미지를 정면 객체로 변환하는데에 사용되는 호모그래피 수학식(H)에 보정된 회전 행렬(R')과 카메라 칼리브레이션 행렬(K) 및 좌표계 전환행렬(C)을 적용하여, 요(yaw)가 보정되고 방향 추정 결과가 반영된 영상 좌표계 기준의 호모그래피 행렬(H)을 획득하는 단계이다.
이 단계에서는 먼저, 자이로 센서 좌표계를 영상 좌표계로 변환하기 위한 좌표계 전환행렬(C)을 상기 수학식 10과 같이 설정한다. 이는 도 4에 도시된 바와 같이 자이로 센서 좌표계는 y축이 위를 향하고 있고 z축이 앞면을 향하고 있는 반면에, 영상 좌표계는 y축이 아래를 향하고 있고 z축이 뒷면을 향하고 있다. 따라서 정면 객체를 변환하기 위한 연산 전,후에 좌표계의 변환이 필요하게 되는데, 이는 자이로 센서 좌표계와 영상 좌표계 모두 오른손 좌표계이나 서로 x축을 중심으로 π만큼 회전되어 있기 때문이다.
다음으로, 정면 객체 변환에 필요한 상기 수학식 1의 호모그래피의 수식(H)에서, t의 값은 정면에서 대상면을 찍은 가상의 카메라와 실제 카메라 사이의 이동벡터를 나타낸다. 이때 가상의 카메라 좌표(P')를 수학식 11이라 하였을 때, 실제 카메라 좌표(P)는 수학식 12와 같이 나타낼 수 있다. 따라서 t의 값은 상기 수학식 13과 같이 계산할 수 있다.
마지막으로 수학식 1의 호모그래피의 수식에 상기 수학식 7 내지 수학식 13을 적용하면 수학식 14와 같은 호모그래피 행렬(H)을 얻을 수 있게 된다.
이때, 대상면의 법선 벡터(n)은 상기 수학식 15와 같이 될 수 있으므로, 임의 설정값(N)을 상기 수학식 16과 같이 설정하게 되면 호모그래피 행렬(H)은 상기 수학식 17과 같이 표현될 수 있다.
여기서 상기 보정된 회전 행렬(R')의 원소가 수학식 4와 같을 경우 그로부터 치환 행렬(R")을 도입하여 상기 수학식 18로 설정하게 되면, 상기 치환 행렬(R")은 상기 수학식 19와 같이 획득할 수 있게 되며, 따라서 투영 변환 수행에 필요한 호모그래피 행렬(H)은 최종적으로 상기 수학식 20과 같이 획득할 수 있게 된다.
(e) 호모그래피 행렬(H) 기준 퍼스펙티브 실행 및 목적 이미지 출력단계(S127,S128)는 획득된 호모그래피 행렬(H)을 기준으로 퍼스펙티브를 실행하는 단계(S127)와, 목적 이미지를 출력하는 단계(S128)를 포함하여 이루어지며, 이 단계에서는 상기 수학식 20을 통해 얻은 호모그래피 행렬을 이용하여 투영 변환을 수행시 획득한 영상을 정면 객체로 변환할 수 있게 된다.
도 5는 본 발명에 의한 정면객체 생성시스템 및 방법을 통해 획득할 수 있는 관심 영역(천정, 벽, 바닥)에 대한 정면 객체 생성 결과 및 증강 현실 테스트 영상 예시화면으로서, (a)는 천장, (b)는 벽, (c)는 바닥의 경우를 각각 예시한 영상화면이다.
도 5에 도시된 바와 같이 각 경우마다 촬영 화면 가운데 변환이 예상되는 사각형 가이드 라인이 제공될 수 있으며, 이 가이드 라인은 자이로 센서에서 자동으로 자세 변환이 되고 사용자 입력으로 변경이 필요한 경우를 위해 자세변환 버튼을 더 제공할 수 있다. 또한 요(yaw) 설정을 위해서 현재 보이는 정면을 설정하는 원터치 버튼과 -π ~ π범위의 슬라이더, 1°씩 조정이 가능한 미세 조정버튼의 3가지 조정 수단이 제공될 수도 있다. 변환 후엔 원하는 부분을 잘라내는 크로핑(cropping) 기능이 더 추가될 수 있음은 물론이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
11: 파라미터 설정부 12 : 수치 생성 및 판독부
13 : 방향 추정부 14 : 연산부
15 : 좌표 변환부

Claims (17)

  1. 자이로 센서를 구비하고, 카메라를 통해 촬영한 이미지에 대하여 x, y, z 축에 대한 회전인 피치(pitch), 롤(roll), 요(yaw) 외에 사원수(quaternion), 사원수의 변환을 통한 회전 행렬(R)을 상기 자이로 센서 좌표계의 수치값으로 제공하는 스마트폰을 이용한 정면 객체(frontal-view) 변환시스템에 있어서,
    스마트 폰의 자세와 관련된 상기 자이로 센서 좌표계의 수치 판독 및 그 판독된 성분 보정에 필요한 다수의 파라미터(Rw-1,Rc-1,K,Ry) 및 그 초기치를 설정하며, 자이로 센서 좌표계를 영상 좌표계로 전환하기 위해 필요한 좌표계 전환행렬(C)을 설정하는 파라미터 설정부(11);
    이미지를 캡쳐하여 자이로 센서 좌표계의 각 수치값을 생성하고, 보정 및 방향 추정에 필요한 자이로 센서 좌표계의 회전 행렬(R), 피치(pitch), 롤(roll)을 판독하여 방향 추정부 및 연산부로 전달하는 수치 생성 및 판독부(12);
    상기 수치 생성 및 판독부에서 전달된 피치(pitch)와 롤(roll)을 체크하여 카메라의 방향을 추정하여 연산부로 전달하는 방향 추정부(13);
    상기 수치 생성 및 판독부에서 전달된 회전 행렬(R)을 분해하여 요(yaw)의 보정에 필요한 요(yaw)의 수치를 산출하고, 그 산출된 요의 수치가 반영된 요(yaw)의 회전 행렬(Ry)을 획득하여 상기 요의 회전 행렬(Ry)과 상기 카메라의 방향 추정 결과를 반영하여 상기 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 보정된 회전 행렬(R')을 획득하는 연산부(14);
    촬영 이미지를 정면 객체로 변환하는데에 사용되는 호모그래피 수학식(H)에 상기 연산부에서 보정된 회전행렬(R')과 카메라 칼리브레이션 행렬(K) 및 상기 좌표계 전환행렬(C)을 적용하여 요(yaw)가 보정되고 피치(pitch)와 롤(roll)에 따른 방향 추정 결과가 반영된 영상 좌표계 기준의 투영변환을 위한 호모그래피 행렬(H)을 획득하는 좌표 변환부(15);를 포함하여 구성되는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템.
  2. 제1항에 있어서, 상기 파라미터 설정부(11)는,
    수학식 2
    Figure 112012040657920-pat00021

    수학식 3
    Figure 112012040657920-pat00022

    벽면에 대한 보정행렬(Rw-1)과 천장에 대한 보정행렬(Rc-1)을 수학식 2와 수학식 3으로 각각 그 초기치를 설정하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템.
  3. 제2항에 있어서, 상기 연산부(14)는,
    상기 자이로 센서 좌표계의 회전 행렬(R)이 아래의 수학식 4와 같을 때에,
    수학식 4
    Figure 112012040657920-pat00023

    요(yaw)의 수치값을 아래의 수학식 5를 통해
    수학식 5
    Figure 112012040657920-pat00024

    산출하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템.
  4. 제3항에 있어서, 상기 연산부(14)는,
    상기 산출된 요(yaw)의 수치값에 대하여 아래의 수학식 6을 통해
    수학식 6
    Figure 112012040657920-pat00025

    요의 회전 행렬(Ry)을 설정하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템.
  5. 제4항에 있어서, 상기 방향 추정부(13)는,
    상기 판독된 피치(pitch)와 롤(roll)을 체크하여, 피치 > π/4 일 경우 벽면으로, 피치 < π/4 이고│롤│ > π/2 일 경우 천장으로, 피치 < π/4이고 │롤│ < π/2 일 경우 바닥으로 카메라의 방향을 추정하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템.
  6. 제5항에 있어서, 상기 연산부(14)는,
    파라미터 설정부(11)에서 설정된 수학식 2 또는 수학식 3, 또는 상기 설정된 수학식 6을 이용하여
    카메라의 방향이 벽면을 향하는 경우 아래의 수학식 7을 통해,
    수학식 7
    Figure 112012040657920-pat00026

    카메라의 방향이 천장을 향하는 경우 아래의 수학식 8을 통해,
    수학식 8
    Figure 112012040657920-pat00027

    카메라의 방향이 바닥을 향하는 경우 아래의 수학식 9를 통해,
    수학식 9
    Figure 112012040657920-pat00028

    각각 상기 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 1차 보정된 회전 행렬(R')을 획득하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템.
  7. 제6항에 있어서, 상기 좌표 변환부(15)는,
    정면 객체 변환에 필요한 아래의 수학식 1의 호모그래피의 수식(H)에 대하여,
    수학식 1
    Figure 112012040657920-pat00029

    자이로 센서 좌표계를 영상 좌표계로 변환하기 위한 수학식 10의 좌표계 전환행렬(C), 수학식 11의 가상의 카메라 좌표(P')와 수학식 12의 실제 카메라 좌표(P)로부터 산출되는 수학식 13의 정면 카메라와 실제 카메라 사이의 이동벡터(t), 및 방향 추정을 통해 보정된 회전 행렬(R')을 적용하여,
    수학식 10
    Figure 112012040657920-pat00030

    수학식 11
    Figure 112012040657920-pat00031

    수학식 12
    Figure 112012040657920-pat00032

    수학식 13
    Figure 112012040657920-pat00033

    아래의 수학식 14를 통해 호모그래피 행렬(H)을 획득하며,
    수학식 14
    Figure 112012040657920-pat00034

    상기 수학식 14의 대상면의 법선 벡터(n)은 아래의 수학식 15를 통해 유추되므로,
    수학식 15
    Figure 112012040657920-pat00035

    임의 설정값(N)을 아래의 수학식 16으로 설정하였을 때에,
    수학식 16
    Figure 112012040657920-pat00036

    호모그래피 행렬(H)은 아래의 수학식 17을 통해 획득하고,
    수학식 17
    Figure 112012040657920-pat00037

    상기 보정된 회전 행렬(R')의 원소가 수학식 4와 같을 때에, 그로부터 치환 행렬(R")를 수학식 18로 설정하였을 때에,
    수학식 18
    Figure 112012040657920-pat00038

    상기 치환 행렬(R")을 아래의 수학식 19를 통해 획득하고,
    수학식 19
    Figure 112012040657920-pat00039

    투영 변환 수행에 필요한 호모그래피 행렬(H)을 아래의 수학식 20을 통해
    수학식 20
    Figure 112012040657920-pat00040

    획득하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템.
  8. 자이로 센서를 구비하고, 카메라를 통해 촬영한 이미지에 대하여 x, y, z 축에 대한 회전인 피치(pitch), 롤(roll), 요(yaw) 외에 사원수(quaternion), 사원수의 변환을 통한 회전 행렬(R)을 상기 자이로 센서 좌표계의 수치값으로 제공하는 스마트폰을 이용한 정면 객체(frontal-view) 변환방법에 있어서,
    (a) 스마트 폰의 자세와 관련된 상기 자이로 센서 좌표계의 수치 판독 및 그 판독된 성분 보정에 필요한 다수의 파라미터(Rw-1,Rc-1,K,Ry) 및 그 초기치를 설정하는 단계;
    (b) 상기 자이로 센서 좌표계의 각 수치값으로부터 회전 행렬(R), 피치(pitch), 롤(roll)을 판독하여, 요(yaw)의 회전 행렬(Ry)을 획득하고 카메라의 방향을 추정하는 단계;
    (c) 상기 요의 회전 행렬(Ry)과 상기 카메라의 방향 추정 결과를 반영하여 상기 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 보정된 회전 행렬(R')을 획득하는 단계; 및,
    (d) 촬영 이미지를 정면 객체로 변환하는데에 사용되는 호모그래피 수학식(H)에 보정된 회전 행렬(R')과 카메라 칼리브레이션 행렬(K) 및 좌표계 전환행렬(C)을 적용하여 요(yaw)가 보정되고 방향 추정 결과가 반영된 영상 좌표계 기준의 호모그래피 행렬(H)을 획득하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  9. 제8항에 있어서,
    (e) 상기 획득된 호모그래피 행렬(H)을 기준으로 퍼스펙티브를 실행하여 목적 이미지를 출력하는 단계;를 포함하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  10. 제8항 또는 제9항 중 어느 한 항에 있어서, 상기 (a) 단계는,
    수학식 2
    Figure 112012040657920-pat00041

    수학식 3
    Figure 112012040657920-pat00042

    벽면에 대한 보정행렬(Rw-1) 및 천장에 대한 보정행렬(Rc-1)을 수학식 2 및 수학식 3으로 그 초기치를 설정하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  11. 제10항에 있어서, 상기 (b) 단계는,
    (b1) 상기 판독된 회전 행렬(R)을 분해하여 요(yaw)의 보정에 필요한 요(yaw)의 수치를 산출하는 단계;
    (b2) 상기 산출된 요의 수치를 이용하여 요의 보정에 필요한 요(yaw)의 회전 행렬(Ry)을 획득하는 단계;를 포함하여 구성되는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  12. 제11항에 있어서, 상기 (b1) 단계는,
    상기 자이로 센서 좌표계의 회전 행렬(R)이 아래의 수학식 4와 같을 때에
    수학식 4
    Figure 112012040657920-pat00043

    요(yaw)는 아래의 수학식 5를 통해
    수학식 5
    Figure 112012040657920-pat00044

    산출하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  13. 제12항에 있어서, 상기 (b2) 단계는,
    상기 산출된 요(yaw)의 수치값에 대하여 아래의 수학식 6을 통해
    수학식 6
    Figure 112012040657920-pat00045

    설정하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  14. 제11항에 있어서, 상기 (b) 단계는,
    (b3) 상기 판독된 피치(pitch)와 롤(roll)을 체크하여 카메라의 방향을 추정하는 단계;를 더 포함하여 구성되는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  15. 제14항에 있어서, 상기 (b3) 단계에서 이루어지는 카메라의 방향 추정은,
    피치 > π/4 일 경우 벽면으로, 피치 < π/4 이고│롤│ > π/2 일 경우 천장으로, 피치 < π/4이고 │롤│ < π/2 일 경우 바닥으로 카메라의 방향으로 추정하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  16. 제13항에 있어서, 상기 (c)단계는,
    카메라의 방향이 벽면을 향하는 경우 아래의 수학식 7을 통해,
    수학식 7
    Figure 112012040657920-pat00046

    카메라의 방향이 천장을 향하는 경우 아래의 수학식 8을 통해,
    수학식 8
    Figure 112012040657920-pat00047

    카메라의 방향이 바닥을 향하는 경우 아래의 수학식 9를 통해,
    수학식 9
    Figure 112012040657920-pat00048

    각각 상기 자이로 센서 좌표계에서 판독된 회전 행렬(R)을 보정하여 1차 보정된 회전 행렬(R')을 획득하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
  17. 제16항에 있어서, 상기 (d) 단계는,
    정면 객체 변환에 필요한 아래의 수학식 1의 호모그래피의 수식(H)에 대하여,
    수학식 1
    Figure 112012040657920-pat00049

    자이로 센서 좌표계를 영상 좌표계로 변환하기 위한 수학식 10의 좌표계 전환행렬(C), 수학식 11의 가상의 카메라 좌표(P')와 수학식 12의 실제 카메라 좌표(P)로부터 산출되는 수학식 13의 정면 카메라와 실제 카메라 사이의 이동벡터(t), 및 방향 추정을 통해 보정된 회전 행렬(R')을 적용하여,
    수학식 10
    Figure 112012040657920-pat00050

    수학식 11
    Figure 112012040657920-pat00051

    수학식 12
    Figure 112012040657920-pat00052

    수학식 13
    Figure 112012040657920-pat00053

    아래의 수학식 14를 통해 호모그래피 행렬(H)을 획득하며,
    수학식 14
    Figure 112012040657920-pat00054

    상기 수학식 14의 대상면의 법선 벡터(n)은 아래의 수학식 15를 통해 유추되므로,
    수학식 15
    Figure 112012040657920-pat00055

    임의 설정값(N)을 아래의 수학식 16으로 설정하였을 때에,
    수학식 16
    Figure 112012040657920-pat00056

    호모그래피 행렬(H)은 아래의 수학식 17을 통해 획득하고,
    수학식 17
    Figure 112012040657920-pat00057

    상기 보정된 회전 행렬(R')의 원소가 수학식 4와 같을 때에, 그로부터 치환 행렬(R")를 수학식 18로 설정하였을 때에,
    수학식 18
    Figure 112012040657920-pat00058

    상기 치환 행렬(R")을 아래의 수학식 19를 통해 획득하고,
    수학식 19
    Figure 112012040657920-pat00059

    투영 변환 수행에 필요한 호모그래피 행렬(H)을 아래의 수학식 20을 통해
    수학식 20
    Figure 112012040657920-pat00060

    획득하는 것을 특징으로 하는 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성방법.
KR1020120053954A 2012-05-22 2012-05-22 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법 KR101349347B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120053954A KR101349347B1 (ko) 2012-05-22 2012-05-22 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120053954A KR101349347B1 (ko) 2012-05-22 2012-05-22 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130130283A KR20130130283A (ko) 2013-12-02
KR101349347B1 true KR101349347B1 (ko) 2014-01-20

Family

ID=49979982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120053954A KR101349347B1 (ko) 2012-05-22 2012-05-22 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101349347B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653484B1 (ko) * 2015-02-03 2016-09-01 동아대학교 산학협력단 스마트 기기를 이용한 오토 레벨 수준 측량장치
KR101655013B1 (ko) * 2015-02-03 2016-09-06 동아대학교 산학협력단 수준측량 어플을 탑재한 스마트폰
KR101705558B1 (ko) * 2015-06-25 2017-02-13 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
KR102462799B1 (ko) 2015-11-05 2022-11-03 삼성전자주식회사 자세 추정 방법 및 자세 추정 장치
KR102004247B1 (ko) * 2016-11-25 2019-07-29 경희대학교 산학협력단 영상 병렬 처리 방법 및 장치
KR102531009B1 (ko) * 2018-07-05 2023-05-16 십일번가 주식회사 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004940A (ko) * 2009-07-09 2011-01-17 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR20110082813A (ko) * 2010-01-12 2011-07-20 키위플 주식회사 객체 인식시스템 및 이를 이용하는 객체 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004940A (ko) * 2009-07-09 2011-01-17 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR20110082813A (ko) * 2010-01-12 2011-07-20 키위플 주식회사 객체 인식시스템 및 이를 이용하는 객체 인식 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1(2008.02) *
논문2(2011.07) *

Also Published As

Publication number Publication date
KR20130130283A (ko) 2013-12-02

Similar Documents

Publication Publication Date Title
US10984554B2 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
KR102136241B1 (ko) 표정 검출 성능을 갖는 머리-장착형 디스플레이
KR101349347B1 (ko) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
US20190033988A1 (en) Controller tracking for multiple degrees of freedom
US9696543B2 (en) Information processing apparatus and information processing method
JP6476657B2 (ja) 画像処理装置、画像処理方法、およびプログラム
IL308285A (en) System and method for augmentation and virtual reality
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
US20170147866A1 (en) Image processing device and image display device
WO2018098772A1 (zh) 视点确定方法、装置、电子设备和计算机程序产品
JP2013171523A (ja) Ａｒ画像処理装置及び方法
KR20130058424A (ko) 특징점의 삼차원 위치 계산 장치 및 방법
US20180075660A1 (en) Method and device for blurring a virtual object in a video
KR20150091653A (ko) 사용자 시점 연동형 영상 처리 장치 및 그 방법
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
US10901213B2 (en) Image display apparatus and image display method
US11483528B2 (en) Information processing apparatus and information processing method
JP5410328B2 (ja) 光学投影安定化装置、光学投影安定化方法およびプログラム
CN114283243A (zh) 数据处理方法、装置、计算机设备及存储介质
CN108563981B (zh) 一种基于投影机和摄相机的手势识别方法和装置
JP5759439B2 (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
JP2017134775A (ja) 画像処理装置、画像処理方法及びプログラム
KR20130032764A (ko) 기준 시점 영상 생성 장치 및 방법
Kim et al. Real‐Time Human Shadow Removal in a Front Projection System
CN115278049A (zh) 拍摄方法及其装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee