KR20110042971A - 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법 - Google Patents

투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법 Download PDF

Info

Publication number
KR20110042971A
KR20110042971A KR1020090099860A KR20090099860A KR20110042971A KR 20110042971 A KR20110042971 A KR 20110042971A KR 1020090099860 A KR1020090099860 A KR 1020090099860A KR 20090099860 A KR20090099860 A KR 20090099860A KR 20110042971 A KR20110042971 A KR 20110042971A
Authority
KR
South Korea
Prior art keywords
image
plane
augmented reality
feature point
camera
Prior art date
Application number
KR1020090099860A
Other languages
English (en)
Other versions
KR101633359B1 (ko
Inventor
윤석준
노경식
형승용
안성환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090099860A priority Critical patent/KR101633359B1/ko
Priority to US12/905,649 priority patent/US8791960B2/en
Publication of KR20110042971A publication Critical patent/KR20110042971A/ko
Application granted granted Critical
Publication of KR101633359B1 publication Critical patent/KR101633359B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

영상 내의 특징점을 추출하고, 특징점의 투사 불변량(Projective Invariant)을 이용하여 마커(Marker)없이 증강 현실(AR;Augmented Reality)을 구현하는 시스템 및 그 방법을 개시한다. 카메라의 위치를 다르게 하여 촬영한 두 개의 영상에서 특징점을 추적하고, 이 특징점 중에서 평면 투사 불변량(Plane Projective Invariant)을 만족하는 특징점 세트를 구하여 이 특징점 세트를 기준으로 증강 현실을 구현함으로써 특징점 세트가 카메라가 움직여도 평면 투사 불변량을 만족하여 마커의 역할을 수행하기 때문에 별도의 마커가 필요하지 않으며, 이 특징점 세트를 기준으로 증강 현실을 구현하기 때문에 전체 계산량을 줄일 수 있어 증강 현실 구현을 보다 효과적으로 수행할 수 있도록 한다.

Description

투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법{MARKER-LESS AUGMENTED REALITY SYSTEM USING PROJECTIVE INVARIANT AND METHOD THE SAME}
영상 내의 특징점을 추출하고, 특징점의 투사 불변량(Projective Invariant)을 이용하여 마커(Marker)없이 증강 현실(AR;Augmented Reality)을 구현하는 시스템 및 그 방법에 관한 것이다.
증강 현실(AR;Augmented Reality)이란 카메라에서 획득한 실제 영상에 가상의 그래픽스(물체)를 삽입하여 실제와 가상이 혼합된 영상을 생성하는 기술이다. 증강 현실은 현실 세계에서 획득한 영상 위에 가상의 그래픽스를 이용한 부가적인 정보를 제공할 수 있다는 특징을 가지고 있다. 이러한 증강 현실은 교육용 자료, 길 안내, 게임 등의 분야에서 활용성을 인정받고 있으며, User Interface로 사용되고 있다. 자연스러운 증강 현실을 구현하기 위해서는 영상을 획득하고 있는 카메라의 3차원 위치 정보를 빠르고 정확하게 알아내야 한다. 이를 위하여 명암비가 큰 정사각형의 마커(Marker)를 사용하는 마커 기반 증강 현실이 널리 사용되어 왔다. 사각형 마커를 사용하여 사각형의 네 개의 모서리 점을 검출하고, 이 정보를 이용하여 3차원 카메라 정보를 계산하는 방식이다. 이처럼 검출이 용이한 마커를 사용 하는 증강 현실은 인식과 추적이 비교적 정확하며 실시간으로 동작한다는 장점이 있다. 그러나 인위적인 마커의 사용으로 인하여 실감성이 감소되고, 사용자에게 이질감을 준다는 단점 또한 존재한다.
이러한 이유로 최근에는 인위적인 마커 대신에 일반적인 자연 영상을 이용한 증강 현실에 대한 연구가 진행 중이다. 마커 없는 증강 현실은 일반적으로 특징점 정합(feature point matching)에 기반한 방법을 사용한다. 특징점 정합이란 시점이 다른 두 영상에서 동일한 특징점을 찾아 서로 연결하는 작업을 의미한다. 이를 위하여 카메라의 3차원 위치 정보와 특징점의 3차원 위치 정보를 실시간으로 추적하는 SLAM(Simultaneous Localization And Map-building)/PTAM(Parallel Tracking And Mapping) 알고리즘을 이용하여 평면을 추출하고, 이 평면을 이용하여 증강 현실(AR;Augmented Reality)을 구현하는 방식이 제안되었다. 그러나 SLAM/PTAM 알고리즘은 영상을 획득하여 특징점을 찾고, 카메라의 3차원 위치와 특징점의 3차원 위치를 실시간으로 계산하고, 이러한 정보를 바탕으로 증강 현실을 구현하기 때문에 많은 계산량을 요구한다.
특징점의 투사 불변량(Projective Invariant)을 이용하여 적은 계산량으로 마커(Marker)없이 증강 현실(AR;Augmented Reality)을 구현하는 시스템 및 그 방법을 개시한다.
본 발명의 일 실시예에 의한 투사 불변량을 이용한 무표식 증강 현실 구현 시스템은, 영상을 획득하는 카메라; 카메라에서 획득한 영상을 분할하여 특징점을 추출하는 영상 처리부; 특징점의 평면 투사 불변량을 이용하여 평면을 추출하는 평면 추출부; 추출된 평면을 기준으로 증강 현실을 구현하는 AR 구현부를 포함한다.
카메라는 서로 다른 위치에서 물체의 영상 정보를 획득하는 단일 카메라인 것을 특징으로 한다.
영상 처리부는 카메라를 이동시키기 전의 위치에서 획득한 초기 영상(It)을 균등하게 분할하여 특징점을 추출하는 것을 특징으로 한다.
영상 처리부는 카메라를 이동시킨 위치에서 획득한 다음 영상(It+1)에서 추출된 특징점을 추적하는 특징점 추적부를 더 포함한다.
평면 추출부는 추적된 특징점 중에서 평면 투사 불변량을 만족하는 특징점 세트를 구하여 평면을 추출하는 것을 특징으로 한다.
특징점 세트는 특징점의 인덱스 값이 큰 것부터 순차적으로 세트를 만들어 평면 투사 불변량을 계산하는 것을 특징으로 한다.
AR 구현부는 평면 투사 불변량을 만족하는 특징점 세트를 기준으로 증강 현실을 구현하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 의한 투사 불변량을 이용한 무표식 증강 현실 구현 시스템은, 서로 다른 위치에서 촬영한 복수 개의 영상을 획득하는 카메라; 카메라에서 획득한 복수 개의 영상에서 특징점을 추출하여 추적하는 영상 처리부; 추적된 특징점 중에서 평면 투사 불변량을 만족하는 특징점 세트를 구하여 평면을 추출하는 평면 추출부; 평면 투사 불변량을 만족하는 특징점 세트를 기준으로 증강 현실을 구현하는 AR 구현부를 포함한다.
복수 개의 영상은 카메라를 이동시키기 전의 위치에서 획득한 초기 영상(It)과, 카메라를 이동시킨 위치에서 획득한 다음 영상(It+1)을 포함한다.
영상 처리부는 초기 영상(It)을 균등하게 분할하여 특징점을 추출하고, 다음 영상(It+1)에서 추출된 특징점을 추적하는 것을 특징으로 한다.
특징점 세트는 특징점의 인덱스 값이 큰 것부터 순차적으로 세트를 만들어 평면 투사 불변량을 계산하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 의한 투사 불변량을 이용한 무표식 증강 현실 구현 방법은, 카메라에서 물체를 촬영하여 초기 영상(It)을 획득하고; 획득한 초기 영상(It)을 균등하게 분할하여 특징점을 추출하고; 카메라를 이동시켜 다음 영상(It+1)을 획득하고; 다음 영상(It+1)에서 추출된 특징점을 추적하여 평면 투사 불변 량을 만족하는 특징점 세트를 구하고; 평면 투사 불변량을 만족하는 특징점 세트를 기준으로 증강 현실을 구현하는 것을 특징으로 한다.
카메라는 서로 다른 위치에서 촬영한 복수 개의 영상을 획득하는 것을 특징으로 한다.
평면 투사 불변량을 만족하는 특징점 세트를 구하는 것은, 물체 평면 상에서 표현되는 특징점의 월드 좌표와, 이에 대응하여 영상 평면 상에서 표현되는 특징점의 이미지 좌표를 이용하여 평면 투사 불변량 값을 계산하고, 평면 투사 불변량을 만족하는 특징점 세트를 구하여 평면을 추출하는 것을 특징으로 한다.
개시된 투사 불변량을 이용하여 무표식 증강 현실을 구현하는 시스템 및 그 방법에 의하면, 카메라의 위치를 다르게 하여 촬영한 두 개의 영상에서 특징점을 추적하고, 이 특징점 중에서 평면 투사 불변량(Plane Projective Invariant)을 만족하는 특징점 세트를 구하여 이 특징점 세트를 기준으로 증강 현실(AR;Augmented Reality)을 구현함으로써 특징점 세트가 카메라가 움직여도 평면 투사 불변량을 만족하여 마커(Marker)의 역할을 수행하기 때문에 별도의 마커가 필요하지 않으며, 이 특징점 세트를 기준으로 증강 현실을 구현하기 때문에 전체 계산량을 줄일 수 있어 증강 현실 구현을 보다 효과적으로 수행할 수 있도록 한다.
이하, 본 발명의 일 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 의한 투사 불변량을 이용한 무표식 증강 현실 구현 시스템의 제어 블록도로서, 영상 획득부(10), 저장부(20), 영상 처리부(30), 평면 추출부(40) 및 AR 구현부(50)를 포함한다.
영상 획득부(10)는 카메라를 통해 물체(object)의 영상을 촬영하여 물체의 영상 정보를 획득한다. 카메라는 게임기, 휴대폰, 스마트폰 등의 IT 기기나 지능 로봇에 마련될 수 있으며, 단일 카메라를 이용하여 물체의 영상 정보를 획득한다.
저장부(20)는 영상 획득부(10)를 통해 획득된 물체의 영상 정보를 저장하는 메모리로, 카메라의 위치를 다르게 하여 촬영한 두 개의 영상(It), (It+1)을 저장한다. 즉, 카메라를 이동시키기 전의 위치에서 획득한 초기 영상(It)과 소정의 시간 간격을 두고 카메라를 이동시킨 위치에서 획득한 다음 영상(It+1)의 정보를 저장하여 적어도 두 개 이상의 영상을 저장한다.
영상 처리부(30)는 영상 획득부(10)를 통해 획득된 영상을 저장부(20)로부터 입력받아 영상을 균등하게 분할하고 특징점을 추출하는 것으로, 영상 획득부(10)를 통해 획득된 영상을 균등하게 분할하는 영상 분할부(32)와, 영상 분할부(32)를 통해 분할된 영상에서 특징점을 추출하는 특징점 추출부(34)와, 특징점 추출부(34)를 통해 추출된 특징점을 추적하는 특징점 추적부(36)를 포함한다.
영상 분할부(32)는 카메라를 이동시키기 전의 위치에서 획득한 초기 영상(It)을 균등하게 분할한다.
특징점 추출부(34)는 카메라를 이동시키기 전의 위치에서 획득한 초기 영 상(It)의 분할된 영역에서 특징점을 추출하는 것으로, 특징점은 초기 영상(It)의 분할된 영역에서 일정한 점을 선택하였을 때 시간과 관찰 각도에 의해서 변하지 않는 정량적 특징을 추출할 수 있어야 한다. 보통 영상에서는 코너 이미지 또는 이미지 패치를 사용하여 어느 각도에서 관찰하여도 변하지 않는 점을 찾아내는데, 본 발명의 일 실시예에서는 특징점의 특정 값의 크기에 따라 아래와 같이 인덱싱(Indexing)을 한다.
Fijn : 영상을 분할한 화면상의 x, y픽셀 좌표 중 (i, j) 영역에서 n번째 인덱스(Index) 값을 가지는 특징점을 나타낸다.
특징점 추적부(36)는 특징점 추출부(34)를 통해 초기 영상이 균등하게 분할된 영역으로부터 추출한 특징점을 다음 영상(It+1)에서 추적하는 것으로, 특징점의 특정 인덱스(Index) 값이 큰 특징점의 순서대로 세트를 만들어 평면 추출부(40)에 전달한다.
평면 추출부(40)는 특징점 추적부(36)에서 추적된 특징점 중에서 평면 투사 불변량(Plane Projective Invariant)을 이용하여 평면을 추출하는 것으로, 특징점의 특정 인덱스(Index) 값이 큰 특징점의 순서대로 만들어진 특징점 세트의 투사 불변량 값을 계산하여 평면 투사 불변량을 만족하는 특징점 세트를 구하는데, 평면 투사 불변량을 만족하는 특징점 세트가 평면이다.
이를 보다 자세히 설명하면, 물체 평면(object plane)과 영상 평면(image plane) 상에서 평면 투사 불변량(Plane Projective Invariant)은 아래의 [수학식 1]과 같이 정의된다(한국공개특허공보 2004-0044620 참조).
[수학식 1]
Figure 112009064225675-PAT00001
여기서, I1, I2는 획득한 영상에 대한 투사 불변량 표현자이고, Pi(i=1~5)는 물체점이고, qi(i=1~5)는 이에 대응하는 영상점이다.
그리고, [수학식 1]에서 사용된 det(ㆍ)는 아래의 [수학식 2]와 같이 정의된다.
[수학식 2]
Figure 112009064225675-PAT00002
여기서, det(p1,p2,p3)는 카메라의 영상 평면(image plane) 상에서 표현되는 특징점의 이미지 좌표이고, det(P1,P2,P3)는 물체 평면(object plane) 상에서 표현되는 특징점의 월드 좌표이다.
[수학식 1]과 [수학식 2]와 같이 정의되는 투사 불변량 표현자(I1, I2)는 비선형 변환시에도 변하지 않는 정보로서, 카메라의 위치가 변해도 즉, 영상 획득부(10)에 의해 획득된 영상의 형태가 변화하더라도 평면을 만족하면 궁극적으로 그 값은 변하지 않게 된다. 따라서 평면 투사 불변량(Plane Projective Invariant)을 만족하는 특징점 세트는 평면이며, 이 값을 기준으로 증강 현실(AR)을 구현할 수 있게 된다. 평면 투사 불변량(Plane Projective Invariant)을 만족하는 특징점 세트를 구할 때에는 특정 값의 크기에 따라 인덱싱(Indexing)을 한 특징점 Fijn에서 n이 작은 값부터 검색을 한다.
AR 구현부(50)는 평면 투사 불변량(Plane Projective Invariant)을 만족하는 특징점 세트를 기준으로 증강 현실(AR)을 구현하는 것으로, 이렇게 구해진 특징점 세트는 카메라가 움직여도 투사 불변량을 만족하기 때문에 증강 현실(AR) 구현 시 마커의 역할을 수행하게 된다.
이하, 상기와 같이 구성된 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법의 동작과정 및 작용효과를 설명한다.
도 2는 본 발명의 일 실시예에 의한 투사 불변량을 이용한 무표식 증강 현실 구현 방법을 나타낸 동작 순서도이고, 도 3은 본 발명의 일 실시예에 의한 특징점 추출을 위한 영상 분할의 개념도이며, 도 4는 본 발명의 일 실시예에 의한 특징점 추출의 개념도이고, 도 5는 본 발명의 일 실시예에 의한 특징점 추적의 개념도이며, 도 6은 본 발명의 일 실시예에 의한 물체 평면과 영상 평면 상의 좌표계 및 투 사 관계를 나타내는 도면이고, 도 7은 본 발명의 일 실시예에 의한 평면 추출의 개념도이며, 도 8은 본 발명의 일 실시예에 의한 증강 현실 구현의 개념도이다.
도 2에서, 게임기, 휴대폰, 스마트폰 등의 IT 기기나 지능 로봇에 마련된 영상 획득부(10)는 단일 카메라를 통해 물체(object)의 영상을 촬영하여 물체의 영상 정보를 획득한다(100). 이때 획득되는 물체의 영상 정보는 카메라를 이동시키기 전의 위치에서 획득한 초기 영상(It)으로 저장부(20)에 저장된다.
영상 처리부(30)의 영상 분할부(32)는 저장부(20)에 저장된 초기 영상(It)을 입력받아 카메라를 이동시키기 전의 위치에서 획득한 초기 영상(It)을 도 3에 도시한 바와 같이, 균등하게 분할하여 특징점 추출부(34)에 전달한다(102).
따라서, 영상 처리부(30)의 특징점 추출부(34)는 초기 영상(It)이 균등하게 분할된 영역에서 도 4에 도시한 바와 같이, 특징점(ㅁ)을 추출한다(104). 특징점(ㅁ)은 특정 값의 크기에 따라 아래와 같이 인덱싱(Indexing)을 한다.
Fijn : 초기 영상(It)을 분할한 화면상의 x, y픽셀 좌표 중 (i, j) 영역에서 n번째 인덱스(Index) 값을 가지는 특징점(ㅁ)을 나타낸다(도 4 참조).
이후, 카메라를 이동시켜 물체의 영상 정보를 영상 획득부(10)에서 다시 획득한다(106). 이때 획득되는 물체의 영상 정보는 카메라를 이동시킨 위치에서 획득한 다음 영상(It+1)으로 저장부(20)에 저장된다. 이와 같이, 저장부(20)에는 소정의 시간 간격을 두고 카메라의 위치를 다르게 하여 획득한 두 개의 영상 정보가 저장 된다.
영상 처리부(30)의 특징점 추적부(36)는 카메라를 이동시킨 위치에서 획득한 다음 영상(It+1)에서 초기 영상(It)이 균등하게 분할된 영역으로부터 추출한 특징점(ㅁ)을 도 5에 도시한 바와 같이, 추적한다(108).
이렇게 하여 추적된 특징점(ㅁ)의 특정 인덱스(Index) 값이 큰 특징점(ㅁ)의 순서대로 세트를 만들어 평면 추출부(40)에 전달한다.
따라서, 평면 추출부(40)는 특징점(ㅁ)의 특정 인덱스(Index) 값이 큰 특징점(ㅁ)의 순서대로 만들어진 특징점 세트의 투사 불변량 값을 계산하여 평면 투사 불변량(Plane Projective Invariant)을 만족하는 특징점 세트를 구한다(110~112). 평면 투사 불변량을 만족하는 특징점 세트를 구하는 과정을 도 6을 참조하여 설명한다.
도 6은 본 발명의 일 실시예에 의한 물체 평면과 영상 평면 상의 좌표계 및 투사 관계를 나타내는 도면이다.
도 6에서, 영상 획득부(10)는 카메라를 이동시키기 전의 좌측(L) 위치에서 물체의 영상을 촬영하고, 이후 카메라의 위치를 우측(R)으로 이동시켜 물체의 영상을 촬영함으로서 카메라의 위치를 다르게 하여 촬영한 두 개의 영상을 획득한다.
좌측(L) 위치에서 촬영한 물체(object)의 영상 정보는 좌측(L) 영상 평면(image plane) 상에 이미지 좌표로 표현되고, 우측(R) 위치에서 촬영한 물체(object)의 영상 정보는 우측(R) 영상 평면(image plane) 상에 이미지 좌표로 표 현된다.
도 6에서, Pi(i=1~5)는 물체 평면(object plane) 상에 표현되는 물체점이고, qi(i=1~5)는 이에 대응하여 영상 평면(image plane) 상에 표현되는 영상점이다.
위에서 설명한 바와 같이, 물체 평면(object plane)과 영상 평면(image plane) 상에서 평면 투사 불변량은 아래의 [수학식 1]과 같이 정의된다.
[수학식 1]
Figure 112009064225675-PAT00003
여기서, I1, I2는 획득한 영상에 대한 투사 불변량 표현자이고, Pi(i=1~5)는 물체점이고, qi(i=1~5)는 이에 대응하는 영상점이다.
평면 투사 불변량은 카메라의 위치가 변해도 평면을 만족하면 그 값이 변하지 않는다. 따라서 평면 투사 불변량(Plane Projective Invariant)을 만족하는 특징점 세트는 평면이므로 특징점(ㅁ)의 투사 불변량을 이용하여 도 7에 도시한 바와 같이, 평면을 추출하는 것이다.
이렇게 구해진 특징점 세트는 카메라가 움직여도 투사 불변량을 만족하기 때문에 AR 구현부(50)는 평면 투사 불변량(Plane Projective Invariant)을 만족하는 특징점 세트를 기준으로 도 8에 도시한 바와 같이, 증강 현실(AR)을 구현한 다(114).
이에 따라, 카메라가 이동하여도 특징점 세트(평면)는 투사 불변량을 만족하여 마커의 역할을 수행할 수 있기 때문에 증강 현실(AR) 구현 시 별도의 마커가 필요하지 않으며 이 특징점 세트를 기준으로 증강 현실(AR)을 구현하기 때문에 전체 계산량을 줄일 수 있어 AR 구현을 보다 효과적으로 수행할 수 있게 되는 것이다.
도 1은 본 발명의 일 실시예에 의한 투사 불변량을 이용한 무표식 증강 현실 구현 시스템의 제어 블록도이다.
도 2는 본 발명의 일 실시예에 의한 투사 불변량을 이용한 무표식 증강 현실 구현 방법을 나타낸 동작 순서도이다.
도 3은 본 발명의 일 실시예에 의한 특징점 추출을 위한 영상 분할의 개념도이다.
도 4는 본 발명의 일 실시예에 의한 특징점 추출의 개념도이다.
도 5는 본 발명의 일 실시예에 의한 특징점 추적의 개념도이다.
도 6은 본 발명의 일 실시예에 의한 물체 평면과 영상 평면 상의 좌표계 및 투사 관계를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 의한 평면 추출의 개념도이다.
도 8은 본 발명의 일 실시예에 의한 증강 현실 구현의 개념도이다.
*도면의 주요 부분에 대한 부호의 설명*
10 : 영상 획득부 20 : 저장부
30 : 영상 처리부 32 : 영상 분할부
34 : 특징점 추출부 36 : 특징점 추적부
40 : 평면 추출부 50 : AR 구현부

Claims (15)

  1. 영상을 획득하는 카메라;
    상기 카메라에서 획득한 영상을 분할하여 특징점을 추출하는 영상 처리부;
    상기 특징점의 평면 투사 불변량을 이용하여 평면을 추출하는 평면 추출부;
    상기 추출된 평면을 기준으로 증강 현실을 구현하는 AR 구현부를 포함하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  2. 제1항에 있어서,
    상기 카메라는 서로 다른 위치에서 물체의 영상 정보를 획득하는 단일 카메라인 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  3. 제2항에 있어서,
    상기 영상 처리부는 상기 카메라를 이동시키기 전의 위치에서 획득한 초기 영상(It)을 균등하게 분할하여 특징점을 추출하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  4. 제3항에 있어서,
    상기 영상 처리부는 상기 카메라를 이동시킨 위치에서 획득한 다음 영 상(It+1)에서 상기 추출된 특징점을 추적하는 특징점 추적부를 더 포함하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  5. 제4항에 있어서,
    상기 평면 추출부는 상기 추적된 특징점 중에서 상기 평면 투사 불변량을 만족하는 특징점 세트를 구하여 상기 평면을 추출하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  6. 제5항에 있어서,
    상기 특징점 세트는 상기 특징점의 인덱스 값이 큰 것부터 순차적으로 세트를 만들어 상기 평면 투사 불변량을 계산하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  7. 제5항에 있어서,
    상기 AR 구현부는 상기 평면 투사 불변량을 만족하는 특징점 세트를 기준으로 증강 현실을 구현하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  8. 서로 다른 위치에서 촬영한 복수 개의 영상을 획득하는 카메라;
    상기 카메라에서 획득한 복수 개의 영상에서 특징점을 추출하여 추적하는 영 상 처리부;
    상기 추적된 특징점 중에서 평면 투사 불변량을 만족하는 특징점 세트를 구하여 평면을 추출하는 평면 추출부;
    상기 평면 투사 불변량을 만족하는 특징점 세트를 기준으로 증강 현실을 구현하는 AR 구현부를 포함하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  9. 제8항에 있어서,
    상기 복수 개의 영상은 상기 카메라를 이동시키기 전의 위치에서 획득한 초기 영상(It)과, 상기 카메라를 이동시킨 위치에서 획득한 다음 영상(It+1)을 포함하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  10. 제9항에 있어서,
    상기 영상 처리부는 상기 초기 영상(It)을 균등하게 분할하여 특징점을 추출하고, 상기 다음 영상(It+1)에서 상기 추출된 특징점을 추적하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  11. 제8항에 있어서,
    상기 특징점 세트는 상기 특징점의 인덱스 값이 큰 것부터 순차적으로 세트 를 만들어 상기 평면 투사 불변량을 계산하는 투사 불변량을 이용한 무표식 증강 현실 구현 시스템.
  12. 카메라에서 물체를 촬영하여 초기 영상(It)을 획득하고;
    상기 획득한 초기 영상(It)을 균등하게 분할하여 특징점을 추출하고;
    상기 카메라를 이동시켜 다음 영상(It+1)을 획득하고;
    상기 다음 영상(It+1)에서 상기 추출된 특징점을 추적하여 평면 투사 불변량을 만족하는 특징점 세트를 구하고;
    상기 평면 투사 불변량을 만족하는 특징점 세트를 기준으로 증강 현실을 구현하는 투사 불변량을 이용한 무표식 증강 현실 구현 방법.
  13. 제12항에 있어서,
    상기 카메라는 서로 다른 위치에서 촬영한 복수 개의 영상을 획득하는 투사 불변량을 이용한 무표식 증강 현실 구현 방법.
  14. 제12항에 있어서,
    상기 특징점 세트는 상기 특징점의 인덱스 값이 큰 것부터 순차적으로 세트를 만들어 상기 평면 투사 불변량을 계산하는 투사 불변량을 이용한 무표식 증강 현실 구현 방법.
  15. 제12항에 있어서,
    상기 평면 투사 불변량을 만족하는 특징점 세트를 구하는 것은,
    물체 평면 상에서 표현되는 특징점의 월드 좌표와, 이에 대응하여 영상 평면 상에서 표현되는 특징점의 이미지 좌표를 이용하여 상기 평면 투사 불변량 값을 계산하고, 상기 평면 투사 불변량을 만족하는 상기 특징점 세트를 구하여 평면을 추출하는 투사 불변량을 이용한 무표식 증강 현실 구현 방법.
KR1020090099860A 2009-10-20 2009-10-20 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법 KR101633359B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090099860A KR101633359B1 (ko) 2009-10-20 2009-10-20 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
US12/905,649 US8791960B2 (en) 2009-10-20 2010-10-15 Markerless augmented reality system and method using projective invariant

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090099860A KR101633359B1 (ko) 2009-10-20 2009-10-20 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110042971A true KR20110042971A (ko) 2011-04-27
KR101633359B1 KR101633359B1 (ko) 2016-06-27

Family

ID=43878953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090099860A KR101633359B1 (ko) 2009-10-20 2009-10-20 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US8791960B2 (ko)
KR (1) KR101633359B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371831B1 (ko) * 2011-09-30 2014-03-26 이문기 스테레오 영상 기반 영상처리 시스템
US9405359B2 (en) 2011-07-28 2016-08-02 Samsung Electronics Co., Ltd. Plane-characteristic-based markerless augmented reality system and method for operating same
WO2020101420A1 (ko) * 2018-11-15 2020-05-22 숙명여자대학교산학협력단 증강현실 기기의 광학 특성 측정 방법 및 장치

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8907983B2 (en) 2010-10-07 2014-12-09 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US9041743B2 (en) 2010-11-24 2015-05-26 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US9070219B2 (en) 2010-11-24 2015-06-30 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US9017163B2 (en) * 2010-11-24 2015-04-28 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
JP5026604B2 (ja) 2011-02-24 2012-09-12 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
JP5178860B2 (ja) * 2011-02-24 2013-04-10 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
JP4989768B2 (ja) 2011-02-24 2012-08-01 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP2011134343A (ja) 2011-02-24 2011-07-07 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP4967065B2 (ja) 2011-02-24 2012-07-04 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5016723B2 (ja) 2011-02-24 2012-09-05 任天堂株式会社 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法
US9118970B2 (en) 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
JP5920352B2 (ja) * 2011-08-24 2016-05-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9100576B2 (en) 2011-12-05 2015-08-04 Xerox Corporation Camera positioning tool for symbology reading
US20130155327A1 (en) * 2012-02-01 2013-06-20 Geoffrey Louis Barrows Method to Process Image Sequences with Sub-Pixel Displacements
JP5942456B2 (ja) * 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US9299160B2 (en) 2012-06-25 2016-03-29 Adobe Systems Incorporated Camera tracker target user interface for plane detection and object creation
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
US9807263B2 (en) 2012-10-31 2017-10-31 Conduent Business Services, Llc Mobile document capture assistance using augmented reality
US10769852B2 (en) 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
WO2014144035A1 (en) * 2013-03-15 2014-09-18 Brian Adams Ballard Method and system for representing and interacting with augmented reality content
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US20150046296A1 (en) 2013-08-12 2015-02-12 Airvirtise Augmented Reality Device with Global Positioning
US8943569B1 (en) 2013-10-01 2015-01-27 Myth Innovations, Inc. Wireless server access control system and method
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US9886162B2 (en) 2014-06-02 2018-02-06 Qualcomm Incorporated Device-provided tracking data for augmented reality
US9646201B1 (en) 2014-06-05 2017-05-09 Leap Motion, Inc. Three dimensional (3D) modeling of a complex control object
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
US10535160B2 (en) 2017-07-24 2020-01-14 Visom Technology, Inc. Markerless augmented reality (AR) system
US10282913B2 (en) 2017-07-24 2019-05-07 Visom Technology, Inc. Markerless augmented reality (AR) system
WO2019023076A1 (en) * 2017-07-24 2019-01-31 Visom Technology, Inc. AUGMENTED REALITY SYSTEM (RA) WITHOUT MARKER
WO2019191819A1 (en) 2018-04-05 2019-10-10 Efficiency Matrix Pty Ltd Computer implemented structural thermal audit systems and methods
US10810430B2 (en) 2018-12-27 2020-10-20 At&T Intellectual Property I, L.P. Augmented reality with markerless, context-aware object tracking
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
US11196842B2 (en) 2019-09-26 2021-12-07 At&T Intellectual Property I, L.P. Collaborative and edge-enhanced augmented reality systems
WO2022031266A1 (en) * 2020-08-04 2022-02-10 Hewlett-Packard Development Company, L.P. Collision avoidance of head mounted displays

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000019188A (ko) * 1998-09-09 2000-04-06 윤종용 한 장의 2차원 영상에 의한 3차원 물체 인식방법 및 그 모델베이스 생성방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000019188A (ko) * 1998-09-09 2000-04-06 윤종용 한 장의 2차원 영상에 의한 3차원 물체 인식방법 및 그 모델베이스 생성방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Novel Optical Tracking Algorithm for Point-Based Projective Invariant Marker Patterns, Advances in Visual Computing Lecture Notes in Computer Science(2007)* *
Markerless T racking using Planar Structures in the Scene, Augmented Reality IEEE symposium(2000)* *
Scene modelling, recognition and tracking with invariant image features, Mixed and Augmented Reality(2004)* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405359B2 (en) 2011-07-28 2016-08-02 Samsung Electronics Co., Ltd. Plane-characteristic-based markerless augmented reality system and method for operating same
KR101371831B1 (ko) * 2011-09-30 2014-03-26 이문기 스테레오 영상 기반 영상처리 시스템
WO2020101420A1 (ko) * 2018-11-15 2020-05-22 숙명여자대학교산학협력단 증강현실 기기의 광학 특성 측정 방법 및 장치
US11953401B2 (en) 2018-11-15 2024-04-09 Sookmyung Women's University Industry-Academic Cooperation Foundation Method and apparatus for measuring optical characteristics of augmented reality device

Also Published As

Publication number Publication date
US8791960B2 (en) 2014-07-29
KR101633359B1 (ko) 2016-06-27
US20110090252A1 (en) 2011-04-21

Similar Documents

Publication Publication Date Title
KR101633359B1 (ko) 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
WO2020259481A1 (zh) 定位方法及装置、电子设备、可读存储介质
Smith et al. Real-Time Monocular SLAM with Straight Lines.
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
Lee et al. Multithreaded hybrid feature tracking for markerless augmented reality
CN103530881B (zh) 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN105528082A (zh) 三维空间及手势识别追踪交互方法、装置和系统
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
US10347000B2 (en) Entity visualization method
WO2015134794A2 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
CN105701828B (zh) 一种图像处理方法和装置
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
RU2013148372A (ru) Автоматическая калибровка системы отсчета дополненной реальности
US9239965B2 (en) Method and system of tracking object
CA2883119C (en) Method and image processing system for determining parameters of a camera
CN110321806A (zh) 目标检测方法、图像处理设备及具有存储功能的设备
CN105809664B (zh) 生成三维图像的方法和装置
CN109389634A (zh) 基于三维重建和增强现实的虚拟购物系统
CN112882576A (zh) Ar交互方法、装置、电子设备及存储介质
JP2009121824A (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
KR102029741B1 (ko) 객체를 추적하는 방법 및 시스템
CN113850245A (zh) 图像处理方法、装置、电子设备及存储介质
Ruchay et al. Accurate reconstruction of the 3D indoor environment map with a RGB-D camera based on multiple ICP

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4