KR101669119B1 - 다층 증강 현실 시스템 및 방법 - Google Patents

다층 증강 현실 시스템 및 방법 Download PDF

Info

Publication number
KR101669119B1
KR101669119B1 KR1020100127473A KR20100127473A KR101669119B1 KR 101669119 B1 KR101669119 B1 KR 101669119B1 KR 1020100127473 A KR1020100127473 A KR 1020100127473A KR 20100127473 A KR20100127473 A KR 20100127473A KR 101669119 B1 KR101669119 B1 KR 101669119B1
Authority
KR
South Korea
Prior art keywords
virtual object
target object
background
unit
extracting
Prior art date
Application number
KR1020100127473A
Other languages
English (en)
Other versions
KR20120066233A (ko
Inventor
김경환
이영범
김상욱
이선민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100127473A priority Critical patent/KR101669119B1/ko
Priority to US13/226,946 priority patent/US8988464B2/en
Priority to CN201110391222.7A priority patent/CN102592301B/zh
Publication of KR20120066233A publication Critical patent/KR20120066233A/ko
Application granted granted Critical
Publication of KR101669119B1 publication Critical patent/KR101669119B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect

Abstract

다층 증강 현실 시스템 및 방법이 개시된다. 다층 증강 현실 시스템은 이미지 프레임에서 타겟 객체와 배경을 추출하고, 타겟 객체와 배경을 추적하여 타겟 객체에 대응하는 제1 가상 객체 및 배경에 대응하는 제2 가상 객체 각각에 서로 다른 좌표계를 적용하고, 제1 가상 객체와 제2 가상 객체를 독립적으로 제어할 수 있다.

Description

다층 증강 현실 시스템 및 방법{SYSTEM AND METHOD FOR MULTI-LAYERED AUGMENTED REALITY}
본 발명의 일실시예들은 다층 증강 현실 시스템 및 방법에 관한 것으로, 보다 구체적으로는 이미지 프레임에서 배경과 타겟 객체 각각의 가상 객체에 대해 서로 다른 좌표계를 적용함으로써 독립적으로 제어하는 시스템 및 방법에 관한 것이다.
증강 현실 기술은 특정 객체에 대해 가상 객체를 함께 표현하여 특수 효과를 제공하는 기술이다. 이러한 증강 현실 기술에 의하면, 제작비 절감 효과를 기대할 수 있으며, 물리적으로 불가능한 세계를 표현할 수 있어 개인화되고 임장감있는 디지털 정보를 체험할 수 있도록 한다.
종래의 증강 현실 기술의 경우, 하나의 화면에 존재하는 객체에 대해 가상 객체를 증강시키는 방식이다. 그러면, 가상 객체들은 객체와 관련된 좌표계를 기준으로 증강되기 때문에, 하나의 좌표계 안에서 움직일 수 밖에 없는 문제가 있다. 또한, 폐색(occlusion)으로 인해 가상 객체를 증강시키기 위한 근거가 되는 특징점이 가려지는 경우, 가상 객체가 사라지는 문제가 있다.
따라서, 화면 상에 존재하는 여러 가지 객체 각각에 대해 가상 객체를 증강하는 한편, 폐색이 발생하더라도 가상 객체가 사라지지 않도록 문제점을 개선할 필요가 있다.
본 발명의 일실시예에 따른 다층 증강 현실 시스템은 이미지 프레임에서 타겟 객체와 배경을 추출하는 추출부; 상기 추출된 타겟 객체와 배경을 추적하는 추적부; 상기 추적된 타겟 객체와 배경 각각에 대해 가상 객체를 증강하는 증강부; 및 상기 증강된 가상 객체를 표시하는 표시부를 포함할 수 있다.
본 발명의 일실시예에 따른 다층 증강 현실 방법은 이미지 프레임에서 타겟 객체와 배경을 추출하는 단계; 상기 추출된 타겟 객체와 배경을 추적하는 단계; 상기 추적된 타겟 객체와 배경 각각에 대해 가상 객체를 증강하는 단계; 및 상기 증강된 가상 객체를 표시하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 다층 증강 현실 방법은 이미지 프레임에서 타겟 객체와 배경을 추출하는 단계; 상기 타겟 객체와 배경을 추적하는 단계; 상기 타겟 객체에 대응하는 제1 가상 객체 및 상기 배경에 대응하는 제2 가상 객체 각각에 서로 다른 좌표계를 적용하는 단계; 및 상기 타겟 객체를 기준으로 제1 가상 객체를 드로우잉하고, 상기 배경을 기준으로 제2 가상 객체를 드로우잉하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 추적해야 할 타겟 객체와 배경을 서로 다른 층으로 분리하여 각각의 좌표계에 따라 가상 객체를 독립적으로 움직일 수 있도록 함으로써 보다 정교한 증강 현실을 제공할 수 있다.
본 발명의 일실시예에 따르면, 서로 다른 좌표계에 기초하여 타겟 객체를 배경보다 위에 표현함으로써 폐색으로 인해 가상 객체가 사라지는 문제점을 해결할 수 있다.
도 1은 본 발명의 일실시예에 따른 다층 증강 현실 시스템을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따라 도 1의 추출부의 세부 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따라 도 1의 추적부의 세부 구성을 도시한 블록 다이어그램이다.
도 4는 본 발명의 일실시예에 따라 도 4의 제1 추적부의 세부 구성을 도시한 블록 다이어그램이다.
도 5는 본 발명의 일실시예에 따라 도 4의 제2 추적부의 세부 구성을 도시한 블록 다이어그램이다.
도 6은 본 발명의 일실시예에 따라 도 1의 증강부의 세부 구성을 도시한 블록 다이어그램이다.
도 7은 비쥬얼 슬램 방식의 증강 현실을 도시한 도면이다.
도 8은 모델 기반 방식의 증강 현실을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 다층 증강 현실을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 다층 증강 현실 시스템을 도시한 블록 다이어그램이다.
도 1을 참고하면, 다층 증강 현실 시스템(100)은 추출부(101), 추적부(102), 증강부(103) 및 표시부(104)를 포함할 수 있다.
추출부(101)는 이미지 프레임에서 타겟 객체와 배경을 추출할 수 있다. 즉, 추출부(101)는 이미지 프레임에 존재하는 타겟 객체와 배경의 층을 분리할 수 있다.
추적부(102)는 추출된 타겟 객체와 배경을 추적할 수 있다.
증강부(103)는 추적된 타겟 객체와 배경 각각에 대해 가상 객체를 증강할 수 있다. 이 때, 증강부(103)는 타겟 객체에 대응하는 가상 객체를 타겟 객체의 앞에 증강시킬 수 있다. 그리고, 증강부(103)는 배경에 대응하는 가상 객체를 타겟 객체의 뒤에 증강시킬 수 있다. 결론적으로, 증강부(103)는 타겟 객체를 배경보다 우선적으로 증강시킬 수 있다.
표시부(104)는 증강된 가상 객체를 디스플레이 장치에 표시할 수 있다.
결국, 다층 증강 현실 시스템(100)에 의하면, 하나의 화면에서 타겟 객체에 대응하는 가상 객체와 배경에 대응하는 가상 객체들이 서로 다른 좌표계를 가지기 때문에 독립적으로 움직일 수 있다. 따라서, 타겟 객체와 가상 객체 간의 상호 인터랙션이 보다 용이하게 이루어질 수 있다.
또한, 다층 증강 현실 시스템(100)에 의하면, 타겟 객체에 대응하는 가상 객체를 타겟 객체의 앞에 증강시키고, 배경에 대응하는 가상 객체를 타겟 객체의 뒤에 증강시킴으로써 객체 간의 폐색(occlusion) 문제도 해결될 수 있다.
도 2는 본 발명의 일실시예에 따라 도 1의 추출부의 세부 구성을 도시한 블록 다이어그램이다.
도 2를 참고하면, 추출부(101)는 객체 인식부(201), 경계 추출부(202) 및 특징점 추출부(203)를 포함할 수 있다.
객체 인식부(201)는 연속적으로 입력되는 이미지 프레임에서 타겟 객체를 인식할 수 있다. 일례로, 객체 인식부(201)는 2D 이미지를 이용하여 타겟 객체를 보다 빠르게 인식할 수 있다.
경계 추출부(202)는 인식된 타겟 객체의 경계(boundary)를 추출할 수 있다.
특징점 추출부(203)는 이미지 프레임에서 타겟 객체의 경계를 추출한 후 타겟 객체의 경계를 제외한 나머지 영역에서 특징점을 추출할 수 있다.
도 3은 본 발명의 일실시예에 따라 도 1의 추적부의 세부 구성을 도시한 블록 다이어그램이다.
도 3을 참고하면, 추적부(102)는 제1 추적부(301) 및 제2 추적부(302)를 포함할 수 있다.
제1 추적부(301)는 타겟 객체에 대한 제1 가상 객체를 추적할 수 있다. 그리고, 제2 추적부(302)는 배경에 대한 제2 가상 객체를 추적할 수 있다. 즉, 추적부(102)는 타겟 객체에 대한 제1 가상 객체와 배경에 대한 제2 가상 객체에 서로 다른 좌표계를 적용함으로써 독립적으로 추적할 수 있다.
도 4는 본 발명의 일실시예에 따라 도 4의 제1 추적부의 세부 구성을 도시한 블록 다이어그램이다.
도 4를 참고하면, 제1 추적부(301)는 모델 매칭부(401) 및 제1 위치/방향 계산부(402)를 포함할 수 있다.
모델 매칭부(401)는 추출된 타겟 객체를 데이터베이스에 저장된 3D 모델과 매칭시킬 수 있다. 즉, 모델 매칭부(401)는 데이터베이스에서 타겟 객체와 일치하는 3D 모델을 검색하여 타겟 객체와 3D 모델을 매칭시킬 수 있다.
제1 위치/방향 계산부(402)는 타겟 객체에 매칭된 3D 모델에 대응하는 제1 가상 객체의 위치 및 방향을 계산할 수 있다. 구체적으로, 제1 위치/방향 계산부(402)는 제1 가상 객체와 관련된 카메라의 위치 및 방향을 계산함으로써 제1 가상 객체의 위치 및 방향을 계산할 수 있다.
도 5는 본 발명의 일실시예에 따라 도 4의 제2 추적부의 세부 구성을 도시한 블록 다이어그램이다.
도 5를 참고하면, 제2 추적부(301)는 맵 생성부(501), 특징점 추출부(502), 특징점 매칭부(503) 및 제2 위치/방향 계산부(504)를 포함할 수 있다.
맵 생성부(501)는 이미지 프레임에서 타겟 객체의 경계를 추출한 후 나머지 영역에서 추출된 특징점을 이용하여 맵을 생성할 수 있다.
특징점 추출부(502)는 이미지 프레임의 배경에서 특징점을 추출할 수 있다.
특징점 매칭부(503)는 맵의 특징점과 배경에서 추출한 특징점을 매칭할 수 있다.
제2 위치/방향 계산부(504)는 매칭된 특징점에 기초하여 배경에 대응하는 제2 가상 객체의 위치 및 방향을 계산할 수 있다. 구체적으로, 제2 위치/방향 계산부(504)는 특징점이 매칭된 현재 장면에서 카메라의 위치와 방향을 계산함으로써 제2 가상 객체의 위치 및 방향을 계산할 수 있다.
결국, 본 발명의 일실시예에 따르면, 타겟 객체와 배경이 이미지 프레임에서 다른 층으로 분리되어 제1 가상 객체와 제2 가상 객체의 위치 및 방향이 서로 다른 좌표계에서 계산되기 때문에, 제1 가상 객체와 제2 가상 객체가 독립적으로 움직일 수 있다.
도 6은 본 발명의 일실시예에 따라 도 1의 증강부의 세부 구성을 도시한 블록 다이어그램이다.
도 6을 참고하면, 증강부(103)는 제1 가상 객체 드로잉부(601), 제2 가상 객체 드로잉부(602) 및 인터랙션부(603)를 포함할 수 있다.
제1 가상 객체 드로잉부(601)는 제1 가상 객체의 위치 및 방향에 기초하여 타겟 객체에 대응하는 제1 가상 객체를 드로잉(drawing)할 수 있다. 제1 가상 객체 드로잉부(601)는 타겟 객체의 앞에 제1 가상 객체를 드로잉할 수 있다. 또한, 제1 가상 객체 드로잉부(601)는 타겟 객체와 배경 간에 폐색(occlusion)이 발생하는 경우, 타겟 객체를 우선적으로 드로잉할 수 있다.
제2 가상 객체 드로잉부(602)는 제2 가상 객체의 위치 및 방향에 기초하여 배경에 대응하는 제2 가상 객체를 드로잉할 수 있다. 이 때, 제2 가상 객체는 맵 생성부(501)에서 생성된 맵을 기준으로 드로잉될 수 있다. 제2 가상 객체 드로잉부(602)는 타겟 객체의 뒤에 제2 가상 객체를 드로잉할 수 있다.
인터랙션부(603)는 제1 가상 객체와 제2 가상 객체 간의 인터랙션(interaction)을 수행하거나 또는 제1 가상 객체, 제2 가상 객체 및 타겟 객체 간의 인터랙션을 수행할 수 있다.
결론적으로, 제1 가상 객체와 제2 가상 객체는 서로 다른 좌표계에 따라 독립적으로 드로잉될 수 있다.
도 7은 비쥬얼 슬램 방식의 증강 현실을 도시한 도면이다.
도 7을 참고하면, 비쥬얼 슬램 방식의 증강 현실은 다음과 같은 과정을 통해 수행될 수 있다.
(1) 배경이 포함된 이미지 프레임이 입력된다.
(2) 이미지 프레임의 텍스쳐 상에서 특징점이 될 만한 코너 포인트(corner point)를 추출하여 맵을 생성한다.
(3) 생성된 맵을 기준으로 가상 객체를 증강시킨다.
(4) 및 (5) 카메라의 시점이 변경되더라도 맵을 구성하는 특징점의 상관 관계로 인해 가상 객체의 위치가 고정된다.
비쥬얼 슬램 방식의 증강 현실은 별도의 마커나 모델이 필요없다는 장점이 있다. 그러나, 비쥬얼 슬램 방식의 증강 현실은 상대적으로 Robustness가 떨어지고 맵을 구성하는 특징점이 가려지는 폐색(occlusion)이 발생하면, 카메라의 위치를 계산할 수 없는 단점이 있다. 또한, 비쥬얼 슬렘 방식의 증강 현실에 의하면, 특징점의 배열 형태로 증강되는 가상 객체의 위치가 결정되기 때문에 모든 가상 객체가 같은 좌표계에 존재하는 단점이 있다.
도 8은 모델 기반 방식의 증강 현실을 도시한 도면이다.
도 8을 참고하면, 모델 기반 방식의 증강 현실은 다음과 같은 과정을 통해 수행될 수 있다.
(1) 이미지 프레임이 입력된다.
(2) 이미지 프레임에서 데이터베이스에 등록된 3D 모델과 매칭되는 타겟 객체를 검색하여 매칭시킨다.
(3) 매칭된 타겟 객체를 기준으로 가상 객체를 증강시킨다.
(4) 연속적으로 입력되는 이미지 프레임마다 (1)~(3)의 과정을 반복함으로써, 가상 객체가 타겟 객체를 기준으로 움직일 수 있도록 한다.
모델 기반 방식의 증강 현실은 타겟 객체를 추적하는 데 강건(robustness)하고, 타겟 객체의 움직임으로 가상 객체의 위치를 변경할 수 있는 인터랙션을 수행할 수 있다는 장점이 있다. 그러나, 모델 기반 방식의 증강 현실은 타겟 객체를 매칭시키기 위해 미리 3D 모델을 저장하고 있어야 하고, 3D 모델이 복잡할수록 실시간으로 프로세싱할 수 없으며, 배경과 같이 범위가 넓을 경우 적용하기 어려운 단점이 있다.
도 9는 본 발명의 일실시예에 따른 다층 증강 현실을 도시한 도면이다.
본 발명의 일실시예에 따른 다층 증강 현실 시스템은 모델 기반 방식의 증강 현실과 비쥬얼 슬램 방식의 증강 현실이 혼합된 형태이다. 즉, 타겟 객체는 모델 기반 방식의 증강 현실이 적용되고, 배경은 비쥬얼 슬램 방식의 증강 현실이 적용된다.
도 9를 참고하면, 본 발명의 일실시예에 따른 다층 증강 현실 시스템은 다음과 같은 과정을 수행할 수 있다.
(1) 이미지 프레임이 카메라를 통해 입력된다.
(2) 이미지 프레임에서 데이터베이스에 저장된 3D 모델과 일치하는 타겟 객체를 검색하여 매칭시키고, 이미지 프레임에서 타겟 객체의 경계를 분리하고 남은 이미지 프레임의 텍스쳐 상에서 특징점이 될만한 코너 포인트(Corner Point)를 추출하여 맵을 생성한다.
(3) 타겟 객체에 3D 모델을 정확히 매칭시켜서 가상 객체의 위치와 방향을 계산한다.
(4) 계산된 타겟 객체의 위치와 방향에 기초하여 타겟 객체를 기준으로 가상 객체를 증강시킨다.
(5) (2)에서 생성된 맵에 기초하여 배경을 기준으로 가상 객체를 증강시킨다.
(6) (4)에서 증강된 가상 객체와 (5)에서 증강된 가상 객체를 함께 드로잉한다.
그러면, 같은 화면 안에서도 가상 객체들의 층이 타겟 객체와 배경으로 분리되어 가상 객체들은 서로 다른 좌표계를 가질 수 있다. 즉, 배경을 기준으로 증강된 가상 객체와 타겟 객체를 기준으로 증강된 가상 객체는 서로 다른 좌표계에서 독립적으로 움직일 수 있다.
결국, 가상 객체들이 독립적으로 움직이게 될 때, 타겟 객체와 가상 객체간의 상호 인터렉션이 자유스럽게 이루어 질 수 있다. 또한, 배경이 기준인 가상 객체는 타겟 객체의 뒤에 증강되고, 타겟 객체가 기준인 가상 객체는 타겟 객체 앞에 증강될 수 있기 때문에, 폐색 문제도 해결될 수 있다.
다층 증강현실 시스템은 다음과 같은 처리단계를 거친다.
연속되는 이미지 프레임이 입력되면, 다층 증강현실 시스템은 현재 이미지 프레임에서 데이터베이스 내에 있는 3D 모델과 매칭되는 타겟 객체가 존재하는지 검색할 수 있다. 만약 매칭되는 결과가 있다면, 다층 증강현실 시스템은 타겟 객체와 3D 모델을 매칭시키고, 3D 모델에 대응하는 가상 객체의 위치와 방향을 추정한다.
동시에, 다층 증강현실 시스템은 이미지 프레임에서 추적해야 할 타겟 객체를 제외한 나머지 배경을 바탕으로 특징점을 추출하고, 맵을 생성한다. 그런 후, 다층 증강현실 시스템은 배경을 기준으로 증강되는 가상 객체가 어떤 위치 및 방향을 가지는 지 계산할 수 있다. 그 후, 다층 증강현실 시스템은 배경을 기준으로 증강되는 가상 객체와 타겟 객체를 기준으로 증강되는 가상 객체의 위치 및 방향을 반영하여 렌더링을 수행할 수 있다. 이 때, 다층 증강현실 시스템은 폐색(Occlusion)을 고려하여, 타겟 객체의 경계 영역에 배경을 기준으로 증강되는 가상 객체를 증강 시키지 않는다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 증강 현실 시스템
101: 추출부
102: 추적부
103: 증강부
104: 표시부

Claims (19)

  1. 이미지 프레임에서 타겟 객체와 배경을 추출하는 추출부;
    상기 추출된 타겟 객체와 배경을 추적하는 추적부;
    상기 추적된 타겟 객체와 배경 각각에 대해 가상 객체를 증강하는 증강부; 및
    상기 증강된 가상 객체를 표시하는 표시부
    를 포함하고,
    상기 증강부는,
    서로 다른 좌표계에 기초하여 상기 타겟 객체에 대응하는 제1 가상 객체 및 상기 배경에 대응하는 제2 가상 객체를 독립적으로 증강하는 다층 증강 현실 시스템.
  2. 제1항에 있어서,
    상기 추출부는,
    이미지 프레임에서 타겟 객체를 인식하는 객체 인식부;
    상기 타겟 객체의 경계를 추출하는 경계 추출부; 및
    상기 이미지 프레임에서 타겟 객체의 경계를 추출한 후 나머지 영역에서 특징점을 추출하는 특징점 추출부
    를 포함하는 다층 증강 현실 시스템.
  3. 제1항에 있어서,
    상기 추적부는,
    상기 타겟 객체에 대한 제1 가상 객체를 추적하는 제1 추적부; 및
    상기 배경에 대한 제2 가상 객체를 추적하는 제2 추적부
    를 포함하는 다층 증강 현실 시스템.
  4. 제3항에 있어서,
    상기 제1 추적부는,
    상기 타겟 객체를 데이터베이스에 저장된 3D 모델에 매칭하는 모델 매칭부; 및
    상기 타겟 객체에 매칭된 3D 모델에 대응하는 제1 가상 객체의 위치 및 방향을 계산하는 제1 위치/방향 계산부
    를 포함하는 다층 증강 현실 시스템.
  5. 제3항에 있어서,
    상기 제2 추적부는,
    상기 이미지 프레임에서 타겟 객체의 경계를 추출한 후 나머지 영역에서 추출된 특징점을 이용하여 맵을 생성하는 맵 생성부;
    상기 이미지 프레임의 배경에서 특징점을 추출하는 특징점 추출부;
    상기 맵의 특징점과 상기 배경에서 추출한 특징점을 매칭하는 특징점 매칭부; 및
    상기 매칭된 특징점에 기초하여 상기 배경에 대응하는 제2 가상 객체의 위치 및 방향을 계산하는 제2 위치/방향 계산부
    를 포함하는 다층 증강 현실 시스템.
  6. 제3항에 있어서,
    상기 증강부는,
    상기 제1 가상 객체의 위치 및 방향에 기초하여 타겟 객체에 대응하는 제1 가상 객체를 드로잉하는 제1 가상 객체 드로잉부;
    상기 제2 가상 객체의 위치 및 방향에 기초하여 배경에 대응하는 제2 가상 객체를 드로잉하는 제2 가상 객체 드로잉부; 및
    상기 제1 가상 객체와 제2 가상 객체 간의 인터랙션 또는 상기 제1 가상 객체, 제2 가상 객체 및 타겟 객체 간의 인터랙션을 수행하는 인터랙션부
    를 포함하는 다층 증강 현실 시스템.
  7. 제6항에 있어서,
    상기 제1 가상 객체 드로잉부는,
    상기 타겟 객체의 앞에 제1 가상 객체를 드로잉하고,
    상기 제2 가상 객체 드로잉부는,
    상기 타겟 객체의 뒤에 제2 가상 객체를 드로잉하는 것을 특징으로 하는 다층 증강 현실 시스템.
  8. 삭제
  9. 이미지 프레임에서 타겟 객체와 배경을 추출하는 단계;
    상기 추출된 타겟 객체와 배경을 추적하는 단계;
    상기 추적된 타겟 객체와 배경 각각에 대해 가상 객체를 증강하는 단계; 및
    상기 증강된 가상 객체를 표시하는 단계
    를 포함하고,
    상기 가상 객체를 증강하는 단계는,
    서로 다른 좌표계에 기초하여 상기 타겟 객체에 대응하는 제1 가상 객체 및 상기 배경에 대응하는 제2 가상 객체를 독립적으로 증강하는 다층 증강 현실 방법.
  10. 제9항에 있어서,
    상기 이미지 프레임에서 타겟 객체와 배경을 추출하는 단계는,
    이미지 프레임에서 타겟 객체를 인식하는 단계;
    상기 타겟 객체의 경계를 추출하는 단계; 및
    상기 이미지 프레임에서 타겟 객체의 경계를 추출한 후 나머지 영역에서 특징점을 추출하는 단계
    를 포함하는 다층 증강 현실 방법.
  11. 제9항에 있어서,
    상기 추출된 타겟 객체와 배경을 추적하는 단계는,
    상기 타겟 객체에 대한 제1 가상 객체를 추적하는 단계; 및
    상기 배경에 대한 제2 가상 객체를 추적하는 단계
    를 포함하는 다층 증강 현실 방법.
  12. 제11항에 있어서,
    상기 제1 가상 객체를 추적하는 단계는,
    상기 타겟 객체를 데이터베이스에 저장된 3D 모델에 매칭하는 단계; 및
    상기 타겟 객체에 매칭된 3D 모델에 대응하는 제1 가상 객체의 위치 및 방향을 계산하는 단계
    를 포함하는 다층 증강 현실 방법.
  13. 제11항에 있어서,
    상기 제2 가상 객체를 추적하는 단계는,
    상기 이미지 프레임에서 타겟 객체의 경계를 추출한 후 나머지 영역에서 추출된 특징점을 이용하여 맵을 생성하는 단계;
    상기 이미지 프레임의 배경에서 특징점을 추출하는 단계;
    상기 맵의 특징점과 상기 배경에서 추출한 특징점을 매칭하는 단계; 및
    상기 매칭된 특징점에 기초하여 상기 배경에 대응하는 제2 가상 객체의 위치 및 방향을 계산하는 단계
    를 포함하는 다층 증강 현실 방법.
  14. 제11항에 있어서,
    상기 가상 객체를 증강 현실하는 단계는,
    상기 제1 가상 객체의 위치 및 방향에 기초하여 타겟 객체에 대응하는 제1 가상 객체를 드로잉하는 단계;
    상기 제2 가상 객체의 위치 및 방향에 기초하여 배경에 대응하는 제2 가상 객체를 드로잉하는 단계; 및
    상기 제1 가상 객체와 제2 가상 객체 간의 인터랙션 또는 상기 제1 가상 객체, 제2 가상 객체 및 타겟 객체 간의 인터랙션을 수행하는 단계
    를 포함하는 다층 증강 현실 방법.
  15. 제14항에 있어서,
    상기 제1 가상 객체를 드로잉하는 단계는,
    상기 타겟 객체의 앞에 제1 가상 객체를 드로잉하고,
    상기 제2 가상 객체를 드로잉하는 단계는,
    상기 타겟 객체의 뒤에 제2 가상 객체를 드로잉하는 것을 특징으로 하는 다층 증강 현실 방법.
  16. 삭제
  17. 이미지 프레임에서 타겟 객체와 배경을 추출하는 단계;
    상기 타겟 객체와 배경을 추적하는 단계;
    상기 타겟 객체에 대응하는 제1 가상 객체 및 상기 배경에 대응하는 제2 가상 객체 각각에 서로 다른 좌표계를 적용하는 단계; 및
    상기 타겟 객체를 기준으로 제1 가상 객체를 드로우잉하고, 상기 배경을 기준으로 제2 가상 객체를 드로우잉하는 단계
    를 포함하는 다층 증강 현실 방법.
  18. 제17항에 있어서,
    상기 드로우잉하는 단계는,
    상기 타겟 객체와 배경 간에 폐색(occlusion)이 발생하는 경우, 상기 타겟 객체를 배경에 우선하여 드로우잉하는 것을 특징으로 하는 다층 증강 현실 방법.
  19. 제9항 내지 제15항, 제17항 및 제18항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020100127473A 2010-12-14 2010-12-14 다층 증강 현실 시스템 및 방법 KR101669119B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100127473A KR101669119B1 (ko) 2010-12-14 2010-12-14 다층 증강 현실 시스템 및 방법
US13/226,946 US8988464B2 (en) 2010-12-14 2011-09-07 System and method for multi-layered augmented reality
CN201110391222.7A CN102592301B (zh) 2010-12-14 2011-11-25 用于多层扩增现实的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100127473A KR101669119B1 (ko) 2010-12-14 2010-12-14 다층 증강 현실 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120066233A KR20120066233A (ko) 2012-06-22
KR101669119B1 true KR101669119B1 (ko) 2016-10-25

Family

ID=46198899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100127473A KR101669119B1 (ko) 2010-12-14 2010-12-14 다층 증강 현실 시스템 및 방법

Country Status (2)

Country Link
US (1) US8988464B2 (ko)
KR (1) KR101669119B1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013079098A1 (en) * 2011-11-29 2013-06-06 Layar B.V. Dynamically configuring an image processing function
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013225245A (ja) 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9514570B2 (en) 2012-07-26 2016-12-06 Qualcomm Incorporated Augmentation of tangible objects as user interface controller
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US20150169070A1 (en) * 2013-12-17 2015-06-18 Google Inc. Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)
US9514573B2 (en) * 2013-12-26 2016-12-06 Dassault Systemes Diminished reality
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
JP6609988B2 (ja) * 2015-05-18 2019-11-27 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
WO2016079960A1 (en) * 2014-11-18 2016-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program
JP2016099638A (ja) * 2014-11-18 2016-05-30 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
KR101952989B1 (ko) * 2015-01-29 2019-02-28 전자부품연구원 공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템
US9412034B1 (en) * 2015-01-29 2016-08-09 Qualcomm Incorporated Occlusion handling for computer vision
US9304003B1 (en) 2015-03-18 2016-04-05 Microsoft Technology Licensing, Llc Augmented reality navigation
EP3286718A4 (en) * 2015-04-23 2018-12-05 Hasbro, Inc. Context-aware digital play
US10055895B2 (en) * 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US10217231B2 (en) 2016-05-31 2019-02-26 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments
US10824134B2 (en) * 2016-10-27 2020-11-03 Voodoo Manufacturing, Inc. Automated layout of part instances on build plate
CN107590453B (zh) * 2017-09-04 2019-01-11 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN108022301B (zh) * 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质
US10636190B2 (en) 2018-05-31 2020-04-28 Robert Bosch Gmbh Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
EP3752986B1 (en) 2018-06-01 2023-08-30 Hewlett-Packard Development Company, L.P. Boundary maps for virtual reality systems
KR102358950B1 (ko) * 2020-10-05 2022-02-07 홍준표 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
CN115002442A (zh) * 2022-05-24 2022-09-02 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090257623A1 (en) * 2008-04-15 2009-10-15 Cyberlink Corporation Generating effects in a webcam application

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8432414B2 (en) * 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
KR100248374B1 (ko) 1997-11-25 2000-03-15 정선종 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6760026B2 (en) 2001-01-02 2004-07-06 Microsoft Corporation Image-based virtual reality player with integrated 3D graphics objects
US6856324B2 (en) * 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US7301547B2 (en) * 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
JP2005339127A (ja) 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
KR20060021001A (ko) 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
JP2008210276A (ja) * 2007-02-27 2008-09-11 Canon Inc 三次元モデル情報の生成方法及び装置
KR100918706B1 (ko) 2007-03-20 2009-09-22 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
KR20090000777A (ko) 2007-04-02 2009-01-08 광주과학기술원 감각형 오브젝트를 이용한 증강현실 시스템 및 증강현실제공 방법
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
KR101002785B1 (ko) 2009-02-06 2010-12-21 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
EP2405402A1 (en) * 2010-07-06 2012-01-11 EADS Construcciones Aeronauticas, S.A. Method and system for assembling components

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090257623A1 (en) * 2008-04-15 2009-10-15 Cyberlink Corporation Generating effects in a webcam application

Also Published As

Publication number Publication date
CN102592301A (zh) 2012-07-18
US20120146998A1 (en) 2012-06-14
US8988464B2 (en) 2015-03-24
KR20120066233A (ko) 2012-06-22

Similar Documents

Publication Publication Date Title
KR101669119B1 (ko) 다층 증강 현실 시스템 및 방법
EP2941756B1 (en) Rendering augmented reality based on foreground object
US10082879B2 (en) Head mounted display device and control method
US9292734B2 (en) Method and system for head tracking and pose estimation
KR101135186B1 (ko) 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
EP3627445B1 (en) Head pose estimation using rgbd camera
JP5952001B2 (ja) 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム
US8594425B2 (en) Analysis of three-dimensional scenes
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
JP5381569B2 (ja) ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
KR101804848B1 (ko) 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
KR102113812B1 (ko) Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법
EP3906527B1 (en) Image bounding shape using 3d environment representation
CN104732203A (zh) 一种基于视频信息的情绪识别与跟踪方法
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20120038616A (ko) 마커리스 실감형 증강현실 제공 방법 및 시스템
KR20140033868A (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
KR20160042461A (ko) 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성
US11282543B2 (en) Real-time face and object manipulation
KR100957189B1 (ko) 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체
KR20060021001A (ko) 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
US8866970B1 (en) Method for real-time processing of a video sequence on mobile terminals
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
Park et al. Strategy for Creating AR Applications in Static and Dynamic Environments Using SLAM-andMarker Detector-Based Tracking.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4