KR102167273B1 - 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품 - Google Patents

실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR102167273B1
KR102167273B1 KR1020130155389A KR20130155389A KR102167273B1 KR 102167273 B1 KR102167273 B1 KR 102167273B1 KR 1020130155389 A KR1020130155389 A KR 1020130155389A KR 20130155389 A KR20130155389 A KR 20130155389A KR 102167273 B1 KR102167273 B1 KR 102167273B1
Authority
KR
South Korea
Prior art keywords
model
image
extracted
augmented
augmentation
Prior art date
Application number
KR1020130155389A
Other languages
English (en)
Other versions
KR20150001580A (ko
Inventor
박종일
박정식
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20150001580A publication Critical patent/KR20150001580A/ko
Application granted granted Critical
Publication of KR102167273B1 publication Critical patent/KR102167273B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품이 제공된다. 본 발명의 실제 객체 증강 방법은 (a) 촬영 장치로부터 촬영된 실사 영상에서 하나 이상의 실제 객체에 대한 특징점을 추출하는 단계, (b) 기 저장된 증강 대상 객체의 3차원 모델 정보로부터 상기 추출된 특징점을 매칭시켜 상기 실제 객체 중 증강 대상 객체를 추출하는 단계, (c) 상기 추출된 증강 대상 객체에 대한 3차원 기하 변환 관계를 추정하여, 상기 실사 영상에서 상기 추출된 증강 대상 객체의 영역의 영상을 분리하는 단계 및 (d) 상기 분리된 영역의 영상을 상기 추출된 증강 대상 객체의 3차원 모델에 사상(寫像)하고, 상기 사상된 증강 대상 객체의 3차원 모델을 사용자의 입력에 대응하도록 변형시켜 렌더링하는 단계를 포함한다.

Description

실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품{METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR AUGMENTING REAL OBJECT}
본 발명은 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품에 관한 것으로, 더욱 상세하게는 3차원 객체 추적을 이용하여 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품에 관한 것이다.
증강 현실(Augmented Reality)은 사용자가 눈으로 보는 현실 세계와 부가 정보를 가지는 가상 세계를 합쳐 하나의 영상으로 보여주는 가상 현실의 하나로서, 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정합시키는 사용자 인터페이스 기술을 말한다.
최근 이러한 증강 현실 기술과 관련된 다양한 종류의 증강 현실 애플리케이션들이 개발되고 있는데, 사용자는 증강 현실 애플리케이션을 이용하여 가상 현실에 존재하는 부가적이며 유용한 정보를 획득하거나 다른 사용자와 정보를 공유할 수 있고, 실사 영상에 가상 객체를 겹쳐 보여주는 형태를 이용하여 다양한 분야의 콘텐츠를 제작할 수 있다.
그러나, 이와 같은 종래의 증강 현실 기술은 실사 영상에 겹쳐 보여지는 가상 객체를 변형시킬 뿐 실사 영상에 존재하는 실제 객체를 변형시키는 것은 불가능한 한계가 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 사용자의 입력에 따라서 실사 영상에 존재하는 실제 객체(real object)를 변형할 수 있는 증강 현실 기법을 제공하고자 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 실제 객체 증강 방법은 (a) 촬영 장치로부터 촬영된 실사 영상에서 하나 이상의 실제 객체에 대한 특징점을 추출하는 단계, (b) 기 저장된 증강 대상 객체의 3차원 모델 정보로부터 상기 추출된 특징점을 매칭시켜 상기 실제 객체 중 증강 대상 객체를 추출하는 단계, (c) 상기 추출된 증강 대상 객체에 대한 3차원 기하 변환 관계를 추정하여, 상기 실사 영상에서 상기 추출된 증강 대상 객체의 영역의 영상을 분리하는 단계 및 (d) 상기 분리된 영역의 영상을 상기 추출된 증강 대상 객체의 3차원 모델에 사상(寫像)하고, 상기 사상된 증강 대상 객체의 3차원 모델을 사용자의 입력에 대응하도록 변형시켜 렌더링하는 단계를 포함한다.
본 발명의 일 측면에서, 상기 (c) 단계는 상기 추출된 증강 대상 객체의 3차원 모델 정보에 포함된 특징점을 기준으로, 상기 3차원 모델 정보에 포함된 특징점과 상기 (a) 단계에서 추출된 특징점간 서로 대응되는 점의 좌표 차이에 근거하여 상기 3차원 기하 변환 관계를 추정한다.
또한, 본 발명의 일 측면에서, 상기 (c) 단계는 상기 추출된 증강 대상 객체의 3차원 모델을 상기 실사 영상에 투영하여 마스크를 생성하고, 상기 생성된 마스크를 이용하여 상기 영상을 분리하되, 상기 실사 영상에 투영된 3차원 모델은 상기 추정된 3차원 기하 변환 관계가 반영된 것이다.
또한, 본 발명의 일 측면에서, 상기 (d) 단계는 상기 분리된 영역의 영상으로부터 상기 추출된 증강 대상 객체의 텍스쳐(texture)를 획득하여 사상한다.
또한, 본 발명의 일 측면에서, 상기 (d) 단계는 상기 사상된 증강 대상 객체의 3차원 모델의 확대 또는 축소, 일부분에 대한 변형, 가상의 광원이 추가된 조명 효과, 다른 재질로의 표현 및 모핑(morphing) 변환 중 하나 이상을 적용하여 상기 사상된 증강 대상 객체의 3차원 모델을 변형한다.
또한, 본 발명의 일 측면에서, 상기 (d) 단계는 상기 변형된 3차원 모델이 렌더링된 위치에 홀(hole)이 발생되면, 상기 추출된 증강 대상 객체의 주변 배경과 유사한 색상으로 상기 홀을 복원한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 컴퓨터 프로그램 제품은 상기 방법 중 어느 하나에 따른 방법을 수행하기 위한 일련의 명령을 포함한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 실제 객체 증강 장치는, 촬영 장치로부터 촬영된 실사 영상에서 하나 이상의 실제 객체에 대한 특징점을 추출하는 특징점 추출부, 기 저장된 증강 대상 객체의 3차원 모델 정보로부터 상기 추출된 특징점을 매칭시켜 상기 실제 객체 중 증강 대상 객체를 추출하는 증강 대상 객체 추출부, 상기 추출된 증강 대상 객체와 상기 실제 객체간의 3차원 기하 변환 관계를 추정하는 3차원 기하 변환 관계 추정부, 상기 실사 영상에서 상기 추출된 증강 대상 객체의 영역의 영상을 분리하는 객체 영역 영상 분리부 및 상기 분리된 영역의 영상을 상기 추출된 증강 대상 객체의 3차원 모델에 사상(寫像)하고, 상기 사상된 증강 대상 객체의 3차원 모델을 사용자의 입력에 대응하도록 변형시켜 렌더링하는 객체 변형부를 포함한다.
본 발명의 일 측면에서, 상기 3차원 기하 변환 관계 추정부는 상기 추출된 증강 대상 객체의 3차원 모델 정보에 포함된 특징점을 기준으로, 상기 3차원 모델 정보에 포함된 특징점과 상기 추출된 특징점간 서로 대응되는 점의 좌표 차이에 근거하여 상기 3차원 기하 변환 관계를 추정한다.
또한, 본 발명의 일 측면에서, 상기 객체 영역 영상 분리부는 상기 추출된 증강 대상 객체의 3차원 모델을 상기 실사 영상에 투영하여 마스크를 생성하고, 상기 생성된 마스크를 이용하여 상기 영상을 분리하되, 상기 실사 영상에 투영된 3차원 모델은 상기 추정된 3차원 기하 변환 관계가 반영된 것이다.
또한, 본 발명의 일 측면에서, 상기 객체 영역 영상 분리부는 상기 분리된 영역의 영상으로부터 상기 추출된 증강 대상 객체의 텍스쳐(texture)를 획득하고, 상기 객체 변형부는 상기 획득된 텍스쳐를 상기 추출된 증강 대상 객체의 3차원 모델에 사상한다.
또한, 본 발명의 일 측면에서, 상기 객체 변형부는 상기 사상된 증강 대상 객체의 3차원 모델의 확대 또는 축소, 일부분에 대한 변형, 가상의 광원이 추가된 조명 효과, 다른 재질로의 표현 및 모핑(morphing) 변환 중 하나 이상을 적용하여 상기 사상된 증강 대상 객체의 3차원 모델을 변형한다.
또한, 본 발명의 일 측면에서, 상기 객체 변형부는 상기 변형된 3차원 모델이 렌더링된 위치에 홀(hole)이 발생되면, 상기 추출된 증강 대상 객체의 주변 배경과 유사한 색상으로 상기 홀을 복원한다.
본 발명의 일 실시예에 따르면, 실사 영상에 존재하는 실제 객체를 사용자의 입력에 따라서 변형시킬 수 있다.
또한, 특정 객체를 변형하거나 강조하여 보여주는 교육, 게임, 관광, 광고 등의 콘텐츠 제작 시 활용하는 경우, 종래의 증강 현실 기술에 비해 사실감과 몰입감을 높일 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 실제 객체를 증강하는 방법을 도시한 개요도이다.
도 2는 본 발명의 일 실시예에 따른 객체 증강 장치(100)의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 실제 객체를 증강하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 실제 객체를 증강하는 과정을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 실제 객체를 증강하는 방법을 도시한 개요도이다.
도 1에 도시된 각 이미지를 중심으로 본 발명의 일 실시예에 따른 실제 객체를 증강하는 방법에 대하여 간략히 설명하도록 한다.
도 1의 (a)는 본 발명의 실제 객체를 증강하는 장치(이하, '객체 증강 장치'라 칭함)(100)가 촬영한 실사 영상(10)이며, 실사 영상(10)에는 하나의 실제 객체(도자기)(11)가 위치하고 있다.
참고로, 도 1에서는 설명의 편의 상 실사 영상에 하나의 실제 객체가 존재하는 것으로 설명하였지만, 실사 영상에 복수의 실제 객체가 존재할 수 있다.
이후, 객체 증강 장치(100)는 실사 영상(10)에서 실제 객체(11)의 특징점을 추출하고, 기 저장된 증강 대상 객체의 3차원 모델 정보 DB(이하, '3차원 모델 정보 DB'라 칭함)로부터 상기 추출된 특징점과 매칭되는 실제 객체(이하, '증강 대상 객체'라 칭함)(11)를 추출할 수 있다.
여기서 '3차원 모델 정보 DB'는 실제 객체의 특징점 정보를 포함하는 3차원 모델 정보를 저장할 수 있다.
만일, 실사 영상에 복수의 실제 객체가 존재하는 경우, 객체 증강 장치(100)는 실사 영상에서 각 실제 객체의 특징점을 추출하고, 추출된 특징점을 3차원 모델 정보 DB의 특징점과 비교하여 하나 이상의 증강 대상 객체를 추출할 수 있다.
이하, 실사 영상에서 추출된 특징점을 제 1 특징점으로, 3차원 모델 정보 DB에 저장된 증강 대상 객체의 특징점을 제 2 특징점이라 칭하도록 한다.
참고로, 증강 대상 객체가 추출되면, 객체 증강 장치(100)는 3차원 모델 정보 DB로부터 3차원 모델을 추출할 수 있으며, 추출된 3차원 모델(12)이 도 1의 (b)에 도시되어 있다.
또한, 객체 증강 장치(100)는 제 2 특징점의 좌표를 기준으로, 제 1 특징점과 제 2 특징점간 서로 대응되는 점의 좌표 차이에 근거하여, 증강 대상 객체에 대한 3차원 기하 변환 관계를 추정할 수 있다.
여기서, '3차원 기하 변환 관계'는 실사 영상에서의 3차원 기하 구조(이하, '제 1 기하 구조'라 칭함)와 3차원 모델 정보의 3차원 기하 구조(이하, '제 2 기하 구조'라 칭함)간 변환 관계를 나타내는 것으로서, 예를 들어, 제 2 기하 구조를 기준으로 제 1 기하 구조가 얼마나 회전하였는지를 나타내는 회전 각도를 포함할 수 있다.
이후, 객체 증강 장치(100)는 상기 추정된 3차원 기하 변환 관계를 반영하여 증강 대상 객체의 3차원 모델(12)을 특정 각도로 회전시키고, 특정 각도로 회전된 3차원 모델(12)을 실사 영상(10)에 투영하여 마스크를 생성할 수 있다.
이후, 객체 증강 장치(100)는 생성된 마스크를 이용하여 실사 영상(10)에서 증강 대상 객체(11)의 영역을 산출할 수 있으며, 그 결과가 도 1의 (c)에 도시되어 있다.
이후, 객체 증강 장치(100)는 산출된 증강 대상 객체(11) 영역에서 영상을 분리하여 증강 대상 객체(11)의 텍스쳐(texture)를 획득할 수 있다.
실사 영상(10)에서 분리된 증강 대상 객체(11) 영역의 영상(14)이 도 1의 (d)에 도시되어 있다.
이후, 객체 증강 장치(100)는 분리된 증강 대상 객체(11) 영역의 영상, 즉, 획득된 증강 대상 객체의 텍스쳐를 3차원 모델(12)에 사상(寫像)할 수 있다(도 1의 (e)).
참고로, 3차원 모델(12)은 복수의 점과 선 그리고 각 점과 선의 연결로 표시되므로, 3차원 모델(12)만으로는 증강 대상 객체를 보다 실감 있게 표현하는데 한계가 있다.
따라서, 객체 증강 장치(100)는 점과 선의 연결로 표시된 3차원 모델(12)에 증강 대상 객체(11)의 텍스쳐를 사상함으로써, 증강 대상 객체를 실감 있게 표현할 수 있다.
이후, 객체 증강 장치(100)는 증강 대상 객체를 변형시키기 위한 사용자의 입력에 따라서, 상기 사상된 3차원 모델을 변형시킬 수 있다.
여기서 '사용자의 입력'은 변형시킬 부분을 터치하여 드래그하거나, 마우스를 이용하여 변형시킬 부분을 선택하고 선택된 지점을 드래그하는 동작을 포함할 수 있으며, 사상된 3차원 모델을 변형시키기 위한 특정 메뉴의 선택이 더 포함될 수 있다.
또한, '변형'은 사상된 3차원 모델의 전체 또는 일부분 확대나 축소, 가상의 광원이 추가된 조명 효과, 다른 재질로의 표현 및 모핑(morphing) 변환 중 하나 이상을 포함할 수 있다.
사용자의 입력에 따라서 변형된 일 실시예가 도 1의 (f)에 도시되어 있다. 도 1의 (f)에는 사상된 3차원 모델 전체를 대칭으로 변형시킨 결과(15)와 사상된 3차원 모델 일부(도자기 아랫 부분)를 대칭으로 변형시킨 결과(16)가 도시되어 있다.
이후, 객체 증강 장치(100)는 변형된 결과(15, 16)를 도 1의 (g)와 같이 실사 영상에 렌더링할 수 있다.
참고로, 사상된 3차원 모델의 일부 또는 전체가 원래 형상보다 축소되는 경우, 증강 대상 객체(11)가 존재했던 위치에 홀(hole)이 발생될 수 있으며, 이때 객체 증강 장치(100)는 상기 홀을 증강 대상 객체(11)의 주변 배경과 유사한 색상으로 복원할 수 있다.
이하, 도 2를 참조하여 객체 증강 장치(100)의 구성에 대해 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 객체 증강 장치(100)의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 객체 증강 장치(100)는 촬영부(110), 특징점 추출부(120), 3차원 모델 정보 DB(130), 증강 대상 객체 추출부(140), 3차원 기하 변환 관계 추정부(150), 객체 영역 영상 분리부(160) 및 객체 변형부(170)를 포함할 수 있다.
각 구성 요소를 설명하면, 촬영부(110)는 카메라와 같은 촬영 장치로서 실사 영상을 촬영할 수 있으며, 객체 증강 장치(100)가 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 컴퓨터 등과 같은 휴대용 단말기인 경우 객체 증강 장치(100)와 일체형으로 형성될 수 있고, 객체 증강 장치(100)가 데스크탑 컴퓨터, 셋탑 박스와 연결된 IPTV 등인 경우 객체 증강 장치(100)와는 별도로 존재하여 객체 증강 장치(100)와 연결될 수 있다.
한편, 특징점 추출부(120)는 촬영부(110)로부터 촬영된 실사 영상에서 실제 객체에 대한 특징점인 제 1 특징점을 추출할 수 있다.
만일, 실사 영상에 복수의 실제 객체가 존재하는 경우, 특징점 추출부(120)는 실사 영상에서 각 실제 객체의 특징점을 추출할 수 있다.
한편, 3차원 모델 정보 DB(130)는 실제 객체의 특징점 정보를 포함하는 3차원 모델 정보를 저장할 수 있다.
한편, 증강 대상 객체 추출부(140)는 상기 제 1 특징점과 3차원 모델 정보 DB(130)에 저장된 제 2 특징점을 비교하여 제 2 특정점과 매칭되는 제 1 특징점을 가지는 실제 객체를 증강 대상 객체로 추출할 수 있다.
또한, 증강 대상 객체 추출부(140)는 3차원 모델 정보 DB(130)로부터 증강 대상 객체의 3차원 모델을 추출할 수 있다.
한편, 3차원 기하 변환 관계 추정부(150)는 제 2 특징점의 좌표를 기준으로, 제 1 특징점과 제 2 특징점간 서로 대응되는 점의 좌표 차이에 근거하여, 증강 대상 객체에 대한 3차원 기하 변환 관계를 추정할 수 있다.
여기서, '3차원 기하 변환 관계'는 제 2 기하 구조를 기준으로 제 1 기하 구조가 얼마의 각도로 회전하였는지에 대한 정보를 포함할 수 있다.
한편, 객체 영역 영상 분리부(160)는 3차원 기하 변환 관계 추정부(150)에서 추정된 3차원 기하 변환 관계를 반영하여 증강 대상 객체의 3차원 모델을 특정 각도로 회전시키고, 특정 각도로 회전된 3차원 모델을 실사 영상에 투영하여 마스크를 생성할 수 있다.
이후, 객체 영역 영상 분리부(160)는 생성된 마스크를 이용하여 실사 영상에서 증강 대상 객체의 영역을 산출하고, 산출된 영역에서 해당 영역의 영상을 분리함으로써 증강 대상 객체의 텍스쳐(texture)를 획득할 수 있다.
한편, 객체 변형부(170)는 분리된 증강 대상 객체 영역의 영상, 즉, 획득된 증강 대상 객체의 텍스쳐를 3차원 모델에 사상할 수 있다.
참고로, 3차원 모델은 복수의 점과 선 그리고 각 점과 선의 연결로 표시되므로, 3차원 모델만으로는 증강 대상 객체를 보다 실감 있게 표현하는데 한계가 있다.
따라서, 객체 변형부(170)는 점과 선의 연결로 표시된 3차원 모델에 증강 대상 객체의 텍스쳐를 사상함으로써 증강 대상 객체를 실감 있게 표현할 수 있다.
또한, 객체 변형부(170)는 증강 대상 객체의 텍스쳐가 사상된 3차원 모델(이하, '3차원 텍스쳐 모델'이라 칭함)을 변형하기 위한 사용자의 입력에 따라서, 3차원 텍스쳐 모델을 변형시킬 수 있다.
예를 들어, 3차원 텍스쳐 모델을 변형시키기 위한 사용자의 터치와 드래그가 입력된 경우, 객체 변형부(170)는 3차원 텍스쳐 모델에 대한 사용자의 터치 위치(복수 가능), 드래그의 방향과 길이에 따라서 3차원 텍스쳐 모델을 변형시킬 수 있다.
이를 위해, 3차원 텍스쳐 모델의 전체 또는 일부분을 변형시킬 것인지에 대한 메뉴의 선택과, 대칭(좌우, 상하, 전체) 또는 비대칭으로 변형시킬 것인지에 대한 메뉴의 선택이 선행될 수도 있다.
만일, 상기 메뉴의 선택에서, 3차원 텍스쳐 모델의 일부분 및 좌우 대칭 변형이 선택된 경우, 객체 변형부(170)는 사용자의 터치 위치, 드래그의 방향 및 길이에 따라서 3차원 텍스쳐 모델의 특정 부분만을 좌우 대칭으로 확대 변형시킬 수 있다.
또한, 객체 변형부(170)는 사용자의 입력에 따라서 변형된 3차원 텍스쳐 모델을 실사 영상에 렌더링할 수 있다.
이때, 변형된 3차원 텍스쳐 모델의 일부 또는 전체가 원래 형상보다 축소되는 경우, 실사 영상에서 증강 대상 객체가 존재했던 위치에 홀(hole)이 발생될 수 있으며, 이때 객체 변형부(170)는 상기 홀을 증강 대상 객체의 주변 배경과 유사한 색상으로 복원할 수 있다.
도 3은 본 발명의 일 실시예에 따른 실제 객체를 증강하는 과정을 도시한 흐름도이다.
참고로, 도 3의 과정은 실사 영상에 존재하는 복수의 실제 객체 중 하나의 증강 대상 객체를 추출하여 3차원 기하 변환 관계를 추정하는 과정으로서, 도 3에 도시된 과정을 수행하는 컴퓨터 프로그램 제품이 객체 증강 장치(100)에 설치되어 동작함으로써 수행될 수 있다.
또한, 복수의 실제 객체에 대한 3차원 모델 정보가 3차원 모델 정보 DB(130)에 저장되어 있다.
먼저, 객체 증강 장치(100)는 카메라를 통해 실사 영상을 획득한다(S301).
S301 후, 객체 증강 장치(100)는 S301에서 획득한 실사 영상에서 복수의 실제 객체에 대한 특징점인 제 1 특징점을 각각 추출한다(S302).
S302 후, 객체 증강 장치(100)는 S302에서 각각 추출한 제 1 특징점과 3차원 모델 정보 DB(130)에 저장된 제 2 특징점을 비교하여, 제 2 특정점과 매칭되는 제 1 특징점을 가지는 실제 객체를 증강 대상 객체로 추출하고, 해당 증강 대상 객체의 3 차원 모델을 추출한다(S303).
S303 후, 객체 증강 장치(100)는 제 2 특징점을 기준으로, 제 1 특징점과 제 2 특징점간 서로 대응되는 점의 좌표 차이에 근거하여, 증강 대상 객체에 대한 3차원 기하 변환 관계를 추정한다(S304).
도 4는 본 발명의 다른 실시예에 따른 실제 객체를 증강하는 과정을 도시한 흐름도이다.
참고로, 도 4의 과정은 도 3에서 추정된 3차원 기하 변환 관계를 이용하여 증강 대상 객체를 변형시키는 과정으로서, 도 4에 도시된 과정을 수행하는 컴퓨터 프로그램 제품이 객체 증강 장치(100)에 설치되어 동작함으로써 수행될 수 있다.
먼저, 객체 증강 장치(100)는 추정된 3차원 기하 변환 관계에 근거하여 증강 대상 객체의 3차원 모델을 특정 각도로 회전시키고, 특정 각도로 회전된 3차원 모델을 실사 영상에 투영하여 마스크를 생성한다(S401).
여기서, 마스크 생성은 실사 영상에서 증강 대상 객체의 영역을 산출하기 위한 것이다.
S401 후, 객체 증강 장치(100)는 S401에서 산출된 증강 대상 객체의 영역에서 해당 영역의 영상을 분리한다(S402).
여기서, 객체 증강 장치(100)는 실사 영상에서 증강 대상 객체 영역의 영상을 분리함으로써 증가 대상 객체의 텍스쳐를 획득할 수 있다.
S402 후, 객체 증강 장치(100)는 S402에서 획득한 텍스쳐를 증강 대상 객체의 3차원 모델에 사상한다(S403).
참고로, 객체 증강 장치(100)는 점과 선의 연결로 표시된 3차원 모델에 S402에서 획득한 텍스쳐를 사상함으로써 증강 대상 객체를 실감 있게 표현할 수 있다.
S403 후, 객체 증강 장치(100)는 3차원 텍스쳐 모델을 변형하기 위한 사용자의 동작이 입력되면, 해당 입력에 따라서 3차원 텍스쳐 모델을 변형시킨다(S404).
이때, 객체 증강 장치(100)는 3차원 텍스쳐 모델의 전체 또는 일부분 확대나 축소, 가상의 광원이 추가된 조명 효과, 다른 재질로의 표현 및 모핑(morphing) 변환으로 3차원 텍스쳐 모델을 변형시킬 수 있다.
S404 후, 객체 증강 장치(100)는 변형된 3차원 텍스쳐 모델을 실사 영상에 렌더링한다(S405).
이때, 변형된 3차원 텍스쳐 모델의 일부 또는 전체가 원래 형상보다 축소되는 경우, 객체 증강 장치(100)는 증강 대상 객체가 존재했던 위치에 발생한 홀(hole)을 증강 대상 객체의 주변 배경과 유사한 색상으로 복원할 수 있다.
전술한 바와 같이, 본 발명은 실사 영상에 존재하는 실제 객체를 직접 변형하거나 강조할 수 있으므로, 종래 증강 현실 기술의 문제점인 실사 영상과 가상 객체 간에 발생하는 이질감을 해소할 수 있으며, 특정 객체를 변형하거나 강조하여 보여주는 교육, 게임, 관광, 광고 등의 콘텐츠 제작 시 활용하는 경우, 콘텐츠의 퀄러티를 높일 수 있는 장점이 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 객체 증강 장치
110 : 촬영부
120 : 특징점 추출부
130 : 3차원 모델 정보 DB
140 : 증강 대상 객체 추출부
150 : 3차원 기하 변환 관계 추정부
160 : 객체 영역 영상 분리부
170 : 객체 변형부

Claims (13)

  1. (a) 촬영 장치로부터 촬영된 실사 영상에서 하나 이상의 실제 객체에 대한 특징점을 추출하는 단계;
    (b) 기 저장된 증강 대상 객체의 3차원 모델 정보로부터 상기 추출된 특징점을 매칭시켜 상기 실제 객체 중 증강 대상 객체를 추출하는 단계;
    (c) 상기 추출된 증강 대상 객체에 대한 3차원 기하 변환 관계를 추정하여, 상기 실사 영상에서 상기 추출된 증강 대상 객체의 영역의 영상을 분리하는 단계; 및
    (d) 상기 분리된 영역의 영상을 상기 추출된 증강 대상 객체의 3차원 모델에 사상(寫像)하고, 상기 사상된 증강 대상 객체의 3차원 모델을 사용자의 입력에 대응하도록 변형시켜 렌더링하는 단계;
    를 포함하되,
    상기 (c) 단계는,
    상기 추출된 증강 대상 객체의 3차원 모델을 상기 실사 영상에 투영하여 마스크를 생성하고, 상기 생성된 마스크를 이용하여 상기 영상을 분리하되, 상기 실사 영상에 투영된 3차원 모델은 상기 추정된 3차원 기하 변환 관계가 반영된 것인 실제 객체 증강 방법.
  2. 제 1 항에 있어서,
    상기 (c) 단계는,
    상기 추출된 증강 대상 객체의 3차원 모델 정보에 포함된 특징점을 기준으로, 상기 3차원 모델 정보에 포함된 특징점과 상기 (a) 단계에서 추출된 특징점간 서로 대응되는 점의 좌표 차이에 근거하여 상기 3차원 기하 변환 관계를 추정하는 실제 객체 증강 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 (d) 단계는,
    상기 분리된 영역의 영상으로부터 상기 추출된 증강 대상 객체의 텍스쳐(texture)를 획득하여 사상하는 실제 객체 증강 방법.
  5. 제 1 항에 있어서,
    상기 (d) 단계는,
    상기 사상된 증강 대상 객체의 3차원 모델의 확대 또는 축소, 일부분에 대한 변형, 가상의 광원이 추가된 조명 효과, 다른 재질로의 표현 및 모핑(morphing) 변환 중 하나 이상을 적용하여 상기 사상된 증강 대상 객체의 3차원 모델을 변형하는 실제 객체 증강 방법.
  6. 제 5 항에 있어서,
    상기 (d) 단계는,
    상기 변형된 3차원 모델이 렌더링된 위치에 홀(hole)이 발생되면, 상기 추출된 증강 대상 객체의 주변 배경과 유사한 색상으로 상기 홀을 복원하는 실제 객체 증강 방법.
  7. 제 1 항, 제 2 항, 제 4 항 내지 제 6 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 컴퓨터 프로그램이 기록된 기록매체.
  8. 촬영 장치로부터 촬영된 실사 영상에서 하나 이상의 실제 객체에 대한 특징점을 추출하는 특징점 추출부;
    기 저장된 증강 대상 객체의 3차원 모델 정보로부터 상기 추출된 특징점을 매칭시켜 상기 실제 객체 중 증강 대상 객체를 추출하는 증강 대상 객체 추출부;
    상기 추출된 증강 대상 객체와 상기 실제 객체간의 3차원 기하 변환 관계를 추정하는 3차원 기하 변환 관계 추정부;
    상기 실사 영상에서 상기 추출된 증강 대상 객체의 영역의 영상을 분리하는 객체 영역 영상 분리부; 및
    상기 분리된 영역의 영상을 상기 추출된 증강 대상 객체의 3차원 모델에 사상(寫像)하고, 상기 사상된 증강 대상 객체의 3차원 모델을 사용자의 입력에 대응하도록 변형시켜 렌더링하는 객체 변형부;를 포함하되,
    상기 객체 영역 영상 분리부는,
    상기 추출된 증강 대상 객체의 3차원 모델을 상기 실사 영상에 투영하여 마스크를 생성하고, 상기 생성된 마스크를 이용하여 상기 영상을 분리하되, 상기 실사 영상에 투영된 3차원 모델은 상기 추정된 3차원 기하 변환 관계가 반영된 것인 실제 객체 증강 장치.
  9. 제 8 항에 있어서,
    상기 3차원 기하 변환 관계 추정부는,
    상기 추출된 증강 대상 객체의 3차원 모델 정보에 포함된 특징점을 기준으로, 상기 3차원 모델 정보에 포함된 특징점과 상기 추출된 특징점간 서로 대응되는 점의 좌표 차이에 근거하여 상기 3차원 기하 변환 관계를 추정하는 실제 객체 증강 장치.
  10. 삭제
  11. 제 8 항에 있어서,
    상기 객체 영역 영상 분리부는,
    상기 분리된 영역의 영상으로부터 상기 추출된 증강 대상 객체의 텍스쳐(texture)를 획득하고,
    상기 객체 변형부는,
    상기 획득된 텍스쳐를 상기 추출된 증강 대상 객체의 3차원 모델에 사상하는 실제 객체 증강 장치.
  12. 제 8 항에 있어서,
    상기 객체 변형부는,
    상기 사상된 증강 대상 객체의 3차원 모델의 확대 또는 축소, 일부분에 대한 변형, 가상의 광원이 추가된 조명 효과, 다른 재질로의 표현 및 모핑(morphing) 변환 중 하나 이상을 적용하여 상기 사상된 증강 대상 객체의 3차원 모델을 변형하는 실제 객체 증강 장치.
  13. 제 12 항에 있어서,
    상기 객체 변형부는,
    상기 변형된 3차원 모델이 렌더링된 위치에 홀(hole)이 발생되면, 상기 추출된 증강 대상 객체의 주변 배경과 유사한 색상으로 상기 홀을 복원하는 실제 객체 증강 장치.
KR1020130155389A 2013-06-25 2013-12-13 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품 KR102167273B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130073051 2013-06-25
KR20130073051 2013-06-25

Publications (2)

Publication Number Publication Date
KR20150001580A KR20150001580A (ko) 2015-01-06
KR102167273B1 true KR102167273B1 (ko) 2020-10-20

Family

ID=52475306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130155389A KR102167273B1 (ko) 2013-06-25 2013-12-13 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품

Country Status (1)

Country Link
KR (1) KR102167273B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018174499A2 (ko) * 2017-03-20 2018-09-27 주식회사 라이커스게임 가상 마커 및 벡터를 이용한 증강 현실 영상 구현 방법
KR101981314B1 (ko) * 2017-07-31 2019-05-22 주식회사 렛시 가상 객체 증강 장치 및 방법
US20220254109A1 (en) * 2019-03-28 2022-08-11 Nec Corporation Information processing apparatus, display system, display method, and non-transitory computer readable medium storing program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216114A (ja) 2001-01-17 2002-08-02 Ricoh Co Ltd ３次元モデル生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
KR101083408B1 (ko) * 2010-01-18 2011-11-14 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR101171321B1 (ko) * 2010-12-16 2012-08-10 건국대학교 산학협력단 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법
KR101545138B1 (ko) * 2010-12-23 2015-08-19 에스케이플래닛 주식회사 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216114A (ja) 2001-01-17 2002-08-02 Ricoh Co Ltd ３次元モデル生成方法

Also Published As

Publication number Publication date
KR20150001580A (ko) 2015-01-06

Similar Documents

Publication Publication Date Title
JP6644833B2 (ja) アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法
US9710912B2 (en) Method and apparatus for obtaining 3D face model using portable camera
US20210279967A1 (en) Object centric scanning
KR101669119B1 (ko) 다층 증강 현실 시스템 및 방법
KR102113812B1 (ko) Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법
US20200184726A1 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
US20130120365A1 (en) Content playback apparatus and method for providing interactive augmented space
CN109906600B (zh) 模拟景深
US20120306874A1 (en) Method and system for single view image 3 d face synthesis
KR20140108828A (ko) 카메라 트래킹 장치 및 방법
KR102152432B1 (ko) 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법
KR20180087918A (ko) 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
WO2008056825A1 (fr) Procédé de création d'une surface tridimensionnelle
US10964083B1 (en) Facial animation models
WO2012078006A2 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
JP2022031304A (ja) 動画変換システム、動画変換方法及び動画変換プログラム
KR102167273B1 (ko) 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품
JP2016152586A (ja) プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
JP6555755B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11170550B2 (en) Facial animation retargeting using an anatomical local model
CN112561071A (zh) 根据3d语义网格的对象关系估计
JP2010033397A (ja) 画像合成装置および方法
CN112868052A (zh) 用于提供具有六个自由度的至少部分内容的方法和系统
KR20230095197A (ko) 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant