KR101740329B1 - 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법 - Google Patents

팝업 북 기반 영상 콘텐츠 표시 장치 및 방법 Download PDF

Info

Publication number
KR101740329B1
KR101740329B1 KR1020150110146A KR20150110146A KR101740329B1 KR 101740329 B1 KR101740329 B1 KR 101740329B1 KR 1020150110146 A KR1020150110146 A KR 1020150110146A KR 20150110146 A KR20150110146 A KR 20150110146A KR 101740329 B1 KR101740329 B1 KR 101740329B1
Authority
KR
South Korea
Prior art keywords
depth
current page
pop
book
information
Prior art date
Application number
KR1020150110146A
Other languages
English (en)
Other versions
KR20170016704A (ko
Inventor
김항기
김기홍
김홍기
이길행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150110146A priority Critical patent/KR101740329B1/ko
Priority to US15/064,775 priority patent/US20170039768A1/en
Publication of KR20170016704A publication Critical patent/KR20170016704A/ko
Application granted granted Critical
Publication of KR101740329B1 publication Critical patent/KR101740329B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Abstract

본 발명은 팝업 북 기반 영상 콘텐츠 표시 장치에 관한 것으로, 펼쳐진 상태에서 입체적 형상이 돌출되는 팝업 북의 각 페이지 별로 미리 획득된 복수의 기준 깊이-기반 메쉬 정보와, 각 페이지에 대응하는 영상 콘텐츠를 저장하는 데이터베이스; 임의의 지점에 위치하여 펼쳐진 팝업 북의 입체적 형상이 돌출되어 있는 현재 페이지를 촬영하여 깊이 정보를 포함하는 영상을 획득하고, 현재 페이지의 깊이-기반 메쉬 정보를 생성하는 깊이 정보 획득 유닛; 및 데이터베이스에 미리 저장되어 있는 복수의 기준 깊이-기반 메쉬 정보와 깊이 정보 획득 유닛에 의해 생성된 현재 페이지의 깊이-기반 메쉬 정보를 매칭하여 현재 페이지를 인식하고, 인식된 현재 페이지에 대응하는 영상 콘텐츠를 데이터베이스로부터 추출하여 현재 페이지 상에 투사하는 디스플레이 유닛을 포함한다.

Description

팝업 북 기반 영상 콘텐츠 표시 장치 및 방법{APPARATUS FOR DISPLAYING IMAGE CONTENTS BASED ON POP-UP BOOK AND METHOD THEREOF}
본 발명은 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법에 관한 것으로, 보다 상세하게는 깊이 정보 획득 수단을 이용하여 3차원 입체적 형상이 돌출되는 팝업 북의 페이지 별로 인식하고, 이에 상응하는 영상 콘텐츠를 빔 프로젝터와 같은 디스플레이 수단을 통해 해당 페이지에 직접 투사함으로써, 증강현실 방식으로 보다 현실감 있게 팝업 북을 활용할 수 있도록 하는 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법에 관한 것이다.
일반적으로 모든 사물에 대해 감수성 있게 받아 들이는 유아라든가 어린이에게는 어떤 새로운 물건의 이름이나 기타 교육을 시킬 때 그 물건이나 교육에 대한 흥미와 호기심을 유발시키는 것이 중요하며, 이를 위해 부모나 선생님은 아동의 교육에 대한 흥미와 호기심을 유발하기 위해 다양한 종류의 도서나 기타 보조 기구 등을 사용 하고 있다.
보통 아동용 책은 이야기에 대한 그림 또는 글씨의 조합으로 구성되어 있으며, 특히 책을 펼칠 때 등장인물이나 사물이 책의 전면에 돌출되어 현실감을 높일 수 있도록 된 팝업 북(Pop-up book)이 개발되어 있다.
이러한 팝업 북을 기반으로 하여 팝업 북과 음성 또는 동영상과 같은 디지털 콘텐츠를 접목하려는 시도로서, '관광컨텐츠 홍보용 스마트업북과 이의 운용시스템'을 발명의 명칭으로 하는 대한민국 공개특허 제10-2012-0023269호(공개일자 : 2012년 3월 13일)에서는 팝업 북의 팝업 기능과 디지털 정보 저장기능을 함께 구현하여 관광컨텐츠에 대한 홍보효과를 높일 수 있도록 한 스마트업북에 대해 개시하고 있다.
그러나, 상기와 같은 대한민국 공개특허 제10-2012-0023269호 등은 단순히 팝업 북의 각 페이지의 일측에 팝업 돌출되는 입체적 형상(관광컨텐츠)와 관련된 정보(음성 및 동영상 정보)와 연결할 수 있도록 하는 2차원바코드를 표시하고, 사용자의 단말기로 해당 2차원바코드를 인식하였을 때, 실제 팝업 북이 아닌 사용자의 단말기에 해당 정보를 디스플레이하는 것에 불과하여, 실공간에서 펼쳐진 팝업 북의 입체적 형상과 실감 영상 콘텐츠 상호 간의 시너지 효과를 얻을 수 없다는 한계가 존재한다.
한편, '증강 현실 서비스 시스템 및 방법'을 발명의 명칭으로 하는 대한민국 등록특허 제10-1126449호(공고일자 : 2012년 3월 29일) 등과 같은 증강현실(AR; Augmented Reality) 콘텐츠 기술이 개발되어 왔다. 이러한 종래의 증강현실 콘텐츠 기술들은 현실 공간에 마커(marker)를 설치해 두고 카메라로 촬영하면 마커의 크기나 경사도 등을 이용하여 사용자의 위치를 추정한 후 이에 맞추어 실사 영상에 가상의 영상 객체를 합성하고, 합성된 영상 콘텐츠를 TV와 같은 디스플레이 수단 또는 모바일 단말기를 통해 사용자에게 표시하는 방식을 취하고 있다. 그러나, 실공간 상에 존재하는 사용자의 관심 대상 물체에 직접 증강현실 영상 콘텐츠를 표시하는 것이 아닌, 별도의 디스플레이 수단 또는 모바일 단말기 상의 화면으로 증강현실 영상을 표시하는 것에 불과하여 사용자의 증강현실에 대한 몰입도가 낮아질 수밖에 없다는 문제가 있다.
대한민국 공개특허 제10-2012-0023269호 '관광컨텐츠 홍보용 스마트업북과 이의 운용시스템'(2012.03.13 공개) 대한민국 등록특허 제10-1126449호 '증강 현실 서비스 시스템 및 방법' (2012.03.29 공개)
본 발명의 목적은, 3차원의 입체적 형상이 돌출되어 있는 실공간 상의 팝업 북에 이에 대응하는 영상 콘텐츠를 직접 투사함으로서, 사용자에게 보다 현실감 있는 팝업 북 기반 영상 콘텐츠 서비스를 제공하고자 함에 있다.
또한, 본 발명의 목적은, 종래 팝업 북의 한계로서 미리 콘텐츠가 인쇄되어 돌출되는 입체적 형상 또는 단순한 개별 아이템의 조작만으로 각 페이지의 스토리를 체험할 수 밖에 없다는 한계를 극복하여, 각 페이지에 디스플레이 수단을 이용한 동영상 콘텐츠를 팝업 북 상에 투사함으로서, 사용자가 팝업 북의 시나리오에 보다 몰입할 수 있도록 하는 팝업 북 기반 영상 콘텐츠 서비스를 제공하고자 함에 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 장치는, 펼쳐진 상태에서 입체적 형상이 돌출되는 팝업 북(Pop-up book)의 각 페이지 별로 미리 획득된 복수의 기준 깊이-기반 메쉬(depth-based mesh) 정보와, 상기 각 페이지에 대응하는 영상 콘텐츠를 저장하는 데이터베이스(DB); 임의의 지점에 위치하여 펼쳐진 팝업 북의 입체적 형상이 돌출되어 있는 현재 페이지를 촬영하여 깊이 정보를 포함하는 영상을 획득하고, 상기 현재 페이지의 깊이-기반 메쉬 정보를 생성하는 깊이 정보 획득 유닛; 및 상기 데이터베이스에 미리 저장되어 있는 복수의 기준 깊이-기반 메쉬 정보와 상기 깊이 정보 획득 유닛에 의해 생성된 현재 페이지의 깊이-기반 메쉬 정보를 매칭하여 상기 현재 페이지를 인식하고, 인식된 현재 페이지에 대응하는 영상 콘텐츠를 상기 데이터베이스로부터 추출하여 상기 현재 페이지 상에 투사하는 디스플레이 유닛을 포함하는 것을 특징으로 한다.
이때, 상기 디스플레이 유닛은, 최근접 포인트(ICP; Iterative Closest Point) 또는 능동 윤곽선(Active contour) 비교 알고리즘을 적용하여 상기 복수의 기준 깊이-기반 메쉬 정보 중 상기 현재 페이지의 깊이-기반 메쉬 정보와 가장 유사도가 높은 기준 깊이-기반 메쉬 정보를 매칭하고, 매칭된 기준 깊이-기반 메쉬 정보에 해당하는 페이지를 현재 페이지로 인식하는 페이지 인식부를 포함할 수 있다.
이때, 상기 데이터베이스에 저장된 복수의 기준 깊이-기반 메쉬 정보는 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 각 페이지 별로 미리 획득된 기준 깊이-기반 메쉬 정보이고, 상기 각 페이지에 대응하는 영상 콘텐츠는 상기 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 각 페이지 상에 투사되는 영상 콘텐츠일 수 있다.
이때, 상기 데이터베이스에 저장된 각 페이지 별 기준 깊이-기반 메쉬 정보는 일정한 지점(기준점)에 위치하여 일정한 각도 간격으로 펼쳐졌을 때 미리 획득된 기준 깊이-기반 메쉬 정보를 포함할 수 있다.
이때, 상기 디스플레이 유닛은, 상기 페이지 인식부에 의해 인식된 현재 페이지에 해당하는 기준 깊이-기반 메쉬 정보와 상기 깊이 정보 획득 유닛에 의해 생성된 현재 페이지의 깊이-기반 메쉬 정보를 비교하여, 상기 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 현재 페이지와 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 간의 어파인 변환(Affine transform) 정보를 산출하는 변위정보 생성부를 더 포함할 수 있다.
이때, 상기 디스플레이 유닛은, 상기 변위정보 생성부에 의해 산출된 어파인 변환 정보에 기초하여 상기 깊이 정보 획득 유닛에 의해 생성된 현재 페이지의 깊이-기반 메쉬 정보에 상응하도록 현재 페이지에 해당하는 기준 깊이-기반 메쉬 정보를 변환하고, 변환된 기준 깊이-기반 메쉬 정보에 따라 상기 현재 페이지에 대응하는 영상 콘텐츠를 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 상에 투사되도록 렌더링하여 투사하는 영상 콘텐츠 투사부를 더 포함할 수 있다.
이때, 상기 디스플레이 유닛은, 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 상대적인 위치관계 매개변수(parameter) 및 상기 깊이 정보 획득 유닛에 의해 영상이 획득되는 팝업 북의 현재 페이지 상에 상기 현재 페이지에 대응하는 영상 콘텐츠가 투사되도록 하는 렌더링 매개변수를 산출하고, 산출된 위치관계 매개변수 및 렌더링 매개변수에 기초하여 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 캘리브레이션(calibration)을 수행하는 전처리부를 더 포함할 수 있다.
이때, 상기 위치관계 매개변수는 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 상대적인 위치를 나타내는 이동 및 회전 변환 행렬일 수 있다.
이때, 상기 데이터베이스에 저장된 각 페이지에 대응하는 영상 콘텐츠는 하나의 시나리오에 따라 전후 페이지에 대응하는 영상 콘텐츠와 상호 연동하는 영상 콘텐츠일 수 있다.
이때, 상기 깊이 정보 획득 유닛은 마커가 없는 상기 팝업 북의 현재 페이지에 대한 깊이-기반 메쉬 정보를 생성하고, 상기 디스플레이 유닛은 상기 팝업 북의 현재 페이지의 표면에 상기 현재 페이지에 대응하는 영상 콘텐츠를 직접 투사할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 방법은, 깊이 정보 획득 유닛이 임의의 지점에 위치하여 펼쳐진 팝업 북(Pop-up book)의 입체적 형상이 돌출되어 있는 현재 페이지를 촬영하여 깊이 정보를 포함하는 영상을 획득하는 제1 단계; 상기 깊이 정보 획득 유닛이 상기 깊이 정보를 포함하는 영상으로부터 상기 현재 페이지의 깊이-기반 메쉬 정보를 생성하는 제2 단계; 디스플레이 유닛이 팝업 북의 각 페이지 별로 미리 회득되어 데이터베이스에 저장되어 있는 복수의 기준 깊이-기반 메쉬 정보와 상기 제2 단계에서 생성된 현재 페이지의 깊이-기반 메쉬 정보를 매칭하여 상기 현재 페이지를 인식하는 제3 단계; 및 상기 디스플레이 유닛이 상기 데이터베이스에 저장된 상기 각 페이지에 대응하는 영상 콘텐츠 중 상기 제3 단계에서 인식된 현재 페이지에 대응하는 영상 콘텐츠를 추출하여 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 상에 투사하는 제4 단계를 포함하는 것을 특징으로 한다.
이때, 상기 제3 단계는 최근접 포인트(ICP) 또는 능동 윤곽선 비교 알고리즘을 적용하여 상기 복수의 기준 깊이-기반 메쉬 정보 중 상기 현재 페이지의 깊이-기반 메쉬 정보와 가장 유사도가 높은 기준 깊이-기반 메쉬 정보를 매칭하고, 매칭된 기준 깊이-기반 메쉬 정보에 해당하는 페이지를 현재 페이지로 인식할 수 있다.
이때, 상기 데이터베이스에 저장된 복수의 기준 깊이-기반 메쉬 정보는 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 각 페이지 별로 미리 획득된 기준 깊이-기반 메쉬 정보이고, 상기 각 페이지에 대응하는 영상 콘텐츠는 상기 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 각 페이지 상에 투사되는 영상 콘텐츠일 수 있다.
이때, 상기 데이터베이스에 저장된 각 페이지 별 기준 깊이-기반 메쉬 정보는 일정한 지점(기준점)에 위치하여 일정한 각도 간격으로 펼쳐졌을 때 미리 획득된 기준 깊이-기반 메쉬 정보를 포함할 수 있다.
이때, 상기 제4 단계는 상기 제3 단계에서 인식된 현재 페이지에 해당하는 기준 깊이-기반 메쉬 정보와 상기 제2 단계에서 생성된 현재 페이지의 깊이-기반 메쉬 정보를 비교하여, 상기 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 현재 페이지와 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 간의 어파인 변환 정보를 산출하는 단계를 포함할 수 있다.
이때, 상기 제4 단계는 상기 제4-1 단계에서 산출된 어파인 변환 정보에 기초하여 상기 제2단계에서 생성된 현재 페이지의 깊이-기반 메쉬 정보에 상응하도록 현재 페이지에 해당하는 기준 깊이-기반 메쉬 정보를 변환하고, 변환된 기준 깊이-기반 메쉬 정보에 따라 상기 현재 페이지에 대응하는 영상 콘텐츠를 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 상에 투사되도록 렌더링하여 투사하는 단계를 더 포함할 수 있다.
이때, 상기 제1 단계 이전에 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 상대적인 위치관계 매개변수 및 상기 깊이 정보 획득 유닛에 의해 영상이 획득되는 팝업 북의 현재 페이지 상에 상기 현재 페이지에 대응하는 영상 콘텐츠가 투사되도록 하는 렌더링 매개변수를 산출하고, 산출된 위치관계 매개변수 및 렌더링 매개변수에 기초하여 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 캘리브레이션을 수행하는 전처리 단계를 더 포함할 수 있다.
이때, 상기 위치관계 매개변수는 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 상대적인 위치를 나타내는 이동 및 회전 변환 행렬일 수 있다.
이때, 상기 데이터베이스에 저장된 각 페이지에 대응하는 영상 콘텐츠는 하나의 시나리오에 따라 전후 페이지에 대응하는 영상 콘텐츠와 상호 연동하는 영상 콘텐츠일 수 있다.
이때, 상기 제2 단계는 마커가 없는 상기 팝업 북의 현재 페이지에 대한 깊이-기반 메쉬 정보를 생성하고, 상기 제4 단계는 상기 팝업 북의 현재 페이지의 표면에 상기 현재 페이지에 대응하는 영상 콘텐츠를 직접 투사할 수 있다.
본 발명에 따르면, 종래의 마커 기반 증강현실 콘텐츠 기술들이 영상 콘텐츠를 모바일 단말기의 화면에 한정되어 표시함으로서 사용자의 몰임감이 저하된다는 한계를 해결하여 3차원의 입체적 형상이 돌출되어 있는 실공간 상의 팝업 북에 이에 대응하는 영상 콘텐츠를 빔 프로젝터와 같은 디스플레이 수단으로 직접 투사함으로서, 사용자에게 보다 현실감 있는 팝업 북 기반 영상 콘텐츠 서비스를 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 현실 공간 상의 팝업 북에 대해 직접 획득한 깊이 영상을 기준 깊이-기반 메쉬 정보와 매칭하여 팝업 북을 인식하고, 인식된 팝업 북에 대응하는 영상 콘텐츠를 투사함으로써, 종래의 마커 기반 증강현실 콘텐츠 기술들과 같이 현실 공간에 마커를 부착하거나 이를 인식하지 않고도 사용자에게 증강현실 영상 콘텐츠를 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 종래 팝업 북의 한계로서 미리 콘텐츠가 인쇄되어 돌출되는 입체적 형상 또는 단순한 개별 아이템의 조작만으로 각 페이지의 스토리를 체험할 수 밖에 없다는 한계를 극복하여, 각 페이지에 디스플레이 수단을 이용한 영상 콘텐츠를 팝업 북 상에 투사함으로서, 사용자가 팝업 북의 시나리오에 보다 몰입할 수 있도록 하는 팝업 북 기반 영상 콘텐츠 서비스를 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 장치의 구성과 동작 개념을 설명하기 위한 도면이다.
도 2는 팝업 북의 좌/우 페이지가 다양한 각도로 펼쳐졌을 경우를 예시적으로 설명하기 위한 도면이다.
도 3은 도 1에 도시된 디스플레이 유닛의 구성을 보다 구체적으로 설명하기 위한 블록도이다.
도 4는 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 방법을 설명하기 위한 흐름도이다.
도 5는 도 4에 도시된 S500 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 장치의 구성 및 그 동작에 대하여 설명하도록 한다.
도 1은 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 장치의 구성과 동작 개념을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 장치(20)는, 펼쳐지면 3차원 입체적 형상(14; 14a, 14b)이 돌출되는 팝업 북(Pop-up book; 10)의 각 페이지 별로 기준 깊이-기반 메쉬(depth-based mesh) 정보를 미리 획득하여 저장하고, 각 페이지 별로 펼져졌을 때의 해당 페이지에 투사하기 위한 영상 콘텐츠를 저장하는 데이터베이스(DB; 100)와, 실공간 상의 임의의 지점에서 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b)를 촬영하여 깊이 정보를 포함하는 영상을 획득하고, 해당 현재 페이지(12)의 깊이-기반 메쉬 정보를 생성하는 깊이 정보 획득 유닛(200)과, 데이터베이스(100)에 저장되어 있는 각 페이지 별 기준 깊이-기반 메쉬 정보와 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지(12)의 깊이-기반 메쉬 정보를 매칭하여 현재 페이지(12)를 인식하고, 인식된 현재 페이지(12)에 대응하는 영상 콘텐츠를 데이터베이스(100)에서 추출하여 실공간 상에 펼쳐져 있는 팝업 북(10)의 현재 페이지(12) 상에 투사하는 디스플레이 유닛(300)을 포함한다. 이때, 본 발명에서 깊이-기반 메쉬 정보가 획득되는 팝업 북의 각 페이지에는 별도의 마커가 존재하지 않는다.
먼저, 데이터베이스(100)에는 실공간의 특정한 위치인 기준점에 각 페이지 마다 펼쳐지면 하나 이상의 입체적 형상(14; 14a, 14b)이 상방으로 돌출 형성되는 팝업 북(10)이 위치하여 펼쳐진 경우, 각 페이지 별로 미리 획득된 깊이-기반 메쉬 정보를 저장한다. 이때, 데이터베이스(100)에 저장되는 팝업 북(10)의 각 페이지 별로 미리 획득된 복수의 깊이-기반 메쉬 정보들은 실공간 내 일정한 지점(기준점)에 팝업 북(10)을 위치시키고 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 장치(20)의 깊이 정보 획득 유닛(200)으로 각 페이지를 촬영하여 깊이 정보를 포함하는 영상을 획득한 후 생성한 깊이-기반 메쉬 정보에 해당할 수 있으나, 각 페이지 별 깊이-기반 메쉬 정보 획득 방식은 반드시 이에 한정되는 것은 아니다. 이하에서는, 데이터베이스(100)에 미리 저장된 팝업 북(10)의 각 페이지 별 깊이-기반 메쉬 정보를 기준 깊이-기반 메쉬 정보라고 지칭하기로 한다. 이때, 후술하는 디스플레이 유닛(300)이 데이터베이스(100)에 미리 저장된 팝업 북(10)의 각 페이지 별 기준 깊이-기반 메쉬 정보를 기초로 현재 페이지가 어떤 페이지인지 보다 정확하게 인식하도록 하기 위해서, 팝업 북(10)의 각 페이지 마다 돌출되는 입체적 형상(14; 14a, 14b)은 각 페이지 별로 서로 다른 모양과 크기를 갖는 것이 바람직하다.
실공간 내 일정한 지점(기준점)에 위치한 팝업 북(10)에 대해 미리 획득되어 데이터베이스(100)에 저장되는 기준 깊이-기반 메쉬 정보는 각 페이지 별로 그에 대응하는 하나의 기준 깊이-기반 메쉬 정보가 될 수 있으나, 하나의 페이지에 2이상의 기준 깊이-기반 메쉬 정보가 될 수도 있다. 보다 구체적으로, 데이터베이스(100)에 저장된 팝업 북(10)의 각 페이지 별 기준 깊이-기반 메쉬 정보는 후술하는 바와 같이, 실공간에서 사용자가 임의의 지점에서 해당 팝업 북(10)을 펼쳤을 때, 현재 펼쳐진 페이지(12)에 대해 획득한 깊이-기반 메쉬 정보와 비교하여 현재 펼쳐진 페이지(12)가 어떤 페이지에 해당하는지의 현재 페이지(12)를 인식하기 위해 이용된다. 이때, 팝업 북(10)의 특정 페이지가 사용자에 의해 펼쳐진 경우, 좌/우 페이지(12a, 12b)가 완전히 180˚로 펼쳐져 정확하게 평면을 형성하지 아니하고, 도 2에 도시된 바와 같이, 좌/우 페이지(12a, 12b) 간의 펼쳐진 각도가 θ, θ1, θ2 등(예를 들어, 160˚, 140˚, 120˚ 등)으로 다양할 수 있다. 이와 같이, 다양한 각도(θ, θ1, θ2 등)로 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b)를 디스플레이 유닛(300)이 보다 정확하게 인식하도록 하기 위해서, 데이터베이스(100)에는 팝업 북(10)의 각 페이지 별로 일정한 각도 간격(△θ)으로 펼쳐졌을 때의 페이지 형상에 대해 미리 획득된 각도별 기준 깊이-기반 메쉬 정보들이 저장될 수 있다.
또한, 데이터베이스(100)에는 팝업 북(10)의 각 페이지 별로 대응하는 영상 콘텐츠 정보가 저장된다. 보다 구체적으로, 팝업 북(10)의 각 페이지 마다 디스플레이 유닛이 투사하는 영상 콘텐츠는 서로 상이할 수 있기 때문에, 각 페이지 마다 투사되는 영상 콘텐츠를 미리 데이터베이스(100)에 저장한다. 이때, 하나의 팝업 북(10)에 하나의 일관된 시나리오가 존재하는 경우, 데이터베이스(100)에 저장된 각 페이지에 대응하는 영상 콘텐츠는 해당 시나리오에 따라 전/후 페이지에 대응하는 영상 콘텐츠와 상호 연동하는 영상 콘텐츠일 수 있다. 각 페이지에 대응하는 영상 콘텐츠는 애니메이션 동영상 뿐만 아니라 정지화상이 될 수 있고, 투사되는 동영상 또는 정지화상에 맞는 사운드(배경음악, 나레이션, 특수효과음 등) 정보가 포함될 수 있다. 이때, 각 페이지에 대응하는 영상 콘텐츠는 실공간 내 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북(100)의 각 페이지 상에 투사되는 영상 콘텐츠인 것으로서, 기준 깊이-기반 메쉬의 표면에 애니메이션되는 렌더 텍스쳐 머티리얼(Render texture material) 형식으로 표현될 수 있다. 한편, 팝업 북(10)은 시나리오에 따라 페이지 별로 영상 콘텐츠가 투사되는 부분과 투사되지 않는 부분으로 구분되어, 영상 콘텐츠가 투사되지 않는 부분에는 미리 그림 등의 디자인이 되어 있어 있고, 영상 콘텐츠가 투사되는 부분에는 디스플레이 유닛(300)에 의해 투사되는 화면을 최대한 밝게 반사시키는 재질로 만들어지거나, 그러한 재질로 코팅되어 있는 것이 바람직하다.
깊이 정보 획득 유닛(200)은 실공간 상의 임의의 지점에 위치하여 펼쳐진 팝업 북(10)의 입체적 형상(14; 14a. 14b)이 돌출되어 있는 현재 페이지(12; 12a, 12b)를 촬영하여 깊이 정보를 포함하는 영상을 획득한다. 그리고, 획득된 깊이 정보를 포함하는 영상으로부터 해당 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보를 생성한다. 이때, 깊이 정보 획득 유닛(200)은 Kinect, Structure IO 등과 같이 전방의 대상물에 대한 깊이(Depth) 영상을 센싱할 수 있는 단일의 깊이 카메라(Depth camera)에 해당하는 것이 바람직하나, 획득된 영상의 스테레오 정합을 수행하여 3차원 정보를 획득하는 다시점 카메라도 이에 해당할 수 있다. 깊이 정보 획득 유닛(200)은 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보를 디스플레이 유닛(300)으로 전송한다. 한편, 팝업 북(10)의 일부 페이지에 사용자가 움직일 수 있는 아이템(예를 들어, 회전판 등)이 부착되는 경우, 사용자의 아이템 조작에 따라서 해당 아이템이 움직이면 깊이 정보 획득 유닛(200)은 이에 대한 깊이 영상을 추적하고, 추적된 깊이 영상 정보를 디스플레이 유닛(300)에 전송할 수 있다.
디스플레이 유닛(300)은 데이터베이스(100)에 미리 저장되어 있는 복수의 기준 깊이-기반 메쉬 정보와 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보를 매칭하여 현재 페이지(12; 12a, 12b)를 인식하고, 인식된 현재 페이지(12; 12a, 12b)에 대응하는 영상 콘텐츠를 데이터베이스로(100)부터 추출하여 현재 페이지(12; 12a, 12b) 상에 투사한다. 보다 구체적으로, 도 3에 도시된 바와 같이, 디스플레이 유닛(300)은 전처리부(320), 페이지 인식부(340), 변위정보 생성부(360) 및 영상 콘텐츠 투사부(380)를 포함한다.
디스플레이 유닛(300)이 인식된 현재 페이지(12; 12a, 12b)에 대응하는 영상 콘텐츠를 데이터베이스로(100)부터 추출하여 현재 페이지(12; 12a, 12b) 상에 투사하기에 앞서, 전처리 과정으로서 실공간 내에 배치된 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300)에 캘리브레이션(calibration)이 선행되어야 한다. 이를 위해, 전처리부(320)는 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 상대적인 위치관계 매개변수(parameter)와 깊이 정보 획득 유닛(300)에 의해 영상이 획득되는 팝업 북(10)의 현재 페이지(12; 12a, 12b) 상에 해당 현재 페이지(12; 12a, 12b)에 대응하는 영상 콘텐츠가 투사되도록 하는 렌더링 매개변수를 산출하고, 산출된 위치관계 매개변수와 렌더링 매개변수에 기초하여 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 캘리브레이션을 수행한다. 종래 프로젝터에 기반한 영상 표시 방식의 경우에는 초기에 캘리브레이션이 완료된 후, 투사체가 이동 또는 회전하거나 프로젝터가 이동하는 경우에 원하는 투사체의 표면에 정확하게 영상이 투사되지 못하는 문제가 있으나, 본 발명에서는 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 상대적인 위치관계 매개변수(parameter)에 기초하여 캘리브레이션이 수행되는 한편, 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보와 기준 깊이-기반 메쉬 정보와의 매칭을 실시간으로 체크하여 영상 콘텐츠를 팝업 북(10)의 현재 페이지(12; 12a, 12b) 표면에 투사함으로써, 캘리브레이션이 선행된 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300)이 각각 별개로 이동/회전하지 않는 이상, 실공간 상에서 깊이 정보 획득 유닛(200)에 의해 깊이 영상이 획득되는 팝업 북(10)의 페이지 표면에 그에 대응하는 영상 콘텐츠가 디스플레이 유닛(300)을 통해 정확하게 투사될 수 있다. 이때, 전처리부(320)가 산출하는 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 위치관계 매개변수는 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 상대적인 위치를 나타내는 이동 및 회전 변환 행렬일 수 있다.
페이지 인식부(340)는 데이터베이스(100)로부터 팝업 북(10)의 각 페이지 별 기준 깊이-기반 메쉬 정보를 추출하고, 깊이 정보 획득 유닛(200)에 의해 생성된 팝업 북(10)의 현재 페이지(12; 12a, 12b)에 대한 깊이-기반 메쉬 정보를 팝업 북(10)의 각 페이지 별 기준 깊이-기반 메쉬 정보와 비교하여 실공간 상의 임의의 지점에 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b)가 어떠한 페이지인지 인식한다. 이를 위해, 페이지 인식부(340)는 최근접 포인트(ICP; Iterative Closest Point) 또는 능동 윤곽선(Active contour 또는 Sneak contour) 비교 알고리즘을 적용하여 데이터베이스(100)로부터 추출된 복수의 기준 깊이-기반 메쉬 정보들 중에서, 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보와 가장 유사도가 높은 기준 깊이-기반 메쉬 정보를 매칭하고, 매칭된 기준 깊이-기반 메쉬 정보에 해당하는 페이지를 현재 페이지로 인식한다. 즉, 페이지 인식부(340)는 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 구조와 데이터베이스(100)로부터 추출된 각 페이지의 기준 깊이-기반 메쉬 구조의 최근접 포인트(ICP) 또는 외곽선(깊이의 차이가 커지는 부분)을 추적한 후, 능동 윤곽선을 이용한 유사도 비교를 수행하여, 가장 유사도가 높은 기준 깊이-기반 메쉬 구조에 해당하는 페이지를 임의의 공간에 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b)로 인식한다. 이때, 최근접 포인트 알고리즘을 적용하는 경우에 있어서, 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 구조와 데이터베이스(100)로부터 추출된 각 페이지의 기준 깊이-기반 메쉬 구조 각각에서 샘플링을 통해 동일한 개수의 포인트를 선택하고, 샘플링을 통해 선택된 두 포인트 세트에 대해, 가장 최소거리를 갖는 포인트를 계산하여 매칭시키고, 매칭된 두 포인트 세트의 거리를 최소화할 수 있는 3차원 변환행렬을 산출하고, 상기 3차원 변환행렬을 통해 정합된 두 포인트 세트의 거리의 합인 에러값을 구하고, 상기 에러값을 기설정된 임계값과 비교하여 유사도 비교를 수행한다. 또한, 본 발명에서 팝업 북(10)의 현재 페이지(12; 12a, 12b)의 위치/방향 인식을 위한 알고리즘으로 최근접 포인트(ICP) 알고리즘을 이용하는 것이 바람직한데, 이는 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬와 가장 유사도가 높은 기준 깊이-기반 메쉬를 매칭할 수 있을 뿐만 아니라, 후술하는 바와 같이 변위정보 생성부(360)가 해당 기준 깊이-기반 메쉬와 실공간 상에서의 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬가 상대적으로 어떻게 이동/회전되어 위치하였는지를 알 수 있는 어파인 변환(Affine transform) 정보까지 도출할 수 있는 이점이 있기 때문이다.
변위정보 생성부(360)는 페이지 인식부(340)에 의해 인식된 현재 페이지(12; 12a, 12b)에 해당하는 기준 깊이-기반 메쉬 정보와 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지의 깊이-기반 메쉬 정보를 비교하여, 일정한 지점(기준점)에 위치하여 펼쳐졌을 때의 팝업 북(10)의 현재 페이지(12; 12a, 12b)와 상기 임의의 지점에 위치하여 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b) 간의 어파인 변환 정보를 산출한다. 변위정보 생성부(360)는 산출된 팝업 북(10)의 현재 페이지(12; 12a, 12b)의 어파인 변환 정보를 영상 콘텐츠 투사부(380)로 전송한다.
영상 콘텐츠 투사부(380)는 변위정보 생성부(380)로부터 전송받은 어파인 변환 정보에 기초하여, 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보에 상응하도록 현재 페이지(12; 12a, 12b)에 해당하는 기준 깊이-기반 메쉬 정보를 변환한다. 그리고, 영상 콘텐츠 투사부(380)는 변환된 기준 깊이-기반 메쉬 정보에 따라 현재 페이지(12; 12a, 12b)에 대응하는 영상 콘텐츠가 임의의 지점에 위치하여 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b) 상에 투사되도록 해당 영상 콘텐츠를 렌더링한 후 투사한다. 이에 따라, 본 발명에서 영상 콘텐츠 투사부(380)는 팝업 북의 현재 페이지의 표면에 상기 현재 페이지에 대응하는 영상 콘텐츠를 직접 투사하게 된다.
이하에서는 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 방법에 대하여 설명하도록 한다. 앞서, 도 1 내지 도 3을 참조한 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 장치의 동작에 대한 설명과 일부 중복되는 부분은 생략하여 설명하기로 한다.
도 4는 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 방법은, 먼저 실공간 상에 배치된 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 캘리브레이션을 전처리로서 수행한다(S100). 상기 S100 단계에서는 디스플레이 유닛(300)의 전처리부(320)가 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 상대적인 위치관계 매개변수와 함께, 깊이 정보 획득 유닛(200)에 의해 영상이 획득되는 팝업 북(10)의 현재 페이지(12; 12a, 12b) 상에 해당 현재 페이지(12; 12a, 12b)에 대응하는 영상 콘텐츠가 투사되도록 하는 렌더링 매개변수를 산출하고, 산출된 위치관계 매개변수와 렌더링 매개변수에 기초하여 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 캘리브레이션을 수행한다.
상기 S100 단계에서 깊이 정보 획득 유닛(200)과 디스플레이 유닛(300) 간의 캘리브레이션이 전처리로서 수행된 후, 사용자가 실공간의 임의의 지점에서 팝업 북(10)을 펼치면, 깊이 정보 획득 유닛(200)은 임의의 지점에 위치하여 펼쳐진 팝업 북(10)의 입체적 형상(14; 14a, 14b)이 돌출되어 있는 현재 페이지(12; 12a, 12b)를 촬영하여 깊이 정보를 포함하는 영상을 획득한다(S200, 제1 단계). 그리고, 깊이 정보 획득 유닛(200)은 상기 S200 단계에서 획득된 팝업 북(10)의 현재 페이지(12; 12a, 12b)에 대한 깊이 영상을 분석하여 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보를 생성한다(S300, 제2 단계). 상기 S300 단계에서 깊이 정보 획득 유닛(200)은 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보를 디스플레이 유닛(300)으로 전송한다.
디스플레이 유닛(300)은 상기 S300 단계에서 깊이 정보 획득 유닛(200)으로 전송받은 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보와, 팝업 북(10)의 각 페이지 별로 미리 회득되어 데이터베이스(100)에 저장되어 있는 복수의 기준 깊이-기반 메쉬 정보를 상호 매칭하여, 해당 현재 페이지(12; 12a, 12b)를 인식한다(S400, 제3 단계). 상기 S400단계에서 디스플레이 유닛(300)의 페이지 인식부(340)는 최근접 포인트(ICP) 또는 능동 윤곽선 비교 알고리즘을 적용하여 데이터베이스(100)로부터 추출한 팝업 북(10)의 복수의 기준 깊이-기반 메쉬 정보들 중에서 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보와 가장 유사도가 높은 기준 깊이-기반 메쉬 정보를 매칭하고, 매칭된 기준 깊이-기반 메쉬 정보에 해당하는 페이지를 현재 페이지(12; 12a, 12b)로 인식한다.
그 다음으로, 디스플레이 유닛(300)은 S400 단계에서 인식된 현재 페이지(12; 12a, 12b)에 대응하는 영상 콘텐츠를 데이터베이스(100)에 저장된 각 페이지에 대응하는 영상 콘텐츠들 중에서 추출하고, 추출된 영상 콘텐츠를 실공간 상의 임의지 지점에 위치하여 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b)의 표면에 투사한다(S500, 제4 단계).
도 5은 도 4에 도시된 본 발명에 따른 팝업 북 기반 영상 콘텐츠 표시 방법을나타낸 흐름도에서 S500 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 5를 참조하면, 디스플레이 유닛(300)이 현재 페이지(12; 12a, 12b)에 대응하는 영상 콘텐츠를 데이터베이스(100)로부터 추출하여 실공간 상의 임의지 지점에 위치하여 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b)의 표면에 투사하는 S500 단계는, 먼저 디스플레이 유닛(300)의 변위정보 생성부(360)가 데이터베이스(100)에 저장된 현재 페이지(12; 12a, 12b)에 해당하는 기준 깊이-기반 메쉬 정보와 상기 S300 단계에서 깊이 정보 획득 유닛(200)에 의해 생성된 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬 정보를 비교한다. 그리고, 변위정보 생성부(360)는 비교 결과에 기초하여 실공간 상의 일정한 지점(기준점)에 위치하여 펼쳐졌을 때의 팝업 북(10)의 현재 페이지(12; 12a, 12b)와 임의의 지점에 위치하여 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b) 간의 어파인 변환 정보를 산출한다(S520, 제4-1 단계).
그 다음으로, 디스플레이 유닛(300)의 영상 콘텐츠 투사부(380)는 상기 S520 단계에서 산출된 어파인 변환 정보에 기초하여 실공간 상의 임의의 지점에 위치하여 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b)의 깊이-기반 메쉬에 상응하도록 현재 페이지(12; 12a, 12b)에 해당하는 기준 깊이-기반 메쉬를 변환한다. 그리고, 영상 콘텐츠 투사부(380)는 변환된 기준 깊이-기반 메쉬 정보에 따라서 데이터베이스(100)로부터 추출한 현재 페이지(12; 12a, 12b)에 대응하는 영상 콘텐츠가 실공간 상의 임의의 지점에 위치하여 펼쳐진 팝업 북(10)의 현재 페이지(12; 12a, 12b) 상에 투사되도록, 해당 영상 콘텐츠를 렌더링하여 투사한다(S540, 제4-2 단계).
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 팝업 북
20: 팝업 북 기반 영상 콘텐츠 표시 장치
100: 데이터베이스 200: 깊이 정보 획득 유닛
300: 디스플레이 유닛
320: 전처리부 340: 페이지 인식부
360: 변위정보 생성부 380: 영상 콘텐츠 투사부

Claims (20)

  1. 펼쳐진 상태에서 입체적 형상이 돌출되는 팝업 북(Pop-up book)의 각 페이지 별로 미리 획득된 복수의 기준 깊이-기반 메쉬(depth-based mesh) 정보와, 상기 각 페이지에 대응하는 영상 콘텐츠를 저장하는 데이터베이스(DB);
    임의의 지점에 위치하여 펼쳐진 팝업 북의 입체적 형상이 돌출되어 있는 현재 페이지를 촬영하여 깊이 정보를 포함하는 영상을 획득하고, 상기 현재 페이지의 깊이-기반 메쉬 정보를 생성하는 깊이 정보 획득 유닛; 및
    상기 데이터베이스에 미리 저장되어 있는 복수의 기준 깊이-기반 메쉬 정보와 상기 깊이 정보 획득 유닛에 의해 생성된 현재 페이지의 깊이-기반 메쉬 정보를 매칭하여 상기 현재 페이지를 인식하고, 인식된 현재 페이지에 대응하는 영상 콘텐츠를 상기 데이터베이스로부터 추출하여 상기 현재 페이지 상에 투사하는 디스플레이 유닛을 포함하고
    상기 데이터베이스에 저장된 복수의 기준 깊이-기반 메쉬 정보는, 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 각 페이지 별로 미리 획득된 기준 깊이-기반 메쉬 정보이고,
    상기 각 페이지에 대응하는 영상 콘텐츠는, 상기 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 각 페이지 상에 투사되는 영상 콘텐츠이고,
    상기 디스플레이 유닛은
    상기 일정한 지점(기준점)과 상기 임의의 지점을 고려하여 상기 현재 페이지에 대응하는 영상 콘텐츠를 상기 임의의 지점에 위치하여 펼쳐진 팝업 북에 상응하게 렌더링하여 투사하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  2. 청구항 1에 있어서,
    상기 디스플레이 유닛은,
    최근접 포인트(ICP; Iterative Closest Point) 또는 능동 윤곽선(Active contour) 비교 알고리즘을 적용하여 상기 복수의 기준 깊이-기반 메쉬 정보 중 상기 현재 페이지의 깊이-기반 메쉬 정보와 가장 유사도가 높은 기준 깊이-기반 메쉬 정보를 매칭하고, 매칭된 기준 깊이-기반 메쉬 정보에 해당하는 페이지를 현재 페이지로 인식하는 페이지 인식부를 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  3. 삭제
  4. 청구항 2에 있어서,
    상기 데이터베이스에 저장된 각 페이지 별 기준 깊이-기반 메쉬 정보는, 일정한 지점(기준점)에 위치하여 일정한 각도 간격으로 펼쳐졌을 때 미리 획득된 기준 깊이-기반 메쉬 정보를 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  5. 청구항 2에 있어서,
    상기 디스플레이 유닛은,
    상기 페이지 인식부에 의해 인식된 현재 페이지에 해당하는 기준 깊이-기반 메쉬 정보와 상기 깊이 정보 획득 유닛에 의해 생성된 현재 페이지의 깊이-기반 메쉬 정보를 비교하여, 상기 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 현재 페이지와 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 간의 어파인 변환(Affine transform) 정보를 산출하는 변위정보 생성부를 더 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  6. 청구항 5에 있어서,
    상기 디스플레이 유닛은,
    상기 변위정보 생성부에 의해 산출된 어파인 변환 정보에 기초하여 상기 깊이 정보 획득 유닛에 의해 생성된 현재 페이지의 깊이-기반 메쉬 정보에 상응하도록 현재 페이지에 해당하는 기준 깊이-기반 메쉬 정보를 변환하고, 변환된 기준 깊이-기반 메쉬 정보에 따라 상기 현재 페이지에 대응하는 영상 콘텐츠를 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 상에 투사되도록 렌더링하여 투사하는 영상 콘텐츠 투사부를 더 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  7. 청구항 6에 있어서,
    상기 디스플레이 유닛은,
    상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 상대적인 위치관계 매개변수(parameter) 및 상기 깊이 정보 획득 유닛에 의해 영상이 획득되는 팝업 북의 현재 페이지 상에 상기 현재 페이지에 대응하는 영상 콘텐츠가 투사되도록 하는 렌더링 매개변수를 산출하고, 산출된 위치관계 매개변수 및 렌더링 매개변수에 기초하여 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 캘리브레이션(calibration)을 수행하는 전처리부를 더 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  8. 청구항 7에 있어서,
    상기 위치관계 매개변수는, 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 상대적인 위치를 나타내는 이동 및 회전 변환 행렬인 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  9. 청구항 1에 있어서,
    상기 데이터베이스에 저장된 각 페이지에 대응하는 영상 콘텐츠는, 하나의 시나리오에 따라 전후 페이지에 대응하는 영상 콘텐츠와 상호 연동하는 영상 콘텐츠인 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  10. 청구항 1에 있어서,
    상기 깊이 정보 획득 유닛은 마커가 없는 상기 팝업 북의 현재 페이지에 대한 깊이-기반 메쉬 정보를 생성하고,
    상기 디스플레이 유닛은 상기 팝업 북의 현재 페이지의 표면에 상기 현재 페이지에 대응하는 영상 콘텐츠를 직접 투사하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 장치.
  11. 깊이 정보 획득 유닛이 임의의 지점에 위치하여 펼쳐진 팝업 북의 입체적 형상이 돌출되어 있는 현재 페이지를 촬영하여 깊이 정보를 포함하는 영상을 획득하는 제1 단계;
    상기 깊이 정보 획득 유닛이 상기 깊이 정보를 포함하는 영상으로부터 상기 현재 페이지의 깊이-기반 메쉬 정보를 생성하는 제2 단계;
    디스플레이 유닛이 팝업 북의 각 페이지 별로 미리 회득되어 데이터베이스에 저장되어 있는 복수의 기준 깊이-기반 메쉬 정보와 상기 제2 단계에서 생성된 현재 페이지의 깊이-기반 메쉬 정보를 매칭하여 상기 현재 페이지를 인식하는 제3 단계; 및
    상기 디스플레이 유닛이 상기 데이터베이스에 저장된 상기 각 페이지에 대응하는 영상 콘텐츠 중 상기 제3 단계에서 인식된 현재 페이지에 대응하는 영상 콘텐츠를 추출하여 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 상에 투사하는 제4 단계를 포함하고,
    상기 데이터베이스에 저장된 복수의 기준 깊이-기반 메쉬 정보는, 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 각 페이지 별로 미리 획득된 기준 깊이-기반 메쉬 정보이고,
    상기 각 페이지에 대응하는 영상 콘텐츠는, 상기 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 각 페이지 상에 투사되는 영상 콘텐츠이고,
    상기 제4 단계는
    상기 일정한 지점(기준점)과 상기 임의의 지점을 고려하여 상기 현재 페이지에 대응하는 영상 콘텐츠를 상기 임의의 지점에 위치하여 펼쳐진 팝업 북에 상응하게 렌더링하여 투사하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
  12. 청구항 11에 있어서,
    상기 제3 단계는,
    최근접 포인트(ICP) 또는 능동 윤곽선 비교 알고리즘을 적용하여 상기 복수의 기준 깊이-기반 메쉬 정보 중 상기 현재 페이지의 깊이-기반 메쉬 정보와 가장 유사도가 높은 기준 깊이-기반 메쉬 정보를 매칭하고, 매칭된 기준 깊이-기반 메쉬 정보에 해당하는 페이지를 현재 페이지로 인식하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
  13. 삭제
  14. 청구항 12에 있어서,
    상기 데이터베이스에 저장된 각 페이지 별 기준 깊이-기반 메쉬 정보는, 일정한 지점(기준점)에 위치하여 일정한 각도 간격으로 펼쳐졌을 때 미리 획득된 기준 깊이-기반 메쉬 정보를 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
  15. 청구항 14에 있어서,
    상기 제4 단계는,
    상기 제3 단계에서 인식된 현재 페이지에 해당하는 기준 깊이-기반 메쉬 정보와 상기 제2 단계에서 생성된 현재 페이지의 깊이-기반 메쉬 정보를 비교하여, 상기 일정한 지점(기준점)에 위치하여 펼쳐진 팝업 북의 현재 페이지와 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 간의 어파인 변환 정보를 산출하는 제4-1 단계를 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
  16. 청구항 15에 있어서,
    상기 제4 단계는,
    상기 제4-1 단계에서 산출된 어파인 변환 정보에 기초하여 상기 제2단계에서 생성된 현재 페이지의 깊이-기반 메쉬 정보에 상응하도록 현재 페이지에 해당하는 기준 깊이-기반 메쉬 정보를 변환하고, 변환된 기준 깊이-기반 메쉬 정보에 따라 상기 현재 페이지에 대응하는 영상 콘텐츠를 상기 임의의 지점에 위치하여 펼쳐진 팝업 북의 현재 페이지 상에 투사되도록 렌더링하여 투사하는 제4-2 단계를 더 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
  17. 청구항 16에 있어서,
    상기 제1 단계 이전에,
    상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 상대적인 위치관계 매개변수및 상기 깊이 정보 획득 유닛에 의해 영상이 획득되는 팝업 북의 현재 페이지 상에 상기 현재 페이지에 대응하는 영상 콘텐츠가 투사되도록 하는 렌더링 매개변수를 산출하고, 산출된 위치관계 매개변수 및 렌더링 매개변수에 기초하여 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 캘리브레이션을 수행하는 전처리 단계를 더 포함하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
  18. 청구항 17에 있어서,
    상기 위치관계 매개변수는, 상기 깊이 정보 획득 유닛과 상기 디스플레이 유닛 간의 상대적인 위치를 나타내는 이동 및 회전 변환 행렬인 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
  19. 청구항 11에 있어서,
    상기 데이터베이스에 저장된 각 페이지에 대응하는 영상 콘텐츠는, 하나의 시나리오에 따라 전후 페이지에 대응하는 영상 콘텐츠와 상호 연동하는 영상 콘텐츠인 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
  20. 청구항 11에 있어서,
    상기 제2 단계는 마커가 없는 상기 팝업 북의 현재 페이지에 대한 깊이-기반 메쉬 정보를 생성하고,
    상기 제4 단계는 상기 팝업 북의 현재 페이지의 표면에 상기 현재 페이지에 대응하는 영상 콘텐츠를 직접 투사하는 것을 특징으로 하는, 팝업 북 기반 영상 콘텐츠 표시 방법.
KR1020150110146A 2015-08-04 2015-08-04 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법 KR101740329B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150110146A KR101740329B1 (ko) 2015-08-04 2015-08-04 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법
US15/064,775 US20170039768A1 (en) 2015-08-04 2016-03-09 Apparatus for displaying image content based on pop-up book and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150110146A KR101740329B1 (ko) 2015-08-04 2015-08-04 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170016704A KR20170016704A (ko) 2017-02-14
KR101740329B1 true KR101740329B1 (ko) 2017-05-29

Family

ID=58053347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150110146A KR101740329B1 (ko) 2015-08-04 2015-08-04 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법

Country Status (2)

Country Link
US (1) US20170039768A1 (ko)
KR (1) KR101740329B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861771B (zh) * 2017-11-02 2022-05-06 深圳市雷鸟网络传媒有限公司 加载弹出页面数据的方法、装置及计算机可读存储介质
KR102440412B1 (ko) 2021-11-17 2022-09-06 주식회사 일리소프트 팝업북, 이를 이용한 증강현실을 제공하기 위한 장치 및 이를 위한 방법
US11934914B1 (en) * 2023-10-12 2024-03-19 Lifetime Health and Transportation LLC Methods and systems for fused content generation for a book having pages interspersed with optically readable codes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408295B1 (ko) * 2013-05-31 2014-06-17 (주)린소프트 비평면 스크린을 이용한 프로젝션 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120023269A (ko) 2010-09-01 2012-03-13 김종기 관광컨텐츠 홍보용 스마트업북과 이의 운용시스템
KR101126449B1 (ko) 2011-06-30 2012-03-29 양재일 증강 현실 서비스 시스템 및 방법
GB2499249B (en) * 2012-02-13 2016-09-21 Sony Computer Entertainment Europe Ltd System and method of image augmentation
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
GB2536493B (en) * 2015-03-20 2020-11-18 Toshiba Europe Ltd Object pose recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408295B1 (ko) * 2013-05-31 2014-06-17 (주)린소프트 비평면 스크린을 이용한 프로젝션 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
임경훈,"팝업북과 프로젝션 맵핑을 이용한 새로운 애니메이션 상영 방식 제안",만화애니메이션연구 , 2015.6, 133-156(24 pages), 한국만화애니메이션학회(2015.6.)*

Also Published As

Publication number Publication date
US20170039768A1 (en) 2017-02-09
KR20170016704A (ko) 2017-02-14

Similar Documents

Publication Publication Date Title
WO2021073292A1 (zh) 一种ar场景图像处理方法、装置、电子设备及存储介质
JP7231306B2 (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
US11003956B2 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
KR101135186B1 (ko) 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN104885098B (zh) 基于移动装置的文本检测及跟踪
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
KR101827046B1 (ko) 모션 센서 데이터에 기초한 3d 모델들을 계산하도록 구성된 이동 디바이스
US10777015B2 (en) Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device
CN104346612B (zh) 信息处理装置和显示方法
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN103703758A (zh) 移动增强现实系统
JP2005135355A (ja) データオーサリング処理装置
WO2016153388A1 (ru) Способ отображения объекта
KR101740329B1 (ko) 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법
CN113657357B (zh) 图像处理方法、装置、电子设备及存储介质
CN109906600A (zh) 模拟景深
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
US9317968B2 (en) System and method for multiple hypotheses testing for surface orientation during 3D point cloud extraction from 2D imagery
EP3385915A1 (en) Method and device for processing multimedia information
KR101641672B1 (ko) 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템
CN113377205B (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
CN107066095B (zh) 一种信息处理方法及电子设备
ITTO20070852A1 (it) Metodo di transizione tra due mappe tridimensionali geo-referenziate.
CN109215128A (zh) 物体运动姿态图像的合成方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant