KR101710003B1 - 실시간 동적 비평면 프로젝션 장치 및 방법 - Google Patents

실시간 동적 비평면 프로젝션 장치 및 방법 Download PDF

Info

Publication number
KR101710003B1
KR101710003B1 KR1020140001741A KR20140001741A KR101710003B1 KR 101710003 B1 KR101710003 B1 KR 101710003B1 KR 1020140001741 A KR1020140001741 A KR 1020140001741A KR 20140001741 A KR20140001741 A KR 20140001741A KR 101710003 B1 KR101710003 B1 KR 101710003B1
Authority
KR
South Korea
Prior art keywords
rigid body
module
mesh
rigid
depth
Prior art date
Application number
KR1020140001741A
Other languages
English (en)
Other versions
KR20150081837A (ko
Inventor
김항기
김영희
김용선
김기홍
조현우
김진호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140001741A priority Critical patent/KR101710003B1/ko
Priority to US14/590,885 priority patent/US9430865B2/en
Publication of KR20150081837A publication Critical patent/KR20150081837A/ko
Application granted granted Critical
Publication of KR101710003B1 publication Critical patent/KR101710003B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)

Abstract

실시간으로 움직이는 비평면 객체의 표면에 프로젝터의 화면을 투사함에 있어서 화면의 일그러짐이나 경계영역의 벗어남 등 시각적 오류현상을 줄이기 위한 실시간 동적 비평면 프로젝션 장치 및 방법을 제시한다. 제시된 장치는 비평면 표면에 투사될 화면중에서 정적인 부분에 대한 데이터를 미리 처리해 두는 전처리부, 및 비평면 표면에 투사될 화면상의 비평면 대상을 전처리부로부터의 데이터를 이용하여 강체와 비강체로 구분하고 강체와 비강체를 각각 시청자의 현재 시점에 따라 렌더링하여 프로젝션 매핑을 통해 비평면 표면에 투사하는 실시간 프로젝션부를 포함한다.

Description

실시간 동적 비평면 프로젝션 장치 및 방법{Real time dynamic non planar projection apparatus and method}
본 발명은 실시간 동적 비평면 프로젝션 장치 및 방법에 관한 것으로, 보다 상세하게는 실시간으로 움직이거나 변형되는 비평면 대상을 강체(Rigid Body)와 비강체(Non Rigid Body)로 나누어서 빔 프로젝터로 원하는 화면을 보여주는 장치 및 방법에 관한 것이다.
비정형 객체(Irregular-면,구,상자,실린더,원뿔 등 수학적으로 쉽게 계산이 가능한 객체), 비평면 객체(Non Planar-면이 평평하지 않고 굴곡이 있는 객체)에 대해서 프로젝터(Projector)의 위치, 방향을 실시간으로 옮기고 이를 추적하여 투사하는 여러 가지 시도가 있어 왔다.
또한, 비평면인 커튼(Curtain) 등에 투사하면서 백색이 아닌 커튼의 무늬 때문에 생길 수 밖에 없는 색상의 오차를 보정하여 커튼의 무늬가 드러나지 않고 영상의 왜곡을 줄이기도 하였으나, 이때 색상의 표현 범위가 줄어 들 수 밖에 없는 단점이 있다.
기존에 비정형 스크린에 대한 프로젝션(Projection) 방법에는 여러 가지가 있었으나, 실시간으로 변형되는 기하 표면에 투사하는 것은 아니었다.
집안의 움직이는 커튼에 투사를 하거나 야외에서 스크린에 투사를 하는 등 움직이는 비평면 기하 표면에 화면을 프로젝션해야 하는 경우는 많이 발생하나, 이를 위하여 올바르게 화면을 보정하기 위한 기술이 부족하였다.
관련 선행기술로는, 각 빔 프로젝터로부터 스크린으로 영사되는 영상 화면의 위치와 크기를 일치시키기 위한 화면 보정이 적외선 영사장치, 적외선 반사마커, 적외선 감지 카메라모듈, 컴퓨터장치에 의해 자동으로 수행됨으로써 화면보정작업의 정합성과 편의성이 향상되는 내용이, 대한민국등록특허 제1273534호(입체영상 프로젝션을 위한 자동 화면보정 시스템을 이용한 화면보정방법)에 개시되었다.
다른 관련 선행기술로는, 패턴의 효율적인 프로젝션을 위해 특히 프로젝트된 패턴 뿐만 아니라 3D 매핑을 효율적으로 하기 위한 내용이, 미국공개특허 제2013-0127854호(SCANNING PROJECTORS AND IMAGE CAPTURE MODULES FOR 3D MAPPING)에 개시되었다.
또 다른 관련 선행기술로는, 비디오 또는 정지 화상일 수 있는 프로젝트된 이미지의 각각의 상보적인 부분을 생성하기 위해 이용되는 시스템이, 미국등록특허 제8358873호(HYBRID SYSTEM FOR MULTI-PROJECTOR GEOMETRY CALIBRATION)에 개시되었다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 실시간으로 움직이는 비평면 객체의 표면에 프로젝터의 화면을 투사함에 있어서 화면의 일그러짐이나 경계영역의 벗어남 등 시각적 오류현상을 줄이기 위한 실시간 동적 비평면 프로젝션 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 실시간 동적 비평면 프로젝션 장치는, 비평면 표면에 투사될 화면중에서 정적인 부분에 대한 데이터를 미리 처리해 두는 전처리부; 및 상기 비평면 표면에 투사될 화면상의 비평면 대상을 상기 전처리부로부터의 데이터를 이용하여 강체와 비강체로 구분하고 상기 강체와 비강체를 각각 시청자의 현재 시점에 따라 렌더링하여 프로젝션 매핑을 통해 상기 비평면 표면에 투사하는 실시간 프로젝션부;를 포함한다.
이때, 상기 전처리부는, 상기 비평면 표면에 투사될 화면중에서 배경에 대한 메쉬값을 미리 구해 저장해 두는 배경 메쉬 구조 저장 모듈부; 상기 배경을 제외한 전경에서 강체에 대한 메쉬값을 미리 구해 저장해 두는 전경 강체 메쉬 구조 저장 모듈부; 및 상기 비평면 표면에 화면을 투사시킬 프로젝터의 내부 인자 및 외부 인자를 캘리브레이션하는 프로젝터 캘리브레이션 모듈부;를 포함할 수 있다.
이때, 상기 전처리부는 실시간으로 추적하고자 하는 영역 중에 고정된 부분을 마스킹 영역으로 설정해서 저장해 두는 배경 마스크 저작 및 저장 모듈부를 추가로 포함할 수 있다.
이때, 상기 실시간 프로젝션부는, 상기 비평면 표면에 투사되는 화면의 프레임의 변화를 계산하기 위하여 이전 프레임을 저장해 두는 이전 프레임 저장 모듈부; 상기 시청자의 시점을 추적하는 시청자 시점 추적 모듈부; 상기 비평면 대상을 강체와 비강체 중에서 어느 하나로 구분하는 강체와 비강체 구분 모듈부; 상기 강체와 비강체 구분 모듈부에 의해 구분된 강체와 비강체를 각각 렌더링하는 렌더링 모듈부; 및 상기 렌더링 모듈부의 렌더링 결과를 상기 시청자의 시점 변화에 따라 프로젝션 매핑하는 프로젝션 맵핑 모듈부;를 포함할 수 있다.
이때, 상기 강체와 비강체 구분 모듈부는, 상기 비평면 대상에 대하여 실시간으로 깊이 맵을 추출하는 깊이 맵 추출 모듈부; 상기 깊이 맵 추출 모듈부에서 추출한 깊이 맵에서 깊이를 연결된 의미있는 단위의 그룹으로 분리해 내는 깊이 맵 부분 그룹화 모듈부; 상기 분리된 그룹의 이전 프레임의 깊이와 현재 프레임의 깊이를 비교하여 차이를 계산하는 제 1 비교 모듈부; 및 상기 제 1 비교 모듈부에서의 결과 및 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬를 상호 비교하여 상기 분리된 그룹이 강체인지를 파악하는 제 2 비교 모듈부;를 포함할 수 있다.
이때, 상기 제 2 비교 모듈부는, 상기 제 1 비교 모듈부에서의 결과가 상기 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬와 비교하여 기설정된 스레시홀드보다 작으면 해당 그룹을 강체로 인식할 수 있다.
이때, 상기 렌더링 모듈부는, 상기 강체를 렌더링함에 있어서 이전 프레임과의 차이를 이용하여 위치, 방향을 근거로 투사될 영상의 변환 매트릭스에 적용하여 투사하는 강체 렌더링 모듈부; 및 상기 비강체를 렌더링함에 있어서 깊이의 변화에 따라 변형된 메쉬를 구하고, 시점 추적된 값을 렌더 카메라에 적용하여 메쉬에 프로젝션 매핑을 통해 영상을 렌더링하는 비강체 렌더링 모듈부;를 포함할 수 있다.
한편, 본 발명의 바람직한 실시양태에 따른 실시간 동적 비평면 프로젝션 방법은, 전처리부가, 비평면 표면에 투사될 화면중에서 정적인 부분에 대한 데이터를 미리 처리해 두는 단계; 실시간 프로젝션부가, 상기 비평면 표면에 투사될 화면상의 비평면 대상을 상기 전처리부로부터의 데이터를 이용하여 강체와 비강체로 구분하는 단계; 및 상기 실시간 프로젝션부가, 상기 강체와 비강체를 각각 시청자의 현재 시점에 따라 렌더링하여 프로젝션 매핑을 통해 상기 비평면 표면에 투사하는 단계;를 포함한다.
이때, 상기 데이터를 미리 처리해 두는 단계는, 상기 비평면 표면에 투사될 화면중에서 배경에 대한 메쉬값을 미리 구해 저장해 두는 단계; 상기 배경을 제외한 전경에서 강체에 대한 메쉬값을 미리 구해 저장해 두는 단계; 및 상기 비평면 표면에 화면을 투사시킬 프로젝터의 내부 인자 및 외부 인자를 캘리브레이션하는 단계;를 포함할 수 있다.
이때, 상기 데이터를 미리 처리해 두는 단계는 실시간으로 추적하고자 하는 영역 중에 고정된 부분을 마스킹 영역으로 설정해서 저장해 두는 단계를 추가로 포함할 수 있다.
이때, 상기 강체와 비강체로 구분하는 단계는, 상기 비평면 대상에 대하여 실시간으로 깊이 맵을 추출하는 단계; 상기 추출한 깊이 맵에서 깊이를 연결된 의미있는 단위의 그룹으로 분리해 내는 단계; 상기 분리된 그룹의 이전 프레임의 깊이와 현재 프레임의 깊이를 비교하여 차이를 계산하는 단계; 및 상기 차이를 계산하는 단계에서의 결과 및 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬를 상호 비교하여 상기 분리된 그룹이 강체인지를 파악하는 단계;를 포함할 수 있다.
상기 강체인지를 파악하는 단계는, 상기 차이를 계산하는 단계에서의 결과가 상기 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬와 비교하여 기설정된 스레시홀드보다 작으면 해당 그룹을 강체로 인식할 수 있다.
이러한 구성의 본 발명에 따르면, 움직이는 비평면 표면에서도 화면의 왜곡없이 올바르게 투사할 수 있게 된다.
즉, 실시간으로 움직이는 비평면 객체의 표면에 프로젝터의 화면을 투사함에 있어서 화면의 일그러짐 또는 경계영역의 벗어남 등의 시각적 오류현상을 줄일 수 있다.
본 발명은 실시간으로 깊이 맵(Depth Map)에서 추출된 메쉬(Mesh)로부터 강체(Rigid Body)와 비강체(Non Rigid Body)를 구분하여 빔 프로젝터로 원하는 화면을 일그러짐 없이 보여줄 수 있다.
도 1은 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 장치의 구성도이다.
도 2는 도 1에 도시된 전처리부의 내부 구성을 나타낸 블럭도이다.
도 3은 도 1에 도시된 실시간 프로젝션부의 내부 구성을 나타낸 블럭도이다.
도 4는 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 방법을 설명하기 위한 플로우차트이다.
도 5는 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 방법에서 전처리 과정을 설명하는데 채용되는 도면이다.
도 6은 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 방법에서 실시간 프로젝션 처리 과정을 설명하는데 채용되는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명은 실시간으로 움직이는 비평면 객체의 표면에 프로젝터의 화면을 투사함에 있어서 화면의 일그러짐이나 경계영역의 벗어남 등 시각적 오류현상을 줄이기 위하여, 전처리 단계에 필요한 데이터를 수집하고, 실시간 투사시 깊이 맵(Depth Map)을 이용하여 객체별 강체(Rigid Body)와 비강체(Non Rigid Body)로 나누어서 빔 프로젝터로 원하는 화면을 일그러짐 없이 보여주는 것을 기술적 특징으로 한다.
도 1은 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 장치의 구성도이다.
도 1의 실시간 동적 비평면 프로젝션 장치는 전처리부(100) 및 실시간 프로젝션부(200)를 포함한다.
전처리부(100)는 비평면 표면(예컨대, 커튼 등)에 투사될 화면(영상)중에서 정적인 부분에 대한 데이터를 미리 처리할 수 있는 것들을 미리 처리해 둔다. 이는 실시간 처리시 시간 낭비를 줄이기 위함이다.
실시간 프로젝션부(200)는 전처리부(100)에서 구해 놓은 정적인 값과 함께 실시간으로 변화하는 값을 이용하여 화면의 왜곡없이 프로젝션을 수행한다. 다시 말해서, 실시간 프로젝션부(200)는 비평면 표면에 투사될 화면상의 비평면 대상(예컨대, 천, RC자동차, 탁자, 나무상자 등)을 전처리부(100)로부터의 데이터를 이용하여 강체와 비강체로 구분하고, 구분된 강체와 비강체를 각각 시청자의 현재 시점에 따라 렌더링하여 프로젝션 매핑을 통해 비평면 표면에 투사한다.
도 2는 도 1에 도시된 전처리부의 내부 구성을 나타낸 블럭도이다.
전처리부(100)는 배경 메쉬 구조 저장 모듈부(10), 전경 강체 메쉬 구조 저장 모듈부(12), 배경 마스크 저작 및 저장 모듈부(14), 및 프로젝터 캘리브레이션 모듈부(16)를 포함한다.
배경 메쉬(Mesh) 구조 저장 모듈부(10)는 배경과 같이 움직이지 않는 면 또는 객체에 대한 메쉬(Mesh) 값을 미리 구해 두어 저장해 둔다. 즉, 배경 메쉬 구조 저장 모듈부(10)는 비평면 표면에 투사될 화면중에서 배경에 대한 메쉬값을 미리 구해 저장해 둔다고 볼 수 있다. 바람직하게, 배경 메쉬 구조 저장 모듈부(10)내의 메쉬값들은 추후에 전경과 배경을 분리할 때 사용한다.
경계선을 접하는 두 영역이 있는 하나의 장면에서 지각의 대상이 되는 부분을 전경(figure)이라고 할 수 있고, 그외의 나머지를 배경(ground)이라고 할 수 있다. 다시 말해서, 흔히 전경이 앞에 있고 배경은 뒤에 있는 것처럼 보이기 때문에, 두 부분이 경계를 상호 공유할 경우 전경은 뚜렷한 형태를 지니는 경향이 있으며, 반대로 배경은 단지 뒷배경을 구성해 준다.
전경 강체 메쉬 구조 저장 모듈부(12)는 하나의 장면에서 배경을 제외한 전경에서 강체(Rigid Body)에 대한 메쉬(Mesh)값을 미리 구해 두어 차후에 변환만 적용할 수 있도록 저장해 둔다.
본 발명의 명세서에서, 강체(Rigid body)라 함은 실시간으로 변하는 비평면 표면에서 물체의 기하구조 변화없이 위치와 방향만 변화하는 것을 의미한다. 강체의 예로는 RC자동차, 탁자, 나무상자 등 위치, 방향은 변하지만 기하구조 자체가 변하지 않는 객체들이 이에 속한다. 강체의 움직임에는 크기 변화도 포함할 수 있지만 크기는 대부분 변하지 않는다. 한편, 비강체(Non Rigid body)라 함은 천과 같이 표면의 기하구조가 변화하는 것을 의미한다. 비강체의 예로는 커튼, 텐트 표면, 풍선, 고무?G흙 등 위치, 방향 뿐만 아니라 기하구조 자체가 변화하는 객체들이 이에 속한다.
배경 마스크 저작 및 저장 모듈부(14)는 실시간으로 추적하고자 하는 영역 중에 움직이지 않고 고정된 부분을 미리 알고 있을 경우에 그 고정된 부분을 마스킹(Masking) 영역으로 설정해서 저장해 둔다.
프로젝터 캘리브레이션(Projector Calibration) 모듈부(16)는 비평면 표면에 화면을 투사시킬 프로젝터의 내부(Intrinsic) 인자, 외부(Extrinscic) 인자(Parameter)에 대한 캘리브레이션 및 깊이지도 추출장치에 대한 캘리브레이션(내부, 외부)을 수행하여 인자(Parameter)를 저장해 둔다.
도 3은 도 1에 도시된 실시간 프로젝션부의 내부 구성을 나타낸 블럭도이다.
실시간 프로젝션부(200)는 이전 프레임 저장 모듈부(20), 시청자 시점 추적 모듈부(22), 강체와 비강체 구분 모듈부(30), 렌더링 모듈부(40), 및 프로젝션 맵핑 모듈부(50)를 포함한다.
이전 프레임 저장 모듈부(20)는 실시간으로 움직이거나 변형되는 비평면 표면에 투사되는 프로젝터의 화면의 프레임(Frame)의 변화를 계산하기 위하여 이전 프레임을 저장해 둔다.
시청자 시점 추적 모듈부(22)는 시청자의 시점에 따라 프로젝션 맵핑이 가능하도록 시청자의 시점을 추적하여 위치(Translation)/방향(Rotation)을 매 프레임마다 계산하여 렌더링 카메라에 적용한다. 예를 들어, 시청자 시점 추적 모듈부(223)는 눈 추적(Eye Tracking) 방식 또는 머리 추적(Head Tracking) 방식을 이용할 수 있다. 눈 추적 방식 또는 머리 추적 방식에 대해서는 별도의 추가 설명을 하지 않아도 동종업계에 종사하는 자라면 주지의 기술로 충분히 파악할 수 있으리라 본다.
강체와 비강체 구분 모듈부(30)는 실시간으로 움직이거나 변형되는 비평면 대상(즉, 객체)을 강체(Rigid Body)와 비강체(Non-Rigid Body)중 어느 하나로 구분한다. 이를 위해, 강체와 비강체 구분 모듈부(30)는 깊이 맵 추출 모듈부(32), 깊이 맵 부분 그룹화 모듈부(34), 이전 프레임의 깊이와 비교 모듈부(36), 및 전처리 강체 메쉬와 비교 모듈부(38)를 포함한다. 깊이 맵 추출 모듈부(32)는 실시간으로 움직이거나 변형되는 비평면 객체에 대하여 실시간으로 깊이 맵(Depth Map)을 추출한다. 깊이 맵 부분 그룹화 모듈부(34)는 깊이 맵 추출 모듈부(32)에서 추출한 깊이 맵에서 깊이를 연결된 의미있는 단위의 그룹으로 분리해 낸다. 이전 프레임의 깊이와 비교 모듈부(36)는 분리된 그룹의 이전 프레임의 깊이와 현재 프레임의 깊이를 비교하여 차이를 계산한다. 전처리 강체 메쉬와 비교 모듈부(38)는 이전 프레임의 깊이와 비교 모듈부(36)에서의 결과가 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬와 비교하여 기설정된 스레시홀드(Threashold)보다 작으면 해당 그룹을 강체(Rigid-Body)로 인식한다.
여기서, 이전 프레임의 깊이와 비교 모듈부(36)는 본 발명의 특허청구범위에 기재된 제 1 비교 모듈부의 일 예가 되고, 전처리 강체 메쉬와 비교 모듈부(38)는 본 발명의 특허청구범위에 기재된 제 2 비교 모듈부의 일 예가 될 수 있다.
렌더링 모듈부(40)는 강체와 비강체 구분 모듈부(30)에 의해 구분된 강체와 비강체를 각각 렌더링한다. 이를 위해, 렌더링 모듈부(40)는 강체 렌더링 모듈부(42) 및 비강체 렌더링 모듈부(44)를 포함한다. 강체 렌더링 모듈부(42)는 강체를 렌더링함에 있어서 이전 프레임과의 차이를 이용하여 위치(Translation), 방향(Rotation)을 근거로 투사될 영상의 변환 매트릭스(Transform Matrix)에 적용하여 투사한다. 비강체 렌더링 모듈부(44)는 비강체를 렌더링함에 있어서 깊이(Depth)의 변화에 따라서 변형(Deform)된 메쉬(Mesh)를 구하고, 시점 추적된 값을 렌더 카메라에 적용하여 메쉬에 프로젝션 매핑(Projection Mapping)을 통해 영상을 렌더링한다.
프로젝션 맵핑 모듈부(50)는 사용자의 시점 변화에 따라서 렌더링하고자 하는 카메라의 위치,방향에 적용하여 프로젝션 매핑(Projection Mapping)한다.
이번에는, 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 방법에 대해 설명한다. 도 4는 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 방법을 설명하기 위한 플로우차트이고, 도 5는 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 방법에서 전처리 과정을 설명하는데 채용되는 도면이고, 도 6은 본 발명의 실시예에 따른 실시간 동적 비평면 프로젝션 방법에서 실시간 프로젝션 처리 과정을 설명하는데 채용되는 도면이다.
본 발명은 전처리 데이터를 수집하는 과정(S30) 이후에 전처리 데이터를 근거로 실시간 프로젝션을 수행(S40)한다.
전처리 과정(S30)에서, 먼저 프로젝터 캘리브레이션을 수행한다(S10). 프로젝터 캘리브레이션은 전처리부(100)의 프로젝터 캘리브레이션 모듈부(16)에서 수행된다. 즉, 프로젝터(54)의 외부 환경에 영향받지 않는 초점거리(Focal Length)(주점에서 초점까지의 거리), 스큐(Skew), 주점(Principal Point)(주평면이 광축에 교차하는 점) 등과 같은 내부 인자와 함께 위치, 방향 등과 같은 프로젝터(54)의 외부 인자를 계산한다. 한편, 실시간으로 깊이 맵을 추출하는 깊이 지도 추출장치(도시 생략; 3D 스캐너(52) 포함)는 깊이값 뿐만 아니라 칼라값을 같이 추출할 수 있는 경우가 많은데, 이 장치에서도 내부 인자(초점거리 등), 외부 인자(위치, 방향 등)에 대한 캘리브레이션을 수행하여야 한다.
프로젝터 캘리브레이션 이후에는 배경 메쉬 구조, 마스크(Mask), 전경 강체 추출 및 저장 과정을 수행한다(S12). 여기서, 배경 메쉬 구조를 추출하여 저장하는 것은 배경 메쉬 구조 저장 모듈부(10)에서 수행하고, 배경 마스크를 추출하여 저장하는 것은 배경 마스크 저작 및 저장 모듈부(14)에서 수행하고, 전경 강체를 추출하여 저장하는 것은 전경 강체 메쉬 구조 저장 모듈부(12)에서 수행한다.
프로젝션 환경에 대하여 정적인 메쉬(Mesh)를 추출하는 과정은 기존 3D 스캐너(52)를 통한 메쉬 추출 기법을 활용한다. 일반 하드웨어(H/W)에서 실시간 처리시 부하를 줄이기 위하여 메쉬에 사용되는 폴리곤(Polygon)의 수를 줄이는 최적화, 간소화 과정을 거치는 경우도 있다. 이때, 실시간으로 변형되는 객체에 대해서도 미리 메쉬를 구해 두어 실시간으로 메쉬 추적시 정확도를 높일 수 있다. 배경과 같이 움직이지 않는 면 또는 객체에 대해서는 깊이 맵(Depth Map), 칼라 맵(Color Map)을 이용하여 미리 메쉬(Mesh) 값을 구해 두어 실시간 처리시 전체 메쉬를 구하기 위한 부하를 줄이면서 전경과 배경을 구분할 수 있게 한다. 깊이 맵만으로도 메쉬를 구성할 수 있으나 에지(Edge)와 같이 시각적으로 중요한 부분의 경우 칼라 맵(Color Map)을 이용하여 보완함으로써 에러를 줄일 수 있다. 프로젝터와 칼라 맵만을 이용하여 메쉬를 구성할 수도 있으므로 정적인 경우의 메쉬 추출은 특정 방법에 제한을 둘 필요는 없다. 특히, 벽과 같이 평평한 배경에 대해서는 평면(Plane; Vertex, Normal)을 근사해 두고, 움직이지 않는 공과 같은 경우 구(Sphere; 중심위치, 반지름)를 근사해 두고, 움직이지 않는 상자와 같은 경우 박스(Box; 가로, 세로, 높이)를 근사해 두면 차후 실시간 계산시 많은 계산량을 줄일 수 있다.
한편, 동적으로 움직이는 강체중에서 미리 메쉬를 추출할 수 있는 객체에 대해서도 메쉬를 미리 계산해 둠으로써, 동적으로 비교할 경우 후보로 사용한다.
한편, 실시간으로 추적하고자 하는 영역 중에 움직이지 않고 고정된 부분을 미리 알고 있다면 해당 영역에 대해서 미리 마스킹(Masking) 영역으로 처리해 두어 실시간 추적시 해당 영역을 제외할 수 있다.
이와 같은 전처리 과정(S30) 이후에는 실시간 프로젝션 과정(S40)을 수행하게 된다. 실시간 프로젝션 과정(S40)은 전처리 과정(S30)에서 구해 놓은 정적인 값과 함께 실시간으로 변화하는 값을 이용하여 화면의 왜곡 없이 프로젝션을 수행하는 과정이다.
실시간으로 변하는 비평면 표면은 물체의 기하구조 변화가 없이 위치와 방향만 변화하는 강체(Rigid body), 및 천과 같이 표면의 기하구조가 변화하는 비강체(Non Rigid body)로 나누어 질 수 있다. 따라서, 본 발명의 실시예에서는 각각에 대해서 별도로 실시간 프로젝션을 처리한다. 강체와 비강체로 분리하여 프로젝션하는 이유는 각각의 경우 프로젝션하여 보여주는 객체의 특성이 다르기 때문이다. 강체(Rigid Body)의 경우 해당 객체를 특정 렌더링 모델과 대응시켜서 움직임에 따라서 같은 모델을 이동, 회전만 바꾸어 렌더링시켜 주면 된다. 예를 들어, 버스 모양의 사각형 객체에 버스 텍스쳐를 렌더링 모델로 하여 보여준다면 해당 사각형 객체가 이동한 후에도 이동,회전 변환만 변경하여 버스로 텍스쳐를 렌더링하여 보여주면 된다. 비강체(Non Rigid Body)의 경우 이러한 이동, 회전 변환을 추적해 가며 렌더링을 할 수 없으므로 기하구조가 변경되어도 프로젝션 영상에 오류가 생기지 않는 영상을 출력하는 경우에 적용될 수 있다. 예를 들어, 모양의 형태와 상관없이 일정 반복 패턴을 렌더링하거나 중심에서 외곽으로 뻗어나가는 수십 개의 레이저 광선, 또는 변형된 모양에 따라서 물리 애니메이션, 색상, 외곽선 출력 등을 비강체 대상으로 프로젝션할 수 있다.
따라서, 실시간 프로젝션 과정(S40)에서 첫번째로 실시간 프로젝션부(200)의 시청자 시점 추적 모듈부(22)에 의해 사용자 시점을 추적한다(S14).
이후, 깊이 맵 추출 모듈부(32)에 의해 깊이 맵을 추출한다(S16). 즉, 실시간으로 움직이는 물체에 대해서 올바른 프로젝션을 위해 실시간으로 깊이 맵(Depth Map)을 추출한다.
이어, 깊이 맵 부분 그룹화 모듈부(34)가 깊이 맵 추출 모듈부(32)에서 추출된 깊이 맵을 근거로 깊이를 연결된 의미있는 단위의 그룹으로 분리해 내고, 이전 프레임의 깊이와 비교 모듈부(36)가 이전 프레임에 저장된 깊이와 현재 프레임의 깊이를 비교하여 차이를 계산하고, 전처리 강체 메쉬와 비교 모듈부(38)가 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬와 그 차이를 비교하여 기설정된 스레시홀드(Threshold)보다 작으면 해당 그룹을 강체(Rigid-Body)로 인식함으로써, 강체와 비강체를 구분해 낸다(S18). 강체(Rigid Body)와 비강체(Non Rigid Body)를 실시간으로 구분하는 방법을 다시 설명하면 다음과 같다. 우선, 깊이 맵(Depth Map)을 추출하여 전처리 과정에서 찾아내어 알고 있는 움직이지 않는 배경을 분리한다. 이어, 실시간으로 N 번째의 렌더 프레임(Frame)의 구분을 위해 깊이 맵의 깊이값들을 의미있는 단위의 그룹으로 분리해 낸다. 그리고 나서, 각 그룹들에 대한 바운딩 박스(Bounding Box)를 구하여 그 중심을 기준으로 한 로컬 좌표(Local Coordinate)로 바꾼다. 이렇게 분리된 깊이값 그룹들을 이전 N-1 프레임에 저장된 깊이값 그룹들과 비교하여 회전, 이동 변환만을 적용하였을 때의 차이 값의 평균이 기설정된 스레시홀드(Threshold) 값보다 작으면 해당 객체가 강체(Rigid Body)를 찾은 것이 된다. 여기서, 깊이 값 그룹에서 구분시 전처리 과정에서 미리 찾아 놓은 강체에 대해서 우선적으로 찾아 나가면 더욱 빨리 찾을 수 있다. 깊이 값을 비교하는 과정에서 계산량이 너무 많을 경우를 위하여 밀집도를 줄인 성긴 깊이(Sparse Depth)를 구해서 N-1 프레임의 성긴 깊이(Sparse Depth)와 비교하는 방식을 취할 수도 있다. 예를 들어, 8*8 깊이 그리드(depth grid)가 하나의 그룹이 되어 있다면 4*4로 성긴 깊이(Sparse Depth)를 구한 후에 이전 N-1 프레임의 성긴 깊이(Sparse Depth)와 비교할 수도 있다. 또한, 깊이 그룹들을 GPU를 이용하여 계산 속도를 줄일 수 있을 것이다.
강체와 비강체를 구분한 이후에는, 강체 렌더링 모듈부(42)에서는 구분된 강체를 렌더링하고, 비강체 렌더링 모듈부(44)에서는 구분된 비강체를 렌더링한다(S20). 여기서, 렌더링된 강체(예컨대, RC자동차)는 도 6에서와 같이 프로젝션 매핑 모듈부(50)에 의해 프로젝션 매핑되고, 렌더링된 비강체(예컨대, 커튼)는 도 6에서와 같이 프로젝션 매핑 모듈부(50)에 의해 프로젝션 매핑된다. 한편, 프로젝션 맵(Map)을 구하는 방법은 카메라와 메쉬 구조를 근거로 프로젝션 맵 매트릭스(Projection Map Matrix)를 구하여 화면을 투사하는 기존의 방법을 사용할 수 있다. 즉, 현재 사용자의 시점에 따라서 강체와 비강체 메쉬를 이용하여 각각의 특성에 맞는 렌더링을 하고, 이들 렌더링된 장면의 프로젝션 맵(Projection Map)을 구한 후에 미리 캘리브레이션(Calibration)된 프로젝터(54)로 비추어 주면 된다.
이와 같이 프로젝션 매핑이 종료되면 이전 프레임 저장 모듈부(20)는 프레임(Frame)의 변화를 계산하기 위하여 이전 프레임을 저장한다(S22).
그리고 나서, 사용자(시청자) 시점 추적 단계(S14)로 복귀하여 그 단계부터의 동작을 반복한다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 배경 메쉬 구조 저장 모듈부
12 : 전경 강체 메쉬 구조 저장 모듈부
14 : 배경 마스크 저작 및 저장 모듈부
16 : 프로젝터 캘리브레이션 모듈부
20 : 이전 프레임 저장 모듈부 22 : 시청자 시점 추적 모듈부
30 : 강체와 비강체 구분 모듈부 32 : 깊이 맵 추출 모듈부
34 : 깊이 맵 부분 그룹화 모듈부
36 : 이전 프레임의 깊이와 비교 모듈부
38 : 전치리 강체 메쉬와 비교 모듈부
40 : 렌더링 모듈부 42 : 강체 렌더링 모듈부
44 : 비강체 렌더링 모듈부 50 : 프로젝션 맵핑 모듈부
100 : 전처리부 200 : 실시간 프로젝션부

Claims (12)

  1. 비평면 표면에 투사될 화면중에서 정적인 부분에 대한 데이터를 미리 처리해 두는 전처리부; 및
    상기 비평면 표면에 투사될 화면상의 비평면 대상을 상기 전처리부로부터의 데이터를 이용하여 강체와 비강체로 구분하고 상기 강체와 비강체를 각각 시청자의 현재 시점에 따라 렌더링하여 프로젝션 매핑을 통해 상기 비평면 표면에 투사하는 실시간 프로젝션부;를 포함하고,
    상기 실시간 프로젝션부는
    상기 비평면 대상에 대하여 실시간으로 깊이 맵을 추출하는 깊이 맵 추출 모듈부;
    상기 깊이 맵 추출 모듈부에서 추출한 깊이 맵에서 깊이를 연결된 의미있는 단위의 그룹으로 분리해 내는 깊이 맵 부분 그룹화 모듈부;
    상기 분리된 그룹의 이전 프레임의 깊이와 현재 프레임의 깊이를 비교하여 차이를 계산하는 제 1 비교 모듈부; 및
    상기 제 1 비교 모듈부에서의 결과 및 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬를 상호 비교하여 상기 분리된 그룹이 강체인지를 파악하는 제 2 비교 모듈부;를 포함하고,
    상기 깊이맵 부분 그룹화 모듈부는
    상기 그룹 별로 바운딩 박스(Bounding Box)를 구하고, 상기 바운딩 박스의 중심을 기준으로 로컬 좌표를 설정하고,
    상기 제 1 비교 모듈부는
    상기 로컬 좌표를 기준으로 이전 프레임의 깊이 값과 현재 프레임의 깊이 값의 이동 및 회전 변환을 적용한 차이 값의 평균을 계산하고,
    상기 제2 비교 모듈부는
    상기 이동 및 회전 변환을 적용한 차이 값의 평균이 기설정된 스레시홀드 값보다 작은 경우 강체로 구분하고, 기설정된 스레시홀드 값보다 큰 경우 비강체로 구분하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 장치.
  2. 청구항 1에 있어서,
    상기 전처리부는,
    상기 비평면 표면에 투사될 화면중에서 배경에 대한 메쉬값을 미리 구해 저장해 두는 배경 메쉬 구조 저장 모듈부;
    상기 배경을 제외한 전경에서 강체에 대한 메쉬값을 미리 구해 저장해 두는 전경 강체 메쉬 구조 저장 모듈부; 및
    상기 비평면 표면에 화면을 투사시킬 프로젝터의 내부 인자 및 외부 인자를 캘리브레이션하는 프로젝터 캘리브레이션 모듈부;를 포함하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 장치.
  3. 청구항 2에 있어서,
    상기 전처리부는 실시간으로 추적하고자 하는 영역 중에 고정된 부분을 마스킹 영역으로 설정해서 저장해 두는 배경 마스크 저작 및 저장 모듈부를 추가로 포함하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 장치.
  4. 청구항 1에 있어서,
    상기 실시간 프로젝션부는,
    상기 비평면 표면에 투사되는 화면의 프레임의 변화를 계산하기 위하여 이전 프레임을 저장해 두는 이전 프레임 저장 모듈부;
    상기 시청자의 시점을 추적하는 시청자 시점 추적 모듈부;
    상기 비평면 대상을 강체와 비강체 중에서 어느 하나로 구분하는 강체와 비강체 구분 모듈부;
    상기 강체와 비강체 구분 모듈부에 의해 구분된 강체와 비강체를 각각 렌더링하는 렌더링 모듈부; 및
    상기 렌더링 모듈부의 렌더링 결과를 상기 시청자의 시점 변화에 따라 프로젝션 매핑하는 프로젝션 맵핑 모듈부;를 포함하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 장치.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 제 2 비교 모듈부는,
    상기 제 1 비교 모듈부에서의 결과가 상기 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬와 비교하여 기설정된 스레시홀드보다 작으면 해당 그룹을 강체로 인식하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 장치.
  7. 청구항 4에 있어서,
    상기 렌더링 모듈부는,
    상기 강체를 렌더링함에 있어서 이전 프레임과의 차이를 이용하여 위치, 방향을 근거로 투사될 영상의 변환 매트릭스에 적용하여 투사하는 강체 렌더링 모듈부; 및
    상기 비강체를 렌더링함에 있어서 깊이의 변화에 따라 변형된 메쉬를 구하고, 시점 추적된 값을 렌더 카메라에 적용하여 메쉬에 프로젝션 매핑을 통해 영상을 렌더링하는 비강체 렌더링 모듈부;를 포함하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 장치.
  8. 전처리부가, 비평면 표면에 투사될 화면중에서 정적인 부분에 대한 데이터를 미리 처리해 두는 단계;
    실시간 프로젝션부가, 상기 비평면 표면에 투사될 화면상의 비평면 대상을 상기 전처리부로부터의 데이터를 이용하여 강체와 비강체로 구분하는 단계; 및
    상기 실시간 프로젝션부가, 상기 강체와 비강체를 각각 시청자의 현재 시점에 따라 렌더링하여 프로젝션 매핑을 통해 상기 비평면 표면에 투사하는 단계;를 포함하고,
    상기 강체와 비강체로 구분하는 단계는
    상기 비평면 대상에 대하여 실시간으로 깊이 맵을 추출하는 단계;
    상기 추출한 깊이 맵에서 깊이를 연결된 의미있는 단위의 그룹으로 분리해 내는 단계;
    상기 분리된 그룹의 이전 프레임의 깊이와 현재 프레임의 깊이를 비교하여 차이를 계산하는 단계; 및
    상기 차이를 계산하는 단계에서의 결과 및 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬를 상호 비교하여 상기 분리된 그룹이 강체인지를 파악하는 단계;를 포함하고,
    상기 의미있는 단위의 그룹으로 분리해 내는 단계는
    상기 그룹 별로 바운딩 박스(Bounding Box)를 구하고, 상기 바운딩 박스의 중심을 기준으로 로컬 좌표를 설정하고,
    상기 차이를 계산하는 단계는
    상기 로컬 좌표를 기준으로 이전 프레임의 깊이 값과 현재 프레임의 깊이 값의 이동 및 회전 변환을 적용한 차이 값의 평균을 계산하고,
    상기 강체인지를 파악하는 단계는
    상기 이동 및 회전 변환을 적용한 차이 값의 평균이 기설정된 스레시홀드 값보다 작은 경우 강체로 구분하고, 기설정된 스레시홀드 값보다 큰 경우 비강체로 구분하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 방법.
  9. 청구항 8에 있어서,
    상기 데이터를 미리 처리해 두는 단계는,
    상기 비평면 표면에 투사될 화면중에서 배경에 대한 메쉬값을 미리 구해 저장해 두는 단계;
    상기 배경을 제외한 전경에서 강체에 대한 메쉬값을 미리 구해 저장해 두는 단계; 및
    상기 비평면 표면에 화면을 투사시킬 프로젝터의 내부 인자 및 외부 인자를 캘리브레이션하는 단계;를 포함하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 방법.
  10. 청구항 9에 있어서,
    상기 데이터를 미리 처리해 두는 단계는 실시간으로 추적하고자 하는 영역 중에 고정된 부분을 마스킹 영역으로 설정해서 저장해 두는 단계를 추가로 포함하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 방법.
  11. 삭제
  12. 청구항 8에 있어서,
    상기 강체인지를 파악하는 단계는,
    상기 차이를 계산하는 단계에서의 결과가 상기 배경과 분리된 전경 메쉬 그룹 중 전처리된 강체 메쉬와 비교하여 기설정된 스레시홀드보다 작으면 해당 그룹을 강체로 인식하는 것을 특징으로 하는 실시간 동적 비평면 프로젝션 방법.
KR1020140001741A 2014-01-07 2014-01-07 실시간 동적 비평면 프로젝션 장치 및 방법 KR101710003B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140001741A KR101710003B1 (ko) 2014-01-07 2014-01-07 실시간 동적 비평면 프로젝션 장치 및 방법
US14/590,885 US9430865B2 (en) 2014-01-07 2015-01-06 Real-time dynamic non-planar projection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140001741A KR101710003B1 (ko) 2014-01-07 2014-01-07 실시간 동적 비평면 프로젝션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150081837A KR20150081837A (ko) 2015-07-15
KR101710003B1 true KR101710003B1 (ko) 2017-02-24

Family

ID=53495604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140001741A KR101710003B1 (ko) 2014-01-07 2014-01-07 실시간 동적 비평면 프로젝션 장치 및 방법

Country Status (2)

Country Link
US (1) US9430865B2 (ko)
KR (1) KR101710003B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853960B2 (en) 2017-09-14 2020-12-01 Samsung Electronics Co., Ltd. Stereo matching method and apparatus
KR102245223B1 (ko) 2020-12-14 2021-04-27 주식회사 글림시스템즈 비정형 투사면에 다층구조 빔프로젝션 콘텐츠 전시를 위한 영상 처리 시스템 및 그 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102365730B1 (ko) * 2015-06-15 2022-02-22 한국전자통신연구원 인터랙티브 콘텐츠 제어 장치 및 방법
FR3039028B1 (fr) * 2015-07-17 2018-03-09 Universite De Nantes Procede et dispositif d'affichage de scene tridimensionnelle sur une surface d'affichage de forme arbitraire non plane
US20170150110A1 (en) * 2015-11-25 2017-05-25 Ziv Nevo Projecting an image on an irregularly shaped display surface
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
CN106604003B (zh) * 2016-11-10 2020-09-22 深圳市Tcl高新技术开发有限公司 一种短焦投影实现曲面幕布投影的方法及系统
JP6642610B2 (ja) * 2018-03-22 2020-02-05 カシオ計算機株式会社 投影制御装置、投影装置、投影制御方法及びプログラム
TWI707776B (zh) * 2019-12-30 2020-10-21 輝能科技股份有限公司 氣浮式薄膜貼合設備及其氣浮滾輪
US11772276B2 (en) 2020-01-02 2023-10-03 Universal City Studios Llc Systems and methods for optical performance captured animated figure with real-time reactive projected media
CN114241162A (zh) * 2020-09-09 2022-03-25 广州励丰文化科技股份有限公司 异形投影面的投影方法、服务器及计算机可读存储介质
CN114466176B (zh) * 2020-11-09 2024-06-11 聚好看科技股份有限公司 一种全景视频显示方法及显示设备
CN112689136B (zh) * 2021-03-19 2021-07-02 深圳市火乐科技发展有限公司 投影图像调整方法、装置、存储介质及电子设备
FR3141263A1 (fr) * 2022-10-20 2024-04-26 Thales Système de représentation d'une zone géographique comprenant un relief et ensemble comprenant un tel système de représentation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040056489A (ko) 2002-12-23 2004-07-01 한국전자통신연구원 임의의 영사면에 대한 화면 왜곡현상 보정 시스템 및 그방법
US8064684B2 (en) * 2003-04-16 2011-11-22 Massachusetts Institute Of Technology Methods and apparatus for visualizing volumetric data using deformable physical object
US7182465B2 (en) * 2004-02-25 2007-02-27 The University Of North Carolina Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces
US7773827B2 (en) 2006-02-15 2010-08-10 Mersive Technologies, Inc. Hybrid system for multi-projector geometry calibration
US20080129894A1 (en) 2006-12-02 2008-06-05 Electronics And Telecommunications Research Institute Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
EP2522129B1 (en) * 2010-01-05 2014-07-09 Koninklijke Philips N.V. Image projection apparatus and method
JP5878117B2 (ja) * 2010-05-11 2016-03-08 株式会社テレシステムズ 放射線撮像装置及び同装置に用いるファントム
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US9117274B2 (en) * 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
KR101299191B1 (ko) * 2011-12-20 2013-08-21 최완섭 3차원 모형에 영상을 투사하는 장치 및 방법
KR101273534B1 (ko) 2013-01-31 2013-06-17 (주)브이아이앰 입체영상 프로젝션을 위한 자동 화면보정 시스템을 이용한 화면보정방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853960B2 (en) 2017-09-14 2020-12-01 Samsung Electronics Co., Ltd. Stereo matching method and apparatus
KR102245223B1 (ko) 2020-12-14 2021-04-27 주식회사 글림시스템즈 비정형 투사면에 다층구조 빔프로젝션 콘텐츠 전시를 위한 영상 처리 시스템 및 그 방법

Also Published As

Publication number Publication date
US9430865B2 (en) 2016-08-30
US20150193964A1 (en) 2015-07-09
KR20150081837A (ko) 2015-07-15

Similar Documents

Publication Publication Date Title
KR101710003B1 (ko) 실시간 동적 비평면 프로젝션 장치 및 방법
CN112150575B (zh) 场景数据获取方法及模型训练方法、装置及计算机设备
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
Wei et al. Fisheye video correction
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
Liu et al. Guided inpainting and filtering for kinect depth maps
CN111932673B (zh) 一种基于三维重建的物体空间数据增广方法及系统
US20230252664A1 (en) Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium
JP2008537190A (ja) 赤外線パターンを照射することによる対象物の三次元像の生成
JP7103357B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
WO2015108996A1 (en) Object tracking using occluding contours
CN109064533B (zh) 一种3d漫游方法及系统
Andrade et al. Digital preservation of Brazilian indigenous artworks: Generating high quality textures for 3D models
CN103093426A (zh) 恢复定标板遮挡区域的纹理和光照的方法
Pacheco et al. Reconstruction of high resolution 3D objects from incomplete images and 3D information
Shibo et al. A new approach to calibrate range image and color image from Kinect
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
Griesser et al. Adaptive real-time 3D acquisition and contour tracking within a multiple structured light system
Tomori et al. Active segmentation in 3d using kinect sensor
Silva et al. Real-time acquisition and super-resolution techniques on 3D reconstruction
Zoellner et al. Reality Filtering: A Visual Time Machine in Augmented Reality.
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
KR20150118795A (ko) 단일 이미지 표현을 이용한 다시점 영상의 렌더링 속도 및 편집 능률 향상을 위한 방법
KR101524074B1 (ko) 영상 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4