KR20050008242A - 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치 - Google Patents

3차원 객체의 영상 기반 표현 및 편집 방법 및 장치 Download PDF

Info

Publication number
KR20050008242A
KR20050008242A KR1020030048110A KR20030048110A KR20050008242A KR 20050008242 A KR20050008242 A KR 20050008242A KR 1020030048110 A KR1020030048110 A KR 1020030048110A KR 20030048110 A KR20030048110 A KR 20030048110A KR 20050008242 A KR20050008242 A KR 20050008242A
Authority
KR
South Korea
Prior art keywords
image
pixel
normal vector
pixels
calculating
Prior art date
Application number
KR1020030048110A
Other languages
English (en)
Other versions
KR100528343B1 (ko
Inventor
박인규
한주연
한만진
이그나텐코알렉세이
코누신안톤
레브코비치레오니드
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR10-2003-0048110A priority Critical patent/KR100528343B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP04254212A priority patent/EP1498850A3/en
Priority to CN2007100887091A priority patent/CN101025830B/zh
Priority to EP11170477A priority patent/EP2372662A3/en
Priority to CN2007100887087A priority patent/CN101025829B/zh
Priority to EP11170479A priority patent/EP2372663A3/en
Priority to JP2004206811A priority patent/JP4500614B2/ja
Priority to CNB2004100951446A priority patent/CN100367317C/zh
Priority to US10/890,280 priority patent/US7453455B2/en
Publication of KR20050008242A publication Critical patent/KR20050008242A/ko
Application granted granted Critical
Publication of KR100528343B1 publication Critical patent/KR100528343B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 심플 텍스쳐의 중복 데이터를 제거하는 방법 및 장치, 확장된 깊이 영상을 이용한 렌더링 방법 및 장치, 그리고, 영상 기반 3차원 객체 편집 방법 및 장치를 개시한다. 본 발명의 중복 데이터 제거 방법은 (a) 3차원 객체의 일면을 각각 나타내는 복수의 심플 텍스쳐에 포함된 각각의 깊이 영상을 이용하여 3차원 공간상에 투영된 각 픽셀의 법선 벡터를 계산하는 단계; (b) 법선 벡터를 이용하여 각 심플 텍스쳐에 포함된 픽셀의 신뢰도를 계산하는 단계; 및 (d) 복수의 심플 텍스쳐에 포함된 픽셀들 중 3차원 객체의 동일한 영역을 나타내는 픽셀들의 신뢰도를 비교하여 신뢰도가 낮은 픽셀의 데이터를 심플 텍스쳐로부터 제거하는 단계를 포함한다.

Description

3차원 객체의 영상 기반 표현 및 편집 방법 및 장치{Method and apparatus for image-based rendering and editing of 3D objects}
본 발명은 3차원 객체의 표현 및 편집 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 3차원 객체의 깊이 정보를 이용하여 신속하고 정확하게 3차원 객체를 표현하고 편집하는 방법 및 장치에 관한 것이다.
3차원 그래픽에 관한 연구가 시작된 이래로, 그래픽 장면을 보다 정확하고 신속하게 표현하는 것은 3차원 그래픽 분야의 궁극적인 목표가 되었다. 최근의 멀티미디어 어플리케이션들은 네트워크 환경하에서 모바일 기기를 포함하는 서로 다른 사용자 장치에서 3차원 모델들을 신속하고 정확하게 재현할 것을 요구한다. 종래의 다각형 메쉬를 이용한 3차원 객체의 표현방법은 이러한 요구에 적합하지 않다. 예컨대, 종래의 다각형 메쉬 방법을 이용하면, 작은 스크린을 구비한 단말 장치에 복잡한 3차원 모델을 표현하는 경우와 같은 다수의 경우에, 정점 연결 정보가 서로 중복된다. 또한, 복잡한 메쉬들은 상호(interactive) 작용 가능한 표현을 만들기 전에 단순화 되어야 하는데, 이러한 단순화를 위해서는 복잡한 알고리즘의 수행이 필요하고, 메쉬의 압축 및 점진적인 전송을 위한 네트워크를 통한 데이터의 전송 또한 복잡한 알고리즘의 수행을 필요로 한다.
영상 기반의 그래픽 방식은 이러한 문제점의 해결책이 될 수 있는데, 그 일 예로서 깊이 정보를 포함하는 영상에 기초하여 고해상도로 3차원 객체를 표현하기 위한 영상 및 점(point) 기반의 표현 방식이 공지되었다. 이 방식은 필요에 따라서 데이터를 처리하거나 영상의 편집 기능을 수행할 수 있으며, 3차원 모델을 실시간으로 표현할 수 있다.
그러나, 종래의 영상 기반의 렌더링 방식은 사용자의 3차원 객체를 바라보는시각에 따라서 중첩되는 데이터를 고려하지 않고, 그대로 렌더링 함으로써 렌더링 속도를 저하시키고, 렌더링 품질을 저하시키는 문제점이 있다.
또한, 종래의 영상 기반의 렌더링 방식은 렌더링되는 3차원 객체의 표면의 반짝거림, 시선 방향에 따른 음영의 변화등 물체의 고유한 표면 성질등을 표현하지 못하여 현실감이 떨어지는 문제점이 있다.
또한, 종래의 메쉬 기반의 렌더링 방식은, 영상 기반으로 표현된 3차원 객체를 수정하기 위해서 3차원 객체 자체에 대한 데이터를 각각 수정해 주어야 하므로, 복잡한 알고리즘의 수행이 필요하고 그 편집 작업량이 상당한 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 영상 기반의 3차원 객체 표현시 사용자의 3차원 객체를 바라보는 시각에 따라서 중첩되는 데이터를 제거함으로써, 렌더링 속도 및 렌더링 품질을 향상시킬 수 있는 중복 데이터 제거 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 렌더링되는 3차원 객체의 표면의 반짝거림, 시선 방향에 따른 음영의 변화등 물체의 고유한 표면 성질등을 표현할 수 있는 렌더링 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상 기반 렌더링 방식에서, 렌더링되는 3차원 객체를 편집하는 영상 기반 편집 방법 및 장치를 제공하는 것이다.
도 1 은 심플 텍스쳐 표현 방식의 일예를 도시한 도면이다.
도 2 는 문 모델을 위한 카메라의 배치도를 도시한 도면이다.
도 3 은 카메라의 위치에 따른 해상도의 차이를 나타내는 도면이다.
도 4 는 본 발명에 따른 중복 데이터 제거 장치의 바람직한 일 실시예를 도시하는 블록도이다.
도 5a 및 도 5b 는 본 발명의 바람직한 일 실시예에 따른 중복 데이터 제거 방법을 설명하는 도면이다.
도 6 은 본 발명의 신뢰도의 의미를 설명하는 도면이다.
도 7(a) 및 도 7(b) 는 중복 데이터가 제거되기 이전의 컬러 맵 및 깊이 맵을 각각 도시한 도면이고, 도 7(c) 및 도 7(d) 는 중복 데이터가 제거된 이후의 컬러 맵 및 깊이 맵을 각각 도시한 도면이다.
도 8 은 도 7(b) 및 도 7(d)의 일부분을 확대하여 각각 도시한 도면이다.
도 9 는 본 발명의 바람직한 실시예에 따른 확장 깊이 영상을 이용한 렌더링 장치를 도시한 블록도이다.
도 10 은 본 발명의 바람직한 실시예에 따른 확장 깊이 영상을 이용한 렌더링 방법을 설명하는 흐름도이다.
도 11 은 확장 깊이 영상을 이용하여 렌더링된 일 예를 도시하는 도면이다.
도 12 는 본 발명의 역전파 규칙을 설명하는 도면이다.
도 13 은 본 발명의 바람직한 실시예에 따른 영상 기반 편집 장치의 구성을 도시하는 블록도이다.
도 14a 및 도 14b 는 본 발명의 바람직한 실시예에 따른 영상 기반 편집 방법을 설명하는 흐름도이다.
도 15a 는 본 발명의 바람직한 일 실시예에 따른 라이트 페인트 방법을 설명하는 흐름도이고, 도 15b 는 본 발명의 바람직한 일 실시예에 따른 삭제 편집 방법을 설명하는 흐름도이며, 도 15c 는 본 발명의 바람직한 일 실시예에 따른 복제 편집 방법을 설명하는 흐름도이다.
도 16 은 본 발명에 따른 페인트 편집 방법을 적용한 일 예를 도시한 도면이다.
도 17 은 본 발명에 따른 라이트 페인트 편집 방법을 적용한 일 예를 도시한 도면이다.
도 18(a), 도 18(b), 및 도 18(c) 는 본 발명의 선택 편집 방법, 삭제 편집 방법, 및 복제 편집 방법을 적용한 예를 각각 도시한 도면이다.
상술한 기술적 과제를 이루기 위한 본 발명의 중복 데이터 제거 방법은 (a) 3차원 객체의 일면을 각각 나타내는 복수의 심플 텍스쳐에 포함된 각각의 깊이 영상을 이용하여 3차원 공간상에 투영된 각 픽셀의 법선 벡터를 계산하는 단계; (b) 법선 벡터를 이용하여 각 심플 텍스쳐에 포함된 픽셀의 신뢰도를 계산하는 단계; 및 (d) 복수의 심플 텍스쳐에 포함된 픽셀들 중 3차원 객체의 동일한 영역을 나타내는 픽셀들의 신뢰도를 비교하여 신뢰도가 낮은 픽셀의 데이터를 심플 텍스쳐로부터 제거하는 단계를 포함한다.
또한, 전술한 중복 데이터 제거 방법의 (a) 단계는, 깊이 영상의 각 픽셀 값들에 따라서 3차원 공간상에 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 법선 벡터를 계산할 픽셀에 인접한 픽셀들을 검출하는 단계; 인접 픽셀들로부터 삼각 평면들을 구성하고, 각 삼각 평면들의 법선 벡터를 계산하는 단계; 및 각 삼각 평면들의 법선 벡터의 평균을 계산하는 단계를 포함하는 것이 바람직하다.
또한, 전술한 중복 데이터 제거 방법의 (b) 단계는, 각 픽셀의 법선 벡터와, 심플 텍스쳐의 생성에 이용된 카메라 시계 평면에 수직인 벡터를 이용하여 신뢰도를 계산하는 것이 바람직하며, 각 픽셀의 법선 벡터와 심플 텍스쳐의 생성에 이용된 카메라 시계 평면에 수직인 벡터간의 내적에 따라서 각 픽셀의 신뢰도를 결정하는 것이 더 바람직하다.
또한, 전술한 중복 데이터 제거 방법의 (b) 단계는, 신뢰도가 계산된 각 픽셀간의 3차원 공간상의 근접도를 계산하고, 근접도가 소정의 임계값 이하인 픽셀들을 3차원 객체의 동일한 영역을 나타내는 것으로 결정하는 단계를 더 포함하는 것이 바람직하다.
또한, 전술한 중복 데이터 제거 방법의 (c) 단계는, 신뢰도가 가장 높은 하나의 픽셀 값만을 유지하고, 나머지 픽셀 값을 심플 텍스쳐들로부터 제거하는 것이 바람직하며, 신뢰도가 낮은 깊이 영상의 픽셀들의 값을 배경 픽셀의 값으로 설정하는 것을 더 바람직하다.
한편, 상술한 기술적 과제를 이루기 위한 본 발명의 중복 데이터 제거 장치는, 3차원 객체의 일면을 각각 나타내는 복수의 심플 텍스쳐에 포함된 각각의 깊이 영상을 이용하여 3차원 공간상에 투영된 각 픽셀의 법선 벡터를 계산하는 법선 벡터 계산부; 법선 벡터를 이용하여 각 심플 텍스쳐에 포함된 픽셀의 신뢰도를 계산하는 신뢰도 계산부; 및 복수의 심플 텍스쳐에 포함된 픽셀들 중 3차원 객체의 동일한 영역을 나타내는 픽셀들의 신뢰도를 비교하여 신뢰도가 낮은 픽셀의 데이터를 심플 텍스쳐로부터 제거하는 중복 데이터 제거부를 포함한다.
한편, 상술한 기술적 과제를 이루기 위한 본 발명의 렌더링 방법은, (a) 3차원 객체의 일면을 나타내는 심플 텍스쳐 및 객체의 속성을 나타내는 속성 정보를 입력받아, 3차원 객체의 시점에 따른 컬러, 깊이, 및 속성에 관한 정보를 2차원 영상의 형태로 표현하는 확장 깊이 영상을 생성하는 단계; (b) 확장 깊이 영상의 각 픽셀에 대해서 객체의 속성에 따른 소정의 반사 모델 계수를 설정하는 단계; (c) 확장 깊이 영상에 포함된 깊이 영상을 이용하여 각 픽셀의 법선 벡터를 계산하는 단계; 및 (d) 반사 모델 계수 및 법선 벡터를 이용하여, 객체의 속성에 따라서 변화되는 객체의 컬러를 결정하고, 결정된 컬러 및 깊이 영상에 따라서 3차원 객체를표현하는 단계를 포함한다.
또한, 전술한 속성 정보는 관찰 시점에 따른 객체의 반사 정도를 나타내는 specular 성분, 및 물체 표면의 재질에 따른 반사 정도를 나타내는 shininess 성분을 포함하는 것이 바람직하며, 반사 모델은 Phong 반사 모델인 것이 바람직하다.
또한 전술한 렌더링 방법의 (c) 단계는, 깊이 영상의 각 픽셀 값들에 따라서 3차원 공간상에 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 법선 벡터를 계산할 픽셀에 인접한 픽셀들을 검출하는 단계; 인접 픽셀들로부터 삼각 평면들을 구성하고, 각 삼각 평면들의 법선 벡터를 계산하는 단계; 및 각 삼각 평면들의 법선 벡터의 평균을 계산하는 단계를 포함하는 것이 바람직하다.
한편, 상술한 기술적 과제를 이루기 위한 본 발명의 렌더링 장치는, 3차원 객체의 일면을 나타내는 심플 텍스쳐 및 객체의 속성을 나타내는 속성 정보를 입력받아, 3차원 객체의 시점에 따른 컬러, 깊이, 및 속성에 관한 정보를 2차원 영상의 형태로 표현하는 확장 깊이 영상을 생성하는 확장 깊이 영상 구성부; 확장 깊이 영상의 각 픽셀에 대해서 객체의 속성에 따른 소정의 반사 모델 계수를 설정하는 반사모델 계수 설정부; 확장 깊이 영상에 포함된 깊이 영상을 이용하여 각 픽셀의 법선 벡터를 계산하는 법선벡터 결정부; 및 반사 모델 계수 및 법선 벡터를 이용하여, 객체의 속성에 따라서 변화되는 객체의 컬러를 결정하고, 결정된 컬러 및 깊이 영상에 따라서 3차원 객체를 표현하는 렌더링부를 포함한다.
한편, 상술한 기술적 과제를 이루기 위한 본 발명의 영상 기반 편집 방법은, (a) 3차원 객체의 일면을 표현하는 컬러 영상 및 깊이 영상을 각각 포함하는 복수의 심플 텍스쳐들을 이용하여 원하는 시점에서 3차원 객체가 렌더링된 영상을 캡쳐하는 단계; (b) 캡쳐된 영상의 픽셀들을 소정의 편집 방법으로 편집하고, 편집된 내용을 편집 영상으로서 저장하는 단계; 및 (c) 편집 영상을 이용하여 복수의 심플 텍스쳐의 컬러 영상 및 깊이 영상으로 구성되는 기준 영상을 갱신하는 단계를 포함한다.
또한, 전술한 영상 기반 편집 방법의 (c) 단계는, (c1) 편집 영상을 이용하여 수정할 기준 영상 및 기준 영상에서 수정될 부분을 선택하는 단계; (c2) 편집 영상의 픽셀과 대응되는 기준 영상의 픽셀을 선택하고, 선택된 픽셀을 편집 영상의 픽셀에 따라서 수정하는 단계; 및 (c3) 수정된 내용을 포함하는 기준 영상을 저장하는 단계를 포함하는 것이 바람직하며, 전술한 (c) 단계는, 편집 영상이 나타내는 3차원 객체의 부분과 동일한 부분을 표현하는 모든 기준 영상에 대해서 수행되는 것이 바람직하다.
또한, 전술한 영상 기반 편집 방법의 (b) 단계는, (b1) 캡쳐된 영상에서 객체의 한 지점을 선택하고, 지점에서의 법선 벡터를 계산하는 단계; (b2) 법선 벡터의 방향으로 무한 지점에 사용자에 의해서 설정된 속성의 광원을 설정하는 단계; (b3) 객체의 각 픽셀의 법선 벡터를 계산하는 단계; (b4) 광원의 속성 및 법선 벡터에 따라서 광원에 의해서 변경된 객체의 컬러를 계산하는 단계; 및 (b5) 계산된 컬러를 이용하여 편집 영상을 생성하는 단계를 포함할 수 있다.
또한, 전술한 영상 기반 편집 방법의 (b) 단계는, 기준 영상들 중 하나를 선택하고, 선택된 기준 영상에서 제거할 부분을 선택하는 단계; 기준 영상의 선택된부분의 픽셀 값을 소정의 값으로 설정하여, 선택된 부분을 기준 영상으로부터 제거하는 단계; 및 선택된 부분이 제거된 기준 영상을 편집 영상으로서 저장하는 단계를 포함할 수 있다.
한편, 상술한 기술적 과제를 이루기 위한 본 발명의 영상 기반 편집 장치는, 3차원 객체의 일면을 표현하는 컬러 영상 및 깊이 영상을 각각 포함하는 복수의 심플 텍스쳐들을 이용하여 원하는 시점에서 3차원 객체가 렌더링된 영상을 캡쳐하는 영상 캡쳐링부; 캡쳐된 영상의 픽셀들을 소정의 편집 방법으로 편집하고, 편집된 내용을 편집 영상으로서 저장하는 영상 편집부; 및 편집 영상을 이용하여 복수의 심플 텍스쳐의 컬러 영상 및 깊이 영상으로 구성되는 기준 영상을 갱신하는 역투영부를 포함한다.
본 발명은 장면에 표현될 각각의 객체를 심플 텍스쳐(SimpleTexture) 표현 형식에 따라서 표현한다. 이 표현 형식에서 기준 영상들은 객체의 가시적인 표면을 나타낸다. 또한, 기준 영상들은 기하학적인 정보(깊이 영상), 및 위치, 방향, 시계(field of view), 근거리 및 원거리 클립 핑면(near and far clipping plane) 등과 같은 카메라 정보에 관한 추가정보를 포함한다. 도 1 에 심플 텍스쳐 표현 방식의 일예를 도시하였다. 도 1 의 상위에는 심플 텍스쳐에 포함되는 컬러 영상을 하위에는 심플 텍스쳐에 포함되는 깊이 영상을 각각 도시하였으며, 도 1 의 맨 우측에 심플 텍스쳐를 이용하여 생성된 렌더링 결과를 도시하였다. 정사영(orthographic) 카메라의 경우에, 카메라 시계의 폭 및 높이가 저장되고, 그레이 스케일의 깊이 영상의 각 픽셀은 객체의 표면의 일 부분의 투영을 나타내는것으로, 소정의 카메라로부터의 거리를 픽셀 값으로 나타낸다. 도 1 을 참조하면, 깊이 영상의 밝은 영역은 3차원 객체 중 카메라로부터 가까운 영역을 나타내며, 어두운 영역은 상대적으로 카메라로부터 먼 영역을 나타낸다.
기준 영상들은 웨이블렛 압축과 같이 네트워크를 통해서 점진적으로 전송될 수 있는 방식을 포함하는 다른 형식으로 저장될 수 있다. 컬러와 깊이 영상은 동일한 차원인 것이 바람직하다. 깊이 정보는 컬러 영상의 알파 채널로 선택적으로 부호화될 수 있으며, 각 픽셀 당 8비트 또는 16비트가 사용될 수 있으나, 실질적으로 8비트는 고화질의 표현에는 부족하다는 것을 알 수 있다.
각 깊이 영상은 3차원 모델의 부분들을 포함한다. 복수의 깊이 영상들은 함께 결합되어 하나의 3차원 객체를 표현한다. 도 2 에, 문 모델을 위한 카메라의 배치도를 도시하였다. 도 2 에 도시된 바와 같이, 기준 영상의 크기, 위치 및 방향에는 제한이 없다. 객체의 표면 중 더 높은 품질이 요구되는 부분에 대해서는 고해상도를 갖는 맵이 생성된다. 예컨대, 도 3 에 도시된 바와 같이, 공룡의 머리 부분을 캡쳐링하는 카메라는 공룡의 등부분을 캡쳐링하는 카메라보다 더 높은 정확성을 갖는 심플 텍스쳐를 생성한다.
본 발명에 따른 표현의 static 버전은 실측된 3차원 거리 데이터 또는 합성 물체의 오프라인 렌더링을 통해서 직접 얻을 수 있고, 즉시 또는 최적화 방식을 적용한 후에 재현될 수 있다.
또한, 본 발명은 컬러 스트림 및 깊이 스트림으로 구성되는 애니메이션 버전을 도입하였다. 애니메이션된 객체는 동기화된 일련의 컬러 및 깊이 스트림의 집합이다. 이러한 표현 방식은 3차원 영화와 같은 어플리케이션들에 매우 유용하다. 애니메이션된 영상 기반의 표현 방법은 애니메이션 종류에 대한 제한이 없고, 복잡성 독립형(complexity independent) 렌더링이며, 효율적인 MPEG-4 비디오 압축으로 인한 소규모 사이즈라는 점등에서, 종래의 키 프레임 애니메이션 방식과 비교하여 상당한 이점들이 있고, 특히 복잡한 장면에 대해서 그러하다.
이하, 본 발명의 바람직한 실시예에 따른 심플 텍스쳐 중복 데이터 제거 방법 및 장치를 설명한다.
심플 텍스쳐 모델은 컬러 정보와 깊이 정보를 포함하는 기준 영상들로 구성된다. 깊이 정보를 포함하는 각각의 기준 영상은 소정의 시점에서 바라본 3차원 모델의 일 부분에 대한 거리 정보를 포함한다. 하나의 기준 영상에 포함된 3차원 모델의 일 부분들은 다른 기준 영상에 포함된 3차원 모델의 일 부분과 부분적으로 겹쳐질 수 있고, 따라서, 중복되는 데이터가 심플 텍스쳐에 포함된다. 이 경우에, 3차원 모델의 동일한 부분을 나타내는 서로 다른 깊이 맵으로부터 복원된 샘플들은 공간상에서 거의 일치한다. 이러한 중복되는 샘플들은 다음과 같은 문제점을 야기한다.
첫번째 문제는 모델의 크기가 증가된다는 점이다. 이는 중복되는 샘플들을 포함한 모든 샘플들이 처리되어야 하므로 렌더링의 속도에 영향을 미친다.
두 번째 문제는 객체 표면의 동일한 부분이 렌더링시 출력 영상에서 서로 다른 수의 픽셀들로 투영된다는 점이다. 즉, 이 부분은 이들 깊이 맵들에 의해서 서로 다른 샘플링 비율로 캡쳐된다. 이 경우에, 낮은 샘플링 비율을 갖는 샘플들은출력 영상에서 큰 면적으로 렌더링되고, 높은 샘플링 비율을 갖는 샘플들은 출력 영상에서 작은 면적으로 렌더링되어, 높은 샘플링 비율을 갖는 고신뢰도의 요소들이 낮은 샘플링 비율을 갖는 저신뢰도의 요소에 의해서 차단되는 결과를 초래하고, 따라서 전체적인 렌더링의 정확성이 기대되는 수준보다 낮게되어 렌더링 품질을 저하시킨다.
세 번째 발생 가능한 문제점은 샘플들간의 색상의 불일치가 발생하여 렌더링 잡음이 발생한다는 점이다. 객체 표면의 동일한 위치를 캡쳐한 서로 다른 맵으로부터의 샘플들 또는 일치하는 샘플들은 동일한 컬러 또는 유사한 컬러를 갖아야 하는데, 심플 텍스쳐상의 데이터의 중복이 발생하는 경우에는 컬러의 불일치가 발생할 수 있다.
본 발명의 중복 데이터 제거 방법 및 장치는 서로 다른 깊이 맵에서 복원된 객체 표면의 샘플들의 수를 최소화시켜 상술한 문제점들을 해결한다. 샘플들은 3차원 객체 표면의 동일한 부분을 고화질로 캡쳐링한 다른 샘플이 있는 경우에 중복되는 것으로 간주된다. 이하에서, 이러한 샘플들을 검출하는 방법 및 장치를 설명하며, 이러한 방법은 생성된 깊이 맵에 대해서 적용할 수 있다.
도 4 는 본 발명에 따른 중복 데이터 제거 장치의 바람직한 일 실시예를 도시하는 블록도이다. 본 발명의 중복 데이터 제거 장치는 법선벡터 계산부(410), 신뢰도 계산부(420), 근접도 계산부(430), 및 중복 데이터 제거부(440)를 포함한다.
본 발명의 중복 데이터 제거 방법을 설명하는 도 5a 를 더 참조하면, 동일한3차원 객체를 표현하며, 영상 형태로 저장된 컬러 맵 및 깊이 맵을 포함하는 복수의 심플 텍스쳐(SimpleTexture)들이 법선벡터 계산부(410)로 입력되고(S510), 각 깊이 맵의 각각의 픽셀에 대해서, 대응되는 3차원 샘플의 위치가 복원되고, 추가적인 일련의 속성들, 예컨대, 소스 깊이 맵에서의 위치(x , y), 샘플 사이즈, 법선 벡터, 및 신뢰 계수등이 계산되는데, 먼저, 법선벡터 계산부(410)는 심플 텍스쳐의 깊이 영상을 이용하여 각 픽셀의 법선 벡터를 계산한다(S520). 각 픽셀의 법선 벡터 계산 방법은 도 5b 를 참조하여 후술한다.
신뢰도 계산부(420)는 각 픽셀의 법선 벡터를 이용하여 각 픽셀의 신뢰도를 계산한다(S530). 각 픽셀의 신뢰도는 소정의 깊이 맵의 소정의 위치에서의 샘플링 품질을 특징짓는 것으로서, 신뢰도 계산부(420)는 복수의 심플 텍스쳐의 깊이 영상 각각에 대해서 다음의 수학식 1을 이용하여 각 픽셀의 신뢰도를 계산한다.
수학식 1 에서, Np는 카메라의 시계 평면에 직각인 법선 벡터이고, Ns은 소정의 샘플에서의 객체의 표면에 직각인 법선 벡터이며, 함수 (Np,Ns) 는 법선 벡터 Np및 Ns의 내적을 의미한다. 또한 함수 |x| 는 x 의 절대값을 구하는 함수를 의미한다.
근접도 계산부(430)는 복수의 심플 텍스쳐 영상의 픽셀들 중 3차원 객체의 동일한 영역을 나타내는 픽셀들을 조사하기 위해서 각 픽셀들의 3차원 공간상에서의 근접도를 계산한다(S540). 근접도 계산부(430)는 각 깊이 영상의 각 픽셀을 3차원 좌표상에 표시하고 인접 픽셀과의 거리가 소정의 임계값 이하가 되면 3차원 객체의 동일한 영역을 표시하는 픽셀들로 결정한다.
중복 데이터 제거부(440)는 근접도 계산부(430)로부터 동일한 영역을 나타내는 픽셀들을 입력받아 신뢰도가 낮은 픽셀을 제거하여, 중복 데이터가 제거된 심플 텍스쳐 집합을 출력한다(S550). 중복 데이터 제거부(440)는 동일한 영역을 나타내는 샘플(픽셀)들 각각의 신뢰도를 비교하여, 가장 높은 신뢰도를 나타내는 하나의 샘플을 유지하고, 나머지 샘플들은 깊이 맵으로부터 제거한다. 중복되는 샘플을 제거하기 위해서, 대응되는 픽셀의 값은 깊이 맵에서 0으로 설정된다.
도 6 을 참조하면, 평면 P2로 투영된 샘플 S 의 신뢰도는 평면 P1로 투영된 경우보다 큰데, 이는 (Np1, Ns)의 각이 (Np2, Ns)의 각보다 크기 때문이다. 여기서 Ns는 샘플의 법선 벡터를 의미한다. 따라서 P2상의 샘플들은 P1상의 샘플들보다 고해상도로 보다 충실하게 기하학적 정보를 샘플링할 수 있다는 것을 직관적으로 알 수 있다. 따라서, 깊이 맵 P1으로부터 신뢰도가 낮은 샘플들이 제거된다.
이하, 도 5b 를 참조하여 법선벡터 계산부(410)에서 각 픽셀의 법선 벡터를 계산하는 과정을 살펴보면, 법선벡터 계산부(410)는 깊이 영상의 픽셀값들에 따라서 각 픽셀들을 3차원 공간상에 투영하고, 법선벡터를 계산할 소정의 픽셀에 이웃하는 픽셀들을 검출한 후(S522), 이웃하는 픽셀들로부터 복수의 삼각형을 구성한다(S524). 법선벡터 계산부(410)는 각 삼각 평면에 직각인 법선벡터들을계산하고(S526), 계산된 법선벡터들의 평균을 계산하여 소정 픽셀에 대응되는 법선벡터를 계산한다(S528).
또한, 본 발명의 바람직한 실시예에 따른 중복 데이터 제거 장치는 샘플의 사이즈가 서로 달라서 하나의 샘플이 다른 샘플을 완전히 차단하는 경우를 고려한다. 이 경우에, 작은 샘플을 차단하는 큰 샘플을 제거한다.
또한, 본 발명에서 법선 벡터가 샘플들의 신뢰도 계산에 이용되지만, 추가적인 법선 벡터 맵은 사용자 단말로의 모델의 전송에 필요한 채널 대역폭을 현저히 증가시키므로, 법선 벡터 맵이 사용자 단말로 전송되는 데이터에 포함되지는 않는다. 따라서, 본 발명에서 법선 벡터들은 전처리 단계에서만 사용된다. 법선 벡터들은 깊이 맵으로부터 3차원 정보를 이용하여 복원된다.
한편, 처리과정 동안, 중복되는 샘플의 제거 이후에 깊이 영상의 정확성을 개선하기 위해서 특별한 처리단계가 필요하다. 상술한 과정을 적용하면, 중복 샘플들이 제거된 깊이 영상에 노이즈를 유발한다는 것을 알 수 있다. 이러한 영향의 이유는 깊이 맵의 성질에서 기인한다. 서로 다른 깊이 맵으로부터 관찰되는 동일한 샘플의 필터링된 법선 벡터들은 서로 완벽히 일치하지는 않는다. 본 발명은 이러한 문제를 해결하기 위해서, 소정의 임계값보다 작은 상대적 신뢰도의 차이를 갖는 샘플들은 동일한 신뢰도를 가지는 것으로 판단한다. 만약, 서로 다른 깊이 맵으로부터의 중복되는 픽셀이 서로 동일한 최소의 신뢰도를 갖는다면, 제거될 샘플은 임의로 선택된다.
이러한 과정에 따른 결과는 비-중복(non-redundant) 표현방법이 되고, 이때물체 표면의 각각의 샘플들은 오직 하나의 맵에 의해서 캡쳐된다. 도 7 에, 로보트 모델에 대한 중복 샘플 제거의 결과가 도시하였다. 도 7(a) 및 도 7(b) 는 중복 데이터가 제거되기 이전의 컬러 맵 및 깊이 맵을 각각 도시한 도면이고, 도 7(c) 및 도 7(d) 는 중복 데이터가 제거된 이후의 컬러 맵 및 깊이 맵을 각각 도시한 도면이다. 도 7(a) 내지 도 7(d)를 참조하면, 상당한 양의 픽셀들이 제거되어 모델의 사이즈의 현저한 감소가 발생한 것을 알 수 있다. 결과적으로, 처리될 샘플들의 개수가 감소되어 렌더링 속도가 향상된다. 도 7(b) 및 도 7(d)의 일부분을 확대하여 도시한 도 8을 참조하면, 객체에 씌여진 문자가 더욱 선명해져 렌더링의 품질도 향상된 것을 알 수 있다.
본 발명이 기반한 영상 기반 렌더링 방법은 상술한 바와 같이, 컬러 영상과 깊이 영상을 포함하는 심플 텍스쳐를 이용하여 3차원 객체를 렌더링하는 방식으로, 종래의 3차원 메쉬 모델을 이용한 렌더링 방법과 비교하여, 양호한 렌더링 품질과 렌더링 속도의 측면에서 우수한 성능을 나타내나, 표현되는 3차원 객체의 재질을 표현하지 못하는 문제점이 존재하였다.
본 발명의 확장 심플 텍스쳐를 이용한 렌더링 방법 및 장치는 이러한 상술한 문제점을 해결하기 위하여, 기존의 심플 텍스쳐에 3차원 객체의 성질을 나타내는 데이터를 더 포함하는 확장 심플 텍스쳐를 구성하고, 이를 이용한 렌더링 방법을 개시한다. 확장 심플 텍스쳐는 깊이 맵에서 정의된 객체 표면의 점들에 대한 복수개의 추가적인 정보를 포함한다. 이하, 본 발명의 바람직한 실시예에 따른 확장된 심플 텍스쳐를 이용한 렌더링 방법 및 장치를 설명한다.
영상 기반 렌더링 방법에서, 3차원 객체는 복수의 DepthImage(이하, DI 로 약칭함)를 이용하여 표현되고, DI 는 심플 텍스쳐와 심플 텍스처가 생성된 카메라 정보들의 집합으로서 구성된다. 본 발명에서 DI는, (깊이 맵, 컬러 맵, 물체 성질1, 물체 성질2,.)로 구성되는 확장 깊이 영상(eXtended Depth Image, XDI)로 확장 정의되고, 객체의 성질을 심플 텍스쳐의 컬러 맵 또는 깊이 맵과 같이 2차원 평면상에 평면 영상의 형태로 저장한다. 이렇게 객체의 성질을 나타내는 값들을 저장함으로써, 예컨대 조명에 의해서 물체에 표현되는 음영(밝은 부분 및 어두운 부분), 표면 반짝임 성질등과 같은 물체의 속성을 나타내는 것이 가능해진다.
관측자의 위치가 변경되면, 객체는 변경된 관측자의 위치에 대해서 새롭게 렌더링되는데, 렌더링에 이용되는 기본 요소인 스플렛(splat)의 컬러는 관측자의 변경된 위치에 대응되는 점에서의 물체의 재질의 성질, 대응되는 점에서의 법선 벡터, 및 관측자, 객체, 및 광원의 상대적인 위치를 고려하여 결정된다.
아울러, 본 발명은 객체의 성질로 인해서 발생하는 조명의 반사정도를 표현하기 위해서 Phong 반사 모델을 이용하여 렌더링을 수행하는데, Phong 반사 모델은 깊이 맵으로부터 계산되는 법선 벡터, emission, ambient, diffuse, specular, 및 shininess 성분의 계수들을 포함하는 6가지의 물체 및 광원의 성질을 이용하여 객체를 표현한다. 다만, 상술한 6가지 성분들 중 일부는 생략할 수 있는데, 예컨대, ambient 및 emission 계수는 소정의 기본 값으로 대치될 수 있다. 또한, 컬러 영상은 diffuse 성분 맵으로 간주된다.
본 발명에서 Phong 반사 모델에 따른 렌더링은 OpenGL을 이용하여 수행된다.렌더링 동안에 픽셀의 법선벡터, 물체 매개변수, 및 광 매개변수들은 그래픽 파이프라인으로 전달된다. 현대의 하드웨어 가속기(예컨대, Nvidia GeForce)는 Phong 반사모델의 계산을 하드웨어적으로 매우 빠르게 수행할 수 있다. 본 발명에서, 이러한 OpenGL rendering pipeline을 적용하여 하드웨어 렌더링을 수행한다. 만약, 하드웨어 가속기를 사용할 수 없는 경우에는 소프트웨어적으로 렌더링을 수행할 수 있다.
이하, 본 발명에 따른 XDI 를 이용한 렌더링 장치를 도시한 도 9 및 렌더링 방법을 도시한 도 10 을 참조하여 설명한다. 도 9 를 참조하면, XDI 를 이용한 렌더링 장치는 XDI 구성부(910), 반사모델 계수 설정부(920), 법선벡터 계산부(930), 및 렌더링부(940)를 포함한다. 도 10 를 더 참조하면, XDI 구성부(910)는 기존에 생성된 심플 텍스쳐 및 객체의 속성 정보를 입력받는다(S1010). XDI 구성부(910)로 입력되는 심플 텍스쳐는 상술한 바와 같이 3차원 객체를 표현하는 컬러 맵 및 깊이 맵을 포함한다. 한편, XDI 구성부(910)로 입력되는 객체의 속성정보는 객체의 emission, ambient, diffuse, specular, 및 shininess 성분들을 포함하며, 적어도 객체의 시점에 따른 물체의 반사정도를 나타내는 specular 성분 및 물체 표면의 재질에 따른 반사 정도를 나타내는 shininess 성분을 포함한다. 이 때, specular, 및 shininess 성분들은 포토샵과 같은 영상 편집 프로그램을 이용하여 생성될 수 있으며, 각 픽셀의 specular, 및 shininess 성분을 나타내는 2차원 영상형태의 맵으로 각각 생성되어 XDI 구성부(910)로 입력된다.
XDI 구성부(910)는 입력된 심플 텍스쳐 및 객체의 속성 정보를 이용하여 확장된 깊이 영상(XDI) 을 구성한다(S1020). 구성된 XDI 는 상술한 바와 같이, (깊이 영상, 컬러 영상, 물체 성질1, 물체 성질2,.)로 구성되고, XDI 는 반사모델 계수 설정부(920) 및 법선벡터 계산부(930)로 각각 입력된다.
반사모델 계수 설정부(920)는 다음의 수학식 2와 같이 표현되는 Phong 반사 모델의 계산에 필요한 소정의 계수들을 설정한다.
수학식 2에서, Ks, Ka, Kd들은 specular, ambient 및 diffuse 계수를 각각 나타내고, p 는 입력된 각 픽셀의 shininess 값을 나타낸다. 또한, r 은 반사된 광의 방향을 나타내고, v 는 관측자의 방향을 나타내며, l 은 광원의 방향을 나타내고, n 은 현재의 픽셀에서의 법선을 각각 나타내는 벡터이다. 또한, Si는 광의 세기를 나타내고, Kc, Kl, Kq는 광의 감쇠 계수를 나타내며, d 는 광원까지의 거리를 나타내고, Iai, Isi, Idi는 i 번째 광원의 ambient, specular 및 diffuse 컬러를 각각 나타낸다.
반사모델 계수 설정부(920)는 수학식 2의 변수 중에서, Ks, Ka, Kd, p, 및 Iai, Isi, Idi을 소정의 규칙 내지 알고리즘에 따라서 설정한다. 이때, 반사모델 계수 설정부(920)는 동일한 변수값을 갖는 픽셀들을 일괄적으로 처리할 수 있도록, 동일한 설정값을 갖는 샘플들을 분류하여 그룹핑을 수행할 수 있다.
한편, 법선 벡터 계산부(930)는 입력된 XDI 의 깊이 영상 정보를 이용하여 각 픽셀의 법선벡터(n)를 결정한다. 깊이 정보를 이용하여 각 픽셀의 법선 벡터(n)를 결정하는 방법은 도 5b 를 참조하여 상술한 바와 동일하다.
렌더링부는 상술한 반사모델 계수 설정부(920)에서 설정된 계수들 및 법선벡터 계산부(930)에서 결정된 각 픽셀의 법선 벡터들을 이용하여 상술한 수학식 2 에 따라서 각 픽셀에서 표현될 컬러 값을 계산하여 3차원 객체의 렌더링을 수행한다(S1050). 이때, 렌더링부는 스플렛 사이즈를 조절하고, 각 계수들 및 법선 벡터와 각 샘플들의 복원된 3차원 위치를 OpenGL과 같은 3차원 그래픽 가속기에 입력하여 Phong 모델을 계산함으로써 3차원 객체를 표현한다. 만약, 하드웨어 가속기를 사용할 수 없는 경우에는 소프트웨어적으로 렌더링을 수행할 수 있다.
도 11 은 단일 XDI 4-요소 맵의 렌더링의 일 예를 도시한다. 도 11 을 참조하면, 금속 물체의 빛을 반사하는 성질 및 관측자의 시야에 따라서 객체 표면에서 반짝이는 위치가 변경되는 성질이 양호하게 렌더링된 것을 관찰할 수 있다.
이하, 본 발명의 바람직한 실시예에 따른 영상 기반 영상 편집 장치 및 방법을 설명한다. 텍스쳐된 3차원 모델의 표면을 수정하는 종래의 편집 기술들은 복잡하고 사용하는데 불편하였다. 예컨대, 객체의 표면에 칠을 하거나 변위 매핑(displacement mapping)을 적용하는 경우가 그러하다. 본 발명은 이러한 문제에 대한 해결책으로서 영상 기반 영상 편집 장치 및 방법을 제공한다.
본 발명에 따르면, 사용자는 3차원 모델의 기준 영상들 중 하나를 수정한다. 그 후, 다른 맵의 샘플들이 재구성되고 수정된 영상으로 투영된다. 샘플들이 편집된 픽셀로 투영되고, 투영된 샘들의 계산된 깊이와 기준 샘플의 깊이 맵으로부터의 대응되는 값간의 차가 소정의 임계값 보다 작으면, 샘플은 수정되어야 한다. 이 과정은 모델의 모든 맵을 수정하여 일관성(consistency)이 유지된다. 본 발명의 장점은 3차원 메쉬와 같은 추가적인 데이터 구조들이 만들어지지 않는다는 점이다. 따라서, 중간 모델을 만드는 복잡한 계산 과정이 필요없다. 즉, 객체의 특정 부분에 대해서 변화된 내용은 다른 맵들의 특정 부분을 나타내는 부분까지도 직접 변경시킨다. 또한, 기준 영상의 수정뿐 아니라 렌더링 도중에 3차원 객체의 영상을 캡춰하여 수정을 시도하고 기준 영상들을 수정된 정보에 따라 변경시킬 수 있다.
수정되지 않은 기준 영상들의 모든 샘플들은 재구성되어 수정된 영상의 픽셀들과 비교되므로, 이러한 심플 텍스쳐 편집 방식을 역전파(back-propagation) 수정이라 칭한다. 도 12에 역전파의 규칙들을 도시하였다. 도 12은 수평 방향의 기준 영상이 편집되어 있고 편집되어 수정된 정보에 따라 수직 기준 영상을 변경시키는 과정을 도시한다. 도 12를 참조하면, 수직 방향의 맵 A를 3차원 공간상에 재구성하고 이를 수평 방향의 맵에 역투영하면 편집된 픽셀에 대응되는 픽셀들을 얻을 수 있다. 이 때 수평 방향의 맵으로부터 가장 가까운 픽셀들이 소정의 임계값보다 작은 깊이차를 갖는 수정될 픽셀들이므로, 이 픽셀들의 컬러 정보를 편집된 픽셀의 컬러 정보로 변경시킨다.
한편, 본 발명은 임계값들을 변경시킴으로써 사용자는 변경된 내용이 다른 맵들에 전파되는 정도를 조절할 수 있다. 이는 낮은 깊이 맵 해상도를 갖는 기준 영상에 대해서 특히 중요하다. 낮은 양자화 비트수로 인해, 원래 동일한 표면에 놓인 서로 다른 기준 영상들로부터의 샘플들은 수정된 영상에 투영될 때 서로 다른 깊이 값을 가질 수 있다. 후술할 선택(selection) 편집과 같은 영상 편집 방법의 경우에, 서로 다른 임계값을 선택함으로써 선택되는 모델의 양을 변경할 수 있다. 선택 편집 방법에서 최대 임계값을 적용하면 선택된 픽셀들에 투영된 모든 샘플들이 선택된다.
도 13 은 본 발명에 따른 영상 기반 편집 장치의 구성을 도시하는 블록도이고, 도 14a 및 도 14b 는 영상 기반 편집 방법을 설명하는 흐름도이다. 도 13 을 참조하면, 영상 편집 장치는 영상 캡쳐링부(1310), 영상 편집부(1320), 및 역투영부(1330)를 포함한다. 도 14a 를 더 참조하면, 기존의 심플 텍스쳐를 이용하여 렌더링된 영상이 캡쳐링부(1310)로 입력되고, 캡쳐링부(1310)는 렌더링을 정지하고 편집할 영상을 캡쳐한다(S1410).
영상 편집부(1320)는 캡쳐된 영상을 후술하는 페인트, 라이트 페인트, 삭제, 복제등과 같은 편집 방법을 이용하여 편집한다(S1420). 구체적인 편집 방법에 대해서는 후술한다.
역투영부(1330)는 캡쳐된 영상에 대해서 수행된 편집 작업의 내용을 동일한 모델을 표현하는 다른 기준 영상들에 반영하도록 편집된 영상의 정보를 다른 기준 영상들에 역투영한다.
도 14b 를 더 참조하여, S1430 단계를 상세히 설명한다. 영상 역투영부(1330)는 먼저 편집 작업의 내용에 따라서 수정될 기준 영상을 선택하고, 선택된 기준 영상에서 수정될 영역을 선택한다(S1432). 그 후, 편집된 영상의 픽셀과 대응되는 기준 영상의 픽셀을 선택하고, 편집된 내용을 선택된 영역 내에서 대응되는 픽셀에 역투영함으로써 기준영상을 수정한다(S1434). 그 후, 역투영부는 수정된 기준 영상을 심플 텍스쳐로 저장함으로써 기준 영상을 갱신한다(S1436).
이하, 도 15a 내지 15c 를 참조하여 상술한 제 S1420 단계의 영상 편집 방법을 설명한다. 본 발명은 비압축된 심플 텍스쳐 모델에서 텍스쳐의 편집을 위해서 페인트 편집 방법을 개시한다. 이는 일반적인 'PaintBrush' 또는 'Photoshop' 과 같은 영상 편집 프로그램에 의한 별도의 기준 영상 편집에 기초하며, 상술한 변경 내용 전파(propagation of changes) 기술에 기초한다.
페인트 방법의 적용 알고리즘은 다음과 같다. 렌더링 중에, 사용자는 페인트 편집이 적용될 뷰영상을 선택한다. 그 후, 뷰는 캡쳐되고 포토샵과 같은 영상 편집 시스템에 인가된다. 영상 편집 시스템에 의해서 수정이 행해진 후에, 변경된 내용은 모델을 통해서 모든 다른 기준 영상들로 전파된다. 수정된 내용이 역전파되는 동안, 전파된 샘플들이 투영된 픽셀과 다른 컬러를 갖는다면, 샘플 컬러는 수정되어야 한다. 이 픽셀에 대응되는 픽셀의 컬러는 변경된다.
도 16 에 페인트 편집 방법을 적용한 예를 도시하였다. 도 16(b)에 도시된 바와 같이, 문자가 캡쳐된 영상에 페인트되고, 페이트된 부분이 다른 기준 영상들로 역전파된 후에, 다시 영상을 렌더링할 수 있고, 페인트 효과는 도 16(c)에 도시된 바와 같이, 이후의 렌더링동안 나타난다.
도 15a 는 라이트 페인트 방법을 설명하는 흐름도이다. 심플 텍스쳐 모델은 종종 추가적인 광원에 의한 모델의 조명 변화를 반영하기 위해서 변경될 필요가 있다. 이를 위해, 본 발명은 '라이트 페인트' 방법을 개시한다. 모델의 변경된 텍스쳐는 상술한 Phong 반사 모델로 계산된다. 이 모델은 각 표면 샘플에 특정된 법선 벡터가 필요하다. 심플 텍스쳐 모델은 법선 맵을 포함하지 않으므로, 법선 벡터들은 깊이 맵으로부터 3차원 깊이 정보를 이용하여 계산된다.
도 15a 를 참조하면, 렌더링동안, 사용자는 라이트-페인트가 적용될 뷰를 선택한 후, 캡쳐된 영상의 모델에 대해서 상대적인 새로운 광원의 위치, 방향, 및 컬러등을 포함하는 조명의 속성을 설정한다(S1510). 이는 광원의 컬러등의 속성값을 특정함으로써 수행된다. 그 후, 물체의 한 지점을 선택하여 법선 벡터를 추출하고(S1511), 법선벡터 방향으로 무한 지점에 설정된 광원을 위치시킨다(S1512).
그 후, 상술한 도 5b 를 참조하여 설명한 방법과 동일한 방법을 이용하여, 조명을 적용할 객체의 각 픽셀의 법선 벡터를 계산하고(S1513), 상술한 Phong 모델을 이용하여 새로운 광원을 적용한 객체의 색을 계산하며(S1514), 계산된 색으로 수정을 위해서 선택된 기준 영상의 각 픽셀 값을 변경한다(S1515).
도 17 에, 라이트 페인트 방법을 적용한 예를 도시하였다. 도 17(b) 에 도시한 바와 같이, 새로운 광원 효과가 객체에 적용되고, 객체는 재조명된다. 역전파이후에, 객체를 다시 렌더링할 수 있고, 도 17(c)에 도시한 바와 같이, 이후의렌더링(further rendering) 동안에 라이트 페인트 효과가 나타난다.
이하, 영상 편집 방법 중 선택 편집, 삭제 편집, 및 복제 편집 방법을 간략하게 설명한다. 심플 텍스쳐 모델의 기준 영상들의 집합은 전체 객체에 대한 정보를 포함한다. 사용자는 전체 모델의 일 부분을 별도로 사용하기 위해서 분리할 필요가 있다. 본 발명은 모델의 일 부분만을 작업할 수 있도록 선택 방법을 제안한다. 본 발명은 비트 영상를 각 기준 영상들과 연관시킨다. 기준 영상의 컬러 및 깊이 맵의 각 픽셀들은 비트 마스크의 특정 비트에 대응된다. 비트값이 1 이면, 대응되는 픽셀은 선택된 것으로 간주된다. 사용자는 가변 사이즈의 브러쉬로 임의의 기준 영상의 픽셀의 집합을 선택할 수 있다. 상술한 변경 내용의 전파 방법은 다른 모든 기준 영상의 수정을 위해서 사용된다. 다른 모든 영상들의 샘플들은 재구성되어 편집된 영상으로 투영된다. 일부 샘플들이 선택된 픽셀에 투영되면, 대응되는 깊이 값 및 계산된 깊이간의 차가 소정의 임계값보다 낮으면, 샘플들은 선택된 것으로 표시되고 대응되는 마스크의 비트값은 1 로 설정된다.
모든 기준 영상들의 선택된 픽셀들은 모델의 선택된 부분들을 삭제하는 삭제 편집 방법을 이용하여 맵으로부터 삭제될 수 있다. 모델의 선택된 부분은 복제 편집 방법을 이용하여 복제된다. 적어도 하나의 선택된 픽셀을 갖는 각각의 기준 영상에 대해서, 동일한 기준 카메라를 이용한 새로운 영상이 생성된다. 영상으로부터의 모든 선택된 픽셀들은 새로 복제된 기준 영상으로 복사된다. 모든 다른 픽셀들은 대응되는 깊이 값이 0 으로 설정되어 배경으로 표시된다. 새롭게 생성된 기준 영상은 새로운 심플 텍스쳐 모델을 생성하기 위해서 별도로 저장된다.
이하, 삭제 편집 방법을 도시한 도 15b 및 복제 편집 방법을 설명한 도 15c 를 참조하여 설명한다.
도 15b 를 참조하면, 영상에서 소정의 영역을 삭제하고자 하는 경우에, 먼저, 기준 영상 1개를 선택하고(S1520), 선택된 기준 영상에서 삭제할 부분을 선택한다(S1521). 그 후, 선택된 부분을 상술한 바와 같이 삭제한 후(S1522), 변경된 정보를 다른 기준 영상으로 역투영한다(S1523).
한편, 도 15c 를 참조하면, 영상에서 소정의 영역을 복제하고자 하는 경우에, 먼저, 복제할 부분을 포함하는 기준 영상을 선택하고(S1530), 선택된 기준 영상에서 복제할 부분을 선택한다(S1531). 그 후, 복제한 부분으로 새로운 기준 영상을 생성하고(S1532), 새로운 기준 영상을 저장한다(S1533). 도 18(a), 도 18(b), 및 도 18(c)에 상술한 선택 편집 방법, 삭제 편집 방법, 및 복제 편집 방법을 적용한 예를 각각 도시하였다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이, 본 발명에 따른 심플 텍스쳐의 중첩 데이터 제거 방법 및 장치에 따르면, 사용자의 3차원 객체를 바라보는 시각에 따라서 중첩되는 데이터를 제거함으로써, 렌더링 속도 및 렌더링 품질을 향상시킬 수 있는 효과가 있다.
또한, 상술한 본 발명의 XDI 를 이용한 렌더링 방법 및 장치에 따르면, 렌더링되는 3차원 객체의 표면의 반짝거림, 시선 방향에 따른 음영의 변화등 물체의 고유한 표면 성질등을 표현할 수 있는 효과가 나타난다.
또한, 상술한 본 발명의 영상 기반 편집 방법 및 장치에 따르면, 렌더링되는 3차원 객체를 2차원 영상을 이용하여 편집하는 것이 가능한 효과가 있다.

Claims (41)

  1. (a) 3차원 객체의 일면을 각각 나타내는 복수의 심플 텍스쳐에 포함된 각각의 깊이 영상을 이용하여 3차원 공간상에 투영된 각 픽셀의 법선 벡터를 계산하는단계;
    (b) 상기 법선 벡터를 이용하여 상기 각 심플 텍스쳐에 포함된 픽셀의 신뢰도를 계산하는 단계; 및
    (d) 상기 복수의 심플 텍스쳐에 포함된 픽셀들 중 상기 3차원 객체의 동일한 영역을 나타내는 픽셀들의 상기 신뢰도를 비교하여 상기 신뢰도가 낮은 픽셀의 데이터를 상기 심플 텍스쳐로부터 제거하는 단계를 포함하는 것을 특징으로 하는 중복 데이터 제거 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계는
    상기 깊이 영상의 각 픽셀 값들에 따라서 3차원 공간상에 상기 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 투영된 각 픽셀들과 이웃하는 픽셀들로 구성되는 삼각 평면의 법선 벡터들을 계산하여 각 픽셀의 법선 벡터를 계산하는 것을 특징으로 하는 중복 데이터 제거 방법.
  3. 제 1 항에 있어서, 상기 (a) 단계는
    상기 깊이 영상의 각 픽셀 값들에 따라서 3차원 공간상에 상기 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 법선 벡터를 계산할 픽셀에 인접한 픽셀들을 검출하는 단계;
    상기 인접 픽셀들로부터 삼각 평면들을 구성하고, 상기 각 삼각 평면들의 법선 벡터를 계산하는 단계; 및
    상기 각 삼각 평면들의 법선 벡터의 평균을 계산하는 단계를 포함하는 것을 특징으로 하는 중복 데이터 제거 방법.
  4. 제 1 항에 있어서, 상기 (b) 단계는
    상기 각 픽셀의 법선 벡터와, 상기 심플 텍스쳐의 생성에 이용된 카메라 시계 평면에 수직인 벡터를 이용하여 신뢰도를 계산하는 것을 특징으로 하는 중복 데이터 제거 방법.
  5. 제 1 항에 있어서, 상기 (b) 단계는
    상기 각 픽셀의 법선 벡터와 상기 심플 텍스쳐의 생성에 이용된 카메라 시계 평면에 수직인 벡터간의 내적에 따라서 상기 각 픽셀의 신뢰도를 결정하는 것을 특징으로 하는 중복 데이터 제거 방법.
  6. 제 1 항에 있어서, 상기 (b) 단계는
    상기 신뢰도가 계산된 각 픽셀간의 3차원 공간상의 근접도를 계산하고, 상기 근접도가 소정의 임계값 이하인 픽셀들을 상기 3차원 객체의 동일한 영역을 나타내는 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 중복 데이터 제거 방법.
  7. 제 1 항에 있어서, 상기 (c) 단계는
    상기 신뢰도가 가장 높은 하나의 픽셀 값만을 유지하고, 나머지 픽셀 값을 상기 심플 텍스쳐들로부터 제거하는 것을 특징으로 하는 중복 데이터 제거 방법.
  8. 제 1 항에 있어서, 상기 (c) 단계는
    상기 신뢰도가 낮은 깊이 영상의 픽셀들의 값을 배경 영상의 값으로 설정하는 것을 특징으로 하는 중복 데이터 제거 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항의 중복 데이터 제거 방법을 컴퓨터에서 판독할 수 있고, 실행 가능한 프로그램 코드로 기록한 기록 매체.
  10. 3차원 객체의 일면을 각각 나타내는 복수의 심플 텍스쳐에 포함된 각각의 깊이 영상을 이용하여 3차원 공간상에 투영된 각 픽셀의 법선 벡터를 계산하는 법선 벡터 계산부;
    상기 법선 벡터를 이용하여 상기 각 심플 텍스쳐에 포함된 픽셀의 신뢰도를 계산하는 신뢰도 계산부; 및
    상기 복수의 심플 텍스쳐에 포함된 픽셀들 중 상기 3차원 객체의 동일한 영역을 나타내는 픽셀들의 상기 신뢰도를 비교하여 상기 신뢰도가 낮은 픽셀의 데이터를 상기 심플 텍스쳐로부터 제거하는 중복 데이터 제거부를 포함하는 것을 특징으로 하는 중복 데이터 제거 장치.
  11. 제 10 항에 있어서, 상기 법선 벡터 계산부는
    상기 깊이 영상의 각 픽셀값들에 따라서 3차원 공간상에 상기 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 투영된 각 픽셀들과 이웃하는 픽셀들로 구성되는 삼각 평면의 법선 벡터들을 계산하여 각 픽셀의 법선 벡터를 계산하는 것을 특징으로 하는 중복 데이터 제거 장치.
  12. 제 10 항에 있어서, 상기 법선 벡터 계산부는
    상기 깊이 영상의 각 픽셀값들에 따라서 3차원 공간상에 상기 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 법선 벡터를 계산할 픽셀에 인접한 픽셀들을 검출하며, 상기 인접 픽셀들로부터 삼각 평면들을 구성하고, 상기 각 삼각 평면들의 법선 벡터를 계산하며, 상기 각 삼각 평면들의 법선 벡터의 평균을 계산하여 상기 각 픽셀의 법선 벡터를 계산하는 것을 특징으로 하는 중복 데이터 제거 장치.
  13. 제 10 항에 있어서, 상기 신뢰도 계산부는
    상기 각 픽셀의 법선 벡터와 상기 심플 텍스쳐의 생성에 이용된 카메라 시계 평면에 수직인 벡터를 이용하여 신뢰도를 계산하는 것을 특징으로 하는 중복 데이터 제거 장치.
  14. 제 10 항에 있어서, 상기 신뢰도 계산부는
    상기 각 픽셀의 법선 벡터와 상기 심플 텍스쳐의 생성에 이용된 카메라 시계평면에 수직인 벡터간의 내적에 따라서 상기 각 픽셀의 신뢰도를 결정하는 것을 특징으로 하는 중복 데이터 제거 장치.
  15. 제 10 항에 있어서,
    상기 신뢰도가 계산된 각 픽셀간의 3차원 공간상의 근접도를 계산하고, 상기 근접도가 소정의 임계값 이하인 픽셀들을 상기 3차원 객체의 동일한 영역을 나타내는 것으로 결정하여, 동일한 영역을 나타내는 픽셀들을 상기 중복 데이터 제거부로 출력하는 근접도 계산부를 더 포함하는 것을 특징으로 하는 중복 데이터 제거 장치.
  16. 제 10 항에 있어서, 상기 중복 데이터 제거부는
    상기 신뢰도가 가장 높은 하나의 픽셀 값만을 유지하고, 나머지 픽셀 값을 상기 심플 텍스쳐들로부터 제거하는 것을 특징으로 하는 중복 데이터 제거 장치.
  17. 제 10 항에 있어서, 상기 중복 데이터 제거부는
    상기 신뢰도가 낮은 깊이 영상의 픽셀들의 값을 배경 영상의 값으로 설정하는 것을 특징으로 하는 중복 데이터 제거 장치.
  18. (a) 3차원 객체의 일면을 나타내는 심플 텍스쳐 및 상기 객체의 속성을 나타내는 속성 정보를 입력받아, 상기 3차원 객체의 시점에 따른 컬러, 깊이, 및 속성에 관한 정보를 2차원 영상의 형태로 표현하는 확장 깊이 영상을 생성하는 단계;
    (b) 상기 확장 깊이 영상의 각 픽셀에 대해서 상기 객체의 속성에 따른 소정의 반사 모델 계수를 설정하는 단계;
    (c) 상기 확장 깊이 영상에 포함된 깊이 영상을 이용하여 각 픽셀의 법선 벡터를 계산하는 단계; 및
    (d) 상기 반사 모델 계수 및 상기 법선 벡터를 이용하여, 상기 객체의 속성에 따라서 변화되는 상기 객체의 컬러를 결정하여 3차원 객체를 표현하는 단계를 포함하는 것을 특징으로 하는 렌더링 방법.
  19. 제 18 항에 있어서, 상기 속성 정보는
    관찰 시점에 따른 객체의 반사 정도를 나타내는 specular 성분, 및 물체 표면의 재질에 따른 반짝임 정도를 나타내는 shininess 성분을 포함하는 것을 특징으로 하는 렌더링 방법.
  20. 제 18 항에 있어서,
    상기 반사 모델은 Phong 반사 모델인 것을 특징으로 하는 렌더링 방법.
  21. 제 18 항에 있어서, 상기 (c) 단계는
    상기 깊이 영상의 각 픽셀 값들에 따라서 3차원 공간상에 상기 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 투영된 각 픽셀들과 이웃하는 픽셀들로 구성되는 삼각 평면의 법선 벡터들을 계산하여 각 픽셀의 법선 벡터를 계산하는 것을 특징으로 하는 렌더링 방법.
  22. 제 18 항에 있어서, 상기 (c) 단계는
    상기 깊이 영상의 각 픽셀값들에 따라서 3차원 공간상에 상기 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 법선 벡터를 계산할 픽셀에 인접한 픽셀들을 검출하는 단계;
    상기 인접 픽셀들로부터 삼각 평면들을 구성하고, 상기 각 삼각 평면들의 법선 벡터를 계산하는 단계; 및
    상기 각 삼각 평면들의 법선 벡터의 평균을 계산하는 단계를 포함하는 것을 특징으로 하는 렌더링 방법.
  23. 제 18 항 내지 제 22 항 중 어느 한 항의 렌더링 방법을 컴퓨터에서 판독할 수 있고, 실행 가능한 프로그램 코드로 기록한 기록 매체.
  24. 3차원 객체의 일면을 나타내는 심플 텍스쳐 및 상기 객체의 속성을 나타내는 속성 정보를 입력받아, 상기 3차원 객체의 시점에 따른 컬러, 깊이, 및 속성에 관한 정보를 2차원 영상의 형태로 표현하는 확장 깊이 영상을 생성하는 확장 깊이 영상 구성부;
    상기 확장 깊이 영상의 각 픽셀에 대해서 상기 객체의 속성에 따른 소정의반사 모델 계수를 설정하는 반사모델 계수 설정부;
    상기 확장 깊이 영상에 포함된 깊이 영상을 이용하여 각 픽셀의 법선 벡터를 계산하는 법선벡터 결정부; 및
    상기 반사 모델 계수 및 상기 법선 벡터를 이용하여, 상기 객체의 속성에 따라서 변화되는 상기 객체의 컬러를 결정하여 3차원 객체를 표현하는 단계를 포함하는 것을 특징으로 하는 렌더링 장치.
  25. 제 24 항에 있어서, 상기 속성 정보는
    관찰 시점에 따른 객체의 반사 정도를 나타내는 specular 성분, 및 물체 표면의 재질에 따른 반짝임 정도를 나타내는 shininess 성분을 포함하는 것을 특징으로 하는 렌더링 장치.
  26. 제 24 항에 있어서,
    상기 반사 모델은 Phong 반사 모델인 것을 특징으로 하는 렌더링 장치.
  27. 제 24 항에 있어서, 상기 법선벡터 계산부는
    상기 깊이 영상의 각 픽셀 값들에 따라서 3차원 공간상에 상기 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 투영된 각 픽셀들과 이웃하는 픽셀들로 구성되는 삼각 평면의 법선 벡터들을 계산하여 각 픽셀의 법선 벡터를 계산하는 것을 특징으로 하는 렌더링 장치.
  28. 제 24 항에 있어서, 상기 법선벡터 계산부는
    상기 깊이 영상의 각 픽셀 값들에 따라서 3차원 공간상에 상기 각 심플 텍스쳐에 포함된 픽셀을 투영하고, 법선 벡터를 계산할 픽셀에 인접한 픽셀들을 검출하며, 상기 인접 픽셀들로부터 삼각 평면들을 구성하고, 상기 각 삼각 평면들의 법선 벡터를 계산하며, 상기 각 삼각 평면들의 법선 벡터의 평균을 계산하는 것을 특징으로 하는 렌더링 장치.
  29. (a) 3차원 객체의 일면을 표현하는 컬러 영상 및 깊이 영상을 각각 포함하는 복수의 심플 텍스쳐들을 이용하여 상기 3차원 객체를 렌더링한 영상을 캡쳐링하는 단계;
    (b) 상기 캡쳐된 영상의 픽셀들을 소정의 편집 방법으로 편집하고, 편집된 내용을 편집 영상으로서 저장하는 단계; 및
    (c) 상기 편집 영상을 이용하여 상기 복수의 심플 텍스쳐의 컬러 영상 및 깊이 영상으로 구성되는 기준 영상을 갱신하는 단계를 포함하는 것을 특징으로 하는 영상 기반 편집 방법.
  30. 제 29 항에 있어서, 상기 (c) 단계는
    (c1) 상기 편집 영상을 이용하여 수정할 기준 영상 및 상기 기준 영상에서 수정될 부분을 선택하는 단계;
    (c2) 상기 편집 영상의 픽셀과 대응되는 기준 영상의 픽셀을 선택하고, 상기 선택된 픽셀을 상기 편집 영상의 픽셀에 따라서 수정하는 단계; 및
    (c3) 상기 수정된 내용을 포함하는 기준 영상을 저장하는 단계를 포함하는 것을 특징으로 하는 영상 기반 편집 방법.
  31. 제 30 항에 있어서, 상기 (c) 단계는
    상기 편집 영상이 나타내는 3차원 객체의 부분과 동일한 부분을 표현하는 정보를 포함하는 모든 기준 영상에 대해서 수행되는 것을 특징으로 하는 영상 기반 편집 방법.
  32. 제 29 항에 있어서, 상기 (b) 단계는
    (b1) 상기 캡쳐된 영상에서 객체의 한 지점을 선택하고, 상기 지점에서의 법선 벡터를 계산하는 단계;
    (b2) 상기 법선 벡터의 방향으로 무한 지점에 사용자에 의해서 설정된 속성의 광원을 설정하는 단계;
    (b3) 상기 객체의 각 픽셀의 법선 벡터를 계산하는 단계;
    (b4) 상기 광원의 속성 및 상기 법선 벡터에 따라서 상기 광원에 의해서 변경된 상기 객체의 컬러를 계산하는 단계; 및
    (b5) 상기 계산된 컬러를 이용하여 상기 편집 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 기반 편집 방법.
  33. 제 32 항에 있어서, 상기 (b4) 단계는
    Phong 반사 계수 모델을 이용하여 상기 조명에 따라 변경되는 상기 객체의 컬러를 계산하는 것을 특징으로 하는 영상 기반 편집 방법.
  34. 제 29 항에 있어서, 상기 (b) 단계는
    상기 기준 영상들 중 하나를 선택하고, 선택된 기준 영상에서 제거할 부분을 선택하는 단계;
    상기 기준 영상의 선택된 부분의 픽셀 값을 소정의 값으로 설정하여, 상기 선택된 부분을 상기 기준 영상으로부터 제거하는 단계; 및
    상기 선택된 부분이 제거된 기준 영상을 편집 영상으로서 저장하는 단계를 포함하는 것을 특징으로 하는 영상 기반 편집 방법.
  35. 제 29 항 내지 제 34 항 중 어느 한 항의 영상 기반 편집 방법을 컴퓨터에서 판독할 수 있고, 실행 가능한 프로그램 코드로 기록한 기록 매체.
  36. 3차원 객체의 일면을 표현하는 컬러 영상 및 깊이 영상을 각각 포함하는 복수의 심플 텍스쳐들을 이용하여 상기 3차원 객체를 렌더링한 영상을 캡쳐링하는 영상 캡쳐링부;
    상기 캡쳐된 영상의 픽셀들을 소정의 편집 방법으로 편집하고, 편집된 내용을 편집 영상으로서 저장하는 영상 편집부; 및
    상기 편집 영상을 이용하여 상기 복수의 심플 텍스쳐의 컬러 영상 및 깊이 영상으로 구성되는 기준 영상을 갱신하는 역투영부를 포함하는 것을 특징으로 하는 영상 기반 편집 장치.
  37. 제 36 항에 있어서, 상기 역투영부는
    상기 편집 영상을 이용하여 수정할 기준 영상 및 상기 기준 영상에서 수정될 부분을 선택하고, 상기 편집 영상의 픽셀과 대응되는 기준 영상의 픽셀을 선택하고, 상기 선택된 픽셀을 상기 편집 영상의 픽셀에 따라서 수정한 후, 상기 수정된 내용을 포함하는 기준 영상을 저장하는 것을 특징으로 하는 영상 기반 편집 장치.
  38. 제 37 항에 있어서, 상기 역투영부는
    상기 편집 영상이 나타내는 3차원 객체의 부분과 동일한 부분을 표현하는 정보를 포함하는 모든 기준 영상을 상기 편집 영상에 따라서 갱신하는 것을 특징으로 하는 영상 기반 편집 장치.
  39. 제 36 항에 있어서, 상기 영상 편집부는
    상기 캡쳐된 영상에서 객체의 한 지점을 선택하고, 상기 지점에서의 법선 벡터를 계산하고, 상기 법선 벡터의 방향으로 무한 지점에 사용자에 의해서 설정된 속성의 광원을 설정하는 광원 설정부;
    상기 객체의 각 픽셀의 법선 벡터를 계산하는 벡터 계산부; 및
    상기 광원의 속성 및 상기 법선 벡터에 따라서 상기 광원에 의해서 변경된 상기 객체의 컬러를 계산하고, 상기 계산된 컬러를 이용하여 상기 편집 영상을 생성하는 편집 영상 생성부를 포함하는 것을 특징으로 하는 영상 기반 편집 장치.
  40. 제 39 항에 있어서, 상기 편집 영상 생성부는
    Phong 반사 계수 모델을 이용하여 상기 조명에 따라 변경되는 상기 객체의 컬러를 계산하는 것을 특징으로 하는 영상 기반 편집 장치.
  41. 제 36 항에 있어서, 상기 영상 편집부는
    상기 기준 영상들 중 하나를 선택하고, 선택된 기준 영상에서 제거할 부분을 선택하며, 상기 기준 영상의 선택된 부분의 픽셀 값을 소정의 값으로 설정하여, 상기 선택된 부분을 상기 기준 영상으로부터 제거한 후, 상기 선택된 부분이 제거된 기준 영상을 편집 영상으로서 저장하는 것을 특징으로 하는 영상 기반 편집 장치.
KR10-2003-0048110A 2003-07-14 2003-07-14 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치 KR100528343B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR10-2003-0048110A KR100528343B1 (ko) 2003-07-14 2003-07-14 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치
CN2007100887091A CN101025830B (zh) 2003-07-14 2004-07-14 基于图像的着色方法及其装置
EP11170477A EP2372662A3 (en) 2003-07-14 2004-07-14 Image-based rendering and editing method and apparatus
CN2007100887087A CN101025829B (zh) 2003-07-14 2004-07-14 基于图像的编辑方法及装置
EP04254212A EP1498850A3 (en) 2003-07-14 2004-07-14 Image-based rendering and editing method and apparatus
EP11170479A EP2372663A3 (en) 2003-07-14 2004-07-14 Image-based rendering and editing method and apparatus
JP2004206811A JP4500614B2 (ja) 2003-07-14 2004-07-14 映像基盤レンダリングおよび編集の方法ならびにその装置
CNB2004100951446A CN100367317C (zh) 2003-07-14 2004-07-14 基于图像的着色和编辑方法及装置
US10/890,280 US7453455B2 (en) 2003-07-14 2004-07-14 Image-based rendering and editing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0048110A KR100528343B1 (ko) 2003-07-14 2003-07-14 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050008242A true KR20050008242A (ko) 2005-01-21
KR100528343B1 KR100528343B1 (ko) 2005-11-15

Family

ID=33476020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0048110A KR100528343B1 (ko) 2003-07-14 2003-07-14 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치

Country Status (5)

Country Link
US (1) US7453455B2 (ko)
EP (3) EP2372662A3 (ko)
JP (1) JP4500614B2 (ko)
KR (1) KR100528343B1 (ko)
CN (3) CN101025829B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723422B1 (ko) * 2006-03-16 2007-05-30 삼성전자주식회사 포인트 기반 렌더링 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체
KR101100650B1 (ko) * 2008-11-11 2012-01-03 한국전자통신연구원 맵데이터를 이용한 간접조명 표현과 다층 변위매핑 시스템 및 그 방법
US9449393B2 (en) 2012-01-19 2016-09-20 Samsung Electronics Co., Ltd. Apparatus and method for plane detection

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100176A (ja) * 2003-09-25 2005-04-14 Sony Corp 画像処理装置およびその方法
JP4199170B2 (ja) * 2004-07-20 2008-12-17 株式会社東芝 高次元テクスチャマッピング装置、方法及びプログラム
US7519573B2 (en) * 2004-08-23 2009-04-14 Fuji Xerox Co., Ltd. System and method for clipping, repurposing, and augmenting document content
JP4133996B2 (ja) * 2004-10-08 2008-08-13 株式会社ソニー・コンピュータエンタテインメント テクスチャ作成方法
KR100714672B1 (ko) * 2005-11-09 2007-05-07 삼성전자주식회사 스플렛을 이용한 깊이 기반의 영상 렌더링 방법 및 그방법을 채용한 시스템
KR100738500B1 (ko) * 2006-02-20 2007-07-12 한국과학기술원 영상 기반 돌출 변위 매핑 방법과, 이를 이용한 이중 변위매핑 방법
US7869657B2 (en) * 2006-06-12 2011-01-11 D & S Consultants, Inc. System and method for comparing images using an edit distance
US7876329B2 (en) * 2007-09-10 2011-01-25 Via Technologies, Inc. Systems and methods for managing texture data in a computer
US9041722B2 (en) * 2007-11-16 2015-05-26 Sportvision, Inc. Updating background texture for virtual viewpoint animations
CN102077242B (zh) * 2008-07-30 2013-08-07 松下电器产业株式会社 3d纹理的超分辨率的图像生成设备和方法
US8428311B2 (en) * 2009-02-25 2013-04-23 Honda Motor Co., Ltd. Capturing and recognizing hand postures using inner distance shape contexts
US20100238165A1 (en) * 2009-03-17 2010-09-23 Harris Corporation Geospatial modeling system for colorizing images and related methods
EP2251832A1 (en) * 2009-05-14 2010-11-17 Alcatel Lucent Method for generating a 3-dimensional model of an object
EP2336979B1 (de) * 2009-11-05 2014-03-12 TomTec Imaging Systems GmbH Verfahren und Vorrichtung zur Segmentierung von medizinischen Bilddaten
US20130083165A1 (en) * 2009-12-08 2013-04-04 Electronics And Telecommunications Research Institute Apparatus and method for extracting texture image and depth image
IT1401367B1 (it) 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9571811B2 (en) * 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
WO2013044484A1 (en) * 2011-09-29 2013-04-04 Thomson Licensing Method and apparatus for robust similarity comparison of 3d models
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US9171393B2 (en) * 2011-12-07 2015-10-27 Microsoft Technology Licensing, Llc Three-dimensional texture reprojection
US9183654B2 (en) * 2012-03-02 2015-11-10 Sean Geggie Live editing and integrated control of image-based lighting of 3D models
GB2500405B (en) 2012-03-20 2014-04-16 Lightmap Ltd Point and click lighting for image based lighting surfaces
WO2013170260A1 (en) * 2012-05-11 2013-11-14 Proiam, Llc Hand held dimension capture apparatus, system, and method
US9135742B2 (en) 2012-12-28 2015-09-15 Microsoft Technology Licensing, Llc View direction determination
US9214138B2 (en) * 2012-12-28 2015-12-15 Microsoft Technology Licensing, Llc Redundant pixel mitigation
KR102083584B1 (ko) * 2013-04-15 2020-03-02 삼성전자주식회사 홀로그램 패턴 생성 장치 및 방법
EP2821997A1 (en) * 2013-07-04 2015-01-07 Thomson Licensing Method and device for editing a video sequence
JP6378323B2 (ja) * 2013-05-28 2018-08-22 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 密な動き場を介する下位のビデオシーケンスへの画像編集伝達
CN103413344A (zh) * 2013-07-10 2013-11-27 深圳Tcl新技术有限公司 3d帧动画实现方法、装置及终端
GB2519363A (en) 2013-10-21 2015-04-22 Nokia Technologies Oy Method, apparatus and computer program product for modifying illumination in an image
JP6349962B2 (ja) * 2014-05-27 2018-07-04 富士ゼロックス株式会社 画像処理装置およびプログラム
EP3057067B1 (en) * 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
CN105761292B (zh) * 2016-02-29 2018-06-12 南京邮电大学 一种基于颜色转移和修正的图像着色方法
US10290119B2 (en) * 2016-09-15 2019-05-14 Sportsmedia Technology Corporation Multi view camera registration
EP3343516A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and device for applying an effect of an augmented or mixed reality application
US10586379B2 (en) * 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
CN107464278B (zh) * 2017-09-01 2020-01-24 叠境数字科技（上海）有限公司 全视向的球体光场渲染方法
US10489969B2 (en) * 2017-11-08 2019-11-26 General Electric Company Method and system for presenting shaded descriptors corresponding with shaded ultrasound images
WO2019123547A1 (ja) * 2017-12-19 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、基準画像データ生成装置、画像生成方法、および基準画像データ生成方法
CN108765540B (zh) * 2018-04-26 2022-04-12 河海大学 一种基于图像与集成学习的重光照方法
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN111080746B (zh) * 2019-12-10 2024-04-26 中国科学院计算技术研究所 图像处理方法、装置、电子设备和存储介质
CN113658314B (zh) * 2020-05-12 2023-09-15 福建天泉教育科技有限公司 一种3d图片裁剪方法及终端
CN117745928A (zh) * 2022-09-15 2024-03-22 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06168341A (ja) * 1992-12-01 1994-06-14 Canon Inc ３次元形状モデル処理方法及びその装置
JPH07152924A (ja) * 1993-11-26 1995-06-16 Toppan Printing Co Ltd 画像生成装置
JP3358169B2 (ja) * 1996-08-30 2002-12-16 インターナショナル・ビジネス・マシーンズ・コーポレーション 鏡面レンダリング方法及び装置
US5905500A (en) * 1997-02-19 1999-05-18 Seiko Epson Corporation Method and apparatus for adaptive nonlinear projective rendering
US5880736A (en) * 1997-02-28 1999-03-09 Silicon Graphics, Inc. Method system and computer program product for shading
US6445386B1 (en) * 1999-01-15 2002-09-03 Intel Corporation Method and apparatus for stretch blitting using a 3D pipeline
JP3804328B2 (ja) * 1999-03-02 2006-08-02 株式会社セガ 画像処理装置及び画像処理方法
US6445393B1 (en) * 1999-05-13 2002-09-03 International Business Machines Corporation Three-dimension graphics rendering apparatus and method therefor
TW475155B (en) * 1999-09-10 2002-02-01 Sony Computer Entertainment Inc Method of and apparatus for rendering image, recording medium, and program
JP3656012B2 (ja) * 2000-02-17 2005-06-02 株式会社ナムコ ゲームシステム及び情報記憶媒体
JP2001283201A (ja) * 2000-03-31 2001-10-12 Toshiba Corp ３次元画像データ作成方法及び３次元画像データを用いた任意視点画像作成方法
US6868191B2 (en) * 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
JP2002150315A (ja) * 2000-11-09 2002-05-24 Minolta Co Ltd 画像処理装置および記録媒体
US6677957B2 (en) * 2001-01-09 2004-01-13 Intel Corporation Hardware-accelerated visualization of surface light fields
US6850244B2 (en) * 2001-01-11 2005-02-01 Micron Techology, Inc. Apparatus and method for gradient mapping in a graphics processing system
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723422B1 (ko) * 2006-03-16 2007-05-30 삼성전자주식회사 포인트 기반 렌더링 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체
KR101100650B1 (ko) * 2008-11-11 2012-01-03 한국전자통신연구원 맵데이터를 이용한 간접조명 표현과 다층 변위매핑 시스템 및 그 방법
US9449393B2 (en) 2012-01-19 2016-09-20 Samsung Electronics Co., Ltd. Apparatus and method for plane detection

Also Published As

Publication number Publication date
JP2005038426A (ja) 2005-02-10
US7453455B2 (en) 2008-11-18
CN101025829B (zh) 2010-12-29
EP2372663A2 (en) 2011-10-05
EP2372662A3 (en) 2012-04-25
JP4500614B2 (ja) 2010-07-14
EP2372662A2 (en) 2011-10-05
EP2372663A3 (en) 2012-05-02
EP1498850A2 (en) 2005-01-19
CN101025830A (zh) 2007-08-29
US20050012757A1 (en) 2005-01-20
CN1604142A (zh) 2005-04-06
CN100367317C (zh) 2008-02-06
CN101025829A (zh) 2007-08-29
CN101025830B (zh) 2010-05-26
KR100528343B1 (ko) 2005-11-15
EP1498850A3 (en) 2006-07-05

Similar Documents

Publication Publication Date Title
KR100528343B1 (ko) 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치
US7450758B2 (en) Stylization of video
Aliaga et al. Style grammars for interactive visualization of architecture
US9485497B2 (en) Systems and methods for converting two-dimensional images into three-dimensional images
US8281281B1 (en) Setting level of detail transition points
US8115767B2 (en) Computer graphics shadow volumes using hierarchical occlusion culling
US8817023B2 (en) Method, medium, and system rendering 3D graphic objects with selective object extraction or culling
US20220375152A1 (en) Method for Efficiently Computing and Specifying Level Sets for Use in Computer Simulations, Computer Graphics and Other Purposes
US11330196B2 (en) Estimating illumination in an environment based on an image of a reference object
Alliez et al. Efficient view-dependent refinement of 3D meshes using sqrt {3}-subdivision
US11501468B2 (en) Method for compressing image data having depth information
US11887274B2 (en) Method for interpolating pixel data from image data having depth information
US20030081849A1 (en) Method and system for creating seamless textured three dimensional models of objects
CA3116076C (en) Method and system for rendering
US20230110680A1 (en) Generating illuminated two-dimensional vector graphics using path tracing
US20180350131A1 (en) Vector representation for video segmentation
Borer et al. Rig-space Neural Rendering
Stich et al. Keyframe animation from video
Desrichard Analysis of the path space for light and shadow compositing
Heinen Deep image compositing in a modern visual effects pipeline
Schertler et al. Visualization of Scanned Cave Data with Global Illumination.
CN115439314A (zh) 一种风格化方法、设备及存储介质
Gelb et al. Image-Based Lighting for Games

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121016

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141022

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20151020

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20161018

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee