KR100967701B1 - 3차원 유화 데이터의 복원 - Google Patents

3차원 유화 데이터의 복원 Download PDF

Info

Publication number
KR100967701B1
KR100967701B1 KR1020070019095A KR20070019095A KR100967701B1 KR 100967701 B1 KR100967701 B1 KR 100967701B1 KR 1020070019095 A KR1020070019095 A KR 1020070019095A KR 20070019095 A KR20070019095 A KR 20070019095A KR 100967701 B1 KR100967701 B1 KR 100967701B1
Authority
KR
South Korea
Prior art keywords
brush touch
touch pattern
pattern data
dimensional
data
Prior art date
Application number
KR1020070019095A
Other languages
English (en)
Other versions
KR20080079056A (ko
Inventor
윤일동
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020070019095A priority Critical patent/KR100967701B1/ko
Priority to US12/303,546 priority patent/US8817037B2/en
Priority to PCT/KR2008/001078 priority patent/WO2008105606A1/en
Publication of KR20080079056A publication Critical patent/KR20080079056A/ko
Application granted granted Critical
Publication of KR100967701B1 publication Critical patent/KR100967701B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

2차원 영상으로부터 붓터치 효과를 갖는 3차원 영상 데이터를 생성하는 기술이 개시된다. 적어도 하나의 붓터치로부터 1개 이상의 2차원 붓터치 패턴이 생성된다. 2차원 영상은 1개 이상의 색상 영역으로 구획화된다. 색상 영역 각각에 대하여, 붓터치 효과를 얻기 위하여 3차원 붓터치 패턴 각각에 변환이 적용된다. 이렇게 변환된 3차원 붓터치 패턴 각각은 각 색상 영역에 적용되어 붓터치 효과를 갖는 3차원 영상 데이터를 생성한다.
영상 변환, 3차원 영상, 붓터치 효과, 포토메트릭 스테레오 방법

Description

3차원 유화 데이터의 복원 {RECONSTRUCTING THREE DIMENSIONAL OIL PAINTINGS}
도 1은 본 발명의 일 실시예에 따른, 질감(texture) 효과를 갖는 3차원 데이터를 복원하기 위한 방법의 일 실시예를 구현하는 예시적인 시스템을 도시하는 개략도이다.
도 2는 본 발명의 일 실시예에 따른, 혼성 반사 모델(Hybrid reflection model)을 이용하는 포토메트릭 스테레오 방법(photometric stereo method)의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른, 포토메트릭 스테레오 방법에 이용되는 영상 형상 모델을 도시하는 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 포토메트릭 스테레오 방법에 의해 얻어진 샘플 붓터치 패턴 데이터의 예를 보여주는 도면이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른, 포토메트릭 스테레오 방법에 의해 얻어진 샘플 붓터치 패턴 데이터의 다른 예를 보여주는 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른, 2차원 영상 뿐만 아니라 질감 효과를 갖는 3차원 데이터를 복원하기 위한 프로세스를 도시하는 흐름도이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른, 예시적인 투시 변환을 도시 하는 도면이다.
도 8a 및 도 9a는 상술한 방법에 관한 실시예들이 적용될 수 있는 2차원 입력 영상의 예를 보여주는 도면이다.
도 8b 및 도 9b는 본 발명의 일 실시예에 따라, 도 8a 및 도 9a에 색상 영역화가 적용된 결과를 보여주는 도면이다.
도 8c 및 도 9c는 본 발명의 일 실시예에 따른, 도 8a 및 도 9a의 3차원 복원 결과를 보여주는 도면이다.
도 8d 및 도 9d는 본 발명의 일 실시예에 따른, 도 8c 및 도 9c에 조명 조건을 달리하여 렌더링한 결과를 보여주는 도면이다.
유화는 2차원 영상으로 인식되는 것이 통상적이다. 하지만, 더욱 면밀한 관점에서 보면, 유화는 수많은 붓터치들을 포함하며 이러한 붓터치 각각은 다른 붓터치들과 서로 구별된다. 예를 들어, 붓터치 각각은 고유의 높이 및 색상을 가지며, 개별적인 붓터치의 유화 물감 두께에 따라 고유의 질감 효과(texture effect)를 만든다. 따라서, 유화는 다양한 질감 효과를 갖는 3차원 구조로 볼 수 있다.
붓터치들 상호 간에 있어서 각 붓터치의 높이가 상이하고 이는 유화 물감의 두께 차이로 인한 것이다. 이러한 차이는 매우 미세한 것일 수 있다. 일반적으로, 3차원 질감 효과를 갖는 높은 정밀도의 3차원 데이터를 취득하기 위하여 레이 저 스캐너가 사용된다. 하지만, 고해상도의 레이저 스캐너일지라도 매우 미세한 질감 효과를 갖는 유화의 3차원 구조를 충분히 표현하지 못하는 한계를 갖는다.
영상 처리에 있어서 3차원 유화 복원은, 유화 물감, 수채화 물감 및 선 렌더링을 포함한 다양한 회화 방법들이 디지털 필터링되거나 스캔된 실제 샘플에 기초하여 합성되는 미술적 필터링과 관련이 있다. 종래 기술에 있어서 컴퓨터를 이용하여 미술적 양식을 창조하는 작업들이 진행되어 왔으며, 이러한 작업들은 비-포토리얼리스틱 렌더링(non-photorealistic rendering)이라 부른다. 이러한 작업들의 대부분은 특정 렌더링 양식과 관련이 있었다. 종래의 많은 영상 유추 기법들(image analogy techniques)에 있어서, 사용자는 정렬된 동일한 내용을 가지지만 서로 다른 양식의 2개의 원본 영상을 제공하였다. 상기 양식들 중 하나에 있어서의 새로운 입력 영상에 대하여, 입력 영상으로부터 동일한 장면에 대한 다른 영상 양식의 정렬된 영상으로의 매핑이 추정된다. 하지만, 이러한 동일한 장면에 대한 다른 영상 양식의 정렬된 영상 쌍들은 보통 획득하기 어렵다.
다른 종래 기술에 있어서, 주어진 입력 영상에 대하여, 적절한 양식을 포함하는 상관없는 장면에 대한 1개의 원본 영상이 요구된다. 이 경우 영상들 사이의 매핑은 신뢰 전달 및 기대 최대화(belief propagation and expectation maximization)에 기초한 베이시안(Bayesian) 기법에 의해 유추된다.
상술한 종래 기술들은 매우 제한된 양식의 질감 효과만이 복원되는 2차원 영상 구성에만 한정되는 문제점이 있다.
본 명세서는 2차원 영상으로부터 붓터치 효과를 갖는 3차원 영상 데이터를 생성하는 기법을 제공한다. 붓터치 패턴 데이터는 실제 붓터치의 샘플로부터 얻어지며 패턴 데이터는 3차원 메쉬 데이터를 형성하기 위하여 사용된다. 붓터치 패턴 데이터는 3차원 메쉬 데이터에 적용된다. 이에 따라, 2차원 영상은 붓터치 효과를 갖는 3차원 영상으로 효율적이고 효과적으로 변환될 수 있다.
일 실시예에 있어서, 2차원 영상으로부터 붓터치 효과를 갖는 3차원 영상을 생성하는 방법은 적어도 1개의 실제 붓터치로부터 1개 이상의 3차원 붓터치 패턴을 생성하는 것을 포함한다. 2차원 영상은 1개 이상의 색상 영역으로 구획화된다. 각 색상 영역에 대하여 3차원 붓터치 패턴 각각은 붓터치 효과를 얻기 위하여 변환된다. 변환된 3차원 붓터치 패턴 각각은 각 색상 영역에 적용되어 붓터치 효과를 갖는 3차원 데이터를 생성한다.
다른 실시예에 있어서, 2차원 영상으로부터 붓터치 효과를 갖는 3차원 영상을 생성하는 복원하는 방법은 (1) 2차원 영상을 1개 이상의 색상 영역으로 구분하는 단계, (2) 적어도 1개의 샘플 붓터치의 3차원 붓터치 패턴 데이터를 생성하는 단계, (3) 각 색상 영역에 대하여, 3차원 붓터치 패턴 데이터를 변환하여 변형된 3차원 붓터치 패턴 데이터를 생성하는 단계, 및 (4) 변환된 3차원 붓터치 패턴 데이터를 각 색상 영역에 적용하여 3차원 영상 데이터를 생성하는 단계를 포함한다.
다른 실시예에 있어서, 2차원 영상으로부터 붓터치 효과를 갖는 3차원 영상을 생성하는 복원하는 방법이 제공된다. 이 방법에 있어서, 1개 이상의 3차원 붓 터치 패턴이 1개 이상의 붓터치로부터 생성된다. 2차원 영상은 1개 이상의 색상 영역으로 구획화된다. 각 색상 영역에 대하여, 3차원 붓터치 패턴 각각은 붓터치 효과를 얻기 위하여 변환되고, 메쉬 데이터가 획득되어 메쉬 데이터로 매핑될 붓터치 영상을 생성한다. 붓터치 영상은 메쉬 데이터에 적용되어 붓터치 효과를 갖는 3차원 영상 데이터를 생성한다.
다른 실시예에 있어서, 2차원 영상으로부터 붓터치 효과를 갖는 3차원 영상을 생성하는 복원하는 방법을 컴퓨터 프로그램으로 하여금 실생하도록 하는 명령어를 저장하는 컴퓨터 판독 가능 매체가 제공된다.
다음 설명에 있어서, 다양한 특정 상세한 설명이 제공된다. 상술된 실시예들은 이러한 특정 상세한 설명의 전부 또는 일부가 없더라도 실행될 수 있음이 명백하다. 어떤 경우, 본원 발명을 불필요하게 불분명하게 하지 않도록 하기 위하여 공지의 프로세스에 대한 설명은 상세히 기재되지 않을 수 있다.
도 1은 본 발명에 따른 실시예가 구현될 수 있는 예시적인 영상 시스템(100)의 개략도를 도시한다. 영상 시스템(100)은 카메라(104), 광원(106) 및 컴퓨터(110)를 포함한다. 컴퓨터 시스템(110)은 제어기(112), 입출력 서브시스템(114) (예를 들어, 키보드, 마우스, 트랙볼 등), 저장 장치(116) (예를 들어, 대용량 저장 장치, 하드 디스크 드라이브 등), CPU(118) 및 메모리(120) (예를 들어, RAM)를 포함하며, 이들 각각은 버스(122)를 통하여 연결된다. 카메라(104) 및 광원(106)은 제어 신호 및 데이터 신호의 통신을 위하여 컴퓨터 시스템(110)의 제어기(112)에 접속된다.
이러한 구성에 있어서, 제어기(112)는 카메라(104)의 동작 및 광원(106)의 위치를 제어한다. 광원(106)은 제어기(112)의 제어 하에 다양한 방향에서의 빛을 제공하여 혼성 반사 모델(Hybrid reflection model)을 이용하는 포토메트릭 스테레오 방법(photometric stereo method)에 따라 실제 3차원 붓터치의 반사된 영상(102)을 형성한다. 카메라(104)는 제어기(112)의 제어 하에 3차원 붓터치 및 2차원 회화와 같은 영상(102)을 캡처한다. 다른 실시예에 있어서, 실제 물체 및 영상으로부터 2차원 내지 3차원 데이터를 획득할 수 있는 스캐너와 같은 임의의 장치가 카메라(104) 대신 사용될 수 있다. 저장 장치(116)는 광 디스크와 같은 대용량 저장 장치, 하드디스크 드라이브 등을 포함하며, 붓터치 효과를 갖는 3차원 데이터를 복원하기 위한 1개 이상의 방법을 구현하는 컴퓨터 명령어를 포함한다. 명령어들은 메모리(120)(예를 들어, RAM)에 로딩되고 CPU(118)에 제공될 수 있으며, CPU(118)는 붓터치 효과를 갖는 3차원 데이터를 복원하기 위한 컴퓨터 명령어를 실행할 수 있다.
일 실시예에 따르면, 제어기(112)의 제어 하에 광원(106) 및 카메라(104)를 이용하여 여러 개의 샘플 붓터치로부터 각 붓터치에 대하여 N개의 영상을 획득한다. N개의 영상은 도 2와 관련하여 아래 설명에 기재된 바와 같이 혼성 반사 모델을 이용한 포토메트릭 스테레오 방법을 이용하여 샘플 붓터치에 대하여 붓터치 패턴 데이터를 획득하는데 이용된다. 일단 샘플 붓터치 패턴 데이터가 획득되면, 3차원으로 복원될 2차원 회화의 영상은 카메라(104)를 통하여 캡처된다. 2차원 영상이 획득된 후, 색상 영역화가 적용된다. 2차원 영상에서의 색상 영역 각각에 대하여, 영상으로부터 획득된 3차원 붓터치 패턴에 대한 변환이 수행되어 다양한 3차원 붓터치 패턴을 얻는다. 이 공정에 있어서, 변환된 3차원 붓터치 각각은 각 색상 영역에 반복적으로 적용되어 붓터치 효과를 갖는 3차원 영상이 생성된다. 하지만, 본 발명은 붓터치 패턴의 3차원 데이터를 획득하기 위한 특정한 3차원 복원 방법에 한정되지 않는다는 점을 이해해야 한다.
도 2 내지 도 5는 여러 개의 샘플 붓터치 각각에 대한 N개의 영상으로부터 붓터치 패턴 데이터를 획득하기 위하여 혼성 반사 모델을 이용한 포토메트릭 스테레오 방법을 채택하여 실제 붓터치로부터 붓터치 패턴 데이터를 획득하는 방법에 관하여 도시한다.
붓터치는 서로 상이한 형태, 높이 및 질감 효과를 갖는 실제의 3차원 물체이다. 실제 유화는 많은 수의 상이한 붓터치들을 포함하고 있다는 점을 고려해 보면, 가능한 많은 붓터치의 패턴 데이터를 획득하는 것이 질감 효과를 갖는 3차원 데이터를 복원하는데 도움이 된다. 하지만, 영상 처리의 효율 측면에서, 투시 변환을 반복적으로 수행하여 몇몇 샘플 붓터치의 패턴 데이터로부터 다양한 붓터치 패턴 데이터를 생성한다. 샘플 붓터치의 수는 예를 들어, 색상 영역화에 의해 형성되는 부분 및 샘플 붓터치, 입력 영상의 크기 등과 같은 다양한 요소들에 의해 결정될 수 있다. 예를 들어, 1개 또는 2개의 샘플 붓터치라도 적절한 투시 변환을 통하여 유화의 질감 효과를 충분히 제공할 수 있다. 또한, 샘플 붓터치의 수는 화가의 붓터치 방식을 나타내기 위하여 선택될 수 있다. 더 현실적인 3차원 복원을 위하여, 유명한 화가의 실제 붓터치가 샘플 붓터치로서 선택될 수 있다.
도 2에 도시된 포토메트릭 스테레오 방법을 설명하기 전에, 일 실시예에 따른 영상 구성 모델 및 에러 추정 처리가 이하에서 설명된다.
일반적으로, 반사된 빛은 난반사 성분 및 전반사 성분을 포함한다. 일 실시예에 따른 혼성 반사 모델에서는, 난반사 성분은 람버션(Lambertian) 모델을 이용하여 근사화되고, 전반사 성분은 토랜스-스패로우(Torrance-Sparrow) 모델로 근사화된다. 도 3은 일 실시예에 따른 포토메트릭 스테레오 방법에서의 혼성 반사 모델을 정의하기 위하여 사용된 영상 구성 모델을 도시한다. 도 3에 도시되어 있는 모든 벡터는 단위벡터이며, n 은 붓터치 표면의 법선 벡터이고 v 는 붓터치 표면으로부터 카메라(104)까지 이르는 시선 방향 벡터이며, s 는 붓터치 표면으로부터 광원(106)으로의 방향 벡터이다. 벡터 h 는 시선과 광원의 중점 벡터로서 전반사 방향 벡터를 의미하는 것으로 수학식 1의 관계가 있다.
Figure 112007016563787-pat00001
도 3의 영상 구성 모델에 의하면, 카메라(104)로 취득하는 영상 밝기 값(radiance)(L)은 난반사 성분인 LD 및 전반사 성분 LS로 구성되며 수학식 2로 표시할 수 있다
Figure 112007016563787-pat00002
여기서,
Figure 112007016563787-pat00003
는 난반사에 의한 영상 밝기 값이며,
Figure 112007016563787-pat00004
는 전반사에 의한 영상 밝기 값이고,
Figure 112007016563787-pat00005
는 난반사에 의한 알비도,
Figure 112007016563787-pat00006
는 전반사에 의한 알비도이며, k는 물체의 표면 재질에 따른 파라미터를 의미하며,
Figure 112007016563787-pat00007
는 전반사 방향 벡터(
Figure 112007016563787-pat00008
)와 표면의 법선 벡터(
Figure 112007016563787-pat00009
) 사이의 각도(rad)이다. 혼성 반사 모델의 경우 수학식 2의 변수(
Figure 112007016563787-pat00010
)들을 추정하여, 1개의 샘플 붓터치에 대한 N개의 상이한 영상으로부터 에러 척도를 이용하여 난반사 표면 값 및 전반사 표면 값을 결정한다.
에러 추정을 위하여, 에러 척도가 아래 수학식 3과 같이 N개의 영상의 밝기 값과 사용된 혼성 반사 모델, 및 추정치의 수학적 안정도를 고려하여 정의된다.
Figure 112007016563787-pat00011
여기서
Figure 112008078096596-pat00012
는 k번째 입력 영상이며,
Figure 112008078096596-pat00013
는 k번째 입력 영상의 난반사 영상과 전반사 영상을,
Figure 112008078096596-pat00014
는 각각의 복원된 영상을 나타내며,
Figure 112008078096596-pat00015
는 난반사 에러를,
Figure 112008078096596-pat00016
는 전반사 에러를 나타낸다. 또한
Figure 112008078096596-pat00017
,
Figure 112008078096596-pat00115
는 난반사 및 전반사 각각의 에러에 대한 가중치로 이들은 표면 반사 모델에 의한 에러 또는 양자화 에러, 그리고 수학적으로 추정된 값의 안정도 등이 반영되어 결정되며 수학식 4로 정의된다.
Figure 112007016563787-pat00019
여기서
Figure 112008078096596-pat00020
,
Figure 112008078096596-pat00116
는 표면 반사 모델에 의한 추정 에러 및 양자화 에러 등을 고려하는 가중치이며,
Figure 112008078096596-pat00022
는 영상 형성 변수 추정의 수학적 안정도에 기반하여 정의된 가중치이다. 표면 반사 모델과 동일한 카메라로부터 취득된 영상들이 주어졌을 경우, 양자화 효과가 전 영역에서 균일하게 나타난다고 가정하면, 수학식 4의 가중치(
Figure 112008078096596-pat00023
)는 일정한 값을 갖는다. 반면, 가중치(
Figure 112008078096596-pat00024
)는 물체 표면에 의존하는 값으로 에러 최소화에 중요한 역할을 한다. 본 발명에서는 후술하는 바와 같이 추정된 영상 형성 변수들의 PQ 맵(map)상에서의 위상으로부터 가중치(
Figure 112008078096596-pat00025
)를 정의한다.
입력 영상으로부터 람버션(Lambertian) 표면에 대한 PQ 맵을 구하는 방법은 크게 두 가지로 나눌 수 있다. 하나는 물체 표면의 알비도를 안다는 가정 하에 구하는 방법이고 다른 하나는 물체 표면의 알비도를 모르는 상황에서 PQ 맵뿐만 아니라 알비도까지 구하는 방법이다. 본 발명에서는 후자의 방법을 적용하므로 이에 대해서 간략히 서술하고 이에 따른 수학적 안정도를 추출한다. 람버션(Lambertian) 표면을 가정한 경우에 취득한 영상 밝기 값
Figure 112007016563787-pat00026
는 수학식 5와 같다.
Figure 112007016563787-pat00027
Figure 112007016563787-pat00028
여기서
Figure 112007016563787-pat00029
는 i번째 광원의 밝기 값이고
Figure 112007016563787-pat00030
는 광원의 단위 위치 벡터이며,
Figure 112007016563787-pat00031
은 단위 법선 벡터이다. 이들을 행렬 형태로 표현하면 수학식 6과 같다.
Figure 112007016563787-pat00032
만일,
Figure 112007016563787-pat00033
라면 수학식 6은 수학식 7과 같이 바꿀 수 있으며, 이로부터 법선 벡터(
Figure 112007016563787-pat00034
)를 구할 수 있다.
Figure 112007016563787-pat00035
여기서 구한 법선 벡터(
Figure 112007016563787-pat00036
)는 다음과 같이 된다.
Figure 112007016563787-pat00037
Figure 112007016563787-pat00038
Figure 112007016563787-pat00039
수학식 8로부터 수학식 9의 과정을 통해 세 변수를 포함하지 않은 표면 기울기 p, q를 구할 수 있으며, 이를 이용하여 에러 척도(E)와 알비도(ρ)를 구할 수 있다.
Figure 112007016563787-pat00040
각각의 입력 영상으로부터의 에러
Figure 112007016563787-pat00041
가 주어졌다고 가정하자. 이 때 수학식 7로부터 수학식 10을 얻게 된다.
Figure 112007016563787-pat00042
이를 변형하면, 에러 벡터 (
Figure 112007016563787-pat00043
)는 수학식 11로 얻게 된다.
Figure 112007016563787-pat00044
이 에러 벡터(
Figure 112007016563787-pat00045
)의 크기는 수학식 12로 구할 수 있다.
Figure 112007016563787-pat00046
이제 방향 벡터(
Figure 112007016563787-pat00047
)의 행렬식 값을 조건 값(condition value)(
Figure 112007016563787-pat00048
)라 정의하면 수학식 13과 같이 표시할 수 있다.
Figure 112007016563787-pat00049
조건 값(
Figure 112007016563787-pat00050
)은 행렬을 결정하는 광원들의 조건(condition)을 나타내는 것으로 이 값이 작을 경우 세 광원의 위치가 일차 종속(linearly dependent)에 가깝다는 것을 의미하며 3차원 상에서 이를 만족하는 세 광원의 방향 벡터(
Figure 112007016563787-pat00051
)는 거의 한 곳에 몰려있게 된다. 따라서 물체 표면의 법선 벡터는 이들 방향으로 편향(bias)되며 정확한 법선 방향을 구할 수 없게 된다. 또한 이 값이 작을수록 수학식 12에서 구해진 에러 벡터(
Figure 112007016563787-pat00052
)의 크기가 커지게 되어 정확한 해를 얻기가 힘들며 오차가 커지게 된다. 이렇게 조건값(
Figure 112007016563787-pat00053
) 값이 어느 값 이하인 3개의 광원을 악조건 광원 쌍(ill-conditioned light source pair)이라 본 명세서에서는 칭하였다. 악조건 광원 쌍은 정확한 해를 주지 않기 때문에 항상 영상 형성 변수 추정에서 제외한다.
화소(pixel) (x, y)에서의 난반사 성분을 결정하는데 참여하는 모든 조명쌍의 집합을
Figure 112007016563787-pat00054
라 하자. 이로부터 가중치(
Figure 112007016563787-pat00055
)를 정의하면 수학식 14와 같다.
Figure 112007016563787-pat00056
이제 수학식 14와 수학식 4에서 정의된 가중치들을 수학식 3에 대입하면, 가중치를 고려한 에러 척도(E)를 구할 수 있다. 이 에러 척도(E)를 최소화시키는 영상 형성 변수들을 추정함으로써 원하는 물체 반사 특성 및 형상 복구를 할 수 있다. 그러나 일반적으로 수학식 3과 같이 비선형 식으로 주어진 에러 척도의 최적해를 구하는 것은 힘들다.
제안된 본 발명에서는 수학식 3에서 에러 척도를 단계별로 최소화시키며, 반복적으로 영상 형성 변수들의 추정치를 갱신한다. 이를 위해 입력 영상으로부터 난반사 영상을 구하고 원 영상(original image)과 난반사 영상의 차이를 이용하여 전반사 영상을 분리한다. 이 과정에서 표면의 법선 벡터 및 난반사 알비도를 추정한다. 결국 전반사 영상을 분리하면서 난반사 영상에 관련된 영상 형성 변수들을 구하고 수학식 3에서 난반사 에러(
Figure 112007016563787-pat00057
)를 최소화시킨다. 이렇게 추출된 전반사 영상들로부터 전반사 에러(
Figure 112007016563787-pat00058
)를 최소화시키는 나머지 영상 형성 변수들을 추정한다.
도 2는 혼성 반사 모델을 이용하는 포토메트릭 스테레오 방법(200)의 흐름도를 도시한다. 방법(200)은 크게 두가지 단계로 구분된다. 첫 번째는 난반사 에러(
Figure 112007016563787-pat00059
)를 최소화하는 난반사 영상 형성 변수들을 얻는 단계이며, 다른 하나의 단계는 전반사 에러(
Figure 112007016563787-pat00060
)를 최소화하는 영상 형성 변수들을 얻는 단계이다.
블록(202)에서 시작하여, 블록(204)에서 카메라(104)에서 촬상된 샘플 붓터치에 대한 N개의 영상이 수신된다. N개의 영상으로부터 영상 형성 변수 추정에 사용 가능한, 즉 악조건 광원 쌍(ill-conditioned light source pair)을 제외한 모든 영상 쌍들을 선택한다. 블록(206)에서, 영상 형성 변수들이 선택된 영상 쌍으로부터 추정되며, 샘플 붓터치의 영상으로부터 전반사 영역이 분리된다. 이 영역에 해당되는 화소들에 대한 영상 형성 변수 추출은 불가능하며 주위 값들로부터 보간하여 영상 형성 변수들을 결정한다. 다음으로 모든 영상 쌍 중에서 악조건 광원 쌍들을 제외한다. 이러한 초기 과정을 거치면 각 화소별로 조합 가능한 모든 영상 쌍들 중에서 일부 영상 쌍들만이 선택되는 것이다.
블록(208)에서, 각각의 화소들의 법선 벡터(
Figure 112007016563787-pat00061
)들이 추정되고, 선택된 영상 쌍들의 법선 벡터(
Figure 112007016563787-pat00062
)들의 분포로부터 그림자 영역이 분리된다. 특정 화소(x,y)에 대하여, 영상 쌍들로부터 구해진 법선 벡터(
Figure 112007016563787-pat00063
)들의 평균 벡터를(
Figure 112007016563787-pat00064
), 그리고 분산을(
Figure 112007016563787-pat00065
(x,y))라고 하자. 만일 분산값(
Figure 112007016563787-pat00066
(x,y))이 특정 문턱치보다 작다면, 추정된 평균 법선 벡터(
Figure 112007016563787-pat00067
)를 이 화소에 대한 표면 법선 벡터라고 추정한다. 만일 문턱치보다 크다면, 이는 그림자 영향에 의한 것으로 간주하고 평균값으로부터 멀리 떨어져 있는 벡터들을 제외하고 다시 평균을 구한 후 수렴할 때까지 동일한 과정을 반복한다. 여기서 문턱치는 센서 잡음을 고려하여 결정될 수 있다. 이렇게 추정된 법선 벡터(
Figure 112007016563787-pat00068
)들로부터 수학식 14에서 주어진 가중치(
Figure 112007016563787-pat00069
)를 계산한다. 이 값이 적당한 수준이라면 추정된 값이 정확함을 의미한다. 그러나 만일 이 값이 너무 크다면, 큰 값을 유발시키는 성분을 제거한 후 해당 화소에 대해 다시 법선 벡터(
Figure 112007016563787-pat00070
)를 계산한다. 또한, 난반사 성분에 관련된 법선 벡터(
Figure 112007016563787-pat00071
)와 난반사 알비도(
Figure 112007016563787-pat00072
)를 블록(208)에서 검출한다.
블록(210)에서, 최소의 난반사 에러(
Figure 112007016563787-pat00073
)가 검출되면 방법(200)은 예를 들어 수학식 4를 이용하여 최소의 난반사 에러를 얻기 위하여 블록(206)으로 반복된다. 만약 블록(210)에서 최소의 난반사 에러가 검출되면 방법(200)은 블록(212)으로 진행한다. 블록(212)에서, 난반사 성분에 관련된 법선 벡터(
Figure 112007016563787-pat00074
)와 난반사 알비도(
Figure 112007016563787-pat00075
)로 부터 수학식 2에 주어진 바와 같이 난반사 영상(
Figure 112007016563787-pat00076
)을 얻을 수 있다. 블록(214)에서, 아래 수학식 15와 같이 전반사 영상(
Figure 112007016563787-pat00077
)은 원 영상(
Figure 112007016563787-pat00078
)과 난반사 영상(
Figure 112007016563787-pat00079
)의 차이로서 얻을 수 있다.
Figure 112007016563787-pat00080
상술한 혼성 반사 모델의 수학식 2에 나타난 바와 같이 전반사의 영상 밝기 값(
Figure 112007016563787-pat00081
) 성분은 아래 수학식 16과 같다.
Figure 112007016563787-pat00082
수학식 16의 양변에 자연 로그를 씌우면 수학식 17과 같은 선형 방정식을 얻게 된다.
Figure 112007016563787-pat00083
여기서
Figure 112007016563787-pat00084
,
Figure 112007016563787-pat00085
,
Figure 112007016563787-pat00086
을 의미한다.
수학식 17에서 A 및 B는 알고 있는 수이다. 따라서, 블록(216)에서, 수학식 16에서 얻은 전반사 영상의 밝기 값(
Figure 112007016563787-pat00087
)과 수학식 17을 이용하여 각 화소별로 LS(least square)알고리즘을 통해 전반사 성분에 관련된 영상 형성 변수 (
Figure 112007016563787-pat00088
)를 구한다(S7). 블록(218)에서, 샘플 붓터치에 대한 3차원 데이터는 난반사 영상 및 전반사 영상을 합성함으로써 생성된다.
상술한 동작을 통하여, 샘플 붓터치의 3차원 데이터가 획득된다. 도 4a 내지 도 4c는 상술한 포토메트릭 스테레오 방법(200)에 의하여 획득된 샘플 붓터치 패턴 데이터의 예를 도시한다. 도 4a는 실제 샘플 붓터치의 2차원 영상을 도시한다. 도 4b는 도 4a의 샘플 붓터치의 난반사 성분의 알비도를 도시한다. 도 4c는 3차원 복원 결과의 2차원 영상을 도시한다. 또한, 도 5a는 실제 다른 샘플 붓터치의 2차원 영상을 도시한다. 도 5b는 도 5a의 샘플 붓터치의 난반사 성분의 알비도를 도시한다. 도 5c는 3차원 복원 결과의 2차원 영상을 도시한다.
도 6a는 일 실시예에 따른 질감 효과를 갖는 3차원 데이터 복원을 위한 방법(600)의 흐름도를 도시한다. 블록(602)에서, 3차원 붓터치 패턴 데이터는 몇몇 샘플 붓터치들에 대하여 생성된다. 일 실시예에 있어서, 3차원 붓터치 패턴 데이터는 도 2 내지 도 5c와 결합하여 상술한 바와 같이 생성될 수 있다. 일반적으로, 유화는 상이한 형태 및 높이를 갖는 수많은 붓터치들을 포함한다. 따라서, 영상 처리를 통하여 유화 질감 효과를 구성하기 위하여 많은 수의 붓터치 패턴이 필요할 수 있다. 하지만, 모든 가능한 붓터치 패턴을 획득하는 것은 비효율적이다. 필요한 붓터치 패턴 데이터를 얻기 위하여, 예를 들어, 도 4a 내지 도 5c에서 도시된 포토메트릭 스테레오 방법에 의해 획득된 몇몇의 샘플 붓터치 패턴 데이터에 대하여 변환을 수행할 수 있다.
블록(604)에서, 3차원적으로 복원될 2차원 영상은 카메라(104)에 의해 캡쳐되고 수신된다. 블록(606)에서, 색상 영역화가 수행되어 2차원 영상을 서로 다른 색상 영역들로 구획화한다. 통상적으로 유화의 하나의 붓터치는 하나의 색상을 포함하기 때문에, 하나의 붓터치로 그려지는 영역은 단일 색상으로 그릴 수 있다. 따라서, 일 실시예에 있어서, 붓터치는 색상 영역의 경계 내부에 존재하고 서로 다른 2개 이상의 색상 영역에 걸쳐 존재하는 붓터치는 없는 것으로 가정한다. 하지만, 적절한 색상 영역화 파라미터를 선택함으로써 색상 영역의 경계가 적절하게 결정될 수 있음을 알아야 한다. 따라서, 색상 영역화 파라미터를 적절히 선택함으로써 동일한 입력 영상에 대하여 서로 다른 3차원 복원 결과를 얻을 수 있다. 예를 들어, 색상 영역화 파라미터는 화가의 독특한 기법을 나타내도록 선택될 수 있다. 색상 영역화(블록 606)는 균일한(homogeneous) 색상 영역을 추출하기 위하여 2차원 입력 영상에 적용된다. 이 동작에 있어서, 영역의 색상에 따라 입력 영상을 복수의 영역으로 분할하기 위하여 영상 처리 분야에서의 임의의 색상 영역화 기법이 이용될 수 있다. 적절한 상업적으로 가용한 예로서, 평균 시프트 기반 영상 영역화를 이용하는 Edge Detection and Image Segmentation(EDISON) 시스템이 이용될 수 있다.
일 실시예에 있어서, 블록(606)에서 획득된 색상 영역 각각에 대하여, 블록(602)에서 얻어진 3차원 샘플 붓터치는 예를 들어, 임의의 선행 및/또는 비선형 투시 변환을 이용하여 변환 또는 변형된다. 예시적인 투시 변환은 수학식 18과 같다.
Figure 112007016563787-pat00089
여기서, x는 처리될 점의 위치(즉, x, y, z 좌표)를 나타내는 3x3 행렬이고, A는 2x2 non-singular 행렬이며, t는 변환 벡터이고, v=(v1, v2)T는 변환의 정도를 조절하는 변수 벡터이며, v는 스케일링 팩터이다. 붓터치 패턴의 지나친 변환이나 변형을 방지하기 위하여, 붓터치 패턴의 선행 확장은 가로나 세로 방향으로 α배 또는 1/α배 이상 커지지 않도록 하며, α는 1.5 내지 2의 범위에 있으나 이에 한정되지는 않는다.
행렬 A는 비선형 왜곡과 같은 회전 또는 비등방성 스케일링의 기본적인 변환에 적용되는 아핀(affine) 행렬이다. 아핀 행렬 A는 아래 수학식 19로 표시될 수 있다.
Figure 112007016563787-pat00090
여기서, R(θ) 및 R(φ)는 각각 각도 θ 및 φ로 회전하는 성분을 나타내며, 아래 수학식 20과 같이 나타낼 수 있다.
Figure 112007016563787-pat00091
또한, D는 아래 수학식 21과 같은 대각 행렬(diagonal matrix)이다.
Figure 112007016563787-pat00092
여기서, λ1 및 λ2는 각각 x방향 및 y 방향으로의 스케일링 팩터이다.
도 7a 및 도 7b는 아핀 행렬 A에 의한 변환으로부터 생긴 예시적인 왜곡을 도시한다. 구체적으로, 도 7a는 방법(600)의 블록(606)에서 획득된 샘플 붓터치 패턴을 반시계 방향으로 각도 θ만큼 돌린 것에 해당하는 R(θ)를 도시한다. 도 7b는 R(θ) D R(φ)에 의한 변형을 도시하는데, 이는 x, y축을 φ만큼 회전한 후, 회전된 x 방향으로 λ1 만큼, 회전된 y 방향으로 λ2만큼 스케일링한 결과에 해당한다. 도 7b에 도시된 바와 같이, R(θ) D R(φ) 변환은 직사각형을 회전된 평행 사변형으로 변환시킨다. 방법(600)의 블록(608)에 있어서 수행되는 투시 변환을 위하여 임의의 선형 및/또는 비선형 변환이 이용될 수 있음을 이해해야 한다.
도 6을 다시 참조하면, 블록(610)에서, 변환된 3차원 붓터치 각각은 붓터치 효과를 갖는 3차원 영상을 생성하기 위하여 각 색상 영역에 적용된다. 도 6b는 각각의 변환된 3차원 붓터치를 각 색상 영역에 적용하기 위한 동작의 흐름도를 도시한다. 블록(652)에 있어서, 각 색상 영역에 대하여 메쉬 데이터(mesh data)를 형성하기 위하여 데이터 표면 기울기 맵(surface gradient map)이 생성된다(기울기 매핑, gradient mapping). 블록(654)에서, 메쉬 데이터로 매핑될 영상은 붓터치의 밝기를 적용하여 생성된다(밝기 매핑, liminance mapping). 블록(656)에서, 붓터치 효과를 갖는 3차원 영상은 메쉬 데이터에 밝기 매핑을 적용하여 생성된다. 도 6b는 밝기 매핑(블록 654)을 행하기 이전에 기울기 매핑(블록 652)을 수행하는 것으로 도시하고 있지만, 다른 실시예의 경우 밝기 매핑은 기울기 매핑과 동시와 또는 그 이전에 수행될 수 있다.
일 실시예에 있어서, 붓터치 효과를 갖는 3차원 구조는 기울기 매핑을 이용하여 복구될 수 있다. 각 붓터치 패턴에 대한 기울기 맵은 도 2 및 도 3을 참조하여 상술한 포토메트릭 스테레오 방법(200)에서 획득된다. 붓터치 효과를 갖는 복구된 영상에 대응하는 기울기 맵을 구성함에 있어서, 변환된 붓터치 패턴이 적용되는 영역은 변환된 붓터치 패턴 영상에 대응하는 기울기 맵으로 대체되는데, 이는 유화에서의 붓터치가 그 위치에서 이전 붓터치를 덮기 때문이다. 최종 기울기 맵은 모든 변환된 붓터치 패턴들을 적용한 이후에 획득된다. 일 실시예에 있어서, 기울기 맵으로부터 대응 3차원 구조를 효율적으로 복원하기 위하여, 표면 복원 방법이 사용될 수 있다. 하지만, 상술한 방법은 특정 표면 기법에 한정되지 않으며, 임의의 표면 복원 기법이 이용될 수 있다.
일 실시예에 있어서, 밝기 매핑 동작(블록 654)이 HSI(Hue, Saturation, Intensity) 색상 모델에 기초하여 수행된다. HSI 색상 모델은 색상 영상에서 색상 관련 정보(hue 및 saturation)로부터 강도(intensity) 성분을 분리시킨다. 예를 들어, 사람의 눈은 통상적으로 색상 채널 변화보다는 밝기 채널 변화에 보다 민감하다. 따라서, 밝기 리매핑이 붓터치 효과에 적용되도록 이용된다. 밝기 매핑에서는, 밝기 공간에서 처리를 행한 이후에, 입력 영상의 H 및 S 채널을 출력 영상에 복사함으로써 출력 영상의 색상이 재생될 수 있다. 일 실시예에 있어서, 붓터치 패턴들의 난반사 성분의 알비도 값은 포토메트릭 스테레오 방법에 의해 얻어지고, 이 값은 각 붓터치 패턴이 적용되는 영역의 강도 값을 변환하는데 이용된다. 예를 들어,yi가 각 붓터치 패턴이 적용되는 영역에서의 픽셀의 강도 값이고, yp가 적용되어야 할 붓터치 패턴에서의 대응 픽셀에서의 강도 값이라면, yi는 아래 수학식 22와 같이 리매핑된다.
Figure 112007016563787-pat00093
여기서, μP는 붓터치 패턴 영상의 평균 강도 값이고, α는 스케일링 팩터이다. 기울기 매핑 및 밝기 매핑 동작이 완료되면, 붓터치 효과를 갖는 3차원 영상이 메쉬 데이터에 밝기 맵을 적용함으로써 생성된다(블록 656).
도 6a를 다시 참조하면, 블록(608 및 610)에서 수행된 동작들의 결과로서 하나의 붓터치 패턴이 입력 영상에 적용된다. 블록(612)에 있어서, 입력 영상에 다 양한 붓터치 데이터를 제공하기 위하여 부가적인 변환이 필요할 경우, 방법(600)은 부가적은 변환을 수행하기 위하여 블록(608)으로 진행되고, 그렇지 않을 경우 방법(600)은 종료된다. 상술한 바와 같이, 유화 질감 효과를 제공하기 위하여 수많은 붓터치 패턴이 필요할 수 있으나, 예를 들어 블록(602)에서 가능한 모든 붓터치 패턴을 획득하는 것은 비효율적일 수 있다. 따라서, 투시 변환(블록 608)이 반복적으로 변경되어 몇몇 샘플 붓터치에 사용된다. 각 반복에 대하여, 투시 변환에 사용된 수학식 19에서의 적어도 하나의 변수(아핀 행렬 A, 변환 벡터 t, 변수 벡터 v, 스케일링 팩터 v)가 무작위로 변경될 수 있다. 유화 질감 효과를 제공하기 위하여 충분한 만큼 투시 변환이 수행되도록 반복의 회수를 결정할 수 있다. 예를 들어, 반복 회수를 결정함에 있어서 입력 영상 및 샘플 붓터치의 크기를 고려할 수 있다. 또한, 반복 회수를 결정함에 있어서 유화를 그린 화가의 붓터치 양식을 고려할 수 있다.
충분한 반복 동작 이후에, 3차원 구조를 한 방향에서 보았을 때의 2차원 영상 뿐만 아니라, 질감 효과를 갖는 3차원으로 복원된 데이터가 얻어진다. 도 8 및 도 9는 붓터치 질감 효과를 갖는 3차원 복원의 예시적인 결과를 보여준다. 도 8 및 도 9에 있어서, 3개의 서로 다른 붓터치가 (방법 600의 블록 606에서) 붓터치 패턴 데이터를 획득하기 위하여 붓터치의 샘플로서 사용되었다. 이 예에 있어서, 반복 수행 회수는 10,000번이었고, 샘플 붓터치는 무작위 투시 변환에 의하여 반복적으로 변환되었다 (블록 608).
구체적으로, 도 8a는 질감 효과를 갖지 않는 2차원 입력 영상을 보여준다. 색상 영역화 동작(블록 606)을 통하여, 도 8a의 입력 영상은 도 8b에 도시된 바와 같이 색상에 따라 12개의 영역으로 구획화된다. 도 8c 및 도 8d는 유화 붓터치 효과를 갖는 복원된 3차원 데이터의 2차원적 영상을 도시한다. 도 8d는 도 8c와 다른 조명 조건 하에서 렌더링된 결과를 도시한다. 이와 같이, 도 8a 내지 도 8d는 붓터치 효과를 갖는 3차원 영상 및 2차원 영상의 렌더링을 보여준다. 도시된 바와 같이, 다양한 조명 조건 하에서의 3차원 효과를 효율적으로 획득할 수 있다.
도 9a 내지 도 9d는 바다 풍경에 관한 복원된 영상을 도시한다. 구체적으로 도 9a는 2차원 입력 영상을 도시하고, 도 9b는 13 색상 영역을 갖는 색상 영역화 결과를 도시한다. 서로 다른 조명 조건 하에서의 3차원 복원 및 렌더링 결과는 도 9c 및 도 9d에 도시된다.
상술한 설명으로부터, 본 발명의 특정 실시예들은 설명을 위하여 기술된 것이며, 본 발명의 범위 및 정신을 벗어나지 않는 범위 내에서 다양한 수정 및 변경이 가능함을 이해할 수 있다. 따라서, 본 발명은 첨부된 청구범위 이외의 것에 의해서 제한되지 않는다.
본 발명에 따를 경우, 다양한 양식의 질감 효과를 갖는 유화의 3차원 복원 데이터를 효율적으로 획득할 수 있다.

Claims (48)

  1. 2차원 영상 데이터로부터 붓터치 효과를 갖는 3차원 영상 데이터를 생성하는 방법으로서,
    적어도 1개의 붓터치 패턴 데이터 각각으로부터 1개 이상의 3차원 붓터치 패턴 데이터를 생성하는 단계;
    상기 2차원 영상 데이터를 1개 이상의 색상 영역으로 구획화하는 단계;
    상기 구획화된 색상 영역 각각에 대하여, 붓터치 효과를 얻기 위하여 상기 3차원 붓터치 패턴 데이터 각각을 투시 변환하는 단계; 및
    붓터치 효과를 갖는 3차원 영상 데이터를 생성하기 위하여, 상기 각 색상 영역에 상기 투시 변환된 3차원 붓터치 패턴 데이터를 각각 적용하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 각 색상 영역에 상기 변환된 3차원 붓터치 패턴 데이터 각각을 적용하는 단계는,
    상기 각 색상 영역에 대하여 메쉬 데이터를 생성하는 단계; 및
    상기 메쉬 데이터에 매핑될 붓터치 패턴 데이터를 생성하는 단계
    를 포함하는 방법.
  3. 제2항에 있어서,
    상기 각 색상 영역에 상기 변환된 3차원 붓터치 패턴 데이터 각각을 적용하는 단계는,
    상기 메쉬 데이터에 상기 붓터치 패턴 데이터를 적용하는 단계를 더 포함하는 방법.
  4. 제2항에 있어서,
    상기 메쉬 데이터를 생성하는 단계는,
    표면 기울기 매핑(surface gradient mapping)을 포함하는 방법.
  5. 제2항에 있어서,
    상기 붓터치 패턴 데이터를 생성하는 단계는,
    밝기 매핑(luminance mapping)을 포함하는 방법.
  6. 제5항에 있어서,
    상기 밝기 매핑은, 상기 메쉬 데이터에 붓터치 패턴 데이터의 밝기를 적용하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 변환하는 단계 및 상기 적용하는 단계는 소정의 횟수만큼 반복하여 수행되는 방법.
  8. 제1항에 있어서,
    상기 3차원 붓터치 패턴 데이터를 생성하는 단계는,
    적어도 1개의 샘플 붓터치 패턴 데이터로부터 1개 이상의 3차원 붓터치 패턴 데이터를 획득하는 단계, 및
    상기 적어도 1개의 샘플 붓터치 패턴 데이터의 3차원 붓터치 패턴 데이터 각각에 반복적으로 투시 변환을 수행하는 단계
    를 포함하는 방법.
  9. 삭제
  10. 2차원 영상 데이터로부터 붓터치 효과를 갖는 3차원 영상 데이터를 복원하는 방법으로서,
    1개 이상의 색상 영역으로 2차원 영상 데이터를 구획화하는 단계;
    적어도 1개의 붓터치 패턴 데이터 각각으로부터 3차원 붓터치 패턴 데이터를 생성하는 단계;
    상기 구획화된 1개 이상의 색상 영역 각각에 대하여, 변형된 3차원 붓터치 패턴 데이터를 생성하기 위하여 상기 3차원 붓터치 패턴 데이터를 투시 변환하는 단계; 및
    3차원 영상 데이터를 생성하기 위하여 상기 투시 변환된 3차원 붓터치 패턴 데이터를 상기 각 색상 영역에 적용하는 단계
    를 포함하는 방법.
  11. 제10항에 있어서,
    상기 변환된 3차원 붓터치 패턴 데이터를 상기 각 색상 영역에 적용하는 단계는,
    상기 각 색상 영역에 대하여 메쉬 데이터를 생성하는 단계; 및
    상기 메쉬 데이터에 매핑될 붓터치 패턴 데이터를 생성하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 변환된 3차원 붓터치 패턴 데이터를 상기 각 색상 영역에 적용하는 단계는,
    상기 메쉬 데이터에 상기 붓터치 패턴 데이터를 적용하는 단계를 더 포함하는 방법.
  13. 제11항에 있어서,
    상기 메쉬 데이터를 생성하는 단계는,
    표면 기울기 매핑을 포함하는 방법.
  14. 제11항에 있어서,
    상기 붓터치 패턴 데이터를 생성하는 단계는,
    밝기 매핑을 포함하는 방법.
  15. 제14항에 있어서,
    상기 밝기 매핑은, 상기 메쉬 데이터에 붓터치 패턴 데이터의 밝기를 적용하는 단계를 포함하는 방법.
  16. 제10항에 있어서,
    상기 변환하는 단계 및 상기 적용하는 단계는 소정의 횟수만큼 반복하여 수행되는 방법.
  17. 삭제
  18. 2차원 영상 데이터로부터 붓터치 효과를 갖는 3차원 영상 데이터를 생성하는 방법으로서,
    적어도 하나의 붓터치 패턴 데이터 각각으로부터 1개 이상의 3차원 붓터치 패턴 데이터를 생성하는 단계;
    2차원 영상 데이터를 1개 이상의 색상 영역으로 구획화하는 단계;
    상기 구획화된 색상 영역 각각에 대하여, 붓터치 효과를 얻기 위하여 3차원 붓터치 패턴 데이터 각각을 투시 변환하는 단계;
    상기 구획화된 색상 영역 각각에 대하여, 메쉬 데이터를 생성하는 단계;
    상기 메쉬 데이터에 매핑될 붓터치 패턴 데이터를 생성하는 단계; 및
    붓터치 효과를 갖는 3차원 영상 데이터를 생성하기 위하여, 상기 붓터치 패턴 데이터를 상기 메쉬 데이터에 적용하는 단계
    를 포함하는 방법.
  19. 제18항에 있어서,
    상기 메쉬 데이터를 생성하는 단계는, 표면 기울기 매핑을 포함하는 방법.
  20. 제18항에 있어서,
    상기 붓터치 패턴 데이터를 생성하는 단계는, 밝기 매핑을 포함하는 방법.
  21. 제20항에 있어서,
    상기 밝기 매핑은, 붓터치 패턴 데이터의 밝기를 상기 메쉬 데이터에 적용함으로써 수행되는 방법.
  22. 제18항에 있어서,
    상기 3차원 붓터치 패턴 데이터 각각을 투시 변환하는 단계는, 소정의 횟수만큼 반복하여 수행되는 방법.
  23. 제18항에 있어서,
    상기 3차원 붓터치 패턴을 생성하는 단계는,
    적어도 1개의 샘플 붓터치 패턴 데이터로부터 1개 이상의 3차원 붓터치 패턴 데이터를 획득하는 단계 및,
    상기 적어도 1개의 샘플 붓터치 패턴 데이터의 3차원 붓터치 패턴 데이터 각각에 투시 변환을 반복적으로 수행하는 단계
    를 포함하는 방법.
  24. 삭제
  25. 제1항 내지 제8항 중 어느 한 항에 기재된 방법을 실행하기 위한 컴퓨터 실행가능 명령어를 포함하는 컴퓨터 판독가능 기록매체.
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 제10항 내지 제16항 중 어느 한 항에 기재된 방법을 실행하기 위한 컴퓨터 실행가능 명령어를 포함하는 컴퓨터 판독가능 기록매체.
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 제18항 내지 제23항 중 어느 한 항에 기재된 방법을 실행하기 위한 컴퓨터 실행가능 명령어를 포함하는 컴퓨터 판독가능 기록매체.
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
KR1020070019095A 2007-02-26 2007-02-26 3차원 유화 데이터의 복원 KR100967701B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070019095A KR100967701B1 (ko) 2007-02-26 2007-02-26 3차원 유화 데이터의 복원
US12/303,546 US8817037B2 (en) 2007-02-26 2008-02-25 Reconstructing three dimensional oil paintings
PCT/KR2008/001078 WO2008105606A1 (en) 2007-02-26 2008-02-25 Reconstructing three dimensional oil paintings

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070019095A KR100967701B1 (ko) 2007-02-26 2007-02-26 3차원 유화 데이터의 복원

Publications (2)

Publication Number Publication Date
KR20080079056A KR20080079056A (ko) 2008-08-29
KR100967701B1 true KR100967701B1 (ko) 2010-07-07

Family

ID=39721415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070019095A KR100967701B1 (ko) 2007-02-26 2007-02-26 3차원 유화 데이터의 복원

Country Status (3)

Country Link
US (1) US8817037B2 (ko)
KR (1) KR100967701B1 (ko)
WO (1) WO2008105606A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094964B2 (en) 2007-10-26 2012-01-10 Adobe Systems Incorporated Methods and systems for estimating illumination source characteristics from a single image
JP5570008B2 (ja) * 2010-03-23 2014-08-13 インターナショナル・ビジネス・マシーンズ・コーポレーション カーネル回帰システム、方法及びプログラム
AU2011267751B2 (en) * 2010-06-16 2014-12-18 Ultra Electronics Forensic Technology Inc. Acquisition of 3D topographic images of tool marks using non-linear photometric stereo method
CN103105959A (zh) * 2011-11-09 2013-05-15 昆盈企业股份有限公司 数字绘图系统及其数字调色方法
US8666119B1 (en) * 2011-11-29 2014-03-04 Lucasfilm Entertainment Company Ltd. Geometry tracking
US10204447B2 (en) 2015-11-06 2019-02-12 Microsoft Technology Licensing, Llc 2D image processing for extrusion into 3D objects
US10489970B2 (en) * 2015-11-06 2019-11-26 Microsoft Technology Licensing, Llc 2D image processing for extrusion into 3D objects
CN106841035B (zh) * 2017-01-25 2024-02-23 成都中信华瑞科技有限公司 检测方法及装置
CN109087371B (zh) * 2018-07-16 2023-06-30 深圳市智能机器人研究院 一种控制机器人画像的方法及系统
US11872768B2 (en) * 2021-09-16 2024-01-16 Xerox Corporation Three dimensional enhancement of two dimensional printed images
KR102642894B1 (ko) * 2023-05-03 2024-03-04 주식회사 키위스튜디오 그림 이미지를 식별하는 방법, 장치 및 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020056594A (ko) * 2000-12-29 2002-07-10 주식회사 에베네저 수묵화 그래픽 저작도구 형성방법
KR100360772B1 (ko) 1999-06-18 2002-11-13 한국전자통신연구원 칼라 영상에 적용하기 위한 멀티-스케일 페인팅 효과 필터링방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4888713B1 (en) * 1986-09-05 1993-10-12 Cdi Technologies, Inc. Surface detail mapping system
US5592597A (en) * 1994-02-14 1997-01-07 Parametric Technology Corporation Real-time image generation system for simulating physical paint, drawing media, and feature modeling with 3-D graphics
US5710878A (en) * 1995-06-07 1998-01-20 Mccoy; David Scott Method for facilitating material application for a group of objects of a computer graphic
KR0151918B1 (ko) * 1995-12-13 1998-10-15 양승택 화상 처리를 이용한 화상 생성 장치 및 그 방법
US5809179A (en) * 1996-05-31 1998-09-15 Xerox Corporation Producing a rendered image version of an original image using an image structure map representation of the image
US6201549B1 (en) * 1998-12-30 2001-03-13 Microsoft Corporation System and method for drawing and painting with bitmap brushes
US6870550B1 (en) * 1999-04-26 2005-03-22 Adobe Systems Incorporated Digital Painting
US6639595B1 (en) * 2000-08-23 2003-10-28 Nintendo Co., Ltd. Achromatic lighting in a graphics system and method
US6765589B1 (en) * 2000-11-16 2004-07-20 Adobe Systems Incorporated Brush for warping and water reflection effects
CN1461457A (zh) * 2001-04-09 2003-12-10 皇家菲利浦电子有限公司 混合数字图像的方法
WO2003042923A1 (en) * 2001-11-13 2003-05-22 New York University Logic arrangements, storage mediums, and methods for generating digital images using brush strokes
US7071936B2 (en) * 2002-05-01 2006-07-04 Microsoft Corporation Systems and methods for providing signal-specialized parametrization
US7079137B2 (en) * 2002-11-15 2006-07-18 Warner Bros. Entertainment Inc. Method for digitally rendering an object using measured BRDF data
TW200614094A (en) * 2004-10-18 2006-05-01 Reallusion Inc System and method for processing comic character
US7425958B2 (en) * 2004-10-25 2008-09-16 Adobe Systems Incorporated Perspective editing tools for 2-D images
GB0504570D0 (en) * 2005-03-04 2005-04-13 Falanx Microsystems As Method of and apparatus for encoding data
US8217955B2 (en) * 2008-08-05 2012-07-10 Autodesk, Inc. Producing wrinkles and other effects for a computer-generated character based on surface stress

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100360772B1 (ko) 1999-06-18 2002-11-13 한국전자통신연구원 칼라 영상에 적용하기 위한 멀티-스케일 페인팅 효과 필터링방법
KR20020056594A (ko) * 2000-12-29 2002-07-10 주식회사 에베네저 수묵화 그래픽 저작도구 형성방법

Also Published As

Publication number Publication date
KR20080079056A (ko) 2008-08-29
WO2008105606A1 (en) 2008-09-04
US20100039427A1 (en) 2010-02-18
US8817037B2 (en) 2014-08-26

Similar Documents

Publication Publication Date Title
KR100967701B1 (ko) 3차원 유화 데이터의 복원
Sinha et al. Image-based rendering for scenes with reflections
JP3954211B2 (ja) 三次元シーンにおける形状及び模様の復元方法及び装置
Callieri et al. Meshlab as a complete open tool for the integration of photos and colour with high-resolution 3D geometry data
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
US9396530B2 (en) Low memory content aware image modification
JP2000182038A (ja) 歪まされた情報からの遠近法的矯正デ―タの生成方法及びこれに用いる装置並びにコンピュ―タプログラム製品
US20090052767A1 (en) Modelling
CN114746904A (zh) 三维人脸重建
Pintus et al. State‐of‐the‐art in Multi‐Light Image Collections for Surface Visualization and Analysis
US7567246B2 (en) Image processing apparatus, image processing method, and image processing program
De Paolis et al. Photogrammetric 3D reconstruction of small objects for a real-time fruition
KR101575284B1 (ko) 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
Görtler et al. Stippling of 2D scalar fields
EP3906530B1 (en) Method for 3d reconstruction of an object
Balzer et al. Second-order shape optimization for geometric inverse problems in vision
Pintus et al. A Streaming Framework for Seamless Detailed Photo Blending on Massive Point Clouds.
Fassold et al. Reconstruction of archaeological finds using shape from stereo and shape from shading
Howard et al. Depth-based patch scaling for content-aware stereo image completion
Magda et al. Reconstruction of Volumetric Surface Textures for Real-Time Rendering.
KR102648938B1 (ko) 기하학적 일관성을 이용한 소수 샷 신경 방사장 기반 3차원 이미지 재구성 방법 및 장치
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
Grumet Terrain modeling
Huang et al. Generation of stereo oil paintings from RGBD images

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130418

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140508

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee