KR101159162B1 - 측정 재질감을 지원하는 영상 생성 장치 및 방법 - Google Patents

측정 재질감을 지원하는 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101159162B1
KR101159162B1 KR1020090026296A KR20090026296A KR101159162B1 KR 101159162 B1 KR101159162 B1 KR 101159162B1 KR 1020090026296 A KR1020090026296 A KR 1020090026296A KR 20090026296 A KR20090026296 A KR 20090026296A KR 101159162 B1 KR101159162 B1 KR 101159162B1
Authority
KR
South Korea
Prior art keywords
information
sampling
texture
unit
calculator
Prior art date
Application number
KR1020090026296A
Other languages
English (en)
Other versions
KR20100062823A (ko
Inventor
이주행
김성수
남승우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/627,202 priority Critical patent/US8791951B2/en
Publication of KR20100062823A publication Critical patent/KR20100062823A/ko
Application granted granted Critical
Publication of KR101159162B1 publication Critical patent/KR101159162B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Computer Graphics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 측정 재질감을 지원하는 영상 생성 장치 및 방법에 관한 것으로, 측정한 재질감 정보를 비롯하여 다양한 형식의 재질감 정보를 영상 생성에 활용하고 편집할 수 있으며, 특히 대용량의 원시 데이터에 대한 복잡한 수학식 기반의 다양한 질감 모델들을 모두 지원하여 데이터 용량이 작고 계산이 간단한 형식으로 저장할 수 있도록 하고, 재질감의 다양한 혼합 연산, 다중 해상도 표현, 색상 및 강도 조절을 지원함으로써, 복잡하고 섬세한 표면의 광학 현상을 표현함에 있어서, 비스플라인 볼륨을 사용할 경우에는 측정 원시 데이터의 형태를 유지하면서 잡음과 데이터 사이즈를 현저히 줄일 수 있고, 수학적 재질감 모델 기법에 비해 연산이 단순하여 빠른 렌더링이 가능하며, 그 구성과 단계가 CPU 기반의 컴퓨터 소프트웨어로 구현하거나 GPU 상의 쉐이더 코드로 구현하거나 FPGA 등의 전용 하드웨어로 구현할 수도 있는 이점이 있다.
표면 질감, 가시화, 렌더링

Description

측정 재질감을 지원하는 영상 생성 장치 및 방법{IMAGE SYNTHESIS APPARATUS AND METHOD SUPPORTING MEASURED MATERIALS PROPERTIES}
본 발명은 측정 재질감을 지원하는 영상 생성 장치 및 방법에 관한 것으로서, 더욱 상세하게는 디지털 영상 생성(digital image synthesis) 분야에서 표면 질감(surface materials)을 표현(rendering)하기 위해 측정 재질감을 지원하는 영상 생성 장치 및 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2008-S-045-03, 과제명 : 기능 확장용 초고속 랜더러 개발].
최근 3차원 컴퓨터 그래픽스 기술의 급속한 발전으로, 사진 촬영 영상에 근접 또는 동일한 수준의 영상 생성(image synthesis)이 가능하게 되었다. 특히, 다양한 신소재를 사용하는 휴대기기 및 가전, 패션, 자동차, 건축 분야의 디자인 가 시화 및 실사와의 합성을 필요로 하는 영상 특수 효과 분야에서 활발히 이용되고 있다. 하지만, 아직까지도 이러한 영상을 만들기 위해서는 매우 긴 컴퓨터 계산 시간과 디자이너의 작업 시간을 동시에 필요로 하고 있다. 따라서, 이 문제의 해결을 위한 많은 연구와 기술 개발이 이뤄지고 있다.
컴퓨터 생성 영상(CGI, Computer Generated Imagery)의 사실감을 결정하는 많은 요소 중에 장면 요소의 표면 재질감이 중요하다. 특히, 피부나 머리카락(털)과 같은 신체 부분, 섬세한 옷감, 혼합 페인트 등 표면의 물리현상이 복잡한 재질의 표현을 위해서는 고려할 점이 많다. 이러한 재질이 입혀진 물체는, 그 물체를 보는 방향(시점 방향) 및 빛이 조사되는 방향(광원 방향)에 의해 표면의 색상이나 밝기가 변하기도 한다. 특히 복잡한 방향성을 갖는 재질의 특징정보를 표현하는 것이 중요 요소이다.
이들 정보를 표현하기 위해 다양한 기법들이 개발되었다. 예들 들어, 실제 물체의 표면을 촬영하여 그 재질의 특성을 원시 데이터로 획득하기도 한다. 또는, 물리적인 모델 및 경험적인 모델을 수립하여 이를 수학식으로 표현하기도 한다. 그런데 원시 데이터의 경우는 표면 재질의 특성을 정확히 표현하지만, 그 크기가 매우 커서 수백에서 수천 개의 중앙처리장치(CPU)를 사용하는 네트워크 렌더팜 환경에서 사용이 어려운 문제점이 있다. 수학식 기반의 모델만으로는 섬세한 표면 질감과 특성들을 표현하기에는 한계가 있고 계산량이 증가하는 문제점이 있다.
기존의 재질 정보를 편집하여 수정하거나 새로운 재질을 만드는 것도 중요하다. 특히, 측정 재질감이라고 하더라도, 참고 자료로만 활용하고, 이를 개선하기 위한 다양한 실험이 필요하기 때문이다. 이를 위해서 재질의 혼합을 지원하는 편집 시스템이 필요하다.
상세한 재질감 정보는 데이터가 크거나 계산량이 많은 경우가 많다. 따라서, 눈에 잘 보이는 큰 영역에서는 정밀한 재질 정보를 사용하고, 눈에 잘 보이지 않는 작은 영역에서는 단순화된 재질 정보를 사용할 수 있는 방법이 있어야 한다. 이를 위해서 재질 정보를 다중 해상도 방식으로 지원하는 것이 필요하다.
이에 관련해서는, 양방향 반사율 분포함수(BRDF, Bi-directional Reflectance Distribution Function)나 양방향 텍스처 함수(BTF, Bi-directional Texture Function), PTM(Polynomial Texture Maps) 등의 주제로 관련 연구가 진행되고 있다.
본 발명은 전술한 바와 같은 종래 기술의 문제점을 해결하기 위해 제안한 것으로, 측정한 재질감 정보를 비롯하여 다양한 형식의 재질감 정보를 영상 생성에 활용하고 편집할 수 있도록 하며, 특히 대용량의 원시 데이터에서 복잡한 수학식 기반의 다양한 질감 모델들을 모두 지원하는 재질감 표현 형식을 도입하여 데이터 용량이 작고 계산이 간단한 형식으로 저장할 수 있도록 하고, 재질감의 다양한 혼합 연산, 다중 해상도 표현, 색상 및 강도 조절을 지원한다.
본 발명의 제 1 관점으로서 측정 재질감을 지원하는 영상 생성 장치는, 재질 정보의 처리와 샘플링 및 렌더링을 위한 선택 정보를 입력할 수 있는 입력부와, 입력 질감을 측정한 측정 데이터를 원시 재질 데이터 형태로 변환하여 획득한 상기 재질 정보에 대해 상기 선택 정보에 따른 재질 모델 맞춤 및 재질 혼합을 통해 신규 재질 정보를 생성할 수 있는 재질 정보 처리부와, 상기 재질 정보를 샘플링하여 샘플링 정보를 생성할 수 있는 샘플링 처리부와, 상기 선택 정보에 포함된 장면 정보와 상기 신규 재질 정보 및 상기 샘플링 정보를 이용한 렌더링을 수행하여 표면 재질을 표현할 수 있는 재질감 표현부와, 상기 재질 모델 맞춤을 수행한 상기 재질 정보를 가시화하거나 상기 재질감 표현부가 표현한 상기 표면 재질을 출력할 수 있는 출력부를 포함한다.
여기서, 상기 재질 정보 처리부는, 물리적 재질 시료 및 질감 모델로부터 질감 정보를 측정하여 상기 측정 데이터를 획득할 수 있는 재질 측정부와, 상기 측정 데이터를 원시 재질 데이터의 형태로 변환할 수 있는 재질 정보 전처리부와, 상기 원시 재질 데이터에 대해서 상기 선택 정보에 따른 상기 재질 모델 맞춤을 수행하여 모델 인수를 추출할 수 있는 재질 모델 맞춤부와, 상기 선택 정보에 따른 상기 재질 정보의 상기 재질 혼합을 통해 상기 신규 재질 정보를 생성할 수 있는 재질 정보 생성부와, 상기 재질 정보 및 상기 신규 재질 정보를 저장 및 관리하면서 상기 재질감 표현부에게 제공할 수 있는 재질 정보 관리부를 포함한다.
상기 재질 모델 맞춤부는, 상기 원시 재질 데이터를 표형식(tabular) 재질 모델 맞춤기, 비스플라인 재질 모델 맞춤기, 경험적(phenomena) 재질 모델 맞춤기, 물리적(physical) 재질 모델 맞춤기 중에서 어느 한 형식의 맞춤기를 통해 상기 재질 모델 맞춤을 수행할 수 있다.
상기 비스플라인 재질 모델 맞춤기는, 상기 선택 정보에 포함된 모델 맞춤에 필요한 맞춤 제어 정보와 상기 원시 재질 데이터를 이용하여 다차원의 비스플라인 볼륨 맞춤을 수행하여 그 결과를 출력할 수 있다.
상기 재질 정보 생성부는, 상기 재질 혼합에 필요한 상기 선택 정보를 입력받기 위해 상기 입력부 또는 상기 출력부를 통해 사용자 인터페이스를 제공할 수 있는 재질 정보 편집부와, 상기 사용자 인터페이스를 통해 입력되는 상기 선택 정보에 따라 선형 혼합, 부분 혼합, 계층 혼합, 복합 혼합 중에서 어느 하나의 혼합을 통해 상기 신규 재질 정보를 생성할 수 있는 재질 정보 계산부를 포함한다.
상기 재질 정보 계산부는, 상기 선형 혼합을 위한 선형 혼합 계산기, 상기 부분 혼합을 위한 부분 혼합 계산기, 상기 계층 혼합을 위한 계층 혼합 계산기, 상기 복합 혼합을 위한 복합 혼합 계산기 중에서 어느 하나의 혼합 계산기와 장면 기하 요소의 특징에 따라 정밀도를 조정하기 위한 다중 해상도 계산기 또는 색상 요소의 교환이나 강도 조정을 위한 색상 조정 계산기를 포함한다.
상기 샘플링 처리부는, 상기 재질 정보에 대한 표형식의 누적밀도함수를 생성하여 역함수를 계산할 수 있도록 하는 표형식 누적밀도함수 계산기를 포함하는 샘플링 전처리부와, 상기 표형식의 누적밀도함수를 입력 벡터의 샘플링에 활용하여 난수발생기를 이용해 중요 입사각을 샘플링하는 표형식 샘플링 계산기, 상기 중요 입사각의 샘플링 결과를 비스플라인 볼륨 맞춤을 하여 상기 샘플링 정보를 생성할 수 있는 비스플라인 샘플링 계산기를 포함하는 샘플링 계산부를 포함한다.
상기 샘플링 전처리부는, 상기 재질 정보에 대한 비스플라인 볼륨을 수학적으로 적분하여 주변밀도함수를 계산할 수 있는 비스플라인 적분기를 포함한다.
상기 샘플링 전처리부는, 수학식으로 표현되는 상기 재질 정보에 대해 각각의 누적밀도함수를 계산할 수 있는 경험적 누적밀도함수 계산기 및 물리적 누적밀도함수 계산기를 포함하며, 상기 샘플링 계산부는, 상기 경험적 누적밀도함수 계산기의 출력을 샘플링할 수 있는 경험적 샘플링 계산기, 상기 물리적 누적밀도함수 계산기의 출력을 샘플링할 수 있는 물리적 샘플링 계산기를 포함한다.
상기 재질감 표현부는, 상기 장면 정보와 상기 신규 재질 정보 및 상기 샘플링 정보를 이용하여 렌더링을 수행할 수 있는 렌더링부와, 상기 렌더링의 수행 결과에 따라 상기 출력부에 포함된 이미지 출력부를 통해 상기 표면 재질을 이미지 형식으로 표현할 수 있는 표면 재질 표현부를 포함한다.
본 발명의 제 2 관점으로서 측정 재질감을 지원하는 영상 생성 장치는, 입력 질감을 측정한 측정 데이터를 원시 재질 데이터 형태로 변환하여 획득한 재질 정보에 대해 입력된 선택 정보에 따른 재질 모델 맞춤 및 재질 혼합을 통해 신규 재질 정보를 생성하는 단계와, 상기 재질 정보를 상기 선택 정보에 따라 샘플링하여 샘플링 정보를 생성하는 단계와, 상기 선택 정보에 포함된 장면 정보와 상기 신규 재질 정보 및 상기 샘플링 정보를 이용한 렌더링을 수행하여 표면 재질을 표현하는 단계를 포함한다.
여기서, 상기 신규 재질 정보를 생성하는 단계는, 물리적 재질 시료 및 질감 모델로부터 질감 정보를 측정하여 상기 측정 데이터를 획득하는 단계와, 상기 측정 데이터를 원시 재질 데이터의 형태로 변환하는 단계와, 상기 원시 재질 데이터에 대해서 상기 선택 정보에 따른 상기 재질 모델 맞춤을 수행하여 모델 인수를 추출하는 단계와, 상기 선택 정보에 따른 상기 재질 정보의 상기 재질 혼합을 거쳐 상기 신규 재질 정보를 생성하는 단계를 포함한다.
상기 추출하는 단계는, 상기 원시 재질 데이터를 표형식 재질 모델 맞춤, 비스플라인 재질 모델 맞춤, 경험적 재질 모델 맞춤, 물리적 재질 모델 맞춤 중에서 어느 한 형식의 맞춤을 통해 상기 모델 인수를 추출한다.
상기 추출하는 단계는, 상기 선택 정보에 포함된 모델 맞춤에 필요한 맞춤 제어 정보와 상기 원시 재질 데이터를 이용하여 다차원의 비스플라인 볼륨 맞춤을 수행하여 그 결과를 출력한다.
상기 재질 혼합을 거쳐 상기 신규 재질 정보를 생성하는 단계는, 상기 재질 혼합에 필요한 상기 선택 정보를 입력받기 위해 사용자 인터페이스를 제공하는 단계와, 상기 사용자 인터페이스를 통해 입력되는 상기 선택 정보에 따라 선형 혼합, 부분 혼합, 계층 혼합, 복합 혼합 중에서 어느 하나의 혼합을 통해 상기 신규 재질 정보를 생성하는 단계를 포함한다.
상기 어느 하나의 혼합을 통해 상기 신규 재질 정보를 생성하는 단계는, 상기 선형 혼합을 위한 선형 혼합 계산, 상기 부분 혼합을 위한 부분 혼합 계산, 상 기 계층 혼합을 위한 계층 혼합 계산, 상기 복합 혼합을 위한 복합 혼합 계산 중에서 어느 하나의 혼합 계산과 장면 기하 요소의 특징에 따라 정밀도를 조정하기 위한 다중 해상도 계산 또는 색상 요소의 교환이나 강도 조정을 위한 색상 조정 계산을 수행한다.
상기 샘플링 정보를 생성하는 단계는, 상기 재질 정보에 대한 표형식의 누적밀도함수를 생성하여 역함수를 계산할 수 있도록 하는 단계와, 상기 표형식의 누적밀도함수를 입력 벡터의 샘플링에 활용하여 난수발생기를 이용해 중요 입사각을 샘플링한 후, 이 샘플링 결과를 비스플라인 볼륨 맞춤을 하여 상기 샘플링 정보를 생성하는 단계를 포함한다.
상기 역함수를 계산할 수 있도록 하는 단계는, 상기 재질 정보에 대한 비스플라인 볼륨을 수학적으로 적분하여 주변밀도함수를 계산한다.
상기 역함수를 계산할 수 있도록 하는 단계는, 수학식으로 표현되는 상기 재질 정보에 대해 경험적 누적밀도함수 및 물리적 누적밀도함수를 계산하며, 상기 비스플라인 볼륨 맞춤을 하여 상기 샘플링 정보를 생성하는 단계는, 상기 경험적 누적밀도함수를 샘플링하거나 상기 물리적 누적밀도함수를 샘플링한다.
상기 표면 재질을 표현하는 단계는, 상기 장면 정보와 상기 신규 재질 정보 및 상기 샘플링 정보를 이용하여 렌더링을 수행하는 단계와, 상기 렌더링의 수행 결과에 따라 상기 표면 재질을 이미지 형식으로 표현하는 단계를 포함한다.
본 발명은 측정한 재질감 정보를 비롯하여 다양한 형식의 재질감 정보를 영상 생성에 활용하고 편집할 수 있으며, 특히 대용량의 원시 데이터에 대한 복잡한 수학식 기반의 다양한 질감 모델들을 모두 지원하여 데이터 용량이 작고 계산이 간단한 형식으로 저장할 수 있도록 하고, 재질감의 다양한 혼합 연산, 다중 해상도 표현, 색상 및 강도 조절을 지원한다.
본 발명에 의하면 복잡하고 섬세한 표면의 광학 현상을 표현함에 있어서, 비스플라인 볼륨을 사용할 경우에는 측정 원시 데이터의 형태를 유지하면서 잡음(noise)과 데이터 사이즈를 현저히 줄일 수 있고, 수학적 재질감 모델 기법에 비해 연산이 단순하여 빠른 렌더링이 가능하다. 또한, 그 구성과 단계가 CPU 기반의 컴퓨터 소프트웨어로 구현하거나 GPU(Graphics Processing Unit) 상의 쉐이더 코드로 구현하거나 FPGA(Field Programmable Gate Array) 등의 전용 하드웨어로 구현할 수도 있다.
또한, 기존의 측정 데이터, 경험적 모델, 물리적 모델을 지원하고, 이를 편집할 수 있고, 다중해상도를 지원하여 사용상의 높은 편리성을 제공하는 효과가 있다.
본 발명은 디지털 영상 생성 분야에서 측정한 재질감 정보를 비롯하여 다양한 형식의 재질감 정보를 영상 생성에 활용하고 편집할 수 있는 영상 생성 장치 및 그 방법을 제시한다. 특히, 대용량의 원시 데이터에서 복잡한 수학식 기반의 다양 한 질감 모델들을 모두 지원하는 재질감 표현 형식을 도입하여 데이터 용량이 작고 계산이 간단한 형식으로 저장할 수 있다. 또한, 재질감의 다양한 혼합 연산, 다중 해상도 표현, 색상 및 강도 조절을 지원한다. 이러한 본 발명은 제품 디자인의 가시화 및 영상 특수 효과 분야에서 사실적인 표면 질감 표현에 활용할 수 있다.
이하, 본 발명의 일부 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치의 블록 구성도이다.
이에 나타낸 바와 같이 본 발명의 영상 생성 장치는, 입력부(10), 재질 정보 처리부(20), 샘플링 처리부(30), 재질감 표현부(40), 출력부(50) 등을 포함하여 구성된다.
입력부(10)는 재질 정보의 처리와 샘플링 및 렌더링을 위한 선택 정보를 입력할 수 있는 사용자 인터페이스이다.
재질 정보 처리부(20)는 입력 질감을 측정한 측정 데이터를 원시 재질 데이터 형태로 변환하여 획득한 재질 정보에 대해 입력부(10)를 통해 입력되는 선택 정보에 따른 재질 모델 맞춤 및 재질 혼합을 통해 신규 재질 정보를 생성할 수 있다.
샘플링 처리부(30)는 재질 정보 처리부(20)에서 획득한 재질 정보를 샘플링 하여 샘플링 정보를 생성할 수 있다.
재질감 표현부(40)는 입력부(10)를 통해 입력되는 선택 정보에 포함된 장면 정보와 재질 정보 처리부(20)에 의한 신규 재질 정보 및 샘플링 처리부(30)에 의한 샘플링 정보를 이용한 렌더링을 수행하여 표면 재질을 표현할 수 있다.
출력부(50)는 재질 정보 처리부(20)에서 재질 모델 맞춤을 수행한 재질 정보를 가시화하거나 재질감 표현부(40)가 표현한 표면 재질을 출력할 수 있다.
도 2는 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치를 구성하는 재질 정보 처리부의 블록 구성도이다.
이에 나타낸 바와 같이 재질 정보 처리부(20)는, 재질 측정부(210), 재질 정보 전처리부(220), 재질 모델 맞춤부(230), 재질 정보 관리부(240), 재질 데이터 저장부(250), 재질 정보 생성부(260) 등을 포함하여 구성된다. 재질 정보 가시화부(510)는 출력부(50)에 포함된다.
재질 측정부(210)는 물리적 재질 시료로부터 질감 정보를 측정하는 물리 재질 측정기(211)와, 질감 모델로부터 질감 정보를 측정하는 가상 재질 측정기(212) 등을 포함한다.
재질 정보 전처리부(220)는 재질 측정부(210)에 의한 측정 데이터를 원시 재질 데이터의 형태로 변환한다.
재질 모델 맞춤부(230)는 원시 재질 데이터에 대해서 입력부(10)를 통해 입력되는 선택 정보에 따른 재질 모델 맞춤을 수행하여 모델 인수를 추출할 수 있다. 이러한 재질 모델 맞춤부(230)는 표형식 재질 모델 맞춤기(231), 비스플라인 재질 모델 맞춤기(232), 경험적 재질 모델 맞춤기(233), 물리적 재질 모델 맞춤기(234) 등을 포함한다.
재질 정보 관리부(240)는 재질 모델 맞춤부(230)에서 출력하는 재질 정보와 재질 정보 생성부(260)에서 출력하는 신규 재질 정보를 재질 데이터 저장부(250)에 저장 및 관리하면서 재질감 표현부(40) 및 재질 정보 가시화부(510)에 제공할 수 있다. 재질 데이터 저장부(250)는 원시 재질 데이터 저장기(251), 복합 재질 데이터 저장기(252), 물리 재질 데이터 저장기(253) 등을 포함한다.
재질 정보 생성부(260)는 입력부(10)를 통해 입력되는 선택 정보에 따른 재질 정보의 재질 혼합을 통해 신규 재질 정보를 생성할 수 있다.
도 3은 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치를 구성하는 재질 정보 처리부 내의 재질 정보 생성부에 대한 블록 구성도이다.
이에 나타낸 바와 같이, 재질 정보 생성부(260)는 재질 혼합에 필요한 선택 정보를 입력받기 위해 입력부(10) 또는 출력부(50)를 통해 사용자 인터페이스를 제공할 수 있는 재질 정보 편집부(261)와, 사용자 인터페이스를 통해 입력되는 선택 정보에 따라 선형 혼합, 부분 혼합, 계층 혼합, 복합 혼합 중에서 어느 하나의 혼합을 통해 신규 재질 정보를 생성할 수 있는 재질 정보 계산부(262) 등을 포함한다.
재질 정보 편집부(261)는 선형 혼합을 위한 선형 혼합 편집기(261a), 부분 혼합을 위한 부분 혼합 편집기(261b), 계층 혼합을 위한 계층 혼합 편집기(261c), 복합 혼합을 위한 복합 혼합 편집기(261d), 장면 기하 요소의 특징에 따라 정밀도를 조정하기 위한 다중 해상도 편집기(261e), 색상 요소의 교환이나 강도 조정을 위한 색상 조정 편집기(261f) 등을 포함하며, 재질 정보 계산부(262)는 선형 혼합을 위한 선형 혼합 계산기(262a), 부분 혼합을 위한 부분 혼합 계산기(262b), 계층 혼합을 위한 계층 혼합 계산기(262c), 복합 혼합을 위한 복합 혼합 계산기(262d), 장면 기하 요소의 특징에 따라 정밀도를 조정하기 위한 다중 해상도 계산기(262e), 색상 요소의 교환이나 강도 조정을 위한 색상 조정 계산기(262f) 등을 포함한다.
도 4는 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치를 구성하는 샘플링 처리부의 블록 구성도이다.
이에 나타낸 바와 같이 샘플링 처리부(30)는, 재질 정보에 대한 표형식의 누적밀도함수를 생성하여 역함수를 계산할 수 있도록 하는 표형식 누적밀도함수 계산기(311)를 포함하는 샘플링 전처리부(310)와, 표형식의 누적밀도함수를 입력 벡터의 샘플링에 활용하여 난수발생기를 이용해 중요 입사각을 샘플링하는 표형식 샘플링 계산기(321), 중요 입사각의 샘플링 결과를 비스플라인 볼륨 맞춤을 하여 샘플링 정보를 생성할 수 있는 비스플라인 샘플링 계산기(322)를 포함하는 샘플링 계산부(320)와, 샘플링 계산부(320)에 의한 샘플링 결과인 샘플링 정보를 수집하여 샘플링 정보 입출력부(340)를 통해 재질 정보 처리부(20) 및 재질감 표현부(40)에게 제공하여 재질감 표현에 이용되도록 하는 샘플링 정보 처리부(330) 등을 포함한다.
샘플링 전처리부(310)는 비스플라인 적분기(312), 경험적 누적밀도함수 계산기(313), 물리적 누적밀도함수 계산기(314) 등을 더 포함하며, 샘플링 계산부(320)는 경험적 샘플링 계산기(323), 물리적 샘플링 계산기(324) 등을 더 포함한다.
도면부호 110은 입력부(10)에 포함되는 사용자 입력부(110)이다. 사용자는 샘플링을 위한 각종 선택 정보를 입력할 때에 사용자 입력부(110)를 이용할 수 있다.
도 5는 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치를 구성하는 재질감 표현부의 블록 구성도이다.
이에 나타낸 바와 같이 재질감 표현부(40)는, 장면 정보 입력부(120)를 통해 입력되는 장면 정보와 재질 정보 처리부(20)에서 생성한 신규 재질 정보 및 샘플링 처리부(30)에서 생성한 샘플링 정보를 이용하여 렌더링을 수행할 수 있는 렌더링부(420)와, 렌더링의 수행 결과에 따라 출력부(50)에 포함된 이미지 출력부(520)를 통해 표면 재질을 이미지 형식으로 표현할 수 있는 표면 재질 표현부(410) 등을 포함한다.
도면부호 110은 입력부(10)에 포함되는 사용자 입력부(110)이다. 사용자는 렌더링을 위한 각종 선택 정보를 입력할 때에 사용자 입력부(110)를 이용할 수 있다.
이하, 전술한 바와 같이 구성된 본 발명의 실시예에 따른 영상 생성 장치에 의한 영상 생성 과정을 도 6 내지 도 13을 추가로 참조하여 설명하기로 한다. 아래에서는 표면 재질 정보가 양방향 반사율 분포 함수(BRDF) 형태로 주어지는 실시예에 대해서 설명한다.
먼저, 도 6을 참조하여 본 발명의 실시예에 따른 영상 생성 방법을 살펴보면, 입력 질감을 측정한 측정 데이터를 원시 재질 데이터 형태로 변환하여 획득한 재질 정보에 대해 입력된 선택 정보에 따른 재질 모델 맞춤 및 재질 혼합을 통해 신규 재질 정보를 생성하는 단계(S60)와, 재질 정보를 선택 정보에 따라 샘플링하여 샘플링 정보를 생성하는 단계(S70)와, 선택 정보에 포함된 장면 정보와 신규 재질 정보 및 샘플링 정보를 이용한 렌더링을 수행하여 표면 재질을 표현하는 단계(S80) 등을 포함한다.
이와 같은 본 발명에 의한 단계 S60, S70, S80을 더 세부적으로 살펴보기로 한다.
BRDF 값은 입사된 빛의 양에 대한 반사된 빛의 양의 비율이다. 표면의 질감은 들어온 빛이 어떤 방향으로 어떤 양으로 반사되는가에 의해 결정된다. 따라서, BRDF는 표면 질감을 결정하는 매우 중요한 요소이다. 더불어 중용한 요소는 입사된 빛의 양, 주파수, 방향 등이다.
기본 BRDF는 표면의 한 점에 대해서 두 개의 벡터로 정의된다. 즉, 점에서 광원까지의 입사광 단위벡터 ωi와 점에서 눈 또는 카메라까지의 반사광 단위벡터 ωe이다.
공간의 단위벡터 ω는 극좌표계에서 2개의 변수로 표기된다: ω=(θ,φ). 상기 극좌표계에서 극점(zenith)으로부터 측정한 역고도(inverse altitude)는 θ로, 방위각(azimuth)은 φ로 표기한다. 역고도는 0에서 90, 방위각은 따라서, 기본 BRDF 함수의 정의역(domain)은 4개의 변수(θe,φe;θi,φi)에 대해 정의되는 4차원 함수이다.
확장 BRDF는 두 벡터 외에, 표면의 위치 및 온도, 광원 주파수로 정의될 수 있다. 따라서, 확장 BRDF는 5차원 이상의 함수이다.
본 발명에서 사용되는 재질 정보는 BRDF 함수의 정의역의 차원에 영향을 받지 않는다. 즉, 임의 차원에 대해서 확장 가능한 장점이 있다. 이는 고차원의 비스플라인(high-dimensional B-spline volume)을 기본 재질감 표현 형식으로 사용하기 때문에 가능하다.
일반적으로 비스플라인은 컴퓨터 그래픽스나 CAD 분야에서 곡선이나 곡면을 표현하기 위해 사용된다. 곡선을 나타내는 경우는 1차원, 곡면을 나타내는 경우를 2차원으로 볼 수 있다. 이는 곡선, 곡면을 표현하기 위해 필요한 최소한의 인수의 개수, 또는 정의역의 차원과 일치한다. 본 발명에서는 기존의 비스플라인을 3차 이상으로 확장하여 사용한다. 이를 비스플라인 볼륨이라고 한다.
재질 정보 처리부(20)는 재질감 표현부(40)에서 사용 가능한 다양한 형식의 재질 정보를 생성한다. 재질 표현 형식은 크게, 측정 재질 정보를 원시 형태로 담 는 표 방식, 비스플라인 방식, 퐁(phong), 블린(blinn), 워드(ward), 라포츈(lafortune) 모델과 같은 경험적(현상적) 모델, 쿡-토런스(cook-torrance), 오렌-나야(oren-nayar)와 같은 물리적 모델 방식이 있다.
재질 측정부(210)는 입력 질감을 측정한다(S610). 물리 재질 측정기(212)는 실제 시료에 대해 카메라나 분광기를 이용하여 BRDF를 측정하며, 가상 재질 측정기(211)는 사용자가 명시한 값, 기존의 수학/물리 모델에서 출력된 값, 혼합된 복합 재질 모델 등에서 가상의 BRDF 값을 계산하는 것이다.
재질 정보 전처리부(220)는 재질 측정부(210)에 의한 측정 데이터를 원시 재질 데이터 형태로 변환하여 재질 모델 맞춤부(230)에게 제공한다(S620).
재질 모델 맞춤부(230)는 원시 재질 데이터를 표형식(tabular) 재질 모델, 비스플라인 재질 모델, 경험적(phenomena) 재질 모델, 물리적(physical) 재질 모델 중에서 어느 한 형식의 재질 정보로 생성한다. 예컨대, 비스플라인 볼륨 형식의 재질 데이터를 생성할 수 있다. 이를 위해 재질 모델 맞춤부(230)는 사용자가 입력하거나 명시한 원시 데이터(예를 들어, 표형식의 측정 재질감), 수학 재질 모델(예를 들어, 라포츈 모델), 질감 네트워크 모델(예를 들어, 쉐이더 네트워크(shader network))에 대해서 비스플라인 볼륨 맞춤(B-spline volume fitting)을 하여 출력할 수 있다.
이를 위해, 재질 모델 맞춤부(230)는 재질 정보 전처리부(220)로부터 제공받은 원시 재질 데이터에 대해서 표형식 재질 모델 맞춤기(231), 비스플라인 재질 모델 맞춤기(232), 경험적 재질 모델 맞춤기(233), 물리적 재질 모델 맞춤기(234) 등 을 이용하여 각 재질별 모델로 맞춤을 수행하여 모델 인수(model parameter)를 추출한다. 예를 들어, 워드 모델의 경우에 표면의 거칠기 등이 추출된다(S630).
재질 모델 맞춤부(230)에 의해 추출된 정보는 재질 정보 관리부(240)에 의해 재질 데이터 저장부(250)의 원시 재질 데이터 저장기(251), 복합 재질 데이터 저장기(252), 물리 재질 데이터 저장기(253) 등에 저장하여 관리한다. 물리 재질 데이터 저장기(253)는 실제 재료 시료들과 메타 정보를 모두 저장한다.
사용자가 입력부(10)를 통해 모델 맞춤에 필요한 맞춤 제어 정보, 예컨대 비스플라인 볼륨 맞춤에 필요한 맞춤 제어 정보인 제어점의 개수, 오차의 범위(허용 오차), 차수 등을 명시하고, 맞춤 방식으로 비스플라인 볼륨 맞춤을 선택하였다고 가정한다. 예컨대, (θe,φe;θi,φi)에 대해서 각각 (20, 80, 20, 80) 개의 제어점을 사용하고, 3차 기저 함수를 사용하며, 0.01의 오차 범위를 명시한다면 좋은 결과를 얻을 수 있다. 비스플라인 재질 모델 맞춤기(232)는 입력된 원시 재질 데이터와 맞춤 제어 정보를 바탕으로 맞춤 연산을 수행하고, 제어점과 절점 벡터(knot vector) 등 비스플라인 볼륨을 표현할 수 있는 정보를 출력하고, 이렇게 출력된 재질 정보를 재질 정보 관리부(240)가 재질 데이터 저장부(250)의 복합 재질 데이터 저장기(252)에 저장한다. 여기서, 원시 재질 데이터 저장기(251)는 원시 재질 데이터를 표형식으로 저장하며, 물리 재질 데이터 저장기(253)는 실제 재료 시료들과 메타 정보를 모두 저장한다. 인덱스는 (θe,φe;θi,φi)가 되고, 데이터 값은 반사율을 표현하는 수치이다. RGB 컬러 모델을 사용하는 경우에 3개의 실수값을 저장하 게 된다. 예를 들어, 역고도와 방위각을 각각 90과 360으로 나누는 경우, 90×360×90×360×3개의 실수를 저장하게 된다.
출력부(50)의 재질 정보 가시화부(510)는 모델 맞춤을 수행한 재질 정보를 재질 정보 관리부(240)로부터 제공받으며, 제공받은 재질 정보, 즉 재질 모델을 구면 좌표계 상의 로브(lobe)나 인수 평면에 가시화한다(S640). 전체적인 형상은 3차원으로 표현 가능하고, 특징 편집을 위해서는 2차원 단면 표현이 편리하다. 재질 정보 가시화부(510)는 측정 및 맞춤 정보의 확인, 재질 정보 편집에 활용된다. 도 10은 측정한 나일론(nylon) 재질(검은 선)에 대해서, 물리적 재질 모델의 하나인 쿡-토런스 모델을 이용하여 맞춤을 수행한 결과(적/녹/청색 선)를 보여준다. 도 10에서는 빛이 55도에서 입사되고 반대방향으로 반사되어 나갈 때의 적/녹/청 색상 요소별 반사율을 의미한다. 이러한 가시화 결과는 재질의 특성 및 맞춤의 품질을 파악하는데 도움이 된다. 도 11은 같은 측정 재질을 몇 가지 재질 모델로 맞춤을 수행한 결과를 보여준다. (a)는 비스플라인 재질 모델 맞춤의 결과이며, (b)는 쿡-토런스 재질 모델 맞춤의 결과이고, (c)는 라포츈 재질 모델 맞춤의 결과이다. 도 11에서 여러 가지의 맞춤 방식 중에서 비스플라인 재질 모델 맞춤 방식이 가장 품질이 좋음을 알 수 있다.
재질 정보 생성부(260)는 모델 맞춤을 수행한 재질 정보에 대해서 선형/부분/계층/복합 혼합 계산과 다중 해상도 재질감 정보 생성 및 색상 조정 기반의 계산 및 편집 기능을 제공하며, 이를 통해 신규 재질 정보를 생성하여 재질감 표현부(40)가 이를 바탕으로 재질감을 표현할 수 있도록 한다(S650). 이를 위해 재질 정보 생성부(260)는 재질 정보 편집부(261)와 재질 정보 계산부(262) 등을 포함한다. 재질 정보 편집부(261)는 선형 혼합 편집기(261a), 부분 혼합 편집기(261b), 계층 혼합 편집기(261c), 복합 혼합 편집기(261d), 다중 해상도 편집기(261e), 색상 조정 편집기(261f) 등을 포함하며, 재질 정보 계산부(262)는 선형 혼합 계산기(262a), 부분 혼합 계산기(262b), 계층 혼합 계산기(262c), 복합 혼합 계산기(262d), 다중 해상도 계산기(262e), 색상 조정 계산기(262f) 등을 포함한다.
선형 혼합은 두 재질 정보를 보간하여 중간적인 재질 정보를 생성하는 것이다. 예를 들어, 금 재질 정보와 플라스틱 재질 정보를 혼합하여 중간적인 재질 정보를 생성하는 것이다. 재질 혼합을 위해서는 두 재질의 표현 형식이 동일해야 한다. 예컨대, 퐁 재질과 라포츈 재질을 비스플라인 방식의 표현으로 변환하여 재질을 혼합하는 것이다. 재질 형식이 동일하면 대응하는 재질 모델 인수를 보간하면 된다. 재질 혼합을 위한 사용자 인터페이스는 재질 정보 편집부(261)가 입력부(10) 및/또는 출력부(50)를 통해 제공하고, 실제 필요한 계산은 재질 정보 계산부(262)에서 수행한다. 예컨대, 재질 정보 편집부(261)는 터치스크린 방식의 재질 정보 가시화부(510)를 통해 사용자 인터페이스 화면을 제공할 수 있다.
다른 재질 혼합도 유사하게 진행된다. 부분 혼합의 경우는 여러 재질의 특징을 각도별로 분리하여 혼합, 즉 부분적인 각도 단위로 혼합하는 것이다. 예를 들어, 위에서 입사되는 빛에 대해서는 플라스틱과 같은 특성이 있고, 낮게 입사되는 빛에 대해서는 금과 같은 특성을 갖도록 할 수 있다. 계층 혼합의 경우는 좀 더 복잡하다. 실제로 재질의 위/아래 순서와 두께를 고려하여 빛의 분산을 처리하는 계 산 부분이 추가되어야 한다. 복합 혼합 부분은 선형과 부분 및 계층 혼합을 복합적으로 처리하거나 추가로 재질 특성을 더하여 복합적으로 처리하는 방식이다.
다중 해상도 계산기(262e)는 재질이 적용되는 장면 기하 요소의 특징에 따라 정밀도를 조정할 수 있도록 하며, 주로 비스플라인 표현법에 적용된다. 사용자의 요구에 의해 서로 다른 제어점의 개수를 갖는 비스플라인 볼륨 BRDF를 출력한다. 이는 재질감 표현부(40)를 구성하는 렌더링부(420)의 계산 성능을 향상시키기 위한 것으로, 장면의 카메라에서 멀리 있는 물체의 질감을 표현하기 위해서는 단순화된 BRDF를 사용하는 것이 효과적이기 때문이다. 이를 위해 사용자는 다중 해상도 편집기(261e)에 의해 제공되는 사용자 인터페이스를 통해 최대, 최소 제어점의 개수, 다중 해상도의 단계를 명시한다. 예를 들어, 4단계로 명시할 경우, 제어점 개수를 (20, 80, 20, 80), (15, 60, 15, 60), (10, 40, 10, 40), (5, 20, 5, 20)의 네 가지로 변경하면서 곡선 맞춤을 수행한다.
색상 조정 계산기(262f)는 색상 조정 편집기(261f)에 의해 제공하는 사용자 인터페이스를 통한 간단한 편집을 위해 색상 요소의 교환이나 강도 조정을 지원한다.
한편, 현대의 렌더링 계산 방식은 대부분 몬테카를로(monte carlo) 적분 방법과 같은 통계적인 방법을 이용한다. 이 방법에서는 샘플들을 취하고 이 샘플에 대해서 함수값을 계산하고, 평균을 구해서 적분값을 근사화한다. 이때 샘플을 어떻게 생성하느냐는 계산 효율을 좌우하게 된다. 특히, 중요도 샘플링(importance sampling)을 하는 경우는 적분 값에 큰 영향을 주는 중요 영역, 즉 함수 값이 큰 도메인 영역에서 상대적으로 많은 샘플링을 하도록 하고 있다.
샘플링 전처리부(310)는 이러한 문제를 해결하기 위해서 BRDF 값에 비례하여 샘플을 생성하게 된다.
재질감의 경우는 BRDF 값이 큰 영역에서 많은 샘플링을 취해야 한다. BRDF의 값은 컬러 모델을 통해 계산한다. 예를 들어, RGB 컬러를 XYZ 컬러로 변환했을 때, Y 값이 BRDF 값의 크기로 볼 수 있다. 경우에 따라, RGB의 각 색상 요소에 대해서, 또는 주파수 영역에 대해서 독립적으로 샘플링을 할 수 있다.
렌더링시에 필요한 샘플은 일련의 벡터들이다. 즉, 카메라나 눈으로 향하는 빛의 반사 방향이 정해진 상황에서, 이 방향으로 상대적으로 많은 빛을 반사하는 입사각 방향으로 주로 샘플링을 하여 광선추적(ray tracing)이나 경로추적(path tracing)을 하게 된다.
극좌표계에서 벡터는 고도와 방위각을 이용하여 표현된다. 즉, 일반적인 컴퓨터가 제공하는 1차원 난수 발생기(1D random number generator)만으로는 한 점을 중심으로 기하학적으로 균일한 벡터를 생성(uniform hemisphere sampling)할 수가 없다. 이런 경우 변환기법이 개발되어 있지만, BRDF와 같이 그 형태가 단순하지 않은 경우에는, 주변 밀도(marginal density) 함수를 이용한 변환 기법을 사용하여야 한다.
본 발명에서는 BRDF 원시 데이터에 대해서 역고도값과 방위값에 대해서 주변밀도함수를 계산하고, 이를 해시 테이블(hash table) 등의 자료구조에 저장하여 역함수 형식으로 검색 가능하게 한다. 이때, 표형식 누적밀도함수 계산기(311)는 렌 더링 공식의 특성상 역고도값에 대한 코사인 값을 가중치로 적용한다(S710).
다음에는, [0,1] 범위의 1차원 난수 발생기의 입력에 대해서 역함수 값을 쉽게 찾도록 하고, 이를 결과적으로 샘플링 계산부(320)의 표형식 샘플링 계산기(321)가 입력 벡터의 샘플링에 활용한다.
이때 비스플라인 샘플링 계산기(322)는 원시 샘플링 테이블의 용량이 매우 커지는 것을 방지하기 위해서는 비스플라인 볼륨 맞춤을 적용할 수 있다. 즉, 원시 샘플링 테이블에 대해서 비스플라인 볼륨 맞춤을 수행하고, 결점 벡터와 제어점 만을 해시 테이블 등의 자료구조에 저장하여 역함수 검색 속도를 높일 수 있다(S720). 더 정확한 계산을 위해 비스플라인 적분기(312)를 통해 비스플라인 볼륨을 수학적으로 적분하여 주변밀도함수를 직접 계산할 수도 있다. 수학적인 적분을 위해서는 기저 함수의 적분을 사용하면 된다.
수학식으로 표현되는 재질 정보는 누적밀도함수가 역시 수학적으로 정의되기 때문에 별도의 과정을 거칠 필요가 없지만, 계산의 가속 등을 위해 경험적 누적밀도함수 계산기(313) 또는 물리적 누적밀도함수 계산기(314)를 통해 별도의 계산과정을 거칠 수도 있으며, 경험적 샘플링 계산기(323) 또는 물리적 샘플링 계산기(324)에 의해 샘플링된다.
샘플링 정보 처리부(330)는 샘플링 계산부(320)에 의한 샘플링 결과인 샘플링 정보를 수집하여 샘플링 정보 입출력부(340)를 통해 재질 정보 처리부(20) 및 재질감 표현부(40)에게 제공하여 재질감 표현에 이용되도록 한다.
재질 정보 처리부(20)에 의해 재질 정보가 준비되고 샘플링 처리부(30)에 의 해 샘플링 정보가 준비되면(S810), 재질감 표현부(40)는 장면 정보 입력부(120)를 통해 주어진 장면 정보를 이용(S820)하여 렌더링부(420)에서 표면 재질을 렌더링하며(S830), 그 렌더링 결과에 따라 출력부(50)를 구성하는 이미지 출력부(520)를 통해 재질감을 표현할 수 있다(S840). 이때, 장면 정보 입력부(120)를 통해 입력되는 장면 정보는 재질 정보 외의 모든 요소를 포함한다고 볼 수 있다. 예를 들어, 표면의 모양, 조명, 카메라, 텍스처 등이 이에 해당한다. 물론, 본 발명의 BRDF 형식이 아닌 일반적인 쉐이더 네트워크도 장면 정보로 입력하여 렌더링부(420)에서 처리할 수 있다. 표면 재질 표현부(410)는 렌더링부(420)의 렌더링 결과를 이미지 출력부(520)를 통해 이미지 형식으로 출력한다.
도 12는 다양한 질감 정보에 대해서 표면 질감을 표현한 영상 생성 예시도이고, 도 13은 동일한 측정 재질감 정보를 다양한 질감 모델로 맞춤하여 표면 질감을 표현한 영상 생성 예시도이다. 도 13에서 (a)는 측정 데이터이며, (b)는 비스플라인 재질 모델 맞춤의 영상 생성 결과이며, (c)는 쿡-토런스 재질 모델 맞춤의 영상 생성 결과이고, (d)는 라포츈 재질 모델 맞춤의 영상 생성 결과이다.
BRDF 데이터가 입력되는 경우는 재질 정보 처리부(20)의 재질 정보 계산부(262)에서 역고도와 방위각에 해당하는 BRDF 값을 전달하게 된다.
비스플라인 볼륨 형태의 질감 정보에 대해서는 재질 정보 계산부(262)에 비스플라인을 전개(evaluation)하여 BRDF 값을 찾게 된다. 재질 정보 계산부(262)에는 빠른 비스플라인 전개 방법이 구현되어야 한다. 이는 컴퓨터 소프트웨어, GPU, 전용 하드웨어(예컨대, FPGA) 등으로 구현될 수 있다.
샘플링 정보는 원시 데이터나 비스플라인 볼륨 형태, 수학식 형태로 입력된다. 만약, 샘플링 정보가 입력되지 않는다면, 코사인을 가중치로 하는 기하학적 균일한 샘플링(cosine weighted uniform hemisphere sampling)을 기본적(default)으로 사용하게 된다.
비스플라인 볼륨 형태로 샘플링 정보가 주어지는 경우에는 샘플링 계산부(320)에서 비스플라인 전개와 두 쌍의 난수 발생기를 통해 실제 샘플링 정보를 생성한다.
한편, 재질 정보 처리부(20)의 재질 정보 생성부(260)를 구성하는 재질 정보 계산부(262)에서 다중 해상도와 재질 혼합을 수행하기도 하지만, 렌더링 계산하는 도중에도 다중 해상도와 재질 혼합을 계산할 수 있다.
사용자는 이미지 출력부(520)를 통해 출력된 이미지를 보고 장면 정보 입력부(120)의 조명을 조정하거나, 재질 정보 편집부(261)를 통해 재질 정보를 수정하여 다시 렌더링을 하게 된다. 이때 재질 정보 가시화부(510)가 도움이 된다. 특별한 전처리를 과정을 거치게 되면 재질 정보 변경의 영향을 실시간으로 이미지 출력부(520)를 통해 확인할 수 있다.
본 발명에 의한 측정 재질감을 지원하는 영상 생성 방법은 컴퓨터 프로그램으로 작성 가능하다. 이 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 측정 재질감을 지원하는 영상 생성 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
지금까지 본 발명에 대하여 그 일부 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치의 블록 구성도,
도 2는 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치를 구성하는 재질 정보 처리부의 블록 구성도,
도 3은 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치를 구성하는 재질 정보 처리부 내의 재질 정보 생성부에 대한 블록 구성도,
도 4는 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치를 구성하는 샘플링 처리부의 블록 구성도,
도 5는 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치를 구성하는 재질감 표현부의 블록 구성도,
도 6은 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치에 의한 영상 생성 방법을 설명하기 위한 흐름도,
도 7 내지 도 9는 도 6은 본 발명의 실시예에 따라 측정 재질감을 지원하는 영상 생성 장치에 의한 영상 생성 방법의 세부적인 과정을 설명하기 위한 흐름도,
도 10은 측정 재질감에 대한 수학 모델 맞춤 결과에 대한 가시화 예시도,
도 11은 측정 재질감에 대한 다양한 모델에 대한 결과를 비교하는 가시화 예시도,
도 12는 다양한 질감 정보에 대해서 표면 질감을 표현한 영상 생성 예시도,
도 13은 동일한 측정 재질감 정보를 다양한 질감 모델로 맞춤하여 표면 질감 을 표현한 영상 생성 예시도.
<도면의 주요 부분에 대한 부호의 설명>
10 : 입력부 20 : 재질 정보 처리부
30 : 샘플링 처리부 40 : 재질감 표현부
50 : 출력부 110 : 사용자 입력부
120 : 장면 정보 입력부 210 : 재질 측정부
220 : 재질 정보 전처리부 230 : 재질 모델 맞춤부
240 : 재질 정보 관리부 250 : 재질 데이터 저장부
260 : 재질 정보 생성부 310 : 샘플링 전처리부
320 : 샘플링 계산부 330 : 샘플링 정보 처리부
340 : 샘플링 정보 입출력부 410 : 표면 재질 표현부
420 : 렌더링부 510 : 재질 정보 가시화부
520 : 이미지 출력부

Claims (20)

  1. 재질 정보의 처리와 샘플링 및 렌더링을 위한 선택 정보를 입력할 수 있는 입력부와,
    입력 질감을 측정한 측정 데이터를 원시 재질 데이터 형태로 변환하여 획득한 상기 재질 정보에 대해 상기 선택 정보에 따른 재질 모델 맞춤 및 재질 혼합을 통해 신규 재질 정보를 생성할 수 있는 재질 정보 처리부와,
    상기 재질 정보를 샘플링하여 샘플링 정보를 생성할 수 있는 샘플링 처리부와,
    상기 선택 정보에 포함된 장면 정보와 상기 신규 재질 정보 및 상기 샘플링 정보를 이용한 렌더링을 수행하여 표면 재질을 표현할 수 있는 재질감 표현부와,
    상기 재질 모델 맞춤을 수행한 상기 재질 정보를 가시화하거나 상기 재질감 표현부가 표현한 상기 표면 재질을 출력할 수 있는 출력부
    를 포함하는 측정 재질감을 지원하는 영상 생성 장치.
  2. 제 1 항에 있어서,
    상기 재질 정보 처리부는,
    물리적 재질 시료 및 질감 모델로부터 질감 정보를 측정하여 상기 측정 데이터를 획득할 수 있는 재질 측정부와,
    상기 측정 데이터를 원시 재질 데이터의 형태로 변환할 수 있는 재질 정보 전처리부와,
    상기 원시 재질 데이터에 대해서 상기 선택 정보에 따른 상기 재질 모델 맞춤을 수행하여 모델 인수를 추출할 수 있는 재질 모델 맞춤부와,
    상기 선택 정보에 따른 상기 재질 정보의 상기 재질 혼합을 통해 상기 신규 재질 정보를 생성할 수 있는 재질 정보 생성부와,
    상기 재질 정보 및 상기 신규 재질 정보를 저장 및 관리하면서 상기 재질감 표현부에게 제공할 수 있는 재질 정보 관리부
    를 포함하는 측정 재질감을 지원하는 영상 생성 장치.
  3. 제 2 항에 있어서,
    상기 재질 모델 맞춤부는, 상기 원시 재질 데이터를 표형식(tabular) 재질 모델 맞춤기, 비스플라인 재질 모델 맞춤기, 경험적(phenomena) 재질 모델 맞춤기, 물리적(physical) 재질 모델 맞춤기 중에서 어느 한 형식의 맞춤기를 통해 상기 재질 모델 맞춤을 수행할 수 있는
    측정 재질감을 지원하는 영상 생성 장치.
  4. 제 3 항에 있어서,
    상기 비스플라인 재질 모델 맞춤기는, 상기 선택 정보에 포함된 모델 맞춤에 필요한 맞춤 제어 정보와 상기 원시 재질 데이터를 이용하여 다차원의 비스플라인 볼륨 맞춤을 수행하여 그 결과를 출력할 수 있는
    측정 재질감을 지원하는 영상 생성 장치.
  5. 제 2 항에 있어서,
    상기 재질 정보 생성부는,
    상기 재질 혼합에 필요한 상기 선택 정보를 입력받기 위해 상기 입력부 또는 상기 출력부를 통해 사용자 인터페이스를 제공할 수 있는 재질 정보 편집부와,
    상기 사용자 인터페이스를 통해 입력되는 상기 선택 정보에 따라 선형 혼합, 부분 혼합, 계층 혼합, 복합 혼합 중에서 어느 하나의 혼합을 통해 상기 신규 재질 정보를 생성할 수 있는 재질 정보 계산부
    를 포함하는 측정 재질감을 지원하는 영상 생성 장치.
  6. 제 5 항에 있어서,
    상기 재질 정보 계산부는, 상기 선형 혼합을 위한 선형 혼합 계산기, 상기 부분 혼합을 위한 부분 혼합 계산기, 상기 계층 혼합을 위한 계층 혼합 계산기, 상기 복합 혼합을 위한 복합 혼합 계산기 중에서 어느 하나의 혼합 계산기와 장면 기하 요소의 특징에 따라 정밀도를 조정하기 위한 다중 해상도 계산기 또는 색상 요소의 교환이나 강도 조정을 위한 색상 조정 계산기
    를 포함하는 측정 재질감을 지원하는 영상 생성 장치.
  7. 제 1 항에 있어서,
    상기 샘플링 처리부는,
    상기 재질 정보에 대한 표형식의 누적밀도함수를 생성하여 역함수를 계산할 수 있도록 하는 표형식 누적밀도함수 계산기를 포함하는 샘플링 전처리부와,
    상기 표형식의 누적밀도함수를 입력 벡터의 샘플링에 활용하여 난수발생기를 이용해 중요 입사각을 샘플링하는 표형식 샘플링 계산기, 상기 중요 입사각의 샘플링 결과를 비스플라인 볼륨 맞춤을 하여 상기 샘플링 정보를 생성할 수 있는 비스플라인 샘플링 계산기를 포함하는 샘플링 계산부
    를 포함하는 측정 재질감을 지원하는 영상 생성 장치.
  8. 제 7 항에 있어서,
    상기 샘플링 전처리부는, 상기 재질 정보에 대한 비스플라인 볼륨을 수학적으로 적분하여 주변밀도함수를 계산할 수 있는 비스플라인 적분기
    를 포함하는 측정 재질감을 지원하는 영상 생성 장치.
  9. 제 7 항에 있어서,
    상기 샘플링 전처리부는, 수학식으로 표현되는 상기 재질 정보에 대해 각각의 누적밀도함수를 계산할 수 있는 경험적 누적밀도함수 계산기 및 물리적 누적밀도함수 계산기를 포함하며,
    상기 샘플링 계산부는, 상기 경험적 누적밀도함수 계산기의 출력을 샘플링할 수 있는 경험적 샘플링 계산기, 상기 물리적 누적밀도함수 계산기의 출력을 샘플링 할 수 있는 물리적 샘플링 계산기를 포함하는
    측정 재질감을 지원하는 영상 생성 장치.
  10. 제 1 항에 있어서,
    상기 재질감 표현부는,
    상기 장면 정보와 상기 신규 재질 정보 및 상기 샘플링 정보를 이용하여 렌더링을 수행할 수 있는 렌더링부와,
    상기 렌더링의 수행 결과에 따라 상기 출력부에 포함된 이미지 출력부를 통해 상기 표면 재질을 이미지 형식으로 표현할 수 있는 표면 재질 표현부
    를 포함하는 측정 재질감을 지원하는 영상 생성 장치.
  11. 입력 질감을 측정한 측정 데이터를 원시 재질 데이터 형태로 변환하여 획득한 재질 정보에 대해 입력된 선택 정보에 따른 재질 모델 맞춤 및 재질 혼합을 통해 신규 재질 정보를 생성하는 단계와,
    상기 재질 정보를 상기 선택 정보에 따라 샘플링하여 샘플링 정보를 생성하는 단계와,
    상기 선택 정보에 포함된 장면 정보와 상기 신규 재질 정보 및 상기 샘플링 정보를 이용한 렌더링을 수행하여 표면 재질을 표현하는 단계
    를 포함하는 측정 재질감을 지원하는 영상 생성 방법.
  12. 제 11 항에 있어서,
    상기 신규 재질 정보를 생성하는 단계는,
    물리적 재질 시료 및 질감 모델로부터 질감 정보를 측정하여 상기 측정 데이터를 획득하는 단계와,
    상기 측정 데이터를 원시 재질 데이터의 형태로 변환하는 단계와,
    상기 원시 재질 데이터에 대해서 상기 선택 정보에 따른 상기 재질 모델 맞춤을 수행하여 모델 인수를 추출하는 단계와,
    상기 선택 정보에 따른 상기 재질 정보의 상기 재질 혼합을 거쳐 상기 신규 재질 정보를 생성하는 단계
    를 포함하는 측정 재질감을 지원하는 영상 생성 방법.
  13. 제 12 항에 있어서,
    상기 추출하는 단계는, 상기 원시 재질 데이터를 표형식(tabular) 재질 모델 맞춤, 비스플라인 재질 모델 맞춤, 경험적(phenomena) 재질 모델 맞춤, 물리적(physical) 재질 모델 맞춤 중에서 어느 한 형식의 맞춤을 통해 상기 모델 인수를 추출하는
    측정 재질감을 지원하는 영상 생성 방법.
  14. 제 13 항에 있어서,
    상기 추출하는 단계는, 상기 선택 정보에 포함된 모델 맞춤에 필요한 맞춤 제어 정보와 상기 원시 재질 데이터를 이용하여 다차원의 비스플라인 볼륨 맞춤을 수행하여 그 결과를 출력하는
    측정 재질감을 지원하는 영상 생성 방법.
  15. 제 12 항에 있어서,
    상기 재질 혼합을 거쳐 상기 신규 재질 정보를 생성하는 단계는,
    상기 재질 혼합에 필요한 상기 선택 정보를 입력받기 위해 사용자 인터페이스를 제공하는 단계와,
    상기 사용자 인터페이스를 통해 입력되는 상기 선택 정보에 따라 선형 혼합, 부분 혼합, 계층 혼합, 복합 혼합 중에서 어느 하나의 혼합을 통해 상기 신규 재질 정보를 생성하는 단계
    를 포함하는 측정 재질감을 지원하는 영상 생성 방법.
  16. 제 15 항에 있어서,
    상기 어느 하나의 혼합을 통해 상기 신규 재질 정보를 생성하는 단계는,
    상기 선형 혼합을 위한 선형 혼합 계산, 상기 부분 혼합을 위한 부분 혼합 계산, 상기 계층 혼합을 위한 계층 혼합 계산, 상기 복합 혼합을 위한 복합 혼합 계산 중에서 어느 하나의 혼합 계산과 장면 기하 요소의 특징에 따라 정밀도를 조정하기 위한 다중 해상도 계산 또는 색상 요소의 교환이나 강도 조정을 위한 색상 조정 계산
    을 수행하는 측정 재질감을 지원하는 영상 생성 방법.
  17. 제 11 항에 있어서,
    상기 샘플링 정보를 생성하는 단계는,
    상기 재질 정보에 대한 표형식의 누적밀도함수를 생성하여 역함수를 계산할 수 있도록 하는 단계와,
    상기 표형식의 누적밀도함수를 입력 벡터의 샘플링에 활용하여 난수발생기를 이용해 중요 입사각을 샘플링한 후, 이 샘플링 결과를 비스플라인 볼륨 맞춤을 하여 상기 샘플링 정보를 생성하는 단계
    를 포함하는 측정 재질감을 지원하는 영상 생성 방법.
  18. 제 17 항에 있어서,
    상기 역함수를 계산할 수 있도록 하는 단계는, 상기 재질 정보에 대한 비스플라인 볼륨을 수학적으로 적분하여 주변밀도함수를 계산하는
    측정 재질감을 지원하는 영상 생성 방법.
  19. 제 17 항에 있어서,
    상기 역함수를 계산할 수 있도록 하는 단계는, 수학식으로 표현되는 상기 재질 정보에 대해 경험적 누적밀도함수 및 물리적 누적밀도함수를 계산하며,
    상기 비스플라인 볼륨 맞춤을 하여 상기 샘플링 정보를 생성하는 단계는, 상 기 경험적 누적밀도함수를 샘플링하거나 상기 물리적 누적밀도함수를 샘플링하는
    측정 재질감을 지원하는 영상 생성 방법.
  20. 제 11 항에 있어서,
    상기 표면 재질을 표현하는 단계는,
    상기 장면 정보와 상기 신규 재질 정보 및 상기 샘플링 정보를 이용하여 렌더링을 수행하는 단계와,
    상기 렌더링의 수행 결과에 따라 상기 표면 재질을 이미지 형식으로 표현하는 단계
    를 포함하는 측정 재질감을 지원하는 영상 생성 방법.
KR1020090026296A 2008-12-01 2009-03-27 측정 재질감을 지원하는 영상 생성 장치 및 방법 KR101159162B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/627,202 US8791951B2 (en) 2008-12-01 2009-11-30 Image synthesis apparatus and method supporting measured materials properties

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080120786 2008-12-01
KR1020080120786 2008-12-01

Publications (2)

Publication Number Publication Date
KR20100062823A KR20100062823A (ko) 2010-06-10
KR101159162B1 true KR101159162B1 (ko) 2012-06-26

Family

ID=42363028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090026296A KR101159162B1 (ko) 2008-12-01 2009-03-27 측정 재질감을 지원하는 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101159162B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101353303B1 (ko) 2012-07-09 2014-01-22 삼성전자주식회사 그래픽 처리 유닛, 그래픽 처리 유닛을 갖춘 영상 처리 장치 및 그래픽 처리 유닛을 이용한 영상 처리 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102292619B1 (ko) * 2014-01-23 2021-08-23 삼성전자주식회사 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070174A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법
JP2007026312A (ja) 2005-07-20 2007-02-01 Toshiba Corp テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム
JP2007140820A (ja) 2005-11-17 2007-06-07 Dainippon Printing Co Ltd レンダリング用テクスチャデータの作成方法
KR100901270B1 (ko) 2007-12-15 2009-06-09 한국전자통신연구원 표면 질감 표현 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070174A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법
JP2007026312A (ja) 2005-07-20 2007-02-01 Toshiba Corp テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム
JP2007140820A (ja) 2005-11-17 2007-06-07 Dainippon Printing Co Ltd レンダリング用テクスチャデータの作成方法
KR100901270B1 (ko) 2007-12-15 2009-06-09 한국전자통신연구원 표면 질감 표현 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101353303B1 (ko) 2012-07-09 2014-01-22 삼성전자주식회사 그래픽 처리 유닛, 그래픽 처리 유닛을 갖춘 영상 처리 장치 및 그래픽 처리 유닛을 이용한 영상 처리 방법

Also Published As

Publication number Publication date
KR20100062823A (ko) 2010-06-10

Similar Documents

Publication Publication Date Title
Bruckner et al. Style transfer functions for illustrative volume rendering
Donner et al. An empirical BSSRDF model
KR100901270B1 (ko) 표면 질감 표현 시스템 및 방법
AU2003294327A1 (en) Visible surface determination system and methodology in computer graphics using interval analysis
CN108230433B (zh) 3d地图散点数据展示方法及系统、信息数据处理终端
AU2017204504A1 (en) System and method of rendering a graphical object with modification in structure
Velinov et al. Real‐time rendering of wave‐optical effects on scratched surfaces
JP5215374B2 (ja) 複雑な材質感情報処理装置及び方法
US8791951B2 (en) Image synthesis apparatus and method supporting measured materials properties
US20220222842A1 (en) Image reconstruction for virtual 3d
KR101159162B1 (ko) 측정 재질감을 지원하는 영상 생성 장치 및 방법
NO324930B1 (no) Anordning og fremgangsmate for beregning av rasterdata
Sun et al. MFA-DVR: direct volume rendering of MFA models
Dong et al. A time-critical adaptive approach for visualizing natural scenes on different devices
Schmitz et al. Efficient and quality contouring algorithms on the GPU
KR101286653B1 (ko) 복잡한 재질감 정보 처리 장치 및 방법
JP2004252603A (ja) 三次元データ処理方法
Wang et al. Precomputed multiple scattering for rapid light simulation in participating media
De Toledo et al. Geometry textures and applications
Congote et al. Volume ray casting in WebGL
Yao et al. Fully automated registration of 3D CT data to CAD model for surface deviation measurement
Qian et al. Vector solid texture synthesis using unified RBF-based representation and optimization
Luo et al. Slice-based ray casting volume shadow of volumetric datasets
Feng et al. Realistic reconstruction of trees from sparse images in volumetric space
Meyer Real-Time Geometry Decompression on Graphics Hardware

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160524

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170425

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180614

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190618

Year of fee payment: 8