KR100897006B1 - 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법 - Google Patents

실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법 Download PDF

Info

Publication number
KR100897006B1
KR100897006B1 KR1020070086597A KR20070086597A KR100897006B1 KR 100897006 B1 KR100897006 B1 KR 100897006B1 KR 1020070086597 A KR1020070086597 A KR 1020070086597A KR 20070086597 A KR20070086597 A KR 20070086597A KR 100897006 B1 KR100897006 B1 KR 100897006B1
Authority
KR
South Korea
Prior art keywords
map
coordinates
image
coordinate
dimensional
Prior art date
Application number
KR1020070086597A
Other languages
English (en)
Other versions
KR20090021778A (ko
Inventor
김종협
홍현기
황용호
한은호
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020070086597A priority Critical patent/KR100897006B1/ko
Publication of KR20090021778A publication Critical patent/KR20090021778A/ko
Application granted granted Critical
Publication of KR100897006B1 publication Critical patent/KR100897006B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법이 개시된다. 상기 영상 합성방법은 카메라를 통하여 영상 처리된 실제영상을 실시간으로 수신하고 수신된 실제영상에 기초하여 환경 맵을 생성하는 단계; 및 상기 환경 맵에 합성될 가상물체의 전반사 및 난반사 중에서 적어도 어느 하나를 계산하고 계산결과에 기초하여 상기 환경 맵에 상기 가상 물체 영상을 합성하는 단계를 포함하여 실시간으로 변동될 수 있는 실제영상을 반영할 수 환경 맵에 기초하여 영상을 합성함으로써 보다 사실적인 영상 합성이 가능하다.
영상 합성, 환경 맵

Description

실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법{Image synthesizer capable of compositing image by real-time and method thereof}
본 발명은 영상 합성기술에 관한 것으로, 보다 상세하게는 환경 맵에 기초하여 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법에 관한 것이다.
컴퓨터 그래픽스(computer graphics)는 컴퓨터를 이용하여 실물이나 가상의 객체를 형상화하고 움직임을 부여하는 기술 분야를 말한다. 오늘날 상기 컴퓨터 그래픽스는 현실과 구분할 수 없을 정도의 기술의 발전과 함께 영화, 게임, VR, 산업용 디스플레이, 화상통신 등 디지털 콘텐츠 전 분야에서 그 활용도가 높아지고 있다.
특히, 실제 영상에 임의의 가상 물체를 사실적으로 합성하는 기술은 증강현실(augmented reality)과 디지털 시각 효과(digital visual effect) 등의 분야에서 활발하게 이용된다. 일반적으로 가상 물체가 실제 영상에 존재하는 것처럼 보이는 사실적인 합성 영상을 렌더링하기 위해서는 주변 환경에 존재하는 조명정보들이 필요하다.
그러나 실제 주변 환경에서 상기 조명정보의 영향을 모두 고려하여 가상 물 체를 사실적으로 합성하는 기술(예컨대, 전역조명(global illumination) 모델 등)은 많은 계산량과 이에 따른 메모리가 요구될 수 있다.
최근에는 가상 물체 표면에서 발생하는 전반사(specular reflection)를 빠르게 계산하여 근사적으로 표현하는 환경 맵(environment map)이 제안되었으며, 상기 환경 맵에 기초하여 주변 환경으로부터 임의의 지점에 입사되는 래디언스(radiance) 정보를 텍스처로 이용하여 렌더링하는 기법이 연구되었다.
그러나 관련기술에 따른 영상 합성기술에 의하면 영상의 렌더링시 연산량의 증가에 따라 합성시간이 많이 소요될 수 있다.
또한, 상기 환경 맵은 실시간으로 변동될 수 있는 영상 시퀀스를 반영할 수 없는 단점이 있어 보다 사실적인 영상 합성을 위하여 상기 환경 맵에 실시간으로 취득되는 영상 시퀀스를 반영하여 래디언스 텍스처로서 활용하는 기술이 필요한 실정이다.
따라서 본 발명이 이루고자 하는 기술적인 과제는 실시간으로 변동될 수 있는 영상 시퀀스를 반영할 수 환경 맵을 생성하여 보다 사실적인 영상 합성이 가능한 영상 합성기 및 그 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적인 과제는 가상 물체의 영상 합성시 연산시간을 줄일 수 있는 영상 합성기 및 그 방법을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 영상 합성 방법은 카메라를 통하여 영상 처리된 실제영상을 실시간으로 수신하고 수신된 실제영상에 기초하여 환경 맵을 생성하는 단계; 및 상기 환경 맵에 합성될 가상물체의 전반사 및 난반사 중에서 적어도 어느 하나를 계산하고 계산결과에 기초하여 상기 환경 맵에 상기 가상 물체 영상을 합성하는 단계를 포함할 수 있다.
상기 환경 맵을 생성하는 단계는, 3차원 좌표 값을 포함하는 3차원 정보가 정규화된 2차원 좌표 값을 포함하는 구 좌표맵(FBO1)에 기초하여 상기 2차원 좌표 값이 기준범위 내에 속하는지 판단하는 판단하고 판단결과에 기초하여 상기 2차원 좌표 값 또는 미리 저장된 큐브 맵에 저장된 컬러 값을 미리 결정된 좌표 맵의 좌표들 중에서 대응되는 좌표에 저장하여 좌표변환 맵을 생성하는 단계; 및 상기 좌표변환 맵의 좌표들 각각이 렌즈를 통하여 입력된 영상의 텍스처를 구성하는 텍셀들 각각의 좌표와 일치하는지 판단하고 판단 결과에 기초하여 상기 텍셀들 중에서 대응되는 텍셀의 컬러 값 또는 상기 큐브 맵에 저장된 컬러 값을 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하는 환경 맵 생성 단계를 포함할 수 있다.
상기 영상 합성방법은, 상기 좌표변환 맵 생성 단계 전에, 상기 3차원 좌표 값(V3)을 포함하는 상기 3차원 정보를 정규화하고 정규화된 상기 2차원 좌표 값을 포함하는 상기 구 좌표맵을 생성하는 단계를 더 포함할 수 있다.
상기 구 좌표맵을 생성하는 단계는, 상기 3차원 좌표 값을 2차원 매개 좌표 값과 매개 각도로 변환하는 단계; 및 상기 2차원 매개 좌표 값과 상기 매개 각도에 기초하여 상기 2차원 좌표 값을 생성하는 단계를 포함하며, 상기 2차원 좌표 값은,
Figure 112007062620704-pat00001
(여기서, 상기 xf와 상기 yf는 상기 2차원 좌표 값, 상기 su와 상기 sv는 서로 같거나 다른 정수, 상기 V2는 상기 2차원 매개 좌표 값, 상기 θ는 상기 매개 각도, 상기 r(θ)는 sinθ, 및 상기 tu와 tv는 서로 같거나 다른 정수일 수 있다.
상기 기준범위는, 상기 환경 맵의 넓이, 높이, 상기 렌즈를 통하여 입력된 영상의 지름 또는 반지름 및 상기 카메라의 렌즈의 시계범위 중에서 적어도 어느 하나를 포함할 수 있다.
상기 큐브 맵은, 상기 렌즈를 통하여 입력된 적어도 하나의 입력 영상에 기초하여 미리 생성되어 저장될 수 있다.
상기 좌표변환 맵을 생성하는 단계는, 상기 2차원 좌표 값이 상기 기준범위 내에 속하는 경우 상기 2차원 좌표 값을 상기 좌표변환 맵의 좌표들 중에서 대응되는 좌표에 저장하고, 속하지 않는 경우 상기 컬러 값을 상기 좌표변환 맵의 좌표들 중에서 대응되는 좌표에 저장하는 단계를 포함할 수 있다.
상기 환경 맵 생성 단계는, 상기 좌표변환 맵의 좌표가 상기 렌즈를 통하여 입력된 상기 텍스처를 구성하는 텍셀의 좌표와 일치하는 경우 상기 텍셀의 컬러 값 을 상기 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하고, 일치하지 않는 경우 상기 큐브 맵에 저장된 컬러 값을 상기 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하는 단계를 포함할 수 있다.
상기 렌즈는 어안렌즈일 수 있다.
상기 환경 맵에 상기 가상 물체 영상을 합성하는 단계는, 상기 전반사 및 난반사 중에서 적어도 어느 하나의 계산결과를 물체 표면의 특성에 따라 선형 보간하여 쉐이딩하여 상기 실제영상에 상기 가상물체의 이미지를 합성하는 단계를 포함할 수 있다.
상기 전반사는, 상기 가상물체의 표면에 형성되는 시점벡터 및 노멀벡터에 기초하여 반사벡터를 계산하고 상기 환경 맵의 좌표들 중에서 계산된 반사벡터에 상응하는 좌표에 저장된 컬러 값에 기초하여 계산될 수 있다.
상기 난반사는, 상기 가상물체에 반사되는 일래디언스를 다수의 구 하모닉스 계수들로서 계산하고 계산결과에 기초하여 산출될 수 있다.
상기 기술적 과제를 달성하기 위한 영상 합성기는 카메라를 통하여 영상 처리된 실제영상을 실시간으로 수신하고 수신된 실제영상에 기초하여 환경 맵을 생성하는 환경 맵 생성부; 및 상기 환경 맵에 합성될 가상물체의 전반사 및 난반사 중에서 적어도 어느 하나를 계산하고 계산결과에 기초하여 상기 환경 맵에 상기 가상 물체 영상을 합성하는 가상 물체 합성부를 포함할 수 있다.
상기 환경 맵 생성부는, 상기 3차원 좌표 값을 포함하는 상기 3차원 정보를 정규화하고 정규화된 상기 2차원 좌표 값을 포함하는 상기 구 좌표맵을 생성하는 정규화부; 상기 구 좌표맵에 기초하여 상기 2차원 좌표 값이 기준범위 내에 속하는지 판단하는 판단하고 판단결과에 기초하여 상기 2차원 좌표 값 또는 미리 저장된 큐브 맵에 저장된 컬러 값을 미리 결정된 좌표 맵의 좌표들 중에서 대응되는 좌표에 저장하여 좌표변환 맵을 생성하는 좌표변환 맵 생성부; 및 상기 좌표변환 맵의 좌표들 각각이 렌즈를 통하여 입력된 영상의 텍스처를 구성하는 텍셀들 각각의 좌표와 일치하는지 판단하고 판단 결과에 기초하여 상기 텍셀들 중에서 대응되는 텍셀의 컬러 값 또는 상기 큐브 맵에 저장된 컬러 값을 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하는 환경 맵 생성부를 포함할 수 있다.
상기 정규화부는, 상기 3차원 좌표 값을 2차원 매개 좌표 값과 매개 각도로 변환하고, 상기 2차원 매개 좌표 값과 상기 매개 각도에 기초하여 상기 2차원 좌표 값을 생성하고,상기 2차원 좌표 값은,
Figure 112007062620704-pat00002
(여기서, 상기 xf와 상기 yf는 상기 2차원 좌표 값, 상기 su와 상기 sv는 서로 같거나 다른 정수, 상기 V2는 상기 2차원 매개 좌표 값, 상기 θ는 상기 매개 각도, 상기 r(θ)는 sinθ, 및 상기 tu와 tv는 서로 같거나 다른 정수)일 수 있다.
상기 기준범위는, 상기 환경 맵의 넓이, 높이, 상기 렌즈를 통하여 입력된 영상의 지름 또는 반지름 및 상기 카메라의 렌즈의 시계범위 중에서 적어도 어느 하나를 포함할 수 있다.
상기 큐브 맵은, 상기 렌즈를 통하여 입력된 적어도 하나의 입력 영상에 기초하여 미리 생성되어 저장될 수 있다.
상기 좌표변환 맵 생성부는, 상기 2차원 좌표 값이 상기 기준범위 내에 속하는 경우 상기 2차원 좌표 값을 상기 좌표변환 맵의 좌표들 중에서 대응되는 좌표에 저장하고, 속하지 않는 경우 상기 컬러 값을 상기 좌표변환 맵의 좌표들 중에서 대응되는 좌표에 저장할 수 있다.
상기 환경 맵 생성부는, 상기 좌표변환 맵의 좌표가 상기 렌즈를 통하여 입력된 상기 텍스처를 구성하는 텍셀의 좌표와 일치하는 경우 상기 텍셀의 컬러 값을 상기 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하고, 일치하지 않는 경우 상기 큐브 맵에 저장된 컬러 값을 상기 환경 맵의 좌표들 중에서 대응되는 좌표에 저장될 수 있다.
상기 렌즈는 어안렌즈일 수 있다.
상기 영상 합성기는, 상기 전반사 및 난반사 중에서 적어도 어느 하나의 계산결과를 물체 표면의 특성에 따라 선형 보간하여 쉐이딩하여 상기 실제영상에 상기 가상물체의 이미지를 합성하는 보간부를 더 포함할 수 있다.
상기 전반사는, 상기 가상물체의 표면에 형성되는 시점벡터 및 노멀벡터에 기초하여 반사벡터를 계산하고 상기 환경 맵의 좌표들 중에서 계산된 반사벡터에 상응하는 좌표에 저장된 컬러 값에 기초하여 계산될 수 있다.
상기 난반사는, 상기 가상물체에 반사되는 일래디언스를 다수의 구 하모닉스 계수들로서 계산하고 계산결과에 기초하여 산출될 수 있다.
상술한 바와 같이 본 발명에 따른 영상 합성기 및 그 방법은 실시간으로 변동될 수 있는 영상 시퀀스를 반영할 수 환경 맵을 생성하여 보다 사실적인 영상 합성이 가능하다.
또한, 본 발명에 따른 영상 합성기 및 그 방법은 좌표 변환 맵을 이용하여 가상 물체의 영상 합성시 연산시간을 줄일 수 있는 효과가 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 영상 합성 시스템을 나타내고, 도 2는 도 1의 영상 합성기를 나타내고, 도 3은 도 1의 가상 물체 합성부를 나타내고, 도 4a와 도 4b는 도 1의 영상 합성기가 정규화된 2차원 좌표 값을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 도 1의 영상 합성기가 환경 맵을 생성하는 과정을 나타낸다. 도 1 내지 도 5를 참조하면, 영상 합성 시스템(5)은 카메라(7), 영상 합성기(10), 및 디스 플레이부(20)를 포함할 수 있다. 상기 카메라(7)는 렌즈를 통하여 실시간(real-time)으로 실제영상(RI)을 수신하고 수신된 실제영상(RI)을 디지털 영상 처리하여 영상 합성기(10)로 전송한다.
상기 카메라(7)는 캠코더(camcorder) 또는 디지털 카메라가 될 수 있으며, 휴대용 단말기에 내장되는 카메라일 수도 있다.
상기 카메라(7)는 사각(寫角)이 180°를 넘는 전 방향(omni-directiona)성을 갖는 어안렌즈(fish)를 통하여 상기 실제영상(RI)을 수신할 수 있으나 보통의 광각렌즈를 통하여 상기 실제영상(RI)을 수신할 수도 있다.
상기 영상 합성기(10)는 상기 카메라(7)를 통하여 영상 처리된 실제영상(RI)을 실시간으로 수신하고 수신된 실제영상(RI)에 가상 물체의 영상(VI)을 합성할 수 있다.
상기 영상 합성기(10)는 환경 맵 생성 블럭(11)과 가상물체 합성부(18)를 포함할 수 있다. 상기 영상 합성기(10) 또는 상기 영상 합성기(10)를 구성하는 각 구성요소들(12 내지 18)은 그래픽 프로세서 유닛(GPU)의 일부로서 또는 PC용 비디오 그래픽 카드상의 별도의 구성 요소로서 하드웨어(H/W) 및/ 또는 소프트웨어(S/W)적으로 구현될 수 있다.
상기 환경 맵 생성 블럭(11)은 카메라(7)를 통하여 영상 처리된 실제영상(RI)을 실시간으로 수신하고 수신된 실제영상(RI)에 기초하여 환경 맵(FBO3)을 생성할 수 있다.
상기 환경 맵 생성 블럭(11)은 정규화부(12), 좌표변환 맵 생성부(14), 및 환경 맵 생성부(16)를 포함할 수 있다.
상기 정규화부(12)는 3차원 좌표 값(V3)을 포함하는 3차원 정보를 정규화하여 2차원 좌표 값을 포함하는 구 좌표맵(FBO1)을 생성할 수 있다.
상기 구 좌표맵(FBO1)은 상기 카메라의 렌즈가 어안렌즈인 경우 상기 어안렌즈를 통하여 입력되는 실제영상(IR)을 2차원으로 표현하기 위한 평면 텍스처이다.
도 4a와 도 4b는 도 1의 영상 합성기가 정규화된 2차원 좌표 값을 생성하는 과정을 설명하기 위한 도면으로서 도 4a는 카메라(7)의 렌즈를 통하여 생성될 수 있는 이미지의 3차원 좌표계를 나타내고, 도 4b는 정규화된 2차원 좌표계를 나타낸다.
즉, 상기 정규화부(12)는 3차원 좌표계 내의 3차원 좌표 값(V3)을 2차원 매개 좌표 값(V2)과 매개 각도(θ)를 갖는 구 좌표맵(FBO1)으로 변환하고 상기 2차원 매개 좌표 값(V2)과 상기 매개 각도(θ)에 기초하여 상기 2차원 좌표 값을 생성할 수 있다.
상기 2차원 좌표 값은 다음의 수학식 1과 같이 표현될 수 있다.
Figure 112007062620704-pat00003
F=
(여기서, 상기 xf와 상기 yf는 상기 2차원 좌표 값, 상기 Su와 상기 Sv는 서로 같거나 다른 정수, 상기 V2는 상기 2차원 매개 좌표 값, 상기 θ는 상기 매개 각도, 상기 r(θ)는 sinθ이고, 및 상기 tu와 tv는 서로 같거나 다른 정수이다.)
상기 정규화부(12)는 3차원 좌표 값(V3)을 어안 렌즈를 통하여 입력되는 어안영상의 텍스쳐 좌표 값에 상응하는 2차원 좌표 값으로 정규화함으로써 상기 어안렌즈를 통하여 입력되는 실제영상(RI)을 2차원 텍스처로 매핑(mapping) 할 수 있다(S5).
상기 수학식 1의 s행렬(
Figure 112007062620704-pat00004
)과 t의 행렬(
Figure 112007062620704-pat00005
)은 각각 2차원 좌표계로 구 좌표맵(FBO1)된 좌표 값을 어안 영상 텍스처의 크기와 위치에 맞게 구 좌표맵(FBO1)하여 정규화된 2차원 좌표 값을 생성하는 행렬이다.
상기 좌표변환 맵 생성부(14)는 상기 정규화부(12)에 의해서 생성된 구 좌표맵(FBO1)에 기초하여 상기 구좌표 맵을 구성하는 상기 2차원 좌표 값이 기준범위 내에 속하는지 판단하고(S10), 판단결과에 기초하여 상기 2차원 좌표 값 또는 미리 저장된 큐브 맵에 저장된 컬러 값을 미리 결정된 좌표맵의 좌표들 중에서 대응되는 좌표에 저장하여 좌표변환 맵(FBO2)을 생성한다.
상기 기준범위는 상기 환경 맵(FBO3)의 넓이, 높이, 상기 렌즈를 통하여 입력된 영상(예컨대, 어안렌즈를 통하여 입력된 영상)의 지름, 상기 렌즈를 통하여 입력된 영상의 반지름, 및 상기 카메라(7)의 렌즈의 시계(field of view) 범위 중에서 적어도 어느 하나를 포함할 수 있다.
상기 큐브 맵은 상기 3차원 좌표계로 구성된 이미지로서 카메라(7)의 렌즈를 통하여 입력된 적어도 하나의 입력 영상에 기초하여 미리 생성되어 저장되는 영상 일 수 있다.
상기 카메라(7)의 렌즈는 제한적인 시계범위(예컨대, 어안렌즈의 경우 180도)를 갖는다. 따라서, 상기 좌표변환 맵 생성부(14)는 실시간으로 입력되는 실제영상(RI)이 상기 카메라(7)의 렌즈의 시계를 벗어나는 경우 미리 생성되어 저장된 큐브 맵의 좌표에 저장된 컬러 값을 읽어와서 상기 좌표변환 맵(FBO2)의 좌표들 중에서 대응되는 좌표에 저장할 수 있다.
즉, 상기 좌표변환 맵 생성부(14)는 수학식 1에 의해 얻어진 2차원 좌표 값을 상기 기준범위와 비교하여 상기 2차원 좌표 값을 환경 맵(FBO3)의 텍스처로 활용할 수 있는 유효한 좌표 값인지 여부를 결정할 수 있다.
예컨대, 상기 좌표변환 맵 생성부(14)는 상기 2차원 좌표 값이 상기 기준범위 내에 속하는 경우 상기 2차원 좌표 값을 상기 좌표변환 맵(FBO2)의 좌표들 중에서 대응되는 좌표(2차원 좌표 값)에 저장하고(S12), 속하지 않는 경우 상기 큐브 맵의 좌표에 저장된 컬러 값들 중에서 대응되는 컬러 값을 상기 좌표변환 맵(FBO2)의 좌표들 중에서 대응되는 좌표에 저장할 수 있다(S14).
상기 환경 맵 생성부(16)는 상기 좌표변환 맵(FBO2)의 좌표들 각각이 렌즈를 통하여 입력된 영상의 텍스처를 구성하는 텍셀들 각각의 좌표와 일치하는지 판단하고(S16), 판단 결과에 기초하여 상기 텍셀들 중에서 대응되는 텍셀의 컬러 값 또는 상기 큐브 맵에 저장된 컬러 값을 환경 맵(FBO3)의 좌표들 중에서 대응되는 좌표에 저장할 수 있다.
예컨대, 상기 환경 맵 생성부(16)는 상기 좌표변환 맵(FBO2)의 좌표가 상기 렌즈를 통하여 입력된 영상의 텍스처를 구성하는 텍셀의 좌표와 일치하는 경우 상기 텍셀의 컬러 값을 상기 환경 맵(FBO3)의 좌표들 중에서 대응되는 좌표에 저장하고(S18), 일치하지 않는 경우 상기 큐브 맵에 저장된 컬러 값을 상기 환경 맵(FBO3)의 좌표들 중에서 대응되는 좌표에 저장할 수 있다(S20).
도 6은 도 1의 영상 합성기가 환경 맵에 컬러 값을 읽고 쓰는 동작을 설명하기 위한 도면으로 영상 합성기(10)가 GLUT(openGL Utility Toolkit)로 구현되는 경우를 나타낸다.
상기 영상 합성기(10)는 3차원 좌표 값을 포함하는 3차원 정보를 2차원 좌표 값으로 정규화하여 구 좌표맵(FBO1)에 저장하고, 미리 촬영된 적어도 하나의 이미지를 저장하여 3차원 텍스쳐인 큐브 맵을 생성한다.
또한, 상기 영상 합성기(10)는 도 5를 통하여 설명한 바와 같이 좌표변환 맵(FBO1)을 사용하여 렌즈를 통하여 실시간으로 입력되는 영상에 기초하여 환경 맵(FBO3)을 갱신한다.
상기 영상 합성기(10)는 환경 맵(FBO3)에 저장된 컬러 값 호출시(예컨대, 상기 영상 합성기(10)가 구현된 GPU상에서 프래그먼트 프로그램 실행시) 3차원 텍스쳐인 큐브 맵을 2차원 텍스처의 좌표변환 맵(FBO1)으로 사용함으로써 2차원 텍스처의 환경 맵(FBO3)을 바로 이용할 수 있으므로 컬러 값 호출시간이 줄어들 수 있는 효과가 있다.
또한, 상기 영상 합성기(10)는 프래그먼트 프로그램을 통하여 큐브 맵에 저 장된 텍셀 값을 갱신하는 경우 정육면체로 구성된 큐브 맵에 3차원 벡터로 쉽게 접근할 수 있으므로 갱신 시간이 줄어들 수 있는 효과가 있다.
카메라(7)의 렌즈를 통하여 실시간으로 입력되는 실제영상(IR)은 좌표변환 맵(FBO2)을 통하여 상기 환경 맵(FBO3)으로 변환되므로 좌표변환 맵 생성부(14)에서 생성되는 좌표변환 맵(FBO2)은 영상 합성 속도향상을 위하여 LUT(Look-Up Table) 저장될 수 있다.
상기 환경 맵 생성부(16)는 카메라(7)의 렌즈로부터 실제영상(IR)을 실시간으로 수신하고 수신된 실제영상(RI)이 바뀔 때마다 상기 환경 맵(FBO3)의 좌표들 각각을 갱신할 수 있다.
따라서, 본 발명의 실시 예에 따른 영상 합성기(10)는 실시간으로 변동되는 실제영상(RI)에 기초하여 환경 맵(FBO3)을 생성하므로 보다 사실적인 영상 합성이 가능한 효과가 있다.
상기 가상물체 합성부(18)는 상기 환경 맵(FBO3)에 합성될 가상물체의 전반사 및 난반사 중에서 적어도 어느 하나를 계산하고 계산결과에 기초하여 상기 환경 맵(FBO3)에 상기 가상 물체 영상을 합성할 수 있다.
상기 가상물체 합성부(18)는 전반사 계산부(31), 난반사 계산부(33), 및 보간부(39)를 포함할 수 있다.
상기 전반사 계산부(31)는 상기 가상물체의 표면에 형성되는 시점벡터(S) 및 노멀벡터(N)에 기초하여 반사벡터(R)를 계산하고 상기 환경 맵(FBO3)의 좌표들 중에서 계산된 반사벡터(R)에 상응하는 좌표에 저장된 컬러 값을 상기 전반사의 계산 결과로서 출력할 수 있다.
예컨대, 상기 전반사 계산부(31)는 도 6a와 같이 상기 환경 맵(FBO3)의 좌표들 중에서 계산된 반사벡터(R)가 지시하는 좌표에 저장된 컬러 값(RC)을 상기 전반사의 계산결과로서 출력할 수 있다.
상기 난반사 계산부(33)는 상기 가상물체에 반사되는 일래디언스(irradiance)를 다수의 구 하모닉스 계수들로서 계산하고 계산결과에 기초하여 디퓨즈 컬러를 계산하고 계산된 디퓨즈 컬러를 난반사의 계산결과로서 출력할 수 있다.
상기 난반사 계산부(33)는 구 하모닉스 계산부(35)와 디퓨즈 컬러 계산부(37)을 포함할 수 있다. 상기 구 하모닉스 계산부(35)는 상기 가상물체에 반사되는 일래디언스(irradiance)를 다수의 구 하모닉스 계수들로서 계산하고 계산결과를 출력한다.
예컨대, 상기 구 하모닉스 계산부(35)는 R.Ramamoothi의 논문(I.3.7 Computer Graphics, Three Dimensional and Realism-Environment Maps)에 개시되어 있는 가상물체에 반사되는 일래디언스를 다수개의 구 하모닉스 계수들로서 계산하고 계산결과를 출력할 수 있다.
상기 가상물체 합성부(18)는 래디언스 가중치 계산 블럭(50), 텍스처 저장부(51), 및 구 하모닉스 계수 계산블럭(52)을 포함할 수 있다.
상기 래디언스 가중치 계산 블럭(50)은 구 좌표맵(FBO1)의 2차원 좌표 값과 환경 맵(FBO3)에 저장된 컬러 값에 기초하여 래디언스 가중치를 계산할 수 있다.
상기 래디언스 가중치는 구 하모닉스 계수 계산블럭(52)에서 구 하모닉스 계수 계산시 가상물체(VI) 표면에 입사되는 래디언스에 대해 물체 표면에 따라 반사되는 일래디언스에 대한 강도를 가중하기 위한 계수이다.
상기 래디언스 가중치는 다음의 수학식 2에 의해 계산될 수 있다.
Figure 112007062620704-pat00006
(여기서, 상기
Figure 112007062620704-pat00007
는 상기 2차원 좌표 값이고, 상기
Figure 112007062620704-pat00008
는 상기 환경 맵(FBO3)에 저장된 컬러 값들 중에서 상기 2차원 좌표 값에 대응되는 컬러 값이고,
Figure 112007062620704-pat00009
는 상기 구 하모닉스 함수이다.
상기
Figure 112007062620704-pat00010
의 구체적인 계산 수식은 다음의 수학식 3과 같이 R.Ramaoorthi의 논문의 3번 수식에 개시되어 있다.
Figure 112007062620704-pat00011
(여기서, 상기 (x,y,z)는 도 7의 (a)와 (b)에 도시된 바와 같이 실제 영상(RI)의 3차원 좌표 값으로 상기 3차원 좌표 값이 정규화된 구 좌표맵(FBO1)의 대응되는 텍셀의 좌표 값으로부터 알 수 있다.)
상기 dθ와 dФ 각각은 θ와 Ф의 최소 미분 단편 값으로서 환경 맵(FBO3)의 텍스처의 크기가 (N*6N, N은 자연수)인 경우 (2N/π)*(2N/π)가 될 수 있다.)
즉, 상기 래디언스 가중치는 상기 수학식 3의 9개의 구 하모닉스 함수(
Figure 112007062620704-pat00012
)에 의해 9개의 벡터로 나타낼 수 있다.
상기 텍스처 저장부(51)는 가중치 계산 블럭(50)에서 출력된 래디언스 가중치를 컬러 텍스처 저장부들(T1 내지 T5) 중에서 대응되는 컬러 텍스처 저장부에 저장한다.
일반적인 그래픽 드라이버(예컨대, nVidia 그래픽드라이버)는 최대 4개의 컬러 텍스처 저장부에만 연결이 가능하다.
따라서, 상기 래디언스 가중치 계산 블럭(50)은 9개의 벡터로 출력되는 래디언스 가중치를 상기 컬러 텍스처들에 저장할 수 없으므로 9개의 벡터로 표현되는 상기 래디언스 가중치를 소정의 단위로 분할하여 계산하고 계산결과를 상기 텍스처 저장부(51)에 저장할 수 있다.
예컨대, 상기 래디언스 가중치 계산 블럭(50)은 3개의 컬러 텍스처에 3개의 벡터 단위로 래디언스 가중치를 계산하여 계산된 래디언스 가중치를 상기 텍스처 저장부(51)의 컬러 텍스처 저장부들(T1 내지 T5) 중에서 대응되는 컬러 텍스처 저 장부에 저장하고 구하모닉스 계수 계산부(52)는 상기 3개의 벡터 단위의 래디언스 가중치에 기초하여 3개 단위의 구 하모닉스 계수를 계산할 수 있다.
즉, 상기 래디언스 가중치 계산 블럭(50)은 현재까지 상용화된 GPU기반 하드웨어에서 단일 FBO(Frame Buffer Object)로 이용할 수 있는 컬러 텍스처 저장부가 최대 4개로 제한되기 때문에 구 하모닉 계수 계산을 위하여 3개의 벡터 단위의 래디언스 가중치를 3개의 컬러 텍스처 저장부들(T1 내지 T5)에 각각 저장할 수 있다.
그리고 4개의 컬러 텍스처 저장부 중 나머지 하나의 컬러 텍스처 저장부(미도시)는 구 하모닉스 계수 계산부(52)에 의해서 계산시 사용될 수 있다.
예컨대, 상기 나머지 하나의 컬러 텍스처 저장부(미도시)는 구 하모닉스 계수 계산부(52)에서 상기 3개의 컬러 텍스처 저장부들(T1 내지 T5) 각각에 자장된 텍셀들의 모든 텍셀의 합을 구하는 적분 계산을 위한 합계 감소(sum reduction) 처리에 이용될 수 있다.
상기 구 하모닉스 계수 계산부(52)는 상기 텍스처 저장부(51)에 저장된 래디언스 가중치에 기초하여 구 하모닉스 계수를 계산할 수 있다.
예컨대, 상기 구 하모닉스 계수 계산부(52)는 다음의 수학식 4에 의해서 구 하모닉스 계수를 계산할 수 있다.
Figure 112007062620704-pat00013
(여기서, 상기
Figure 112007062620704-pat00014
는 래디언스 가중치이다.)
예컨대, 상기 구 하모닉스 계수 계산부(52)는 3개의 벡터 단위로 모든 텍셀들(즉, 구 좌표맵(FBO1)과 환경 맵(FBO3)를 구성하는 텍셀들)에 대해 래디언스 가중치 계산이 끝날 때마다 상기 텍스처 저장부(51)의 컬러 텍스처 저장부들(T1 내지 T5) 각각에 저장된 래디언스 가중치들의 적분을 계산하여 계산결과를 구 하모닉스 계수로서 출력한다.
상기 디퓨즈 컬러 계산부(37)는 상기 구 하모닉스 계수 계산부(52)에서 출력된 구 하모닉스 계수에 기초하여 디퓨즈 컬러를 계산하고 계산결과를 난반사 계산결과로서 출력할 수 있다.
예컨대, 상기 디퓨즈 컬러 계산부(37)는 상기 구 하모닉스 계수 계산부(52)에서 출력된 구 하모닉스 계수에 기초하여 R.Ramaoorthi 논문의 12번에 개시된 수학식 5를 계산하고 계산결과를 디퓨즈 컬러로서 출력할 수 있다.
Figure 112007062620704-pat00015
(여기서, 상기 n은 가상객체 표면의 노멀벡터(normal vector)이고, 상기 x,y, 및 z는 3차원 벡터를 구성하는 각 축이고, L 00, L 1 -1, L 10 , L 11 , L 2 -2, L 2 -1, L 20 , L 21 , 및 L 22 은 구 하모닉스 계수이고, 상기 C1=0.429043, C2=0.511664, C3는 0.743125, C4는 0.886227, 및 C5는 0.247708이다.)
상기 보간부(39)는 상기 전반사 및 난반사 중에서 적어도 어느 하나의 계산결과를 물체 표면의 특성에 따라 선형 보간하여 쉐이딩하여 실제영상(RI)에 가상물체의 이미지(VI)가 합성된 합성 영상(CI)를 디스플레이부(20)를 통하여 출력한다.
예컨대, 상기 보간부(39)는 물체의 표면 특성을 전반사의 특성이 강한 재질(예컨대, 크롬) 또는 난반사 특성이 강한 재질(예컨대, 금 또는 고무)로 구분하고 구분 결과에 기초하여 수학식 5와 같이 상기 물체 표면의 특성에 따라 전반사와 난반사 색의 비율을 조정하여 반사색을 결정하고 결정된 반사색과 물체 자체의 색에 기초하여 최종 색을 결정할 수 있다.
(반사 색) = (정반사 색)*(1-α) + (난반사 색)*(α), 0≤α≤1
(최종 색) = (반사 색)*(1-ß) + (물체 자체의 색)*(ß), 0≤ß≤1
도 10은 도 1의 영상 합성기에 의해서 개선되는 영상 처리시간을 나타내는 표이다. 도 10의 표는 도 1의 영상 합성 시스템(5)의 카메라(7)는 Raynox DCR-CF185PR의 어안렌즈가 장착된 SONY PD-150 캠코더로 구현되고, 상기 영상 합성기(10)는 nVIDIA GeForce 7950 GPU 보드를 탑재한 Intel Core 2 Duo CPU 컴퓨터 환경에서 GLUT(openGL Utility Toolkit) 상에 구현되는 경우에 영상 합성 시스템(5)의 영상 처리시간을 나타낸다.
일반적으로 영상 합성기(10)가 구현되는 GLUT하에서 매 프레임당 렌더링하여 화면에 출력하는 콜백 함수는 기본적으로 초당 60 프레임의 간격으로 호출된다.
따라서, 전방향 영상을 환경맵으로 갱신하는 과정(UEM, Updating Environment Map, C1의 경우)은 0.06초 내에 처리되지만, 비디오 영상이 초당 30프레임으로 입력(CAM, Camera)되기 때문에 전체 렌더링 속도는 30fps(frame per second)로 줄어 들 수 있다(C2의 경우).
전방향 영상을 환경맵으로 갱신하는 과정 후, 바로 구 하모닉스 계수 계산(Spherical Harmonics, SH)에 기초하여 영상 합성이 이뤄지는 경우 전체 렌더링 속도는 20fps(frame per second)로 줄어 들 수 있다(C3의 경우).
또한, 전방향 영상을 환경맵으로 갱신하는 과정(UEM), 전방향 영상을 환경맵으로 갱신하는 과정(UEM), 및 구 하모닉스 계수 계산(SH)에 기초하여 영상 합성이 이뤄지는 경우 전체 렌더링 속도는 20fps(frame per second)로 줄어들 수 있음을 알 수 있다(C4의 경우).
도 11은 도 1의 영상 합성 시스템에 의해서 생성된 합성 이미지를 나타내는 것으로 도 11의 가상물체의 이미지는 52,194개의 폴리곤으로 구성된 자동차(예컨대, 아우디)인 경우이다.
도 11의 (a)는 가상물체에 색을 입힌 영상이고, (b)는 구 하모닉스 알고리즘에 의한 가상 객체의 난반사(diffuse reflection)를 표현한 것이다.
(c)는 환경 맵에 의한 전반사(specular reflection)를 표현한 그림이고, (d)는 (a), (b), 및 (c)의 세 그림의 영상을 렌더링시 혼합한 결과 영상이다.
(e)와 (f)는 (d)와는 다른 실제영상 및 가상물체 이미지에 의한 합성이미지를 나타낸다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 영상 합성방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
　　　본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 영상 합성 시스템을 나타낸다.
도 2는 도 1의 영상 합성기를 나타낸다.
도 3은 도 1의 가상 물체 합성부를 나타낸다.
도 4a와 도 4b는 도 1의 영상 합성기가 정규화된 2차원 좌표 값을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 도 1의 영상 합성기가 환경 맵을 생성하는 과정을 나타낸다.
도 6은 도 1의 영상 합성기가 환경 맵에 컬러 값을 읽고 쓰는 동작을 설명하기 위한 도면이다.
도 7a와 도 7b는 도 1의 영상 합성기가 가상 물체의 전반사를 계산하는 과정을 설명하기 위한 도면이다.
도 8은 도 1의 영상 합성기가 가상 물체의 난반사를 계산하는 과정을 설명하기 위한 도면이다.
도 9는 도 1의 영상 합성기가 구 하모닉 계수를 계산하는 과정을 설명하기 위한 도면이다.
도 10은 도 1의 영상 합성기에 의해서 개선되는 영상 처리시간을 나타내는 표이다.
도 11은 도 1의 영상 합성 시스템에 의해서 생성된 합성 이미지를 나타낸다.

Claims (24)

  1. 3차원 좌표 값을 포함하는 3차원 정보가 정규화된 2차원 좌표 값을 포함하는 구 좌표맵에 기초하여 상기 2차원 좌표 값이 기준범위 내에 속하는지 판단하고 판단결과에 기초하여 상기 2차원 좌표 값 또는 미리 저장된 큐브 맵에 저장된 컬러 값을 미리 결정된 좌표 맵의 좌표들 중에서 대응되는 좌표에 저장하여 좌표변환 맵을 생성하는 단계;
    상기 좌표변환 맵의 좌표들 각각이 카메라를 통하여 영상 처리된 실제영상의 텍스처를 구성하는 텍셀들 각각의 좌표와 일치하는지 판단하고 판단 결과에 기초하여 상기 텍셀들 중에서 대응되는 텍셀의 컬러 값 또는 상기 큐브 맵에 저장된 컬러 값을 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하는 환경 맵 생성 단계; 및
    상기 환경 맵에 합성될 가상물체의 전반사 및 난반사 중에서 적어도 어느 하나를 계산하고 계산결과에 기초하여 상기 환경 맵에 상기 가상 물체 영상을 합성하는 단계를 포함하는 영상 합성 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 영상 합성방법은,
    상기 좌표변환 맵 생성 단계 전에, 상기 3차원 좌표 값을 포함하는 상기 3차원 정보를 정규화하고 정규화된 상기 2차원 좌표 값을 포함하는 상기 구 좌표맵을 생성하는 단계를 더 포함하는 영상 합성방법.
  4. 제3항에 있어서, 상기 구 좌표맵을 생성하는 단계는,
    상기 3차원 좌표 값을 2차원 매개 좌표 값과 매개 각도로 변환하는 단계; 및
    상기 2차원 매개 좌표 값과 상기 매개 각도에 기초하여 상기 2차원 좌표 값을 생성하는 단계를 포함하며,
    상기 2차원 좌표 값은,
    Figure 112009004387050-pat00016
    (여기서, 상기 xf와 상기 yf는 상기 2차원 좌표 값, 상기 su와 상기 sv는 서로 같거나 다른 정수, 상기 V2는 상기 2차원 매개 좌표 값, 상기 θ는 상기 매개 각도, 상기 r(θ)는 sinθ, 및 상기 tu와 tv는 서로 같거나 다른 정수)인 영상 합성 방법.
  5. 제1항에 있어서, 상기 기준범위는,
    상기 환경 맵의 넓이, 높이, 렌즈를 통하여 입력된 영상의 지름 또는 반지름 및 상기 카메라의 렌즈의 시계범위 중에서 적어도 어느 하나를 포함하는 영상 합성방법.
  6. 제1항에 있어서, 상기 큐브 맵은,
    상기 카메라의 렌즈를 통하여 입력된 적어도 하나의 입력 영상에 기초하여 미리 생성되어 저장되는 영상 합성방법.
  7. 제1항에 있어서, 상기 좌표변환 맵을 생성하는 단계는,
    상기 2차원 좌표 값이 상기 기준범위 내에 속하는 경우 상기 2차원 좌표 값을 상기 좌표변환 맵의 좌표들 중에서 대응되는 좌표에 저장하고, 속하지 않는 경우 상기 컬러 값을 상기 좌표변환 맵의 좌표들 중에서 대응되는 좌표에 저장하는 단계를 포함하는 영상 합성방법.
  8. 제1항에 있어서, 상기 환경 맵 생성 단계는,
    상기 좌표변환 맵의 좌표가 상기 텍스처를 구성하는 텍셀의 좌표와 일치하는 경우 상기 텍셀의 컬러 값을 상기 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하고, 일치하지 않는 경우 상기 큐브 맵에 저장된 컬러 값을 상기 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하는 단계를 포함하는 영상 합성 방법.
  9. 제1항에 있어서, 상기 카메라의 렌즈는 어안렌즈인 영상 합성 방법.
  10. 제1항에 있어서, 상기 환경 맵에 상기 가상 물체 영상을 합성하는 단계는,
    상기 전반사 및 난반사 중에서 적어도 어느 하나의 계산결과를 물체 표면의 특성에 따라 선형 보간하여 쉐이딩하여 상기 실제영상에 상기 가상물체의 이미지를 합성하는 단계를 포함하는 영상 합성 방법.
  11. 제10항에 있어서, 상기 전반사는,
    상기 가상물체의 표면에 형성되는 시점벡터 및 노멀벡터에 기초하여 반사벡터를 계산하고 상기 환경 맵의 좌표들 중에서 계산된 반사벡터에 상응하는 좌표에 저장된 컬러 값에 기초하여 계산되는 영상 합성 방법.
  12. 제10항에 있어서, 상기 난반사는,
    상기 가상물체에 반사되는 일래디언스를 다수의 구 하모닉스 계수들로서 계산하고 계산결과에 기초하여 산출되는 영상 합성 방법.
  13. 제1항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 3차원 좌표 값을 포함하는 3차원 정보를 정규화하고 정규화된 2차원 좌표 값을 포함하는 구 좌표맵을 생성하는 정규화부;
    상기 구 좌표맵에 기초하여 상기 2차원 좌표 값이 기준범위 내에 속하는지 판단하고 판단결과에 기초하여 상기 2차원 좌표 값 또는 미리 저장된 큐브 맵에 저장된 컬러 값을 미리 결정된 좌표 맵의 좌표들 중에서 대응되는 좌표에 저장하여 좌표변환 맵을 생성하는 좌표변환 맵 생성부;
    상기 좌표변환 맵의 좌표들 각각이 렌즈를 통하여 입력된 영상의 텍스처를 구성하는 텍셀들 각각의 좌표와 일치하는지 판단하고 판단 결과에 기초하여 상기 텍셀들 중에서 대응되는 텍셀의 컬러 값 또는 상기 큐브 맵에 저장된 컬러 값을 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하는 환경 맵 생성부; 및
    상기 환경 맵에 합성될 가상물체의 전반사 및 난반사 중에서 적어도 어느 하나를 계산하고 계산결과에 기초하여 상기 환경 맵에 상기 가상 물체 영상을 합성하는 가상 물체 합성부를 포함하는 영상 합성기.
  15. 삭제
  16. 제14항에 있어서, 상기 정규화부는,
    상기 3차원 좌표 값을 2차원 매개 좌표 값과 매개 각도로 변환하고, 상기 2차원 매개 좌표 값과 상기 매개 각도에 기초하여 상기 2차원 좌표 값을 생성하고,상기 2차원 좌표 값은,
    Figure 112008051910312-pat00017
    (여기서, 상기 xf와 상기 yf는 상기 2차원 좌표 값, 상기 su와 상기 sv는 서로 같거나 다른 정수, 상기 V2는 상기 2차원 매개 좌표 값, 상기 θ는 상기 매개 각도, 상기 r(θ)는 sinθ, 및 상기 tu와 tv는 서로 같거나 다른 정수)인 영상 합성기.
  17. 제14항에 있어서, 상기 기준범위는,
    상기 환경 맵의 넓이, 높이, 상기 렌즈를 통하여 입력된 영상의 지름 또는 반지름 및 상기 렌즈의 시계범위 중에서 적어도 어느 하나를 포함하는 영상 합성기.
  18. 제14항에 있어서, 상기 큐브 맵은,
    상기 렌즈를 통하여 입력된 적어도 하나의 입력 영상에 기초하여 미리 생성되어 저장되는 영상 합성기.
  19. 제14항에 있어서, 상기 좌표변환 맵 생성부는,
    상기 2차원 좌표 값이 상기 기준범위 내에 속하는 경우 상기 2차원 좌표 값을 상기 좌표변환 맵의 좌표들 중에서 대응되는 좌표에 저장하고, 속하지 않는 경우 상기 컬러 값을 상기 좌표변환 맵의 좌표들 중에서 대응되는 좌표에 저장하는 영상 합성기.
  20. 제14항에 있어서, 상기 환경 맵 생성부는,
    상기 좌표변환 맵의 좌표가 상기 렌즈를 통하여 입력된 상기 텍스처를 구성하는 텍셀의 좌표와 일치하는 경우 상기 텍셀의 컬러 값을 상기 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하고, 일치하지 않는 경우 상기 큐브 맵에 저장된 컬러 값을 상기 환경 맵의 좌표들 중에서 대응되는 좌표에 저장하는 영상 합성기.
  21. 제14항에 있어서, 상기 렌즈는 어안렌즈인 영상 합성기.
  22. 제14항에 있어서, 상기 영상 합성기는,
    상기 전반사 및 난반사 중에서 적어도 어느 하나의 계산결과를 물체 표면의 특성에 따라 선형 보간하여 쉐이딩하여 실제영상에 상기 가상물체의 이미지를 합성하는 보간부를 더 포함하는 영상 합성기.
  23. 제14항에 있어서, 상기 전반사는,
    상기 가상물체의 표면에 형성되는 시점벡터 및 노멀벡터에 기초하여 반사벡터를 계산하고 상기 환경 맵의 좌표들 중에서 계산된 반사벡터에 상응하는 좌표에 저장된 컬러 값에 기초하여 계산되는 영상 합성기.
  24. 제14항에 있어서, 상기 난반사는,
    상기 가상물체에 반사되는 일래디언스를 다수의 구 하모닉스 계수들로서 계산하고 계산결과에 기초하여 산출되는 영상 합성기.
KR1020070086597A 2007-08-28 2007-08-28 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법 KR100897006B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070086597A KR100897006B1 (ko) 2007-08-28 2007-08-28 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070086597A KR100897006B1 (ko) 2007-08-28 2007-08-28 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법

Publications (2)

Publication Number Publication Date
KR20090021778A KR20090021778A (ko) 2009-03-04
KR100897006B1 true KR100897006B1 (ko) 2009-05-14

Family

ID=40691762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070086597A KR100897006B1 (ko) 2007-08-28 2007-08-28 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법

Country Status (1)

Country Link
KR (1) KR100897006B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637193B1 (ko) 2015-02-24 2016-07-08 (주)네스테크놀로지 레이어 설정이 가능한 분산 처리형 다채널 영상합성 시스템 및 그 제어방법
KR101788471B1 (ko) 2016-10-07 2017-10-19 한국광기술원 조명 정보 기반의 객체 증강 현실 디스플레이 장치 및 방법
US10593096B2 (en) 2016-12-20 2020-03-17 Samsung Electronics Co., Ltd. Graphics processing employing cube map texturing
US10997795B2 (en) 2018-05-10 2021-05-04 Samsung Electronics Co., Ltd Method and apparatus for processing three dimensional object image using point cloud data

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101222155B1 (ko) * 2010-03-15 2013-01-15 한국과학기술원 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
KR101845231B1 (ko) 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010044392A (ko) * 2001-02-16 2001-06-05 김민철 3 차원 영상 획득 장치
KR20030034274A (ko) * 2001-09-14 2003-05-09 박보건 혼성 반사 모델에서의 포토 메트릭 스테레오 방법
KR20050066501A (ko) * 2003-12-26 2005-06-30 한국전자통신연구원 필터링된 환경맵을 이용한 역렌더링 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010044392A (ko) * 2001-02-16 2001-06-05 김민철 3 차원 영상 획득 장치
KR20030034274A (ko) * 2001-09-14 2003-05-09 박보건 혼성 반사 모델에서의 포토 메트릭 스테레오 방법
KR20050066501A (ko) * 2003-12-26 2005-06-30 한국전자통신연구원 필터링된 환경맵을 이용한 역렌더링 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637193B1 (ko) 2015-02-24 2016-07-08 (주)네스테크놀로지 레이어 설정이 가능한 분산 처리형 다채널 영상합성 시스템 및 그 제어방법
KR101788471B1 (ko) 2016-10-07 2017-10-19 한국광기술원 조명 정보 기반의 객체 증강 현실 디스플레이 장치 및 방법
US10593096B2 (en) 2016-12-20 2020-03-17 Samsung Electronics Co., Ltd. Graphics processing employing cube map texturing
US10997795B2 (en) 2018-05-10 2021-05-04 Samsung Electronics Co., Ltd Method and apparatus for processing three dimensional object image using point cloud data

Also Published As

Publication number Publication date
KR20090021778A (ko) 2009-03-04

Similar Documents

Publication Publication Date Title
Wang et al. View-dependent displacement mapping
US7212207B2 (en) Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing
JP4249796B2 (ja) ３ｄ像のテクスチャ処理及び陰影付け方法
US8207968B1 (en) Method and apparatus for irradiance caching in computing indirect lighting in 3-D computer graphics
US7102647B2 (en) Interactive horizon mapping
US6906714B2 (en) Accelerated visualization of surface light fields
KR100897006B1 (ko) 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법
JP2005071368A (ja) 自己シャドウイングおよび自己相互反射ライトを捕捉するための方法ならびに装置
US20090309877A1 (en) Soft shadow rendering
US6791544B1 (en) Shadow rendering system and method
JP3629243B2 (ja) モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法
KR101118597B1 (ko) 모바일용 컴퓨터 그래픽 랜더링 방법 및 시스템
WO2024148898A1 (zh) 图像降噪方法、装置、计算机设备和存储介质
JP3035571B2 (ja) 画像処理装置
US7385604B1 (en) Fragment scattering
US20230298212A1 (en) Locking mechanism for image classification
US6919889B2 (en) Compression of surface light fields
US8416242B1 (en) Method and system for interpolating level-of-detail in graphics processors
US6188409B1 (en) 3D graphics device
US11961188B2 (en) Neural networks to generate appearance-responsive material map sets in digital graphical environments
KR20240163125A (ko) 초고해상도 업스케일링
Schwandt et al. Illumination in Mixed Reality
CN117218267A (zh) 图像处理方法、装置及电子设备
CN118266009A (zh) 着色方法和图像处理器
Li et al. GPU-Based Simulation of Large-Scope Ocean Wave

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070828

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080528

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20081125

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20090206

Patent event code: PE09021S02D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20090430

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20090504

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20090506

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20120404

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20130429

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20140326

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20151028

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20160325

Start annual number: 8

End annual number: 8

PC1903 Unpaid annual fee