KR101845231B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101845231B1
KR101845231B1 KR1020110057471A KR20110057471A KR101845231B1 KR 101845231 B1 KR101845231 B1 KR 101845231B1 KR 1020110057471 A KR1020110057471 A KR 1020110057471A KR 20110057471 A KR20110057471 A KR 20110057471A KR 101845231 B1 KR101845231 B1 KR 101845231B1
Authority
KR
South Korea
Prior art keywords
image
input
map
model
generating
Prior art date
Application number
KR1020110057471A
Other languages
English (en)
Other versions
KR20120138140A (ko
Inventor
하인우
이태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110057471A priority Critical patent/KR101845231B1/ko
Priority to CN201210195561.2A priority patent/CN102982577B/zh
Priority to US13/495,378 priority patent/US9870644B2/en
Publication of KR20120138140A publication Critical patent/KR20120138140A/ko
Application granted granted Critical
Publication of KR101845231B1 publication Critical patent/KR101845231B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

영상 처리 장치가 제공된다. 모델링부는 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 실제 오브젝트에 대응하는 3D 모델을 생성할 수 있다. 그리고 계산부는, 입력 조명 환경 정보를 이용하여 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하여, 상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 칼라 왜곡 정보를 포함하는 차분 영상을 생성하고, 렌더링부는 상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
본 발명의 실시예들은 영상 처리 장치 및 방법에 연관되며, 보다 상세하게는 가상 오브젝트를 실사 칼라 영상에 포함시켜 사실감이 뛰어난 실사 칼라 영상을 생성하는 영상 처리 장치 및 방법에 연관된다.
컴퓨터 그래픽을 이용한 영화 기술이 발달함에 따라, 실사 칼라 영상에 가상 오브젝트(Virtual object)를 합성하는 영상 처리의 필요성이 높아지고 있고, 합성된 결과 영상의 품질도 높은 수준으로 요구된다.
그러나 종래에는 실사 칼라 영상에 가상 오브젝트를 실감 있게 표현하는 데에 한계가 있었다. 이를테면, 가상 오브젝트에 대해 미리 렌더링한 영상을 실사 칼라 영상과 합성하는 영상 기반 혼합 표현 방식은 실사 칼라 사진 내의 실제 오브젝트들에 대한 정보의 부족으로 다양한 광학 효과를 실감 있게 표현하는 데에 어려움이 있다.
이를테면, 조명에서 나온 빛이 오브젝트들에 의해 반사(reflection)되거나 굴절되는 등의 효과가 실제 오브젝트와 가상 오브젝트 간에 조화를 이루지 못하였다.
실사 오브젝트에 대한 칼라 영상에 가상 오브젝트를 포함시킨 영상을 렌더링 하는 경우, 사실감이 뛰어난 결과 영상을 생성할 수 있는 영상 처리 장치 및 방법이 제공된다.
또한, 입력된 칼라 영상 및 깊이 영상으로부터 조명 환경 정보를 이용하여 재질 맵이 용이하게 생성할 수 있는 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 실제 오브젝트에 대응하는 3D 모델을 생성하는 모델링부, 입력 조명 환경 정보를 이용하여 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하여, 상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 칼라 왜곡 정보를 포함하는 차분 영상을 생성하는 계산부, 및 상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성하는 렌더링부를 포함하는, 영상 처리 장치가 제공된다.
이 경우, 상기 계산부는, 상기 입력 깊이 영상을 균일 재질(Constant material)로 가정하여 상기 입력 조명 환경 정보를 이용하여 렌더링함으로써 상기 실제 오브젝트에 대응하는 상기 3D 모델에 대한 조도 맵(Illumination map)을 생성하는 조도 맵 계산부, 및 상기 칼라 영상에서 상기 조도 맵을 픽셀 별 나누기 연산하여 상기 3D 모델에 대한 재질 맵(Material map)을 생성하는 재질 맵 계산부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 상기 조도 맵 계산부는, 상기 조도 맵 생성에 앞서서 상기 입력 깊이 영상에 대해 저대역 통과 필터링 및 MLS(Moving Least Square) 중 적어도 하나의 연산을 수행하여 상기 입력 깊이 영상의 노이즈를 제거한 다음 상기 조도 맵을 생성한다.
이 경우, 상기 조도 맵 계산부는, 상기 적어도 하나의 연산을 수행한 결과 생성되는 스무드 서피스 포인트 클라우드(Smooth surface point cloud)를 균일 재질로 가정하여 상기 입력 조명 환경 정보를 이용하여 렌더링함으로써 상기 실제 오브젝트에 대응하는 상기 3D 모델에 대한 조도 맵을 생성할 수도 있다.
한편, 상기 계산부는, 상기 입력 조명 환경 정보를 이용하여 상기 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하고, 상기 포톤 기반 렌더링의 결과 계산되는 포톤 및 안티포톤의 차이 기초하여 상기 3D 모델에 대한 수신 광량 맵(Irradiance map)을 생성하는 수신 광량 맵 생성부, 및 상기 수신 광량 맵과 상기 재질 맵을 픽셀 별 곱하기 연산하여 상기 차분 영상을 생성하는 차분 영상 계산부를 더 포함할 수 있다.
본 발명의 다른 일측에 따르면, 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 3D 모델을 생성하는 모델링부, 입력 조명 환경 정보를 이용하여 상기 3D 모델을 카메라 시점에서 렌더링한 제1 영상과, 상기 입력 조명 환경 정보를 이용하여 상기 3D 모델 및 입력 가상 오브젝트를 상기 카메라 시점에서 렌더링 한 제2 영상의 차분 영상을 생성하는 계산부, 및 상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성하는 렌더링부를 포함하는, 영상 처리 장치가 제공된다.
일실시예에 따르면 상기 계산부는 상기 제1 영상 및 상기 제2 영상 중 어느 하나의 영상을 렌더링 하는 경우, 포톤 기반 렌더링, 래이 트래이싱 및 래이디오시티 기법 중 적어도 하나를 이용하는, 영상 처리 장치도 개시된다.
본 발명의 또 다른 일측에 따르면, 입력 깊이 영상을 균일 재질로 가정하여 입력 조명 환경 정보를 이용하여 렌더링함으로써 상기 입력 깊이 영상에 연관되는 오브젝트에 대한 조도 맵을 생성하는 조도 맵 계산부, 및 입력 칼라 영상에서 상기 조도 맵을 픽셀 별 나누기 연산하여 오브젝트에 대한 재질 맵을 생성하는 재질 맵 계산부를 포함하는, 영상 처리 장치가 제공된다.
본 발명의 또 다른 일측에 따르면, 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 실제 오브젝트에 대응하는 3D 모델을 생성하는 모델링 단계, 입력 조명 환경 정보를 이용하여 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하여, 상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 칼라 왜곡 정보를 포함하는 차분 영상을 생성하는 계산 단계, 및 상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성하는 렌더링 단계를 포함하는, 영상 처리 방법이 제공된다.
본 발명의 또 다른 일측에 따르면, 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 3D 모델을 생성하는 모델링 단계, 입력 조명 환경 정보를 이용하여 상기 3D 모델을 카메라 시점에서 렌더링한 제1 영상과, 상기 입력 조명 환경 정보를 이용하여 상기 3D 모델 및 입력 가상 오브젝트를 상기 카메라 시점에서 렌더링 한 제2 영상의 차분 영상을 생성하는 계산 단계, 및 상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성하는 렌더링 단계를 포함하는, 영상 처리 방법이 제공된다.
실사 오브젝트에 대한 칼라 영상에 가상 오브젝트를 포함시킨 영상을 렌더링 하는 경우, 사실감이 뛰어난 결과 영상이 생성된다.
영상 처리 자원에 대비한 영상 처리 품질이 크게 개선된다.
또한, 입력된 칼라 영상 및 깊이 영상으로부터 조명 환경 정보를 이용하여 재질 맵이 용이하게 생성된다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 2는 본 발명의 일실시에에 따른 영상 처리 장치의 계산부의 구성을 도시하는 블록도이다.
도 3은 본 발명의 일실시예에 따라 입력되는 입력 칼라 영상 및 입력 깊이 영상을 도시한다.
도 4는 본 발명의 일실시예에 따라 입력되는 가상 오브젝트를 도시하는 개념도이다.
도 5는 본 발명의 일실시예에 따라 포톤 기반 렌더링을 수행하는 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 일실시예에 따라 생성된 조도 맵을 도시한다.
도 7은 본 발명의 일실시예에 따라 생성된 재질 맵을 도시한다.
도 8은 본 발명의 일실시예에 따라 렌더링된 결과 영상을 도시한다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치(100)를 도시한 블록도이다.
본 발명의 일실시예에 따르면, 영상 처리 장치(100)의 모델링부(110)는 입력 칼라 영상 및 입력 깊이 영상에 대응하는 3D 모델을 생성한다.
입력되는 상기 칼라 영상과 깊이 영상은 매칭(matching)되어 있을 수 있고, 만약 매칭되어 있지 않다면, 영상 처리를 위해 상기 칼라 영상과 상기 깊이 영상을 매칭시키는 전처리(pre-processing)가 수행될 수도 있다.
영상 처리 장치(100)는 특정한 가상 오브젝트를 상기 3D 모델에 포함시켜서, 상기 가상 오브젝트를 상기 칼라 영상에 실감 있게 포함시킨다.
본 발명의 일실시예에 따르면, 상기 모델링부(110)는 상기 입력 칼라 영상과 상기 입력 깊이 영상을 이용하여 포인트 클라우드(Point cloud) 형태의 3D 모델을 생성한다. 일부 실시예에서는 상기 입력 깊이 영상의 노이즈(Noise)를 제거하기 위해 저대역 통과 필터링(low-pass filtering)을 수행하거나 및/또는 MLS(Moving Least Square) 처리를 수행한 다음 상기 3D 모델을 생성할 수도 있다. 다만, 상기 포인트 클라우드 형태의 3D 모델은 일 실시예에 불과하며, 이를 이용하여 메쉬 기반(mesh based) 3D 모델을 생성하는 등의 다른 실시예를 배제하는 것으로 이해되어서는 안 된다.
모델링부(110)의 동작은 도 3을 참고하여 보다 상세히 후술한다.
한편, 영상 처리 장치(100)에 입력되는 정보는 상기 3D 모델에 영향을 주는 조명 환경 정보(Light environment information)을 포함할 수 있다. 상기 조명 환경 정보는 상기 3D 모델에 가상 오브젝트를 합성하여 렌더링 하는 경우에 고려되어야 할 조명의 위치, 방향 및 에너지 등을 포함하는 개념으로 이해될 일 수 있다.
영상 처리 장치(100)의 계산부(120)는 상기 입력 칼라 영상, 상기 입력 깊이 영상 및 입력 조명 환경 정보를 이용하여, 상기 가상 오브젝트를 고려하는 경우와 상기 가상 오브젝트를 고려하지 않는 경우에 발생되는 칼라 차이를 계산한다.
이러한 칼라 차이는, 픽셀들 각각에 대한 칼라 값의 증가 또는 감소나 왜곡을 포함하는 개념으로 이해되며, 칼라 차이가 전체 칼라 영상의 각 픽셀에 대해 계산될 수 있으므로, 이하에서는 이러한 칼라 차이 정보를 포함하는 영상을 칼라 차분 영상(Color difference image) 또는 단순히 차분 영상으로 언급한다.
본 발명의 일실시예에 따르면, 계산부(120)는, 상기 입력 깊이 영상의 각 픽셀에 대해 재질(Material)의 텍스처를 무시하여 균일 재질로 가정한 다음, 상기 입력 조명 환경만을 고려하여 렌더링 함으로써 상기 입력 깊이 영상에 대응하는 조도 맵(Illumination map)을 생성할 수 있다.
그리고, 계산부(120)는, 상기 입력 칼라 영상에서 상기 조도 맵을 픽셀 별 나누기 연산(pixel-by-pixel dividing) 하여 상기 입력 칼라 영상 내의 각 오브젝트에 대응하는 재질 맵(Material map)을 생성할 수 있다.
여기서, 상기 재질 맵은 상기 입력 칼라 영상 내의 각 오브젝트의 칼라 정보(color information) 등의 텍스처(texture) 정보를 포함한다. 상기 3D 모델이 상기 입력 칼라 영상에 대응하므로, 상기 재질 맵은 상기 3D 모델에 대응하는 것으로 이해될 수도 있다.
또한, 일부 실시예에 따르면, 상기 계산부(120)는 상기 입력 조명 환경 정보를 이용하여 상기 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하고, 상기 포톤 기반 렌더링의 결과 계산되는 포톤 및 안티포톤의 차이 기초하여 상기 3D 모델에 대한 수신 광량 맵(Irradiance map)을 생성한다.
상기 수신 광량 맵은 각 픽셀에 대응하는 오브젝트의 부분, 이를테면 포인트 또는 메쉬(mesh)가 현재의 조명 환경에서 빛을 얼마나 수신하는지에 관한 정보이므로, 상기 오브젝트 부분의 재질, 이를테면 칼라 정보에 반영되는 경우, 결과 영상을 렌더링하고자 하는 카메라 뷰(camera view)에서 바라본 광학적 칼라 값을 구하는 데에 이용될 수 있다.
그리고 상기 계산부(120)는 상기 수신 광량 맵과 상기 재질 맵을 이용하여 상기 가상 오브젝트가 상기 3D 모델에 포함된 경우와 그렇지 않은 경우 사이의 칼라 차이를 나타내는 차분 영상을 생성할 수 있다.
본 발명의 일실시예에 따르면, 상기 차분 영상 생성을 위해 포톤 기반 렌더링을 수행할 수 있으며, 상세한 내용은 도 2 내지 도 7을 참고하여 보다 상세히 후술한다.
그러면, 영상 처리 장치(100)의 렌더링부(130)는 상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성할 수 있다. 이렇게 생성된 결과 영상은, 입력 칼라 영상에 상기 가상 오브젝트가 자연스럽게 포함되어 사실감이 높다. 보다 상세한 내용은 이하에서 보다 상세히 후술한다.
도 2는 본 발명의 일실시에에 따른 영상 처리 장치(100)의 계산부(120)의 구성을 도시하는 블록도이다.
본 발명의 일실시예에 따르면, 영상 처리 장치(100)의 계산부(120)는 조도 맵 계산부(210), 재질 맵 계산부(220), 수신 광량 맵 계산부(230) 및 차분 영상 계산부(240)를 포함한다.
상기한 바와 같이, 계산부(120)는 상기 입력 칼라 영상, 상기 입력 깊이 영상 및 입력 조명 환경 정보를 이용하여, 상기 가상 오브젝트를 고려하는 경우와 상기 가상 오브젝트를 고려하지 않는 경우에 발생되는 칼라 차이를 나타내는 차분 영상을 계산한다.
실제 오브젝트를 촬영한 상기 입력 칼라 영상에 가상 오브젝트를 합성하기 위해서는, 상기 가상 오브젝트가 상기 입력 칼라 영상 내의 각각의 실제 오브젝트들 사이에 삽입됨으로써 발생되는 빛의 반사와 굴절 등 광학 효과를 사실감 있게 표현할 수 있어야 한다.
이러한 광학 효과는 상기 입력 칼라 영상 내의 각 픽셀의 칼라 값들의 변화 또는 왜곡으로 이해될 수 있으며, 계산부(120)가 계산하는 상기 차분 영상은 이러한 칼라 값들의 변화 또는 왜곡을 픽셀 별로 계산한 결과이다.
상기 입력 깊이 영상은 이를 촬영한 깊이 카메라(Depth camera)로부터 실제 오브젝트들이 어떤 거리에 있는지의 정보를 나타내므로, 실제 오브젝트들의 칼라 정보를 포함한 텍스처 정보는 제공하지 않는다.
참고로, 실제로는 상기 입력 깊이 영상은 많은 원인에 의해 노이즈 특성(Noisy)를 가질 수 있는데, 이러한 원인에는 깊이 카메라의 센서 단에서의 노이즈, 깊이 접힘(Depth folding), 실제 오브젝트의 칼라 값, 외부 환경에서 자연히 존재하는 적외선(Infra Red) 등이 있다.
조도 맵 계산부(210), 또는 영상 처리 장치(100) 내의 어떠한 구성들 중 적어도 하나는 이러한 노이즈 특성을 갖는 입력 깊이 영상을 그대로 이용하지 않고, 전처리(pre-Processing)로서 노이즈 필터링, 깊이 접힘 제거, MLS 등의 영상 처리 기법 등을 사용하여, 실제 오브젝트들을 Smooth Surface Point Cloud로 생성한 다음 이용할 수 있다. 이하에서는 별다른 언급이 없더라도, 이러한 전처리 과정을 수행한 실시예와 그렇지 않을 실시예를 모두를 고려하여 본 발명이 파악되어야 한다.
조도 맵 계산부(210)는, 상기 입력 깊이 영상의 각 픽셀에 대해 재질의 텍스처 차이, 이를테면 재질 자체의 칼라를 무시하여 균일 재질로 가정한다.
그리고, 입력된 조명 환경만을 고려하여 상기 깊이 영상에서 추출된 3D 모델을 렌더링 함으로써 상기 입력 깊이 영상에 대응하는 조도 맵(Illumination map)을 생성할 수 있다.
상기 조도 맵은 상기 3D 모델 내의 실제 오브젝트들에 상기 조명 환경이 어떠한 방향에서 어떠한 칼라의 빛을, 어느 정도의 크기로 전달하는 지의 정보를 포함한다. 따라서, 실제 오브젝트 재질 자체의 칼라 값이 고려되지 않은 조명 환경에 의한 칼라 값이 상기 조도 맵에 포함된다.
그러면, 재질 맵 계산부(220)는, 상기 입력 칼라 영상으로부터 상기 조도 맵을 나누기 연산(dividing) 한다. 상기 입력 칼라 영상과 상기 깊이 영상이 픽셀 별로 매칭되어 있는 경우를 가정하면, 이러한 나누기 연산은 단순한 픽셀 별 칼라 값 나누기 연산일 수 있다.
그러면, 입력 깊이 영상의 각 픽셀의 칼라 값에서 조명 환경으로 인한 영향이 제거되어, 재질 맵이 생성된다. 상기 생성된 재질 맵은, 조명 환경을 무시한 상기 3D 모델 내의 각각의 실제 오브젝트들의 재질 칼라 정보를 포함한다.
그리고, 본 발명의 일실시예에 따르면, 수신 광량 맵 계산부(230)는 상기 3D 모델에 상기 입력 가상 오브젝트를 미리 지정된 임의의 위치에 삽입한 다음, 상기 조명 환경을 고려하여 포톤 기반 렌더링을 수행한다. 포톤 기반 렌더링에 대해서는 도 5를 참조하여 보다 상세히 후술한다.
이렇게 포톤 기반 렌더링이 수행되면, 상기 3D 모델에 상기 가상 오브젝트를 삽입한 경우의 수신 광량 맵(Irradiance map)이 생성된다.
상기 수신 광량 맵은 각 픽셀 또는 상기 각 픽셀에 대응하는 오브젝트 부분이 조명 환경으로부터 빛을 얼마나 수신하는 지의 정보를 포함한다.
상기 가상 오브젝트가 삽입되기 전의 수신 광량 맵은 상기 조도 맵에 대응할 수 있다. 상기 수신 광량 맵은 상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써, 상기 조명 환경에 의해 수신하는 광량(Irradiance)을 나타낸다.
그러면, 차분 영상 계산부(240)는 이러한 수신 광량(Irradiance)에 재질 자체의 칼라 값(Material)을 곱하여, 상기 차분 영상을 생성한다.
그리고 영상 처리 장치(100)의 렌더링부(130)가 상기 차분 영상을 상기 입력 칼라 영상에 합성하여 상기 가상 오브젝트를 실제 오브젝트에 포함시킨 결과 영상이 생성된다.
도 3은 본 발명의 일실시예에 따라 입력되는 입력 칼라 영상(310) 및 입력 깊이 영상(320)을 도시한다.
입력 칼라 영상(310)은 실제 오브젝트(311) 및 배경(Back ground)의 칼라 정보를 포함한다.
그리고, 입력 깊이 영상(320)은 상기 입력 칼라 영상(310)에 매칭되는 깊이 정보를 포함한다. 상기한 바와 같이 상기 입력 깊이 영상(320)이 상기 입력 칼라 영상(310)과 매칭되지 않은 경우라면, 워핑(warping)이나 스케일링(scaling) 등의 매칭 과정이 전처리로서 수행될 수 있다.
또한, 깊이 영상의 품질을 높이기 위해, 상기한 필터링이나 MLS 처리 등이 전처리로서 수행될 수도 있다.
영상 처리 장치(100)의 모델링부(110)는 상기 입력 칼라 영상 및 상기 입력 깊이 영상을 이용하여, 상기 3D 모델을 생성할 수 있으며, 생성되는 3D 모델은 포인트 클라우드 모델 또는 메쉬 기반의 모델 등일 수 있다.
도 4는 본 발명의 일실시예에 따라 입력되는 가상 오브젝트(400)를 도시하는 개념도이다.
가상 오브젝트(400)가 입력되면, 영상 처리 장치(100)에는 상기 가상 오브젝트(400)의 형상 정보(Geometry) 및 재질(Material) - 또는 텍스처(Texture) - 정보가 주어진다.
이하에서는, 도 5 이하를 참조하여 이러한 가상 오브젝트(400)을 입력 칼라 영상(310)에 합성하여 사실도가 높은 결과 영상을 생성하는 과정을 설명한다.
도 5는 본 발명의 일실시예에 따라 포톤 기반 렌더링을 수행하는 과정을 설명하기 위한 개념도(500)이다.
포톤 기반 렌더링(Photon-based rendering)은 입력된 조명 환경(501)에서 방출된(radiated) 포톤(Photon)들이 진행하는 경로를 추적(Path tracing)하는 방식으로 수행된다.
조명 환경(501)에서 포톤(531)이 방출되어 가상 오브젝트(530)에 부딪치는 경우, 이러한 포톤(531)은 가상 오브젝트(530)이 존재하지 않는 경우에는 원래 실제 오브젝트(510)에 부딪혔어야 한다. 따라서, 포톤(531)의 경로는 가상 오브젝트(530)의 존재로 인해 변경되며, 가상 오브젝트(530)이 없었던 경우에 포톤(531)이 실제 오브젝트(510)에 부딪쳤을 지점은 별도로 계산되어 안티포톤(512)으로 표현된다.
여기서, 포톤(Photon)은 실제 물리학에서 빛(Light)인 광자(Photon)와는 동일하지 않을 수 있으며, 오브젝트들을 포함하는 3D 모델 내에서 수신 광량(Irradiance)을 카운트 하는 데에 이용되는 정보이다. 어느 포인트에 포톤이 많이 있을수록, 그 포인트는 수신 광량(Irradiance)가 큰 것으로 고려된다.
그리고, 안티포톤(anti Photon)은 포톤(Photon)의 진행 경로가 가상 오브젝트에 의해 변경됨으로써, 상기 가상 오브젝트가 존재하지 않았을 때 실제 오브젝트가 수신했어야 하나 수신하지 못하게 되는 포톤의 양을 계산하기 위해 도입된 개념상의 포톤으로 이해된다.
상기한 바와 같이, 포톤(531)은 가상 오브젝트(530)의 삽입으로 인해 변경된 경로(Path)를 따라 이동하며, 원래 경로에 의한 실제 오브젝트(510)와의 교차점에는 안티 포톤(512)이 생성된다. 그리고, 포톤(531)은 가상 오브젝트(530)에서 반사되어, 새로운 경로를 따라 진행하다가 또 다른 가상 오브젝트(540)와 교차하며, 이러한 결과로 새로운 포톤(541)이 생성된다. 즉, 포톤(531)이 가상 오브젝트(530)의 삽입으로 인해 진행 경로가 변경됨으로써, 안티포톤(512)과 포톤(541)이 생성된다.
포톤(532) 또한 진행 경로가 변경되어 원래 진행 경로 상에서 안티포톤(513)이 생성되고, 새로운 경로 상에서 포톤(542)가 생성된다.
포톤(511)은 가상 오브젝트(530)에 부딪히지 않고 바로 실제 오브젝트(510)에 부딪혀서 반사되므로, 실제 오브젝트(520) 상에 포톤(522)이 생성되며, 이러한 과정에서는 빛의 진행 경로가 가상 오브젝트(530)의 삽입으로부터 영향을 받지 않았다.
조명 환경(501)에서 방출된 빛이 실제 오브젝트(520)에 부딪혀서 포톤(521) 및 가상 오브젝트(530) 상의 포톤(533)을 생성할 수도 있다. 물론, 도시되지는 않았으나, 포톤(533)은 가상 오브젝트(530)의 삽입으로 인해 새로이 생성되는 것이고, 포톤(521)의 경로 상에 새로이 생성된 포톤(533)으로 인해 실제 오브젝트(510) 상의 어느 부분에는 또 다른 안티포톤(도시되지 않음)이 생성될 수도 있다.
이렇게 포톤과 안티포톤들을 3D 모델 전체에 대해 계산하는 과정이 포톤 기반 렌더링으로 이해될 수 있으며, 이러한 포톤 기반 렌더링은 반사 횟수 등에 있어서 일정한 수준 까지, 이를테면 1회 반사까지만 고려될 수 있다.
도 6은 본 발명의 일실시예에 따라 생성된 조도 맵(600)을 도시한다.
한편, 조도 맵 계산부(220)는 입력 깊이 영상에 의해 파악되는 전체 포인트 클라우드를 균일한 재질(Constant material)로 가정하여, 상기 조명 환경에 의해 렌더링 할 수 있고, 그러면 각 오브젝트에 조명 환경이 칼라 값의 변화를 주는 정도를 나타내는 조도 맵(600)이 생성된다.
도 7은 본 발명의 일실시예에 따라 생성된 재질 맵(700)을 도시한다.
상기한 바와 같이, 재질 맵 계산부(220)는 입력 칼라 영상(310)에서 상기 조도 맵(600)을 픽셀 별로 나누기 연산하여 재질 맵(700)을 생성할 수 있다.
재질 맵(700)에는 오브젝트 각각의 재질 정보가 포함될 수 있으며, 대표적으로 칼라 정보가 포함될 수 있다. 도시된 예에서 오브젝트 부분의 칼라가 배경 칼라와 구분된 것을 이해할 수 있다.
이렇게 재질 맵(700)이 생성되면, 차분 영상 계산부(240)는 수신 광량 맵 계산부(230)가 계산한 가상 오브젝트와 3D 모델 전체에 대한 수신 광량 맵(Irradiance map)을 상기 재질 맵(700)과 픽셀 별로 곱하여 차분 영상(도시되지 않음)을 생성한다.
도 8은 본 발명의 일실시예에 따라 렌더링된 결과 영상(800)을 도시한다.
그리고, 렌더링부(130)는 상기 차분 영상과 상기 입력 칼라 영상(310)을 합성하여 결과 영상(800)을 생성한다.
결과 영상(800)에는 삽입된 가상 오브젝트 부분(810)이 표현되었으며, 그림자 부분(811) 등과 같이 입력 칼라 영상(310)의 칼라 값이 변경 및/또는 왜곡되는 광학적 효과가 사실적으로 표현되었다.
참고로, 이상에서 설명한 렌더링 과정에서 사용되는 영상들은 HDR(High Dynamic Range) 영상일 수 있다. 따라서 일반 칼라 카메라로 획득된 LDR(Low Dynamic Range) 영상, 이를테면 0~255 중 어느 하나의 정수인 RGB값을 임의의 float 실수인 RGB값, 이를테면 0~1 중 임의의 실수 값으로 변환하는 과정이 요구될 수 있으나, 자세한 설명은 생략하기로 한다.
또한, 가상 오브젝트를 상기 3D 모델에 삽입하는 위치는 영상 처리 장치(100)가 입력 받는 소정의 배치 정보에 의해 결정되며, 이 과정에서 마커 트랙킹(Marker tracking) 등의 과정에 이용될 수 있다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다.
단계(910)에서, 영상 처리 장치(100)의 모델링부(110)는 입력 칼라 영상 및 입력 깊이 영상에 대응하는 3D 모델을 생성한다. 3D 모델 생성 과정은 도 1 및 도 3을 도시하여 상술한 바와 같다.
그리고, 단계(920)에서 영상 처리 장치(100)의 계산부(120)는 가상 오브젝트가 삽입되는 경우에 발생하는 칼라 변경 정보를 포함하는 차분 영상을 계산한다.
본 발명의 일실시예에 따르면, 이러한 차분 영상 계산 단계(920)는, 상기 조도 맵 계산부(210)가 상기 입력 깊이 영상의 각 픽셀에 대응하는 오브젝트 부분을 균일 재질로 가정한 다음 입력 조명 환경만을 이용하여 렌더링한 조도 맵(Illumination map)을 생성하는 단계를 포함한다. 조도 맵 생성 과정은 도 6을 참조하여 상술한 바와 같다.
또한, 차분 영상 계산 단계(920)는, 재질 맵 계산부(220)가 입력 칼라 영상으로부터 상기 조도 맵을 픽셀 별 나누기 연산하여 재질 맵을 생성하는 단계를 포함할 수 있으며, 또한 수신 광량 맵 계산부(230)가 상기 수신 광량 맵을 생성하는 단계를 포함할 수 있다. 재질 맵 계산 과정은 도 7을 참조하여 상술한 바와 같고, 수신 광량 맵의 생성은 도 5를 참조하여 상술한 바와 같다.
그러면, 단계(930)에서 영상 처리 장치(100)의 렌더링부(130)가 상기 차분 영상을 상기 입력 칼라 영상에 합성하여 상기 가상 오브젝트를 실제 오브젝트에 포함시킨 결과 영상을 생성한다. 결과 영상 렌더링에 관한 단계(930)은 도 8을 참조하여 상술한 바와 같다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 모델링부
120: 계산부
130: 렌더링부

Claims (15)

  1. 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 실제 오브젝트에 대응하는 3D 모델을 생성하는 모델링부;
    입력 조명 환경 정보를 이용하여 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하고, 상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 조도 차이를 포함하는 수신 광량 맵을 생성하고, 상기 수신 광량 맵을 사용하여 상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 칼라 왜곡 정보를 포함하는 차분 영상을 생성하는 계산부; 및
    상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성하는 렌더링부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서, 상기 계산부는,
    상기 입력 깊이 영상을 균일 재질(Constant material)로 가정하여 상기 입력 조명 환경 정보를 이용하여 렌더링함으로써 상기 실제 오브젝트에 대응하는 상기 3D 모델에 대한 조도 맵(Illumination map)을 생성하는 조도 맵 계산부; 및
    상기 칼라 영상에서 상기 조도 맵을 픽셀 별 나누기 연산하여 상기 3D 모델에 대한 재질 맵(Material map)을 생성하는 재질 맵 계산부
    를 포함하는, 영상 처리 장치.
  3. 제2항에 있어서, 상기 조도 맵 계산부는,
    상기 조도 맵 생성에 앞서서 상기 입력 깊이 영상에 대해 저대역 통과 필터링 및 MLS(Moving Least Square) 중 적어도 하나의 연산을 수행하여 상기 입력 깊이 영상의 노이즈를 제거한 다음 상기 조도 맵을 생성하는, 영상 처리 장치.
  4. 제3항에 있어서, 상기 조도 맵 계산부는,
    상기 적어도 하나의 연산을 수행한 결과 생성되는 스무드 서피스 포인트 클라우드(Smooth surface point cloud)를 균일 재질로 가정하여 상기 입력 조명 환경 정보를 이용하여 렌더링함으로써 상기 실제 오브젝트에 대응하는 상기 3D 모델에 대한 조도 맵을 생성하는, 영상 처리 장치.
  5. 제2항에 있어서, 상기 계산부는,
    상기 입력 조명 환경 정보를 이용하여 상기 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하고, 상기 포톤 기반 렌더링의 결과 계산되는 포톤 및 안티포톤의 차이 기초하여 상기 3D 모델에 대한 수신 광량 맵(Irradiance map)을 생성하는 수신 광량 맵 생성부; 및
    상기 수신 광량 맵과 상기 재질 맵을 픽셀 별 곱하기 연산하여 상기 차분 영상을 생성하는 차분 영상 계산부
    를 더 포함하는, 영상 처리 장치.
  6. 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 3D 모델을 생성하는 모델링부;
    가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 조도 차이를 포함하는 수신 광량 맵을 생성하고, 입력 조명 환경 정보를 이용하여 상기 3D 모델을 카메라 시점에서 렌더링한 제1 영상과, 상기 입력 조명 환경 정보를 이용하여 상기 3D 모델 및 입력 가상 오브젝트를 상기 카메라 시점에서 렌더링 한 제2 영상의 차분 영상을 상기 수신 광량 맵을 이용하여 생성하는 계산부; 및
    상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성하는 렌더링부
    를 포함하는, 영상 처리 장치.
  7. 제6항에 있어서,
    상기 계산부는 상기 제1 영상 및 상기 제2 영상 중 어느 하나의 영상을 렌더링 하는 경우, 포톤 기반 렌더링, 래이 트래이싱 및 래이디오시티 기법 중 적어도 하나를 이용하는, 영상 처리 장치.
  8. 입력 깊이 영상을 균일 재질로 가정하여 입력 조명 환경 정보를 이용하여 렌더링함으로써 상기 입력 깊이 영상에 연관되는 오브젝트에 대한 조도 맵을 생성하는 생성하고, 가상 오브젝트가 3D 모델에 삽입됨으로써 발생되는 조도 차이를 포함하는 수신 광량 맵을 생성하는 조도 맵 계산부; 및
    입력 칼라 영상에서 상기 조도 맵을 픽셀 별 나누기 연산하여 오브젝트에 대한 재질 맵을 생성하는 재질 맵 계산부
    를 포함하는, 영상 처리 장치.
  9. 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 실제 오브젝트에 대응하는 3D 모델을 생성하는 모델링 단계;
    입력 조명 환경 정보를 이용하여 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하고, 상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 조도 차이를 포함하는 수신 광량 맵을 생성하고, 상기 수신 광량 맵을 이용하여 상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 칼라 왜곡 정보를 포함하는 차분 영상을 생성하는 계산 단계; 및
    상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성하는 렌더링 단계
    를 포함하는, 영상 처리 방법.
  10. 제9항에 있어서, 상기 계산 단계는,
    상기 입력 깊이 영상을 균일 재질로 가정하여 상기 입력 조명 환경 정보를 이용하여 렌더링함으로써 상기 실제 오브젝트에 대응하는 상기 3D 모델에 대한 조도 맵을 생성하는 조도 맵 계산 단계;
    상기 가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 조도 차이를 포함하는 수신 광량 맵을 생성하는 단계; 및
    상기 칼라 영상에서 상기 조도 맵을 픽셀 별 나누기 연산하여 상기 3D 모델에 대한 재질 맵(Material map)을 생성하는 재질 맵 계산 단계
    를 포함하는, 영상 처리 방법.
  11. 제10항에 있어서, 상기 조도 맵 계산 단계는,
    상기 조도 맵 계산 단계에 앞서서 상기 입력 깊이 영상에 대해 저대역 통과 필터링 및 MLS 중 적어도 하나의 연산을 수행하여 상기 입력 깊이 영상의 노이즈를 제거한 다음 상기 조도 맵을 생성하는, 영상 처리 방법.
  12. 제11항에 있어서, 상기 조도 맵 계산 단계는,
    상기 적어도 하나의 연산을 수행한 결과 생성되는 스무드 서피스 포인트 클라우드를 균일 재질로 가정하여 상기 입력 조명 환경 정보를 이용하여 렌더링함으로써 상기 실제 오브젝트에 대응하는 상기 3D 모델에 대한 조도 맵을 생성하는, 영상 처리 방법.
  13. 제10항에 있어서, 상기 계산 단계는,
    상기 입력 조명 환경 정보를 이용하여 상기 입력 가상 오브젝트 및 상기 3D 모델에 대해 포톤 기반 렌더링을 수행하고, 상기 포톤 기반 렌더링의 결과 계산되는 포톤 및 안티포톤의 차이 기초하여 상기 3D 모델에 대한 수신 광량 맵(Irradiance map)을 생성하는 수신 광량 맵 생성 단계; 및
    상기 수신 광량 맵과 상기 재질 맵을 픽셀 별 곱하기 연산하여 상기 차분 영상을 생성하는 차분 영상 계산 단계
    를 더 포함하는, 영상 처리 방법.
  14. 입력 칼라 영상 및 상기 입력 칼라 영상에 대응하는 입력 깊이 영상으로부터 3D 모델을 생성하는 모델링 단계;
    가상 오브젝트가 상기 3D 모델에 삽입됨으로써 발생되는 조도 차이를 포함하는 수신 광량 맵을 생성하는 단계;
    입력 조명 환경 정보를 이용하여 상기 3D 모델을 카메라 시점에서 렌더링한 제1 영상과, 상기 입력 조명 환경 정보를 이용하여 상기 3D 모델 및 입력 가상 오브젝트를 상기 카메라 시점에서 렌더링 한 제2 영상의 차분 영상을 상기 수신 광량 맵을 이용하여 생성하는 계산 단계; 및
    상기 차분 영상을 상기 입력 칼라 영상과 합성하여 상기 가상 오브젝트를 포함하는 결과 영상을 생성하는 렌더링 단계
    를 포함하는, 영상 처리 방법.
  15. 제9항 내지 제14항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020110057471A 2011-06-14 2011-06-14 영상 처리 장치 및 방법 KR101845231B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110057471A KR101845231B1 (ko) 2011-06-14 2011-06-14 영상 처리 장치 및 방법
CN201210195561.2A CN102982577B (zh) 2011-06-14 2012-06-13 用于图像处理的设备和方法
US13/495,378 US9870644B2 (en) 2011-06-14 2012-06-13 Apparatus and method for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110057471A KR101845231B1 (ko) 2011-06-14 2011-06-14 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120138140A KR20120138140A (ko) 2012-12-24
KR101845231B1 true KR101845231B1 (ko) 2018-04-04

Family

ID=47353321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110057471A KR101845231B1 (ko) 2011-06-14 2011-06-14 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US9870644B2 (ko)
KR (1) KR101845231B1 (ko)
CN (1) CN102982577B (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223064B1 (ko) 2014-03-18 2021-03-04 삼성전자주식회사 영상 처리 장치 및 방법
WO2016077506A1 (en) 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
US9626803B2 (en) 2014-12-12 2017-04-18 Qualcomm Incorporated Method and apparatus for image processing in augmented reality systems
US10119809B2 (en) * 2015-02-16 2018-11-06 Intel Corporation Simulating multi-camera imaging systems
US10284816B2 (en) * 2015-03-23 2019-05-07 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
CN114063302B (zh) * 2015-04-22 2023-12-12 易赛特股份有限公司 光学像差校正的方法和装置
CN105150530B (zh) * 2015-04-30 2017-09-08 北京敏速自动控制设备有限公司 三维模型处理方法及其装置、三维打印方法及三维打印设备
WO2017066801A1 (en) 2015-10-16 2017-04-20 Bent Image Lab, Llc Augmented reality platform
CN105597314B (zh) * 2015-10-29 2020-07-10 网易（杭州）网络有限公司 一种2d游戏的渲染系统及方法、终端设备
US10068385B2 (en) 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
WO2017165705A1 (en) 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
US10950039B2 (en) * 2016-06-16 2021-03-16 Sony Interactive Entertainment Inc. Image processing apparatus
US10546415B2 (en) * 2017-02-07 2020-01-28 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
US10785413B2 (en) * 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
US11380046B2 (en) * 2019-07-23 2022-07-05 Texas Instruments Incorporated Surround view
CN110599579B (zh) * 2019-09-20 2023-02-24 山东师范大学 基于光子重采样的随机渐近光子映射图像渲染方法及系统
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046099A1 (en) * 2006-11-13 2009-02-19 Bunkspeed Real-time display system
KR100951121B1 (ko) 2008-12-08 2010-04-07 서강대학교산학협력단 간접 조명 효과를 위한 렌더링 방법

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100231712B1 (ko) 1997-06-13 1999-11-15 정선종 무인정찰기 시스템의 운용 방법
JP3720587B2 (ja) 1998-07-13 2005-11-30 大日本印刷株式会社 画像合成装置
US6628298B1 (en) * 1998-07-17 2003-09-30 The Regents Of The University Of California Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination
KR100276433B1 (ko) 1998-10-10 2001-02-01 정선종 증강 현실을 이용한 관광 망원경 시스템 및 그 운용방법
JP3387856B2 (ja) 1999-08-06 2003-03-17 キヤノン株式会社 画像処理方法、画像処理装置および記憶媒体
JP2001143105A (ja) 1999-11-18 2001-05-25 Matsushita Electric Ind Co Ltd 画像生成装置
KR100327120B1 (ko) 1999-12-13 2002-03-13 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
US7432935B2 (en) * 2002-11-19 2008-10-07 Mental Images Gmbh Image synthesis methods and systems for generating sample points in a graphics scene
US7952583B2 (en) * 2000-06-19 2011-05-31 Mental Images Gmbh Quasi-monte carlo light transport simulation by efficient ray tracing
ES2272547T3 (es) * 2000-06-19 2007-05-01 Mental Images Gmbh Generacion de valores de pixeles utilizando metodologias estrictamente deterministicas para generar puntos de muestra.
KR100450836B1 (ko) * 2001-12-11 2004-10-01 삼성전자주식회사 이차원 영상의 입체화 장치 및 방법
JP3863023B2 (ja) 2002-01-29 2006-12-27 株式会社東芝 テクスチャ生成装置、テクスチャマッピング装置、テクスチャ生成方法、テクスチャマッピング方法、テクスチャ生成プログラム、及び、テクスチャマッピングプログラム
US7262770B2 (en) * 2002-03-21 2007-08-28 Microsoft Corporation Graphics image rendering with radiance self-transfer for low-frequency lighting environments
JP4217100B2 (ja) 2003-04-17 2009-01-28 本田技研工業株式会社 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム
KR100551107B1 (ko) 2003-07-03 2006-02-14 박배억 가상 현실 구현을 위한 실사 이미지 합성 방법
JP4522129B2 (ja) 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
KR100740879B1 (ko) 2004-11-16 2007-07-19 한국전자통신연구원 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법
KR100755187B1 (ko) 2006-02-23 2007-09-03 주식회사 엔씨소프트 실제영상에 가상매체를 표시할 수 있는 디지털 기기 및 그표시방법
US7408550B2 (en) * 2006-07-24 2008-08-05 Bunnell Michael T System and methods for real-time rendering of deformable geometry with global illumination
US7894662B2 (en) * 2006-10-11 2011-02-22 Tandent Vision Science, Inc. Method for using image depth information in identifying illumination fields
JP4808600B2 (ja) 2006-11-22 2011-11-02 デジタルファッション株式会社 レンダリングプログラム、レンダリング装置、及びレンダリング方法
US8436855B1 (en) * 2007-02-19 2013-05-07 Aechelon Technology, Inc. Efficient illumination of large three dimensional environments
KR20080102789A (ko) 2007-05-22 2008-11-26 김성현 버츄어 미러
KR100897006B1 (ko) 2007-08-28 2009-05-14 중앙대학교 산학협력단 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법
EP2051533B1 (en) * 2007-10-19 2014-11-12 Canon Kabushiki Kaisha 3D image rendering apparatus and method
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
JP4999711B2 (ja) 2007-11-07 2012-08-15 キヤノン株式会社 画像処理装置、画像処理方法
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR100914848B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 혼합현실 시스템 및 그 구현 방법
KR100927009B1 (ko) 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
CN104112291B (zh) 2008-03-21 2017-03-29 想象技术有限公司 用于光线追踪渲染的并行相交测试及着色的架构
US7937245B2 (en) * 2008-04-02 2011-05-03 Dreamworks Animation Llc Rendering of subsurface scattering effects in translucent objects
CN101354784B (zh) * 2008-08-21 2010-10-13 上海交通大学 基于图像的真实光源获取及重光照的方法
KR100964951B1 (ko) 2008-10-29 2010-06-21 에이알비전 (주) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes
CA2662318C (en) 2009-01-17 2014-12-02 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8542231B2 (en) * 2009-06-29 2013-09-24 Crytek Gmbh Method, computer graphics image rendering system and computer-readable data storage medium for computing of indirect illumination in a computer graphics image of a scene
KR101025899B1 (ko) 2009-06-30 2011-03-30 에이알비전 (주) 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법
KR101013751B1 (ko) 2009-07-09 2011-02-14 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR101615238B1 (ko) 2009-07-21 2016-05-12 삼성전자주식회사 영상 처리 장치 및 방법
KR20110014795A (ko) 2009-08-06 2011-02-14 삼성전자주식회사 영상 처리 장치 및 방법
US8798392B2 (en) * 2010-11-10 2014-08-05 Tandent Vision Science, Inc. Method and system for generating intrinsic images using a smooth illumination constraint
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046099A1 (en) * 2006-11-13 2009-02-19 Bunkspeed Real-time display system
KR100951121B1 (ko) 2008-12-08 2010-04-07 서강대학교산학협력단 간접 조명 효과를 위한 렌더링 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Claus B. Madsen, et al., ‘A SCALABLE GPU-BASED APPROACH TO SHADING AND SHADOWING FOR PHOTOREALISTIC REAL-TIME AUGMENTED REALITY’, ARTICLE IN PROCEEDING, 2007*
J. Wang, ‘A Hole-Filling Strategy for Reconstruction of Smooth Surfaces in Range Images’, Computer Graphics and Image Processing, 2003. SIBGRAPI 2003, 2003.10.27.*
송기동, 임인성, ‘연기 파티클에 대한 포톤 매핑 기반의 렌더링 기법’, 컴퓨터 그래픽스학회논문지 14, 한국컴퓨터그래픽스학회, (2008.12)

Also Published As

Publication number Publication date
US9870644B2 (en) 2018-01-16
KR20120138140A (ko) 2012-12-24
CN102982577A (zh) 2013-03-20
US20120320039A1 (en) 2012-12-20
CN102982577B (zh) 2017-05-03

Similar Documents

Publication Publication Date Title
KR101845231B1 (ko) 영상 처리 장치 및 방법
CN111968215B (zh) 一种体积光渲染方法、装置、电子设备及存储介质
KR102223064B1 (ko) 영상 처리 장치 및 방법
CN107341853B (zh) 超大虚拟场景和动态摄屏的虚实融合方法及系统
US9684997B2 (en) Efficient rendering of volumetric elements
US8207968B1 (en) Method and apparatus for irradiance caching in computing indirect lighting in 3-D computer graphics
CN111968216A (zh) 一种体积云阴影渲染方法、装置、电子设备及存储介质
US8717358B2 (en) Image processing apparatus and method
KR100849693B1 (ko) 정적 그림자 생성 방법 및 정적 그림자 생성 시스템
US8896599B2 (en) Image processing apparatus and method
CN104331918A (zh) 基于深度图实时绘制室外地表遮挡剔除以及加速方法
Widmer et al. An adaptive acceleration structure for screen-space ray tracing
KR20150114767A (ko) 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치
CN112884860B (zh) 水面波纹效果生成方法、装置、电子设备和存储介质
KR20110032366A (ko) 영상 처리 장치 및 방법
DuVall et al. Compositing light field video using multiplane images
US11217002B2 (en) Method for efficiently computing and specifying level sets for use in computer simulations, computer graphics and other purposes
US11341301B2 (en) Method for generating simulations of fluid interfaces for improved animation of fluid interactions
KR101585998B1 (ko) 영상 처리 장치 및 방법
Camporesi et al. Computing shortest path maps with GPU shaders
KR20120062542A (ko) 영상 처리 장치 및 방법
Papadopoulos et al. Realistic real-time underwater caustics and godrays
Coleman et al. Into the voyd: teleportation of light transport in incredibles 2
CN118172459A (zh) 一种倾斜摄影模型渲染方法及渲染系统
JP2024523729A (ja) ３ｄ環境におけるリアルタイム光線追跡のためのシステム及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant