KR101451792B1 - 영상 렌더링 장치 및 그 방법 - Google Patents

영상 렌더링 장치 및 그 방법 Download PDF

Info

Publication number
KR101451792B1
KR101451792B1 KR1020130061909A KR20130061909A KR101451792B1 KR 101451792 B1 KR101451792 B1 KR 101451792B1 KR 1020130061909 A KR1020130061909 A KR 1020130061909A KR 20130061909 A KR20130061909 A KR 20130061909A KR 101451792 B1 KR101451792 B1 KR 101451792B1
Authority
KR
South Korea
Prior art keywords
light
target face
image
irradiating
linearly polarized
Prior art date
Application number
KR1020130061909A
Other languages
English (en)
Inventor
김재완
김익재
안상철
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020130061909A priority Critical patent/KR101451792B1/ko
Application granted granted Critical
Publication of KR101451792B1 publication Critical patent/KR101451792B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 명세서는 반구 형태의 조명 장치와 3차원 촬영 장치를 이용하여 대상 얼굴의 3차원 고화질 영상을 획득할 수 있는 영상 렌더링 장치 및 그 방법에 관한 것으로서, 본 명세서의 실시예에 따른 영상 렌더링 장치는, 수직 및 수평 방향으로 선편광된 광을 대상 얼굴에 조사하는 광 발생부와; 상기 대상 얼굴을 촬영함으로써 상기 대상 얼굴의 3차원 기하정보를 획득하는 카메라와; 상기 선편광된 광을 상기 대상 얼굴에 조사함으로써 촬영된 영상들을 근거로 스페큘러 노멀 영상을 생성하고, 상기 스페큘러 노멀 영상과, 상기 대상 얼굴의 3차원 기하정보와, 상기 대상 얼굴의 텍스처 영상을 렌더링하는 영상 처리부를 포함할 수 있다.

Description

영상 렌더링 장치 및 그 방법{IMAGE RENDERING APPARATUS AND METHOD THEREOF}
본 명세서는 영상 렌더링 장치 및 그 방법에 관한 것이다.
일반적으로, 3차원 카메라를 통해 인물 또는 사물에 대한 3차원 디지털 형상 정보를 손쉽게 취득할 수 있고, 이를 게임 등에서 활용하는 기술들이 등장하고 있다. 종래 기술에 따른 3차원 영상 구현 시스템은 한국 특허 출원번호 10-2009-0063116에 개시되어 있다.
본 명세서는 반구 형태의 조명 장치와 3차원 촬영 장치를 이용하여 대상 얼굴의 3차원 고화질 영상을 획득할 수 있는 영상 렌더링 장치 및 그 방법을 제공하는 데 그 목적이 있다.
본 명세서의 실시예에 따른 영상 렌더링 장치는, 수직 및 수평 방향으로 선편광된 광을 대상 얼굴에 조사하는 광 발생부와; 상기 대상 얼굴을 촬영함으로써 상기 대상 얼굴의 3차원 기하정보를 획득하는 카메라와; 상기 선편광된 광을 상기 대상 얼굴에 조사함으로써 촬영된 영상들을 근거로 스페큘러 노멀 영상을 생성하고, 상기 스페큘러 노멀 영상과, 상기 대상 얼굴의 3차원 기하정보와, 상기 대상 얼굴의 텍스처 영상을 렌더링하는 영상 처리부를 포함할 수 있다.
본 명세서와 관련된 일 예로서, 상기 광 발생부는 상기 수직 및 수평 방향으로 선편광된 광을 조사하는 제1 선편광 필터를 포함하며, 상기 카메라는 수평 방향으로 선편광된 광을 조사하는 제2 선편광 필터를 포함하며, 상기 제1 및 제2 선편광 필터는 서로 동일할 수 있다.
본 명세서와 관련된 일 예로서, 상기 렌더링된 영상을 표시하는 표시부를 더 포함할 수 있다.
본 명세서와 관련된 일 예로서, 상기 광 발생부는, 반구형 프레임과; 상기 반구형 프레임에 설치된 다수의 발광 소자를 포함하며, 상기 다수의 발광 소자 각각은 상기 제1 선편광 필터를 포함할 수 있다.
본 명세서와 관련된 일 예로서, 상기 다수의 발광 소자는, 한 쌍의 발광 소자가 다수개로 구성되며, 각 한 쌍의 발광 소자는 상기 반구형 프레임의 각 교차 지점에 설치될 수 있다.
본 명세서와 관련된 일 예로서, 상기 각 한 쌍의 발광 소자는, 상기 수직과 수평 방향으로 선편광된 광을 조사하도록 서로 직교방향으로 상기 반구형 프레임의 각 교차 지점에 설치될 수 있다.
본 명세서와 관련된 일 예로서, 상기 광 발생부는, 상기 반구형 프레임에 설치된 수직 또는 수평 방향의 발광 소자만을 턴-온시킴으로써 상기 수직 또는 수평 방향으로 선편광된 광을 상기 대상 얼굴에 조사할 수 있다.
본 명세서와 관련된 일 예로서, 상기 광 발생부는, 미리설정된 다수의 광 패턴으로 수직 및 수평 방향으로 선편광된 광을 상기 대상 얼굴에 조사할 수 있다.
본 명세서와 관련된 일 예로서, 상기 광 발생부는, 기준 패턴으로 수직 방향으로 선편광된 제1 광을 상기 대상 얼굴에 조사하고, X축 그레디언트 패턴으로 수직 방향으로 선편광된 제2 광을 상기 대상 얼굴에 조사하고, Y축 그레디언트 패턴으로 수직 방향으로 선편광된 제3 광을 상기 대상 얼굴에 조사하고, z축 그레디언트 패턴으로 수직 방향으로 선편광된 제4 광을 상기 대상 얼굴에 조사하고, 상기 기준 패턴으로 수평 방향으로 선편광된 제5 광을 상기 대상 얼굴에 조사하고, 상기 X축 그레디언트 패턴으로 수평 방향으로 선편광된 제6 광을 상기 대상 얼굴에 조사하고, 상기 Y축 그레디언트 패턴으로 수평 방향으로 선편광된 제7 광을 상기 대상 얼굴에 조사하고, 상기 z축 그레디언트 패턴으로 수평 방향으로 선편광된 제8 광을 상기 대상 얼굴에 조사할 수 있다.
본 명세서와 관련된 일 예로서, 상기 영상 처리부는, 상기 미리설정된 다수의 광 패턴으로 수직 및 수평 방향으로 선편광된 광을 상기 대상 얼굴에 조사할 때마다 상기 카메라를 통해 촬영된 상기 대상 얼굴의 영상들을 근거로 스페큘러 성분 영상들을 생성할 수 있다.
본 명세서와 관련된 일 예로서, 상기 대상 얼굴의 텍스처 영상은 상기 제 1광을 상기 대상 얼굴에 조사함으로써 촬영된 영상일 수 있다.
본 명세서와 관련된 일 예로서, 상기 영상 처리부는,
상기 제1 광을 상기 대상 얼굴에 조사함으로써 촬영된 제1 영상과, 상기 제5 광을 상기 대상 얼굴에 조사함으로써 촬영된 제2 영상의 차이 영상을 상기 기준 패턴의 스페큘러 성분 영상으로서 생성하고;
상기 제2 광을 상기 대상 얼굴에 조사함으로써 촬영된 제3 영상과, 상기 제6 광을 상기 대상 얼굴에 조사함으로써 촬영된 제4 영상의 차이 영상을 상기 X축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성하고;
상기 제3 광을 상기 대상 얼굴에 조사함으로써 촬영된 제5 영상과, 상기 제7 광을 상기 대상 얼굴에 조사함으로써 촬영된 제6 영상의 차이 영상을 상기 Y축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성하고;
상기 제4 광을 상기 대상 얼굴에 조사함으로써 촬영된 제7 영상과, 상기 제8 광을 상기 대상 얼굴에 조사함으로써 촬영된 제8 영상의 차이 영상을 상기 Z축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성할 수 있다.
본 명세서와 관련된 일 예로서, 상기 영상 처리부는, 상기 기준 패턴의 스페큘러 성분 영상으로 상기 X축, Y축, Z 축 그레디언트 패턴의 스페큘러 성분 영상들을 정규화한 후, 상기 정규화된 영상의 각 화소값을 RGB(Red, Green, Blue) 컬러값으로 변환함으로써 상기 스페큘러 노멀 영상을 생성할 수 있다.
본 명세서의 실시예에 따른 영상 렌더링 장치는, 수직 및 수평 방향으로 선편광된 광을 대상 얼굴에 조사하는 단계와; 상기 대상 얼굴을 카메라를 통해 촬영함으로써 상기 대상 얼굴의 3차원 기하정보를 획득하는 단계와; 상기 선편광된 광을 상기 대상 얼굴에 조사함으로써 촬영된 영상들을 근거로 스페큘러 노멀 영상을 생성하는 단계와; 상기 스페큘러 노멀 영상과, 상기 대상 얼굴의 3차원 기하정보와, 상기 대상 얼굴의 텍스처 영상을 렌더링하는 단계를 포함할 수 있다.
본 명세서의 실시예에 따른 영상 렌더링 장치 및 그 방법은, 반구 형태의 조명 장치와 3차원 촬영 장치를 이용하여 대상 얼굴의 3차원 고화질 영상을 획득할 수 있다.
본 명세서의 실시예에 따른 영상 렌더링 장치 및 그 방법은, 반구 형태의 조명 장치와 3차원 촬영 장치를 이용하여 대상 얼굴의 3차원 고화질 영상을 획득하고, 그 획득한 3차원 고화질 영상을 실시간으로 디지털 데이터로 변환함으로써 디지털 방송, 영화 제작, 사용자의 아바타 생성 등과 같은 다양한 시각적 어플리케이션에 활용할 수도 있다.
도 1은 본 발명의 실시예에 따른 영상 렌더링 장치를 나타낸 구성도 이다.
도 2는 본 발명의 실시예에 따른 영상 렌더링 장치의 설치 위치를 나타낸 예시도 이다.
도 3은 본 발명의 실시예에 따른 반구형 광 발생부(10)를 나타낸 예시도이다.
도 4는 본 발명의 실시예에 따른 반구형 광 발생부로부터 조사된 다양한 패턴의 광을 나타낸 예시도이다.
도 5는 본 발명의 실시예에 따라 촬영된 8장의 영상 및 스페큘러(Specular) 성분 영상을 나타낸 예시도 이다.
도 6은 본 발명의 실시예에 따른 렌더링된 영상(고화질 3D 렌더링 영상)을 나타낸 예시도 이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 영상 렌더링 장치를 나타낸 구성도 이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 영상 렌더링 장치(100)는, 제1 선편광 필터(11)를 통해 수직 및 수평 방향으로 선편광된 광(linearly-polarized light)을 대상 얼굴(사용자 얼굴)에 조사하는 광 발생부(또는 조명장치)(10)와; 제2 선편광 필터(21)를 통해 상기 대상 얼굴(사용자 얼굴)의 3차원 기하정보(3D Geometry Data)를 획득하는 카메라(또는 3차원 촬영 장치)(20)와; 상기 선편광된 광을 상기 대상 얼굴에 조사함으로써 촬영된 영상들을 근거로 스페큘러 노멀(Specular Normal) 영상을 생성하고, 상기 스페큘러 노멀 영상과, 상기 대상 얼굴의 3차원 기하정보와, 상기 대상 얼굴의 텍스처 영상(Texture image)을 렌더링하는 영상 처리부(30)와; 상기 렌더링된 영상(고화질 3D 렌더링 영상)을 실시간 표시하는 표시부(40)를 포함한다.
상기 제1 선편광 필터(11)와 상기 제2 선편광 필터(21)는 서로 동일한 선편광 필터로서, 수평 선편광 필터 또는 수직 선편광 필터일 수 있다.
상기 제1 선편광 필터(11)는 광 발생부(또는 조명장치)(10)에 부착되며, 상기 제2 선편광 필터(21)는 상기 카메라(20)의 전면(앞면)에 부착된다.
상기 대상 얼굴의 3차원 기하정보는 한 쌍의 2D 카메라를 이용한 스테레오 비전(Stereo Vision), 또는 3차원 카메라를 이용하여 획득될 수 있다.
상기 표시부(40)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 어느 하나일 수 있다.
도 2는 본 발명의 실시예에 따른 영상 렌더링 장치의 설치 위치를 나타낸 예시도 이다.
도 2에 도시한 바와 같이, 반구형의 광 발생부(10)는 제1 선편광 필터(11)가 장착된 다수의 LED(light emitting diode)(발광 소자)를 통해 수직 및 수평 방향으로 선편광된 광(linearly-polarized light)을 대상 얼굴(사용자 얼굴)에 조사한다.
상기 카메라(20)는 상기 제2 선편광 필터(21)를 통해 상기 대상 얼굴(사용자 얼굴)을 촬영한다.
도 3은 본 발명의 실시예에 따른 반구형 광 발생부(10)를 나타낸 예시도이다.
도 3에 도시한 바와 같이, 본 발명의 실시예에 따른 반구형 광 발생부(10)는, 반구형 프레임(10a)과; 상기 반구형 프레임(10a)에 부착된 다수의 LED(10b)와; 상기 다수의 LED(10b) 각각에 부착된 제1 선편광 필터(11)를 포함한다.
상기 반구형 프레임(10a)의 각 교차 지점에는 한 쌍의 LED가 부착되며, 상기 한 쌍의 LED의 각 전면에는 서로 직교방향(예를 들면, 수직과 수평 방향)으로 선편광된 광을 조사하도록 상기 제1 선편광 필터(11)가 부착된다.
상기 광 발생부(조명장치)(10)는 상기 반구형 프레임(10a)에 설치된 단일 방향(수직 또는 수평 방향)의 LED만을 턴-온시킴으로써 수직 또는 수평 방향으로 선편광된 광(linearly-polarized light)을 조사할 수도 있다.
상기 카메라(20)는 상기 반구형 프레임(10a)의 중심축에 설치될 수 있다.
도 4는 본 발명의 실시예에 따른 반구형 광 발생부로부터 조사된 다양한 패턴의 광을 나타낸 예시도이다.
도 4에 도시한 바와 같이, 본 발명의 실시예에 따른 반구형 광 발생부(10)는, 기준 패턴(예를 들면, 백색 광)(4-1)으로 수직 방향으로 선편광된 광(제1 광)을 상기 대상 얼굴에 조사하고, X축 그레디언트(Gradient) 패턴(4-2)으로 수직 방향으로 선편광된 광(제2 광)을 상기 대상 얼굴에 조사하고, Y축 그레디언트 패턴(4-3)으로 수직 방향으로 선편광된 광(제3 광)을 상기 대상 얼굴에 조사하고, z축 그레디언트 패턴(4-4)으로 수직 방향으로 선편광된 광(제4 광)을 상기 대상 얼굴에 조사한다.
또한, 본 발명의 실시예에 따른 반구형 광 발생부(10)는, 기준 패턴(예를 들면, 백색 광)(4-1)으로 수평 방향으로 선편광된 광(제5 광)을 상기 대상 얼굴에 조사하고, X축 그레디언트 패턴(4-2)으로 수평 방향으로 선편광된 광(제6 광)을 상기 대상 얼굴에 조사하고, Y축 그레디언트 패턴(4-3)으로 수평 방향으로 선편광된 광(제7 광)을 상기 대상 얼굴에 조사하고, z축 그레디언트 패턴(4-4)으로 수평 방향으로 선편광된 광(제8 광)을 상기 대상 얼굴에 조사한다. 즉, 본 발명의 실시예에 따른 반구형 광 발생부(10)는, 4가지 패턴 형태(도4의 도면 부호 4-1 내지 4-4)로 각각 수직 및 수평 방향으로 선편광된 광(제1~제8 광)을 각각 상기 대상 얼굴에 조사한다.
상기 카메라(20)는 상기 제1 광 내지 제8 광이 상기 대상 얼굴에 순차적으로 조사될 때마다 상기 대상 얼굴을 촬영함으로써 총 8장의 영상을 촬영하고, 상기 촬영된 8장의 영상을 상기 영상 처리부(30)에 출력한다. 상기 카메라(20)의 전면(앞면)에는 수직 또는 수평 방향의 선편광 필터(21)가 부착될 수 있으나, 본 발명에서는 상기 카메라(20)의 전면(앞면)에 수직 방향의 선편광 필터(21)가 부착된 것으로 가정하여 설명한다.
도 5는 본 발명의 실시예에 따라 촬영된 8장의 영상 및 스페큘러(Specular) 성분 영상을 나타낸 예시도 이다.
도 5에 도시한 바와 같이, 상기 영상 처리부(30)는, 상기 4가지 패턴 형태(도4의 도면 부호 4-1 내지 4-4)로 각각 수직 방향으로 선편광된 광(제1~제4 광)을 상기 대상 얼굴에 조사함으로써 촬영된 영상들(5a)과 상기 4가지 패턴 형태(4-1~4-4)로 각각 수평 방향으로 선편광된 광(제5~제8 광)을 상기 대상 얼굴에 조사함으로써 촬영된 영상들(5b)을 근거로 스페큘러(Specular) 성분 영상들(5c)을 생성한다.
예를 들면, 상기 영상 처리부(30)는, 상기 기준 패턴(예를 들면, 백색 광)(4-1)으로 수직 방향으로 선편광된 광(제1 광)을 상기 대상 얼굴에 조사함으로써 촬영된 제1 영상(5-1)과, 상기 기준 패턴(예를 들면, 백색 광)(4-1)으로 수평 방향으로 선편광된 광(제5 광)을 상기 대상 얼굴에 조사함으로써 촬영된 제2 영상(5-2)의 차이 영상(5-9)을 구하고(생성), 그 구해진 차이 영상을 기준 패턴 스페큘러(Specular) 성분 영상(5-9)으로서 결정한다. 상기 영상 처리부(30)는 상기 X축 그레디언트 패턴(4-2)으로 수직 방향으로 선편광된 광(제2 광)을 상기 대상 얼굴에 조사함으로써 촬영된 제3 영상(5-3)과, 상기 X축 그레디언트 패턴(4-2)으로 수평 방향으로 선편광된 광(제6 광)을 상기 대상 얼굴에 조사함으로써 촬영된 제4 영상(5-4)의 차이 영상(5-10)을 구하고(생성), 그 구해진 차이 영상을 X축 그레디언트 패턴의 스페큘러(Specular) 성분 영상(5-10)으로서 결정한다. 상기 영상 처리부(30)는 상기 Y축 그레디언트 패턴(4-3)으로 수직 방향으로 선편광된 광(제3 광)을 상기 대상 얼굴에 조사함으로써 촬영된 제5 영상(5-5)과, 상기 Y축 그레디언트 패턴(4-3)으로 수평 방향으로 선편광된 광(제7 광)을 상기 대상 얼굴에 조사함으로써 촬영된 제6 영상(5-6)의 차이 영상(5-11)을 구하고(생성), 그 구해진 차이 영상을 Y축 그레디언트 패턴의 스페큘러(Specular) 성분 영상(5-11)으로서 결정한다. 상기 영상 처리부(30)는 상기 Z축 그레디언트 패턴(4-4)으로 수직 방향으로 선편광된 광(제4 광)을 상기 대상 얼굴에 조사함으로써 촬영된 제7 영상(5-7)과, 상기 Z축 그레디언트 패턴(4-4)으로 수평 방향으로 선편광된 광(제8 광)을 상기 대상 얼굴에 조사함으로써 촬영된 제8 영상(5-8)의 차이 영상(5-12)을 구하고(생성), 그 구해진 차이 영상을 Z축 그레디언트 패턴의 스페큘러(Specular) 성분 영상(5-12)으로서 결정한다.
도 6은 본 발명의 실시예에 따른 렌더링된 영상(고화질 3D 렌더링 영상)을 나타낸 예시도 이다.
도 6에 도시한 바와 같이, 상기 영상 처리부(30)는, 상기 스페큘러 성분 영상(5-9 내지 5-12)들 중에서 상기 기준 패턴 스페큘러 성분 영상(5-9)으로 상기 X축, Y축, Z 축 그레디언트 패턴의 스페큘러 성분 영상들(5-10 내지 5-12)을 정규화(Normalization)한 후, 상기 정규화된 영상의 각 화소값을 RGB(Red, Green, Blue) 컬러값으로 변환함으로써 상기 스페큘러 노멀(Specular Normal) 영상(6-3)을 생성한다. 예를 들면, 상기 영상 처리부(30)는 상기 정규화된 X축 그레디언트 패턴의 스페큘러 성분 영상의 각 화소값을 Red 컬러값으로, 상기 정규화된 Y축 그레디언트 패턴의 스페큘러 성분 영상의 각 화소값을 Green 컬러값으로, 상기 정규화된 Z축 그레디언트 패턴의 스페큘러 성분 영상의 각 화소값을 Blue 컬러값으로 변환함으로써 상기 스페큘러 노멀(Specular Normal) 영상(6-3)을 생성한다.
상기 영상 처리부(30)는 상기 스페큘러 노멀(Specular Normal) 영상(스페큘러 노멀 맵)(6-3)과, 상기 대상 얼굴(사용자 얼굴)의 3차원 기하정보(3D Geometry Data)(6-1)와, 상기 대상 얼굴(사용자 얼굴)의 텍스처 영상(Texture image)(텍스처 맵)(예를 들면, 상기 제1 광을 상기 대상 얼굴에 조사함으로써 촬영된 제1 영상(5-1))을 함께 렌더링하고, 그 렌더링된 영상(고화질 3D 렌더링 영상)(6-4)을 실시간 상기 표시부(40)에 표시한다. 상기 영상 처리부(30)는, 상기 대상 얼굴(사용자 얼굴)의 3차원 기하정보(3D Geometry Data)(6-1)와, 상기 대상 얼굴의 텍스처 영상(5-1)), 스페큘러 노멀 영상(6-3)을 3차원 렌더링 소프트웨어(예를 들면, Autodesk Maya 등)의 입력값(고화질 렌더링에 필요한 입력값)으로서 입력할 수도 있다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 영상 렌더링 장치 및 그 방법은, 반구 형태의 조명 장치(광 발생부)와 3차원 촬영 장치(3차원 카메라)를 이용하여 대상 얼굴의 3차원 고화질 영상을 획득할 수 있다.
본 명세서의 실시예에 따른 영상 렌더링 장치 및 그 방법은, 반구 형태의 조명 장치(광 발생부)와 3차원 촬영 장치(3차원 카메라)를 이용하여 대상 얼굴의 3차원 고화질 영상을 획득하고, 그 획득한 3차원 고화질 영상을 실시간으로 디지털 데이터로 변환하여 디지털 방송, 영화 제작, 사용자의 아바타 생성 등 다양한 시각적 어플리케이션에 활용할 수도 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 광 발생부 20: 카메라
30: 영상 처리부 40: 표시부

Claims (20)

  1. 수직 및 수평 방향으로 선편광된 광을 대상 얼굴에 조사하는 광 발생부와;
    상기 대상 얼굴을 촬영함으로써 상기 대상 얼굴의 3차원 기하정보를 획득하는 카메라와;
    상기 선편광된 광을 상기 대상 얼굴에 조사함으로써 촬영된 영상들을 근거로 스페큘러 노멀 영상을 생성하고, 상기 스페큘러 노멀 영상과, 상기 대상 얼굴의 3차원 기하정보와, 상기 대상 얼굴의 텍스처 영상을 렌더링하는 영상 처리부와;
    상기 렌더링된 영상을 표시하는 표시부를 포함하는 것을 특징으로 하는 영상 렌더링 장치.
  2. 제1항에 있어서, 상기 광 발생부는 상기 수직 및 수평 방향으로 선편광된 광을 조사하는 제1 선편광 필터를 포함하며,
    상기 카메라는 제2 선편광 필터를 포함하며,
    상기 제1 및 제2 선편광 필터는 서로 동일한 것을 특징으로 하는 영상 렌더링 장치.
  3. 삭제
  4. 제2항에 있어서, 상기 광 발생부는,
    반구형 프레임과;
    상기 반구형 프레임에 설치된 다수의 발광 소자를 포함하며,
    상기 다수의 발광 소자 각각은 상기 제1 선편광 필터를 포함하는 것을 특징으로 하는 영상 렌더링 장치.
  5. 제4항에 있어서, 상기 다수의 발광 소자는,
    한 쌍의 발광 소자가 다수개로 구성되며, 각 한 쌍의 발광 소자는 상기 반구형 프레임의 각 교차 지점에 설치되는 것을 특징으로 하는 영상 렌더링 장치.
  6. 제5항에 있어서, 상기 각 한 쌍의 발광 소자는,
    상기 수직과 수평 방향으로 선편광된 광을 조사하도록 서로 직교방향으로 상기 반구형 프레임의 각 교차 지점에 설치되는 것을 특징으로 하는 영상 렌더링 장치.
  7. 제4항에 있어서, 상기 광 발생부는,
    상기 반구형 프레임에 설치된 수직 또는 수평 방향의 발광 소자만을 턴-온시킴으로써 상기 수직 또는 수평 방향으로 선편광된 광을 상기 대상 얼굴에 조사하는 것을 특징으로 하는 영상 렌더링 장치.
  8. 제4항에 있어서, 상기 광 발생부는,
    미리설정된 다수의 광 패턴으로 수직 및 수평 방향으로 선편광된 광을 상기 대상 얼굴에 조사하는 것을 특징으로 하는 영상 렌더링 장치.
  9. 제4항에 있어서, 상기 광 발생부는,
    기준 패턴으로 수직 방향으로 선편광된 제1 광을 상기 대상 얼굴에 조사하고,
    X축 그레디언트 패턴으로 수직 방향으로 선편광된 제2 광을 상기 대상 얼굴에 조사하고,
    Y축 그레디언트 패턴으로 수직 방향으로 선편광된 제3 광을 상기 대상 얼굴에 조사하고,
    z축 그레디언트 패턴으로 수직 방향으로 선편광된 제4 광을 상기 대상 얼굴에 조사하고,
    상기 기준 패턴으로 수평 방향으로 선편광된 제5 광을 상기 대상 얼굴에 조사하고,
    상기 X축 그레디언트 패턴으로 수평 방향으로 선편광된 제6 광을 상기 대상 얼굴에 조사하고,
    상기 Y축 그레디언트 패턴으로 수평 방향으로 선편광된 제7 광을 상기 대상 얼굴에 조사하고,
    상기 z축 그레디언트 패턴으로 수평 방향으로 선편광된 제8 광을 상기 대상 얼굴에 조사하는 것을 특징으로 하는 영상 렌더링 장치.
  10. 제8항에 있어서, 상기 영상 처리부는,
    상기 미리설정된 다수의 광 패턴으로 수직 및 수평 방향으로 선편광된 광을 상기 대상 얼굴에 조사할 때마다 상기 카메라를 통해 촬영된 상기 대상 얼굴의 영상들을 근거로 스페큘러 성분 영상들을 생성하는 것을 특징으로 하는 영상 렌더링 장치.
  11. 제10항에 있어서, 상기 대상 얼굴의 텍스처 영상은 상기 스페큘러 성분 영상들 중에서 어느 하나인 것을 특징으로 하는 영상 렌더링 장치.
  12. 제9항에 있어서, 상기 영상 처리부는,
    상기 제1 광을 상기 대상 얼굴에 조사함으로써 촬영된 제1 영상과, 상기 제5 광을 상기 대상 얼굴에 조사함으로써 촬영된 제2 영상의 차이 영상을 상기 기준 패턴의 스페큘러 성분 영상으로서 생성하고,
    상기 제2 광을 상기 대상 얼굴에 조사함으로써 촬영된 제3 영상과, 상기 제6 광을 상기 대상 얼굴에 조사함으로써 촬영된 제4 영상의 차이 영상을 상기 X축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성하고,
    상기 제3 광을 상기 대상 얼굴에 조사함으로써 촬영된 제5 영상과, 상기 제7 광을 상기 대상 얼굴에 조사함으로써 촬영된 제6 영상의 차이 영상을 상기 Y축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성하고,
    상기 제4 광을 상기 대상 얼굴에 조사함으로써 촬영된 제7 영상과, 상기 제8 광을 상기 대상 얼굴에 조사함으로써 촬영된 제8 영상의 차이 영상을 상기 Z축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성하는 것을 특징으로 하는 영상 렌더링 장치.
  13. 제12항에 있어서, 상기 영상 처리부는,
    상기 기준 패턴의 스페큘러 성분 영상으로 상기 X축, Y축, Z 축 그레디언트 패턴의 스페큘러 성분 영상들을 정규화한 후, 상기 정규화된 영상의 각 화소값을 RGB(Red, Green, Blue) 컬러값으로 변환함으로써 상기 스페큘러 노멀 영상을 생성하는 것을 특징으로 하는 영상 렌더링 장치.
  14. 수직 및 수평 방향으로 선편광된 광을 대상 얼굴에 조사하는 단계와;
    상기 대상 얼굴을 카메라를 통해 촬영함으로써 상기 대상 얼굴의 3차원 기하정보를 획득하는 단계와;
    상기 선편광된 광을 상기 대상 얼굴에 조사함으로써 촬영된 영상들을 근거로 스페큘러 노멀 영상을 생성하는 단계와;
    상기 스페큘러 노멀 영상과, 상기 대상 얼굴의 3차원 기하정보와, 상기 대상 얼굴의 텍스처 영상을 렌더링하는 단계와;
    상기 렌더링된 영상을 표시부에 표시하는 단계를 포함하는 것을 특징으로 하는 영상 렌더링 방법.
  15. 삭제
  16. 제14항에 있어서, 상기 선편광된 광을 조사하는 단계는,
    미리설정된 다수의 광 패턴으로 수직 및 수평 방향으로 선편광된 광을 상기 대상 얼굴에 조사하는 단계인 것을 특징으로 하는 영상 렌더링 방법.
  17. 제14항에 있어서, 상기 선편광된 광을 조사하는 단계는,
    기준 패턴으로 수직 방향으로 선편광된 제1 광을 상기 대상 얼굴에 조사하는 단계와;
    X축 그레디언트 패턴으로 수직 방향으로 선편광된 제2 광을 상기 대상 얼굴에 조사하는 단계와;
    Y축 그레디언트 패턴으로 수직 방향으로 선편광된 제3 광을 상기 대상 얼굴에 조사하는 단계와;
    z축 그레디언트 패턴으로 수직 방향으로 선편광된 제4 광을 상기 대상 얼굴에 조사하는 단계와;
    상기 기준 패턴으로 수평 방향으로 선편광된 제5 광을 상기 대상 얼굴에 조사하는 단계와;
    상기 X축 그레디언트 패턴으로 수평 방향으로 선편광된 제6 광을 상기 대상 얼굴에 조사하는 단계와;
    상기 Y축 그레디언트 패턴으로 수평 방향으로 선편광된 제7 광을 상기 대상 얼굴에 조사하는 단계와;
    상기 z축 그레디언트 패턴으로 수평 방향으로 선편광된 제8 광을 상기 대상 얼굴에 조사하는 단계를 포함하는 것을 특징으로 하는 영상 렌더링 방법.
  18. 제16항에 있어서, 상기 스페큘러 노멀 영상을 생성하는 단계는,
    상기 미리설정된 다수의 광 패턴으로 수직 및 수평 방향으로 선편광된 광을 상기 대상 얼굴에 조사할 때마다 상기 카메라를 통해 촬영된 상기 대상 얼굴의 영상들을 근거로 스페큘러 성분 영상들을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 렌더링 방법.
  19. 제18항에 있어서, 상기 대상 얼굴의 텍스처 영상은 상기 스페큘러 성분 영상들 중에서 어느 하나인 것을 특징으로 하는 영상 렌더링 방법.
  20. 제17항에 있어서, 상기 스페큘러 노멀 영상을 생성하는 단계는,
    상기 제1 광을 상기 대상 얼굴에 조사함으로써 촬영된 제1 영상과, 상기 제5 광을 상기 대상 얼굴에 조사함으로써 촬영된 제2 영상의 차이 영상을 상기 기준 패턴의 스페큘러 성분 영상으로서 생성하는 단계와;
    상기 제2 광을 상기 대상 얼굴에 조사함으로써 촬영된 제3 영상과, 상기 제6 광을 상기 대상 얼굴에 조사함으로써 촬영된 제4 영상의 차이 영상을 상기 X축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성하는 단계와;
    상기 제3 광을 상기 대상 얼굴에 조사함으로써 촬영된 제5 영상과, 상기 제7 광을 상기 대상 얼굴에 조사함으로써 촬영된 제6 영상의 차이 영상을 상기 Y축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성하는 단계와;
    상기 제4 광을 상기 대상 얼굴에 조사함으로써 촬영된 제7 영상과, 상기 제8 광을 상기 대상 얼굴에 조사함으로써 촬영된 제8 영상의 차이 영상을 상기 Z축 그레디언트 패턴의 스페큘러 성분 영상으로서 생성하는 단계와;
    상기 기준 패턴의 스페큘러 성분 영상으로 상기 X축, Y축, Z 축 그레디언트 패턴의 스페큘러 성분 영상들을 정규화한 후, 상기 정규화된 영상의 각 화소값을 RGB(Red, Green, Blue) 컬러값으로 변환함으로써 상기 스페큘러 노멀 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 렌더링 방법.
KR1020130061909A 2013-05-30 2013-05-30 영상 렌더링 장치 및 그 방법 KR101451792B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130061909A KR101451792B1 (ko) 2013-05-30 2013-05-30 영상 렌더링 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130061909A KR101451792B1 (ko) 2013-05-30 2013-05-30 영상 렌더링 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101451792B1 true KR101451792B1 (ko) 2014-10-16

Family

ID=51997971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130061909A KR101451792B1 (ko) 2013-05-30 2013-05-30 영상 렌더링 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101451792B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700527A (zh) * 2020-12-29 2021-04-23 嘉兴超维信息技术有限公司 一种计算物体表面粗糙度贴图的方法
CN113793402A (zh) * 2021-08-10 2021-12-14 北京达佳互联信息技术有限公司 图像渲染方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
JP2004170305A (ja) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測方法および３次元形状計測装置
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP2012143363A (ja) 2011-01-11 2012-08-02 Panasonic Corp 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
JP2004170305A (ja) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測方法および３次元形状計測装置
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP2012143363A (ja) 2011-01-11 2012-08-02 Panasonic Corp 画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700527A (zh) * 2020-12-29 2021-04-23 嘉兴超维信息技术有限公司 一种计算物体表面粗糙度贴图的方法
CN112700527B (zh) * 2020-12-29 2023-09-26 嘉兴超维信息技术有限公司 一种计算物体表面粗糙度贴图的方法
CN113793402A (zh) * 2021-08-10 2021-12-14 北京达佳互联信息技术有限公司 图像渲染方法、装置、电子设备及存储介质
CN113793402B (zh) * 2021-08-10 2023-12-26 北京达佳互联信息技术有限公司 图像渲染方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11115633B2 (en) Method and system for projector calibration
US8134555B2 (en) Acquisition of surface normal maps from spherical gradient illumination
CN105791800B (zh) 立体显示系统及立体显示方法
US20140064579A1 (en) Apparatus and method for generating three-dimensional face model for skin analysis
CN103852060B (zh) 一种基于单目视觉的可见光图像测距方法
CN109816731B (zh) 一种rgb和深度信息精确配准的方法
CN109379578A (zh) 全方位三维视频拼接方法、装置、设备以及存储介质
CN107393011A (zh) 一种基于多结构光视觉技术的快速三维虚拟试衣系统和方法
CN110335307B (zh) 标定方法、装置、计算机存储介质和终端设备
CN107734267A (zh) 图像处理方法和装置
US9325886B2 (en) Specular and diffuse image generator using polarized light field camera and control method thereof
CN106940897A (zh) 一种在ar场景中介入现实光影的方法
CN107734264A (zh) 图像处理方法和装置
KR20200129657A (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
CN107509043A (zh) 图像处理方法及装置
CN102595178B (zh) 视场拼接三维显示图像校正系统及校正方法
CN101799924A (zh) 借助ccd照相机对投影仪进行标定的方法
CN106840034A (zh) 具有散斑投射器的三维扫描系统及其应用
KR101451792B1 (ko) 영상 렌더링 장치 및 그 방법
CN103905738B (zh) 高动态范围图像生成系统及方法
CN105812772B (zh) 医疗图像立体显示系统及方法
Garcia et al. Geometric calibration for a multi-camera-projector system
CN108377383B (zh) 一种多投影3d系统光场对比度调整方法及其系统
CN104735437B (zh) 一种用于多视点三维成像系统的显示屏
Kern et al. Projector-based augmented reality for quality inspection of scanned objects

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 5