KR20180080618A - 증강현실 기반 실감 렌더링 방법 및 장치 - Google Patents

Abstract

증강현실이나 가상현실 공간에서 가상 물체를 실제 물체와 동일하게 보이도록 하는 증강현실 기반 실감 렌더링 방법 및 장치가 개시된다. 렌더링 방법은, 광원의 밝기, 컬러, 스펙트럼 분포 및 발광 분포를 포함하는 주변 환경 정보를 획득하는 단계, 가상 현실 또는 증강 현실에 사용되는 카메라의 입출력 특성 분석을 통해 주변 환경 정보에 대응하는 광원을 추정하는 단계, 및 추정된 광원에 대응하는 텍스쳐 이미지를 선택하여 렌더링을 수행하는 단계를 포함한다.

Description

증강현실 기반 실감 렌더링 방법 및 장치{METHOD AND APPARATUS FOR REALISTIC RENDERING BASED AUGMENTED REALITY}

본 발명의 실시예들은 렌더링 방법 및 장치에 관한 것으로, 보다 상세하게는, 증강현실이나 가상현실 공간에서 가상 물체를 실제 물체와 동일하게 보이도록 하는 증강현실 기반 실감 렌더링 방법 및 장치에 관한 것이다.

현재 카메라가 부착된 모바일 디스플레이부터 투시형 EGD(eye glasses-type device), 몰입형 HMD(head mounted display) 등의 가상현실이나 증강현실 장비들이 출시되고 있다. 특히 증강현실의 경우 카메라와 센서를 통해 주변 환경의 정보를 획득하고 이를 기반으로 임의의 3차원(3D) 모델 정보를 합성하여 실제 현실 공간에 있는 것처럼 렌더링하는 장비(예컨대, MS사의 홀로렌즈)가 출시되었다.

홀로렌즈는 주변 공간에 있는 책상을 스캔하여 인지하고 책상 위쪽에 3D 모델을 렌더링하여 마치 책상 위에 올라가 있는 듯한 영상을 연출한다. 이러한 종래의 증강현실 기술 대부분은 주변 정보의 스캐닝, 물체 인식, 실시간 3D 모델링 등의 관점에 포커스를 맞추고 개발 중에 있다.

하지만, 종래의 렌더링 기술은 연출되는 3D 모델이 현실 세계와 자연스럽게 동화되지 않고 그래픽적인 느낌이 나기 때문에 활용도 면에서 한계가 있다. 단순히 광원의 위치만을 고려하여 조명 렌더링으로 보완한다 하더라도 현실 세계에서의 조명, 컬러 범위와 디스플레이의 컬러 재현 범위가 다르기 때문에 그 차이를 극복하기 어렵다.

이와 같이, 실제와 유사한 실감 렌더링을 위해 조명, 카메라, 센서, 디스플레이, 모델링/렌더링 엔진 등의 종합적인 컬러 재현 관리를 적용한 렌더링 시스템이 요구되고 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 실사(real life)와 동일한 효과를 지원하는 실감 렌더링 기반 증강현실 시스템을 제공하는 데에 있다.

본 발명의 다른 목적은, 증강 현실 공간에서 사실감을 극대화하여 사용자가 가상현실이나 증강현실에 대해 느끼는 거부감을 최소화하고, 게임, 영화 등의 산업 분야에서 몰입감을 높여 실감나는 콘텐츠 체험을 할 수 있는 증강현실 기반 실감 렌더링 방법 및 장치를 제공하는 데에 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 렌더링 방법은, 광원의 밝기, 컬러, 스펙트럼 분포 및 발광 분포를 포함하는 주변 환경 정보를 획득하는 단계; 상기 주변 환경 정보로부터의 가상 현실 또는 증강 현실에 사용되는 카메라의 입출력 특성 정보를 토대로 상기 주변 환경 정보에 대응하는 광원의 기하 위치 및 특성을 분석하는 단계; 상기 광원의 기하 위치 및 특성 분석에 따른 조면 컬러 특성에 대응하는 3D 콘텐츠 데이터를 데이터베이스에서 선택하는 단계; 상기 카메라 입출력 특성에 기초하여 주변 밝기에 따른 카메라 및 디스플레이의 컬러를 보정하는 단계; 및 상기 광원의 기하 위치 및 특성과, 상기 3D 콘텐츠 데이터와 상기 보정된 컬러에 기초하여 선택된 이미지에 대하여 증강현실 실감 렌더링을 수행하는 단계를 포함한다.

여기서, 렌더링 방법은, 렌더링을 수행하는 단계 이후에, 출력부에서 증강 현실 디스플레이를 출력하는 단계를 더 포함할 수 있다.

여기서, 렌더링 방법은, 렌더링을 수행하는 단계 이후에, 출력부에서 증강현실 디스플레이의 출력에 기초하여 디스플레이의 입출력 특성을 측정하는 단계; 및 측정된 디스플레이 입출력 특성을 컬러 보정부에 제공하는 단계를 더 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 렌더링 방법은, 광원의 밝기, 컬러, 스펙트럼 분포 및 발광 분포를 포함하는 분위기 정보를 획득하는 단계; 가상 현실 또는 증강 현실에 사용되는 카메라의 입출력 특성 분석을 통해 상기 분위기 정보에 대응하는 상기 광원을 추정하는 단계; 및 상기 추정된 광원에 대응하는 텍스쳐 이미지를 선택하는 단계를 포함한다.

여기서, 실감 렌더링 방법은 상기 획득하는 단계 후에 상기 분위기 정보를 데이터베이스로 저장하는 단계를 더 포함할 수 있다.

여기서, 상기 데이터베이스는 상기 광원의 밝기, 컬러, 스펙트럼 분포 및 발광 분포에 대한 수치를 저장하는 항목들아니 컬럼들을 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 렌더링 장치는, 카메라 또는 센서를 이용하여 주변 환경 정보를 획득하는 입력부; 주변 환경 정보로부터 조명의 기하 위치 및 특성을 분석하는 컬러 분석부; 주변 환경 정보에 포함된 주변 밝기에 따라 카메라 또는 디스플레이의 컬러를 보정하는 보정부; 상기 조명이나 이에 대응하는 광원의 기하 위치와 조명의 특성 분석 결과에 대응하는 조명 모델 정보를 토대로 실시간 렌더링을 수행하는 렌더링 엔진부; 및 디스플레이의 입출력 컬러 특성 정보에 기초하여 샘플링된 입력 신호에 디스플레이의 제한된 컬러 재현 특성을 반영한 출력 밝기 및 컬러 값의 이미지를 디스플레이하는 출력부를 포함할 수 있다.

여기서, 입력부는 카메라를 이용하여 조명의 위치, 발광 특성, 주변 밝기 정보 등을 획득하기 위해 카메라의 입출력 특성을 추정할 수 있다.

여기서, 입력부는 카메라 모듈의 입력 장면으로 다양한 주변 밝기의 장면들을 촬영하거나 촬영 영상에서 해당 정보를 획득할 수 있다.

여기서, 입력부는 각 장면에서 최적 노출을 찾고 최적 노출에서의 셔터 스피드, 조리개 등의 설정값을 저장할 수 있다.

여기서, 입력부는 컬러 패치를 촬영하여 얻은 이미지에서 각 패치의 평균 RGB 값을 저장할 수 있다. 저장된 평균 RGB 값은 카메라의 입출력 특성 데이터 샘플로 활용될 수 있다.

여기서, 입력부는 카메라 입출력 특성 데이터 샘플을 이용하여 카메라의 입출력 특성 모델을 도출할 수 있다. 주변 밝기의 절대값은 조도 센서를 이용하여 획득될 수 있다. 조도 센서를 통해 획득한 정보와 최적 노출에서의 설정 값 등을 이용하여 임의의 카메라 장면에서의 주변 밝기값이 도출될 수 있다.

여기서, 분석부는, 조명의 기하 위치 추정을 위해 광원 또는 조명의 밝기, 컬러, 스펙트럼 분포, 발광 분포 등의 정보를 데이터베이스로 구축한 것을 이용할 수 있다.

여기서, 분석부는, 증강현실 장비에 부착된 위성 측위 시스템(GPS), 자이로 센서 등의 정보를 기준으로 실시간 카메라로 획득된 영상들에서 하이라이트 부분을 분석하여 조명의 기하학적 위치를 파악할 수 있다. 카메라로 획득한 영상은 동영상이나 파노라마 영상 등 다양하게 사용될 수 있다.

여기서, 분석부는, 조명의 위치가 파악된 후 조명 영역에서 획득된 카메라의 출력 RGB 데이터를 이용하여 조명을 분석할 수 있다.

여기서, 분석부는 조명 영역의 획득 당시, 카메라의 노출 관련 설정 정보를 이용하여 밝기값을 도출하고 카메라 입출력 특성 모델을 이용하여 입력 광원의 컬러 정보를 추정할 수 있다.

여기서, 분석부는, 추정된 광원의 밝기, 컬러 정보를 미리 측정해 놓은 조명 데이터베이스(DB)와 비교하여 최종 광원을 추정할 수 있다. 사용자와 조명의 위치가 실시간으로 변화할 수 있기 때문에 고속 추적을 위해 미리 정의해 둔 조명 DB 내에서 제한된 분석을 실시할 수 있다. 조명 DB는 실시간으로 계속 업데이트될 수 있다.

여기서, 상기 이미지는 3D 콘텐츠 데이터이며, 상기 3D 콘텐츠 데이터는 3D 메쉬 데이터와 텍스쳐 데이터를 포함할 수 있다. 텍스쳐의 컬러는 콘텐츠 제작 당시 표준 조명 혹은 특정 조명하에서의 컬러를 나타내기 때문에 주변 환경에 따른 정확한 렌더링이 어려우므로, 본 실시예에서는 콘텐츠 제작 단계에서부터 이를 위한 처리를 수행할 수 있다. 즉, 조명의 영향을 배제한 고유의 컬러 정보(분광 반사율)를 텍스쳐로 만들어 콘텐츠로 제공하거나, 다양한 조명 하의 고유 컬러 정보를 각 텍스쳐 이미지 세트로 만들어 제공할 수 있다. 각 텍스쳐 이미지는 해당 조명의 정보를 포함할 수 있다. 이 경우, 특정 광원이 결정되면 광원에 따른 텍스쳐 이미지 세트에서 적합한 텍스쳐를 선택하여 렌더링을 하거나, 광원의 스펙트럼 정보와 텍스쳐의 고유 컬러 정보인 분광 반사율을 이용하여 렌더링을 수행할 수 있다.

여기서, 컬러 보정부는 카메라, 디스플레이 장비의 컬러 재현력을 기반으로 한 컬러 보정을 수행할 수 있다.

여기서, 컬러 보정부는 주변 밝기에 따라 디스플레이의 밝기 재현 범위를 한정하고, 그 범위 내에서 색상이 왜곡되지 않는 범위 내에서 색역 맵핑을 통한 컬러 보정을 수행할 수 있다.

여기서, 컬러 보정부는 상기 보정 과정이 실시간으로 고속 처리될 수 있도록 참조표를 작성하여 렌더링 엔진에 반영되도록 구현될 수 있다.

여기서, 렌더링 엔진부는 조명의 기하 위치와 조명 모델 정보를 통한 실시간 렌더링, 주변 조명 분석을 통해 선택된 특정 조명 분위기에서의 고유 컬러 정보를 포함하는 텍스쳐 이미지를 이용한 렌더링, 주변 조명 분석을 통해 획득된 조명 모델과 조명의 영향을 배제한 고유 컬러 정보를 포함하는 텍스쳐 이미지를 이용한 렌더링, 또는 이들의 조합을 이용할 수 있다.

여기서, 출력부는 디스플레이의 출력 밝기 및 컬러 값을 포함하는 입출력 컬러 특성 정보가 저장된 입출력 특성 모델을 이용할 수 있다. 입출력 특성 모델은 컬러 변환 참조표를 포함할 수 있다.

상기와 같은 본 발명에 따른 증강현실 기반 실감 렌더링 방법 및 장치를 이용하는 경우에는, 가상현실이나 증강현실에서 실사(real life)와 동일한 수준 또는 효과를 지원하는 렌더링 방법과 장치를 제공할 수 있고, 또한 상기 렌더링 방법이나 장치에 의한 가상/증강 현실용 영상이나 이미지를 제공할 수 있다.

또한, 본 발명에 의하면, 일반적인 가상/증강 현실 시스템에서 현실의 물체와 가상의 렌더링된 물체가 구분이 되어 사실감이 떨어져는 문제가 있으나, 본 실시예에서는 가상/증강 현실 시스템에서 사용되는 카메라와 디스플레이의 입출력 특성, 조명 분석 및 모델링, 실시간 주변 환경의 분석을 통해 실제와 유사한 품질의 가상 물체를 렌더링하여 사실감을 향상시키고 사용자의 몰입도를 높일 수 있다.

또한, 본 발명에 의하면, 조명 분석 및 추정을 통해 오브젝트가 실제 장면에 있는 것과 같은 사실감을 높이기 위한 컬러 렌더링을 수행할 수 있고, 그에 의해 단순히 이미지 와핑으로 실세계가 있는 듯한 3D 효과를 생성하는 것이 아니라 실세계의 컬러와 유사하게 렌더링을 수행하여 사실감을 극대화할 수 있다.

또한, 본 발명에 의하면, 단순히 투명도 값을 이용하는 기존의 콘텐츠의 블렌딩 효과와 달리 조명, 카메라, 디스플레이의 컬러 특성을 고려한 실감 렌더링을 수행하고, 그에 의해 가상현실이나 증강현실의 사실감을 극대화할 수 있다.

도 1은 본 발명의 일실시예에 따른 렌더링 장치에 대한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 렌더링 방법에 대한 흐름도이다.
도 3은 도 2의 렌더링 방법에 채용할 수 있는 주변 밝기에 따른 최적 노출 기준 설정값 도출 과정을 설명하기 위한 도면이다.
도 4는 도 2의 렌더링 방법에 채용할 수 있는 3D 콘텐츠 데이터의 구성을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 렌더링 장치에 대한 블록도이다.

도 1을 참조하면, 본 실시예에 따른 렌더링 장치(100)는 입력부(10), 분석부(20), 데이터베이스(30), 컬러 보정부(40), 렌더링 엔진부(50) 및 출력부(60)를 포함하고, 실감 렌더링을 수행하여 증강현실이나 가상현실 공간에 실사과 같은 이미지(실사 이미지)를 출력할 수 있다.

각 구성요소를 좀더 구체적으로 설명하면, 입력부(10)는 카메라 및 센서를 통해 수집되는 정보를 토대로 주변 환경 정보를 생성할 수 있다. 입력부(10)는 카메라, 조도 센서 등을 포함하고, 렌더링 장치의 메모리에 연결되며, 렌더링 장치의 프로세서의 코어와 연동할 수 있다. 입력부(10)에서 측정되는 카메라 입출력 특성(또는 그 정보)(F1)은 컬러 보정부(40)에 제공될 수 있다.

분석부(20)는 조명의 기하 위치를 추정하기 위해 증강현실 장비에 부착된 위치측위시스템(GPS), 자이로 센서 등의 정보를 기준으로 실시간 카메라로 획득된 영상들에서 하이라이트 부분을 분석하여 조명의 기하학적 위치를 파악할 수 있다. 카메라로 획득한 영상은 동영상이나 파노라마 영상 등을 포함할 수 있다.

또한 분석부(20)는, 조명의 위치를 파악하나 후 조명 영역에서 획득된 카메라의 출력 RGB 데이터를 이용하여 조명을 분석할 수 있다. 조명 영역 획득 당시 카메라의 노출 관련 설정 정보를 이용하여 밝기값을 도출하고 카메라 입출력 특성 모델을 이용하여 입력 광원의 컬러 정보를 추정할 수 있다. 그리고 추정된 광원의 밝기, 컬러 정보를 미리 측정해 놓은 조명 데이터베이스(DB)와 비교하여 최종 광원을 추정할 수 있다.

사용자와 조명의 위치가 실시간으로 변할 수 있다. 따라서, 분석부(20)는 고속 추적을 위해 미리 정의해 둔 조명 데이터베이스 내에서 제한된 분석을 수행할 수 있다. 조명 데이터베이스는 실시간 계속 업데이트될 수 있다. 분석부(20)의 분석 결과에 포함되는 조명 컬러 특성(F2)은 데이터베이스(30)에 저장될 수 있다.

데이터베이스(30)는 3D 데이터 콘텐츠를 분류 저장할 수 있다. 3D 데이터 콘텐츠는 기본적으로 3D 메쉬 데이터와 텍스쳐 데이터를 포함할 수 있다.

텍스쳐의 컬러는 콘텐츠 제작 당시 표준 조명 혹은 특정 조명하에서의 컬러를 나타내기 때문에 주변 환경에 따른 정확한 렌더링이 어렵다. 따라서 본 실시예에서는 콘텐츠 제작 단계에서부터 이를 위한 처리를 수행할 수 있다. 즉, 조명의 영향을 배제한 고유의 컬러 정보(분광 반사율)를 텍스쳐로 만들어 콘텐츠로 제공하거나, 다양한 조명 하의 고유 컬러 정보를 각 텍스쳐 이미지 세트로 만들어 제공할 수 있다. 그 경우, 각 텍스쳐 이미지는 해당 조명의 정보를 포함할 수 있다.

상기의 구성에 의하면, 특정 광원이 결정될 때 광원에 따른 텍스쳐 이미지 세트에서 적합한 텍스쳐를 선택하여 렌더링을 수행할 수 있다. 또한, 광원의 스펙트럼 정보와 텍스쳐의 고유 컬러 정보인 분광 반사율을 이용하여 렌더링을 수행할 수 있다.

컬러 보정부(40)는 실제와 가장 유사한 컬러를 재현하기 위해 카메라, 디스플레이 장비의 컬러 재현력을 기반으로 이 장비들의 컬러를 보정할 수 있다. 이것은 카메라로 획득한 영상의 밝기, 컬러 등의 정보와 디스플레이가 재현할 수 있는 밝기, 컬러 정보가 제한되어 있어서 실제 주변 환경의 밝기와 컬러 정보와 많은 차이가 발생할 때 이를 해소하기 위해 사용될 수 있다.

즉, 컬러 보정부(40)는 주변 밝기에 따라 디스플레이의 밝기 재현 범위를 한정하고, 그 범위 내에서 색상이 왜곡되지 않는 색역 맵핑을 통해 컬러 보정을 수행할 수 있다. 이러한 컬러 보정은 실시간으로 고속 처리를 위해 참조표를 작성하고 참조표를 이용하여 컬러를 보정하도록 구현될 수 있다. 이러한 컬러 보정에 대한 정보는 렌더링 엔진부에 제공될 수 있다.

렌더링 엔진부(50)는 조명의 기하 위치와 조명 모델 정보에 기초하여 실시간 렌더링을 수행할 수 있다. 또한, 렌더링 엔진부(50)는 주변 조명 분석을 통해 선택된 특정 조명 하의 고유 컬러 정보를 포함하는 텍스쳐 이미지를 이용하여 렌더링을 수행할 수 있다. 또한, 렌더링 엔진부(50)는 주변 조명 분석을 통해 획득된 조명 모델과 조명의 영향을 배제한 고유 컬러 정보를 포함하는 텍스쳐 이미지를 이용하여 렌더링을 수행할 수 있다.

출력부(60)는 렌더링된 실사 이미지를 출력할 수 있다. 최종 렌더링된 이미지는 디스플레이 장치에 투영되어 사용자에게 보여질 수 있다.

또한, 출력부(60)는 샘플링된 입력 신호에 따른 출력 밝기, 및 컬러 값을 측정하여 이를 기반으로 입출력 특성 모델을 도출할 수 있다. 입출력 특성 모델에는 데이터의 고속 처리를 위해 컬러 변환 참조표가 사용될 수 있다. 출력부(60)에서 측정된 디스플레이의 입출력 컬러 특성 정보(F3)는 디스플레이의 제한된 컬러 재현 특성을 반영하기 위해 컬러 보정부(40)에 제공되고, 그 이후에 렌더링 엔진부(50)에서의 렌더링에 반영될 수 있다.

본 실시예에 따른 렌더링 장치(100)는 컴퓨팅 장치로 구현될 수 있다. 컴퓨팅 장치는 프로세서와 메모리를 포함할 수 있다. 전술한 입력부(10), 분석부(20), 컬러 보정부(40), 렌더링 엔진부(50) 및 출력부(60)는 메모리 또는 메모리 시스템에 탑재되는 프로그램이나 소프트웨어 모듈 형태를 구비할 수 있다. 또한, 구현에 따라서 입력부(10), 분석부(20), 컬러 보정부(40), 렌더링 엔진부(50) 및 출력부(60)는 메모리에 연결되어 프로그램이나 소프트웨어 모듈을 실행하는 프로세서에 탑재될 수 있다. 이와 같이 본 실시예에 따른 렌더링 장치(100)는 메모리 시스템, 프로세서 또는 이들의 조합을 포함하며, 프로세서가 메모리에 저장되는 적어도 하나 이상의 소프트웨어 모듈을 실행하여 상기 구성부들 중 적어도 하나 이상의 기능을 수행하도록 구현될 수 있다.

프로세서는 적어도 하나 이상의 중앙 처리 장치 또는 코어를 포함할 수 있고, 중앙처리장치(CPU)는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다. 코어는 처리할 명령어를 저장하는 레지스터(register), 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU), 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어부(control unit), 내부 버스 등을 구비할 수 있다.

또한, 프로세서는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 데이터 프로세서, 이미지 프로세서 또는 코덱은 별도로 구성될 수도 있다. 또한, 프로세서는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있고, 그 경우 주변장치 인터페이스는 프로세서와 입출력 시스템 및 여러 다른 주변 장치를 연결하는데 이용되고, 메모리 인터페이스는 프로세서와 메모리를 연결하는데 이용될 수 있다.

메모리는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리를 포함할 수 있다. 메모리는 운영체제, 소프트웨어, 프로그램, 명령어 집합 또는 이들의 조합을 저장할 수 있다.

도 2는 본 발명의 다른 실시예에 따른 렌더링 방법에 대한 흐름도이다. 도 3은 도 2의 렌더링 방법에 채용할 수 있는 주변 밝기에 따른 최적 노출 기준 설정값 도출 과정을 설명하기 위한 도면이다. 그리고 도 4는 도 2의 렌더링 방법에 채용할 수 있는 3D 콘텐츠 데이터의 구성을 설명하기 위한 도면이다.

도 2를 참조하면, 본 실시예에 따른 렌더링 방법은, 증강현실 기반 실감 렌더링 방법으로서, 먼저 카메라 및 센서를 이용하여 주변 환경 정보를 획득한다(S21).

상기의 획득 단계(S21)에서는, 도 3에 도시한 바와 같이, 카메라 모듈에 입력 장면으로 다양한 주변 밝기의 장면들을 촬영하고, 촬영한 각 장면에서 최적 노출을 찾고 최적 노출에서의 셔터 스피드, 조리개 등의 설정값을 저장할 수 있다. 또한, 컬러 패치를 촬용하여 얻은 이미지에서 각 패치의 평균 RGB 값을 저장하여 카메라의 입출력 특성 데이터(Data 1 내지 Data 5)를 샘플로 활용할 수 있다. 카메라의 입출력 특성 데이터 샘플을 이용하면 카메라의 입출력 특성 모델을 도출할 수 있다. 그리고 주변 밝기의 절대값은 조도 센서를 이용하여 획득될 수 있다. 조도 센서를 통해 획득한 정보와 최적 노출에서의 설정값 등을 이용하여 임의의 카메라 장면에서의 주변 밝기 값을 도출할 수 있다.

다음, 렌더링 장치의 분석부는 조명의 기하 위치 및 특성을 분석한다(S22).

상기의 분석 단계(S22)에서는 일반적으로 사용되는 조명의 밝기, 컬러, 스펙트럼 분포, 발광 분포 등의 기저장된 정보를 이용하여 조명의 기하 위치를 추정할 수 있다.

다음, 분석부는 분석된 조명의 기하 위치와 조명의 특성에 대한 분석 결과를 3D 콘텐츠 데이터로서 데이터베이스에 저장할 수 있다(S23).

상기의 저장 단계(S23)에서는, 기본적으로 조명의 컬러 특성을 포함하는 조명 특성에 기초하여 3D 모델, 조명 기반 텍스처 등의 데이터를 분류하여 저장할 수 있다. 이러한 분류 데이터는 특정 조명의 특성이 결정될 때 그에 대응하는 3D 콘텐츠 데이터를 추출할 수 있도록 데이터베이스화될 수 있다.

다음, 컬러 보정부는 주변 밝기에 따라 카메라 또는 디스플레이의 컬러를 보정할 수 있다.

상기의 보정 단계(S24)에서는 입력부에서 획득되는 카메라 및 센서를 이용한 주변 환경 정보에 기초하여 카메라 및/또는 디스플레이의 컬러를 보정할 수 있다. 또한, 보정 단계(S24)에서는 출력부에서 전달되는 디스플레이의 입출력 특성에 기초하여 카메라 및/또는 디스플레이의 컬러를 보정할 수 있다. 물론, 보정 단계(S24)에서는 입력부와 출력부로부터 획득된 정보를 토대로 카메라 및/또는 디스플레이의 컬러를 보정할 수 있다.

다음, 렌더링 엔진부는 위의 단계들(S22, S23, S24)로부터 얻어진 분석 결과, 보정 컬러 및 기저장 3D 콘텐츠 데이터를 이용하여 증강현실 실감 렌더링을 수행할 수 있다(S25).

상기 렌더링 단계(S25)에서는, 주변 조명 분석을 통해 획득한 조명 모델과 조명의 영향을 배제한 고유 컬러 정보를 포함하는 텍스쳐 이미지를 이용한 렌더링을 수행할 수 있다.

일례로, 도 4에 도시한 바와 같이, 앞서 선택한 조명 모델과 조명의 영향을 배제한 고유 컬러 정보를 포함하는 텍스쳐 이미지(C22)를 이용하여 렌더링을 수행할 수 있다. 여기서, 텍스쳐 이미지(C22)는 일반 3D 콘텐츠(C11)에서 광원에 따른 3D 콘텐츠(C21)를 준비할 때 함께 준비되어 저장될 수 있다. 일반 3D 콘텐츠(C11)는 3D 메쉬와 일반 텍스처를 포함하고, 광원에 따른 3D 콘텐츠(C21)는 3D 메쉬와 광원에 따른 텍스처를 포함하고, 광원에 독립적인 3D 콘텐츠(C22)는 3D 메쉬와 광원에 독립적인 3D 콘텐츠를 포함할 수 있다.

다음, 출력부는 증강현실 이미지 즉, 증강현실에서 실사와 같은 이미지를 출력할 수 있다(S26). 이러한 출력 단계(S26)에서는, 이미지 출력 외에 렌더링 시에 반영하기 위하여 디스플레이의 입출력 컬러 특성을 측정할 수 있다. 출력부에서 측정된 디스플레이의 입출력 컬러 특성 정보는 보정부에 제공될 수 있다(S27).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 광원의 밝기, 컬러, 스펙트럼 분포 및 발광 분포를 포함하는 주변 환경 정보를 획득하는 단계;
   상기 주변 환경 정보로부터의 가상 현실 또는 증강 현실에 사용되는 카메라의 입출력 특성 정보를 토대로 상기 주변 환경 정보에 대응하는 광원의 기하 위치 및 특성을 분석하는 단계;
   상기 광원의 기하 위치 및 특성 분석에 따른 조면 컬러 특성에 대응하는 3D 콘텐츠 데이터를 데이터베이스에서 선택하는 단계;
   상기 카메라 입출력 특성에 기초하여 주변 밝기에 따른 카메라 및 디스플레이의 컬러를 보정하는 단계; 및
   상기 광원의 기하 위치 및 특성과, 상기 3D 콘텐츠 데이터와 상기 보정된 컬러에 기초하여 선택된 이미지에 대하여 증강현실 실감 렌더링을 수행하는 단계를 포함하는, 렌더링 방법.

Images