KR102242327B1 - 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법 - Google Patents

조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법 Download PDF

Info

Publication number
KR102242327B1
KR102242327B1 KR1020190005704A KR20190005704A KR102242327B1 KR 102242327 B1 KR102242327 B1 KR 102242327B1 KR 1020190005704 A KR1020190005704 A KR 1020190005704A KR 20190005704 A KR20190005704 A KR 20190005704A KR 102242327 B1 KR102242327 B1 KR 102242327B1
Authority
KR
South Korea
Prior art keywords
lighting
information
space
ceiling
image
Prior art date
Application number
KR1020190005704A
Other languages
English (en)
Other versions
KR20200089072A (ko
Inventor
김회민
전성국
이동길
박종복
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020190005704A priority Critical patent/KR102242327B1/ko
Publication of KR20200089072A publication Critical patent/KR20200089072A/ko
Application granted granted Critical
Publication of KR102242327B1 publication Critical patent/KR102242327B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법에 관한 것으로서, 특히 조명 공간 정보 획득 장치는 천장 면에 설치된 적어도 하나 이상의 조명과 대향되는 면에 설치되어 대상 공간의 천장 공간 영상을 획득하는 카메라 모듈; 상기 천장 면과 바닥면 사이에 직진성 광원을 조사하여 상기 대상 공간의 높이 정보를 측정하는 거리 측정 모듈; 및 상기 천장 공간 영상에 기초하여 천장면의 형상 정보를 획득한 후 상기 천장면의 형상 정보, 상기 대상 공간의 높이 정보를 이용하여 대상 공간에 대한 입체 공간 정보를 산출하고, 상기 천장 공간 영상을 이용하여 조명 위치와 조명 강도를 산출하여 상기 입체 공간 정보에 기초하여 조명 공간 정보를 구성하는 연산 모듈을 포함할 수 있다.

Description

조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법 {Apparatus and Method for Acquiring Illumination Spatial Information and Method for Evaluating Illumination Environment of Target Space}
본 발명은 대상 공간 내에 존재하는 조명정보를 분석하여 조명 공간 정보를 자동으로 재구성할 수 있는 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법에 관한 것이다.
최근 실제 화면(real scene)에 대한 3 차원(3-Dimensional, 3D) 모델을 생성하고, 생성된 3차원 모델 내에 가상의 오브젝트를 포함시켜 결과 영상을 렌더링하고자 하는 연구가 진행되고 있다.
이러한 연구 분야의 응용에는 영화나 게임에서 실제 촬영한 화면의 공간 내에 가상의 합성 캐릭터를 삽입함으로써 실사 영상의 사실성과 컴퓨터 그래픽 영상의 자유도의 장점을 모두 살리는 기술 등이 포함된다. 이러한 기술을 혼합 렌더링(Mixed rendering)으로 지칭하기도 한다.
그런데 실제 촬영한 공간의 조명 환경을 변화시키거나 왜곡 없는 렌더링을 하기 위해 실제 촬영한 공간 내의 오브젝트에 영향을 주는 조명 환경(Light environment) 정보를 획득하는 것이 요구된다.
종래에는 전방위 거울(Omni-directional mirror)나 미러 볼(Mirrored ball)을 이용하여 오브젝트 환경에 영향을 미치는 광원(Light source)의 위치, 방향 및 광원의 세기 등에 관한 정보를 획득하였다.
도 1은 종래 기술의 일 실시예에 따른 미러 볼을 이용한 조명 환경 분석 방법을 설명하는 예시도이다.
도 1을 참조하면, 미러 볼을 이용한 조명 환경 분석 방법은 다수의 카메라를 장착하는 방식 대신에 측정 간소화를 위해 정밀하게 가공된 미러볼의 이미지를 카메라로 촬영한 후 촬영된 미러 볼의 이미지를 이용하여 주변 조명 환경 정보를 획득한다.
이러한 종래 기술은 360도 조명 환경 분석을 위해 대상 장면의 모든 방향에서 입사되는 조명 정보를 취득하기 위해 미러볼(mirror ball)을 사용하여 실제 공간으로부터 반사된 조명을 3D 모델에 맵핑해서 조명기반(light-based) 모델을 구성한다.
그러나 일반적으로 대상 공간 내에 존재하는 조명들의 위치와 밝기를 결정하는 작업은 상당히 많은 시간과 노력이 필요하며, 그럼에도 불구하고 사실적인 장면을 얻기는 매우 어렵다. 이는 광원(light source)들에 의한 직접 및 간접 조명, 그림자, 반사, 굴절 등의 실 세계에 존재하는 복잡한 조명의 영향 들을 충분히 고려하기 어렵기 때문이다.
종래에는 광원과 물체가 움직이지 않는 정적인 상황에서 조명 환경을 구성하는 것으로 제한되고 있지만, 실제로 대상 공간 내에 여러 광원이 존재하기 때문에 카메라의 위치에 따라 장면의 래디언스(radiance) 분포가 다르게 취득되므로, 대상 공간에서 움직이는 가상 물체에 대한 다양한 장면을 표현하기 위해 전체 공간의 조명 환경을 재구성해야 할 필요가 있다. .
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 대상 공간을 사실적으로 표현하기 위해 천장 공간 영상과 배광 정보를 활용하여 입체적인 조명 환경 정보를 취득하도록 하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 조명 공간 정보 획득 장치는, 천장 면에 설치된 적어도 하나 이상의 조명과 대향되는 면에 설치되어 대상 공간의 천장 공간 영상을 획득하는 카메라 모듈; 상기 천장 면과 바닥면 사이에 직진성 광원을 조사하여 상기 대상 공간의 높이 정보를 측정하는 거리 측정 모듈; 및 상기 천장 공간 영상에 기초하여 천장면의 형상 정보를 획득한 후 상기 천장면의 형상 정보, 상기 대상 공간의 높이 정보를 이용하여 대상 공간에 대한 입체 공간 정보를 산출하고, 상기 천장 공간 영상을 이용하여 조명 위치와 조명 강도를 산출하여 상기 입체 공간 정보에 기초하여 조명 공간 정보를 구성하는 연산 모듈을 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 조명 공간 정보 획득 장치는, 복수 개의 조명에 대한 배광 특성과 광 연출 패턴을 포함한 광학적 데이터에 대한 배광 정보를 수집하여 저장하는 조명 배광 데이터베이스를 포함하고, 상기 연산 모듈은 상기 천장 공간 영상을 통해 추정된 조명 강도와 상기 조명 배광 데이터베이스에서 저장된 조명의 기본 배광 정보를 결합하여 3차원 조명 환경 정보를 제공하는 것을 특징으로 한다.
상기 카메라 모듈은 HDR(High Dynamic Range) 영상, LDR(Low Dynamic Range) 영상, 360도(360 degree) 영상, 150도 이상의 화각을 가지는 광각 영상을 촬영하는 적어도 1대 이상의 카메라로 구성되는 것을 특징으로 한다.
상기 거리 측정 모듈은, 라인 레이저 센서, 깊이 센서, 변위 센서를 포함한 비접촉식 센서 중 어느 하나를 이용하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따른 조명 공간 정보 획득 방법은, 대상 공간에 대해 조명 환경 정보를 획득하기 위한 조명 공간 정보 획득 장치에 의해 수행되는 조명 공간 정보 획득 방법에 있어서, a) 천장 면에 설치된 적어도 하나 이상의 조명과 대향되는 면에 설치된 카메라 모듈을 이용하여 대상 공간의 천장 공간 영상을 획득하는 단계; b) 비접촉식 거리 측정 방식을 이용하여 상기 천장 면과 바닥면 사이의 거리를 측정하여 상기 대상 공간의 높이 정보를 산출하는 단계; c) 상기 천장 공간 영상에 기초하여 천장면의 형상 정보를 획득한 후 상기 천장면의 형상 정보와 상기 대상 공간의 높이 정보를 이용하여 입체 공간 정보를 산출하는 단계; 및 d) 상기 천장 공간 영상을 이용하여 조명 위치와 조명 강도를 산출하여 상기 입체 공간 정보에 기초하여 조명 공간 정보를 구성하는 단계를 포함하는 것을 특징으로 한다.
조명 공간 정보 획득 방법은, e) 상기 입체 공간 정보와 조명 공간 정보에 대해 렌더링 작업을 수행하여 3차원 조명 환경 정보를 제공하는 단계를 더 포함하는 것을 특징으로 한다.
조명 공간 정보 획득 방법은, f) 복수 개의 조명에 대한 배광 특성과 광 연출 패턴을 포함한 광학적 데이터에 대한 배광 정보를 수집하여 조명 배광 데이터베이스에 저장하는 단계를 더 포함하고, 상기 d) 단계는, 상기 천장 공간 영상을 통해 추정된 조명 강도와 상기 조명 배광 데이터베이스에서 저장된 조명의 기본 배광 정보를 결합하여 조명 환경 공간을 재구성하는 것을 특징으로 한다.
상기 카메라 모듈은 HDR(High Dynamic Range) 영상 또는 360도(360 degree) 영상을 촬영하는 적어도 1대 이상의 카메라로 구성되는 경우, 상기 d) 단계는, 상기 천장 공간 영상에 대한 HDR 영상을 통해 대상 공간상의 조명 강도, 조명 위치, 조명 개수를 산출하는 것을 특징으로 한다.
상기 d) 단계는, 상기 HDR 영상의 픽셀값에 대응되는 조명의 밝기값을 통해 조명 강도를 산출하는 것을 특징으로 한다
상기 d) 단계는 상기 천장 공간 영상을 노출 값을 기설정된 저수준 임계값으로 조정하여 조명 위치를 산출하는 것을 특징으로 한다.
상기 b) 단계는 직선 형태, 십자 형태 또는 다수의 점 형태 중 어느 하나의 형태를 가지는 직진성 광원을 사용하여 천장면에 직진성 광원을 조사하고, 상기 직진성 광원과 천장면의 거리에 따라 달라지는 직진성 광원의 크기 정보를 이용하여 높이 정보를 산출하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따른 대상 공간의 조명 환경 평가 방법은, 대상 공간에 대해 조명 환경 정보를 획득하기 위한 조명 공간 정보 획득 장치에 의해 수행되는 대상 공간의 조명 환경 평가 방법에 있어서, a) 천장 면에 설치된 적어도 하나 이상의 조명과 대향되는 면에 설치된 카메라 모듈을 이용하여 대상 공간의 천장 공간 영상을 획득하는 단계; b) 비접촉식 거리 측정 방식을 이용하여 상기 천장 면과 바닥면 사이의 거리를 측정하여 상기 대상 공간의 높이 정보를 산출하는 단계; c) 상기 천장 공간 영상에 기초하여 천장면의 형상 정보를 획득한 후 상기 천장면의 형상 정보와 상기 대상 공간의 높이 정보를 이용하여 입체 공간 정보를 산출하는 단계; d) 상기 천장 공간 영상을 이용하여 조명 위치와 조명 강도를 산출하여 상기 입체 공간 정보에 기초하여 조명 공간 정보를 구성하는 단계; 및 e) 상기 조명 공간 정보에 기초하여 상기 대상 공간에 대한 조명 에너지를 평가하는 단계를 포함하는 것을 특징으로 한다.
상기 e) 단계는, 복수 개의 조명에 대한 배광 특성과 광 연출 패턴을 포함한 광학적 데이터에 대한 배광 정보, 출력, 조명기구의 가격 정보를 포함하는 조명 배광 데이터베이스와 연계하여, 상기 조명 위치, 조명 개수, 조명 강도를 포함한 조명 정보를 통해 대상 공간의 전체 밝기 또는 전력 사용량을 산출하는 것을 특징으로 한다.
전술한 본 발명의 과제 해결 수단에 의하면, 대상 공간을 사실적으로 표현하기 위해 HDR 영상인 천장 공간 영상과 배광 정보를 활용하여 조명 환경 모델링을 용이하게 수행할 수 있고, 그로 인해 사실적인 가상현실을 위한 3차원 조명 환경 정보를 제공함으로써 캐릭터의 위치에 따른 조명 영향도를 반영하여 사실적으로 표현할 수 있고, 캐릭터와 배경 장면의 이질감을 해소할 수 있다.
게다가, 본 발명은 카메라에 대한 사전 교정 작업 없이 카메라 및 조명 위치, 조명 강도 등을 추정하는 조명 공간 정보 획득 기술을 통해 조명 공간을 자동으로 재구성할 수 있고, 조명 환경에 대한 에너지 평가 및 리모델링할 수 있다.
도 1은 종래 기술의 일 실시예에 따른 미러 볼을 이용한 조명 환경 분석 방법을 설명하는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 조명 공간 정보 획득 장치의 구성을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 조명 공간 정보 획득 장치를 통한 3차원 조명 환경 정보를 설명하는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 배광 정보 중 평균 빔 각도를 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 IES의 3차원 조명 배광을 기술하기 위한 데이터 포맷을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 조명 공간 정보 획득 방법을 설명하는 순서도이다
도 7은 도 6의 천장 공간 영상 재매개 변수화 과정을 설명하는 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 대상 공간의 조명 환경 평가 방법을 설명하는 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 조명 공간 정보 획득 장치의 구성을 설명하는 도면이고, 도 3은 본 발명의 일 실시예에 따른 조명 공간 정보 획득 장치를 통한 3차원 조명 환경 정보를 설명하는 예시도이며, 도 4는 본 발명의 일 실시예에 따른 배광 정보 중 평균 빔 각도를 설명하는 도면이고, 도 5는 본 발명의 일 실시예에 따른 IES의 3차원 조명 배광을 기술하기 위한 데이터 포맷을 설명하는 도면이다.
도 2 내지 도 5를 참조하면, 조명 공간 정보 획득 장치(100)는, 카메라 모듈(110), 거리 측정 모듈(120), 연산 모듈(130) 및 조명 배광 데이터베이스(140)를 포함하지만 이에 한정되지는 않는다.
카메라 모듈(110)은 천장 면에 설치된 적어도 하나 이상의 조명(10)과 대향되는 면에 설치되어 대상 공간의 천장 공간 영상을 획득한다. 이때, 천장 공간 영상은 천장을 포함한 공간의 영상으로서 360도 영상일 수 있다.
이러한 카메라 모듈(110)은 HDR(High Dynamic Range) 영상, LDR(Low Dynamic Range) 영상, 360도(360 degree) 영상, 150도 이상의 화각을 가지는 광각 영상을 촬영하는 적어도 1대 이상의 카메라로 구성될 수 있다. 150도 이상의 화각을 가지는 광각 영상은 180도 화각의 광각 카메라를 사용하여 촬영할 수 있다.
카메라 모듈(110)이 360도 HDR 카메라인 경우 각 조명의 디밍, 즉 조명 강도에 대한 정밀한 측정이 가능하다. 카메라 모듈(110)이 360도 LDR 카메라인 경우, 서로 다른 노출 시간을 갖는 복수 개의 LDR 영상을 취득한 후 복수 개의 LDR 영상을 병합하여 하나의 HDR 영상으로 병합하여 사용할 수 있다.
거리 측정 모듈(120)은 천장 면과 바닥면 사이에 직진성 광원을 조사하여 대상 공간의 높이 정보를 측정하는 것으로서, 라인 레이저 센서, 깊이 센서, 변위 센서를 포함한 비접촉식 센서 중 어느 하나를 이용할 수 있다. 이러한 거리 측정 모듈(120)은 직진성 광원과 천장면의 거리에 따라 천장면에 조사된 직진성 광원의 크기 또는 형태가 달라지므로 이 크기 정보를 이용하여 천장의 높이를 파악할 수 있다. 이때, 거리 측정 모듈(120)은 천장면의 형상이나 길이에 따라 직진성 광원을 직선 형태, 십자 형태, 길이가 서로 다른 이방성 형태 또는 다수의 점 형태로 사용할 수 있다.
연산 모듈(130)은 천장 공간 영상을 이용하여 조명 위치와 조명 강도를 산출하여 조명 공간 정보(302)를 구성하고, 천장 공간 영상에 기초하여 천장면의 형상 정보(301)를 획득한 후 천장면의 형상 정보(301), 대상 공간의 높이 정보, 조명 공간 정보(302)에 대해 렌더링 작업을 수행하여 3차원 조명 환경 정보(303)를 제공한다. 이와 같이, 연산 모듈(130)은 조명 공간 정보 획득 방법을 제공하는 전체 과정을 제어한다. 연산 모듈(130)이 수행하는 각 단계에 대해서는 도 5를 참조하여 후술하기로 한다.
여기서, 연산 모듈(130)은 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
조명 배광 데이터베이스(140)는 복수 개의 조명에 대한 배광 특성과 광 연출 패턴을 포함한 광학적 데이터에 대한 배광 정보(예를 들어, IES 파일)를 수집하여 저장한다. 조명 배광 데이터베이스(140)는 조명의 배광, 출력, 효율, 광속도, 조명기구의 가격 정보를 포함한다.
도 4 및 도 5에 도시된 바와 같이, 배광 정보는 IES(Illuminating Engineering Society)에서 3차원 조명 배광을 기술하기 위한 데이터 포맷인 IES 파일을 배광 정보로 사용할 수 있다.
따라서, 연산 모듈(130)은 조명 배광 데이터베이스(140)와 연동하여 조명 공간 정보에 대응되는 배광 정보를 매핑하여 조명 공간 정보를 재구성할 수 있다.
또한, 조명 공간 정보 획득 장치(100)는 통신 모듈(150) 및 메모리(160)를 더 포함할 수 있다.
이때, 통신 모듈(150)은 통신망을 통해 외부 단말에 3차원 조명 환경 정보를 전송하고, 카메라 모듈(110), 거리 측정 모듈(120) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 또한, 통신 모듈(150)은 외부 단말로부터 제어 명령을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.
여기서, 통신 모듈(150)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(160)는 조명 공간 정보 획득 방법을 수행하기 위한 프로그램이 기록된다. 또한, 연산 모듈(130)이 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(160)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 6은 본 발명의 일 실시예에 따른 조명 공간 정보 획득 방법을 설명하는 순서도이고, 도 7은 도 6의 천장 공간 영상 재매개 변수화 과정을 설명하는 예시도이다.
도 6을 참조하면, 조명 공간 정보 획득 방법은, 천장 면에 설치된 적어도 하나 이상의 조명과 대향되는 면에 설치된 카메라 모듈을 이용하여 대상 공간의 천장 공간 영상을 획득한다(S11).
그리고 연산 모듈은 거리 측정 모듈을 이용하여 천장 면과 바닥면 사이의 거리를 측정함으로써 대상 공간의 높이 정보를 산출한다(S12).
연산 모듈은 천장 공간 영상에 기초하여 천장면의 형상 정보를 획득한 후 천장면의 형상 정보와 대상 공간의 높이 정보를 이용하여 입체 공간 정보를 산출한다(S13, S14).
연산 모듈은 천장 공간 영상에 기초하여 천장면의 엣지를 추출하여 형상 정보를 산출하고, 천장 공간 영상에 대해 360도 왜곡된 영상을 보정하기 위해 재매개 변수화 과정을 수행한다(S15).
연산 모듈은 천장 공간 영상을 이용하여 조명 위치, 조명 개수 및 조명 강도를 산출한 후 입체 공간 정보에 기초하여 조명 공간 정보를 구성한다(S16). 연산 모듈은 천장 공간 영상이 전방향(omni-directional, 360도) LDR의 다중 노출 영상일 경우, 여러 장의 천장 공간 영상을 이용하여 HDR 이미지를 생성한다. 이때, 카메라 모듈이 노출 시간 다른 여러 영상을 동시에 취득할 수 있는 장치일 경우, 연산 모듈은 카메라 모듈로부터 여러 장의 전방향 다중 노출 영상을 전송받아 방향 벡터 또는 노출값 조정을 통해 조명 위치를 파악할 수 있다.
이때, 연산 모듈은 천장면을 미리 정의된 형상 정보(예를 들어, 사각형태)로 세팅할 경우, 미리 정의된 형상 정보를 이용하여 조명 위치를 손쉽게 결정할 수 있다.
연산 모듈은 천장 공간 영상에 대한 HDR 영상을 통해 대상 공간상의 조명 강도, 조명 위치, 조명 개수를 산출한다. 만일 천장 공간 영상이 LDR 영상인 경우, 연산 모듈은 서로 다른 노출 시간을 갖는 복수 개의 LDR 영상을 취득한 후 복수 개의 LDR 영상을 병합하여 하나의 HDR 영상으로 생성한 후 HDR 영상을 통해 대상 공간상의 조명 강도, 조명 위치, 조명 개수를 산출할 수 있다.
또한, 연산 모듈은 천장 공간 영상에 대한 노출 값을 점차적으로 낮춰 기설정된 저수준 임계값까지 하향 조정한 후 해당 영상에 남아있는 빛의 세기 영상을 이용하여 조명 위치를 산출하고, 천장 공간 영상천장 공간 영상에 대한 노출값을 점차적으로 높여 기설정된 고수준 임계값까지 상향 조정한 후 해당 영상에 남아 있는 빛의 세기 영상을 이용하여 조명 강도를 측정할 수 있다.
연산 모듈은 HDR 카메라로 획득한 HDR 영상 또는 노출값이 다른 여러 LDR 영상을 하나의 HDR 영상으로 병합한 영상 중 어느 하나를 이용하여 조명의 밝기를 산출하되, 조명의 밝기는 HDR 영상의 픽셀값에 대응되는 조명의 밝기값을 통해 산출할 수 있다.
연산 모듈은 조명 배광 데이터베이스로부터 조명 공간 정보에 대응되는 배광 정보를 매핑하여 조명 공간 정보를 재구성하는데(S17, S18), 조명 공간을 좌표화하여서 각 조명이 위치하는 좌표의 빛 세기를 이용해 조명의 배광정보를 연산할 수 있다. 한편, 연산 모듈은 일반적으로 실내 공간에서 많이 사용하는 조명 기구에 대한 배광 정보별로 우선순위를 설정하고, 설정된 우선순위에 따라 조명 공간 정보에 우선순위별로 IES 파일을 대응시켜 조명 공간 정보를 재구성할 수도 있다.
연산 모듈은 HDR 영상을 통해 추정된 조명의 강도, 즉 빛의 세기와 조명 배광 데이터베이스에서 저장된 조명의 기본 배광 정보를 결합하여 조명 환경 공간을 구성할 수 있다. 이때, 조명 배광 데이터베이스는 천장 공간 영상을 통해 조명 형태가 평면 형태인 경우 평판 조명의 대표 배광 정보를 매핑하고, 천장 공간 영상의 조명 형태가 원 형태인 경우에 다운라이트 조명의 대표 배광 정보를 매핑하여 조명 환경 공간을 구성한다.
또한, 연산 모듈은 대상 공간 내 많은 영향을 미치는 전역 조명과 일부 지역에 국한되어 영향을 주는 방향성을 갖는 지역 조명으로 분류하여 조명 공간 정보를 재구성한다.
연산 모듈은 입체 공간 정보와 조명 공간 정보에 대해 렌더링 작업을 수행하여 3차원 조명 환경 정보를 제공할 수 있고, 이 3차원 조명 환경 정보를 조명 시뮬레이션, AR 캐릭터 합성 등에 이용하도록 함으로써 캐릭터의 위치에 따른 조명 영향도를 반영하여 사실적으로 표현할 수 있고, 캐릭터와 배경 장면의 이질감을 해소할 수 있다.
한편, 도 7의 단계 S11 내지 S18은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.
도 8은 본 발명의 다른 실시예에 따른 대상 공간의 조명 환경 평가 방법을 설명하는 순서도이다.
도 8을 참조하면, 대상 공간의 조명환경 평가 방법은 연산 모듈이 도 6에 도시된 조명 공간 정보 획득 방법을 통해 대상 공간에 대한 조명 공간 정보를 구성하여 저장한 경우, 이 조명 공간 정보를 읽어와 대상 공간에 조명의 좌표값, 각 조명의 강도, 조명 개수, 배광 정보를 포함한 대상 공간에 대한 조명 정보를 산출하고, 이 조명 정보를 이용하여 복수 개의 조명에 대한 배광 특성과 광 연출 패턴을 포함한 광학적 데이터에 대한 배광 정보, 출력, 조명기구의 가격 정보를 포함하는 조명 배광 데이터베이스와 연계하여, 대상 공간의 전체 밝기와 전력 사용량을 산출할 수 있다(S21, S22).
따라서, 사용자는 대상 공간의 전체 밝기와 전력 사용량에 대한 조명 에너지를 평가하여, 조명 제어, 에너지 절감 등을 수행할 수 있다(S23).
이상에서 설명한 본 발명의 실시예에 따른 조명 공간 정보 획득 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 조명 공간 정보 획득장치
110: 카메라 모듈
120: 거리 측정 모듈
130: 연산 모듈
140: 조명 배광 데이터베이스
150 : 통신 모듈
160: 메모리

Claims (13)

  1. 천장 면에 설치된 적어도 하나 이상의 조명과 대향되는 면에 설치되고, HDR(High Dynamic Range) 영상, LDR(Low Dynamic Range) 영상, 360도(360 degree) 영상 또는 150도 이상의 화각을 가지는 광각 영상을 촬영하는 적어도 1대 이상의 카메라로 구성되어 대상 공간의 천장 공간 영상을 획득하는 카메라 모듈;
    상기 천장 면과 바닥면 사이에 직진성 광원을 조사하여 상기 대상 공간의 높이 정보를 측정하는 거리 측정 모듈; 및
    상기 천장 공간 영상에 기초하여 천장면의 엣지를 추출하여 천장면의 형상 정보를 획득한 후 상기 천장면의 형상 정보 및 상기 대상 공간의 높이 정보를 이용하여 대상 공간에 대한 입체공간 정보를 산출하고, 상기 천장 공간 영상에 대한 HDR 영상을 이용하여 대상 공간상의 조명 위치, 조명 개수와 조명 강도를 포함한 조명 정보를 산출하여 상기 입체 공간 정보에 기초하여 상기 조명 정보를 반영한 조명 공간 정보를 구성하고, 상기 입체 공간 정보와 조명 공간 정보에 대해 렌더링 작업을 수행하여 3차원 조명 환경 정보를 제공하는 연산 모듈을 포함하되,
    상기 연산 모듈은,
    상기 천장 공간 영상에 대한 상기 HDR 영상의 픽셀값에 대응되는 조명의 밝기값을 통해 대상 공간상의 조명 강도와 조명 개수를 산출하고, 상기 천장 공간 영상에 대한 노출 값을 기설정된 저수준 임계값으로 조정하여 남아있는 빛의 세기 영상을 이용하여 조명 위치를 산출하여 조명 정보를 산출하고, 상기 산출된 조명 정보 중에서 대상 공간 내 전역적 영향을 미치는 전역 조명과 일부 지역에 국한되어 영향을 주는 방향성을 갖는 지역 조명으로 분류하여 조명 공간 정보를 재구성하는 것을 특징으로 하는 조명 공간 정보 획득 장치.
  2. 제 1 항에 있어서,
    복수 개의 조명에 대한 배광 특성과 광 연출 패턴을 포함한 광학적 데이터에 대한 배광 정보를 수집하여 저장하는 조명 배광 데이터베이스를 포함하고,
    상기 연산 모듈은 상기 천장 공간 영상을 통해 추정된 조명 강도와 상기 조명 배광 데이터베이스에서 저장된 조명의 기본 배광 정보를 결합하여 3차원 조명 환경 정보를 제공하는 것을 특징으로 하는 조명 공간 정보 획득 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 거리 측정 모듈은, 라인 레이저 센서, 깊이 센서 및 변위 센서를 포함한 비접촉식 센서 중 어느 하나를 이용하는 것을 특징으로 하는 조명 공간 정보 획득 장치.
  5. 대상 공간에 대해 조명 환경 정보를 획득하기 위한 조명 공간 정보 획득 장치에 의해 수행되는 조명 공간 정보 획득 방법에 있어서,
    a) 천장 면에 설치된 적어도 하나 이상의 조명과 대향되는 면에 설치되고, HDR(High Dynamic Range) 기능이 지원되는 카메라 모듈을 이용하여 대상 공간의 천장 공간 영상을 획득하는 단계;
    b) 비접촉식 거리 측정 방식을 이용하여 상기 천장 면과 바닥면 사이의 거리를 측정하여 상기 대상 공간의 높이 정보를 산출하는 단계;
    c) 상기 천장 공간 영상에 기초하여 천장면의 엣지를 추출하여 천장면의 형상 정보를 획득한 후 상기 천장면의 형상 정보와 상기 대상 공간의 높이 정보를 이용하여 입체 공간 정보를 산출하는 단계;
    d) 상기 천장 공간 영상에 대한 HDR 영상을 이용하여 조명 위치, 조명 개수와 조명 강도를 포함한 조명 정보를 산출하여 상기 입체 공간 정보에 기초하여 상기 조명 정보를 반영한 조명 공간 정보를 구성하는 단계; 및
    e) 상기 입체 공간 정보와 조명 공간 정보에 대해 렌더링 작업을 수행하여 3차원 조명 환경 정보를 제공하는 단계를 포함하되,
    상기 카메라 모듈이 HDR(High Dynamic Range) 영상 또는 360도(360 degree) 영상을 촬영하는 적어도 1대 이상의 카메라로 구성되는 경우,
    상기 d) 단계는 상기 천장 공간 영상에 대한 상기 HDR 영상의 픽셀값에 대응되는 조명의 밝기값을 통해 대상 공간상의 조명 강도와 조명 개수를 산출하고, 상기 천장 공간 영상에 대한 노출 값을 기설정된 저수준 임계값으로 조정하여 남아있는 빛의 세기 영상을 이용하여 조명 위치를 산출하여 조명 정보를 산출하고,
    상기 산출된 조명 정보 중에서 대상 공간 내 전역적 영향을 미치는 전역 조명과 일부 지역에 국한되어 영향을 주는 방향성을 갖는 지역 조명으로 분류하여 조명 공간 정보를 재구성하는 것을 특징으로 하는 조명 공간 정보 획득 방법.
  6. 삭제
  7. 제 5 항에 있어서,
    f) 복수 개의 조명에 대한 배광 특성과 광 연출 패턴을 포함한 광학적 데이터에 대한 배광 정보를 수집하여 조명 배광 데이터베이스에 저장하는 단계를 더 포함하고,
    상기 d) 단계는, 상기 천장 공간 영상을 통해 추정된 조명 강도와 상기 조명 배광 데이터베이스에서 저장된 조명의 기본 배광 정보를 결합하여 조명 공간 정보를 재구성하는 것을 특징으로 하는 조명 공간 정보 획득 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 5 항에 있어서,
    상기 b) 단계는 직선 형태, 십자 형태 또는 다수의 점 형태 중 어느 하나의 형태를 가지는 직진성 광원을 사용하여 천장면에 직진성 광원을 조사하고, 상기 직진성 광원과 천장면의 거리에 따라 달라지는 직진성 광원의 크기 정보를 이용하여 높이 정보를 산출하는 것을 특징으로 하는 조명 공간 정보 획득 방법.
  12. 대상 공간에 대해 조명 환경 정보를 획득하기 위한 조명 공간 정보 획득 장치에 의해 수행되는 대상 공간의 조명 환경 평가 방법에 있어서,
    a) 천장 면에 설치된 적어도 하나 이상의 조명과 대향되는 면에 설치되고, HDR(High Dynamic Range) 기능이 지원되는 카메라 모듈을 이용하여 대상 공간의 천장 공간 영상을 획득하는 단계;
    b) 비접촉식 거리 측정 방식을 이용하여 상기 천장 면과 바닥면 사이의 거리를 측정하여 상기 대상 공간의 높이 정보를 산출하는 단계;
    c) 상기 천장 공간 영상에 기초하여 천장면의 엣지를 추출하여 천장면의 형상 정보를 획득한 후 상기 천장면의 형상 정보와 상기 대상 공간의 높이 정보를 이용하여 입체 공간 정보를 산출하는 단계;
    d) 상기 천장 공간 영상에 대한 HDR 영상을 이용하여 조명 위치, 조명 개수와 조명 강도를 포함한 조명의 배광 정보를 산출하여 상기 입체 공간 정보에 기초하여 상기 조명의 배광 정보를 반영한 조명 공간 정보를 구성하고, 상기 산출된 조명의 배광 정보 중에서 대상 공간 내 전역적 영향을 미치는 전역 조명과 일부 지역에 국한되어 영향을 주는 방향성을 갖는 지역 조명으로 분류하여 조명 공간 정보를 재구성하는 단계; 및
    e) 상기 조명 공간 정보에 기초하여 상기 대상 공간에 대한 조명의 좌표값, 각 조명의 강도, 조명 개수 및 배광 정보를 포함하는 대상 공간에 대한 조명 정보를 산출하고, 상기 산출된 조명 정보를 이용하여 조명 에너지를 평가하는 단계를 포함하되,
    상기 e) 단계는, 복수 개의 조명에 대한 배광 특성과 광 연출 패턴을 포함한 광학적 데이터에 대한 조명의 배광, 출력, 효율, 광속도 및 조명기구의 가격 정보를 포함하는 조명 배광 데이터베이스와 연계하여, 상기 조명 정보를 통해 대상 공간의 전체 밝기 또는 전력 사용량을 산출하는 것을 특징으로 하는 대상 공간의 조명 환경 평가 방법.
  13. 삭제
KR1020190005704A 2019-01-16 2019-01-16 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법 KR102242327B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190005704A KR102242327B1 (ko) 2019-01-16 2019-01-16 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190005704A KR102242327B1 (ko) 2019-01-16 2019-01-16 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법

Publications (2)

Publication Number Publication Date
KR20200089072A KR20200089072A (ko) 2020-07-24
KR102242327B1 true KR102242327B1 (ko) 2021-04-20

Family

ID=71892710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190005704A KR102242327B1 (ko) 2019-01-16 2019-01-16 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법

Country Status (1)

Country Link
KR (1) KR102242327B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058889A1 (ko) * 2021-10-05 2023-04-13 엘지전자 주식회사 광 캡쳐 장치 및 이를 구비하는 광 캡쳐 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068764A (ja) * 2015-10-01 2017-04-06 日本放送協会 照明情報取得装置、照明復元装置、およびこれらのプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000729A (ko) * 2007-03-27 2009-01-08 경북대학교 산학협력단 웹 기반 사이버 모델 하우스 구현 시스템 및 그 방법
US9710958B2 (en) * 2011-11-29 2017-07-18 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR101638378B1 (ko) * 2014-11-28 2016-07-11 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068764A (ja) * 2015-10-01 2017-04-06 日本放送協会 照明情報取得装置、照明復元装置、およびこれらのプログラム

Also Published As

Publication number Publication date
KR20200089072A (ko) 2020-07-24

Similar Documents

Publication Publication Date Title
CN113014906B (zh) 3d场景重建方法、系统及计算机程序存储介质
CN104634276B (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN101542538B (zh) 用来对光进行建模的方法与系统
Debevec et al. Estimating surface reflectance properties of a complex scene under captured natural illumination
US8350850B2 (en) Using photo collections for three dimensional modeling
KR101850048B1 (ko) 트래커 시스템을 최적화하는 시스템 및 방법
KR102010396B1 (ko) 영상 처리 장치 및 방법
US20150015699A1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN106524922A (zh) 测距校准方法、装置和电子设备
RU2017107989A (ru) Способ и система для генерации виртуальных данных с датчиков с аннотацией подтверждения экспериментальными данными дальности
CN107966155A (zh) 对象定位方法、对象定位系统和电子设备
CN112529022B (zh) 一种训练样本的生成方法及装置
US11096261B1 (en) Systems and methods for accurate and efficient scene illumination from different perspectives
CN104634277A (zh) 拍摄设备和方法、三维测量系统、深度计算方法和设备
JP2003208601A (ja) 3次元物体撮影装置、3次元形状モデル生成装置、3次元形状モデル生成方法、3次元形状モデル生成プログラム
Plum et al. scAnt—an open-source platform for the creation of 3D models of arthropods (and other small objects)
Logothetis et al. A cnn based approach for the point-light photometric stereo problem
EP2600314A1 (en) Simulation of three-dimensional (3d) cameras
Sommer et al. Scan methods and tools for reconstruction of built environments as basis for digital twins
KR20240023209A (ko) 컴퓨터로 생성된 가상 기준 물체를 구비한 머신 비전 시스템
CN112254670A (zh) 一种基于光扫描和智能视觉融合的3d信息采集设备
KR102242327B1 (ko) 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법
Angelopoulou et al. Evaluating the effect of diffuse light on photometric stereo reconstruction
Swedish et al. Objects as cameras: Estimating high-frequency illumination from shadows
US20210199498A1 (en) A method of measuring illumination, corresponding system, computer program product and use

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant