KR101809346B1 - 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템 - Google Patents

스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템 Download PDF

Info

Publication number
KR101809346B1
KR101809346B1 KR1020160006319A KR20160006319A KR101809346B1 KR 101809346 B1 KR101809346 B1 KR 101809346B1 KR 1020160006319 A KR1020160006319 A KR 1020160006319A KR 20160006319 A KR20160006319 A KR 20160006319A KR 101809346 B1 KR101809346 B1 KR 101809346B1
Authority
KR
South Korea
Prior art keywords
depth
generated
depth maps
selecting
illumination
Prior art date
Application number
KR1020160006319A
Other languages
English (en)
Other versions
KR20170086823A (ko
Inventor
홍성희
강훈종
신춘성
홍지수
김영민
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160006319A priority Critical patent/KR101809346B1/ko
Priority to PCT/KR2016/000541 priority patent/WO2017126711A1/ko
Publication of KR20170086823A publication Critical patent/KR20170086823A/ko
Application granted granted Critical
Publication of KR101809346B1 publication Critical patent/KR101809346B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • H04N13/0253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • H04N13/0239—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/2258—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

스테레오 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 조명 제어 방법은, 각기 다른 조명 환경들에서 뎁스 맵들을 생성하여, 조명 환경들 중 하나를 선택한다. 이에 의해, 사람의 능력과 경험에 의한 방식이 아닌, 자동으로 조명 환경을 변경해 가면서 생성한 뎁스 맵들을 비교하여 조명 환경을 선택하기 때문에, 정확한 조명 환경을 빠르게 설정할 수 있게 된다.

Description

스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템{Lighting Control Method and System for Optimal Depth Calculation of a Stereoscopic Camera}
본 발명은 조명 제어 기술에 관한 것으로, 더욱 상세하게는 스테레오스코픽 카메라 촬영 환경에 적용되는 조명 제어 방법 및 시스템에 관한 것이다.
3D 영상 생성과 객체(Object) 추출을 위해, 뎁스 맵(Depth Map)이 필요하다. 뎁스 맵은 다양한 방식으로 생성할 수 있는데, '스테레오스코픽 카메라'(이하, '스테레오 카메라'로 약칭)에 의한 생성 방식이 널리 사용되고 있다.
이는, 도 1에 도시된 바와 같이, 스테레오 카메라(10)를 구성하는 카메라-L(11)과 카메라-R(12)을 이용하여, 각각 좌안 영상과 우안 영상을 생성하고, 좌안 영상과 우안 영상의 시차 계산을 통해 뎁스 맵을 생성하는 방식이다.
스테레오 방식에 의해 생성되는 뎁스 맵은 조명에 의한 영향을 크게 받는다. 즉, 조명 환경에 따라 뎁스 맵이 정확하게 생성될 수도 있고 부정확하게 생성될 수도 있는 것이다.
지금까지, 스테레오 카메라의 조명 환경은, 경험 많은 3D 엔지니어들의 시행착오를 통한 테스트에 의존하고 있다. 따라서, 경험 많은 3D 엔지니어가 없는 경우 정확한 조명 환경 설정이 불가능하다.
또한, 경험 많은 3D 엔지니어가 있다 하더라도, 사람에 의해 수행되는 이상 최적의 조명 환경임을 보장할 수 없는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 스테레오 방식으로 뎁스 맵을 생성함에 있어 조명 환경을 최적으로 설정하기 위한 조명 제어 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 조명 제어 방법은, 각기 다른 조명 환경들에서, 뎁스 맵들을 생성하는 단계; 및 생성된 뎁스 맵들을 이용하여, 상기 조명 환경들 중 하나를 선택하는 단계;를 포함한다.
그리고, 상기 생성단계는, 조명 시스템을 구성하는 조명들의 세기들을 변경시키면서, 상기 뎁스 맵들을 생성할 수 있다.
또한, 상기 선택단계는, 생성된 상기 뎁스 맵들을 표시하는 단계; 및 상기 표시단계에서 표시된 뎁스 맵들을 관찰한 사용자가 선택한 뎁스 맵을 생성하였을 때의 조명 환경을 선택하는 단계;를 포함할 수 있다.
그리고, 상기 선택단계는, 생성된 상기 뎁스 맵들 중 오브젝트들의 실제 뎁스 분포와 가장 일치하는 뎁스 맵을 선택할 수 있다.
또한, 상기 생성단계는, 조명 시스템을 구성하는 조명들의 배치(위치와 방향)들을 변경시키면서, 상기 뎁스 맵들을 생성할 수 있다.
그리고, 본 발명의 일 실시예에 따른 조명 제어 방법은, 생성된 상기 뎁스 맵들로부터 에지 영상들을 생성하는 단계;를 더 포함하고, 상기 선택단계는, 생성된 상기 뎁스 맵들과 상기 오브젝트들의 실제 뎁스 분포 간의 일치도를 기초로, 상기 뎁스 맵들 중 일부를 선택하는 제1 선택단계; 및 상기 제1 선택단계에서 선택된 뎁스 맵들 중 에지 영상이 상기 오브젝트들의 실제 에지 영상과 가장 일치하는 뎁스 맵을 선택하는 제2 선택단계;를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 조명 제어 방법은, 생성된 상기 에지 영상들과 오브젝트들의 실제 에지 영상의 일치도를 기초로, 상기 에지 영상들 중 일부를 선택하는 제1 선택단계; 및 상기 제1 선택단계에서 선택된 에지 영상들을 생성한 뎁스 맵들 중 상기 오브젝트들의 실제 뎁스 분포와 가장 일치하는 뎁스 맵을 선택하는 제2 선택단계;를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 조명 제어 시스템은, 조명들; 스테레오 카메라; 및 상기 조명들을 각기 다른 조명 환경들로 제어하면서, 상기 스테레오 카메라를 이용하여 뎁스 맵들을 생성하며, 생성된 뎁스 맵들을 이용하여 상기 조명 환경들 중 하나를 선택하는 컴퓨터;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 사람의 능력과 경험에 의한 방식이 아닌, 자동으로 조명 환경을 변경해 가면서 생성한 뎁스 맵들을 비교하여 조명 환경을 선택하기 때문에, 정확한 조명 환경을 빠르게 설정할 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 정확한 뎁스 맵을 기반으로 실감 있는 3D 영상 생성이 가능하고, 정확한 객체 추출에 의한 자연스러운 CG 합성 등의 기틀을 마련할 수 있게 된다.
도 1은 스테레오 카메라를 이용한 뎁스 맵 생성 방식을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 조명 제어 시스템을 도시한 도면,
도 3은 본 발명의 다른 실시예에 따른 조명 제어 방법의 설명에 제공되는 흐름도,
도 4 및 도 5는, 조명들의 세기 조정 방식의 설명에 제공되는 도면들,
도 6은 본 발명의 또 다른 실시예에 따른 조명 제어 방법의 설명에 제공되는 흐름도,
도 7은 본 발명의 또 다른 실시예에 따른, 조명 제어 시스템을 도시한 도면,
도 8 내지 도 10은, 본 발명의 또 다른 실시예에 따른 조명 제어 방법의 설명에 제공되는 흐름도, 그리고,
도 11은 다수의 오브젝트들을 배치한 상황을 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 조명 제어 시스템(조명 세기 제어)
도 2는 본 발명의 일 실시예에 따른, 조명 제어 시스템을 도시한 도면이다. 본 발명의 실시예에 따른 조명 제어 시스템은, 스테레오 카메라(100)를 이용한 뎁스 맵 생성에 최적의 조명 환경을 자동으로 설정하기 위한 시스템이다.
이와 같은 기능을 수행하는, 본 발명의 실시예에 따른 조명 제어 시스템은, 도 1에 도시된 바와 같이, 스테레오 카메라(100), 조명들(200-1, 200-2, ... , 200-N) 및 PC(300)을 포함하여 구축된다.
스테레오 카메라(100)는 카메라-L과 카메라-R을 이용하여 오브젝트(O)에 대한 좌안 영상과 우안 영상을 생성하고, PC(300)는 좌안 영상과 우안 영상의 시차 계산을 통해 뎁스 맵을 생성한다.
조명들(200-1, 200-2, ... , 200-N)은 오브젝트(O)에 빛을 조사하는 설비들로, PC(300)에 의해 조명들(200-1, 200-2, ... , 200-N) 각각의 세기가 각기 다르게 제어된다.
2. 조명 제어 방법(사용자 비교/선택 방식)
도 2에 도시된 조명 제어 시스템에 의한 최적의 조명 환경 설정 과정에 대해 도 3을 참조하여 상세히 설명한다. 도 3은 본 발명의 다른 실시예에 따른 조명 제어 방법의 설명에 제공되는 흐름도이다.
도 3에 도시된 바와 같이, 먼저, 촬영 장에 테스트용 오브젝트(O)가 배치된다(S410). S410단계에서 배치되는 오브젝트(O)는 에지가 선명한 물체로 구현하며, 도 2에는 비록 하나만 도시되어 있지만 다수 개로 구현할 수도 있다. 도 11에는 다수의 오브젝트들(O1, O2, O3)을 스테레오 카메라(100) 앞에 배치한 상황을 상정하였다.
다음, PC(300)는, 조명들(200-1, 200-2, ... , 200-N)의 세기를 각각 제어하여 각기 다른 조명 환경들을 조성하면서(S420), 스테레오 카메라(100)에 의해 생성된 좌안 영상과 우안 영상을 이용하여 각각의 조명 환경들에서 뎁스 맵들을 생성한다(S430).
S420단계에서의 조명 제어는, 도 4와 도 5에 도시된 바와 같이, 조명들(200-1, 200-2, ... , 200-N)의 세기를 각각 변경시키면서, 가능한 모든 경우의 조명 환경을 생성하는 것이다.
조명들(200-1, 200-2, ... , 200-N)의 세기 단계를 10 단계로 가정하면, 조명 환경은 모두 10N 가지가 될 것이다.
가능한 모든 조명 환경들에 대해 뎁스 맵 생성이 완료되면(S440-Y), PC(300)는 S430단계에서 생성한 모든 뎁스 맵들을 표시하고(S450), 사용자의 선택을 입력받는다(S460).
S460단계에서 사용자는 S450단계에서 표시된 뎁스 맵들 중 최적이라고 판단되는 하나를 선택하게 된다.
그러면, PC(300)는 S460단계에서 사용자가 선택한 뎁스 맵을 생성할 당시의 조명 환경에 따라, 조명들(200-1, 200-2, ... , 200-N)의 세기를 제어한다(S470).
3. 조명 제어 방법(자동 비교/선택 방식)
도 6은 본 발명의 또 다른 실시예에 따른 조명 제어 방법의 설명에 제공되는 흐름도이다. 도 6의 S510단계 내지 S540단계는 도 3의 S410단계 내지 S440단계와 동일하므로, 이들에 대한 상세한 설명은 생략한다.
가능한 모든 조명 환경들에 대해 뎁스 맵 생성이 완료되면(S540-Y), PC(300)는 S530단계에서 생성한 모든 뎁스 맵들을 오브젝트(O)의 실제 뎁스 분포와 비교하여(S550), 가장 일치하는 뎁스 맵을 선택한다(S560).
다음, PC(300)는 S560단계에서 자동으로 선택한 뎁스 맵을 생성할 당시의 조명 환경에 따라, 조명들(200-1, 200-2, ... , 200-N)의 세기를 제어한다(S570).
4. 조명 제어 시스템(조명 세기&배치 제어)
도 7은 본 발명의 또 다른 실시예에 따른, 조명 제어 시스템을 도시한 도면이다. 본 발명의 실시예에 따른 조명 제어 시스템은, 도 7에 도시된 바와 같이, 스테레오 카메라(100), 조명들(200-1, 200-2, ... , 200-N), PC(300) 외에, 조명 배치 기구들(600-1, 600-2, ... , 600-N)을 더 포함한다.
스테레오 카메라(100)와 조명들(200-1, 200-2, ... , 200-N)은, 도 2에 도시된 구성들과 동일하게 구현가능하다.
PC(300)는 뎁스 맵을 생성하고, 조명들(200-1, 200-2, ... , 200-N) 각각의 세기를 각각 제어하는 한편, 조명 배치 기구들(600-1, 600-2, ... , 600-N)을 통해 조명들(200-1, 200-2, ... , 200-N)의 배치(조명 위치와 조명 방향)를 각각 제어한다.
5. 조명 제어 방법(조명 세기&배치 제어)
도 7에 도시된 조명 제어 시스템에 의한 최적의 조명 환경 설정 과정에 대해 도 8을 참조하여 상세히 설명한다. 도 8은 본 발명의 또 다른 실시예에 따른 조명 제어 방법의 설명에 제공되는 흐름도이다.
도 8에 도시된 바와 같이, 먼저, 촬영 장에 테스트용 오브젝트(O)가 배치된다(S710).
다음, PC(300)는, 조명들(200-1, 200-2, ... , 200-N)의 세기를 각각 제어하고(S720), 조명 배치 기구들(600-1, 600-2, ... , 600-N)을 통해 조명들(200-1, 200-2, ... , 200-N)의 배치를 각각 제어하여(S730), 각기 다른 조명 환경들을 조성한다.
그리고, PC(300)는 스테레오 카메라(100)에 의해 생성된 좌안 영상과 우안 영상을 이용하여 각각의 조명 환경들에서 뎁스 맵들을 생성한다(S740).
가능한 모든 조명 환경들에 대해 뎁스 맵 생성이 완료되면(S750-Y), PC(300)는 S740단계에서 생성한 모든 뎁스 맵들 중 하나를 선택한다(S760). S760단계에서, 뎁스 맵은 사용자의 선택에 기초하거나, PC(300)가 자동으로 선택할 수 있다.
다음, PC(300)는 S760단계에서 선택한 뎁스 맵을 생성할 당시의 조명 환경에 따라, 조명들(200-1, 200-2, ... , 200-N)의 세기와 배치를 제어한다(S770).
6. 조명 제어 방법(뎁스 맵&뎁스 에지 비교/선택 방식)
도 9는 본 발명의 또 다른 실시예에 따른 조명 제어 방법의 설명에 제공되는 흐름도들이다. 본 발명의 실시예에 따른 조명 제어 방법은, 뎁스 맵 외에 뎁스 맵의 에지 영상을 더 이용하여 최적의 조명 환경을 선택한다는 점에서, 앞선 실시예들과 차이가 있다.
도 9에 도시된 바와 같이, 먼저, 촬영 장에 테스트용 오브젝트(O)가 배치된다(S810).
다음, PC(300)는, 조명 세기와 배치를 각각 제어하여 각기 다른 조명 환경들을 조성하면서(S820), 뎁스 맵들을 생성한다(S830).
가능한 모든 조명 환경들에 대해 뎁스 맵 생성이 완료되면(S840-Y), PC(300)는 S830단계에서 생성한 모든 뎁스 맵들 중 실제 뎁스 분포와의 일치도가 높은 일부(이를 테면, 10%)를 선택한다(S850).
S850단계에서, 뎁스 맵은 사용자의 선택에 기초하거나, PC(300)가 자동으로 선택할 수 있다.
이후, 컴퓨터(30)는 S850단계에서 선택한 뎁스 맵들로부터 에지 영상들을 각각 생성한다(S860). 그리고, 컴퓨터(30)는 S860단계에서 생성된 에지 영상들 중 오브젝트의 실제 에지 영상과 가장 일치하는 에지 영상을 선택한다(S870).
S870단계에서, 에지 영상은 사용자의 선택에 기초하거나, PC(300)가 자동으로 선택할 수 있다.
다음, PC(300)는 S870단계에서 선택한 에지 영상의 뎁스 맵을 생성할 당시의 조명 환경에 따라, 조명들(200-1, 200-2, ... , 200-N)의 세기와 배치를 제어한다(S880).
도 10은 본 발명의 또 다른 실시예에 따른 조명 제어 방법의 설명에 제공되는 흐름도들이다. 도 10의 S910단계 내지 S940단계는, 도 9의 S810단계 내지 S840단계와 동일하게 구현가능하다.
가능한 모든 조명 환경들에 대해 뎁스 맵 생성이 완료되면(S940-Y), PC(300)는 S940단계에서 생성된 뎁스 맵들로부터 에지 영상들을 각각 생성한다(S950).
그리고, 컴퓨터(30)는 S860단계에서 생성된 에지 영상들 중 오브젝트의 실제 에지 영상과 일치도가 높은 일부(이를 테면, 10%)를 선택한다(S960). S850단계에서, 에지 영상은 사용자의 선택에 기초하거나, PC(300)가 자동으로 선택할 수 있다.
이후, 컴퓨터(30)는 S960단계에서 선택한 에지 영상들의 뎁스 맵들 중 오브젝트의 실제 뎁스 분포와 가장 일치하는 뎁스 맵을 선택한다(S970). S970단계에서, 뎁스 맵은 사용자의 선택에 기초하거나, PC(300)가 자동으로 선택할 수 있다.
다음, PC(300)는 S970단계에서 선택한 뎁스 맵을 생성할 당시의 조명 환경에 따라, 조명들(200-1, 200-2, ... , 200-N)의 세기와 배치를 제어한다(S980).
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 스테레오 카메라
200-1, 200-2, ... , 200-N : 조명
300 : PC
600-1, 600-2, ... , 600-N : 조명 배치 기구

Claims (8)

  1. 각기 다른 조명 환경들에서, 특정 오브젝트에 대한 뎁스 맵들을 생성하는 단계;
    생성된 뎁스 맵들로부터 에지 영상들을 생성하는 단계;
    생성된 상기 뎁스 맵들을 이용하여, 상기 조명 환경들 중 하나를 선택하는 단계;를 포함하고,
    상기 선택단계는,
    생성된 상기 뎁스 맵들과 상기 특정 오브젝트의 실제 뎁스 분포 간의 일치도를 기초로, 상기 뎁스 맵들 중 일부를 선택하는 제1 선택단계; 및
    상기 제1 선택단계에서 선택된 뎁스 맵들 중 에지 영상이 상기 특정 오브젝트의 실제 에지 영상과 가장 일치하는 뎁스 맵을 선택하는 제2 선택단계;를 포함하는 것을 특징으로 하는 조명 제어 방법.
  2. 청구항 1에 있어서,
    상기 생성단계는,
    조명 시스템을 구성하는 조명들의 세기들을 변경시키면서, 상기 뎁스 맵들을 생성하는 것을 특징으로 하는 조명 제어 방법.
  3. 청구항 1에 있어서,
    상기 선택단계는,
    생성된 상기 뎁스 맵들을 표시하는 단계; 및
    상기 표시단계에서 표시된 뎁스 맵들을 관찰한 사용자가 선택한 뎁스 맵을 생성하였을 때의 조명 환경을 선택하는 단계;를 더 포함하는 것을 특징으로 하는 조명 제어 방법.
  4. 청구항 1에 있어서,
    상기 선택단계는,
    생성된 상기 뎁스 맵들 중 상기 특정 오브젝트의 실제 뎁스 분포와 가장 일치하는 뎁스 맵을 선택하는 단계;를 더 포함하는 것을 특징으로 하는 조명 제어 방법.
  5. 청구항 1에 있어서,
    상기 생성단계는,
    조명 시스템을 구성하는 조명들의 배치(위치와 방향)들을 변경시키면서, 상기 뎁스 맵들을 생성하는 것을 특징으로 하는 조명 제어 방법.
  6. 삭제
  7. 각기 다른 조명 환경들에서, 특정 오브젝트에 대한 뎁스 맵들을 생성하는 단계;
    생성된 뎁스 맵들로부터 에지 영상들을 생성하는 단계;
    생성된 상기 뎁스 맵들을 이용하여, 상기 조명 환경들 중 하나를 선택하는 단계;를 포함하고,
    상기 선택단계는,
    생성된 상기 에지 영상들과 상기 특정 오브젝트의 실제 에지 영상의 일치도를 기초로, 상기 에지 영상들 중 일부를 선택하는 제1 선택단계; 및
    상기 제1 선택단계에서 선택된 에지 영상들을 생성한 뎁스 맵들 중 상기 특정 오브젝트의 실제 뎁스 분포와 가장 일치하는 뎁스 맵을 선택하는 제2 선택단계;를 포함하는 것을 특징으로 하는 조명 제어 방법.
  8. 조명들;
    스테레오 카메라; 및
    상기 조명들을 각기 다른 조명 환경들로 제어하면서, 상기 스테레오 카메라를 이용하여 특정 오브젝트에 대한 뎁스 맵들을 생성하며, 생성된 뎁스 맵들로부터 에지 영상들을 생성하는 컴퓨터;를 포함하고,
    상기 컴퓨터는,
    생성된 상기 뎁스 맵들과 상기 특정 오브젝트의 실제 뎁스 분포 간의 일치도를 기초로 상기 뎁스 맵들 중 일부를 선택하며,
    선택된 뎁스 맵들 중 에지 영상이 상기 특정 오브젝트의 실제 에지 영상과 가장 일치하는 뎁스 맵을 선택하는 것을 특징으로 하는 조명 제어 시스템.
KR1020160006319A 2016-01-19 2016-01-19 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템 KR101809346B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160006319A KR101809346B1 (ko) 2016-01-19 2016-01-19 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템
PCT/KR2016/000541 WO2017126711A1 (ko) 2016-01-19 2016-01-19 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160006319A KR101809346B1 (ko) 2016-01-19 2016-01-19 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20170086823A KR20170086823A (ko) 2017-07-27
KR101809346B1 true KR101809346B1 (ko) 2017-12-14

Family

ID=59362482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160006319A KR101809346B1 (ko) 2016-01-19 2016-01-19 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101809346B1 (ko)
WO (1) WO2017126711A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102560397B1 (ko) * 2018-09-28 2023-07-27 엘지이노텍 주식회사 카메라 장치 및 그의 깊이 정보 추출 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング ３次元モデル取得のための方法及びシステム
JP2012248183A (ja) * 2011-05-09 2012-12-13 Toshiba Corp ３ｄ表面形状をキャプチャーするための方法およびシステム
JP2014220242A (ja) * 2013-05-08 2014-11-20 株式会社リコー インテリジェント照明制御方法、設備及びシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3990271B2 (ja) * 2002-12-18 2007-10-10 日本電信電話株式会社 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
KR101060488B1 (ko) * 2008-04-21 2011-08-30 주식회사 코아로직 최적 영상 선택 방법 및 장치
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9710958B2 (en) * 2011-11-29 2017-07-18 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR101310040B1 (ko) * 2012-02-29 2013-09-24 주식회사 슈프리마 적응적 조명조절을 이용한 얼굴 인식장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング ３次元モデル取得のための方法及びシステム
JP2012248183A (ja) * 2011-05-09 2012-12-13 Toshiba Corp ３ｄ表面形状をキャプチャーするための方法およびシステム
JP2014220242A (ja) * 2013-05-08 2014-11-20 株式会社リコー インテリジェント照明制御方法、設備及びシステム

Also Published As

Publication number Publication date
KR20170086823A (ko) 2017-07-27
WO2017126711A1 (ko) 2017-07-27

Similar Documents

Publication Publication Date Title
US11315214B2 (en) Mixed reality system with color virtual content warping and method of generating virtual con tent using same
US20170235372A1 (en) Interactive three-dimensional display apparatus and method
CN105190427B (zh) 数字瞳孔间距离调节
TWI623911B (zh) 影像處理系統
CN107710284B (zh) 用于在虚拟图像生成系统中更有效地显示文本的技术
CN110419061B (zh) 混合现实系统及使用该系统生成虚拟内容的方法
US11343425B2 (en) Control apparatus, control method, and storage medium
US8638329B2 (en) Auto-stereoscopic interpolation
US20170221270A1 (en) Self calibration for smartphone goggles
CN110678891A (zh) 与同伴设备配对
TW201730627A (zh) 用於檢測顯示器所產生的光場缺陷之光學計量系統
US8977039B2 (en) Pulling keys from color segmented images
KR20160106364A (ko) 다시점 실감 콘텐츠 생성 방법 및 그 장치
JP6349660B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
US9076345B2 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
KR101809346B1 (ko) 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템
CN116368525A (zh) 眼睛注视调整
KR102459851B1 (ko) 이미지의 밝기를 조절하는 방법 및 장치
JP7480377B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20120064560A (ko) 시각적 피로 최소화를 지원하는 입체영상 제작시스템 및 그 방법
KR102061812B1 (ko) Vr 컨텐츠 제작 방법
KR101952989B1 (ko) 공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템
US20180095347A1 (en) Information processing device, method of information processing, program, and image display system
CN105446579B (zh) 一种控制方法及便携式电子设备
KR101314687B1 (ko) 시선 경로 제공장치 및 시선 경로 제공방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant