KR102149180B1 - 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치 - Google Patents

증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102149180B1
KR102149180B1 KR1020170086616A KR20170086616A KR102149180B1 KR 102149180 B1 KR102149180 B1 KR 102149180B1 KR 1020170086616 A KR1020170086616 A KR 1020170086616A KR 20170086616 A KR20170086616 A KR 20170086616A KR 102149180 B1 KR102149180 B1 KR 102149180B1
Authority
KR
South Korea
Prior art keywords
camera
lighting
virtual content
image
modeling data
Prior art date
Application number
KR1020170086616A
Other languages
English (en)
Other versions
KR20190005642A (ko
Inventor
정유구
김재환
김호원
한병옥
박창준
이길행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170086616A priority Critical patent/KR102149180B1/ko
Priority to US15/832,553 priority patent/US10388062B2/en
Publication of KR20190005642A publication Critical patent/KR20190005642A/ko
Application granted granted Critical
Publication of KR102149180B1 publication Critical patent/KR102149180B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H04N9/07—

Abstract

증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 가상 콘텐츠 합성 방법은 가상 콘텐츠를 출력하기 위한 현실의 조명 정보를 기반으로 조명 물리모델링 데이터를 생성하는 단계; 카메라에 상응하는 복수개의 파라미터들을 획득하여 카메라 물리모델링 데이터를 생성하는 단계; 및 상기 조명 물리모델링 데이터와 상기 카메라 물리모델링 데이터를 기반으로 상기 가상 콘텐츠와 RGB 카메라를 통해 입력된 이미지를 합성하는 단계를 포함한다.

Description

증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치 {METHOD FOR SYNTHESIZING VIRTUAL CONTENT FOR AUGMENTED REALITY AND APPARATUS USING THE SAME}
본 발명은 증강현실을 위한 가상 콘텐츠 합성 기술에 관한 것으로, 특히 최근 부각되고 있는 증강현실에서 가상의 3차원 콘텐츠를 실제 환경의 객체들과 보다 비슷하게 보일 수 있도록 합성하는 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치에 관한 것이다.
최근 가상의 게임 캐릭터들을 현실 세계에 합성하여 보여주는 "포켓몬고"라는 게임이 등장함으로 인해 증강현실 기술이 이슈가 되고 있다. 이러한 증강현실 기술의 목표는 실내의 유한한 조명환경에서 가상 3차원 콘텐츠가 실사와 구분하기 어려울 정도로 비슷하게 제공되는 결과는 얻는 것이다.
증강현실 기술에서 보여지는 가상 3차원 콘텐츠가 가짜라는 것을 쉽게 인지할 수 있는 이유 중 하나는 가상 3차원 콘텐츠에 어색하게 적용되는 조명의 문제이다.
또한, 현재의 증강현실 기술은 모바일 환경에서 주로 사용하고 있는 실정이다. 따라서, 모바일 기기의 카메라 노출 값, ISO의 변화로 인한 밝기 변화 및 노이지 정도 등에 의해서 실시간으로 실사의 이미지와 가상 3차원 콘텐츠의 색 차이를 보정해야 하는 어려움이 존재한다.
한국 공개 특허 제10-2015-0071595호, 2015년 6월 26일 공개(명칭: 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법)
본 발명의 목적은 실제로 조명이 없어도 촬영된 실제 이미지와 비슷한 조명 효과를 가상 콘텐츠에 적용하여 보다 자연스러운 증강현실 서비스를 제공하는 것이다.
또한, 본 발명의 목적은 미리 정의되어 저장된 파라미터 값들을 바탕으로 모바일 기기에 장착된 카메라의 파라미터가 실시간으로 변경되어도 변경 사항을 즉각적으로 가상 3차원 콘텐츠에 반영하는 것이다.
또한, 본 발명의 목적은 모바일 기기와 같은 저사양의 기기에서도 무리 없이 동작할 수 있고, 보다 자연스러운 합성결과를 제공하는 증강현실 서비스를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 가상 콘텐츠 합성 장치는, 미러볼 촬영을 기반으로 가상 콘텐츠를 출력하기 위한 현실의 조명 정보에 상응하게 생성된 조명 물리모델링 데이터를 저장하고, 카메라에 상응하는 복수개의 파라미터들을 획득하여 생성된 카메라 물리모델링 데이터를 저장하는 메모리; 및 상기 조명 물리모델링 데이터와 상기 카메라 물리모델링 데이터를 기반으로 상기 가상 콘텐츠와 RGB 카메라를 통해 입력된 이미지를 합성하는 프로세서를 포함한다.
이 때, 프로세서는 상기 미러볼 촬영을 기반으로 획득한 적어도 둘 이상의 미러볼 이미지들을 각각 위경도(lat-long) 이미지로 표현하고, 적어도 둘 이상의 위경도 이미지들을 기반으로 모핑(morphing)을 수행하여 생성된 조명 환경 맵을 기반으로 상기 조명 정보에 상응하는 조명 속성을 획득할 수 있다.
이 때, 메모리는 상기 카메라에 상응하는 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스 중 적어도 하나에 상응하는 파라미터를 획득하여 카메라 모델링 데이터베이스에 저장할 수 있다.
이 때, 프로세서는 상기 이미지에 상응하는 적어도 하나의 카메라 파라미터를 획득하고, 상기 카메라 모델링 데이터베이스를 기반으로 상기 복수개의 파라미터들을 상기 적어도 하나의 카메라 파라미터에 상응하게 변경시켜 상기 가상 콘텐츠의 렌더링에 적용할 수 있다.
이 때, 조명 속성은 3차원 공간 상에 배열 형태로 구축된 상기 조명 환경 맵에 포함된 복수개의 좌표들 각각에 상응하게 할당될 수 있다.
이 때, 프로세서는 상기 복수개의 좌표들 중 상기 가상 콘텐츠의 위치에 해당하는 좌표의 조명 속성을 상기 가상 콘텐츠에 적용하여 렌더링할 수 있다.
이 때, 프로세서는 상기 복수개의 파라미터들에 대해 고정 값을 입력 받고, 상기 고정 값을 기반으로 상기 조명 정보를 변화시키면서 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크하고, 상기 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 기반으로 조명 모델링 데이터베이스를 구축할 수 있다.
이 때, 프로세서는 상기 조명 모델링 데이터베이스를 기반으로 상기 가상 콘텐츠의 그림자 렌더링할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 콘텐츠 합성 장치는, RGB 센서와 깊이(depth) 센서를 기반으로 가상 콘텐츠를 출력하기 위한 현실의 조명 정보에 상응하게 생성된 조명 물리모델링 데이터를 저장하고, 카메라에 상응하는 복수개의 파라미터들을 획득하여 생성된 카메라 물리모델링 데이터를 저장하는 메모리; 및 상기 조명 물리모델링 데이터와 상기 카메라 물리모델링 데이터를 기반으로 상기 가상 콘텐츠와 RGB 카메라를 통해 입력된 이미지를 합성하는 프로세서를 포함한다.
이 때, 프로세서는 상기 RGB 센서와 깊이(DEPTH) 센서를 기반으로 카메라 각도 별 이미지를 획득하고, 상기 카메라 각도 별 이미지 중 RGB 이미지를 기반으로 조명의 위치를 추출하고, 상기 카메라 각도 별 이미지 중 상기 RGB 이미지와 맵핑되는 깊이 이미지를 기반으로 깊이 값을 획득하고, 상기 조명의 위치와 상기 깊이 값을 기반으로 상기 조명 정보에 상응하는 조명의 3차원 좌표를 획득할 수 있다.
이 때, 메모리는 상기 카메라에 상응하는 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스 중 적어도 하나에 상응하는 파라미터를 획득하여 카메라 모델링 데이터베이스에 저장할 수 있다.
이 때, 프로세서는 상기 이미지에 상응하는 적어도 하나의 카메라 파라미터를 획득하고, 상기 카메라 모델링 데이터베이스를 기반으로 상기 복수개의 파라미터들을 상기 적어도 하나의 카메라 파라미터에 상응하게 변경시켜 상기 가상 콘텐츠의 렌더링에 적용할 수 있다.
이 때, 프로세서는 상기 복수개의 파라미터들에 대해 고정 값을 입력 받고, 상기 고정 값을 기반으로 상기 조명 정보를 변화시키면서 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크하고, 상기 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 기반으로 조명 모델링 데이터베이스를 구축할 수 있다.
이 때, 프로세서는 상기 조명 모델링 데이터베이스를 기반으로 상기 가상 콘텐츠의 그림자 렌더링할 수 있다.
또한, 본 발명에 따른 가상 콘텐츠 합성 방법은 가상 콘텐츠를 출력하기 위한 현실의 조명 정보를 기반으로 조명 물리모델링 데이터를 생성하는 단계; 카메라에 상응하는 복수개의 파라미터들을 획득하여 카메라 물리모델링 데이터를 생성하는 단계; 및 상기 조명 물리모델링 데이터와 상기 카메라 물리모델링 데이터를 기반으로 상기 가상 콘텐츠와 RGB 카메라를 통해 입력된 이미지를 합성하는 단계를 포함한다.
이 때, 조명 물리모델링 데이터를 생성하는 단계는 미러볼 촬영을 기반으로 획득한 적어도 둘 이상의 미러볼 이미지들을 각각 위경도(lat-long) 이미지로 표현하는 단계; 적어도 둘 이상의 위경도 이미지들을 기반으로 모핑(morphing)을 수행하여 조명 환경 맵을 생성하는 단계; 및 상기 조명 환경 맵을 기반으로 상기 조명 정보에 상응하는 조명 속성을 획득하는 단계를 포함할 수 있다.
이 때, 조명 물리모델링 데이터를 생성하는 단계는 RGB 센서와 깊이(DEPTH) 센서를 기반으로 카메라 각도 별 이미지를 획득하는 단계; 상기 카메라 각도 별 이미지 중 RGB 이미지를 기반으로 조명의 위치를 추출하고, 상기 카메라 각도 별 이미지 중 상기 RGB 이미지와 맵핑되는 깊이 이미지를 기반으로 깊이 값을 획득하는 단계; 및 상기 조명의 위치와 상기 깊이 값을 기반으로 상기 조명 정보에 상응하는 조명의 3차원 좌표를 획득하는 단계를 포함할 수 있다.
이 때, 카메라 물리모델링 데이터를 생성하는 단계는 상기 카메라에 상응하는 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스 중 적어도 하나에 상응하는 파라미터를 획득하여 카메라 모델링 데이터베이스에 저장할 수 있다.
이 때, 합성하는 단계는 상기 이미지에 상응하는 적어도 하나의 카메라 파라미터를 획득하고, 상기 카메라 모델링 데이터베이스를 기반으로 상기 복수개의 파라미터들을 상기 적어도 하나의 카메라 파라미터에 상응하게 변경시켜 상기 가상 콘텐츠의 렌더링에 적용할 수 있다.
이 때, 조명 속성은 3차원 공간 상에 배열 형태로 구축된 상기 조명 환경 맵에 포함된 복수개의 좌표들 각각에 상응하게 할당될 수 있다.
이 때, 합성하는 단계는 상기 복수개의 좌표들 중 상기 가상 콘텐츠의 위치에 해당하는 좌표의 조명 속성을 상기 가상 콘텐츠에 적용하여 렌더링할 수 있다.
이 때, 조명 물리모델링 데이터를 생성하는 단계는 상기 복수개의 파라미터들에 대해 고정 값을 입력 받고, 상기 고정 값을 기반으로 상기 조명 정보를 변화시키면서 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크하는 단계; 및 상기 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 기반으로 조명 모델링 데이터베이스를 구축하는 단계를 포함할 수 있다.
이 때, 합성하는 단계는 상기 조명 모델링 데이터베이스를 기반으로 상기 가상 콘텐츠의 그림자 렌더링할 수 있다.
본 발명에 따르면, 실제로 조명이 없어도 촬영된 실제 이미지와 비슷한 조명 효과를 가상 콘텐츠에 적용하여 보다 자연스러운 증강현실 서비스를 제공할 수 있다.
또한, 본 발명은 미리 정의되어 저장된 파라미터 값들을 바탕으로 모바일 기기에 장착된 카메라의 파라미터가 실시간으로 변경되어도 변경 사항을 즉각적으로 가상 3차원 콘텐츠에 반영할 수 있다.
또한, 본 발명은 모바일 기기와 같은 저사양의 기기에서도 무리 없이 동작할 수 있고, 보다 자연스러운 합성결과를 제공하는 증강현실 서비스를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 장치의 프로세서를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 가상 콘텐츠 합성 방법 중 미러볼 촬영을 기반으로 조명 물리모델링 데이터를 생성하는 과정을 상세하게 나타낸 동작흐름도이다.
도 3 내지 도 4는 본 발명에 따른 조명 환경 맵을 생성하고, 생성된 조명 환경 맵을 기반으로 가상 콘텐츠를 합성하는 과정의 일 예를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 가상 콘텐츠 합성 방법 중 RGB 센서와 깊이 센서를 기반으로 조명 물리모델링 데이터를 생성하는 과정을 상세하게 나타낸 동작흐름도이다.
도 6은 본 발명에 따른 RGB 이미지와 깊이 이미지를 획득하기 위한 기기의 일 예를 나타낸 도면이다.
도 7는 본 발명에 따른 RGB 이미지와 깊이 이미지의 일 예를 나타낸 도면이다.
도 8은 도 1에 도시된 카메라 물리모델링 모듈의 일 예를 나타낸 블록도이다.
도 9는 본 발명에 따른 카메라의 렌즈 왜곡을 보정한 이미지의 일 예를 나타낸 도면이다.
도 10은 본 발명에 따른 카메라의 색 왜곡을 보정한 이미지의 일 예를 나타낸 도면이다.
도 11은 도 1에 도시된 렌더링 모듈의 일 예를 나타낸 블록도이다.
도 12는 본 발명에 따른 3차원 공간 상에 배열 형태로 구축된 조명 환경 맵의 일 예를 나타낸 도면이다.
도 13은 본 발명에 따른 조명 모델링 데이터베이스를 구축하는 방법의 일 예를 나타낸 도면이다.
도 14는 본 발명에 따른 가상 콘텐츠와 이미지를 합성한 증강현실 이미지의 일 예를 나타낸 도면이다.
도 15는 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 방법을 나타낸 동작흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 장치의 프로세서를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 장치의 프로세서는 크게 조명 물리모델링 모듈(100), 카메라 물리모델링 모듈(200) 및 렌더링 모듈(300)로 구성된다.
이 때, 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 장치는 도 1에 도시된 프로세서와 함께 다양한 데이터를 저장하는 메모리로 구성될 수 있다. 이때, 메모리는 프로세서와 별도로 존재하거나 또는 프로세서를 구성하는 각각의 모듈에 포함되어 존재할 수도 있다.
단, 본 발명에서는 증강현실을 위한 가상 콘텐츠 합성의 대부분의 동작이 프로세서를 통해 수행될 수 있으므로, 도 1에서는 프로세서의 구조를 위주로 가상 콘텐츠 합성 장치를 설명하도록 한다.
조명 물리모델링 모듈(100)은 가상 콘텐츠를 출력하기 위한 현실의 조명 정보를 기반으로 조명 환경 맵을 만들고, 이를 통해 조명 속성을 포함하는 조명 물리모델링 데이터를 생성할 수 있다.
이 때, 조명 물리모델링 모듈(100)은 도 2에 도시된 미러볼 촬영 기반의 조명 물리모델링 데이터를 생성하는 과정 또는 도 5에 도시된 RGB 센서와 깊이(depth) 센서 기반의 조명 물리모델링 데이터를 생성하는 과정 중 어느 하나의 방법을 통해 조명 환경 맵을 생성할 수 있다.
먼저, 도 2에 도시된 미러볼 촬영 기반의 조명 물리모델링 데이터를 생성하는 과정은, 조명 물리모델링 모듈(100)은 미러볼 촬영을 기반으로 적어도 둘 이상의 미러볼 이미지들을 획득할 수 있다(S210)
이 후, 적어도 둘 이상의 미러볼 이미지들을 위경도(lat-long) 형태로 펼치는 과정을 수행하여 적어도 둘 이상의 위경도 이미지들을 생성할 수 있다(S220).
예를 들어, 미러볼이 포함된 실제 환경을 촬영하여 도 3에 도시된 것과 같이 미러볼이 포함되어 있는 입력 이미지(400)를 획득할 수 있다. 이 후, 입력 이미지(400)에서 미러볼에 해당하는 영역인 미러볼 이미지(410, 420)를 추출할 수 있고, 미러볼 이미지(410, 420)를 위경도(lat-long) 형태로 펼쳐서 도 3에 도시된 위경도 이미지(411, 412)를 생성할 수 있다.
이 후, 적어도 둘 이상의 위경도 이미지들을 기반으로 모핑(morphing)을 수행하여 조명 환경 맵을 생성할 수 있다.
상기의 예를 들면, 조명 물리모델링 모듈(100)에서는 미러볼 이미지(410, 420)를 기반으로 생성된 두 개의 위경도 이미지(411, 412)들을 비교하여 특징점을 찾고, 검색된 적어도 하나의 특징점을 기준으로 두 개의 위경도 이미지(411, 412)들에 대해서 모핑을 수행하여 도 5에 도시된 것과 같은 조명 환경 맵(413)을 생성할 수 있다. 이 때, 조명 환경 맵(413)은 두 개의 위경도 이미지(411, 412)들을 중간 합성한 이미지에 상응할 수 있다.
이 때, 조명 환경 맵을 기반으로 현실의 조명 정보에 상응하는 조명 속성을 획득할 수 있으며, 조명 속성을 활용하여 가상 콘텐츠가 이미지에 보다 자연스럽게 합성되도록 할 수 있다.
즉, 도 4에 도시된 것처럼, 가상 콘텐츠(430, 440, 450)를 합성할 때에 조명 환경 맵(413)을 적용함으로써 입력 이미지(400)에서 미러볼에 해당하지 않는 영역의 조명과 유사한 느낌으로 가상 콘텐츠(430, 440, 450)를 합성할 수 있다.
이 때, 조명 속성은 3차원 공간 상에 배열 형태로 구축된 조명 환경 맵에 포함된 복수개의 좌표들 각각에 상응하게 할당될 수 있다.
이 때, 3차원 공간 상에 배열 형태로 구축된 조명 환경 맵은 RGB 카메라를 통해 입력된 이미지에 합성되는 3차원 가상 콘텐츠에 반영될 수 있으며, 실내의 방과 같은 공간에서 3차원 가상 콘텐츠의 좌표에 상응하게 적용될 수 있다.
이 때, 3차원 공간 상에 배열 형태로 구축되는 조명 환경 맵에 관련된 설명은 도 11 내지 도 12를 통해 상세하게 설명하도록 한다.
또한, 도 5에 도시된 RGB 센서와 깊이 센서 기반의 조명 물리모델링 데이터를 생성하는 과정은, 각각의 센서들을 통해 획득되는 이미지의 좌표를 맞추기 위해서 RGB 센서와 깊이 센서 간의 캘리브레이션(calibration)을 수행할 수 있다(S510).
예를 들어, 도 6에 도시된 것과 같이 RGB 센서와 깊이 센서가 장착된 촬영 기기로 체커보드와 같은 캘리브레이션용 보드를 촬영함으로써 두 개의 센서들 간 캘리브레이션을 수행할 수 있다.
이 때, 도 6에 도시된 촬영 기기는 pan/tilt 기구물을 이용하여 반구 형태의 이미지를 획득할 수 있다. 또한, 도 6에 도시된 촬영 기기 이외에도 깊이 센서가 포함되어 있는 모바일 기기를 이용할 수도 있고, RGB 센서가 포함되어 있는 PC, 태블릿, 노트북 등에 깊이 센서를 부착하여 사용할 수도 있다.
이 후, 캘리브레이션 된 RGB 센서와 깊이 센서를 이용하여 각각 RGB 이미지와 깊이 이미지를 획득하되(S520), 도 6에 도시된 촬영 기기의 각도 별로 도 7에 도시된 RGB 이미지(710)와 깊이 이미지(720, 730)를 획득하여 환경 맵 형태로 생성할 수 있다(S530).
이 후, 각도 별 RGB 이미지를 통해 현재 촬영 기기를 통해 촬영되고 있는 실내의 조명 위치를 추출할 수 있다(S540).
이 후, 각도 별 RGB 이미지에 맵핑되는 각도 별 깊이 이미지를 통해 추출된 조명 위치에 대한 깊이 값을 획득하여 실내의 조명 위치에 대한 3차원 좌표를 획득할 수 있다(S550).
즉, 도 6에 도시된 촬영 기기가 아닌 깊이 센서가 포함된 모바일 기기의 카메라나 다른 기기를 사용하는 경우에도 실내의 공간을 촬영하고, 그 정보를 바탕으로 pan/tilt 기구물로 수행했던 것처럼 RGB 이미지와 깊이 이미지를 회득하여 3차원 공간상의 조명의 위치를 획득할 수 있다.
카메라 물리모델링 모듈(200)은 카메라에 상응하는 복수개의 파라미터들을 획득하여 카메라 물리모델링 데이터를 생성함으로써 카메라 모델링 데이터베이스를 구축할 수 있다.
이 때, 카메라 물리모델링 모듈(200)은 도 8에 도시된 것과 같이 카메라 API(810), 카메라 속성 모델링 모듈(820) 및 카메라 모델링 데이터베이스(830)로 구성될 수 있다.
이 때, 카메라 API(810)는 여러 기종의 카메라 모델 및 카메라가 가지고 있는 고유의 속성들을 의미할 수 있다. 예를 들어, 카메라 API(810)는 DSLR 카메라, 안드로이드폰 카메라, 아이폰 카메라 등 여러 가지 기기의 카메라 또는 Focus, Focal Length, Zoom Factor, Exposure, White Balance, Color Space, Black Level, Lens Shading map, Tonemap Curve 등의 속성을 의미할 수 있다.
이 때, 카메라 API(810)의 고유 속성에 따라 이미지의 왜곡도가 모두 다르게 나타날 수 있다. 따라서, 이러한 문제를 보완하기 위해서 카메라 속성 모델링 모듈(820)을 통해 카메라의 왜곡을 보정하기 위한 복수개의 파라미터들을 획득할 수 있다.
이 때, 카메라 속성 모델링 모듈(820)을 구성하는 렌즈 왜곡 파라미터 획득 모듈(821), 색 왜곡 파라미터 획득 모듈(822) 및 화이트 밸런스 설정 모듈(823)을 기반으로 카메라에 상응하는 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스 중 적어도 하나에 상응하는 파라미터를 획득하여 카메라 모델링 데이터베이스(830)에 저장할 수 있다.
이 때, 렌즈 왜곡 파라미터 획득 모듈(821)은 카메라의 렌즈 왜곡과 관련된 파라미터를 획득할 수 있고, 카메라의 줌 인(Zoom in)이나 줌 아웃(Zoom out)에 따른 렌즈 왜곡 파라미터를 모두 저장할 수 있다.
예를 들어, 렌즈 왜곡 파라미터는 도 9에 도시된 것과 같은 가상증강대상 3D 렌더링 영상을 렌즈왜곡 역 보정된 증강합성 영상과 같이 보정하는데 사용될 수 있다.
이 때, 색 왜곡 파라미터 획득 모듈(822)은 카메라의 색 왜곡과 관련된 파라미터를 획득할 수 있고, 맥베스 칼라보드를 촬영한 이미지에서 색이 얼마나 왜곡되었는지에 대한 값을 얻어 저장할 수 있다.
예를 들어, 색 왜곡 파라미터는 도 10의 도시된 것과 같은 맥베스 칼라보드 3D 모델을 촬영하였을 때, 실제 모델과 카메라로 촬영한 모델 간의 색이 왜곡된 정보를 기반으로 획득될 수 있다. 이 후, 카메라로 촬영된 모델의 색상을 역 보정하기 위해서 색 왜곡 파라미터 기반의 후처리 필터를 적용하여 가상 콘텐츠로 생성할 수 있다. 이러한 과정을 통해 도 10에 도시된 것과 같이 실 영상의 맥베스 칼라보드(1010)와 거의 흡사한 형태의 가상 콘텐츠의 맥베스 칼라보드(1020)를 증강합성 시킬 수 있다.
이 때, 화이트 밸런스 설정 모듈(823)은 가상 콘텐츠의 화이트 밸런스를 맞추기 위한 것으로, 화이트 패치를 촬영한 값을 저장할 수 있다.
이와 같은 과정을 통해 획득한 카메라의 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스를 포함한 카메라에 대한 여러 값들을 저장하여 카메라 모델링 데이터베이스(830)를 구축할 수 있다.
이 때, 카메라 모델링 데이터베이스(830)에 저장된 데이터는 카메라의 값들이 변경될 때마다 실시간으로 값을 변경시킴으로써 증강 합성되는 가상 콘텐츠의 속성을 실사와 흡사하게 왜곡 또는 보정하는 용도로 사용될 수 있다.
렌더링 모듈(300)은 조명 물리모델링 데이터와 카메라 물리모델링 데이터를 기반으로 렌더링 엔진(Rendering Engine)(340)을 통해 3차원의 가상 콘텐츠와 RGB 카메라로부터 입력 받은 이미지를 합성할 수 있다.
이 때, 렌더링 모듈(300)은 도 1 내지 도 11에 도시된 것과 같이 조명 모델링 모듈(310), 카메라 모델링 모듈(320), 3D 모델 셰이더(330), 렌더링 엔진(340), 카메라 효과 모듈(350), RGB 카메라 모듈(360), AR 렌더링 모듈(370) 및 조명 체크 모듈(1110)로 구성될 수 있다.
이 때, 도 11은 렌더링 모듈(300)에서 조명 물리모델링 데이터와 카메라 물리모델링 데이터가 어떻게 가상 콘텐츠에 반영되는지 나타내고 있다.
먼저, 렌더링 모듈(300)에 포함된 조명 모델링 모듈(310)은 도 1에 도시된 조명 물리모델링 모듈(100)에서 조명 정보(311)와 조명 환경 맵(313)을 획득하고, 획득한 정보들을 검증하는 단계를 거쳐 조명 모델링 데이터베이스(312)를 구축할 수 있다.
이 때, 조명 모델링 모듈(310)은 조명 물리모델링 모듈(100)로부터 획득한 조명 환경 맵(313)을 이용하여 도 12에 도시된 것과 같이 3차원 공간에 조명 환경 맵을 배열 형태로 구축할 수 있다.
예를 들어, 3차원 공간 상의 조명 환경 맵은 도 12에 도시된 것과 같이 9개의 꼭지점(LR, CR, RR, LC, CC, RC, LF, CF, RF) 각각에 해당하는 조명 환경 맵을 먼저 생성한 뒤, 각 꼭지점에 해당하는 조명 환경 맵끼리 선형보간을 수행하여 나머지 영역들에 대한 조명 환경 맵을 생성하는 방식으로 구축될 수 있다.
이 때, 도 12와 같이 구축된 배열형태의 조명 환경 맵은, AR 렌더링 모듈(370)에서 3차원의 가상 콘텐츠에 반영될 수 있는데, 실내의 방과 같은 공간에서 3차원 가상 콘텐츠의 좌표에 상응하게 배열형태의 조명 환경 맵이 적용될 수 있다.
즉, 배열형태로 구축된 조명 환경 맵에 포함된 복수개의 좌표들 중 가상 콘텐츠의 위치에 해당하는 좌표에 할당된 조명 속성을 가상 콘텐츠에 적용하는 방식으로 조명 환경 맵을 적용할 수 있다.
이 때, 렌더링 모듈(300)은 조명 모델링 모듈(310)과 카메라 모델링 모듈(320)을 기반으로 조명 정보(311), 카메라의 파라미터 정보(321) 및 카메라 모델링 데이터베이스(322)에 저장된 카메라 물리모델링 데이터를 조명 체크 모듈(110)로 입력하여 조명 모델링 데이터베이스(312)를 구축할 수 있다.
이 때, 조명 체크 모듈(1100)은 카메라의 파라미터 정보(321)와 카메라 모델링 데이터베이스(322)에 저장된 카메라 물리모델링 데이터는 고정 값을 입력 받고, 조명 정보(311)만 변화된 값으로 입력 받으면서 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크할 수 있다.
예를 들어, 도 13에서 카메라의 파라미터 정보(321)와 카메라 모델링 데이터베이스(322)에 해당할 수 있는 EYE는 고정시켜두고, 조명 정보(311)에 해당하는 LIGHT만을 변화시키면서 칼라 체커 및 그레이스케일 체커의 변화를 체크할 수 있다.
즉, 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크함에 따라 렌더링 엔진(340) 내에서 어떤 값으로 대응되는지 알 수 있으므로, 이렇게 만들어진 값들을 기반으로 조명 모델링 데이터베이스(312)를 구축할 수 있다.
이 때, 조명 정보(311)는 조명 물리모델링 모듈(100)로부터 획득한 것으로, 조명의 위치, 타입, 밝기 및 색 중 적어도 하나에 상응할 수 있다.
또한, 이와 같이 생성된 조명 모델링 데이터베이스(312)를 활용하여 렌더링 엔진(340)에서 가상 콘텐츠의 그림자를 렌더링할 수도 있다.
또한, 렌더링 모듈(300)은 카메라 모델링 모듈(320)의 정보를 카메라 효과 모듈(360)로 전달하여 카메라 물리 모델을 가상 콘텐츠에 적용시킬 수 있다.
예를 들어, 3차원의 가상 콘텐츠에 RGB 카메라를 통해 입력된 이미지에 해당하는 렌즈 왜곡, 색 왜곡 및 화이트 밸런스 등을 역으로 적용시킴으로써 도 14에 도시된 것과 같이 실사의 이미지에 가상 콘텐츠(1410~1480)가 자연스럽게 증강 합성된 합성 이미지를 제공할 수 있다.
이와 같은 프로세서를 포함하는 가상 콘텐츠 합성 장치를 이용함으로써, 실제로 조명이 없어도 촬영된 실제 이미지와 비슷한 조명 효과를 가상 콘텐츠에 적용하여 보다 자연스러운 증강현실 서비스를 제공할 수 있다.
또한, 미리 정의되어 저장된 파라미터 값들을 바탕으로 모바일 기기에 장착된 카메라의 파라미터가 실시간으로 변경되어도 변경 사항을 즉각적으로 가상 3차원 콘텐츠에 반영할 수 있으며, 모바일 기기와 같은 저사양의 기기에서도 무리 없이 동작할 수 있고, 보다 자연스러운 합성결과를 제공하는 증강현실 서비스를 제공할 수 있다.
도 15는 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 방법을 나타낸 동작흐름도이다.
도 15를 참조하면, 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 방법은 가상 콘텐츠를 출력하기 위한 현실의 조명 정보를 기반으로 조명 물리모델링 데이터를 생성한다(S1510).
이 때, 본 발명의 일실시예에 따른 가상 콘텐츠 합성 방법은 미러볼 촬영을 기반으로 조명 물리모델링 데이터를 생성하는 방법 및 RGB 센서와 깊이 센서를 기반으로 조명 물리모델링 데이터를 생성하는 방법 중 어느 하나의 방법을 이용하여 조명 물리모델링 데이터를 생성할 수 있다.
이 때, 미러볼 촬영을 기반으로 물리 모델링 데이터를 생성하는 방법은 다음과 같다.
먼저, 미러볼 촬영을 기반으로 획득한 적어도 둘 이상의 미러볼 이미지들을 각각 위경도(lat-long) 이미지로 표현할 수 있다.
예를 들어, 미러볼이 포함된 실제 환경을 촬영하여 미러볼이 포함되어 있는 이미지를 획득하고, 획득한 이미지에서 미러볼에 해당하는 영역인 미러볼 이미지를 추출할 수 있다. 이 후, 미러볼 이미지를 위경도(lat-long) 형태로 펼쳐서 위경도 이미지를 생성할 수 있다.
이 때, 적어도 둘 이상의 위경도 이미지들을 기반으로 모핑(morphing)을 수행하여 조명 환경 맵을 생성할 수 있다.
예를 들어, 적어도 둘 이상의 위경도 이미지들을 비교하여 특징점을 찾고, 검색된 적어도 하나의 특징점을 기준으로 적어도 둘 이상의 위경도 이미지들에 대해 모핑을 수행하여 조명 환경 맵을 생성할 수 있다.
이 때, 조명 환경 맵을 기반으로 조명 정보에 상응하는 조명 속성을 획득할 수 있다.
이 때, 조명 속성은 가상 콘텐츠가 이미지에 보다 자연스럽게 합성되게 하는데 활용될 수 있다. 즉, 가상 콘텐츠를 합성할 때 조명 환경 맵을 적용함으로써 미러볼 이미지에 해당하지 않는 영역의 조명과 유사한 느낌으로 가상 콘텐츠를 합성시킬 수 있다.
이 때, 조명 속성은 3차원 공간 상에 배열 형태로 구축된 조명 환경 맵에 포함된 복수개의 좌표들 각각에 상응하게 할당될 수 있다.
이 때, 3차원 공간 상에 배열 형태로 구축된 조명 환경 맵은 RGB 카메라를 통해 입력된 이미지에 합성되는 3차원 가상 콘텐츠에 반영될 수 있으며, 실내의 방과 같은 공간에서 3차원 가상 콘텐츠의 좌표에 상응하게 적용될 수 있다.
이 때, 3차원 공간 상에 배열 형태로 구축되는 조명 환경 맵에 관련된 설명은 도 11 내지 도 12를 통해 상세하게 설명하였으므로 생략하도록 한다.
또한, RGB 센서와 깊이 센서를 기반으로 조명 물리모델링 데이터를 생성하는 방법은 다음과 같다.
먼저, RGB 센서와 깊이(depth) 센서를 기반으로 카메라 각도 별 이미지를 획득할 수 있다.
먼저, 각각의 센서들을 통해 획득되는 이미지의 좌표를 맞추기 위해서 RGB 센서와 깊이 센서 간의 캘리브레이션(calibration)을 수행할 수 있다.
예를 들어, RGB 센서와 깊이 센서가 장착된 카메라 또는 촬영 기기로 체커보드와 같은 캘리브레이션용 보드를 촬영함으로써 두 개의 센서들 간 캘리브레이션을 수행할 수 있다.
이 때, 카메라 또는 촬영 기기는 pan/tilt 기구물을 이용하여 반구 형태의 이미지를 획득할 수 있다. 또한, 상기한 카메라 또는 촬영 기기 이외에도 깊이 센서가 포함되어 있는 모바일 기기를 이용할 수도 있고, RGB 센서가 포함되어 있는 PC, 태블릿, 노트북 등에 깊이 센서를 부착하여 사용할 수도 있다.
이 후, 캘리브레이션 된 RGB 센서와 깊이 센서를 이용하여 각각 RGB 이미지와 깊이 이미지를 획득하되, 카메라 또는 촬영 기기의 각도 별로 RGB 이미지와 깊이 이미지를 획득하여 환경 맵 형태로 생성할 수 있다
이 때, 카메라 각도 별 이미지 중 RGB 이미지를 기반으로 조명의 위치를 추출하고, 카메라 각도 별 이미지 중 RGB 이미지와 맵핑되는 깊이 이미지를 기반으로 깊이 값을 획득할 수 있다.
이 때, 조명의 위치와 깊이 값을 기반으로 조명 정보에 상응하는 조명의 3차원 좌표를 획득할 수 있다.
즉, 깊이 센서가 부착된 모바일 기기나 다른 기기를 사용하는 경우에도 실내의 공간을 촬영하고, 그 정보를 바탕으로 pan/tilt 기구물로 수행했던 것처럼 RGB 이미지와 깊이 이미지를 회득하여 3차원 공간상의 조명의 위치를 획득할 수 있다.
또한, 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 방법은 카메라에 상응하는 복수개의 파라미터들을 획득하여 카메라 물리모델링 데이터를 생성한다(S1520).
이 때, 카메라 API의 고유 속성에 따라 이미지의 왜곡도가 모두 다르게 나타날 수 있다. 따라서, 이러한 문제를 보완하기 위해서 카메라의 왜곡을 보정하기 위한 복수개의 파라미터들을 획득할 수 있다.
이 때, 카메라 API는 여러 기종의 카메라 모델 및 카메라가 가지고 있는 고유의 속성들을 의미할 수 있다. 예를 들어, 카메라 API는 DSLR 카메라, 안드로이드폰 카메라, 아이폰 카메라 등 여러 가지 기기의 카메라 또는 Focus, Focal Length, Zoom Factor, Exposure, White Balance, Color Space, Black Level, Lens Shading map, Tonemap Curve 등의 속성을 의미할 수 있다.
이 때, 카메라에 상응하는 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스 중 적어도 하나에 상응하는 파라미터를 획득하여 카메라 모델링 데이터베이스에 저장할 수 있다.
이 때, 카메라의 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스를 포함한 카메라에 대한 여러 값들을 저장하여 카메라 모델링 데이터베이스를 구축할 수 있다.
이 때, 카메라 모델링 데이터베이스에 저장된 데이터는 카메라의 값들이 변경될 때마다 실시간으로 값을 변경시킴으로써 증강 합성되는 가상 콘텐츠의 속성을 실사와 흡사하게 왜곡 또는 보정하는 용도로 사용될 수 있다.
또한, 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 방법은 조명 물리모델링 데이터와 카메라 물리모델링 데이터를 기반으로 가상 콘텐츠와 RGB 카메라를 통해 입력된 이미지를 합성한다(S1530).
이 때, 조명 정보와 조명 환경 맵을 검증하는 단계를 거쳐 조명 모델링 데이터베이스를 구축할 수 있다.
이 때, 복수개의 파라미터들에 대해 고정 값을 입력 받고, 고정 값을 기반으로 조명 정보를 변화시키면서 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크하고, 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 기반으로 조명 모델링 데이터베이스를 구출할 수 있다. 즉, 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크함에 따라 렌더링시 어떤 값으로 대응되는지 알 수 있으므로, 이렇게 만들어진 값들을 기반으로 조명 모델링 데이터베이스를 구축할 수 있다.
이 때, 조명 정보는 조명의 위치, 타입, 밝기 및 색 중 적어도 하나에 상응할 수 있다.
이 때, 조명 모델링 데이터베이스를 기반으로 가상 콘텐츠의 그림자를 렌더링 할 수 있다.
이 때, 이미지에 상응하는 적어도 하나의 카메라 파라미터를 획득하고, 카메라 모델링 데이터베이스를 기반으로 복수개의 파라미터들을 적어도 하나의 카메라 파라미터에 상응하게 변경시켜 가상 콘텐츠의 렌더링에 적용할 수 있다.
예를 들어, 3차원의 가상 콘텐츠에 RGB 카메라를 통해 입력된 이미지에 해당하는 렌즈 왜곡, 색 왜곡 및 화이트밸런스 등을 역으로 적용시킴으로써 실사의 이미지에 가상 콘텐츠가 자연스럽게 증강 합성된 합성 이미지를 제공할 수 있다.
이 때, 조명 환경 맵을 이용하여 3차원 공간에 조명 환경 맵을 배열 형태로 구축할 수 있다.
이 때, 배열형태의 조명 환경 맵은 3차원의 가상 콘텐츠에 반영될 수 있는데, 실내의 방과 같은 공간에서 3차원 가상 콘텐츠의 좌표에 상응하게 배열형태의 조명 환경 맵이 적용될 수 있다.
즉, 배열형태로 구축된 조명 환경 맵에 포함된 복수개의 좌표들 중 가상 콘텐츠의 위치에 해당하는 좌표에 할당된 조명 속성을 가상 콘텐츠에 적용하는 방식으로 조명 환경 맵을 적용할 수 있다.
이 때, 복수개의 좌표들 중 가상 콘텐츠의 위치에 해당하는 좌표의 조명 속성을 가상 콘텐츠에 적용하여 렌더링할 수 있다.
또한, 도 15에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 증강현실을 위한 가상 콘텐츠 합성 방법은 상술한 바와 같이 본 발명의 실시예에 따른 가상 콘텐츠 합성 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장한다.
이와 같은 가상 콘텐츠 합성 방법을 통해, 실제로 조명이 없어도 촬영된 실제 이미지와 비슷한 조명 효과를 가상 콘텐츠에 적용하여 보다 자연스러운 증강현실 서비스를 제공할 수 있다.
또한, 미리 정의되어 저장된 파라미터 값들을 바탕으로 모바일 기기에 장착된 카메라의 파라미터가 실시간으로 변경되어도 변경 사항을 즉각적으로 가상 3차원 콘텐츠에 반영할 수 있다.
또한, 모바일 기기와 같은 저사양의 기기에서도 무리 없이 동작할 수 있고, 보다 자연스러운 합성결과를 제공하는 증강현실 서비스를 제공할 수 있다.
이상에서와 같이 본 발명에 따른 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 조명 물리모델링 모듈 200: 카메라 물리모델링 모듈
300: 렌더링 모듈 310: 조명 모델링 모듈
311: 조명 정보 312: 조명 모델링 DB
320: 카메라 모델링 모듈 321: 카메라의 파라미터 정보
322: 카메라 모델링 DB 330: 3D 모델 셰이더
340: 렌더링 엔진 350: 카메라 효과 모듈
360: RGB 카메라 모듈 370: AR 렌더링 모듈
400: 입력 이미지 401: 합성 이미지
410, 420: 미러볼 이미지 411, 412: 위경도 이미지
413, 313: 조명 환경 맵 430, 440, 450, 1410~1480: 가상 콘텐츠
710: RGB 이미지 720, 730: 깊이 이미지
810: 카메라 API 820: 카메라 속성 모델링 모듈
821: 렌즈 왜곡 파라미터 획득 모듈 822: 색 왜곡 파라미터 획득 모듈
823: 화이트밸런스 설정 모듈 830: 카메라 모델링 DB
1010: 실 영상의 맥베스 칼라보드 1020: 가상 콘텐츠의 맥베스 칼라보드
1100: 조명 체크 모듈

Claims (20)

  1. 미러볼 촬영을 기반으로 가상 콘텐츠를 출력하기 위한 현실의 조명 정보에 상응하게 생성된 조명 물리모델링 데이터를 저장하고, 카메라에 상응하는 복수개의 파라미터들을 획득하여 생성된 카메라 물리모델링 데이터를 저장하는 메모리; 및
    상기 조명 물리모델링 데이터와 상기 카메라 물리모델링 데이터를 기반으로 상기 가상 콘텐츠와 RGB 카메라를 통해 입력된 이미지를 합성하는 프로세서
    를 포함하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  2. 청구항 1에 있어서,
    상기 프로세서는
    상기 미러볼 촬영을 기반으로 획득한 적어도 둘 이상의 미러볼 이미지들을 각각 위경도(lat-long) 이미지로 표현하고, 적어도 둘 이상의 위경도 이미지들을 기반으로 모핑(morphing)을 수행하여 생성된 조명 환경 맵을 기반으로 상기 조명 정보에 상응하는 조명 속성을 획득하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  3. 청구항 1에 있어서,
    상기 메모리는
    상기 카메라에 상응하는 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스 중 적어도 하나에 상응하는 파라미터를 획득하여 카메라 모델링 데이터베이스에 저장하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  4. 청구항 3에 있어서,
    상기 프로세서는
    상기 이미지에 상응하는 적어도 하나의 카메라 파라미터를 획득하고, 상기 카메라 모델링 데이터베이스를 기반으로 상기 복수개의 파라미터들을 상기 적어도 하나의 카메라 파라미터에 상응하게 변경시켜 상기 가상 콘텐츠의 렌더링에 적용하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  5. 청구항 2에 있어서,
    상기 조명 속성은
    3차원 공간 상에 배열 형태로 구축된 상기 조명 환경 맵에 포함된 복수개의 좌표들 각각에 상응하게 할당되는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  6. 청구항 5에 있어서,
    상기 프로세서는
    상기 복수개의 좌표들 중 상기 가상 콘텐츠의 위치에 해당하는 좌표의 조명 속성을 상기 가상 콘텐츠에 적용하여 렌더링하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  7. 청구항 1에 있어서,
    상기 프로세서는
    상기 복수개의 파라미터들에 대해 고정 값을 입력 받고, 상기 고정 값을 기반으로 상기 조명 정보를 변화시키면서 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크하고, 상기 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 기반으로 조명 모델링 데이터베이스를 구축하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  8. 청구항 7에 있어서,
    상기 프로세서는
    상기 조명 모델링 데이터베이스를 기반으로 상기 가상 콘텐츠의 그림자를 렌더링하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  9. RGB 센서와 깊이(Depth) 센서를 기반으로 가상 콘텐츠를 출력하기 위한 현실의 조명 정보에 상응하게 생성된 조명 물리모델링 데이터를 저장하고, 카메라에 상응하는 복수개의 파라미터들을 획득하여 생성된 카메라 물리모델링 데이터를 저장하는 메모리; 및
    상기 조명 물리모델링 데이터와 상기 카메라 물리모델링 데이터를 기반으로 상기 가상 콘텐츠와 RGB 카메라를 통해 입력된 이미지를 합성하는 프로세서
    를 포함하고,
    상기 프로세서는
    상기 RGB 센서와 깊이(DEPTH) 센서를 기반으로 카메라 각도 별 이미지를 획득하고, 상기 카메라 각도 별 이미지 중 RGB 이미지를 기반으로 조명의 위치를 추출하고, 상기 카메라 각도 별 이미지 중 상기 RGB 이미지와 맵핑되는 깊이 이미지를 기반으로 깊이 값을 획득하고, 상기 조명의 위치와 상기 깊이 값을 기반으로 상기 조명 정보에 상응하는 조명의 3차원 좌표를 획득하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  10. 삭제
  11. 청구항 9에 있어서,
    상기 메모리는
    상기 카메라에 상응하는 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스 중 적어도 하나에 상응하는 파라미터를 획득하여 카메라 모델링 데이터베이스에 저장하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  12. 청구항 11에 있어서,
    상기 프로세서는
    상기 이미지에 상응하는 적어도 하나의 카메라 파라미터를 획득하고, 상기 카메라 모델링 데이터베이스를 기반으로 상기 복수개의 파라미터들을 상기 적어도 하나의 카메라 파라미터에 상응하게 변경시켜 상기 가상 콘텐츠의 렌더링에 적용하는 것을 특징으로 하는 가상 콘텐츠 합성 장치.
  13. 가상 콘텐츠를 출력하기 위한 현실의 조명 정보를 기반으로 조명 물리모델링 데이터를 생성하는 단계;
    카메라에 상응하는 복수개의 파라미터들을 획득하여 카메라 물리모델링 데이터를 생성하는 단계; 및
    상기 조명 물리모델링 데이터와 상기 카메라 물리모델링 데이터를 기반으로 상기 가상 콘텐츠와 RGB 카메라를 통해 입력된 이미지를 합성하는 단계
    를 포함하는 것을 특징으로 하는 가상 콘텐츠 합성 방법.
  14. 청구항 13에 있어서,
    상기 조명 물리모델링 데이터를 생성하는 단계는
    미러볼 촬영을 기반으로 획득한 적어도 둘 이상의 미러볼 이미지들을 각각 위경도(lat-long) 이미지로 표현하는 단계;
    적어도 둘 이상의 위경도 이미지들을 기반으로 모핑(morphing)을 수행하여 조명 환경 맵을 생성하는 단계; 및
    상기 조명 환경 맵을 기반으로 상기 조명 정보에 상응하는 조명 속성을 획득하는 단계를 포함하는 것을 특징으로 하는 가상 콘텐츠 합성 방법.
  15. 청구항 13에 있어서,
    상기 조명 물리모델링 데이터를 생성하는 단계는
    RGB 센서와 깊이(DEPTH) 센서를 기반으로 카메라 각도 별 이미지를 획득하는 단계;
    상기 카메라 각도 별 이미지 중 RGB 이미지를 기반으로 조명의 위치를 추출하고, 상기 카메라 각도 별 이미지 중 상기 RGB 이미지와 맵핑되는 깊이 이미지를 기반으로 깊이 값을 획득하는 단계; 및
    상기 조명의 위치와 상기 깊이 값을 기반으로 상기 조명 정보에 상응하는 조명의 3차원 좌표를 획득하는 단계를 포함하는 것을 특징으로 하는 가상 콘텐츠 합성 방법.
  16. 청구항 13에 있어서,
    상기 카메라 물리모델링 데이터를 생성하는 단계는
    상기 카메라에 상응하는 렌즈 왜곡 파라미터, 색 왜곡 파라미터 및 화이트 밸런스 중 적어도 하나에 상응하는 파라미터를 획득하여 카메라 모델링 데이터베이스에 저장하는 것을 특징으로 하는 가상 콘텐츠 합성 방법.
  17. 청구항 16에 있어서,
    상기 합성하는 단계는
    상기 이미지에 상응하는 적어도 하나의 카메라 파라미터를 획득하고, 상기 카메라 모델링 데이터베이스를 기반으로 상기 복수개의 파라미터들을 상기 적어도 하나의 카메라 파라미터에 상응하게 변경시켜 상기 가상 콘텐츠의 렌더링에 적용하는 것을 특징으로 하는 가상 콘텐츠 합성 방법.
  18. 청구항 14에 있어서,
    상기 조명 속성은
    3차원 공간 상에 배열 형태로 구축된 상기 조명 환경 맵에 포함된 복수개의 좌표들 각각에 상응하게 할당되는 것을 특징으로 하는 가상 콘텐츠 합성 방법.
  19. 청구항 18에 있어서,
    상기 합성하는 단계는
    상기 복수개의 좌표들 중 상기 가상 콘텐츠의 위치에 해당하는 좌표의 조명 속성을 상기 가상 콘텐츠에 적용하여 렌더링하는 것을 특징으로 하는 가상 콘텐츠 합성 방법.
  20. 청구항 13에 있어서,
    상기 조명 물리모델링 데이터를 생성하는 단계는
    상기 복수개의 파라미터들에 대해 고정 값을 입력 받고, 상기 고정 값을 기반으로 상기 조명 정보를 변화시키면서 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 체크하는 단계; 및
    상기 칼라 체커 및 그레이스케일 체커 중 적어도 하나의 변화를 기반으로 조명 모델링 데이터베이스를 구축하는 단계를 포함하는 것을 특징으로 하는 가상 콘텐츠 합성 방법.
KR1020170086616A 2017-07-07 2017-07-07 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치 KR102149180B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170086616A KR102149180B1 (ko) 2017-07-07 2017-07-07 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치
US15/832,553 US10388062B2 (en) 2017-07-07 2017-12-05 Virtual content-mixing method for augmented reality and apparatus for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170086616A KR102149180B1 (ko) 2017-07-07 2017-07-07 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20190005642A KR20190005642A (ko) 2019-01-16
KR102149180B1 true KR102149180B1 (ko) 2020-08-28

Family

ID=64903322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170086616A KR102149180B1 (ko) 2017-07-07 2017-07-07 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US10388062B2 (ko)
KR (1) KR102149180B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230174093A (ko) 2022-06-20 2023-12-27 주식회사 믹서 테스트 서버와 연계된 저작도구 플러그인 기반 가상객체의 환경별 출력 테스트 방법 및 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10607567B1 (en) * 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10777010B1 (en) 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
GB2573593B (en) * 2018-05-10 2021-11-03 Samsung Electronics Co Ltd Augmented reality rendering method and apparatus
KR102197615B1 (ko) * 2019-08-12 2020-12-31 주식회사 엘지유플러스 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
WO2021100037A1 (en) * 2019-11-18 2021-05-27 Elbit Systems Ltd. A system and method for mixed reality
CN111932641B (zh) * 2020-09-27 2021-05-14 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
IL279342A (en) * 2020-12-09 2022-07-01 Elbit Systems Ltd Methods and systems for increasing the perception of depth in images in the invisible spectrum of a scene
EP4260553A1 (en) * 2020-12-09 2023-10-18 Elbit Systems Ltd. Methods and systems for enhancing depth perception of a non-visible spectrum image of a scene

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011527812A (ja) * 2008-07-11 2011-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照明設備を制御するための方法及びコンピュータ実行装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004047009A2 (en) * 2002-11-15 2004-06-03 Esc Entertainment, A California Corporation Method for digitally rendering skin or like materials
KR100793838B1 (ko) 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
US8025408B2 (en) * 2008-07-08 2011-09-27 Panasonic Corporation Method, apparatus and program for image processing and method and apparatus for image synthesizing
KR100964951B1 (ko) * 2008-10-29 2010-06-21 에이알비전 (주) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
KR102197504B1 (ko) 2013-12-18 2020-12-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
KR20150075532A (ko) 2013-12-26 2015-07-06 한국전자통신연구원 증강 현실 제공 장치 및 방법
KR101803065B1 (ko) 2015-06-15 2017-11-29 한국전자통신연구원 영상 처리 방법 및 그 장치
KR101684139B1 (ko) 2015-06-30 2016-12-08 주식회사 버츄얼스톰 다중 블록 레이어 조명환경을 이용한 증강현실 방법 및 그 기록매체
DE102015213832B4 (de) * 2015-07-22 2023-07-13 Adidas Ag Verfahren und Vorrichtung zum Erzeugen eines künstlichen Bildes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011527812A (ja) * 2008-07-11 2011-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照明設備を制御するための方法及びコンピュータ実行装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230174093A (ko) 2022-06-20 2023-12-27 주식회사 믹서 테스트 서버와 연계된 저작도구 플러그인 기반 가상객체의 환경별 출력 테스트 방법 및 장치

Also Published As

Publication number Publication date
US10388062B2 (en) 2019-08-20
KR20190005642A (ko) 2019-01-16
US20190012828A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
KR102149180B1 (ko) 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
US10609282B2 (en) Wide-area image acquiring method and apparatus
US11694392B2 (en) Environment synthesis for lighting an object
US10417829B2 (en) Method and apparatus for providing realistic 2D/3D AR experience service based on video image
CN109615703A (zh) 增强现实的图像展示方法、装置及设备
JP6625745B2 (ja) 画像処理装置
JP2010501932A (ja) 地図作成アプリケーションにおける数値表面モデルのモデリングおよびテクスチャリング
KR20170134513A (ko) 오브젝트를 표시하는 방법
US20110273731A1 (en) Printer with attention based image customization
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
CN109661816A (zh) 基于渲染引擎生成和显示全景图像的方法和显示装置
US20190272658A1 (en) Image processing device, image processing method, and program
CN109565577A (zh) 色彩校正装置、色彩校正系统、色彩校正用全息图、色彩校正方法以及程序
JP6575999B2 (ja) 照明情報取得装置、照明復元装置、およびこれらのプログラム
JP2007272847A (ja) 照明シミュレーション方法及び画像合成方法
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
CA3103562C (en) Method and system for generating an augmented reality image
WO2021171982A1 (ja) 画像処理装置、３ｄモデルの生成方法、学習方法およびプログラム
US11062518B2 (en) Method for displaying a mixed reality image
CN112915536A (zh) 虚拟模型的渲染方法和装置
WO2019026183A1 (ja) 画像生成装置および画像生成方法
CN115866232B (zh) 裸眼悬浮3d视频显示方法、装置、设备及存储介质
CN114119848B (zh) 一种模型渲染方法、装置、计算机设备及存储介质
KR102415754B1 (ko) 가상 공간에서 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant