KR20210157284A - Ar 신에서 주변 조도를 결정하는 방법, 장치 및 저장 매체 - Google Patents

Ar 신에서 주변 조도를 결정하는 방법, 장치 및 저장 매체 Download PDF

Info

Publication number
KR20210157284A
KR20210157284A KR1020200143450A KR20200143450A KR20210157284A KR 20210157284 A KR20210157284 A KR 20210157284A KR 1020200143450 A KR1020200143450 A KR 1020200143450A KR 20200143450 A KR20200143450 A KR 20200143450A KR 20210157284 A KR20210157284 A KR 20210157284A
Authority
KR
South Korea
Prior art keywords
reliability
frame
previous
image frame
current
Prior art date
Application number
KR1020200143450A
Other languages
English (en)
Inventor
루이 판
동징 하오
지예 첸
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/192,041 priority Critical patent/US11544897B2/en
Publication of KR20210157284A publication Critical patent/KR20210157284A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H04N5/2354—
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 주로 다음을 포함하는 AR 신에서 주변 조도를 결정하는 방법 및 장치를 개시한다: AR 신에서 다수의 가상 광원 포인트들을 설정하는 것과, 신경 네트워크에 따라 현재 이미지 프레임에 대한 상기 모든 가상 광원 포인트들의 기준 조도 파라미터들을 예측하고, 상기 가상 광원 포인트들 각각에 대한 기준 공간 신뢰도 및 기준 시간 신뢰도를 구성하는 것과, 상기 기준 공간 신뢰도와 상기 기준 시간 신뢰도를 융합하여(fuse) 기준 종합 신뢰도를 획득하는 것과, 상기 기준 종합 신뢰도와 이전 이미지 프레임의 종합 신뢰도를 비교함으로써 융합된 현재 종합 신뢰도를 획득하는 것과, 상기 현재 종합 신뢰도, 상기 이전-프레임 종합 신뢰도 및 상기 이전-프레임 조도 파라미터들에 따라 상기 현재 이미지 프레임의 조도 파라미터들을 정정함으로써 상기 현재 프레임의 결정된 조도 파라미터들을 획득하는 것과, 상기 현재 프레임의 결정된 조도 파라미터들에 따라 상기 AR 신에서 가상 오브젝트의 조도 렌더링을 더 수행하는 것. 본 개시는 다수의 광원들을 가지는 환경에서 AR 신에 대한 주변 조도의 부정확한 예측 문제를 해결하고 상기 가상 오브젝트가 보다 현실적으로 보이게 할 수 있다.

Description

AR 신에서 주변 조도를 결정하는 방법, 장치 및 저장 매체{METHOD FOR DETERMINING AMBIENT ILLUMINATION IN AR SCENE, APPARATUS AND STORAGE MEDIUM}
본 개시는 증강 현실의 기술 분야에 관한 것으로서, 특히 AR 신(scene)에서 주변 조도(illumination)를 결정하는 방법, 장치 및 저장 매체에 관한 것이다.
증강 현실(Augmented Reality: AR)은 이미지들을 캡쳐(capture)하는 카메라의 위치와 포인팅 방향(pointing direction)을 실시간으로 계산하고, 상응하는 이미지들을 중첩(superimpose)하는 기술이다. 상기 AR은 현실 세계 정보와 가상 세계 정보를 "끊김 없이(seamlessly)" 통합할 수 있는 새로운 기술로, 상기 가상 세계를 스크린 상의 현실 세계에 입력하여 상호 작용들을 가능하게 하는 것을 목표로 한다.
종래 기술에서는, 가상 오브젝트(virtual object)가 현실 세계 신(scene)에 배치될 때, 디폴트(default) 방향과 디폴트 세기를 가지는 디폴트 광원만 상기 가상 오브젝트에 적용되고, 이는 상기 가상 오브젝트의 쉐도우(shadow)의 방향이 현실 세계 오브젝트의 쉐도우의 방향과 자주 불일치하는 것을 초래하고, 또한 상기 가상 오브젝트의 밝기가 주변 조도와 불일치하는 것을 초래하고, 따라서 상기 가상 오브젝트가 매우 비현실적으로 보이게 된다.
현실 세계 신과 융합시키기 위해서 가상 오브젝트를 현실 세계 신에 배치하고, 상기 가상 오브젝트가 제자리에 있지 않은 것처럼 보이게 하는 것을 방지하고, 또한 상기 가상 오브젝트가 현실 세계 오브젝트처럼 보이게 하기 위해, 상기 가상 오브젝트의 조도와 상기 현실 세계 신에서의 조도간의 관계가 고려될 필요가 있으며, 상기 가상 오브젝트의 가상 광원의 포인팅 방향, 세기 및 색상을 상기 현실 세계 신의 현실 세계 광원의 포인팅 방향, 세기 및 색상과 일치하도록 하게 하기 위한 노력들이 이루어져야만 한다. 여기서, 조도 추정이 사용되어야만 한다. 조도 추정은 인공 지능 (artificial intelligence: AI)으로 카메라의 프리뷰 이미지(preview image)들을 실시간으로 분석함으로써 현재 환경에서의 광원의 포인팅 방향, 세기, 색상 및 다른 파라미터들을 추정하는 기술이다.
Apple Inc.의 ARKit 및 Google Inc.의 ARCore는 가장 일반적으로 사용되는 AR 개발 소프트웨어이며, Apple Inc.의 ARKit 및 Google Inc.의 ARCore 둘 다는 조도 추정을 위한 고유한 조도 추정 모듈들을 가지고 있다. 상기 ARKit은 주변 광원의 세기와 색온도를 예측할 수 있으며, 이에 반해 상기 ARCore는 주변 환경에서 기본 광원의 포인팅 방향을 예측할 수 있다. 하지만, 현실 세계 신들의 주변 조도는 종종 매우 복잡하고, 예를 들어, 실내 환경에 다수의 광원들이 존재할 때, 이런 다수의 광원들이 가상 오브젝트의 조도에 대해 고려되어야만 한다. ARKit 및 ARCore 모두는 다수의 광원들에 의해 발생되는 문제를 해결할 수 없으며, 또한 상기 주변 조도를 기반으로 안정적이고 정확한 결과를 생성할 수 없다.
상기에서 설명한 바와 같은 관점에서, 본 개시는 다중-광원 환경에서 안정적이고 정확한 주변 조도 예측(이하, 예측은 추정이라고도 할 수 있음) 결과를 획득하고, 상기 다중-광원 환경에서 AR 신에 대한 부정확한 주변 조도 예측 문제를 해결하고, 그리고 가상 오브젝트(object)를 보다 잘 렌더링하고(render), 가상 오브젝트들이 보다 현실적으로 보이게 하도록 AR 신에서 주변 조도를 결정하는 방법 및 장치를 제공한다.
본 개시의 기술적 해결 방식들은 다음과 같다.
AR 신(scene)에서 주변 조도를 결정하는 방법은:
AR 신에 대해 캡쳐되는(captured) 현재 이미지 프레임의 기준 조도 파라미터 테이블을 획득하고, 상기 현재 이미지 프레임의 촬영 정보(shooting information)에 따라 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블(reference comprehensive confidence table)을 설정하는 과정, 여기서 상기 기준 조도 파라미터 테이블 및 기준 종합 신뢰도 테이블은 다수의 가상 광원 포인트(virtual light source point)들의 기준 조도 파라미터들 및 기준 종합 신뢰도들을 각각 포함하고;
상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하는 과정; 및
상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 상기 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블에 따라 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하는 과정을 포함하고, 상기 현재 조도 파라미터 테이블은 상기 가상 광원 포인트들의 현재 결정되는 조도 파라미터들을 포함할 수 있다.
또한, 상기 현재 이미지 프레임의 기준 조도 파라미터 테이블은 신경 네트워크의 예측을 통해 상기 현재 이미지 프레임을 프로세싱함으로써 획득될 수 있다.
또한, 상기 다수의 가상 광원 포인트들은 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 위치에 존재하는 구면(spherical surface) 상에 배치될 수 있다.
또한, 상기 현재 이미지 프레임의 촬영 정보에 따라 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블을 설정하는 절차는:
상기 현재 이미지 프레임에 대응하는 카메라의 위치 및 포인팅 방향(pointing direction)에 따라 상기 현재 이미지 프레임의 기준 공간 신뢰도 테이블을 설정하고, 상기 현재 이미지 프레임이 캡쳐된 시간에 따라 상기 현재 이미지 프레임의 기준 시간 신뢰도 테이블을 설정하는 과정, 여기서 상기 기준 공간 신뢰도 테이블 및 상기 기준 시간 신뢰도 테이블은 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 위치에 존재하는 구면 상에 배치된 상기 가상 광원 포인트들의 기준 공간 신뢰도들 및 기준 시간 신뢰도들을 각각 포함하고; 및
각 가상 광원 포인트와 관련된 기준 공간 신뢰도, 기준 시간 신뢰도 및 조정 계수에 근거하여 상기 가상 광원 포인트의 기준 종합 신뢰도를 획득하고, 상기 기준 종합 신뢰도 테이블을 설정하는 과정을 포함할 수 있다.
추가적으로, 상기 기준 종합 신뢰도 테이블 및 상기 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하는 절차는:
상기 기준 종합 신뢰도 테이블과 상기 이전 프레임 종합 신뢰도 테이블에서 각 가상 광원 포인트의 종합 신뢰도들을 비교하는 과정, 및 하기와 같은 후속 과정들을 통해 상기 가상 광원 포인트들 각각에 대해 판단(judgment) 및 교체(replacement)를 수행한 후 상기 현재 종합 신뢰도 테이블을 획득하는 과정을 포함할 수 있으며:
상기 후속 과정들은:
상기 기준 종합 신뢰도 테이블에서의 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도 테이블의 이전-프레임 종합 신뢰도보다 작을 경우, 상기 기준 종합 신뢰도의 값을 상기 이전-프레임 종합 신뢰도의 값으로 교체하는 과정; 및 상기 기준 종합 신뢰도가 상기 이전 프레임 종합 신뢰도 보다 작지 않을 경우, 상기 기준 종합 신뢰도의 값을 유지하는 과정을 포함한다.
추가적으로, 상기 AR 신에서 주변 조도를 결정하는 방법은:
상기 기준 공간 신뢰도 테이블, 상기 기준 시간 신뢰도 테이블, 상기 기준 종합 신뢰도 테이블 및 상기 이전 이미지 프레임의 상기 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 공간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 획득하는 과정을 더 포함할 수 있다.
또한, 상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 공간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 획득하는 절차는:
상기 기준 종합 신뢰도 테이블과 상기 이전-프레임 종합 신뢰도 테이블에서 상기 가상 광원 포인트들 각각의 종합 신뢰도들을 비교하는 과정, 및 하기와 같은 후속 과정들을 통해 상기 가상 광원 포인트들 각각에 대해 판단(judgment) 및 교체(replacement)를 수행한 후 상기 현재 공간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 획득하는 과정을 포함할 수 있으며,
상기 후속 과정들은:
상기 기준 종합 신뢰도 테이블에서의 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도 테이블의 이전-프레임 종합 신뢰도보다 작을 경우, 상기 기준 공간 신뢰도의 값을 상기 이전 프레임 공간 신뢰도의 값으로 교체하고, 상기 기준 시간 신뢰도의 값을 상기 이전 프레임 시간 신뢰도의 값으로 교체하는 과정; 및
상기 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도보다 작지 않을 경우, 상기 기준 공간 신뢰도의 값 및 상기 기준 시간 신뢰도의 값을 유지하는 과정을 포함하며,
상기 가상 광원 포인트들 모두의 이전-프레임 공간 신뢰도들은 이전-프레임 공간 신뢰도 테이블에 기록되고; 및
상기 가상 광원 포인트들 모두의 이전-프레임 시간 신뢰도들은 이전-프레임 시간 신뢰도 테이블에 기록된다.
추가적으로, 상기 이전-프레임 시간 신뢰도 테이블에서의 이전 프레임 시간 신뢰도들의 값들은 모두 상기 기준 시간 신뢰도 테이블에서의 기준 시간 신뢰도들의 값들 보다 작다.
또한, 상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 상기 이전-프레임 종합 신뢰도 테이블 및 상기 이전-프레임 조도 파라미터 테이블에 따라 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하는 절차는:
상기 현재 종합 신뢰도 테이블에서의 각 가상 광원 포인트의 현재 종합 신뢰도를 상기 이전-프레임 종합 신뢰도 테이블에서의 각 가상 광원 포인트의 이전-프레임 종합 신뢰도와 비교하고, 하기 후속 과정들과 같은 판단 및 계산을 통해 각 가상 광원 포인트의 현재 결정되는 조도 파라미터를 획득한 후 상기 현재 조도 파라미터 테이블을 획득하는 과정을 포함할 수 있고,
상기 후속 과정들은:
가상 광원 포인트의 현재 종합 신뢰도가 상기 가상 광원 포인트의 이전-프레임 종합 신뢰도보다 작을 경우, 상기 가상 광원 포인트의 이전-프레임 조도 파라미터를 상기 가상 광원 포인트의 상기 현재 결정되는 조도 파라미터로 처리하는 과정; 및
상기 가상 광원 포인트의 상기 현재 종합 신뢰도가 상기 이전-프레임의 종합 신뢰도보다 작지 않을 경우, 정의된 규칙에 따라 상기 가상 광원 포인트의 상기 현재 결정되는 조도 파라미터를 계산하는 과정을 포함한다.
또한, 상기 정의된 규칙에 따라 상기 가상 광원 포인트의 상기 현재 결정되는 조도 파라미터를 계산하는 절차는상기 현재 종합 신뢰도, 평활화 계수(smoothing coefficient), 상기 기준 조도 파라미터이고,상기 이전-프레임 종합 신뢰도, 상기 이전 프레임 조도 파라미터에 근거하여,상기 현재 결정되는 조도 파라미터를 계산하는 과정을 포함할 수 있다.
또한, 각 이미지 프레임의 시간 신뢰도 테이블에서의 시간 신뢰도는 시간에 따라 감소하며,각 이미지 프레임의 시간 신뢰도 테이블은 상기 이전-프레임 시간 신뢰도 테이블과 상기 현재 시간 신뢰도 테이블을 포함하고;
각 이미지 프레임의 기준 시간 신뢰도 테이블에서의 시간 신뢰도는 상기 시간 신뢰도들 모두 중 최대 값이다.
또한, 상기 다수의 가상 광원 포인트들은 상기 구면상에 균일하게 분포된다.
AR 신(scene)에서 주변 조도를 결정하기 위한 장치는:
신경 네트워크를 사용하여 캡쳐된 AR 신의 현재 이미지 프레임을 예측함으로써 상기 현재 이미지 프레임의 기준 조도 파라미터 테이블을 획득하기 위한 신경 네트워크 예측 모듈;
상기 현재 이미지 프레임의 촬영 정보(shooting information)에 따라 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블(reference comprehensive confidence table)을 설정하고, 상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하기 위한 종합 신뢰도 획득 모듈, 여기서 상기 기준 조도 파라미터 테이블 및 기준 종합 신뢰도 테이블은 각각 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 촬영 위치에 존재하는 구면(spherical surface) 상의 다수의 가상 광원 포인트(virtual light source point)들의 기준 조도 파라미터들 및 기준 종합 신뢰도들을 기록하고;
상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 상기 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블에 따라 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하기 위한 조도 파라미터 획득 모듈을 포함할 수 있으며, 상기 현재 조도 파라미터 테이블은 상기 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 촬영 위치에 존재하는 상기 구면 상의 가상 광원 포인트들의 현재 결정되는 조도 파라미터들을 기록한다.
비-휘발성 컴퓨터-판독 가능 저장 매체는 프로세서에 의해 실행될 때 상기 프로세서가 상기에서 설명한 바와 같은 내용 중 어느 하나에서 설명된 바와 같은 AR 신에서 주변 조도를 결정하는 방법에서의 과정들을 실행하도록 하는 인스트럭션(instruction)들을 저장한다.
전자 디바이스는:
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되어 있는 메모리를 포함할 수 있으며,
상기 메모리는 상기 적어도 하나의 프로세서가 상기에서 설명한 바와 같은 내용 중 어느 하나에서 설명된 바와 같은 AR 신에서 주변 조도를 결정하는 방법에서의 과정들을 실행하도록 하는 상기 적어도 하나의 프로세서에 의해 실행 가능한 인스트럭션(instruction)들을 저장한다.
AR 신에서 주변 조도를 결정하기 위한 본 개시의 방법 및 장치에 따르면, 다수의 가상 광원들이 상기 신에 배치되고, 현재 이미지 프레임의 각 가상 광원 포인트의 기준 조도 파라미터들은 신경 네트워크를 사용하여 예측되고, 상응하는 기준 공간 신뢰도 및 상응하는 기준 시간 신뢰도는 상기 현재 이미지 프레임에서 각 가상 광원 포인트에 대해 설정되고, 상기 기준 공간 신뢰도 및 기준 시간 신뢰도는 기준 종합 신뢰도(reference comprehensive confidence)을 획득하기 위해 융합되고, 상기 기준 종합 신뢰도는 상기 이전 이미지 프레임에 대해 융합되는 상기 현재 이미지 프레임의 현재 종합 신뢰도를 획득하기 위해 상기 이전 이미지 프레임의 상응하는 종합 신뢰도와 비교되고, 상기 현재 프레임의 결정되는 조도 파라미터들은 상기 현재 종합 신뢰도, 이전-프레임 종합 신뢰도 및 이전-프레임 조도 파라미터들을 사용하여 상기 현재 이미지 프레임의 조도 파라미터들을 정정함으로써 추가적으로 획득되고, 그리고 나서 조도 렌더링은 상기 현재 프레임의 결정되는 조도 파라미터들을 사용하여 상기 AR 신에서의 가상 오브젝트에 적용된다. 본 개시의 방법 및 장치에 따르면, 상기 조도 렌더링은 상기 이전 및 다음 이미지 프레임들간의 공간 및 시간에서의 조도 변경들을 동시에 고려함으로써 상기 AR 신에서의 가상 오브젝트에 적용되고, 따라서, 상기 AR 신에서의 가상 오브젝트의 단일 이미지 프레임의 불안정한 예측에 의해 초래되는 광 쉐도우 지터링(light shadow jittering) 및 플리커링(flickering)의 문제점들이 효율적으로 방지될 수 있고, 다중 광원 환경에서 주변 조도의 안정적이고 정확한 예측 결과가 획득될 수 있고, 상기 다중 광원 환경에서 AR 신에서의 주변 조도의 부정확한 예측 문제가 해결될 수 있고, 상기 AR 신에서 가상 오브젝트들의 보다 나은 조도 렌더링 효과들이 실현될 수 있고, 가상 오브젝트들은 보다 현실적으로 보이도록 제시될 수 있다.
다양한 실시예에 따르면, 다중-광원 환경에서 안정적이고 정확한 주변 조도 예측(이하, 예측은 추정이라고도 할 수 있음) 결과를 획득하고, 상기 다중-광원 환경에서 AR 신에 대한 부정확한 주변 조도 예측 문제를 해결하고, 그리고 가상 오브젝트(object)를 보다 잘 렌더링하고(render), 가상 오브젝트들이 보다 현실적으로 보이게 하도록 AR 신에서 주변 조도를 결정하는 방법 및 장치가 제공될 수 있다.
도 1은 본 개시의 일 실시 예의 AR 신(scene)에서 주변 조도를 결정하기 위한 방법을 도시하고 있는 플로우차트이다;
도 2는 본 개시의 일 실시 예의 가상 광원 포인트(virtual light source point)들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 3a는 본 개시의 일 실시 예의 간략화된 신에서 카메라의 초기 위치를 도시하고 있는 개략적 다이아그램이다;
도 3b는 도 3a에 도시되어 있는 바와 같은 카메라의 초기 위치를 기반으로 획득되는 가상 광원의 기준 조도 파라미터들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 3c는 도 3a에 도시되어 있는 바와 같은 카메라의 초기 위치를 기반으로 하는 상기 가상 광원 포인트들의 기준 공간 신뢰도의 분포를 도시하고 있는 개략적 다이아그램이다;
도 3d는 도 3a에 도시되어 있는 바와 같은 카메라의 초기 위치에서 획득되는 제1 이미지 프레임의 기준 시간 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 4a는 본 개시의 일 실시 예의 간략화된 신에서 상기 카메라의 제2 위치를 도시하고 있는 개략적 다이아그램이다;
도 4b는 도 4a에 도시되어 있는 바와 같은 카메라의 제2 위치를 기반으로 획득되는 가상 광원 포인트들의 기준 조도 파라미터들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 4c는 도 4a에 도시되어 있는 바와 같은 카메라의 제2 위치를 기반으로 하는 가상 광원 포인트들의 기준 공간 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 4d는 도 4a에 도시되어 있는 바와 같은 카메라의 제2 위치를 기반으로 획득되는 제2 이미지 프레임의 기준 시간 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 4e는 도 4a에 도시되어 있는 바와 같은 카메라의 제2 위치를 기반으로 획득되는 제2 이미지 프레임의 기준 종합 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 5a는 제 2 이미지 프레임에 대한 제 1 이미지 프레임의 시간 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 5b는 제 2 이미지 프레임에 대한 제 1 이미지 프레임의 종합 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 6a는 제 2 이미지 프레임의 현재 종합 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 6b는 제 2 이미지 프레임의 현재 공간 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 6c는 제 2 이미지 프레임의 현재 시간 신뢰도들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 7은 제2 이미지 프레임의 현재 결정되는 조도 파라미터들의 분포를 도시하고 있는 개략적 다이아그램이다;
도 8은 본 개시의 일 실시 예에 따른 AR 신에서 주변 조도를 결정하는 방법을 도시하고 있는 일반 동작 플로우차트이다;
도 9는 본 개시의 일 실시 예에 따른 AR 신에서 주변 조도를 결정하는 장치를 도시하고 있는 개략적 다이아그램이다;
도 10은 본 개시의 일 실시 예에서 전자 디바이스의 구조를 도시하고 있는 개략적 다이아그램이다.
본 개시의 목적들, 기술적 해결 방안들 및 장점들을 보다 명확하게 하기 위해, 하기에서는 본 개시가 실시 예들 및 첨부 도면들을 참조하여 보다 구체적으로 설명된다.
도 1에 도시되어 있는 바와 같이, 본 개시의 일 실시 예의 AR 신에서의 주변 조도를 결정하는 방법(100)은 주로 다음과 같은 절차들을 포함한다.
단계 110에서는, AR 신(scene)에서의 현재 이미지 프레임(image frame)의 기준 조도 파라미터 테이블은 신경 네트워크의 예측을 통해 현재 이미지 프레임을 프로세싱함으로써 획득되고, 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블(reference comprehensive confidence table)은 상기 현재 이미지 프레임의 촬영 정보(shooting information)에 따라 설정되고, 여기서 상기 기준 조도 파라미터 테이블 및 기준 종합 신뢰도 테이블은 각각 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 촬영 위치에 존재하는 구면(spherical surface) 상의 다수의 가상 광원 포인트(light source point)들의 기준 조도 파라미터들 및 기준 종합 신뢰도들을 기록한다.
단계 120에서, 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블은 상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 획득된다.
단계 130에서, 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블은 상기 기준 조도 파라미터 테이블, 현재 종합 신뢰도 테이블, 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블에 따라 획득된다. 상기 현재 조도 파라미터 테이블은 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 촬영 위치에 존재하는 구면 상의 가상 광원 포인트들의 현재 결정되는 조도 파라미터들을 기록한다.
상기 이전 이미지 프레임은, 예를 들어, 상기 현재 이미지 프레임 이전에 마지막 조도 추정(상기 조도 추정은 예를 들어 본 개시의 일 실시 예의 주변 조도를 결정하는 방법에 따라 주변 조도를 결정하는 것이다)을 겪은 이미지 프레임이고, 선택적 실시 예에서, 상기 현재 이미지 프레임과 이전 이미지 프레임은 둘 다는 실시간으로 캡쳐되는 비디오 이미지 프레임들이다. 상기 이전 이미지 프레임과 상기 현재 이미지 프레임 사이의 시간 기간(time interval)은 주변 조도를 결정하는 방법을 수행하는 디바이스의 성능 및 요구 사항들에 따라 설정될 수 있다. 선택적 실시 예에서, 종래의 프로세싱 및 통신 메카니즘이 다음 이미지 프레임 (즉, 다음 순간에서 캡쳐되는 현재 이미지 프레임)의 주변 조도의 결정이 상기 현재 이미지 프레임의 주변 조도의 결정 완료 즉시 수행되도록 하는 것을 보장하기 위해 사용될 수 있다. 바람직한 실시 예에서, 상기 현재 이미지 프레임과 이전 이미지 프레임 사이의 시간 간격은 밀리 초 또는 그보다 더 짧게 측정된다.
선택적 실시 예에서, 상기 다수의 가상 광원 포인트들이 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 촬영 위치에 존재하는 구면상에 균일하게 분포될 수 있다.
도 2는 일 실시 예에 따른 가상 광원 포인트들의 분포를 도시하고 있는 개략적 다이아그램(200)이다. 도 2에 도시되어 있는 실시 예에서, 128 개의 가상 광원 포인트들(210)이 상기 현재 이미지 프레임이 캡쳐되는 촬영 위치를 중심으로 가지는 구면 상에 균일하게 배열되며, 상기 가상 광원 포인트들(210) 각각은 AR 신에서의 가상 광의 광원의 발광 위치를 나타낸다. 상기 128 개의 가상 광원 포인트들의 수는 단지 일 예일뿐, 상기 가상 광원 포인트들의 수를 제한하기 위한 것이 아니며, 실제로 상기 가상 광원 포인트들의 수는 더 많거나 더 적을 수 있다.
본 개시의 일 실시 예에서는, 신경 네트워크 모드가 복잡한 실내 다중 광원 환경에서 조도 상태를 예측하기 위해 사용된다. 상기 신경 네트워크 모델은 실내 파노라마 이미지(indoor panorama image)들의 데이터 집합을 사용하여 실내 파노라마 이미지들의 주변 조도에 대한 신경 네트워크 트레이닝을 통해 가상 광원 포인트들에 대한 조도 정보(각 가상 광원 포인트의 RGB 파라미터들을 포함하는)를 획득하는 신경 네트워크 모델이다. 상기 신경 네트워크 기술은 종래 기술이며, 따라서 여기서는 구체적으로 설명되지 않을 것이다.
각 이미지 프레임의 AI 예측 결과들에는 에러가 존재하기 때문에, 렌더링(rendering)이 각 이미지 프레임의 예측 결과를 이용하여 직접 수행될 경우, 심각한 지터링(jittering) 혹은 플리커링(flickering)이 상기 AR 신에서의 가상 오브젝트들의 조도 효과들에서 발생할 수 있다. 이러한 현상을 방지하기 위해, 본 개시의 일 실시 예에서는, 연속적인 이미지 프레임들의 예측 결과들이 종합 신뢰도들을 기반으로 융합(fused) 및 정정되어 부드러운(smooth) 변경들의 효과를 달성하게 된다.
선택적 실시 예에서, 단계 110에서 상기 현재 이미지 프레임의 촬영 정보에 따라 현재 이미지 프레임의 기준 종합 신뢰도 테이블을 설정하는 절차는:
상기 현재 이미지 프레임의 촬영 방향에 따라 상기 현재 이미지 프레임의 기준 공간 신뢰도 테이블을 설정하는 것과, 상기 현재 이미지 프레임의 촬영 시간에 따라 상기 현재 이미지 프레임의 기준 시간 신뢰도 테이블을 설정하는 과정, 상기 기준 공간 신뢰도 테이블 및 상기 기준 시간 신뢰도 테이블은 각각 상기 현재 이미지 프레임이 캡쳐되는 촬영 위치가 중심인 구면 상의 다수의 가상 광원 포인트들의 기준 공간 신뢰도들 및 기준 시간 신뢰도들을 기록하고; 및
하기 수학식 1에 따라 상기 가상 광원 포인트들 모두의 기준 종합 신뢰도들을 획득하고, 상기 기준 종합 신뢰도 테이블을 설정하는 과정을 포함할 수 있다.
Figure pat00001
여기서 RFCC는 상기 기준 종합 신뢰도이고, RFSC는 상기 기준 공간 신뢰도이고, RFTC는 상기 기준 시간 신뢰도이고, A는 조정 계수이고, 상기 A의 값은 바람직하게 0.1이다.
각 가상 광원 포인트의 기준 공간 신뢰도와 기준 시간 신뢰도는 미리 설정되어 있는 값들이며, 상기 기준 공간 신뢰도와 기준 시간 신뢰도를 구성하는 방법은 다음과 같다.
각 이미지 프레임에 대해, 상기 이미지의 촬영 위치를 중심으로 하는 구면 상의 상기 가상 광원 포인트들 모두의 조도 파라미터들은 상기 신경 네트워크를 사용하여 예측될 수 있다. 하지만, 실험에서는, 상기 이미지들을 캡쳐하는 카메라에 의해 포인트되는 영역에 대한 신경 네트워크 예측 결과들이 가장 정확하고, 이에 반해 상기 카메라 뒤의 영역에 대한 신경 네트워크 예측 결과들이 가장 정확하지 않음을 알 수 있다. 따라서, 본 개시의 실시 예에서는, 공간 신뢰도가 상기 카메라의 포인팅 방향에 따라 상기 신경 네트워크 예측 결과에 추가된다. 상기 공간 신뢰도들에서는, 상기 카메라에 의해 중심 포인트로서 포인트되는 방향(촬영 위치)으로부터 시작하고, 상기 공간 신뢰도들은 그 중심이 상기 촬영 위치인 구면을 따라 바깥쪽으로 점차 감소한다. 상기 공간 신뢰도는 상기 카메라에 의해 포인트되는 위치에서 가장 크고, 상기 카메라 뒤의 위치에서 가장 작다. 상기 현재 이미지 프레임의 기준 공간 신뢰도들과 관련하여, 상기 카메라에 의해 포인트되는 방향 (촬영 위치)에서의 가상 광원 포인트의 기준 공간 신뢰도의 값이 가장 크며, 상기 가상 광원 포인트들의 기준 공간 신뢰도는 그 중심이 상기 촬영 위치인 구면을 따라 점차 감소하며, 상기 카메라에 의해 포인트되는 위치에서의 가상 광원 포인트의 기준 공간 신뢰도가 가장 크고, 상기 카메라 뒤의 위치에서 상기 가상 광원 포인트의 기준 공간 신뢰도가 가장 작다. 상기 가상 광원 포인트들의 기준 공간 신뢰도들은 정의되어 있는 고정된 값들이다. 예를 들어, 상기 현재 이미지 프레임에 관해서, 상기 촬영 위치 바로 앞의 가상 광원 포인트의 기준 공간 신뢰도는 정의된 값 a이고, a는 고정된 값이다. 상기 촬영 위치 바로 앞의 현실 세계 신은 상기 현재 이미지 프레임에서 캡쳐되기 때문에, 상기 상응하는 조도 정보는 상기 현재 이미지 프레임에서 가장 신뢰할 수 있으며, 따라서 상기 상응하는 기준 공간 신뢰도가 가장 크다; 상기 촬영 위치 바로 위, 바로 아래, 왼쪽, 및 오른쪽의 가상 광원 포인트들의 기존 공간 신뢰도들은 설정된 값 b이며, b는 고정된 값이다. 상기 촬영 위치의 바로 위, 바로 아래, 왼쪽 및 오른쪽의 현실 세계 신들은 상기 현재 이미지 프레임에 완전히 들어 가지 않거나, 또는 상기 현재 이미지 프레임에 전혀 들어가지 않을 지라도, 상기 촬영 위치의 바로 위, 바로 아래, 왼쪽 및 오른쪽의 위치들에 대한 조도 정보는 상기 촬영 위치의 앞의 광 필드(light field) 분포에 크게 영향을 미칠 수 있고, 따라서 상기 촬영 위치의 바로 앞의 광 필드 분포에 특정한 기여를 하게 된다. 그러나 상기 촬영 위치의 바로 위, 바로 아래, 왼쪽 및 오른쪽의 현실 세계 신들은 상기 현재 이미지 프레임에 완전히 들어 가지 않거나, 또는 상기 현재 이미지 프레임에 전혀 들어가지 않기 때문에, 상기 상응하는 조도 정보는 상기 현재 이미지 프레임으로부터 직접 획득될 수 없고, 상기 촬영 위치의 바로 위, 바로 아래, 왼쪽 및 오른쪽의 가상 광원 포인트들의 기준 공간 신뢰도들은 상기 촬영 위치의 바로 앞의 가상 광원 포인트의 기준 공간 신뢰도보다 작을 수 있다, 즉 b는 a보다 작다. 상기 촬영 위치 바로 뒤의 가상 광원 포인트의 기준 공간 신뢰도는 정의되어 있는 값 c이고, c는 고정된 값이다. 상기 촬영 위치 바로 뒤의 현실 세계 신은 상기 현재 이미지 프레임에 전혀 들어 가지 않고, 상기 촬영 위치 바로 뒤의 현실 세계 신은 상기 촬영 위치 바로 앞의 현실 세계 신으로부터 가장 멀기 때문에, 본 개시의 다양한 실시 예들에서, 잠정적으로 상기 촬영 위치 바로 뒤의 조도 정보는 상기 촬영 위치 바로 앞의 광 필드 분포에 대해 최소의 영향을 갖는 것으로 (또는 잠정적으로 없다고) 고려되고, 따라서 c는 b보다 작다. 하지만, 실제로는, 상기 촬영 위치 바로 뒤의 조도 정보는 상기 촬영 위치 바로 앞의 광 필드 분포에 대해 더 큰 영향을 가질 수 있고, 따라서, 본 개시의 다양한 실시 예들에서는, 주변 조도를 예측하기 위한 다중-프레임 융합 모드(multi-frame fusing mode)가 각 가상 광원 포인트의 최종적으로 획득된 조도 파라미터들이 상기 현실 세게 신의 주변 조도 정보를 반영할 수 있다는 것을 보장하도록 하기 위해 사용되고, 상기 현재 이미지 프레임의 각 가상 광원 포인트의 기준 공간 신뢰도가 획득된 후, 본 개시의 일 실시 예는 상기 현재 이미지 프레임의 각 가상 광원 포인트의 최종 공간 신뢰도 (즉, 현재 공간 신뢰도)을 획득하기 위해 상기 이전 이미지 프레임의 각 가상 광원 포인트의 공간 신뢰도 및 시간 신뢰도를 추가로 사용할 수 있다. 상기 현재 이미지 프레임에 관해서는, 상기 기준 공간 신뢰도는 상기 최종 공간 신뢰도를 계산하기 위한 시작 포인트이고, 상기 현재 공간 신뢰도는 상기 현재 프레임의 공간 신뢰도이다.
추가적으로, 상기 공간에서의 주변 광원은 상대적으로 일정하고, 조명 켜기, 조명 끄기, 책상 램프 이동 등과 같은 변경 이후의 상태는 상기와 같은 변경들이 발생한 후 긴 시간 동안 유지될 수 있지만, 지속적인 플리커링(flickering)은 포함되지 않는다는 것이 가정된다. 그와 같은 경우들에 대해서는, 짧은 구간(period)에서는, 상기 광원은 일정하다고 고려될 수 있으며, 상기 이미지 프레임들 간의 예측 결과들에서의 차이는 주로 상기 광원의 변경보다는 계산 에러로부터 초래되는 것이고; 또한 긴 구간에서는, 상기 광원은 변화하는 것으로 고려될 수 있다. 이런 가정을 기반으로, 본 개시의 다양한 실시 예들은 시간 신뢰도를 사용하여 오래된(out dated) 결과들을 폐기한다. 최신 이미지의 시간 신뢰도가 가장 크며, 시간이 지남에 따라 점차 감소된다.
본 개시의 실시 예에서, 상대적으로 안정적이고 생생한 AR 조도 효과를 획득하기 위해 상기 현재 이미지 프레임의 조도 파라미터들을 정정하기 위해 상기 공간 신뢰도, 시간 신뢰도 및 상응하는 조합, 즉 종합 신뢰도가 사용된다. 상기 안정적인 AR 조도 효과를 획득하기 위해 상기 이전 이미지 프레임과 다음 이미지 프레임 간의 변경들을 사용하여 상기 공간 신뢰도 및 시간 신뢰도가 정의되고, 따라서 상기 AR 신에서 가상 오브젝트의 단일 이미지 프레임의 불안정한 예측으로 인해 초래되는 광/쉐도우 지터링 및 플리커링의 문제점들이 방지될 수 있다.
본 개시의 설명에서, 상기 기준 조도 파라미터는 상기 현재 이미지 프레임(즉, 단일 프레임)만을 기반으로 신경 네트워크 예측을 통해 획득되는 조도 파라미터를 나타내며, 후속 단계 120 및 단계 130에 의해 정정되지 않는 최종 결과이다.
본 개시의 설명에서, 상기 기준 공간 신뢰도는 상기 현재 이미지 프레임 (즉, 단일 프레임)만을 기반으로 (설정들에 따라) 직접 설정되는 공간 신뢰도를 나타낸다; 상기 기준 시간 신뢰도는 상기 현재 이미지 프레임 (즉, 단일 프레임)만을 기반으로 (설정들에 따라) 직접 설정되는 시간 신뢰도를 나타낸다; 상기 기준 종합 신뢰도는 상기 현재 이미지 프레임 (즉, 단일 프레임)만을 기반으로 (설정들에 따라 혹은 상기 설정된 공간 신뢰도 및 시간 신뢰도를 사용하여) 직접 설정되는 종합 신뢰도를 나타내며, 현재 프레임의 최종 종합 신뢰도(즉, 현재 종합 신뢰도)에서 상기 이전 이미지 프레임의 종합 신뢰도(즉, 상기 이전-프레임 종합 신뢰도)과 융합된다.
본 개시의 설명에서: 상기 현재 공간 신뢰도는 상기 기준 공간 신뢰도, 상기 기준 종합 신뢰도 및 이전-프레임 종합 신뢰도를 사용하여 비교 및 계산을 통해 획득되는 공간 신뢰도를 나타내고; 상기 현재 시간 신뢰도는 상기 기준 시간 신뢰도, 기준 종합 신뢰도 및 이전-프레임 종합 신뢰도를 사용하여 비교 및 계산을 통해 획득되는 시간 신뢰도를 나타낸다.
본 개시의 설명에서, 상기 기준 공간 신뢰도는 상기 현재 공간 신뢰도와 다르고, 상기 기준 시간 신뢰도는 상기 현재 시간 신뢰도와 다르며, 상기 기준 종합 신뢰도는 상기 현재 종합 신뢰도와 다르다.
초기 상태(상기 AR 신을 캡쳐하기 전과 같은)에서, 전체 공간 신뢰도(global space confidence)들은 0이다. 상기 예측이 시작될 때, 상기 카메라의 현재 회전 각도가 AR에 의해 획득된다. 상기 카메라에 의해 캡쳐되는 임의의 이미지 프레임의 예측 결과에 대해서, 카메라-방향-및-위치-기반 임시 공간 신뢰도 테이블(상기 카메라에 의해 캡쳐되는 영역만을 포함하는)이 상기 카메라의 공간 위치 및 방향을 사용하여 생성될 수 있다. 그 때, 상기 임시 공간 신뢰도 테이블이 상기 카메라 좌표계로부터 상기 세계 좌표계로 변환된 후, 상기 임시 공간 신뢰도 테이블과 상기 전체 공간 신뢰도 테이블(상기 촬영 위치를 중심으로 가지는 전체 구면을 포함하는)에서의 신뢰도들이 비교될 수 있고, 상기 카메라에 의해 캡쳐되는 영역의 중심과 더 가까운 위치가 더 큰 공간 신뢰도를 가질 수 있다. 이 프로세스는 실제로는 상기 기준 공간 신뢰도의 좌표를 상기 카메라 좌표계에서 세계 좌표계로 변환하는 프로세스이다. 상기 카메라 좌표계에서 세계 좌표계로의 변환 프로세스는 종래 기술이며, 따라서 여기서는 구체적으로 설명되지 않을 것이다.
상기 광원의 변경들의 문제가 본 개시의 실시 예에서 고려되며, 따라서 상기 예측 결과의 유효성은 특정한 시간 제약들을 가진다. 선택적 실시 예에서,각 이미지 프레임의 시간 신뢰도 테이블들에서의 시간 신뢰도들은 시간에 따라 감소될 수 있다. 각 이미지 프레임의 시간 신뢰도 테이블들은 이전-프레임 시간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 포함한다. 상기 기준 시간 신뢰도 테이블에서의 각 이미지 프레임의 시간 신뢰도는 상기 시간 신뢰도들 모두 중 최대 값이다. 본 개시의 실시 예에서는, 더 새로운 예측 결과들이 더 정확하다고 간주된다, 즉, 상기 이미지 촬영 시간이 더 늦을 수록, 상기 프레임의 시간 신뢰도가 높아지고, 따라서 시간 신뢰도는 시간에 따라 점차 감소될 수 있다. 상기 시간 신뢰도들의 값들이, 예를 들어, 9에서 1이 될 수 있을 때, 가장 최근 프레임이 가장 큰 시간 신뢰도 9 를 가지고, 상기 가상 광원 포인트들의 조도 정보에서 각 가상 광원 포인트에 대한 업데이트가 존재하지 않을 경우 시간에 따라 9에서 1로 점차 감소하고, 특정 가상 광원 포인트에 대해 업데이트된 새로운 예측 결과가 존재할 때 9로 리셋될 수 있다.
선택적 실시 예에서, 단계 120의 상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하는 절차는:
상기 기준 종합 신뢰도 테이블과 상기 이전 프레임 종합 신뢰도 테이블에서 각 가상 광원 포인트의 종합 신뢰도들을 비교하고 하기와 같은 후속 과정들을 통해 상기 각 가상 광원 포인트에 대해 판단(judgment) 및 교체(replacement)를 수행한 후 상기 현재 종합 신뢰도 테이블을 획득하는 과정을 포함할 수 있으며,
상기 후속 과정들은:
상기 기준 종합 신뢰도 테이블에서의 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도 테이블의 이전-프레임 종합 신뢰도보다 작을 경우, 상기 기준 종합 신뢰도의 값을 상기 이전-프레임 종합 신뢰도의 값으로 교체하는 과정;
상기 기준 종합 신뢰도가 상기 이전 프레임 종합 신뢰도 보다 작지 않을 경우, 상기 기준 종합 신뢰도의 값을 유지하는 과정을 포함한다.
선택적인 실시 예에서, 본 개시의 상기 AR 신에서 주변 조도를 결정하는 방법은:
상기 기준 공간 신뢰도 테이블, 상기 기준 시간 신뢰도 테이블, 상기 기준 종합 신뢰도 테이블 및 상기 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 공간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 획득하는 과정을 더 포함할 수 있다.
추가적으로, 상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 공간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 획득하는 절차는:
상기 기준 종합 신뢰도 테이블과 상기 이전-프레임 종합 신뢰도 테이블에서의 각 가상 광원 포인트의 종합 신뢰도들을 비교하는 과정, 및 하기와 같은 후속 과정들을 통해 상기 각 가상 광원 포인트에 대해 판단(judgment) 및 교체(replacement)를 수행한 후 상기 현재 공간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 획득하는 과정을 포함할 수 있으며:
상기 후속 과정들은:
상기 기준 종합 신뢰도 테이블에서의 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도 테이블의 이전-프레임 종합 신뢰도보다 작을 경우, 상기 기준 공간 신뢰도의 값을 상기 이전 프레임 공간 신뢰도의 값으로 교체하고, 상기 기준 시간 신뢰도의 값을 상기 이전 프레임 시간 신뢰도의 값으로 교체하는 과정; 및
상기 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도보다 작지 않을 경우, 상기 기준 공간 신뢰도 및 상기 기준 시간 신뢰도의 값들을 유지하는 과정을 포함하며;
본 개시에서, 상기 가상 광원 포인트들 모두의 이전-프레임 공간 신뢰도들은 이전-프레임 공간 신뢰도 테이블에 기록되고; 및
상기 가상 광원 포인트들 모두의 이전-프레임 시간 신뢰도들은 이전-프레임 시간 신뢰도 테이블에 기록된다.
상기 예측 결과가 더 새로울 수록 더 정확하고, 즉, 상기 촬영 시간이 더 늦을 수록, 상기 프레임의 시간 신뢰도는 더 높아지고, 따라서 상기 시간 신뢰도는 시간에 따라 점차 감소된다고 고려된다. 따라서, 본 개시의 일 실시 예에서, 상기 이전-프레임 시간 신뢰도 테이블에서의 이전 프레임-시간 신뢰도들의 값들은 모두 상기 기준 시간 신뢰도 테이블에서의 기준 시간 신뢰도들의 값들 보다 작다.
선택적 실시 예에서, 단계 130에서의 상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 상기 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블에 따라 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하는 절차는:
상기 현재 종합 신뢰도 테이블의 각 가상 광원 포인트의 현재 종합 신뢰도와 상기 이전-프레임 종합 신뢰도 테이블의 이전 프레임 종합 신뢰도와 비교하는 과정, 및
하기 후속 과정들과 같은 판단 및 계산을 통해 각 가상 광원 포인트의 현재 결정되는 조도 파라미터를 획득한 후 상기 현재 조도 파라미터 테이블을 획득하는 과정을 포함할 수 있으며,
상기 후속 과정들은:
상기 가상 광원 포인트의 현재 종합 신뢰도가 상기 이전-프레임 종합 신뢰도보다 작을 경우, 상기 가상 광원 포인트의 이전-프레임 조도 파라미터를 상기 가상 광원 포인트의 상기 현재 결정되는 조도 파라미터로 처리하는 과정; 및
상기 가상 광원 포인트의 현재 종합 신뢰도가 상기 이전-프레임 종합 신뢰도보다 작지 않을 경우, 정의된 규칙에 따라 상기 가상 광원 포인트의 상기 현재 결정되는 조도 파라미터를 계산하는 과정을 포함한다.
또한, 선택적 실시 예에서, 상기 정의된 규칙에 따라 상기 가상 광원 포인트의 상기 현재 결정되는 조도 파라미터를 계산하는 과정은 다음과 같은 수학식을 사용하여 상기 가상 광원 포인트의 현재 결정되는 조도 파라미터를 계산하는 과정을 포함할 수 있으며:
CLP = (CFCC×SF×RFLP+PFCC×PFLP) / (CFCC×SF+PFCC）
여기서, CFCC는 상기 현재 종합 신뢰도이고, SF는 평활화 계수(smoothing coefficient)이고, RFLP는 상기 기준 조도 파라미터이고, PFCC는 상기 이전-프레임 종합 신뢰도이고, PFLP는 상기 이전 프레임 조도 파라미터이고, CLP는 상기 현재 결정되는 조도 파라미터이다.
본 개시의 실시 예에서, 종합 신뢰도는 상기 AR 신의 전체 현실 세계 공간의 조도 상태의 영향 팩터(factor)들 및 시간 둘 다를 고려하기 위해 각 가상 광원 포인트에 대해 설정되며, 다음과 같이 계산될 수 있다:
<수학식 1>
RFCC = A×RFSC×RFTC
여기서, RFCC는 상기 기준 종합 신뢰도이고, RFSC는 상기 기준 공간 신뢰도이고, RFTC는 상기 기준 시간 신뢰도이고, A는 조정 계수이다.
본 개시의 실시 예를 채택함으로써, 상기 새로운 이미지 프레임의 예측이 완료될 때, 상기 기준 종합 신뢰도는 상기와 같은 수학식 1에 따라 상기 현재 프레임의 각 가상 광원 포인트의 정의되어 있는 공간 신뢰도 (즉, 기준 공간 신뢰도) 및 상기 현재 프레임(즉, 상기 새로운 이미지 프레임)의 시간 신뢰도(즉, 기준 시간 신뢰도)을 사용하여 획득될 수 있고, 상기 현재 이미지 프레임의 각 가상 광원 포인트의 현재 종합 신뢰도는 기존의 종합 신뢰도 (즉, 상기 이전-프레임 종합 신뢰도)을 가지는 각 가상 광원 포인트의 기준 종합 신뢰도를 사용하여 상기와 같은 비교 및 수학식2의 계산을 수행함으로써 최종적으로 획득되고, 마지막으로, 상기 현재 이미지 프레임의 각 가상 광원 포인트의 현재 조도 파라미터는 상기 현재 프레임 종합 신뢰도, 상기 이전-프레임 종합 신뢰도 및 이전-프레임 조도 파라미터를 사용하여 상기 현재 이미지 프레임의 기준 조도 파라미터를 정정함으로써 획득된다. 그 때, 상기 획득된 현재 조도 파라미터는 공간 및 시간 측면에서 상기 이전 이미지 프레임으로부터 현재 이미지 프레임까지의 조도 조건 (광 필드 분포)의 전환을 동시에 고려하였고, 상기 정의되어 있는 조건들 및 수학식들을 통해 융합되고, 따라서 상기 이전 이미지 프레임으로부터 다음 이미지 프레임까지의 상기 AR 신에서 가상 오브젝트의 조도 파라미터의 천이는 더 부드러워지고, 흔들림(shaking) 및 플리커링이 방지될 수 있다.
이하, 본 개시의 실시 예들은 간략화된 시나리오를 통해 추가적으로 설명될 것이다. 설명을 쉽게 하기 위해, 상기 128 개의 가상 광원 포인트들의 공간 위치들은 8 개의 가상 광원 포인트들의 평면 위치들로 간략화되고, RGB 조도 파라미터들은 1에서 8까지 범위의 광 세기 파라미터(light intensity parameter)로 간략화된다. 상기 공간 신뢰도와 시간 신뢰도는 1에서부터 9까지의 정수들로 간략화된다.
도 3a에 도시되어 있는 바와 같이, 상기 카메라(310)의 초기 위치와 135도 사각(oblique angle)을 형성하는 상기 카메라(310) 뒤의 위치에 상기 신의 실제 광원(320)이 존재한다. 도 3a에 도시되어 있는 카메라(310)의 초기 위치로부터 캡쳐되는 제1 이미지 프레임은 상기 제1 이미지 프레임에서의 가상 광원 포인트들 모두의 기준 조도 파라미터들을 생성하기 위해 상기 신경 네트워크의 예측을 통해 프로세싱되고, 상기 기준 조도 파라미터들의 분포(330b)는 도 3b에 도시되어 있는 바와 같다. 도 3a에 도시되어 있는 바와 같은 상기 카메라(310)의 초기 위치에 상응하는 제1 이미지 프레임에서의 모든 가상 광원 포인트들(331, 332, 333, 334, 335, 336, 337, 338)의 기준 공간 신뢰도들의 분포(330c)는 도 3c에 도시되어 있는 바와 같다. 상기 도 3c에서 상기 제1 이미지 프레임에서의 모든 광원 포인트들(331~338)의 기준 공간 신뢰도들은 상기 제1 이미지 프레임의 기준 공간 신뢰도 테이블을 형성하고, 도 3c에서의 각 가상 광원 포인트의 기준 공간 신뢰도는 정의되어 있는 값이다. 상기 카메라(310)가 앞을 포인트하고 있는 중이기 때문에, 상기 카메라(310) 앞의 가상 광원 포인트(331)의 공간 신뢰도가 가장 크고 (즉, 9), 상기 카메라(310) 뒤의 가상 광원 포인트(335)의 공간 신뢰도가 가장 작다 (즉, 1)는 것을 알 수 있다. 상기 도 3a에 도시되어 있는 바와 같은 상기 카메라(310)의 초기 위치에서 획득되는 제1 이미지 프레임의 기준 시간 신뢰도들의 분포(330d)는 도 3d에 도시되어 있는 바와 같다. 도 3d에 도시되어 있는 바와 같은 모든 가상 광원 포인트들(331~338)의 기준 시간 신뢰도들이 기준 시간 신뢰도 테이블을 형성하고, 여기서 각 가상 광원 포인트의 기준 시간 신뢰도는 도 3d에 도시되어 있는 바와 같이 가장 크다(9). 도 3b를 참조하면, 현재, 상기 광원 방향은 바로 뒤, 즉 (9인) 180도 방향으로 간주된다.
그 후, 도 3a에 도시되어 있는 바와 같은 카메라(310)는 시계 방향으로 90도 회전되고, 도 4a에 도시되어 있는 바와 같이 카메라(310)의 제2 위치를 도시하고 있는 개략적 다이아그램이 획득될 수 있다. 도 4a에 도시되어 있는 카메라(310)의 제 2 위치에서 캡쳐되는 제 2 이미지 프레임은 상기 제2 이미지 프레임의 모든 가상 광원 포인트들(331~338)의 기준 조도 파라미터들을 생성하기 위해 상기 신경 네트워크의 예측을 통해 프로세싱되고, 상기 기준 조도 파라미터들의 분포(430b)는 도 4b에 도시되어 있는 바와 같다. 도 4a에 도시되어 있는 바와 같은 상기 카메라(310)의 제 2 위치에 상응하는 제 2 이미지 프레임의 모든 가상 광원 포인트들(331~338)의 기준 공간 신뢰도들의 분포(430c)는 도 4c에 도시되어 있는 바와 같다. 도 4c의 제 2 이미지 프레임의 모든 가상 광원 포인트들(331~338)의 기준 공간 신뢰도들은 상기 제 2 이미지 프레임의 기준 공간 신뢰도 테이블을 형성한다. 도 4c에서 각 가상 광원 포인트의 기준 공간 신뢰도는 정의되어 있는 값이다. 상기 카메라(310)는 상기 회전 후 상기 다이아그램에서 오른쪽을 포인트하고 있는 중이고, 따라서 상기 카메라(310)의 앞(즉, 도 4c의 카메라의 오른쪽)의 가상 광원 포인트(433)의 공간 신뢰도가 가장 크고(즉, 9), 상기 카메라(310)의 뒤(즉, 도 4c의 카메라의 왼쪽)의 가상 광원 포인트(437)의 공간 신뢰도가 가장 작다는 것(즉, 1)을 알 수 있다. 도 4a 에 도시되어 있는 바와 같은 상기 카메라(310)의 제 2 위치에서 캡쳐되는 제 2 이미지 프레임의 기준 시간 신뢰도들의 분포(430d)는 도 4d에 도시되어 있으며, 도 4d의 모든 가상 광원 포인트들(331~338)의 기준 시간 신뢰도들은 상기 제2 이미지 프레임의 기준 시간 신뢰도 테이블을 형성한다. 도 4d에서, 각 가상 광원 포인트의 기준 시간 신뢰도가 가장 크다 (즉, 9). 도 4c에 도시되어 있는 제2 이미지 프레임의 각 가상 광원 포인트의 기준 공간 신뢰도 및 도 4d에 도시되어 있는 제2 이미지 프레임의 각 가상 광원 포인트의 기준 시간 신뢰도는 하기 수학식 1을 통해 프로세싱되어 상기 제2 이미지 프레임의 가상 광원 포인트들(331~338)의 (반올림(rounding) 후) 기준 종합 신뢰도들을 도시하고 있는 도 4e에 도시되어 있는 바와 같은 분포 다이아그램(430e)을 획득할 수 있다.
<수학식 1>
RFCC = A×RFSC×RFTC
여기서, A의 값은 0.1이다.
상기 제2 이미지 프레임이 상기 현재 이미지 프레임으로 취해질 경우, 상기 제1 이미지 프레임은 상기 제2 이미지 프레임의 이전 이미지 프레임이다. 그 때, 상기 제1 이미지 프레임의 시간 신뢰도들은 도 5a에 도시되어 있는 바와 같은 분포(530a)가 되도록 감소되고, 여기서 각 가상 광원 포인트의 시간 신뢰도가 8로 감소하게 되고, 즉 상기 이전 이미지 프레임의 각 가상 광원 포인트의 시간 신뢰도는 8이다. 한편, 상기 제2 이미지 프레임에 대해서, 상기 이전 이미지 프레임(즉, 상기 제1 이미지 프레임)의 공간 신뢰도들은 도 3c에 도시되어 있는 바와 같다. 그리고 나서, 도 5b에 도시되어 있는 바와 같은 상기 이전 이미지 프레임(즉, 상기 제1 이미지 프레임)의 (반올림 후) 종합 신뢰도들의 분포(530b)는 도 5a, 도 3c 및 하기 수학식으로부터 획득될 수 있다.
종합 신뢰도 = A × 공간 신뢰도 × 시간 신뢰도
여기서, 상기 A의 값은 0.1이다.
(도 4e에 도시되어 있는 바와 같은) 상기 현재 이미지 프레임 (즉, 제 2 이미지 프레임)의 기준 종합 신뢰도들은 (도 5b에 도시되어 있는 바와 같은) 이전 이미지 프레임 (즉, 제 1 이미지 프레임)의 종합 신뢰도들과 비교되고, 상기 가상 광원 포인트들(331~338) 중 어느 하나에 대해:
상기 제 2 이미지 프레임의 기준 종합 신뢰도가 상기 제 1 이미지 프레임의 종합 신뢰도보다 작을 경우, 상기 제 2 이미지 프레임의 기준 종합 신뢰도의 값은 상기 제 1 이미지 프레임의 종합 신뢰도의 값으로 교체되고; 및
상기 제 2 이미지 프레임의 기준 종합 신뢰도가 상기 제 1 이미지 프레임의 종합 신뢰도보다 작지 않을 경우, 상기 제 2 이미지 프레임의 기준 종합 신뢰도가 유지된다.
상기와 같은 비교로부터, 상기 제 2 이미지 프레임의 현재 종합 신뢰도들의 분포(630a)는, 도 6a에 도시되어 있는 바와 같이, 획득된다.
상기 제2 이미지 프레임의 현재 공간 신뢰도들은 다음 방법으로 획득된다.
(도 4e에 도시되어 있는 바와 같은) 상기 현재 이미지 프레임 (즉, 제 2 이미지 프레임)의 기준 종합 신뢰도들은 (도 5b에 도시되어 있는 바와 같은) 이전 이미지 프레임 (즉, 제 1 이미지 프레임)의 종합 신뢰도들과 비교되고, 상기 가상 광원 포인트들(331~338) 중 어느 하나에 대해:
상기 제 2 이미지 프레임의 기준 종합 신뢰도가 상기 제 1 이미지 프레임의 종합 신뢰도보다 작을 경우, 상기 제 2 이미지 프레임의 기준 공간 레벨의 값은 상기 제 1 이미지 프레임의 공간 신뢰도의 값으로 교체되고; 및
상기 제 2 이미지 프레임의 기준 종합 신뢰도가 상기 제 1 이미지 프레임의 종합 신뢰도보다 작지 않을 경우, 상기 제 2 이미지 프레임의 기준 공간 신뢰도가 유지된다.
상기와 같은 비교로부터, 상기 제 2 이미지 프레임의 현재 공간 신뢰도들의 분포(630b)는, 도 6b에 도시되어 있는 바와 같이, 획득된다.
상기 제2 이미지 프레임의 현재 시간 신뢰도들은 다음 방법으로 획득된다.
(도 4e에 도시되어 있는 바와 같은) 상기 현재 이미지 프레임 (즉, 제 2 이미지 프레임)의 기준 종합 신뢰도들은 (도 5b에 도시되어 있는 바와 같은) 이전 이미지 프레임 (즉, 제 1 이미지 프레임)의 종합 신뢰도들과 비교되고, 상기 가상 광원 포인트들(331~338) 중 어느 하나에 대해:
상기 제 2 이미지 프레임의 기준 종합 신뢰도가 상기 제 1 이미지 프레임의 종합 신뢰도보다 작을 경우, 상기 제 2 이미지 프레임의 기준 시간 신뢰도의 값은 상기 제 1 이미지 프레임의 시간 신뢰도의 값으로 교체되고; 및
상기 제 2 이미지 프레임의 기준 종합 신뢰도가 상기 제 1 이미지 프레임의 종합 신뢰도보다 작지 않을 경우, 상기 제 2 이미지 프레임의 기준 시간 신뢰도가 유지된다.
상기와 같은 비교로부터, 상기 제 2 이미지 프레임의 현재 시간 신뢰도들의 분포(630c)는, 도 6c에 도시되어 있는 바와 같이, 획득된다.
본 개시의 실시 예의 간략화된 신에서, 상기 제1 이미지 프레임 전에는 어떤 이미지 프레임도 캡쳐되지 않고, 따라서 도 3b에 도시되어 있는 바와 같이 상기 카메라의 초기 위치에 상응하는 상기 모든 가상 광원 포인트들의 기준 조도 파라미터들은 상기 제 1 이미지 프레임의 조도 파라미터들이고, 상기 제 2 이미지 프레임에 대해서는, 도 3b에 도시되어 있는 바와 같은 상기 제1 이미지 프레임의 조도 파라미터들이 상기 이전 프레임의 조도 파라미터들이다. 그리고 나서, 도 3b에 도시되어 있는 바와 같은 제 1 이미지 프레임의 조도 파라미터들, 도 4b에 도시되어 있는 바와 같은 제 2 이미지 프레임의 기준 조도 파라미터들, 도 5b에 도시되어 있는 바와 같은 제 1 이미지 프레임의 종합 신뢰도들, 도 6a에 도시되어 있는 바와 같은 제 2 이미지 프레임의 현재 종합 신뢰도들은 도 7에 도시되어 있는 바와 같이 상기 제2 이미지 프레임의 (반올림 후) 현재 결정되는 조도 파라미터들의 분포(730)를 생성하기 위해 하기 수학식을 사용하여 융합 및 프로세싱된다.
CLP = (CFCC×SF×RFLP+PFCC×PFLP)/（CFCC×SF+PFCC）
여기서, CFCC는 상기 현재 종합 신뢰도(즉, 도 6a에 도시되어 있는 바와 같은 제2 이미지 프레임의 현재 종합 신뢰도)이고, SF는 평활 계수 (일 예로, 1이 되는)이고, RFLP는 상기 기준 조도 파라미터(즉, 도 4b에 도시되어 있는 바와 같은 제2 이미지 프레임의 기준 조도 파라미터)이고, PFCC는 상기 이전-프레임 종합 신뢰도 (즉, 도 5b에 도시되어 있는 바와 같은 제1 이미지 프레임의 종합 신뢰도)이고, PFLP는 상기 이전-프레임 조도 파라미터 (즉, 도 3b에 도시되어 있는 바와 같은 제1 이미지 프레임의 조도 파라미터)이고, CLP는 상기 현재 결정되는 조도 파라미터 (즉, 도 7에 도시되어 있는 바와 같은 상기 제2 이미지 프레임의 현재 결정되는 조도 파라미터)이다.
따라서, 상기 제 2 이미지 프레임의 모든 가상 광원 포인트들의 현재 조도 파라미터들의 결정이 완료된다. 상기 제2 이미지 프레임의 모든 가상 광원 포인트들의 현재 조도 파라미터들이 획득된 후, 상기 현재 조도 파라미터들은 AR 신에서의 가상 오브젝트의 조도 렌더링을 수행하고 생생한(vivid) 렌더링 효과를 획득하기 위해 사용될 수 있다.
본 개시의 실시 예들의 AR 신에서 주변 조도를 결정하는 방법을 구현하는 어플리케이션의 실행 프로세스는 다음과 같은 절차들을 포함할 수 있다:
1) 사용자가 AR 어플리케이션을 오픈(open)하고, 평면 표면을 검색하고, 가상 오브젝트를 배치한다;
2) 한편, 세계 좌표계(world coordinate system) 하의 조도 파라미터 테이블, 공간 신뢰도 테이블 및 시간 신뢰도 테이블은 본 개시의 실시 예들의 AR 신에서 주변 조도를 결정하는 방법에서의 상응하는 절차들에 따라 구성된다;
3) 조도 파라미터 추정은 상기 카메라 좌표계 하의 각 프레임에 대해서 본 개시의 실시 예들의 AR 신에서 주변 조도를 결정하는 방법에서의 상응하는 절차들에 따라 상기 카메라에 의해 캡쳐되는 미리 보기(preview) 이미지를 사용하여 수행된다;
4) 세계 좌표계에서 상기 카메라의 좌표는 상기 AR에서 내장 카메라 포즈 시스템(built-in camera pose system)에 의해 획득하고, 상기 카메라 좌표계에서 조도 파라미터들은 상기 카메라 포즈에 따라 상기 세계 좌표계에서 조도 파라미터 테이블로 변환된다;
5) 상기 조도 파라미터 테이블은 본 개시의 실시 예들의 AR 신에서 주변 조도를 결정하는 방법에서의 상응하는 절차들에 따라 상기 공간 신뢰도들 및 시간 신뢰도들을 기반으로 업데이트되고, 상기 공간 신뢰도 테이블과 시간 신뢰도 테이블 역시 부드럽고 변경 가능한 조도 파라미터들을 획득하기 위해 업데이트된다; 및
6) 상기 가상 오브젝트는 상기 업데이트된 조도 파라미터들을 사용하여 렌더링된다.
상기 조도 파라미터들을 사용하는 상기 가상 오브젝트의 렌더링은 종래 기술들에 따라 성취될 수 있으며, 따라서 여기서는 구체적으로 설명되지 않을 것이다.
도 8에 도시되어 있는 바와 같이, 본 개시의 실시 예에 따른 AR 신에서 주변 조도를 결정 방법의 일반적인 동작 플로우(800)는 주로 다음 절차들을 포함할 수 있다.
단계 810에서, AR 어플리케이션이 시작되고, 그리고 나서 단계 820이 수행된다.
단계 820에서, 가상 오브젝트가 배치되고, 그리고 나서 단계 830이 수행된다.
단계 830에서, 조도 추정이 활성화되고, 그리고 나서 단계 840이 수행된다.
상기 조도 추정은 종래 기술들에 따라 구현될 수 있다.
단계 840에서, 상기 프로세스를 종료할지 여부, 즉 상기 AR 어플리케이션이 클로즈되는지(closed) 여부가 판단되고, 상기 프로세스를 종료하기로 결정될 경우, 단계 880에서 상기 프로세스가 종료되고; 그렇지 않을 경우 단계 850이 수행된다.
단계 850에서, 단일-프레임 예측/추정 프로세스가 실행되고, 그리고 나서 단계 860이 수행된다.
상기 단일-프레임 예측 프로세스는 신경 네트워크를 사용하여 상기 캡쳐된 AR 신의 현재 이미지 프레임을 예측하고, 상기 현재 이미지 프레임의 기준 조도 파라미터 테이블을 획득하고, 상기 현재 이미지 프레임의 촬영 정보에 따라 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블을 설정하는 절차 등과 같은, 본 개시의 실시 예들의 AR 신에서 주변 조도를 결정하는 방법의 상기와 같은 관련 설명에 따라 구현될 수 있다.
단계 860에서, 다중-프레임 융합 프로세스가 실행되고, 그리고 나서 단계 870이 수행된다.
상기 다중-프레임 융합 프로세스는 상기 기준 종합 신뢰도 테이블 및 상기 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블을 사용하여 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하고, 상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블을 사용하여 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하는 절차들 등과 같은 본 개시의 실시 예들의 AR 신에서 주변 조도를 결정하는 방법의 상기와 같은 관련 설명에 따라 구현될 수 있다.
단계 870에서, 상기 가상 오브젝트는 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 사용하여 렌터링되고, 그리고 나서 상기 단계 840이 재수행된다.
본 개시의 다양한 실시 예들은 또한 도 9에 도시되어 있는 바와 같이, AR 신에서 주변 광을 결정하기 위한 장치(900)를 제공하며, 이는 신경 네트워크 예측 모듈(910), 종합 신뢰도 획득 모듈(920) 및 조도 파라미터 획득 모듈(930)을 포함한다.
상기 신경 네트워크 예측 모듈 (910)은 상기 현재 이미지 프레임의 기준 조도 파라미터 테이블을 획득하기 위해 신경 네트워크를 사용하여 상기 캡쳐된 AR 신의 현재 이미지 프레임을 예측하기 위한 것이다.
상기 종합 신뢰도 획득 모듈 (920)은 상기 현재 이미지 프레임의 촬영 정보를 사용하여 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블을 설정하고, 상기 기준 종합 신뢰도 테이블과 상기 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블을 사용하여 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하기 위한 것이다. 상기 기준 조도 파라미터 테이블 및 기준 종합 신뢰도 테이블은 각각 그 중심이 상기 현재 이미지 프레임의 촬영 위치에 존재하는 구면 상의 다수의 가상 광원 포인트들의 기준 조도 파라미터들 및 기준 종합 신뢰도들을 기록한다. 상기 조도 파라미터 획득 모듈 (930)은 상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블을 사용하여 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하기 위한 것이다. 상기 현재 조도 파라미터 테이블은 그 중심이 상기 현재 이미지 프레임의 촬영 위치에 존재하는 구면 상의 다수의 가상 광원 포인트들의 현재 결정되는 조도 파라미터들을 기록한다.
본 개시의 다양한 실시 예들은 또한 프로세서에 의해 실행될 때 상기 프로세서로 하여금 상기에서 설명한 바와 같이 AR 신에서 주변 조도를 결정하기 위한 방법의 절차들을 수행하도록 하는 인스트럭션(instruction)들을 저장하는 비-일시적 컴퓨터-판독 가능 저장 매체를 제공한다.
본 개시의 다양한 실시 예들은 또한 도 10에 도시되어 있는 바와 같이, AR 신에서 주변 조도를 결정하는 방법을 실행할 수 있는 전자 디바이스(1000)를 제공한다. 상기 전자 디바이스(1000)는: 적어도 하나의 프로세서 (1010) 및 메모리(1020)를 포함할 수 있다. 상기 메모리 (1020)는 상기 적어도 하나의 프로세서 (1010)와 통신 연결(또는 작동 가능하게 연결)되어 있고, 예를 들어, 상기 메모리 (1020) 및 상기 적어도 하나의 프로세서 (1010)는 버스(1030)를 통해 연결된다. 상기 메모리 (1020)는 상기 적어도 하나의 프로세서 (1010)가 상기에서 설명한 바와 같이 AR 신에서 주변 조도를 결정하는 방법에서의 절차들을 실행하도록 하는 상기 적어도 하나의 프로세서 (1010)에 의해 실행 가능한 인스트럭션들을 저장한다.
상기 전자 디바이스(1000)는 도 3a에 도시된 바와 같은 카메라(310)를 더 포함할 수 있다. 상기 카메라는 상기 적어도 하나의 프로세서 (1010)에 의해 제어될 수 있으며, 상기 적어도 하나의 프로세서 (1010)에 통신 연결(또는 작동 가능하게 연결)될 수 있고, 예를 들어, 상기 카메라(310) 및 상기 적어도 하나의 프로세서 (1010)는 버스(1030)를 통해 연결될 수 있다.
상기 전자 디바이스(1000)는 증강 현실 신 또는 가상 오브젝트를 표시하기 위한 디스플레이를 더 포함할 수 있다. 상기 디스플레이는 상기 적어도 하나의 프로세서 (1010)에 의해 제어될 수 있으며, 상기 적어도 하나의 프로세서 (1010)에 통신 연결(또는 작동 가능하게 연결)될 수 있고, 예를 들어, 상기 디스플레이 및 상기 적어도 하나의 프로세서 (1010)는 버스(1030)를 통해 연결될 수 있다.
상기한 바와 같은 설명은 단지 본 개시의 바람직한 실시 예들일 뿐이며, 본 개시를 제한하고자 하는 것은 아니며, 본 개시의 사상 및 원리 내의 임의의 수정, 균등한 교체 및 개선은 본 개시의 보호 범위에 포함되어야만 한다.
1000: 전자 디바이스, 1010: 프로세서, 1020: 메모리, 1030: 버스

Claims (15)

  1. 증강 현실(Augmented Reality: AR) 신(scene)에서 주변 조도를 결정하는 방법에 있어서,
    AR 신에 대해 캡쳐되는(captured) 현재 이미지 프레임의 기준 조도 파라미터 테이블을 획득하고, 상기 현재 이미지 프레임의 촬영 정보(shooting information)에 따라 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블(reference comprehensive confidence table)을 설정하는 과정, 여기서 상기 기준 조도 파라미터 테이블 및 기준 종합 신뢰도 테이블은 다수의 가상 광원 포인트(virtual light source point)들의 기준 조도 파라미터들 및 기준 종합 신뢰도들을 각각 포함하고;
    상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하는 과정; 및
    상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 상기 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블에 따라 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하는 과정을 포함하고, 상기 현재 조도 파라미터 테이블은 상기 가상 광원 포인트들의 현재 결정되는 조도 파라미터들을 포함하는 방법.
  2. 제1 항에 있어서,
    상기 현재 이미지 프레임의 기준 조도 파라미터 테이블은 신경 네트워크의 예측을 통해 상기 현재 이미지 프레임을 프로세싱함으로써 획득되는 방법.
  3. 제1 항에 있어서,
    상기 다수의 가상 광원 포인트들은 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 위치에 존재하는 구면(spherical surface) 상에 배치되는 방법.
  4. 제1 항에 있어서,
    상기 현재 이미지 프레임의 촬영 정보에 따라 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블을 설정하는 과정은:
    상기 현재 이미지 프레임에 대응하는 카메라의 위치 및 포인팅 방향(pointing direction)에 따라 상기 현재 이미지 프레임의 기준 공간 신뢰도 테이블을 설정하고, 상기 현재 이미지 프레임이 캡쳐된 시간에 따라 상기 현재 이미지 프레임의 기준 시간 신뢰도 테이블을 설정하는 과정, 여기서 상기 기준 공간 신뢰도 테이블 및 상기 기준 시간 신뢰도 테이블은 그 중심이 상기 현재 이미지 프레임이 캡쳐되는 위치에 존재하는 구면 상에 배치된 상기 가상 광원 포인트들의 기준 공간 신뢰도들 및 기준 시간 신뢰도들을 각각 포함하고; 및
    각 가상 광원 포인트와 관련된 기준 공간 신뢰도, 기준 시간 신뢰도 및 조정 계수에 근거하여 상기 가상 광원 포인트의 기준 종합 신뢰도를 획득하고, 상기 기준 종합 신뢰도 테이블을 설정하는 과정을 포함하는 방법.
  5. 제1항에 있어서,
    상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하는 과정은:
    상기 기준 종합 신뢰도 테이블과 상기 이전 프레임 종합 신뢰도 테이블에서 각 가상 광원 포인트의 종합 신뢰도들을 비교하는 과정;
    상기 기준 종합 신뢰도 테이블에서의 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도 테이블의 이전-프레임 종합 신뢰도보다 작을 경우, 상기 기준 종합 신뢰도의 값을 상기 이전-프레임 종합 신뢰도의 값으로 교체하는 과정; 및
    상기 기준 종합 신뢰도가 상기 이전 프레임 종합 신뢰도 보다 작지 않을 경우, 상기 기준 종합 신뢰도의 값을 유지하는 과정을 포함하는 방법.
  6. 제4 항에 있어서,
    상기 AR 신에서 주변 조도를 결정하는 방법은:
    상기 기준 공간 신뢰도 테이블, 상기 기준 시간 신뢰도 테이블, 상기 기준 종합 신뢰도 테이블 및 상기 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 공간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 획득하는 과정을 더 포함하는 방법.
  7. 제6 항에 있어서,
    상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 공간 신뢰도 테이블 및 현재 시간 신뢰도 테이블을 획득하는 과정은:
    상기 기준 종합 신뢰도 테이블과 상기 이전-프레임 종합 신뢰도 테이블에서 각 가상 광원 포인트의 종합 신뢰도들을 비교하는 과정;
    상기 기준 종합 신뢰도 테이블에서의 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도 테이블의 이전-프레임 종합 신뢰도보다 작을 경우, 상기 기준 공간 신뢰도의 값을 상기 이전 프레임 공간 신뢰도의 값으로 교체하고, 상기 기준 시간 신뢰도의 값을 상기 이전 프레임 시간 신뢰도의 값으로 교체하는 과정; 및
    상기 기준 종합 신뢰도가 상기 이전-프레임 종합 신뢰도보다 작을 경우, 상기 기준 공간 신뢰도의 값 및 상기 기준 시간 신뢰도의 값을 유지하는 과정을 포함하며,
    상기 가상 광원 포인트들의 이전-프레임 공간 신뢰도들은 이전-프레임 공간 신뢰도 테이블에 포함되고; 및
    상기 가상 광원 포인트들의 이전-프레임 시간 신뢰도들은 이전-프레임 시간 신뢰도 테이블에 포함되는 방법.
  8. 제7 항에 있어서,
    상기 이전-프레임 시간 신뢰도 테이블에서의 이전 프레임-시간 신뢰도들의 값들은 모두 상기 기준 시간 신뢰도 테이블에서의 기준 시간 신뢰도들의 값들 보다 작은 방법.
  9. 제1항에 있어서,
    상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 상기 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블에 따라 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하는 과정은:
    상기 현재 종합 신뢰도 테이블 및 상기 이전-프레임 종합 신뢰도 테이블의 각 가상 광원 포인트의 현재 종합 신뢰도 및 이전-프레임 종합 신뢰도를 비교하는 과정;
    상기 가상 광원 포인트의 현재 종합 신뢰도가 상기 이전-프레임 종합 신뢰도보다 작을 경우, 상기 가상 광원 포인트의 이전-프레임 조도 파라미터를 상기 가상 광원 포인트의 현재 결정되는 조도 파라미터로 처리하는 과정; 및
    상기 가상 광원 포인트의 현재 종합 신뢰도가 상기 이전-프레임 종합 신뢰도보다 작지 않을 경우, 정의된 규칙에 따라 상기 가상 광원 포인트의 상기 현재 결정되는 조도 파라미터를 계산하는 과정을 포함하는 방법.
  10. 제9 항에 있어서,
    상기 정의된 규칙에 따라 상기 가상 광원 포인트의 상기 현재 결정되는 조도 파라미터를 계산하는 과정은,상기 현재 종합 신뢰도, 평활화 계수(smoothing coefficient),상기 기준 조도 파라미터이고,상기 이전-프레임 종합 신뢰도, 상기 이전 프레임 조도 파라미터에 근거하여,상기 현재 결정되는 조도 파라미터를 계산하는 과정을 포함하는 방법.
  11. 제7항에 있어서,
    각 이미지 프레임의 시간 신뢰도 테이블에서의 시간 신뢰도들은 시간에 따라 감소하며, 상기 각 이미지 프레임의 시간 신뢰도 테이블은 상기 이전-프레임 시간 신뢰도 테이블과 상기 현재 시간 신뢰도 테이블을 포함하고;
    상기 각 이미지 프레임의 기준 시간 신뢰도 테이블에서의 시간 신뢰도들은 상기 이전-프레임 시간 신뢰도 테이블과 상기 현재 시간 신뢰도 테이블의 시간 신뢰도들 중 최대 값을 갖는 방법.
  12. 제3 항에 있어서,
    상기 가상 광원 포인트들은 상기 구면에서 균일하게 분포됨을 특징으로 하는 AR 신에서 주변 조도를 결정하는 방법.
  13. 청구항 제1항 내지 제12항 중 어느 한 항의 AR 신에서 주변 조도를 결정하는 방법을 실행하기 위해 적어도 하나의 프로세서에 의해 실행 가능한 인스트럭션(instruction)들을 저장하는, 비-일시적 컴퓨터-판독 가능 저장 매체.
  14. 전자 디바이스에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 작동적으로 연결되어 있는 메모리를 포함하며,
    상기 메모리는 청구항 제1항 내지 제12항 중 어느 한 항의 AR 신에서 주변 조도를 결정하는 방법을 실행하기 위해 상기 적어도 하나의 프로세서에 의해 실행 가능한 인스트럭션(instruction)들을 저장하는 전자 디바이스.
  15. 증강 현실(Augmented Reality: AR) 신(scene)에서 주변 조도를 결정하기 위한 장치에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 작동적으로 연결되어 있는 메모리를 포함하며,
    상기 메모리는, 실행시, 상기 적어도 하나의 프로세서가,
    AR 신에 대해 캡쳐되는(captured) 현재 이미지 프레임의 기준 조도 파라미터 테이블을 획득하고, 상기 현재 이미지 프레임의 촬영 정보(shooting information)에 따라 상기 현재 이미지 프레임의 기준 종합 신뢰도 테이블(reference comprehensive confidence table)을 설정하고, 여기서 상기 기준 조도 파라미터 테이블 및 기준 종합 신뢰도 테이블은 다수의 가상 광원 포인트(virtual light source point)들의 기준 조도 파라미터들 및 기준 종합 신뢰도들을 각각 포함하고;
    상기 기준 종합 신뢰도 테이블 및 이전 이미지 프레임의 이전-프레임 종합 신뢰도 테이블에 따라 상기 현재 이미지 프레임의 현재 종합 신뢰도 테이블을 획득하고; 및
    상기 기준 조도 파라미터 테이블, 상기 현재 종합 신뢰도 테이블, 상기 이전 이미지 프레임의 상기 이전-프레임 종합 신뢰도 테이블 및 이전-프레임 조도 파라미터 테이블에 따라 상기 가상 광원 포인트들의 현재 결정되는 조도 파라미터들을 포함하는 상기 현재 이미지 프레임의 현재 조도 파라미터 테이블을 획득하도록 하는 인스트럭션(instruction)들을 저장하는 장치.
KR1020200143450A 2020-06-18 2020-10-30 Ar 신에서 주변 조도를 결정하는 방법, 장치 및 저장 매체 KR20210157284A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/192,041 US11544897B2 (en) 2020-06-18 2021-03-04 Method and apparatus for determining ambient illumination in AR scene

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010557585.2 2020-06-18
CN202010557585.2A CN111710049B (zh) 2020-06-18 2020-06-18 Ar场景中的环境光照确定方法和装置

Publications (1)

Publication Number Publication Date
KR20210157284A true KR20210157284A (ko) 2021-12-28

Family

ID=72541039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200143450A KR20210157284A (ko) 2020-06-18 2020-10-30 Ar 신에서 주변 조도를 결정하는 방법, 장치 및 저장 매체

Country Status (2)

Country Link
KR (1) KR20210157284A (ko)
CN (1) CN111710049B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631291A (zh) * 2022-11-18 2023-01-20 如你所视(北京)科技有限公司 用于增强现实的实时重光照方法和装置、设备和介质
WO2024085422A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 전자 디바이스, 전자 디바이스의 동작 방법 및 이미지 편집 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463230A (zh) * 2020-11-10 2022-05-10 华为技术有限公司 一种图像处理方法及相关设备
CN112492230B (zh) * 2020-11-26 2023-03-24 北京字跳网络技术有限公司 视频处理方法、装置、可读介质及电子设备
CN112819787B (zh) * 2021-02-01 2023-12-26 清华大学深圳国际研究生院 多光源预测方法
CN114979457B (zh) * 2021-02-26 2023-04-07 华为技术有限公司 一种图像处理方法及相关装置
CN113470161B (zh) * 2021-06-30 2022-06-07 完美世界(北京)软件科技发展有限公司 虚拟环境中容积云的光照确定方法、相关设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766270B (zh) * 2015-03-20 2017-10-03 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
CN110009720B (zh) * 2019-04-02 2023-04-07 阿波罗智联(北京)科技有限公司 Ar场景中的图像处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085422A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 전자 디바이스, 전자 디바이스의 동작 방법 및 이미지 편집 시스템
CN115631291A (zh) * 2022-11-18 2023-01-20 如你所视(北京)科技有限公司 用于增强现实的实时重光照方法和装置、设备和介质

Also Published As

Publication number Publication date
CN111710049B (zh) 2022-07-12
CN111710049A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
KR20210157284A (ko) Ar 신에서 주변 조도를 결정하는 방법, 장치 및 저장 매체
CN111698390B (zh) 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
JP5108093B2 (ja) 撮像装置及び撮像方法
CN111246051B (zh) 自动检测条纹并抑制的方法、装置、设备及存储介质
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
CN112311965B (zh) 虚拟拍摄方法、装置、系统及存储介质
US9164723B2 (en) Virtual lens-rendering for augmented reality lens
US11379034B1 (en) Video timewarp for mixed reality and cloud rendering applications
JP2015201839A (ja) 画像処理装置、その制御方法、およびプログラム
JPWO2017217296A1 (ja) 画像処理装置
WO2023207452A1 (zh) 基于虚拟现实的视频生成方法、装置、设备及介质
CN110544273B (zh) 运动捕捉方法、装置以及系统
US20200045298A1 (en) Method, system and apparatus for visual effects
JP2022030844A (ja) 情報処理プログラム、情報処理装置及び情報処理方法
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
CN109690611A (zh) 一种图像校正方法及装置
CN111597963B (zh) 用于图像中人脸的补光方法、系统、介质以及电子设备
JP2017152866A (ja) 画像処理装置及び画像処理方法
CN107430841B (zh) 信息处理设备、信息处理方法、程序以及图像显示系统
WO2019021412A1 (ja) 位置推定装置、位置推定方法及びプログラム記録媒体
US11544897B2 (en) Method and apparatus for determining ambient illumination in AR scene
CN108876891B (zh) 人脸图像数据采集方法及人脸图像数据采集装置
CN112866507B (zh) 智能化的全景视频合成方法、系统、电子设备及介质
US20230056459A1 (en) Image processing device, method of generating 3d model, learning method, and program
US10902669B2 (en) Method for estimating light for augmented reality and electronic device thereof