KR20230146431A

KR20230146431A - 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법

Info

Publication number: KR20230146431A
Application number: KR1020220118148A
Authority: KR
Inventors: 임경민; 윤영진; 진보라; 박철성; 이여울; 이재성; 이지혜
Original assignee: 삼성전자주식회사
Priority date: 2022-04-12
Filing date: 2022-09-19
Publication date: 2023-10-19

Abstract

본 개시는 디스플레이 패널(200), 적어도 하나의 명령어(instruction)를 저장하는 메모리(300) 및 적어도 하나의 프로세서(400)를 포함하고, 적어도 하나의 프로세서(400)는, 제1 영역 및 제2 영역을 포함하는 입력 영상(LFIM)을 획득하고, 제1 깊이 값을 나타내기 위한 제1 보정 값을 제1 영역에 할당하고, 제2 깊이 값을 나타내기 위한 제2 보정 값을 제2 영역에 할당하는 보정 맵(CBM; CBM-1)을 생성하고, 입력 영상에 보정 맵을 적용함으로써, 제1 영역에 대응되는 제1 출력 영역 및 제2 영역에 대응되는 제2 출력 영역을 포함하는 출력 영상을 생성하고, 생성된 출력 영상을 디스플레이 패널(200)에 표시하며, 제1 출력 영역은 제1 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지고, 제2 출력 영역은 제2 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 전자 장치(100; 100-1) 및 전자 장치(100; 100-1)의 동작 방법을 포함한다.

Description

3D 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법{ELECTRONIC APPARATUS FOR DISPLAYING 3D IMAGE AND OPERATING METHOD FOR THE SAME}

본 개시는 3D 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급 되고 있다. 영상을 표시하는 디스플레이 장치를 포함하는 전자 장치는 최근 수년 간 급속도로 발전하고 있다.

디스플레이 장치가 발전함에 따라, 디스플레이 장치에서 표시하는 영상의 종류도 다양해졌다. 2D(two dimension) 영상뿐만 아니라 3D(three dimension) 영상까지 표시할 수 있는 디스플레이 장치가 개발되고 있다.

최근 들어, 3D 영상을 표시하기 위하여 3D 공간에서 물체를 표시할 수 있는 볼류메트릭 디스플레이(volumetric display)를 이용하여 3D 영상을 표시하는 방법이 제안되었다. 특히, 적층된 복수의 디스플레이 패널을 포함하고, 복수의 디스플레이 패널 각각에 영상을 표시하여 3D 영상을 제공하는 적층형 디스플레이(stacked display)가 제안되었다. 적층형 디스플레이는 서로 다른 시점(view point)에서 촬영된 라이트 필드(light field) 영상을 팩토리제이션(factorization)을 수행하는 모델에 입력하여 획득한 레이어 영상들을 적층된 복수의 디스플레이 패널들에 표시하여 3D 영상을 표시한다.

본 개시의 일 실시예에 따른 전자 장치는 디스플레이 패널(200)을 포함할 수 있다. 전자 장치는 적어도 하나의 명령어(instruction)를 저장하는 메모리(300)를 포함할 수 있다. 전자 장치는 메모리(300)에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서(400)를 포함할 수 있다. 적어도 하나의 프로세서는 제1 영역 및 제2 영역을 포함하는 입력 영상(LFIM)을 획득할 수 있다. 적어도 하나의 프로세서(400)는 제1 깊이 값을 나타내기 위한 제1 보정 값을 제1 영역에 할당하고, 제2 깊이 값을 나타내기 위한 제2 보정 값을 제2 영역에 할당하는 보정 맵(CBM; CBM-1)을 생성할 수 있다. 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 상기 보정 맵(CBM; CBM-1)을 적용함으로써, 상기 제1 영역에 대응되는 제1 출력 영역 및 상기 제2 영역에 대응되는 제2 출력 영역을 포함하는 출력 영상을 생성할 수 있다. 적어도 하나의 프로세서(400)는 생성된 출력 영상을 디스플레이 패널(200)에 표시할 수 있다. 일 실시예에서, 제1 출력 영역은 제1 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지고, 제2 출력 영역은 제2 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다.

본 개시의 다른 실시예는 디스플레이 패널(200)을 포함하는 전자 장치(100, 100-1)의 동작 방법을 제공한다. 전자 장치(100, 100-1)의 동작 방법은 제1 영역 및 제2 영역을 포함하는 입력 영상(LFIM)을 획득하는 단계(S100)를 포함할 수 있다. 전자 장치의 동작 방법은 제1 깊이 값을 나타내기 위한 제1 보정 값을 제1 영역에 할당하고, 제2 깊이 값을 나타내기 위한 제2 보정 값을 제2 영역에 할당하는 보정 맵(CBM; CBM-1)을 생성하는 단계(S200)를 포함할 수 있다. 전자 장치의 동작 방법은 입력 영상(LFIM)에 보정 맵(CBM; CBM-1)을 적용함으로써 제1 영역에 대응되는 제1 출력 영역 및 제2 영역에 대응되는 제2 출력 영역을 포함하는 출력 영상을 생성하는 단계(S300)를 포함할 수 있다. 전자 장치의 동작 방법은, 생성된 출력 영상을 디스플레이 패널(200)에 표시하는 단계(S400)를 포함할 수 있다. 일 실시예에서, 제1 출력 영역은 제1 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지고, 제2 출력 영역은 제2 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다.

본 개시의 다른 실시예는, 개시된 방법의 실시예 중 적어도 하나의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.

본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 서브 영상 생성 모듈의 훈련 과정을 설명하기 위한 도면이다.
도 5a는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 5b는 본 개시의 일 실시예에 따른 서브 영상 생성 모듈의 훈련 과정을 설명하기 위한 도면이다.
도 5c는 본 개시의 일 실시예에 따른 훈련 거리 정보를 설명하기 위한 도면이다.
도 6a는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 6b는 본 개시의 일 실시예에 따른 서브 영상 생성 모듈의 훈련 과정을 설명하기 위한 도면이다.
도 6c는 본 개시의 일 실시예에 따른 훈련 거리 정보를 설명하기 위한 순서도이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 순서도이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 깊이 맵을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 보정 맵을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 12a는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 12b는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 개념도이다.
도 16은 본 개시의 일 실시예에 따른 보정 맵 및 시선 보정 맵을 설명하기 위한 도면이다.

본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시의 일 실시예에 대해 구체적으로 설명하기로 한다.

본 개시에서 사용되는 용어는 본 개시의 일 실시예에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 개시의 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.

본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

또한, 본 개시에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

본 개시에서, '깊이 값(depth value)'은 기준이 되는 시점(point of view)에서 물체의 표면까지의 거리에 대한 정보를 수치로 나타낸 값을 의미한다. 본 개시의 일 실시예로, 기준이 되는 시점을 물체를 촬영하는 카메라의 위치라고 할 때, 깊이 값은 카메라로부터 물체의 표면까지의 거리를 수치적으로 나타낸 값이다. 본 개시의 일 실시예로, 물체의 표면 중 카메라로부터 가까운 위치에 위치한 표면에 대응되는 깊이 값은, 물체의 표면 중 카메라로부터 먼 위치에 위치한 표면에 대응되는 깊이 값보다 클 수 있다.

본 개시에서, '깊이 맵(depth map)'은 기준이 되는 시점에서 물체의 표면까지의 깊이 값의 정보를 포함하는 영상을 의미한다. 본 개시의 일 실시예로, 기준이 되는 시점을 카메라의 위치라고 할 때, 깊이 맵은 카메라로부터 촬영된 물체의 깊이 정보를 포함할 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시의 일 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시의 일 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 본 개시 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.

도 1은 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.

도 1을 참조하면, 본 개시의 일 실시예로 전자 장치(100)는 디스플레이 패널(200)을 포함할 수 있다. 전자 장치(100)는 디스플레이 패널(200)를 통하여 출력 영상(120)을 표시할 수 있다.

일 실시예에서, 사용자(110)의 위치에 따라 전자 장치(100)가 사용자(110)에게 제공되는 출력 영상(120)은 달라질 수 있다. 일 실시예에서, 전자 장치(100)가 제공하는 출력 영상(120)은 전자 장치(100)를 사용하는 사용자(110)에게 입체감(three dimensional effect)을 제공할 수 있는 영상일 수 있다.

일 실시예에서, 전자 장치(100)는 현실에서 물체에서 반사되어 사용자(110)에게 제공되는 광을 재현한다. 일 실시예에서, 전자 장치(100)는 현실에서 물체에서 반사되어 사용자(110)에게 제공되는 광과 동일한 경로를 갖는 광(LT)을 사용자(110)에게 제공한다. 사용자(110)는 전자 장치(100)에 표시되는 출력 영상(120)을 통하여 현실에서 물체로부터 반사되는 광과 동일한 경로를 갖는 광(LT)을 제공받는다.

일 실시예에서, 전자 장치(100)는 사용자(110)의 위치에 따라 각각 다른 출력 영상(120)을 제공하여, 사용자(110)가 출력 영상(120)에 포함된 물체의 입체감을 느끼게 할 수도 있다. 설명의 편의를 위하여, 출력 영상(120)이 도 1에 도시된 것처럼 육면체(hexahedron)의 형상을 가지는 물체를 포함하고 있는 것으로 설명한다.

일 실시예에서, 사용자(110)가 전자 장치(100)의 정면에 수직한 방향에 위치하는 경우에, 전자 장치(100)는 사용자(110)에게 물체의 정면을 포함하는 출력 영상(120)을 제공할 수 있다.

일 실시예에서, 사용자(110)가 전자 장치(100)의 정면에 수직한 방향과 교차하는 제1 방향에 위치하는 경우에, 전자 장치(100)는 사용자(110)에게 물체의 제1 측면 및 정면을 포함하는 출력 영상(120)을 제공할 수 있다. 일 실시예에서, 정면에 수직한 방향과 제1 방향 사이의 각도에 따라, 전자 장치(100)가 사용자(110)에게 제공하는 물체의 제1 측면 및 물체의 정면은 달라질 수 있다. 일 실시예에서, 정면에 수직한 방향과 제1 방향 사이의 각도에 따라, 전자 장치(100)는 사용자(110)에게 물체의 제1 측면만을 포함하는 출력 영상(120)을 제공할 수도 있다.

일 실시예에서, 사용자(110)가 전자 장치(100)의 정면에 수직한 방향과 교차하고, 제1 방향과 다른 제2 방향에 위치하는 경우에, 전자 장치(100)는 사용자(110)에게 물체의 제1 측면과 다른 제2 측면 및 정면을 포함하는 출력 영상(120)을 제공할 수 있다. 일 실시예에서, 정면에 수직한 방향과 제2 방향 사이의 각도에 따라, 전자 장치(100)가 사용자(110)에게 제공하는 물체의 제2 측면 및 물체의 정면은 달라질 수 있다. 일 실시예에서, 정면에 수직한 방향과 제2 방향 사이의 각도에 따라, 전자 장치(100)는 사용자(110)에게 물체의 제2 측면만을 포함하는 출력 영상(120)을 제공할 수도 있다.

일 실시예에서, 물체의 제1 측면과 정면은 현실에서 사용자(110)가 물체의 정면에 수직한 방향과 교차하는 제1 방향에서 물체를 바라볼 때 볼 수 있는 물체의 영역일 수 있다. 일 실시예에서, 물체의 제2 측면과 정면은 현실에서 사용자(110)가 물체의 정면에 수직한 방향과 교차하는 제2 방향에서 물체를 바라볼 때 볼 수 있는 물체의 영역일 수 있다.

일 실시예에서, 전자 장치(100)는 출력 영상(120)을 통하여 사용자(110)에게 현실에서 물체를 바라보는 것과 같은 광(LT)을 제공할 수 있다. 따라서 사용자(110)는 전자 장치(100)가 표시하는 출력 영상(120)에 포함되는 물체의 입체감을 느낄 수 있다.

일 실시예에서, 전자 장치(100)는 사용자(110)의 좌안(left eye)과 우안(right eye)에 각각 다른 출력 영상(120)을 제공하여, 사용자(110)가 양안 시차(binocular disparity)를 느끼게 할 수 있다. 일 실시예에서, 제1 방향은 사용자(110)의 좌안이 전자 장치(100)를 바라보는 방향일 수 있다. 제2 방향은 사용자(110)의 우안이 전자 장치(100)를 바라보는 방향일 수 있다. 사용자(110)는 우안과 좌안에 제공되는 출력 영상(120)이 서로 달라 양안 시차를 느낄 수 있고, 이를 통하여 물체의 입체감을 느낄 수도 있다.

일 실시예에서, 디스플레이 패널(200)은 복수의 서브 패널들(210, 220)을 포함할 수 있다. 일 실시예에서, 복수의 서브 패널들(210, 220)은 적층되어 배치될 수 있다. 도 1에는 디스플레이 패널(200)이 두 개의 서브 패널들(210, 220)을 포함하는 것으로 도시되어 있으나, 본 개시는 이에 제한되지 않는다. 디스플레이 패널(200)은 세 개 이상의 서브 패널들을 포함할 수도 있다. 일 실시예로, 출력 영상(120)은 서브 영상(LIM)을 포함할 수 있다. 일 실시예로, 서브 영상(LIM)은 후술할 복수의 서브 레이어 영상들(SLIM, 도 4 참조)을 포함할 수 있다. 전자 장치(100)는 디스플레이 패널(200)에 포함된 복수의 서브 패널들(210, 220) 각각에 대응되는 서브 레이어 영상들을 표시할 수 있다. 전자 장치(100)는 복수의 서브 패널들(210, 220) 각각에 대응되는 서브 레이어 영상들을 표시하여 사용자(110)에게 현실에서 물체를 바라보는 것과 같은 광(LT)을 제공할 수 있다.

도 2는 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 블록도이다.

도 2에 도시된 바와 같이, 일 실시예에서, 전자 장치(100)는 디스플레이 패널(200), 메모리(300), 프로세서(400) 및 통신 인터페이스(500)를 포함할 수 있다. 그러나, 도 2에 도시된 구성 요소가 모두 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 전자 장치(100)는 구현될 수 있다. 디스플레이 패널(200), 메모리(300), 프로세서(400) 및 통신 인터페이스(500)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다. 이하, 도 1에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

일 실시예에서, 디스플레이 패널(200)은 액정 표시(liquid crystal) 디스플레이, 플라즈마(plasma) 디스플레이, 유기 발광 다이오드(organic light emitting diodes) 디스플레이, 무기 발광 다이오드(inorganic light emitting diodes) 디스플레이 중 어느 하나의 디스플레이를 포함할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 디스플레이 패널(200)은 사용자(110)에게 출력 영상(120)을 제공할 수 있는 다른 종류의 디스플레이를 포함할 수 있다.

일 실시예에서, 메모리(300)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 메모리(300)에는 전자 장치(100)의 기능 또는 동작들을 수행하기 위한 명령어들 또는 프로그램 코드가 저장될 수 있다. 메모리(300)에 저장되는 명령어들, 알고리즘, 데이터 구조, 프로그램 코드 및 애플리케이션 프로그램은 예를 들어, C,　C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.

일 실시예에서, 메모리(300)에는 디스플레이 패널(200)을 통하여 출력 영상(120)을 사용자(110)에게 제공하는데 이용될 수 있는 다양한 종류의 모듈들이 저장될 수 있다. 메모리(300)에는 깊이 맵 획득 모듈(310), 보정 맵 생성 모듈(320), 전처리 모듈(330), 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)이 저장될 수 있다. 그러나, 도 2에 도시된 모듈 모두가 필수 모듈인 것은 아니다. 메모리(300)에는 도 2에 도시된 모듈보다 더 많은 모듈들이 저장될 수도 있고, 그보다 적은 모듈들이 저장될 수도 있다. 일 실시예에서, 메모리(330)에는 보정 맵 생성 모듈(320) 및 서브 영상 생성 모듈(350)만이 저장될 수도 있다.

메모리(300)에 포함되는 '모듈'은 프로세서(400)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미할 수 있다. 메모리(300)에 포함되는 '모듈'은 명령어들(instructions), 알고리즘, 데이터 구조, 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.

일 실시예에서, 깊이 맵 획득 모듈(310)은 전자 장치(100)로 제공되는 입력 영상(LFIM, 도 3 참조)에 기초하여 입력 영상(FIM)의 깊이 맵(depth map)(DM, 도 9 참조)을 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 다만, 일 실시예에서, 전자 장치(100)는 입력 영상(LFIM) 및 입력 영상(LFIM)의 깊이 맵(DM)을 제공받을 수도 있다.

일 실시예에서, 보정 맵 생성 모듈(320)은 깊이 맵(DM)에 기초하여 보정 맵(CBM, CBM-1, 도 8 참조)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 보정 맵 생성 모듈(320)은 도 8 내지 도 11에서 후술하도록 한다.

일 실시예에서, 전처리 모듈(330)은 전자 장치(100)로 제공되는 입력 영상(LFIM)을 전처리하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 전처리 모듈(330)은 보정 맵(CBM, CBM-1)에 기초하여 입력 영상(LFIM)을 전처리하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 전처리 모듈(330)의 명령어들 또는 프로그램 코드를 실행함으로써, 재구성(wrangling), 변환(transformation), 통합(integration), 클리닝(cleaning), 축소(reduction), 이산화(discretization) 등을 하는 과정을 통하여 입력 영상(LFIM)을 전처리 할 수 있다.

일 실시예에서, 입력 영상(LFIM)은 서로 다른 복수의 뷰(view)를 갖는 영상들(SIM, 도 3 참조)을 포함할 수 있다. 이하, 서로 다른 복수의 뷰를 갖는 영상들을 뷰 영상들(SIM)이라 지칭한다. 전처리 모듈(330)은 입력 영상(LFIM)에 포함된 복수의 뷰 영상들(SIM)을 전처리 할 수도 있다.

일 실시예에서, 복수의 뷰 영상들(SIM) 각각은 물체를 서로 다른 복수의 뷰들에서 촬영하여 획득된 영상일 수 있다. 일 실시예에서, 복수의 뷰 영상들(SIM) 각각은 서로 다른 위치에 배치되어 서로 다른 뷰에서 물체를 촬영하는 복수의 카메라들을 통하여 획득된 영상일 수 있다. 일 실시예에서, 복수의 뷰 영상들(SIM) 각각은, 마이크로 렌즈 어레이(micro lens array)를 포함하는 카메라를 통하여, 서로 다른 뷰에서 획득된 영상일 수 있다. 이하, 설명의 편의를 위하여 복수의 뷰 영상들(SIM)은 서로 다른 뷰에서 물체를 촬영하는 복수의 카메라들을 통하여 획득된 영상들로 정의한다.

일 실시예에서, 변화 측정 모듈(340)은 입력 영상(LFIM)에 기초하여 변화 플로우를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 변화 측정 모듈(340)은 입력 영상(LFIM) 및 보정 맵(CBM, CBM-1)에 기초하여 변화 플로우를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.

일 실시예에서, 변화 측정 모듈(340)은 인공 지능(artificial intelligence) 모델을 포함할 수 있다. 일 실시예에서, 변화 측정 모듈(340)에 포함된 인공 지능 모델은 입력 영상(LFIM)에 기초하여 변화 플로우를 획득하도록 훈련된(trained) 인공 지능 모델일 수 있다. 일 실시예에서, 변화 측정 모듈(340)에 포함된 인공 지능 모델은 입력 영상(LFIM) 및 보정 맵(CBM, CBM-1)에 기초하여 변화 플로우를 획득하도록 훈련된 인공 지능 모델일 수 있다. 일 실시예에서, 변화 측정 모듈(340)에 포함된 인공 지능 모델은 머신 러닝(machine learning) 또는 딥 러닝(deep learning) 모델을 포함할 수 있다.

일 실시예에서, 변화 측정 모듈(340)에 포함된 인공 지능 모델은 복수의 신경망 레이어들을 포함할 수 있다. 각각의 신경망 레이어는 복수의 가중치(weight values)을 가지고 있으며, 이전(previous) 신경망 레이어의 연산 결과와 복수의 가중치의 연산을 통해 현재(present) 신경망 레이어의 연산을 수행할 수 있다. 인공 지능 모델의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), 심층 Q-네트워크 (Deep Q-Networks), GAN(Generative Adversarial Networks), VAE(Variational Auto Encoder) 등이 있으며, 본 개시에서의 변화 측정 모듈(340)에 포함된 인공 지능 모델은 전술한 예에 한정되지 않는다.

일 실시예에서, 전자 장치(100)는 변화 측정 모듈(340)에 포함된 인공 지능 모델을 훈련시킬 수 있다. 전자 장치(100)는 변화 측정 모듈(340)에 포함된 인공 지능 모델을 훈련시키기 위하여 사전 학습 모델을 이용한 전이 학습(transfer learning)을 할 수도 있다. 다만, 본 개시는 이에 한정되지 않고, 변화 측정 모듈(340)은 통신 인터페이스(500)를 통하여 기 학습된 인공지능 모델을 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다. 변화 측정 모듈(340)에 포함된 인공 지능 모델의 훈련은 도 4 내지 도 6c에서 후술하도록 한다.

일 실시예에서, 서브 영상 생성 모듈(350)은 입력 영상(LFIM)에 보정 맵(CBM, CBM-1)을 적용하여 디스플레이 패널(200)에 표시되는 출력 영상(120)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 입력 영상(LFIM)에 보정 맵(CBM, CBM-1)을 적용하여 복수의 서브 패널들(210, 220, 도 1 참조)에 각각 표시되는 서브 영상(LIM)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 전처리 모듈(330)을 통하여 획득된 전처리된 입력 영상 및 변화 측정 모듈(340)을 통하여 획득된 변화 플로우에 기초하여 서브 영상(LIM)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 전처리 모듈(330)을 통하여 획득된 전처리된 입력 영상, 변화 측정 모듈(340)을 통하여 획득된 변화 플로우 및 보정 맵(CBM, CBM-1)에 기초하여 서브 영상(LIM)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.

일 실시예에서, 서브 영상 생성 모듈(350)은 팩토리제이션(factorization)을 수행하여 출력 영상(120)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 팩토리제이션을 수행하여 서브 영상(LIM)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 팩토리제이션(factorization)을 수행하는 인공 지능 모델을 포함할 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델은 머신 러닝(machine learning) 또는 딥 러닝(deep learning) 모델을 포함할 수 있다.

일 실시예에서, 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델은 복수의 신경망 레이어들을 포함할 수 있다. 각각의 신경망 레이어는 복수의 가중치(weight values)을 가지고 있으며, 이전(previous) 신경망 레이어의 연산 결과와 복수의 가중치의 연산을 통해 현재(present) 신경망 레이어의 연산을 수행할 수 있다. 인공 지능 모델의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), 심층 Q-네트워크 (Deep Q-Networks), GAN(Generative Adversarial Networks), VAE(Variational Auto Encoder) 등이 있으며, 본 개시에서의 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델은 전술한 예에 한정되지 않는다.

일 실시예에서, 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델은 입력 영상(LFIM)에 보정 맵(CBM, CBM-1)을 적용하여 디스플레이 패널(200)에 표시되는 출력 영상(120)을 생성하기 위하여 훈련(trained)된 인공 지능 모델일 수 있다. 서브 영상 생성 모듈(350)은 복수의 서브 패널들(210, 220)에 표시되는 서브 영상(LIM)을 생성하기 위하여 훈련된 인공 지능 모델일 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델은 전처리 모듈(330)을 통하여 획득된 전처리된 입력 영상 및 변화 측정 모듈(340)을 통하여 획득된 변화 플로우에 기초하여 서브 영상(LIM)을 생성하기 위하여 훈련된 인공 지능 모델일 수 있다.

일 실시예에서, 전자 장치(100)는 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델을 훈련시킬 수 있다. 전자 장치(100)는 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델을 훈련시키기 위하여 사전 학습 모델을 이용한 전이 학습(transfer learning)을 할 수도 있다. 다만, 본 개시는 이에 한정되지 않고, 서브 영상 생성 모듈(350)은 통신 인터페이스(500)를 통하여 팩토리제이션을 수행하기 위해 기 학습된 인공지능 모델을 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다. 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델의 훈련은 도 4 내지 도 6c에서 후술하도록 한다.

프로세서(400)는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays) 및 뉴럴 프로세서(Neural Processing Unit) 또는 인공지능 모델(Artificial Intelligence, AI)의 학습 및 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.

일 실시예에서, 프로세서(400)는 메모리(300)에 저장된 다양한 종류의 모듈들을 실행할 수 있다. 일 실시예에서, 프로세서(400)는 메모리(300)에 저장된 깊이 맵 획득 모듈(310), 보정 맵 획득 모듈(320), 전처리 모듈(330), 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)을 실행할 수 있다. 일 실시예에서, 프로세서(400)는 메모리(300)에 저장된 다양한 종류의 모듈들을 구성하는 적어도 하나의 명령어를 실행할 수 있다.

일 실시예에서, 통신 인터페이스(500)는 프로세서(400)의 제어에 의해 외부의 서버(미도시)와 데이터 통신을 수행할 수 있다. 또한, 통신 인터페이스(500)는 외부의 서버뿐 아니라, 다른 주변 전자 장치들(미도시)과도 데이터 통신을 수행할 수 있다. 통신 인터페이스(500)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 서버 또는 다른 주변 전자 장치들과 데이터 통신을 수행할 수 있다.

일 실시예에서, 통신 인터페이스(500)는 입력 영상(LFIM)에 보정 맵(CBM, CBM-1)에 기초하여 서브 영상(LIM)을 생성하기 위한 데이터를 외부의 서버 또는 주변의 전자 장치들과 송수신할 수 있다.

일 실시예에서, 통신 인터페이스(500)는 입력 영상(LFIM) 및 보정 맵(CBM, CBM-1)에 기초하여 변화 플로우를 획득하기 위하여 기 학습된 변화 측정 모듈(340)을 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다.

일 실시예에서, 통신 인터페이스(500)는 입력 영상(LFIM)에 보정 맵(CBM, CBM-1)을 적용하여 서브 영상(LIM)을 생성하기 위하여 기 학습된 서브 영상 생성 모듈(350)을 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다.

도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다. 이하, 도 1을 참조하여 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

도 3을 참조하면, 도 3에서는 물체가 사람의 얼굴 형상을 포함하고, 입력 영상(LFIM)에 포함된 복수의 뷰 영상들(SIM)은 서로 다른 뷰에서 물체를 촬영하여 획득한 영상으로 도시되어 있다. 다만, 도 3의 도시는 설명의 편의를 위한 것이며, 물체는 사람의 얼굴 형상으로 제한되지 않는다. 입력 영상(LFIM)은 다양한 종류의 물체를 촬영하여 획득한 영상일 수 있다.

일 실시예에서, 전자 장치(100)는 입력 영상(LFIM)을 제공받는다. 프로세서(400)는 제공받은 입력 영상(LFIM)에 기초하여 출력 영상(120)을 생성한다. 일 실시예에서, 프로세서(400)는 제공받은 입력 영상(LFIM)에 기초하여 서브 영상(LIM, 도 8 참조)을 생성한다. 이하, 설명의 편의를 위하여, 프로세서(400)는 입력 영상(LFIM)을 제공 받아 출력 영상(120)에 포함된 서브 영상(LIM)을 생성하는 것으로 설명한다.

프로세서(400)는 생성한 서브 영상(LIM)을 복수의 서브 패널들(210, 220)에 제공하여, 디스플레이 패널(200)이 출력 영상(120)을 표시하도록 할 수 있다. 일 실시예에서, 전자 장치(100)는 입력 영상(LFIM)에 기초하여 생성한 서브 영상(LIM)을 디스플레이 패널(200)에 표시하여, 촬영한 물체를 재현하는 출력 영상(120)을 사용자(110)에게 제공할 수 있다.

일 실시예에서, 도 3에는 디스플레이 패널(200)이 액정 표시 디스플레이인 것으로 도시되어 있다. 디스플레이 패널(200)은 두 개의 서브 패널들(210, 220), 광학층(230) 및 백라이트(back light, 240)을 포함할 수 있다. 이하, 두 개의 서브 패널들(210, 220)은 각각 베이스 패널(210) 및 레이어 패널(220)이라 지칭한다.

일 실시예에서, 백라이트(240)는 광을 생성하여 사용자(110)에게 제공할 수 있다. 일 실시예에서, 백라이트(240)가 생성하는 광은 백색 광일 수 있다. 다만, 본 개시는 이에 한정되지 않고, 백라이트(240)가 제공하는 광은 백색이 아닌, 다른 색을 가질 수도 있다.

일 실시예에서, 베이스 패널(210) 및 레이어 패널(220) 각각은 복수의 픽셀들을 포함할 수 있다. 일 실시예에서, 디스플레이 패널(200)이 액정 표시 디스플레이인 경우, 베이스 패널(210) 및 레이어 패널(220) 각각은 복수의 컬러 필터(color filter)들을 포함하는 필터층일 수 있다. 일 실시예에서, 복수의 픽셀들 각각은 복수의 컬러 필터들에 대응될 수 있다.

일 실시예에서, 베이스 패널(210) 및 레이어 패널(220) 중 적어도 하나는 복수의 레드, 그린 및 블루 컬러 필터들을 포함할 수도 있다. 일 실시예에서, 베이스 패널(210) 및 레이어 패널(220) 중 적어도 하나는 복수의 레드, 그린, 블루 컬러 필터들 및 광을 필터링하지 않는 개구부들을 포함할 수도 있다. 일 실시예에서, 베이스 패널(210) 및 레이어 패널(220) 중 적어도 하나는 복수의 옐로우, 블루 컬러 필터들 등을 포함할 수도 있다.

다만, 본 개시는 이에 한정되지 않는다. 일 실시예에서, 백라이트(240)에서 제공하는 광의 파장 및 백라이트(240)에서 제공되는 광을 이용하여 영상(120)을 표시하기 위한 색의 조합 등에 따라 베이스 패널(210) 및 레이어 패널(220)에 포함되는 복수의 컬러 필터들의 색은 달라질 수 있다.

일 실시예에서, 광학층(230)은 베이스 패널(210) 및 레이어 패널(220) 사이에 배치될 수 있다. 광학층(230)에 의하여 베이스 패널(210)을 투과한 광(LT)은 굴절(refraction), 반사(reflection), 분산(dispersion) 등이 된 후 레이어 패널(220)에 제공될 수 있다. 도 3에는 광학층(230)이 베이스 패널(210)과 레이어 패널(220) 사이에 배치된 것으로 도시되었으나, 본 개시는 이에 한정되지 않는다. 일 실시예에서, 광학층(230)은 백라이트(240)와 베이스 패널(210) 사이에 배치될 수도 있다. 또한, 디스플레이 패널(200)이 세 개 이상의 서브 패널들을 포함할 경우, 광학층(230)은 베이스 패널(210)과 레이어 패널(220) 사이가 아닌, 다른 곳에 배치될 수도 있다. 또한, 일 실시예에서, 광학층(230)은 생략될 수도 있다.

일 실시예에서, 백라이트(240)에서 제공되는 광(LT)은 베이스 패널(210) 및 레이어 패널(220)을 각각 투과하여 사용자(110)에게 제공될 수 있다.

일 실시예에서, 백라이트(240)에서 생성된 광(LT)은 베이스 패널(210)에 포함된 어느 하나의 컬러 필터 및 레이어 패널(220)에 포함된 어느 하나의 컬러 필터를 거쳐 사용자(110)에게 제공될 수 있다. 일 실시예에서, 백라이트(240)에서 생성된 광(LT)이 지나가는 베이스 패널(210)의 컬러 필터 및 레이어 패널(220)의 컬러 필터 각각의 색, 투과율 등에 따라 사용자(110)에게 제공되는 광(LT)의 파장 및 세기가 결정된다. 일 실시예에서, 백라이트(240)에서 생성된 광(LT)이 지나가는 베이스 패널(210)의 컬러 필터와 레이어 패널(220)의 컬러 필터의 조합에 따라 사용자(110)에게 제공되는 광(LT)의 파장 및 세기가 결정된다.

이때, 사용자(110)의 위치에 따라, 사용자(110)에게 도달하기 위하여 백라이트(240)에서 생성된 광(LT)이 지나가는 베이스 패널(210)의 컬러 필터와 레이어 패널(220)의 컬러 필터가 달라진다. 구체적으로, 사용자(110)의 위치에 따라, 사용자(110)에게 도달하기 위하여 백라이트(240)에서 생성된 광(LT)이 지나가는 베이스 패널(210)의 컬러 필터 및 레이어 패널(220)의 컬러 필터 각각의 색 및 투과율 등이 달라질 수 있다. 일 실시예에서, 사용자(110)의 위치에 따라 사용자(110)에 도달하기 위하여 백라이트(240)에서 생성된 광(LT)이 지나가는 베이스 패널(210)의 컬러 필터와 레이어 패널(220)의 컬러 필터의 조합이 달라질 수 있다. 따라서, 전자 장치(100)는 사용자(110)의 위치 변화에 대응하여 달라지는 출력 영상(120)을 사용자(110)에게 제공할 수 있다. 사용자(110)는 사용자(110)의 위치 변화에 대응하여 전자 장치(100)가 제공하는 출력 영상(120)이 달라지는 것에 기초하여, 출력 영상(120)에 포함된 물체의 입체감을 느낄 수 있다.

일 실시예에서, 사용자(110)가 전자 장치(100)의 정면에 수직한 방향과 교차하는 제1 방향에 위치하는 경우에 전자 장치(100)가 사용자(110)에게 제공하는 출력 영상(120)과 사용자(110)가 전자 장치(100)의 정면에 수직한 방향과 교차하고, 제1 방향과 다른 제2 방향에 위치하는 경우에 전자 장치(100)가 사용자(110)에게 제공하는 출력 영상(120)은 서로 다를 수 있다.

일 실시예에서, 전자 장치(100)는 제1 방향에 위치한 사용자(110)에게, 제1 방향에서 물체를 바라보는 것처럼 느끼게 하는 출력 영상(120)을 제공할 수 있다. 일 실시예에서, 전자 장치(100)는 제2 방향에 위치한 사용자(110)에게, 제2 방향에서 물체를 바라보는 것처럼 느끼게 하는 출력 영상(120)을 제공할 수 있다. 따라서 사용자(110)는 전자 장치(100)가 표시하는 출력 영상(120)에 포함된 물체의 입체감을 느낄 수 있다.

다만, 본 개시는 이에 한정되지 않고, 디스플레이 패널(200)은 유기 발광 다이오드 디스플레이, 무기 발광 다이오드 디스플레이 등과 같이, 복수의 레이어 패널들 각각이 스스로 광을 생성하는 디스플레이일 수도 있다. 이 경우, 디스플레이 패널(200)은 백라이트(240)를 포함하지 않을 수 있다. 일 실시예에서, 전자 장치(100)는 각 서브 패널에서 생성되는 광의 세기, 파장 및 각 서브 패널의 투과율 등을 조절하여 사용자(110)의 위치에 따라 다른 영상(120)을 사용자(110)에게 제공할 수도 있다.

도 4는 본 개시의 일 실시예에 따른 서브 영상 생성 모듈의 훈련 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 도 4는 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)이 인공 지능 모델을 포함할 때, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델을 훈련시키는 과정을 도시한 것이다. 일 실시예에서, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350) 중 적어도 어느 하나의 모듈이 인공 지능 모델을 포함할 때, 도 4는 적어도 어느 하나의 모듈에 포함된 인공 지능 모델을 훈련시키는 과정을 도시한 것일 수도 있다.

일 실시예에서, 도 1에 도시된 전자 장치(100)가 도 4에 도시된 것과 같이 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델을 훈련시킬 수 있다. 다만, 본 개시는 이에 제한되지 않고, 주변의 전자 장치가 도 4에 도시된 것과 같이 인공 지능 모델을 훈련시키고, 전자 장치(100)는 주변의 전자 장치로부터 기 학습된 인공 지능 모델을 제공받을 수도 있다. 또한, 전자 장치(100)는 주변의 전자 장치로부터 전이 학습을 위해 사전에 훈련된 인공 지능 모델을 제공받고, 도 4에 도시된 것을 토대로 전이 학습을 할 수도 있다. 이하, 설명의 편의를 위하여 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)이 각각 인공 지능 모델을 포함하고, 전자 장치(100)가 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)에 각각 포함된 인공 지능 모델들을 훈련시키는 경우로 설명한다.

도 2 및 도 4를 참조하면, 메모리(300)에는 영상 와핑(warping) 모듈(360), 손실 계산 모듈(370) 및 시뮬레이션 모듈(380)이 더 저장될 수 있다.

도 3 및 도 4를 참조하면, 일 실시예에서, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)의 훈련을 위하여 입력 영상(LFIM) 및 훈련 거리 정보(TD_n)가 제공될 수 있다. 일 실시예에서, 입력 영상(LFIM) 및 훈련 거리 정보(TD_n)은 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)을 훈련시키기 위한 훈련 데이터셋(training dataset)일 수 있다. 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 훈련 데이터셋에 기초하여 훈련된 인공 지능 모델일 수 있다. 일 실시예에서, 훈련 데이터셋에 기초하여 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350) 각각의 가중치(weight)를 업데이트 할 수 있다.

일 실시예에서, 입력 영상(LFIM)은 서로 다른 뷰에서 복수의 카메라들을 통하여 물체를 촬영하여 획득된 영상이다. 일 실시예에서, 물체는 카메라들과의 거리가 서로 다른 복수의 물체 영역들을 포함할 수 있다. 일 실시예에서, 입력 영상(LFIM)은 복수의 영역들을 포함할 수 있다. 입력 영상(LFIM)의 영역들 각각은 물체의 각 물체 영역에 대응된다. 일 실시예에서, 입력 영상(LFIM)에 포함된 각각의 영역들이 갖는 깊이 값은 물체의 각 물체 영역과 카메라들 사이의 거리에 대응될 수 있다.

일 실시예에서, 물체가 제1 물체 영역 및 제2 물체 영역을 포함할 때, 카메라들과 제1 물체 영역 사이의 거리와 카메라들과 제2 물체 영역 사이의 거리는 서로 다를 수 있다. 일 실시예에서, 입력 영상(LFIM)은 제1 영역 및 제2 영역을 포함할 수 있다. 일 실시예로, 제1 영역은 제1 깊이 값(a value of a first depth)을 갖는 영역이고, 제2 영역은 제2 깊이 값(a value of a second depth)을 갖는 영역일 수 있다. 일 실시예에서, 입력 영상(LFIM)의 제1 영역은 물체의 제1 물체 영역에 대응될 수 있다. 입력 영상(LFIM)의 제2 영역은 물체의 제2 물체 영역에 대응될 수 있다. 일 실시예에서, 카메라들과 제2 물체 영역 사이의 거리가 카메라들과 제1 물체 영역 사이의 거리보다 가까울 경우, 제2 깊이 값은 제1 깊이 값보다 클 수 있다.

일 실시예에서, 물체는 카메라들과의 거리가 서로 다른 세 개 이상의 물체 영역들을 포함할 수도 있다. 일 실시예에서, 입력 영상(LFIM)은 서로 다른 깊이 값을 갖고, 세 개 이상의 물체 영역들에 각각 대응되는 세 개 이상의 영역을 포함할 수도 있다.

일 실시예에서, 입력 영상(LFIM)을 얻기 위하여 카메라들로 촬영한 물체를 사람의 얼굴이라고 할 때, 사람의 얼굴 중 코에 해당하는 물체 영역과 카메라들 사이의 거리는, 사람의 얼굴 중 볼에 해당하는 물체 영역과 카메라들 사이의 거리보다 가까울 수 있다. 이 경우, 입력 영상(LFIM)은 코에 해당하는 물체 영역에 대응하는 코 영역과, 볼에 해당하는 물체 영역에 대응하는 볼 영역을 포함할 수 있다. 코 영역에 대응되는 깊이 값은, 볼 영역에 대응되는 깊이 값보다 클 수 있다. 이하, 설명의 편의를 위하여 카메라들과 제2 물체 영역 사이의 거리가 카메라들과 제1 물체 영역 사이의 거리보다 가깝고, 제2 깊이 값이 제1 깊이 값보다 큰 것으로 정의한다.

일 실시예에서, 입력 영상(LFIM)은 복수의 카메라들을 통하여 물체와 물체의 배경을 촬영하여 획득된 영상일 수 있다. 일 실시예에서, 입력 영상(LFIM)은 물체에 대응되는 적어도 하나 이상의 영역과 물체의 배경에 대응되는 영역을 포함할 수도 있다.

일 실시예에서, 입력 영상(LFIM)은 복수의 물체를 촬영하여 획득된 영상일 수 있다. 각각의 물체들과 카메라들 사이의 거리는 서로 다를 수 있다. 입력 영상(LFIM)의 제1 영역은 복수의 물체들 중 어느 하나의 물체에 대응되고, 입력 영상(LFIM)의 제2 영역은 복수의 물체들 중 다른 물체에 대응될 수도 있다.

일 실시예에서, 입력 영상(LFIM)은 복수의 뷰 영상들(SIM)을 포함할 수 있다. 복수의 뷰 영상들(SIM) 각각은 물체를 촬영하는 복수의 카메라들에 의해 획득된 영상이다. 복수의 뷰 영상들(SIM)은 서로 다른 뷰에서 물체를 촬영한 복수의 카메라들에 의하여 각각 획득된 영상들일 수 있다. 일 실시예에서, 복수의 뷰 영상들(SIM)은 물체의 정면을 기준으로, 정면, 상측, 하측, 우측, 좌측 중 적어도 하나 이상에 위치한 카메라들로 물체를 촬영하여 획득한 영상들을 포함할 수 있다.

일 실시예에서, 물체의 정면에서 물체를 촬영한 카메라로부터 획득된 정면 뷰 영상은 물체의 정면 이미지를 포함하고 있다. 일 실시예에서, 물체의 제1 측면에서 물체를 촬영한 카메라로부터 획득된 제1 측면 뷰 영상은 물체의 정면 및 물체의 제1 측면의 이미지를 포함하고 있다. 일 실시예에서, 물체의 제2 측면에서 물체를 촬영한 카메라로부터 획득된 제2 측면 뷰 영상은 물체의 정면 및 물체의 제2 측면의 이미지를 포함하고 있다.

일 실시예에서, 제1 측면 뷰 영상은 물체의 정면을 기준으로 좌측에 위치한 카메라로 물체를 촬영하여 획득한 영상일 수 있다. 일 실시예에서, 제2 측면 뷰 영상은 물체의 정면을 기준으로 우측에 위치한 카메라로 물체를 촬영하여 획득한 영상일 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 제1 측면 뷰 영상은 물체의 정면을 기준으로 상측에 위치한 카메라로 물체를 촬영하여 획득한 영상일 수 있다. 일 실시예에서, 제2 측면 뷰 영상은 물체의 정면을 기준으로 하측에 위치한 카메라로 물체를 촬영하여 획득한 영상일 수 있다.

또한, 일 실시예에서, 복수의 뷰 영상들(SIM)은 물체의 정면을 기준으로, 제1 측면 뷰 영상을 획득한 카메라보다 좌측에 위치한 카메라로 물체를 촬영하여 획득한 영상을 더 포함할 수도 있다. 복수의 뷰 영상들(SIM)은 물체의 정면을 기준으로, 제2 측면 뷰 영상을 획득한 카메라보다 우측에 위치한 카메라로 물체를 촬영하여 획득한 영상을 더 포함할 수도 있다. 복수의 뷰 영상들(SIM)은 물체의 정면을 기준으로, 제1 측면 뷰 영상을 획득한 카메라보다 상측에 위치한 카메라로 물체를 촬영하여 획득한 영상을 더 포함할 수도 있다. 복수의 뷰 영상들(SIM)은 물체의 정면을 기준으로, 제2 측면 뷰 영상을 획득한 카메라보다 하측에 위치한 카메라로 물체를 촬영하여 획득한 영상을 더 포함할 수도 있다.

이하, 설명의 편의를 위하여, 제1 측면 뷰 영상은 물체의 정면을 기준으로 좌측에 위치한 카메라로 물체를 촬영하여 획득한 영상으로 정의하고, 제2 측면 뷰 영상은 물체의 정면을 기준으로 우측에 위치한 카메라로 물체를 촬영하여 획득한 영상으로 정의한다.

일 실시예에서, 복수의 뷰 영상들(SIM) 각각은 복수의 영역들을 포함할 수 있다. 일 실시예에서, 복수의 뷰 영상들(SIM) 각각은 제1 깊이 값을 갖는 제1 영역 및 제2 깊이 값을 갖는 제2 영역을 포함할 수 있다. 일 실시예에서, 물체를 촬영한 카메라의 뷰가 달라질 경우, 각각의 뷰 영상들(SIM)에 포함된 제1 영역 및 제2 영역들의 위치가 달라질 수 있다. 일 실시예에서, 제1 측면 뷰 영상에 포함된 제1 영역 및 제2 영역은 정면 뷰 영상에 포함된 제1 영역 및 제2 영역과 비교할 때 상대적으로 좌측에 위치할 수 있다.

일 실시예에서, 물체를 촬영한 카메라의 뷰의 변화에 따른 복수의 뷰 영상들(SIM)에 각각 포함된 제1 및 제2 영역들의 위치 변화 정도는 서로 다를 수 있다. 일 실시예에서, 물체를 촬영한 카메라의 뷰의 변화에 따른 복수의 뷰 영상들(SIM)에 각각 포함된 제1 및 제2 영역들의 위치 변화는, 제1 및 제2 영역들 각각이 갖는 깊이 값에 따라 달라질 수 있다.

일 실시예에서, 물체를 촬영한 카메라의 뷰의 변화에 따른 제1 및 제2 영역들의 위치 변화는, 제1 및 제2 영역들 각각이 갖는 깊이 값의 크기에 반비례 할 수 있다.

일 실시예에서, 물체를 촬영한 카메라의 뷰가 변화할 때, 카메라로부터 거리가 가까운 물체 영역의 위치 변화는 카메라로부터 거리가 먼 물체 영역의 위치 변화보다 작다. 따라서, 물체를 촬영한 카메라의 뷰가 변화할 때, 상대적으로 큰 깊이 값을 갖는 영역의 위치 변화가 상대적으로 작은 깊이 값을 갖는 영역의 위치 변화보다 작을 수 있다. 일 실시예에서, 물체를 촬영한 카메라의 뷰가 변화할 때, 제2 깊이 값을 갖는 제2 영역의 위치 변화가 제2 깊이 값보다 작은 제1 깊이 값을 갖는 제1 영역의 위치 변화보다 작을 수 있다.

일 실시예에서, 인접한 두 개의 뷰 영상들에 각각 포함된 동일한 깊이 값을 갖는 영역들의 위치 차이는 영상 디스패리티(Image disparity)로 정의될 수 있다. 일 실시예에서, 영상 디스패리티는 인접한 두 개의 뷰 영상들에 각각 포함된 동일한 깊이 값을 갖는 영역들에 포함된 각각의 픽셀들의 위치 차이로 정의될 수도 있다.

일 실시예에서, 정면 뷰 영상에 포함된 제1 영역과 제1 측면 뷰 영상에 포함된 제1 영역 간의 위치 차이는 제1 영상 디스패리티로 정의될 수 있다. 일 실시예에서, 정면 뷰 영상에 포함된 제2 영역과 제1 측면 뷰 영상에 포함된 제2 영역 간의 위치 차이는 제2 영상 디스패리티로 정의될 수 있다.

일 실시예에서, 영상 디스패리티는 물체와 카메라들간의 거리, 카메라들의 초점 거리(focal length) 및 해당 영역의 깊이 값에 기초하여 결정될 수 있다. 일 실시예에서, 영상 디스패리티의 크기는 물체와 카메라들간의 거리 및 카메라들의 초점 거리에 비례할 수 있다. 일 실시예에서, 영상 디스패리티의 크기는 해당 영역의 깊이 값에 반비례 할 수 있다.

일 실시예에서, 제1 영상 디스패리티는 제1 물체 영역과 카메라들간의 거리, 카메라들의 초점 거리 및 제1 깊이 값에 기초하여 결정될 수 있다. 일 실시예에서, 제2 영상 디스패리티는 제2 물체 영역과 카메라들간의 거리, 카메라들의 초점 거리 및 제2 깊이 값에 기초하여 결정될 수 있다.

일 실시예에서, 영역이 갖는 깊이 값이 작을수록 해당 영역의 영상 디스패리티는 커진다. 일 실시예에서, 제1 영상 디스패리티는 제2 영상 디스패리티보다 클 수 있다.

일 실시예에서, 정면 뷰 영상과 제1 측면 뷰 영상 사이의 뷰 차이와, 정면 뷰 영상과 제2 측면 뷰 영상 사이의 뷰 차이가 동일할 경우, 정면 뷰 영상과 제2 측면 뷰 영상에 각각 포함된 제1 영역들 간의 위치 차이도 제1 영상 디스패리티로 정의될 수 있다. 일 실시예에서, 정면 뷰 영상과 제2 측면 뷰 영상에 각각 포함된 제2 영역들 간의 위치 차이도 제2 영상 디스패리티로 정의될 수 있다.

일 실시예에서, 복수의 뷰 영상들(SIM) 중 인접한 두 개의 뷰 영상들에 포함된 제1 및 제2 영역들 간의 위치 차이가 각각 제1 및 제2 영상 디스패리티로 정의될 수도 있다.

일 실시예에서, 복수의 뷰 영상들(SIM) 각각은 세 개 이상의 서로 다른 깊이 값을 갖는 영역들을 포함할 수도 있다. 일 실시예에서, 인접한 두 개의 뷰 영상들에 포함된 세 개 이상의 영역들 간의 위치 차이는 각각 세 개 이상의 영상 디스패리티들로 정의될 수도 있다.

일 실시예에서, 훈련 거리 정보(TD_n)는 베이스 패널(210)과 레이어 패널(220) 사이의 거리에 기초하여 결정되는 훈련 거리를 포함할 수 있다. 일 실시예에서, 훈련 거리 정보(TD_n)는 제1 기준 거리(d₁, 도 5a 참조) 내지 제1 기준 거리(d₁)보다 큰 제2 기준 거리(d₄, 도 6a 참조)에서 랜덤하게 선택된 훈련 거리를 포함할 수 있다.

일 실시예에서, 훈련 거리 정보(TD_n)는 디스플레이 패널(200)에 포함되는 베이스 패널(210)과 레이어 패널(220) 사이의 거리에 대응하여, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)을 훈련시키기 위한 정보이다.

일 실시예에서, 전자 장치(100)는 제1 기준 거리(d₁) 및 제2 기준 거리(d₄) 사이에서 랜덤하게 선택된 훈련 거리를 포함하는 훈련 거리 정보(TD_n) 및 입력 영상(LFIM)에 기초하여 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)을 훈련하는 과정을 반복할 수 있다. 상기한 과정을 통하여 훈련된 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 제1 기준 거리(d₁) 내지 제2 기준 거리(d₄) 사이 중 어느 하나의 거리에 해당하는 간격으로 디스플레이 패널(200)에 배치된 베이스 패널(210) 및 레이어 패널(220)에 대응하여 동작할 수 있다. 훈련 거리 정보(TD_n) 및 훈련 거리는 도 5a 내지 도 6c에 대한 설명에서 후술하도록 한다.

일 실시예에서, 적어도 하나의 프로세서(400)는 전처리 모듈(330)의 명령어들 또는 프로그램 코드를 실행함으로써, 입력 영상(LFIM)을 전처리 할 수 있다. 일 실시예에서, 입력 영상(LFIM)이 복수의 뷰 영상들(SIM)을 포함할 때, 적어도 하나의 프로세서(400)는 전처리 모듈(330)의 명령어들 또는 프로그램 코드를 실행함으로써 복수의 뷰 영상들(SIM)을 전처리 할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 전처리 모듈(330)의 명령어들 또는 프로그램 코드를 실행함으로써 입력 영상(LFIM)에 포함된 노이즈(noise) 등을 제거할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써 입력 영상(LFIM) 및 훈련 거리 정보(TD_n)에 기초하여 변화 플로우를 획득할 수 있다. 일 실시예에서, 변화 플로우는 후술할 영상 와핑 모듈(360)에서 입력 영상(LFIM)을 와핑하는 정도를 결정하기 위한 정보를 포함할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써 전처리된 입력 영상 및 훈련 거리 정보(TD_n)에 기초하여 변화 플로우를 획득할 수도 있다. 전처리된 입력 영상은 노이즈 등이 제거되었으므로, 변화 측정 모듈(340)이 획득하는 변화 플로우의 정확도를 높일 수 있다.

일 실시예에서, 변화 플로우는 영상 와핑 모듈(360)에서 훈련 거리 정보(TD_n)에 포함된 훈련 거리와 동일한 거리의 간격으로 배치된 베이스 패널(210)과 레이어 패널(220)에 각각 표시할 표시할 서브 영상(LIM)을 생성하기 위하여 입력 영상(LFIM)을 와핑하는 정도를 결정하기 위한 정보를 포함할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 입력 영상(LFIM)에 포함된 복수의 뷰 영상들(SIM) 중 인접한 뷰에서 획득된 두 개의 뷰 영상들에 기초하여 카메라의 뷰의 변화에 따른 각각의 뷰 영상들(SIM)에 포함된 영역들의 위치 차이 정보인 영상 디스패리티를 획득할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 각각의 뷰 영상들(SIM)에 포함된 제1 영역의 제1 영상 디스패리티 및 제2 영역의 제2 영상 디스패리티를 획득할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 물체와 카메라들간의 거리 및 카메라의 초점 거리는 일정하고, 각 영역들이 갖는 깊이 값의 크기와 각 영역들의 영상 디스패리티가 반비례 한다는 것에 기초하여 각 영역들이 갖는 깊이 값을 획득할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 제1 영상 디스패리티에 기초하여 입력 영상(LFIM)에 포함된 제1 영역이 갖는 제1 깊이 값을 획득할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 제2 영상 디스패리티에 기초하여 입력 영상(LFIM)에 포함된 제2 영역이 갖는 제2 깊이 값을 획득할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 훈련 거리 정보(TD_n) 및 입력 영상(LFIM)이 갖는 깊이 값에 기초하여 변화 플로우를 획득할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 훈련 거리 정보(TD_n)에 포함된 훈련 거리, 제1 깊이 값 및 제2 깊이 값에 기초하여 베이스 패널(210)로부터 훈련 거리만큼 이격된 레이어 패널(220)에 선명하게 표시되는 레이어 영상을 생성하기 위하여 입력 영상(LFIM)을 와핑하는 정도에 대한 정보를 포함하는 변화 플로우를 획득할 수 있다.

일 실시예에서, 영상 와핑 모듈(360)은 입력 영상(LFIM)을 와핑(Warping)하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 영상 와핑 모듈(360)의 명령어들 또는 프로그램 코드를 실행함으로써, 입력 영상(LFIM)을 와핑할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 영상 와핑 모듈(360)의 명령어들 또는 프로그램 코드를 실행함으로써, 변화 플로우에 기초하여 입력 영상(LFIM)을 와핑할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 영상 와핑 모듈(360)의 명령어들 또는 프로그램 코드를 실행함으로써, 변화 플로우에 기초하여 정면 뷰 영상을 기준으로 나머지 뷰 영상들을 와핑할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 영상 와핑 모듈(360)의 명령어들 또는 프로그램 코드를 실행함으로써, 정면 뷰 영상을 기준으로 나머지 뷰 영상들을 와핑하여 정면 뷰 영상 및 나머지 뷰 영상들 각각에 포함된 복수의 영역들의 영상 디스패리티를 변경할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 영상 와핑 모듈(360)의 명령어들 또는 프로그램 코드를 실행함으로써, 복수의 뷰 영상들(SIM) 중 정면 뷰 영상을 기준으로, 나머지 뷰 영상들을 와핑하여 각각의 뷰 영상들에 포함된 제1 영역 및 제2 영역의 깊이 값 및 영상 디스패리티를 변경할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 실행함으로써, 전처리 된 입력 영상에 기초하여 서브 영상(LIM)을 생성할 수 있다. 일 실시예에서, 메모리(300)에 전처리 모듈(330)이 포함되지 않은 경우, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 실행함으로써, 입력 영상(LFIM)에 기초하여 서브 영상(LIM)을 생성할 수도 있다.

일 실시예에서, 서브 영상(LIM)은 복수의 서브 레이어 영상들(SLIM)을 포함할 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 디스플레이 패널(200)에 포함된 복수의 서브 패널들의 개수 등에 대한 정보를 제공받을 수 있다. 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 실행함으로써, 복수의 서브 패널들에 대응되는 복수의 서브 레이어 영상들(SLIM)을 생성할 수 있다. 복수의 서브 레이어 영상(SLIM)은 베이스 패널(210)에 표시할 베이스(base) 영상 및 레이어 패널(220)에 표시할 레이어 영상을 포함한다.

도 1 및 도 3에는 디스플레이 패널(200)이 하나의 레이어 패널(220)을 포함하는 것이 도시되었으나, 본 개시는 이에 제한되지 않는다. 디스플레이 패널(200)은 하나의 베이스 패널(210) 및 두 개 이상의 레이어 패널들을 포함할 수도 있다. 일 실시예에서 설명되는 레이어 패널(220)은 디스플레이 패널(200)에 포함된 하나 이상의 레이어 패널들 중 사용자(US)에게 가장 인접한 레이어 패널을 의미할 수 있다. 또한, 레이어 패널(220)에 표시되는 레이어 영상은, 하나 이상의 레이어 패널들에 각각 표시되는 서브 레이어 영상 중 사용자(US)에게 가장 인접한 레이어 패널에 표시되는 서브 레이어 패널을 의미할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 실행함으로써, 팩토리제이션을 수행하여 전처리된 입력 영상으로부터 레이어 영상(LIM)을 생성할 수도 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 실행함으로써, 팩토리제이션을 수행하여 전처리된 입력 영상으로부터 복수의 서브 레이어 영상들(SLIM)을 생성할 수 있다.

일 실시예에서, 서브 영상(LIM)은 사용자(110, 도 1 참조)에게 입체감을 제공하는 출력 영상(120)을 제공하기 위하여 디스플레이 패널(200)에 표시되는 영상이다. 일 실시예에서, 전자 장치(100)는 복수의 서브 레이어 영상들(SLIM)을 디스플레이 패널(200)에 포함된 복수의 서브 패널들(210, 220)에 각각 표시한다. 전자 장치(100)는 복수의 뷰 영상들(SIM)을 촬영한 각각의 카메라들과 동일한 뷰에 위치한 사용자(110)에게 각각의 뷰에 대응되는 뷰 영상을 재현하는 출력 영상(120)을 제공할 수 있다. 일 실시예에서, 전자 장치(100)는 베이스 패널(210)에 베이스 영상을 표시하고, 레이어 패널(220)에 레이어 영상을 표시하여 사용자(110)가 위치한 뷰에 대응되는 뷰 영상을 재현한 출력 영상(120)을 제공할 수 있다.

일 실시예에서, 시뮬레이션 모듈(380)은 서브 영상(LIM)을 디스플레이 패널(200)에 표시할 경우, 사용자(110)에게 제공될 출력 영상(120)을 생성하기 위한 시뮬레이션(Simulation)을 수행하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 시뮬레이션 모듈(380)의 명령어들 또는 프로그램 코드를 실행함으로써, 서브 영상(LIM)을 디스플레이 패널(200)에 표시할 경우, 사용자(110)에게 제공될 출력 영상(120)을 생성하기 위한 시뮬레이션을 수행한다. 일 실시예에서, 적어도 하나의 프로세서(400)는 시뮬레이션 모듈(380)의 명령어들 또는 프로그램 코드를 실행함으로써, 베이스 패널(210)에 베이스 영상을 표시하고, 레이어 패널(220)에 레이어 영상을 표시하는 경우 전자 장치(100)가 사용자(110)에게 제공하는 출력 영상(120)을 생성하기 위한 시뮬레이션을 수행한다.

일 실시예에서, 시뮬레이션 모듈(380)은 디스플레이 패널(200)에 포함된 복수의 서브 패널들의 개수, 각각의 서브 패널들 간의 간격 등에 대한 정보를 제공받을 수 있다. 일 실시예에서, 시뮬레이션 모듈(380)은 디스플레이 패널(200)에 베이스 패널(210)과 레이어 패널(220)이 포함되었다는 정보 및 베이스 패널(210)과 레이어 패널(220) 사이의 거리 정보 등을 제공받을 수 있다. 일 실시예에서, 시뮬레이션 모듈(380)은 훈련 거리 정보(TD_n)에 포함된 훈련 거리를 제공받을 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 시뮬레이션 모듈(380)의 명령어들 또는 프로그램 코드를 실행함으로써, 베이스 패널(210)과 레이어 패널(220)간의 거리가 훈련 거리일 때, 전자 장치(100)가 입력 영상(LFIM)을 획득한 카메라들의 뷰와 동일한 뷰에 위치한 사용자(110)에게 제공하는 훈련 영상(TIM)을 생성하는 시뮬레이션을 수행한다. 일 실시예에서, 훈련 영상(TIM)은 복수의 서브 훈련 영상들(TSIM)을 포함할 수 있다. 일 실시예에서, 각각의 서브 훈련 영상들(TSIM)은 전자 장치(100)가 서로 다른 뷰에 위치한 사용자(110)에게 제공하는 영상일 수 있다. 일 실시예에서, 각각의 서브 훈련 영상들(TSIM)은 사용자(110)가 위치한 뷰와 동일한 뷰에서 카메라로 획득된 각각의 뷰 영상들(SIM)에 대응된다.

일 실시예에서, 변화 측정 모듈(340)은 시뮬레이션 모듈(380)에서 생성된 훈련 영상(TIM)을 제공받을 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 훈련 영상(TIM)을 기준으로 하여, 입력 영상(LFIM)을 와핑하는 정도를 결정하기 위한 변화 플로우를 획득할 수 있다. 일 실시예에서, 변화 측정 모듈(340)은 입력 영상(LFIM)과 훈련 영상(TIM)의 차이에 기초하여 손실 값을 획득하는 손실 함수(loss function)에 기초하여 훈련될 수 있다. 일 실시예에서, 변화 측정 모듈(340)은 전처리된 입력 영상과 훈련 영상(TIM)의 차이에 기초하여 손실 값을 획득하는 손실 함수에 기초하여 훈련될 수도 있다.

일 실시예에서, 변화 측정 모듈(340)은 손실 함수(loss function)에 기초하여 손실 값이 작아지도록 훈련될 수 있다. 변화 측정 모듈(340)은 입력 영상(LFIM) 또는 전처리된 입력 영상과 훈련 영상(TIM)의 차이가 작아지도록 훈련될 수 있다. 변화 측정 모듈(340)은 입력 영상(LFIM) 또는 전처리된 입력 영상과 훈련 영상(TIM)의 차이가 작아지도록 변화 플로우를 생성하도록 훈련될 수 있다. 변화 측정 모듈(340)의 가중치는 입력 영상(LFIM) 또는 전처리된 입력 영상과 훈련 영상(TIM)의 차이가 줄어들도록 업데이트 될 수 있다. 일 실시예에서, 변화 측정 모듈(340)은 입력 영상(LFIM) 또는 전처리된 입력 영상과 훈련 영상(TIM)의 차이가 작아지도록 영상 와핑 모듈(360)이 입력 영상(LFIM)을 와핑하는 정도를 다르게 하도록 훈련될 수 있다.

도 4에는 변화 측정 모듈(340)에서 입력 영상(LFIM) 또는 전처리된 입력 영상과 훈련 영상(TIM)의 차이인 손실 함수를 계산하는 동작 및 손실 함수의 손실 값을 최소화하기 위하여 훈련하는 동작이 수행되는 것으로 도시되었다. 다만, 본 개시는 이에 한정되지 않고, 메모리(300)는 입력 영상(LFIM) 또는 전처리된 입력 영상과 훈련 영상(TIM)의 차이인 손실 함수를 계산하는 모듈 및 손실 함수의 손실값을 최소화하기 위한 변화 플로우를 생성하기 위해 훈련되는 모듈이 별도로 포함할 수도 있다.

일 실시예에서, 손실 계산 모듈(370)은 와핑된 입력 영상 및 훈련 영상(TIM)의 차이에 기초하여 손실 값을 획득하는 손실 함수(Loss Function)에 기초하여 서브 영상 생성 모듈(350)의 가중치를 업데이트하는 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 손실 계산 모듈(370)의 명령어들 또는 프로그램 코드를 실행함으로써, 영상 와핑 모듈(360)에서 와핑된 입력 영상과 훈련 영상(TIM)의 차이에 기초하여 손실 값을 계산할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 손실 계산 모듈(370)의 명령어들 또는 프로그램 코드를 실행함으로써, 와핑된 입력 영상에 포함된 각각의 영역들이 갖는 깊이 값 또는 영상 디스패리티와 훈련 영상(TIM)에 포함된 각각의 영역들이 갖는 깊이 값 또는 영상 디스패리티의 차이에 기초하여 손실 값을 계산할 수 있다.

일 실시예에서, 서브 영상 생성 모듈(350)은 손실 계산 모듈(370)에서 계산되는 손실 값에 기초하여 가중치를 업데이트 할 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 손실 계산 모듈(370)에서 계산되는 손실 값이 작아지도록 훈련될 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 서브 영상(LIM)에 기초한 시뮬레이션을 통해 생성된 훈련 영상(TIM)과 와핑된 입력 영상의 차이가 작아지도록 훈련될 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)은 시뮬레이션 모듈(380)에서 시뮬레이션을 수행할 때, 와핑된 입력 영상과 유사한 훈련 영상(TIM)이 획득되도록 하는 서브 영상(LIM)을 생성하도록 훈련될 수 있다.

도 4에는 손실 계산 모듈(370)과 서브 영상 생성 모듈(350)이 별도의 모듈로 구성되는 것이 도시되어 있다. 다만, 본 개시는 이에 제한되지 않고, 손실 계산 모듈(370)의 동작과 서브 영상 생성 모듈(350)의 동작이 하나의 모듈에서 이루어질 수도 있다.

일 실시예에서, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)의 훈련을 통하여, 적어도 하나의 프로세서(400)는 다양한 깊이 값을 갖는 복수의 영역들을 포함하는 입력 영상(LFIM)을 베이스 패널(210) 및 베이스 패널(210)로부터 훈련 거리와 동일한 거리로 이격되어 배치된 레이어 패널(220)에 표시하기 위하여 와핑할 수 있다.

일 실시예에서, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)의 훈련을 통하여, 적어도 하나의 프로세서(400)는 전자 장치(100)가 사용자(110)에게 와핑된 입력 영상을 재현한 출력 영상(IM)을 제공할 수 있도록 입력 영상(LFIM) 또는 전처리 된 입력 영상에 기초하여 서브 영상(LIM)을 생성할 수 있다.

도 5a는 일 실시예에서, 전자 장치의 동작을 설명하기 위한 도면이다. 이하, 도 3 및 도 4에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고 설명은 생략하도록 한다.

도 5a를 참조하면, 도 5a에는 디스플레이 패널(200)이 베이스 패널(210), 레이어 패널(220) 및 광학층(230)을 포함하는 것으로 도시되어 있다. 다만, 본 개시는 이에 한정되지 않고, 디스플레이 패널(200)은 백라이트(240, 도 3 참조) 및 복수의 서브 패널들을 더 포함할 수도 있다.

일 실시예에서, 광학층(230)은 베이스 패널(210) 상에 배치되어 있다. 레이어 패널(220)은 광학층(230) 상에 배치되어 있다. 일 실시예에서, 디스플레이 패널(200)은 베이스 패널(210)의 하단에 배치된 백라이트(240)를 더 포함할 수 있다.

일 실시예에서, 베이스 패널(210)과 레이어 패널(220)은 서로 간의 간격을 달리 하여 디스플레이 패널(200)에 포함될 수 있다.

일 실시예에서, 베이스 패널(210)의 위치를 기준 라인(BL)이라고 할 때, 레이어 패널(220)은 기준 라인(BL)으로부터 제1 기준 거리(d₁)에 위치할 수 있다. 일 실시예에서, 베이스 패널(210)의 상면과 나란한 라인을 기준 라인(BL)이라고 할 때, 레이어 패널(220)의 하면은 기준 라인(BL)으로부터 제1 기준 거리(d₁)만큼 이격될 수 있다.

일 실시예에서, 제1 기준 거리(d₁)는 디스플레이 패널(200)에 포함될 수 있는 베이스 패널(210)과 레이어 패널(220) 사이의 거리 중 가장 가까운 거리에 대응되는 거리일 수 있다. 일 실시예에서, 후술할 제2 기준 거리(d₄, 도 6a 참조)는 디스플레이 패널(200)에 포함될 수 있는 베이스 패널(210)과 레이어 패널(220) 사이의 거리 중 가장 먼 거리에 대응되는 거리일 수 있다.

일 실시예에서, 베이스 패널(210) 및 레이어 패널(220)은 각각 복수의 컬러 필터들을 포함할 수 있다. 일 실시예에서, 미도시된 백라이트(240)에서 제공되는 광(LT)은 베이스 패널(210)에 포함된 복수의 컬러 필터들 중 어느 하나의 컬러 필터인 제1 컬러 필터(P1) 및 레이어 패널(220)에 포함된 복수의 컬러 필터들 중 어느 하나의 컬러 필터인 제2 컬러 필터(P2)를 거쳐 사용자(110)에게 제공될 수 있다.

일 실시예에서, 사용자(110)의 위치에 따라, 백라이트(240)에서 제공되는 광(LT)이 지나가는 베이스 패널(210)에 포함된 어느 하나의 컬러 필터 및 레이어 패널(220)에 포함된 어느 하나의 컬러 필터의 조합은 달라질 수 있다.

일 실시예에서, 사용자(110)가 전자 장치(100, 도 1 참조)의 정면에 위치하는 경우에 사용자(110)에게 제공되는 광(LT_a)을 제1 광(LT_a)이라 정의할 수 있다. 사용자(110)가 전자 장치(100)의 측면에 위치하는 경우에 사용자(110)에게 제공되는 광(LT_b)를 제2 광(LT_b)이라 정의할 수 있다.

일 실시예에서, 제1 컬러 필터(P1)을 투과한 광(LT)이 투과하는 제2 컬러 필터(P2)는 사용자(110)의 위치에 따라 달라질 수 있다. 제2 컬러 필터(P2)는 제1 광(LT_a)이 투과하는 제1 서브 컬러 필터(P2_a) 및 제2 광(LT_b)이 투과하는 제2 서브 컬러 필터(P2_b)를 포함할 수 있다.

일 실시예에서, 사용자(110)가 전자 장치(100)의 정면에 위치할 때, 제1 컬러 필터(P1)를 투과한 제1 광(LT_a)은 제1 서브 컬러 필터(P2_a)를 투과한다. 사용자(110)가 전자 장치(100)의 측면에 위치할 때, 제1 컬러 필터(P1)를 투과한 제2 광(LT_b)은 제2 서브 컬러 필터(P2_a)를 투과한다.

일 실시예에서, 사용자(110)에게 제공되는 광(LT1)의 휘도(luminance)는 광(LT)이 지나가는 제1 컬러 필터(P1)의 투과율(transmittance) 및 제2 컬러 필터(P2)의 컬러 필터의 투과율에 의해 결정될 수 있다. 일 실시예에서, 제1 컬러 필터(P1)의 투과율을

이라고 하고, 제2 컬러 필터(P2)의 투과율은

이라고 할 때, 제1 컬러 필터(P1) 및 제2 컬러 필터(P2)를 투과하여 사용자(110)에게 제공되는 광(LT)의 휘도는

에 대응하여 결정될 수 있다.

일 실시예에서, 사용자(110)에게 제공되는 제1 광(LT_a)의 휘도(luminance)는 제1 컬러 필터(P1)의 투과율 및 제1 서브 컬러 필터(P2_a)의 투과율에 의해 결정될 수 있다. 사용자(110)에게 제공되는 제2 광(LT_b)의 휘도(luminance)는 제1 컬러 필터(P1)의 투과율 및 제2 서브 컬러 필터(P2_b)의 투과율에 의해 결정될 수 있다. 일 실시예에서, 제1 서브 컬러 필터(P2_a)의 투과율과 제2 서브 컬러 필터(P2_b)의 투과율은 서로 다를 수 있다. 따라서 사용자(110)의 위치에 따라 사용자(110)에게 제공되는 광의 휘도가 다를 수 있다.

일 실시예에서, 사용자(110)에게 제공되는 광(LT)의 파장은 광(LT)이 지나가는 제1 컬러 필터(P1)의 컬러와 제2 컬러필터(P2)의 컬러에 의해 결정될 수 있다. 일 실시예에서, 사용자(110)에게 제공되는 제1 광(LT_a)의 파장은 제1 광(LT_a)이 지나가는 제1 컬러 필터(P1)의 컬러와 제1 서브 컬러 필터(P2_a)의 컬러에 의해 결정될 수 있다. 일 실시예에서, 사용자(110)에게 제공되는 제2 광(LT_b)의 파장은 제2 광(LT_b)이 지나가는 제1 컬러 필터(P1)의 컬러와 제2 서브 컬러 필터(P2_b)의 컬러에 의해 결정될 수 있다. 일 실시예에서, 제1 서브 컬러 필터(P2_a)의 컬러와 제2 서브 컬러 필터(P2_b)의 컬러는 서로 다를 수 있다. 따라서 사용자(110)의 위치에 따라 사용자(110)에게 제공되는 광의 파장이 다를 수 있다.

사용자(110)의 위치에 따라 제공되는 제1 광(LT_a) 및 제2 광(LT_b)의 휘도 및 파장 중 적어도 하나가 서로 다르기 때문에, 사용자(110)는 전자 장치(100)가 표시하는 출력 영상(120, 도 1 참조)에 포함되는 물체의 입체감을 느낄 수 있다.

일 실시예에서, 레이어 패널(220)은 베이스 패널(210)의 상면에 배치되어, 레이어 패널(220)이 베이스 패널(210)보다 사용자(110)와 인접하고 있다. 일 실시예에서, 사용자(110)의 뷰의 변화에 따라 제1 광(LT_a) 및 제2 광(LT_b)이 지나가는 레이어 패널(220)에 포함된 제1 및 제2 서브 컬러 필터들(P2_a, P2_b)의 위치가 변하고, 베이스 패널(210)에 포함된 제1 컬러 필터(P1)의 위치는 변하지 않을 수 있다. 또한, 사용자(110)는 레이어 패널(220)을 거쳐 베이스 패널(210)을 볼 수 있다. 따라서, 레이어 패널(220)에 표시되는 레이어 영상이 선명하게 표시될수록, 사용자(110)의 시인성을 높일 수 있다. 레이어 패널(220)에 표시되는 레이어 영상 중 선명하게 표시되는 레이어 영역이 넓을수록 사용자(110)의 시인성을 높일 수 있다.일 실시예에서, 베이스 패널(210)과 레이어 패널(220) 사이의 거리에 대응하여, 사용자(110)의 뷰의 변화에 따른 광(LT)이 지나가는 레이어 패널(220)에 포함된 컬러 필터의 위치 변화의 크기가 달라질 수 있다. 일 실시예에서, 베이스 패널(210)과 레이어 패널(220) 사이의 거리가 멀어질수록, 사용자(110)의 뷰의 변화에 따른 광(LT)이 지나가는 레이어 패널(220)에 포함된 컬러 필터의 위치 변화의 크기가 커질 수 있다.

일 실시예에서, 제1 광(LT_a)을 제공받는 사용자(110)의 위치와 제2 광(LT_b)을 제공받는 사용자(110)의 위치는 인접한 위치일 수 있다. 일 실시예에서, 제1 광(LT_a)을 제공받는 사용자(110)의 뷰와 제2 광(LT_b)을 제공받는 사용자(110)의 뷰의 차이는 전술한 인접한 두 개의 뷰 영상들을 촬영한 카메라들의 뷰의 변화와 같을 수 있다.

일 실시예에서, 인접한 위치의 사용자(110)에게 제공되는 광(LT)이 지나가는 레이어 패널(220)의 컬러 필터의 위치 차이는 픽셀 디스패리티(Pixel Disparity)로 정의될 수 있다. 일 실시예에서, 레이어 패널(220)의 컬러 필터의 위치 차이는 베이스 패널(210)과 레이어 패널(220) 사이의 거리에 따라 달라질 수 있다. 베이스 패널(210)과 레이어 패널(220) 사이의 거리가 멀어질수록, 픽셀 디스패리티는 커질 수 있다.

일 실시예에서, 영상 디스패리티는 인접한 두 개의 뷰 영상들에서 동일한 깊이 값을 가진 영역에 포함된 픽셀의 위치 차이를 의미할 수 있다. 이때, 픽셀의 위치 차이는 영역이 갖는 깊이 값의 크기에 따라 달라진다.

일 실시예에서, 레이어 패널(220)에는 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 영역들을 포함하는 레이어 영상이 표시될 수 있다. 일 실시예에서, 레이어 패널(220)에는 픽셀 디스패리티에 대응되는 깊이 값을 갖는 영역을 포함하는 레이어 영상이 표시될 수 있다.

일 실시예에서, 레이어 패널(220)에 표시되는 레이어 영상이 복수의 깊이 값을 갖는 복수의 레이어 영역들을 포함할 때, 레이어 영상 중 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 레이어 영역은 레이어 패널(220)에 선명하게 표시될 수 있다. 일 실시예에서, 레이어 영상 중 픽셀 디스패리티에 대응되는 깊이 값을 갖는 레이어 영역은 레이어 패널(220)에 선명하게 표시될 수 있다. 일 실시예에서, 사용자(110)는 레이어 패널(220)에 표시되는 복수의 레이어 영역들 중 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 레이어 영역을 선명하게 볼 수 있다. 일 실시예에서, 사용자(110)는 레이어 패널(220)에 표시되는 복수의 레이어 영역들 중 해당 레이어 패널(220)의 픽셀 디스패리티와 동일한 영상 디스패리티를 갖는 레이어 영역을 선명하게 볼 수 있다.

사용자(110)의 위치 변화에 따른 레이어 패널(220)에 표시되는 레이어 영역 내의 픽셀들의 위치 변화와, 레이어 패널(220)의 컬러 필터의 위치 변화가 대응되기 때문이다.

일 실시예에서, 베이스 패널(210)로부터 제1 기준 거리(d₁)만큼 이격된 레이어 패널(220)의 픽셀 디스패리티를 제1 기준 픽셀 디스패리티(

)라 정의할 수 있다.

일 실시예에서, 레이어 패널(220)이 베이스 패널(210)로부터 제1 기준 거리(d₁)만큼 이격되어 있을 때, 레이어 영상 중 제1 기준 픽셀 디스패리티(

)에 대응되는 영상 디스패리티를 갖는 깊이 값을 가진 레이어 영역은 사용자(110)에게 선명하게 제공될 수 있다. 레이어 영상 중 제1 기준 픽셀 디스패리티(

)에 대응되지 않는 영상 디스패리티를 갖는 깊이 값을 가진 레이어 영역은 사용자(110)에게 불-선명(blur)하게 제공될 수 있다.

일 실시예에서, 제1 기준 픽셀 디스패리티(

)에 대응되는 영상 디스패리티를 제1 기준 영상 디스패리티로 정의할 수 있다. 이 경우, 레이어 영상 중 제1 기준 영상 디스패리티를 갖는 레이어 영역은 사용자(110)에게 선명하게 제공되고, 제1 기준 영상 디스패리티를 갖지 않는 레이어 영역은 사용자(110)에게 불-선명하게 제공될 수 있다.

일 실시예에서, 제1 기준 영상 디스패리티에 대응되는 깊이 값을 제1 기준 이 값이라고 정의할 수 있다. 일 실시예에서, 레이어 영상 중 제1 기준 깊이 값을 갖는 레이어 영역은 사용자(110)에게 선명하게 제공되고, 제1 기준 깊이 값을 갖지 않는 레이어 영역은 사용자(110)에게 불-선명하게 제공될 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 레이어 영상에 포함된 레이어 영역의 깊이 값과 제1 기준 깊이 값의 차이가 작을수록, 사용자(110)에게 제공되는 레이어 영역은 레이어 패널(220)에 선명하게 표시될 수 있다.

도 5b는 본 개시의 일 실시예에 따른 서브 영상 생성 모듈의 훈련 과정을 설명하기 위한 도면이다. 도 5c는 본 개시의 일 실시예에 따른 훈련 거리 정보를 설명하기 위한 도면이다.

도 5b 및 도 5c를 참조하면, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)의 훈련을 위하여 제1 기준 거리(d₁)로 선택된 훈련 거리를 포함하는 제1 훈련 거리 정보(TD₁) 및 입력 영상(LFIM)이 훈련 데이터셋으로 제공될 수 있다. 이하, 도 4에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

일 실시예에서, 도 5c에 도시된 제1 훈련 거리 정보(TD₁)는 복수의 훈련 영역들(TAR)을 포함한다. 일 실시예에서, 복수의 훈련 영역들(TAR)은 입력 영상(LFIM)에 포함된 복수의 영역들에 각각 대응되는 영역일 수 있다. 도 5c에는 각각의 훈련 영역들(TAR)이 사각 형상을 갖는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 복수의 훈련 영역들(TAR)의 형상은 둥근 형상 등을 포함할 수도 있다. 또한, 도 5c에는 제1 훈련 거리 정보(TD1)가 4X4로 이루어진 16개의 훈련 영역들(TAR)을 포함하는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 제1 훈련 거리 정보(TD₁)는 16개보다 적거나, 많은 훈련 영역들을 포함할 수도 있다. 이하, 설명의 편의를 위하여 제1 훈련 거리 정보(TD₁)는 각각 사각 형상을 갖는 4X4의 16개의 훈련 영역들(TAR)을 갖는 것으로 설명한다.

일 실시예에서, 입력 영상(LFIM)이 제1 깊이 값을 갖는 제1 영역 및 제1 깊이 값과 상이한 제2 깊이 값을 갖는 제2 영역을 포함할 때, 훈련 거리 정보(TD_n)은 동일한 훈련 거리가 각각 제1 영역 및 제2 영역에 대응되도록 생성된 정보일 수 있다. 도 5c를 참조하면, 제1 훈련 거리 정보(TD₁)에 포함된 복수의 훈련 영역들(TAR)은 제1 기준 거리(d₁)로 선택된 훈련 거리를 갖는다. 제1 훈련 거리 정보(TD₁)는 제1 기준 거리(d₁)가 제1 영역에 대응되는 적어도 하나의 훈련 영역 및 제1 기준 거리(d₁)가 제2 영역에 대응되는 적어도 하나의 훈련 영역에 대응되도록 생성된 정보일 수 있다.

일 실시예에서, 제1 훈련 거리 정보(TD₁)는 시뮬레이션 모듈(380)에 제공되는 베이스 패널(210)과 레이어 패널(220) 사이의 거리 정보를 포함할 수 있다. 일 실시예에서, 제1 훈련 거리 정보(TD₁)가 훈련 데이터셋으로 제공될 경우, 적어도 하나의 프로세서(400)는 시뮬레이션 모듈(380)의 명령어들 또는 프로그램 코드를 실행함으로써, 베이스 패널(210) 및 레이어 패널(220)의 거리 정보가 제1 기준 거리(d₁)인 것으로 시뮬레이션을 수행한다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 제1 훈련 거리 정보(TD₁) 및 입력 영상(LFIM)에 기초하여 변화 플로우를 획득할 수 있다. 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 제1 훈련 거리 정보(TD₁) 및 전처리된 입력 영상에 기초하여 변화 플로우를 획득할 수 있다. 변화 플로우는 영상 와핑 모듈(360)에서 제1 훈련 거리 정보(TD₁)에 포함된 제1 기준 거리(d₁)와 동일한 거리의 간격으로 배치된 베이스 패널(210)과 레이어 패널(220)에 각각 표시할 서브 영상(LIM)을 생성하기 위하여 입력 영상(LFIM)을 와핑하는 정도를 결정하기 위한 정보를 포함할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써, 제1 기준 픽셀 디스패리티(

)를 갖는 레이어 패널(220)에 표시되는 레이어 영상을 선명하게 하기 위하여, 영상 와핑 모듈(360)이 입력 영상(LFIM)을 와핑하는 정도를 제어할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 실행함으로써 와핑된 입력 영상과 유사한 훈련 영상(TIM)을 획득할 수 있도록 레이어 영상을 생성하기 때문이다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 실행함으로써 제1 훈련 거리 정보(TD₁) 및 입력 영상(LFIM)에 기초하여, 와핑된 입력 영상에 포함된 복수의 영역들의 각각의 깊이 값들과 제1 깊이 값의 차이가 작아지도록 영상 와핑 모듈(360)을 제어하는 변화 플로우를 획득할 수 있다.

따라서, 도 5b 및 도 5c를 통하여 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 베이스 패널(210)과 레이어 패널(220) 사이의 간격이 제1 기준 거리(d₁)일 때 입력 영상(LFIM)에 기초하여 서브 영상(LIM)을 생성하도록 훈련될 수 있다. 일 실시예에서, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 입력 영상(LFIM)에 포함된 복수의 영역들의 각각의 깊이 값들과 제1 깊이 값의 차이가 작아지도록 입력 영상(LFIM)을 와핑하고, 와핑된 입력 영상(LFIM)에 기초하여 제1 기준 픽셀 디스패리티(

)를 갖는 레이어 패널(220)에 선명하게 표시되는 레이어 영상을 생성할 수 있도록 훈련될 수 있다.

도 6a는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다. 이하, 도 5a에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

도 6a를 참조하면, 도 6a에는 디스플레이 패널(200)이 베이스 패널(210), 레이어 패널(220) 및 광학층(230)을 포함하는 것으로 도시되어 있다.

일 실시예에서, 베이스 패널(210)의 위치를 기준 라인(BL)이라고 할 때, 레이어 패널(220)은 기준 라인(BL)으로부터 제2 기준 거리(d₄)에 위치할 수 있다. 일 실시예에서, 베이스 패널(210)의 상면과 나란한 라인을 기준 라인(BL)이라고 할 때, 레이어 패널(220)의 하면은 기준 라인(BL)으로부터 제2 기준 거리(d₄)만큼 이격될 수 있다.

일 실시예에서, 제2 기준 거리(d₄)는 디스플레이 패널(200)에 포함될 수 있는 베이스 패널(210)과 레이어 패널(220) 사이의 거리 중 가장 먼 거리에 대응되는 거리일 수 있다.

일 실시예에서, 베이스 패널(210) 및 레이어 패널(220)은 각각 복수의 컬러 필터들을 포함할 수 있다. 일 실시예에서, 미도시된 백라이트(240)에서 제공되는 광(LT)은 베이스 패널(210)에 포함된 복수의 컬러 필터들 중 어느 하나의 컬러 필터인 제1 컬러 필터(P1) 및 레이어 패널(220)에 포함된 복수의 컬러 필터들 중 어느 하나의 컬러 필터인 제3 컬러 필터(P4)를 거쳐 사용자(110)에게 제공될 수 있다.

일 실시예에서, 사용자(110)가 전자 장치(100, 도 1 참조)의 정면에 위치하는 경우에 사용자(110)에게 제공되는 광(LT_a)을 제3 광(LT_c)이라 정의할 수 있다. 사용자(110)가 전자 장치(100)의 측면에 위치하는 경우에 사용자(110)에게 제공되는 광(LT_b)를 제4 광(LT_d)이라 정의할 수 있다.

일 실시예에서, 제1 컬러 필터(P1)을 투과한 광(LT)이 투과하는 제3 컬러 필터(P4)는 사용자(110)의 위치에 따라 달라질 수 있다. 제3 컬러 필터(P4)는 제3 광(LT_c)이 투과하는 제3 서브 컬러 필터(P4_a) 및 제4 광(LT_d)이 투과하는 제4 서브 컬러 필터(P4_b)를 포함할 수 있다.

일 실시예에서, 사용자(110)가 전자 장치(100)의 정면에 위치할 때, 제1 컬러 필터(P1)를 투과한 제3 광(LT_c)은 제3 서브 컬러 필터(P4_a)를 투과한다. 사용자(110)가 전자 장치(100)의 측면에 위치할 때, 제1 컬러 필터(P1)를 투과한 제4 광(LT_d)은 제4 서브 컬러 필터(P4_b)를 투과한다.

일 실시예에서, 사용자(110)에게 제공되는 제3 광(LT_c)의 휘도(luminance)는 제1 컬러 필터(P1)의 투과율 및 제3 서브 컬러 필터(P4_a)의 투과율에 의해 결정될 수 있다. 사용자(110)에게 제공되는 제4 광(LT_d)의 휘도(luminance)는 제1 컬러 필터(P1)의 투과율 및 제4 서브 컬러 필터(P4_b)의 투과율에 의해 결정될 수 있다. 일 실시예에서, 제1 컬러 필터(P1)의 투과율을

이라고 하고, 제3 컬러 필터(P4)의 투과율은

이라고 할 때, 제1 컬러 필터(P1) 및 제3 컬러 필터(P4)를 투과하여 사용자(110)에게 제공되는 광(LT)의 휘도는

에 대응하여 결정될 수 있다.

일 실시예에서, 제3 서브 컬러 필터(P4_a)의 투과율과 제4 서브 컬러 필터(P4_b)의 투과율은 서로 다를 수 있다. 따라서 사용자(110)의 위치에 따라 사용자(110)에게 제공되는 광의 휘도가 다를 수 있다.

일 실시예에서, 사용자(110)에게 제공되는 광(LT)의 파장은 광(LT)이 지나가는 제1 컬러 필터(P1)의 컬러와 제3 컬러필터(P3)의 컬러에 의해 결정될 수 있다. 일 실시예에서, 사용자(110)에게 제공되는 제3 광(LT_c)의 파장은 제3 광(LT_c)이 지나가는 제1 컬러 필터(P1)의 컬러와 제3 서브 컬러 필터(P4_a)의 컬러에 의해 결정될 수 있다. 일 실시예에서, 사용자(110)에게 제공되는 제4 광(LT_d)의 파장은 제4 광(LT_d)이 지나가는 제1 컬러 필터(P1)의 컬러와 제4 서브 컬러 필터(P4_b)의 컬러에 의해 결정될 수 있다. 일 실시예에서, 제3 서브 컬러 필터(P4_a)의 컬러와 제4 서브 컬러 필터(P4_b)의 컬러는 서로 다를 수 있다. 따라서 사용자(110)의 위치에 따라 사용자(110)에게 제공되는 광의 파장이 다를 수 있다.

사용자(110)의 위치에 따라 제공되는 제3 광(LT_c) 및 제4 광(LT_d)의 휘도 또는 파장 중 적어도 하나가 서로 다르기 때문에, 사용자(110)는 전자 장치(100)가 표시하는 출력 영상(120, 도 1 참조)에 포함되는 물체의 입체감을 느낄 수 있다. 또한, 도 5a와 비교할 때, 제1 서브 컬러 필터(P2_a)와 제3 서브 컬러 필터(P4_a)의 투과율 또는 파장 중 적어도 하나가 서로 다르고, 제2 서브 컬러 필터(P2_b)와 제4 서브 컬러 필터(P4_b)의 투과율 또는 파장 중 적어도 하나가 다를 수 있다. 따라서 레이어 패널(220)이 베이스 패널(210)로부터 제1 기준 거리(d₁)만큼 이격된 경우에 표시될 수 있는 레이어 영상과 베이스 패널(210)로부터 제2 기준 거리(d₄)만큼 이격된 경우에 표시될 수 있는 레이어 영상은 서로 다를 수 있다.

일 실시예에서, 베이스 패널(210)로부터 제2 기준 거리(d₄)만큼 이격된 레이어 패널(220)의 픽셀 디스패리티를 제2 기준 픽셀 디스패리티(

)라 정의할 수 있다. 일 실시예에서, 제2 기준 픽셀 디스패리티(

)는 제1 기준 픽셀 디스패리티(

)보다

배만큼 클 수 있다.

일 실시예에서, 레이어 패널(220)이 베이스 패널(210)로부터 제2 기준 거리(d₄)만큼 이격되어 있을 때, 레이어 영상 중 제2 기준 픽셀 디스패리티(

)에 대응되는 영상 디스패리티를 갖는 깊이 값을 가진 레이어 영역은 사용자(110)에게 선명하게 제공될 수 있다. 레이어 영상 중 제2 기준 픽셀 디스패리티(

일 실시예에서, 제2 기준 픽셀 디스패리티(

)에 대응되는 영상 디스패리티를 제2 기준 영상 디스패리티로 정의할 수 있다. 이 경우, 레이어 영상 중 제2 기준 영상 디스패리티를 갖는 레이어 영역은 사용자(110)에게 선명하게 제공되고, 제2 기준 영상 디스패리티를 갖지 않는 레이어 영역은 사용자(110)에게 불-선명하게 제공될 수 있다. 일 실시예에서, 제2 기준 영상 디스패리티에 대응되는 깊이 값을 제2 기준 깊이 값이라고 정의할 수 있다. 일 실시예에서, 레이어 영상 중 제2 기준 깊이 값을 갖는 레이어 영역은 사용자(110)에게 선명하게 제공되고, 제2 기준 깊이 값을 갖지 않는 레이어 영역은 사용자(110)에게 불-선명하게 제공될 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 레이어 영상에 포함된 레이어 영역의 깊이 값과 제2 기준 깊이 값의 차이가 작을수록, 사용자(110)에게 제공되는 레이어 영역이 선명해질 수 있다.

도 6b는 본 개시의 일 실시예에 따른 서브 영상 생성 모듈의 훈련 과정을 설명하기 위한 도면이다. 도 6c는 본 개시의 일 실시예에 따른 훈련 거리 정보를 설명하기 위한 도면이다.

도 6b 및 도 6c를 참조하면, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)의 훈련을 위하여 제2 기준 거리(d₄)로 선택된 훈련 거리를 포함하는 제2 훈련 거리 정보(TD₄) 및 입력 영상(LFIM)이 훈련 데이터셋으로 제공될 수 있다. 이하, 도 4, 도 5b 및 도 5c에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

일 실시예에서, 도 6c에 도시된 제2 훈련 거리 정보(TD₄)는 복수의 훈련 영역들(TAR)을 포함한다. 일 실시예에서, 복수의 훈련 영역들(TAR)은 입력 영상(LFIM)에 포함된 복수의 영역들에 각각 대응되는 영역일 수 있다. 도 6c를 참조하면, 제2 훈련 거리 정보(TD₄)에 포함된 복수의 훈련 영역들(TAR)은 제2 기준 거리(d₄)로 선택된 훈련 거리를 갖는다. 제2 훈련 거리 정보(TD₄)는 제2 기준 거리(d₄)가 각각 제1 영역에 대응되는 적어도 하나의 훈련 영역 및 제2 영역에 대응되는 적어도 하나의 훈련 영역에 대응되도록 생성된 정보일 수 있다.

일 실시예에서, 제2 훈련 거리 정보(TD₄)는 시뮬레이션 모듈(380)에 제공되는 베이스 패널(210)과 레이어 패널(220) 사이의 거리 정보를 포함할 수 있다. 일 실시예에서, 제2 훈련 거리 정보(TD₄)가 훈련 데이터셋으로 제공될 경우, 적어도 하나의 프로세서(400)는 시뮬레이션 모듈(380)의 명령어들 또는 프로그램 코드를 수행함으로써 베이스 패널(210) 및 레이어 패널(220)의 거리 정보가 제2 기준 거리(d₄)인 것으로 시뮬레이션을 수행한다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340) 의 명령어들 또는 프로그램 코드를 수행함으로써 제2 훈련 거리 정보(TD₄) 및 입력 영상(LFIM)에 기초하여 변화 플로우를 획득할 수 있다. 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 수행함으로써 제2 훈련 거리 정보(TD₄) 및 전처리된 입력 영상에 기초하여 변화 플로우를 획득할 수 있다. 변화 플로우는 영상 와핑 모듈(360)에서 제2 훈련 거리 정보(TD₄)에 포함된 제2 기준 거리(d₄)와 동일한 거리의 간격으로 배치된 베이스 패널(210)과 레이어 패널(220)에 각각 표시할 서브 영상(LIM)을 생성하기 위하여 입력 영상(LFIM)을 와핑하는 정도를 결정하기 위한 정보를 포함할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 제2 기준 픽셀 디스패리티(를 갖는 레이어 패널(220)에 표시되는 레이어 영상(LIM)을 선명하게 하기 위하여, 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 수행함으로써, 영상 와핑 모듈(360)이 입력 영상(LFIM)을 와핑하는 정도를 제어할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)의 명령어들 또는 프로그램 코드를 수행함으로써, 제2 훈련 거리 정보(TD₄) 및 입력 영상(LFIM)에 기초하여, 와핑된 입력 영상에 포함된 복수의 영역들의 각각의 깊이 값들과 제2 깊이 값의 차이가 작아지도록 영상 와핑 모듈(360)을 제어하는 변화 플로우를 획득할 수 있다.

따라서, 도 6b 및 도 6c를 통하여 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 베이스 패널(210)과 레이어 패널(220) 사이의 간격이 제2 기준 거리(d₄)일 때 입력 영상(LFIM)에 기초하여 레이어 영상(LIM)을 생성하도록 훈련될 수 있다. 일 실시예에서, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 입력 영상(LFIM)에 포함된 복수의 영역들의 각각의 깊이 값들과 제2 깊이 값의 차이가 작아지도록 입력 영상(LFIM)을 와핑하고, 와핑된 입력 영상(LFIM)에 기초하여 제2 기준 픽셀 디스패리티(

일 실시예에서, 도 4 내지 도 6c를 참조하면, 훈련 거리 정보(TD_n)는 제1 기준 거리(d₁) 내지 제2 기준 거리(d₄)에서 랜덤하게 선택된 훈련 거리를 포함할 수 있다. 따라서, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 레이어 패널(220)이 베이스 패널(210)로부터 제1 기준 거리(d₁) 내지 제2 기준 거리(d₄) 중 어느 하나의 거리에 위치하는 경우에, 입력 영상(LFIM)에 기초하여 서브 영상을 생성하도록 훈련될 수 있다. 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 레이어 패널(220)이 베이스 패널(210)로부터 제1 기준 거리(d₁) 내지 제2 기준 거리(d₄) 중 어느 하나의 거리에 위치하는 경우에, 복수의 서로 다른 깊이 값들을 갖는 복수의 영역들을 포함하는 입력 영상(LFIM)에 기초하여 레이어 패널(220)에 표시되는 레이어 영상을 생성하도록 훈련될 수 있다.

일 실시예에서, 변화 측정 모듈(340) 및 서브 영상 생성 모듈(350)은 입력 영상(LFIM)에 포함된 복수의 영역들의 각각의 깊이 값들과 특정 픽셀 디스패리티에 대응되는 깊이 값의 차이가 작아지도록 입력 영상(LFIM)을 와핑하고, 와핑된 입력 영상(LFIM)에 기초하여, 제1 기준 픽셀 디스패리티(

) 내지 제2 기준 픽셀 디스패리티(

)의 사이의 특정 픽셀 디스패리티를 갖는 레이어 패널(220)에 선명하게 표시되는 레이어 영상을 생성하도록 훈련될 수 있다.

도 7은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 순서도이다. 도 8은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다. 도 9는 본 개시의 일 실시예에 따른 깊이 맵을 설명하기 위한 도면이다. 도 10은 본 개시의 일 실시예에 따른 보정 맵을 설명하기 위한 도면이다. 이하, 도 4에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다. 또한, 전자 장치(100)에 포함된 베이스 패널(210, 도 13 참조)와 레이어 패널(220, 도 13 참조) 간의 간격이 제1 거리(d₂)인 것으로 설명한다.

도 7, 도 8 및 도 9를 참조하면, 일 실시예에서, 전자 장치(100)의 동작 방법은 제1 영역(AR1) 및 제2 영역(AR2)을 포함하는 입력 영상(LFIM)을 획득하는 단계(S100)를 포함한다. 일 실시예에서, 제1 영역(AR1)은 제1 깊이 값(DV₂)을 갖고, 제2 영역(AR2)은 제1 깊이 값(DV₂)과 상이한 제2 깊이 값(DV₃, DV₄)을 가질 수 있다.

일 실시예에서, 제1 깊이 값(DV₂)은 레이어 패널(220)의 픽셀 디스패리티와 대응되는 영상 디스패리티를 갖는 깊이 값일 수 있다.

일 실시예에서, 제2 깊이 값(DV₃, DV₄)은 제1 서브 깊이 값(DV₃) 및 제2 서브 깊이 값(DV₄)을 포함할 수 있다. 일 실시예에서, 입력 영상(LFIM)은 제1 깊이 값(DV₂) 및 제2 깊이 값(DV₃, DV₄)과 상이한 제3 깊이 값(DV₁)를 포함하는 제3 영역(AR3)을 더 포함할 수도 있다. 제2 깊이 값(DV₃, DV₄) 및 제3 깊이 값(DV₁)에 대한 상세한 설명은 후술하도록 한다.

일 실시예에서, 입력 영상(LFIM)은 제1 깊이 값(DV₂)을 갖는 제1 영역(AR1) 및 제2 깊이 값(DV_3,DV₄)을 갖는 제2 영역(AR2)만을 포함할 수도 있다. 입력 영상(LFIM)은 네 개 이상의 서로 다른 깊이 값을 갖는 영역들을 포함할 수 있다. 또한, 제2 깊이 값은 하나의 서브 깊이 값 또는 세 개 이상의 서브 깊이 값을 포함할 수도 있다.

도 7, 도 8, 도 9 및 도 10을 참조하면, 일 실시예에서, 전자 장치(100)의 동작 방법은, 제1 깊이 값(DV₂)을 나타내기 위한 제1 보정 값(CV₂)을 제1 영역(AR1)에 할당하고, 제2 깊이 값(DV₃, DV₄)을 나타내기 위한 제2 보정 값(CV₃, CV₄)을 제2 영역(AR2)에 할당하는 보정 맵(CBM, CBM-1)을 생성하는 단계(S200)를 포함할 수 있다. 일 실시예에서, 입력 영상(LFIM)이 제1 내지 제3 영역들(AR1, AR2, AR3)을 포함하는 경우, 전자 장치(100)의 동작 방법은, 제1 깊이 값(DV₂)을 나타내기 위한 제1 보정 값(CV₂)을 제1 영역(AR1)에 할당하고, 제2 깊이 값(DV₃, DV₄)을 나타내기 위한 제2 보정 값(CV₃, CV₄)을 제2 영역(AR2)에 할당하고, 제3 깊이 값(DV₁)을 제3 영역(AR3)에 할당하는 보정 맵(CBM, CBM-1)을 생성하는 단계를 포함할 수 있다.

일 실시예에서, 보정 맵(CBM, CBM-1)을 생성하는 단계(S200)는 입력 영상(LFIM)에 기초하여 깊이 맵(DM)을 획득하는 단계 및 획득한 깊이 맵(DM)에 기초하여 보정 맵(CBM, CBM-1)을 생성하는 단계를 더 포함할 수도 있다.

일 실시예에서, 깊이 맵(DM)을 획득하는 단계에서, 적어도 하나의 프로세서(400)은 깊이 맵 획득 모듈(310)을 실행하여 입력 영상(LFIM)으로부터 깊이 맵(DM)을 획득할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 깊이 맵 획득 모듈(310)을 실행하여 입력 영상(LFIM)에 포함된 복수의 영역들(AR1, AR2, AR3)에 각각 대응되는 복수의 깊이 값들(DV₁, DV_2, DV₃, DV₄)을 포함하는 깊이 맵(DM)을 획득할 수 있다. 일 실시예에서, 깊이 맵(DM)은 제1 깊이 값(DV₂)을 갖는 제1 영역(AR1), 제1 서브 깊이 값(DV₃)을 갖는 제1 서브 영역(AR2_a), 제2 서브 깊이 값(DV₄)을 갖는 제2 서브 영역(AR2_b) 및 제3 깊이 값(DV₁)을 갖는 제3 영역(AR3)을 포함할 수 있다.

일 실시예에서, 깊이 맵(DM)에 기초하여 보정 맵(CBM, CBM-1)을 생성하는 단계에서, 적어도 하나의 프로세서(400)는 보정 맵 생성 모듈(320)을 실행하여 깊이 맵(DM)에 기초하여 보정 맵(CBM, CBM-1)을 생성할 수 있다.

일 실시예에서, 보정 맵(CBM, CBM-1)은 레이어 패널(220)에 표시되는 복수의 레이어 영역들을 포함하는 레이어 영상 중 선명하게 표시될 레이어 영역에 대한 정보를 포함할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 레이어 패널(220)에 표시되는 레이어 영상에 포함되는 복수의 레이어 영역들 중 선명하게 표시할 레이어 영역에 대한 정보를 포함하는 보정 맵(CBM, CBM-1)을 생성할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 레이어 패널(220)에 표시되는 레이어 영상에 포함되는 복수의 레이어 영역들 중 선명하게 표시할 레이어 영역 및 불-선명하게 표시할 레이어 영역에 대한 정보를 포함하는 영역 선택 정보를 획득하고, 상기 영역 선택 정보 및 깊이 맵(DM)에 기초하여 보정 맵(CBM, CBM-1)을 생성할 수도 있다.

일 실시예에서, 영역 선택 정보에 기초하여 레이어 패널(220)에 표시되는 레이어 영상 중 선명한 레이어 영역 및 불-선명한 레이어 영역을 선택할 수 있다. 일 실시예에서, 영역 선택 정보는 도 14 내지 도 16에서 후술할 시선 정보를 포함할 수 있다.

일 실시예에서, 보정 맵(CBM, CBM-1)은 깊이 맵(DM)에 포함된 복수의 영역들(AR1, AR2, AR3)에 각각 대응되는 복수의 보정 영역들(CAR1, CAR2, CAR3)을 포함한다. 일 실시예에서, 보정 맵(CBM, CBM-1)에 포함된 복수의 보정 영역들(CAR1, CAR2, CAR3) 각각은 대응되는 복수의 영역들(AR1, AR2, AR3)에 포함된 복수의 깊이 값들(DV₁, DV_2, DV₃, DV₄) 및 복수의 거리들(d₁, d₂, d₃, d₄) 에 기초하여 생성한 복수의 보정 값들(CV₁, CV₂, CV₃, CV₄, CV₂`)을 포함할 수 있다.

일 실시예에서, 각각의 보정값들(CV₁, CV₂, CV₃, CV₄, CV₂`)은, 각각의 깊이 값들(DV₁, DV_2, DV₃, DV₄) 및 베이스 패널(210)과 레이어 패널(220) 사이의 거리 정보에 기초하여 생성된 값일 수 있다. 일 실시예에서, 각각의 보정값들(CV₁, CV₂, CV₃, CV₄, CV₂`)은 복수의 영역들(AR1, AR2, AR3)의 영상 디스패리티에 대응되는 값일 수도 있다.

일 실시예에서, 보정 맵(CBM, CBM-1)은 레이어 패널(220)에 표시되는 레이어 영상에 포함되는 복수의 레이어 영역들 중 선명하게 표시할 레이어 영역의 범위에 따라 구분되는 제1 보정 맵(CBM) 및 제2 보정 맵(CBM-1)을 포함할 수 있다.

일 실시예에서, 제1 보정 맵(CBM)은 레이어 패널(220)에 표시되는 레이어 영상에 포함되는 복수의 레이어 영역들을 모두 선명하게 표시하기 위한 정보를 포함할 수 있다. 일 실시예에서, 제1 보정 맵(CBM)은 제1 보정 값(CV₂)을 포함하는 제1 보정 영역(CAR1), 제2 보정 값(CV₃, CV₄)을 포함하는 제2 보정 영역(CAR2) 및 제3 보정 값(CV₄)을 포함하는 제3 보정 영역(CAR3)을 포함할 수 있다.

일 실시예에서, 제1 보정 맵(CBM)은 제1 내지 제3 보정 영역(CAR1, CAR2, CAR3)에 각각 대응되는 레이어 영상의 복수의 레이어 영역들을 레이어 패널(220)에 선명하게 표시하기 위한 정보를 포함할 수 있다.

도 9 및 도 10을 참조할 때, 일 실시예에서, 제1 보정 영역(CAR1)의 제1 보정 값(CV₂)은, 대응되는 제1 영역(AR1)의 제1 깊이 값(DV₂) 및 제1 거리(d₂, 도 13 참조)에 기초하여 생성될 수 있다. 일 실시예에서, 제1 거리(d₂)는 제1 깊이 값(DV2)을 갖는 레이어 영역이 선명하게 표시될 수 있는 베이스 패널(210)과 레이어 패널(220, 도 13 참조) 사이의 거리이다. 일 실시예에서, 제1 보정 값(CV₂)은 제1 깊이 값(DV₂)을 갖는 제1 영역(AR1)의 영상 디스패리티에 대응될 수 있다. 제1 보정 값(CV₂)은 제1 깊이 값(DV₂)을 나타내기 위한 값일 수 있다.

일 실시예에서, 제2 보정 영역(CAR2)의 제2 보정 값(CV₃, CV₄)은, 대응되는 제2 영역(AR2)의 제2 깊이 값(DV₃, DV₄) 및 제2 거리(d₃, d₄, 도 12a 참조)에 기초하여 생성될 수 있다. 일 실시예에서, 제2 거리(d₃, d₄)는 제2 깊이 값(DV₃, DV₄)을 갖는 레이어 영역이 선명하게 표시될 수 있는 베이스 패널(210)과 가상 레이어 패널 사이의 거리이다. 일 실시예에서, 제2 거리(d₃, d₄)는 베이스 패널(210)과 레이어 패널(220) 사이의 거리인 제1 거리(d₂)와 상이하다. 일 실시예에서, 제2 보정 값(CV₃, CV₄)은 제2 깊이 값(DV₃, DV₄)을 갖는 제2 영역(AR2)의 영상 디스패리티에 대응될 수 있다. 제2 보정 값(CV₃, CV₄)은 제2 깊이 값(DV₃, DV₄)을 나타내기 위한 값일 수 있다.

일 실시예에서, 제2 보정 영역(CAR2)은 제1 서브 보정 영역(CAR2_a) 및 제2 서브 보정 영역(CAR2_b)을 포함하고, 제2 보정 값(CV₃, CV₃₄)은 제1 서브 보정 값(CV₃) 및 제2 서브 보정 값(CV₄)을 포함한다. 일 실시예에서, 제1 서브 보정 영역(CAR2_a)은 제1 서브 보정 값(CV₃)을 포함한다. 제2 서브 보정 영역(CAR2_b)은 제1 서브 보정 값(CV₄)을 포함한다. 일 실시예에서, 제2 거리(d₃, d₄)은 제1 서브 거리(d₃) 및 제2 서브 거리(d₄)을 포함한다.

일 실시예에서, 제1 서브 보정 영역(CAR2_a)의 제1 서브 보정 값(CV₃)은 대응되는 제1 서브 영역(AR2_a)의 제1 서브 깊이 값(DV₃) 및 제1 서브 거리(d₃)에 기초하여 생성될 수 있다. 일 실시예에서, 제1 서브 거리(d₃)은 제1 서브 깊이 값(DV₃)을 갖는 레이어 영역이 선명하게 표시될 수 있는 베이스 패널(210)과 가상 레이어 패널 사이의 거리이다. 일 실시예에서, 제1 서브 거리(d₃)은 제1 거리(d₂)보다 크다. 일 실시예에서, 제1 서브 보정 값(CV₃)은 제1 서브 깊이 값(DV₃)을 갖는 제1 서브 영역(AR2_a)의 영상 디스패리티에 대응될 수 있다. 제1 서브 보정 값(CV₃)은 제1 서브 깊이 값(DV₃)을 나타내기 위한 값일 수 있다.

일 실시예에서, 제2 서브 보정 영역(CAR2_b)의 제2 서브 보정 값(CV₄)은 대응되는 제2 서브 영역(AR2_b)의 제2 서브 깊이 값(DV₄) 및 제2 서브 거리(d₄)에 기초하여 생성될 수 있다. 일 실시예에서, 제2 서브 거리(d₄)은 제2 서브 깊이 값(DV₄)을 갖는 레이어 영역이 선명하게 표시될 수 있는 베이스 패널(210)과 가상 레이어 패널 사이의 거리이다. 일 실시예에서, 제2 서브 거리(d₄)은 제1 거리(d₂) 및 제1 서브 거리(d₃)보다 크다. 일 실시예에서, 제2 서브 보정 값(CV₄)은 제2 서브 깊이 값(DV₄)을 갖는 제2 서브 영역(AR2_b)의 영상 디스패리티에 대응될 수 있다. 제2 서브 보정 값(CV₄)은 제2 서브 깊이 값(DV₄)을 나타내기 위한 값일 수 있다.

일 실시예에서, 제3 보정 영역(CAR3)의 제3 보정 값(CV₁)은, 대응되는 제3 영역(AR3)의 제3 깊이 값(DV₁) 및 제3 거리(d₁, 도 12a 참조)에 기초하여 생성될 수 있다. 일 실시예에서, 제3 거리(d₁)는 제3 깊이 값(DV1)을 갖는 레이어 영역이 선명하게 표시될 수 있는 베이스 패널(210)과 가상 레이어 패널 사이의 거리이다. 일 실시예에서, 제3 거리(d₁)은 제1 거리(d₂)보다 작다. 일 실시예에서, 제3 보정 값(CV₁)은 제3 깊이 값(DV₁)을 갖는 제3 영역(AR3)의 영상 디스패리티에 대응될 수 있다. 제3 보정 값(CV₁)은 제3 깊이 값(DV₁)을 나타내기 위한 값일 수 있다.

일 실시예에서, 제2 보정 맵(CBM-1)은 레이어 패널(220)에 표시되는 레이어 영상에 포함되는 복수의 레이어 영역들 중 일부 영역을 선명하게 표시하기 위한 정보를 포함할 수 있다. 일 실시예에서, 제2 보정 맵(CBM-1)은 제1 보정 값(CV₂)을 포함하는 제1 보정 영역(CAR1), 제2 보정 값(CV₃, CV₄)을 포함하는 제2 보정 영역(CAR2) 및 제4 보정 값(CV₂`)을 포함하는 제3 보정 영역(CAR3)을 포함할 수 있다.

일 실시예에서, 제2 보정 맵(CBM-1)은 제1 보정 영역(CAR1)에 대응되는 레이어 영상의 레이어 영역 및 제2 보정 영역(CAR2)에 대응되는 레이어 영상의 레이어 영역을 레이어 패널(220)에 선명하게 표시하기 위한 정보를 포함할 수 있다. 제2 보정 맵(CBM-1)의 제3 보정 영역(CAR3)에 대응되는 레이어 영상(LIM)의 레이어 영역은 레이어 패널(220)에 불-선명하게 표시될 수 있다.

도 9 및 도 10을 참조할 때, 일 실시예에서, 제1 보정 영역(CAR1)의 제1 보정 값(CV₂)은, 대응되는 제1 영역(AR1)의 제1 깊이 값(DV₂) 및 제1 거리(d₂, 도 13 참조)에 기초하여 생성될 수 있다. 제1 보정 값(CV₂)은 제1 깊이 값(DV₂)을 나타내기 위한 값일 수 있다.

일 실시예에서, 제2 보정 영역(CAR2)의 제2 보정 값(CV₃, CV₄)은, 대응되는 제2 영역(AR2)의 제2 깊이 값(DV₃, DV₄) 및 제2 거리(d₃, d₄, 도 12a 참조)에 기초하여 생성될 수 있다. 제2 보정 값(CV₃, CV₄)은 제2 깊이 값(DV₃, DV₄)을 나타내기 위한 값일 수 있다.

일 실시예에서, 제2 보정 영역(CAR2)은 제1 서브 보정 영역(CAR2_a) 및 제2 서브 보정 영역(CAR2_b)을 포함하고, 제2 보정 값(CV₃, CV₄)은 제1 서브 보정 값(CV₃) 및 제2 서브 보정 값(CV₄)을 포함한다. 일 실시예에서, 제1 서브 보정 영역(CAR2_a)은 제1 서브 보정 값(CV₃)을 포함한다. 제2 서브 보정 영역(CAR2_b)은 제1 서브 보정 값(CV₄)을 포함한다. 제1 서브 보정 값(CV₃)은 제1 서브 깊이 값(DV₃)을 나타내기 위한 값이고, 제2 서브 보정 값(CV₄)은 제2 서브 깊이 값(DV₄)을 나타내기 위한 값일 수 있다.

일 실시예에서, 제3 보정 영역(CAR3)의 제4 보정 값(CV₂`)은, 대응되는 제3 영역(AR3)의 제3 깊이 값(DV₁) 및 제1 거리(d₂)에 기초하여 생성될 수 있다. 일 실시예에서, 제1 거리(d₂)는 제3 깊이 값(DV₁)을 갖는 레이어 영역이 불-선명하게 표시되는 베이스 패널(210)과 레이어 패널(220) 사이의 거리이다. 본 개시는 이에 제한되지 않는다. 제4 보정 값(CV₂`)은 제3 깊이 값(DV₁)을 갖는 레이어 영역이 선명하게 표시될 수 있는 제3 거리(d₁)가 아닌 다른 거리에 기초하여 생성될 수도 있다. 일 실시예에서, 제4 보정 값(CV₂`)은 제3 깊이 값(DV₁)을 갖는 제3 영역(AR3)의 영상 디스패리티에 대응되지 않을 수 있다. 제4 보정 값(CV₂`)은 제3 깊이 값(DV₁)이 아닌, 다른 깊이 값을 나타내기 위한 값일 수 있다.

도 7 및 도 8을 참조하면, 전자 장치(100)의 동작 방법은, 입력 영상(LFIM) 및 보정 맵(CBM/CBM-1)을 전처리 하는 단계를 포함할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 전처리 모듈(330)을 실행하여 입력 영상(LFIM) 및 보정 맵(CBM/CBM-1)을 전처리 할 수 있다. 일 실시예에서, 입력 영상(LFIM)과 보정 맵(CBM/CBM-1)은 순차적으로 연결되어(Concatenrate) 전처리 모듈(330)에 제공될 수 있다. 다만, 본 개시는 이에 제한되지 않고, 일 실시예에서, 전자 장치(100)의 동작 방법은, 입력 영상(LFIM) 및 보정 맵(CBM/CBM-1)을 전처리 하는 단계를 포함하지 않을 수도 있다.

일 실시예에서, 전자 장치(100)의 동작 방법은, 입력 영상(LFIM) 및 보정 맵(CBM/CBM-1)에 기초하여 변화 플로우를 획득할 수도 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)을 실행하여 입력 영상(LFIM) 및 보정 맵(CBM/CBM-1)에 기초한 변화 플로우를 획득할 수 있다. 다만, 본 개시에는 이에 제한되지 않고, 일 실시예에서, 전자 장치(100)의 동작 방법은, 입력 영상(LFIM) 및 보정 맵(CBM/CBM-1)에 기초하여 변화 플로우를 획득하는 단계를 포함하지 않을 수도 있다.

일 실시예에서, 입력 영상(LFIM)이 제1 영역 및 제2 영역을 포함하는 경우, 전자 장치(100)의 동작 방법은, 입력 영상(LFIM)에 보정 맵(CBM/CBM-1)을 적용함으로써 제1 영역(AR1)에 대응되는 제1 출력 영역 및 제2 영역(AR2)에 대응되는 제2 출력 영역을 포함하는 출력 영상(120, 도1 참조)을 생성하는 단계(S300)를 포함할 수 있다. 일 실시예에서, 입력 영상(LFIM)이 제1 영역(AR1), 제2 영역(AR2) 및 제3 영역(AR3)을 포함하는 경우, 출력 영상(120)은 제1 영역(AR1)에 대응되는 제1 출력 영역, 제2 영역(AR2)에 대응되는 제2 출력 영역 및 제3 영역(AR3)에 대응되는 제3 출력 영역을 포함하는 출력 영상(120)을 생성하는 단계를 포함할 수도 있다. 이하, 설명의 편의를 위하여 입력 영상(LFIM)이 제1 내지 제3 영역들(AR1, AR2, AR3)을 포함하는 것으로 설명한다.

일 실시예에서, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)을 실행하여 입력 영상(LFIM)에 보정 맵(CBM/CBM-1)을 적용하여 출력 영상(120)을 생성할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)을 실행하여 전처리된 입력 영상에 전처리된 보정 맵을 적용하여 출력 영상(120)을 생성할 수도 있다. 또한, 적어도 하나의 프로세서(400)는 전처리된 입력 영상에 전처리된 보정 맵 및 전처리된 변화 플로우를 적용하여 출력 영상(120)을 생성할 수도 있다.일 실시예에서, 출력 영상(120)을 생성하는 단계(S300)는, 입력 영상(LFIM)에 보정 맵(CBM, CBM-1)을 적용함으로써 베이스 패널(210)에 표시되는 베이스 영상을 생성하는 단계를 포함할 수 있다. 출력 영상(120)을 생성하는 단계(S300)는, 입력 영상(LFIM)에 보정 맵(CBM, CBM-1)을 적용함으로써 레이어 패널(220)에 표시되는 레이어 영상을 생성하는 단계를 포함할 수 있다. 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)을 실행하여 베이스 패널(210)에 표시할 베이스 영상 및 레이어 패널(220)에 표시할 레이어 영상을 생성할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 인공 지능 모델을 포함하는 서브 영상 생성 모듈(350)을 실행하여 베이스 영상 및 레이어 영상을 생성할 수 있다. 일 실시예에서, 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델은 입력 영상(LFIM)에 기초하여 베이스 패널(210)에 표시할 베이스 영상 및 베이스 패널(210)로부터 제1 기준 거리(d₁, 도 5a 참조) 내지 제2 기준 거리(d₄, 도 6a 참조) 사이에 포함된 어느 하나의 거리에 배치된 레이어 패널(220)에 표시할 레이어 영상을 생성하도록 훈련된 모델일 수 있다.

일 실시예에서, 전자 장치(100)에 포함된 베이스 패널(210)과 레이어 패널(220)의 거리는 제1 거리(d₂)이다. 서브 영상 생성 모듈(350)에 포함된 인공 지능 모델은 입력 영상(LFIM)에 기초하여 베이스 패널(210)로부터 제1 거리(d₂)에 배치된 레이어 패널(220)에 표시할 레이어 영상을 생성하도록 훈련된 모델이다. 이하, 설명의 편의를 위하여 제1 거리(d₂)를 기준 거리로 지칭한다.

도 8, 도 9 및 도 10을 참조하면, 일 실시예에서, 출력 영상(120)을 생성하는 단계에서 입력 영상(LFIM)에 제1 보정 맵(CBM)을 적용하는 경우, 적어도 하나의 프로세서(400)는 제1 보정 값(CV₂)을 대응되는 제1 영역(AR1)에 할당하고, 제2 보정 값(CV₃, CV₄)을 대응되는 제2 영역(AR2)에 할당하고, 제3 보정 값(CV₁)을 대응되는 제3 영역(AR3)에 할당할 수 있다.

일 실시예에서, 입력 영상(LFIM)에 제1 보정 맵(CBM)을 적용함으로써 생성된 출력 영상(120)은, 할당된 제1 보정 값(CV₂)에 따라 제1 깊이 값(DV₂)이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 제1 출력 영역, 할당된 제2 보정 값(CV₃, CV₄)에 따라 제2 깊이 값(DV₃, DV₄)이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 제2 출력 영역 및 할당된 제3 보정 값(CV₁)에 따라, 제3 깊이 값(DV₁)이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 제3 출력 영역을 포함할 수 있다.

일 실시예에서, 출력 영상(120)을 생성하는 단계에서 입력 영상(LFIM)에 제2 보정 맵(CBM-1)을 적용하는 경우, 적어도 하나의 프로세서(400)는 제1 보정 값(CV₂)을 대응되는 제1 영역(AR1)에 할당하고, 제2 보정 값(CV₃, CV₄)을 대응되는 제2 영역(AR2)에 할당하고, 제4 보정 값(CV₂`)을 대응되는 제3 영역(AR3)에 할당할 수 있다.

일 실시예에서, 입력 영상(LFIM)에 제2 보정 맵(CBM-1)을 적용함으로써 생성된 출력 영상(120)은, 할당된 제1 보정 값(CV₂)에 따라 제1 깊이 값(DV₂)이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 제1 출력 영역, 할당된 제2 보정 값(CV₃, CV₄)에 따라 제2 깊이 값(DV₃, DV₄)이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 제2 출력 영역 및 할당된 제4 보정 값(CV₂`)에 따라 제3 깊이 값(DV₁)과 상이한 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 제3 출력 영역을 포함할 수 있다.

일 실시예에서, 후술할 레이어 영상은, 입력 영상(LFIM)에 적용된 제1 보정 맵(CBM) 또는 제2 보정 맵(CBM-1)에 의해 할당된 보정 값들(CV₁, CV₂, CV₃, CV₄, CV₂`)이 나타내는 깊이 값이 기준 거리(d₂)에 따라 변환된 깊이 값을 갖는 복수의 레이어 영역들을 포함할 수 있다. 일 실시예에서, 전자 장치(100)는 베이스 패널(210)에 베이스 영상을 표시하고, 레이어 패널(220)에 레이어 영상을 표시함으로써, 디스플레이 패널(220)에 표시되는 출력 영상(120)을 사용자(US, 도 1 참조)에게 제공할 수 있다. 레이어 영상에 포함된 복수의 레이어 영역들이 각각 할당된 깊이 값이 기준 거리(d₂)에 따라 변환된 깊이 값을 가지므로, 출력 영상(120)에 포함된 각각의 복수의 출력 영역들은 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다.

일 실시예에서, 입력 영상(LFIM)에 제1 보정 맵(CBM) 또는 제2 보정 맵(CBM-1)을 적용함으로써 생성된 레이어 영상은 입력 영상(LFIM)에 포함된 제1 내지 제3 영역들(AR1, AR2, AR3)에 각각 대응되는 복수의 레이어 영역들을 포함할 수 있다. 레이어 영상은 제1 영역(AR1)에 대응되는 제1 레이어 영역, 제2 영역(AR2)에 대응되는 제2 레이어 영역 및 제3 영역(AR3)에 대응되는 제3 레이어 영역을 포함할 수 있다. 일 실시예로, 제1 레이어 영역은 제1 출력 영역에 대응되고, 제2 레이어 영역은 제2 출력 영역에 대응되고, 제3 레이어 영역은 제3 출력 영역에 대응될 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)을 실행하여, 입력 영상(LFIM)에 포함된 제1 내지 제3 영역들(AR1, AR2, AR3)에 제1 보정 맵(CBM) 또는 제2 보정 맵(CBM-1)을 적용하여 레이어 영상을 생성할 수 있다.

일 실시예에서, 서브 영상 생성 모듈(350)은 제1 보정 맵(CBM) 또는 제2 보정 맵(CBM-1)에 포함된 보정 영역에 대응되는 입력 영상(LFIM)에 포함된 영역 중 할당된 보정 값이 나타내는 깊이 값에 대응되는 부분에 기초하여, 베이스 패널(210)에서 기준 거리(d₂)만큼 이격된 레이어 패널(220)의 픽셀 디스패리티에 대응되도록 변환된 깊이 값을 갖는 레이어 영역을 포함하는 레이어 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.

일 실시예에서, 제1 또는 제2 보정 맵(CBM, CBM-1)을 생성하는 단계(S200)에서 제1 보정 맵(CBM)을 생성한 경우, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 포함된 제1 영역(AR1)에 제1 보정 영역(CAR1)에 포함된 제1 보정 값(CV₂)을 할당하여 레이어 영상의 제1 레이어 영역을 생성할 수 있다.

적어도 하나의 프로세서(50)는 입력 영상(LFIM)에 포함된 제2 영역(AR2)에 제2 보정 영역(CAR2)에 포함된 제2 보정 값(CV₃, CV₄)을 할당하여 레이어 영상의 제2 레이어 영역을 생성할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 포함된 제1 서브 영역(AR2_a)에 제1 서브 보정 영역(CAR2_a)에 포함된 제1 서브 보정 값(CV₃)을 할당하여 레이어 영상의 제1 서브 레이어 영역을 생성할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 포함된 제2 서브 영역(AR2_b)에 제2 서브 보정 영역(CAR2_b)에 포함된 제2 서브 보정 값(CV₄)을 할당하여 레이어 영상의 제2 서브 레이어 영역을 생성할 수 있다.

적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 포함된 제3 영역(AR3)에 제3 보정 영역(CAR3)에 포함된 제3 보정 값(CV₁)을 할당하여 레이어 영상의 제3 레이어 영역을 생성할 수 있다.

일 실시예에서, 입력 영상(LFIM)에 포함된 제1 영역(AR1)은 제1 깊이 값(DV₂)을 갖는 영역이고, 제1 보정 값(CV₂)은 기준 거리(d₂) 및 베이스 패널(210)에서 기준 거리(d₂)만큼 이격된 레이어 패널(220)에서 선명하게 표시될 수 있는 제1 깊이 값(DV₂)에 기초하여 생성된 값이다.

일 실시예에서, 적어도 하나의 프로세서(400)가 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 수행함으로써, 제1 영역(AR1)에 제1 보정 값(CV₂)을 적용하여 생성한 레이어 영상(LIM)의 제1 레이어 영역은 제1 깊이 값(DV₂)이 기준 거리(d₂)에 따라 변환된 깊이 값을 가질 수 있다. 이때, 제1 레이어 영역은 제1 영역(AR2) 중 제1 깊이 값(DV₂)에 대응되는 부분에 기초하여 생성되었으므로, 제1 레이어 영역은 레이어 패널(220)에 선명하게 표시될 수 있다.

일 실시예에서, 입력 영상(LFIM)에 포함된 제1 서브 영역(AR2_a)은 제1 서브 깊이 값(DV₃)을 갖는 영역이고, 제1 서브 보정 값(CV₃)은 제1 서브 거리(d₃) 및 베이스 패널(210)로부터 제1 서브 거리(d₃)만큼 이격된 레이어 패널(220)에서 선명하게 표시될 수 있는 제1 서브 깊이 값(DV₃)에 기초하여 생성된 값이다.

일 실시예에서, 적어도 하나의 프로세서(400)가 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 수행함으로써, 제1 서브 영역(AR2_a)에 제1 서브 보정 값(CV₃)을 적용하여 생성한 레이어 영상(LIM)의 제1 서브 레이어 영역은 제1 서브 깊이 값(DV₃)이 기준 거리(d₂)에 따라 변환된 깊이 값을 가질 수 있다. 이때, 제1 서브 레이어 영역은 제1 서브 영역(AR2_a) 중 제1 서브 깊이 값(DV₃)에 대응되는 부분에 기초하여 생성되었으므로, 제1 서브 레이어 영역은 레이어 패널(220)에 선명하게 표시될 수 있다.

일 실시예에서, 입력 영상(LFIM)에 포함된 제2 서브 영역(AR2_b)은 제2 서브 깊이 값(DV₄)을 갖는 영역이고, 제2 서브 보정 값(CV₄)은 제2 서브 거리(d₄) 및 베이스 패널(210)로부터 제2 서브 거리(d₄)만큼 이격된 레이어 패널(220)에서 선명하게 표시될 수 있는 제2 서브 깊이 값(DV₄)에 기초하여 생성된 값이다. 일 실시예에서, 적어도 하나의 프로세서(400)가 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 수행함으로써, 제2 서브 영역(AR2_b)에 제2 서브 보정 값(CV₄)을 적용하여 생성한 레이어 영상(LIM)의 제2 서브 레이어 영역은 제2 서브 깊이 값(DV₄)이 기준 거리(d₂)에 따라 변환된 깊이 값을 가질 수 있다. 이때, 제2 서브 레이어 영역은 제2 서브 영역(AR2_b) 중 제2 서브 깊이 값(DV₄)에 대응되는 부분에 기초하여 생성되었으므로, 제2 서브 레이어 영역은 레이어 패널(220)에 선명하게 표시될 수 있다.

일 실시예에서, 입력 영상(LFIM)에 포함된 제3 영역(AR3)은 제3 깊이 값(DV₁)을 갖는 영역이고, 제3 보정 값(CV₁)은 제3 거리(d₁) 및 베이스 패널(210)로부터 제3 거리(d₁)만큼 이격된 레이어 패널(220)에서 선명하게 표시될 수 있는 제3 깊이 값(DV₁)에 기초하여 생성된 값이다. 일 실시예에서, 적어도 하나의 프로세서(400)가 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 수행함으로써, 제3 영역(AR3)에 제3 보정 값(CV₁)을 적용하여 생성한 레이어 영상의 제3 레이어 영역은 제3 깊이 값(DV₁)이 기준 거리(d₂)에 따라 변환된 깊이 값을 가질 수 있다. 이때, 제3 레이어 영역은 제3 영역(AR3) 중 제3 깊이 값(DV₁)에 대응되는 부분에 기초하여 생성되었으므로, 제3 레이어 영역은 레이어 패널(220)에 선명하게 표시될 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 제1 보정 맵(CBM)을 적용하여 레이어 패널(220)에 선명하게 표시되는 제1 내지 제3 레이어 영역을 포함하는 레이어 영상(LIM)을 생성할 수 있다. 본 개시의 전자 장치(100) 및 전자 장치(100)의 방법에 따르면, 전자 장치(100)는 레이어 패널(220)에 선명하게 표시되는 레이어 영상(LIM)을 사용자(110)에게 제공하여, 사용자(110)의 시인성을 향상시킬 수 있다.

일 실시예에서, 보정 맵(CBM, CBM-1)을 생성하는 단계(S200)에서 제2 보정 맵(CBM-1)을 생성한 경우, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 포함된 제1 영역(AR1)에 제1 보정 영역(CAR1)에 포함된 제1 보정 값(CV₂)을 할당하여 레이어 영상의 제1 레이어 영역을 생성할 수 있다. 일 실시예에서, 제1 레이어 영역은 제1 깊이 값(DV₂)이 기준 거리(d₂)에 따라 변환된 깊이 값을 가질 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 포함된 제1 서브 영역(AR2_a)에 제1 서브 보정 영역(CAR2_a)에 포함된 제1 서브 보정 값(CV₃)을 할당하여 레이어 영상의 제1 서브 레이어 영역을 생성할 수 있다. 일 실시예에서, 제1 서브 레이어 영역은 제1 서브 깊이 값(DV₃)이 기준 거리(d₂)에 따라 변환된 깊이 값을 가질 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 포함된 제2 서브 영역(AR2_b)에 제2 서브 보정 영역(CAR2_b)에 포함된 제2 서브 보정 값(CV₄)을 할당하여 레이어 영상의 제2 서브 레이어 영역을 생성할 수 있다. 일 실시예에서, 제2 서브 레이어 영역은 제2 서브 깊이 값(DV₄)이 기준 거리(d₂)에 따라 변환된 깊이 값을 가질 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)가 생성한 레이어 영상(LIM)의 제1 레이어 영역, 제1 서브 레이어 영역 및 제2 서브 레이어 영역은 레이어 패널(220)에 선명하게 표시될 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 포함된 제3 영역(AR3)에 제3 보정 영역(CAR3)에 포함된 제4 보정 값(CV₂`)을 할당하여 레이어 영상의 제3 레이어 영역을 생성할 수 있다. 일 실시예에서, 제4 보정 값(CV₂`)은 기준 거리(d₂) 및 베이스 패널(210)로부터 제3 거리(d₁)만큼 이격된 레이어 패널(220)에서 선명하게 표시될 수 있는 제3 깊이 값(DV₁)에 기초하여 생성된 값이다. 다만, 본 개시는 이에 제한되지 않고, 제4 보정 값(CV₂`)은 제3 거리(d₁)가 아닌 다른 거리에 기초하여 생성될 수도 있다. 제4 보정 값(CV₂`)은 제3 깊이 값(DV₁)이 아닌, 다른 깊이 값을 나타내기 위한 값일 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)가 서브 영상 생성 모듈(350)의 명령어들 또는 프로그램 코드를 수행함으로써 생성한 레이어 영상의 제3 레이어 영역은제3 깊이 값(DV₁)이 아닌, 다른 깊이 값이 기준 거리(d₂)에 따라 변환된 깊이 값을 가질 수 있다. 이때, 제3 레이어 영역은 제3 영역(AR3) 중 제3 깊이 값(DV₁)이 아닌, 다른 깊이 값에 대응되는 부분에 기초하여 생성되었으므로, 제3 레이어 영역은 레이어 패널(220)에 불-선명하게 표시될 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 제2 보정 맵(CBM-1)을 적용하여 레이어 패널(220)에 선명하게 표시되는 제1 레이어 영역 및 제2 레이어 영역과 레이어 패널(220)에 불-선명하게 표시되는 제3 레이어 영역을 포함하는 레이어 영상(LIM)을 생성할 수 있다.

본 개시의 전자 장치(100) 및 전자 장치(100)의 방법에 따르면, 서브 영상 생성 모듈(350)에 제공하는 보정 맵에 포함되는 보정 값을 조절하여, 전자 장치(100)는 레이어 패널(220)에 표시되는 레이어 영상(LIM) 중 선명하게 표시되는 영역을 선택하여 사용자(110)에게 제공할 수 있다. 따라서, 사용자(110)는 레이어 영상(LIM) 중 선명하게 표시되는 레이어 영역에 시선을 집중하고, 사용자(110)의 시선이 집중되지 않은 레이어 영역은 불-선명하게 표시되어 사용자(110)에게 자연스러운 입체감을 제공할 수 있다. 또한, 사용자(110)에게 선명하게 표시되는 레이어 영역 및 불-선명하게 표시되는 레이어 영역을 함께 제공하여, 사용자(110)가 느끼는 입체감을 증가시킬 수도 있다.

도 11은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다. 이하, 도 8에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

도 7 및 도 11을 참조하면, 일 실시예에서, 입력 영상(LFIM)을 획득하는 단계(S100)에서 적어도 하나의 프로세서(400)는 입력 영상(LFIM) 및 입력 영상(LFIM)에 기초한 깊이 맵(DM)을 획득할 수도 있다. 일 실시예에서, 입력 영상(LFIM) 및 입력 영상(LFIM)에 기초한 깊이 맵(DM)은 RGB-Depth 카메라를 이용하여 물체를 촬영해 획득될 수 있다. 이 경우, 전자 장치(100)의 동작 방법은 입력 영상(LFIM)에 기초하여 깊이 맵(DM)을 획득하는 단계를 포함하지 않을 수 있다. 또한, 메모리(300, 도 2 참조)는 깊이 맵 획득 모듈(310)을 포함하지 않을 수 있다.

도 7 및 도 11을 참조하면, 일 실시예에서, 보정 맵(CBM, CBM-1)을 생성하는 단계(S200)에서, 적어도 하나의 프로세서(400)는 보정 맵 생성 모듈(320-1)을 실행하여, 획득한 깊이 맵(DM)에 기초하여 보정 맵(CBM, CBM-1)을 생성할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 전처리 모듈(330)을 실행하여 입력 영상(LFIM) 및 보정 맵(CBM/CBM-1)을 전처리 할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(400)는 변화 측정 모듈(340)을 실행하여 실행하여 입력 영상(LFIM) 및 보정 맵(CBM/CBM-1)에 기초한 변화 플로우를 획득할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 서브 영상 생성 모듈(350)을 실행하여 입력 영상(LFIM)에 보정 맵(CBM/CBM-1)을 적용하여 레이어 영상(LIM)을 생성할 수도 있다. 또한, 적어도 하나의 프로세서(400)는 전처리된 입력 영상에 보정 맵(CBM/CBM-1) 및 변화 플로우를 적용하여 레이어 영상(LIM)을 생성할 수도 있다.

도 12a는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.

본 개시에 따른 전자 장치(100) 및 전자 장치(100)의 동작 방법 및 효과를 설명하기 위하여, 도 12a에는 종래의 전자 장치에 포함된 디스플레이 패널(200a)이 도시되어 있다. 종래의 전자 장치에 포함된 디스플레이 패널(200a)은 베이스 패널(210a), 레이어 패널(220a) 및 광학층(230a)을 포함한다. 종래의 전자 장치는 백라이트를 더 포함할 수 있다. 이하, 설명의 편의를 위하여, 종래의 전자 장치에 포함된 레이어 패널(220a)를 종래 레이어 패널(220a)이라고 지칭한다.

종래 레이어 패널(220a)은 베이스 패널(210a)로부터 제1 거리(d₂) 거리에 위치한 제1 종래 레이어 패널(220-2), 베이스 패널(210a)로부터 제1 서브 거리(d₃) 거리에 위치한 제2 종래 레이어 패널(220-3), 베이스 패널(210a)로부터 제2 서브 거리(d₄) 거리에 위치한 제3 종래 레이어 패널(220-4) 및 베이스 패널(210a)로부터 제3 거리(d₁) 거리에 위치한 제4 종래 레이어 패널(220-1)을 포함한다.

제1 종래 레이어 패널(220-2)에 표시되는 레이어 영상을 제1 종래 레이어 영상(SLIM-2)이라 지칭할 수 있다. 제2 종래 레이어 패널(220-3)에 표시되는 레이어 영상을 제2 종래 레이어 영상(SLIM-3)이라 지칭할 수 있다. 제3 종래 레이어 패널(220-4)에 표시되는 레이어 영상을 제3 종래 레이어 영상(SLIM-4)이라 지칭할 수 있다. 제4 종래 레이어 패널(220-1)에 표시되는 레이어 영상을 제4 종래 레이어 영상(SLIM-1)이라 지칭할 수 있다.

종래의 전자 장치는, 제1 내지 제4 종래 레이어 영상(SLIM-1, SLIM-2, SLIM-3, SLIM-4)을 각각 제1 내지 제4 종래 레이어 패널(220-1, 220-2, 220-3, 220-4)에 표시하여 사용자(110, 도 1 참조)에게 입체감을 갖는 출력 영상(120-1)을 제공할 수 있다. 이때, 종래의 전자 장치는 출력 영상(120-1) 중 제1 내지 제4 종래 레이어 패널들(220-1, 220-2, 220-3, 220-4) 각각의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 영역에 대응되는 레이어 영역을 각각의 제1 내지 제4 종래 레이어 패널들(220-1, 220-2, 220-3, 220-4)에 선명하게 표시할 수 있다.

사용자(110)에게 제공되는 출력 영상(120-1)이 사람의 얼굴 형상이라고 할 때, 제1 종래 레이어 영상(SLIM-2) 중 제1 종래 레이어 패널(220-2)에 선명하게 표시되는 레이어 영역은, 제1 종래 레이어 패널(220-2)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 사람의 턱 부분의 영역에 대응될 수 있다.

제2 종래 레이어 영상(SLIM-3) 중 제2 종래 레이어 패널(220-3)에 선명하게 표시되는 레이어 영역은, 제2 종래 레이어 패널(220-3)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 사람의 눈 부분의 영역에 대응될 수 있다.

제3 종래 레이어 영상(SLIM-4) 중 제3 종래 레이어 패널(220-4)에 선명하게 표시되는 레이어 영역은, 제3 종래 레이어 패널(220-4)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 사람의 코 부분의 영역에 대응될 수 있다.

제4 종래 레이어 영상(SLIM-1) 중 제4 종래 레이어 패널(220-1)에 선명하게 표시되는 레이어 영역은, 제4 종래 레이어 패널(220-1)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 사람의 목 부분의 영역에 대응될 수 있다.

제1 내지 제4 종래 레이어 패널(220-1, 220-2, 220-3, 220-4) 중 종래의 전자 장치의 사용자(110)에게 가장 인접하여, 사용자(110)가 처음으로 보는 레이어 패널은 제4 종래 레이어 패널(220-4)이다. 이때, 제4 종래 레이어 패널(220-4)에는 사람의 목 부분의 영역만 선명하게 표시된다. 따라서, 사용자(110)는, 제1 내지 제4 종래 레이어 패널(220-1, 220-2, 220-3, 220-4)를 포함한 종래의 전자 장치를 통하여 입체감을 갖는 출력 영상(120-1)을 제공받을 수 있지만, 종래의 전자 장치를 시청하는 사용자(110)의 시인성은 떨어질 수 있다. 또한, 제1 내지 제4 종래 레이어 패널(220-1, 220-2, 220-3, 220-4)를 포함할 경우, 종래의 전자 장치의 부피가 커져 공간 활용도가 떨어질 수도 있다.

도 12b는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다. 이하, 도 12a에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고 설명은 생략하도록 한다.

본 개시에 따른 전자 장치(100) 및 전자 장치(100)의 동작 방법 및 효과를 설명하기 위하여, 도 12b에는 종래의 전자 장치에 포함된 디스플레이 패널(200b)이 도시되어 있다. 종래의 전자 장치에 포함된 디스플레이 패널(200b)은 베이스 패널(210b), 레이어 패널(220b) 및 광학층(230b)을 포함한다. 종래의 전자 장치는 백라이트를 더 포함할 수 있다. 이하, 설명의 편의를 위하여, 종래의 전자 장치에 포함된 레이어 패널(220b)를 종래 레이어 패널(220b)이라고 지칭한다.

종래 레이어 패널(220b)은 베이스 패널(210b)로부터 제1 거리(d₂) 거리에 위치할 수 있다. 종래 레이어 패널(220b)에 표시되는 레이어 영상을 종래 레이어 영상(SLIM-2)이라고 지칭할 수 있다.

종래의 전자 장치는 종래 레이어 영상(SLIM-2)을 종래 레이어 패널(220b)에 제공하여 사용자(110, 도 1 참조)에게 입체감을 갖는 출력 영상(120-1)을 제공할 수 있다. 이때, 종래의 전자 장치는 출력 영상(120-1) 중 종래 레이어 패널(220b)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 영역에 대응되는 레이어 영역만을 종래 레이어 패널(220b)에 선명하게 표시할 수 있다.

사용자(110)에게 제공되는 출력 영상(120-1)이 사람의 얼굴 형상이라고 할 때, 종래 레이어 영상(SLIM-2) 중 종래 레이어 패널(220b)에 선명하게 표시되는 레이어 영역은, 종래 레이어 패널(220b)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 사람의 턱 부분의 영역에 대응될 수 있다.

종래의 전자 장치가 하나의 종래 레이어 패널(220b)만을 포함할 경우, 종래의 전자 장치의 부피가 작아져 공간 활용도가 높아질 수 있다. 그러나, 종래 레이어 패널(220b)에는 사람의 목 부분의 영역에 대응되는 레이어 영역만 선명하게 표시되어, 종래의 전자 장치를 사용하는 사용자(110)의 시인성은 떨어질 수 있다.

도 13은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.

본 개시에 따른 전자 장치(100) 및 전자 장치(100)의 동작 방법 및 효과를 설명하기 위하여, 도 13에는 본 개시의 전자 장치(100, 도 1 참조)에 포함된 디스플레이 패널(200)이 도시되어 있다.

일 실시예에서, 디스플레이 패널(200)은 베이스 패널(210), 레이어 패널(220), 광학층(230)을 포함한다. 디스플레이 패널(200)은 백라이트를 더 포함할 수 있다.

일 실시예에서, 레이어 패널(220)은 베이스 패널(210)로부터 제1 거리(d₂) 거리에 위치할 수 있다. 일 실시예에서, 전자 장치(100)는 레이어 영상을 레이어 패널(220)에 제공하여 사용자(110)에게 입체감을 주는 출력 영상(120-1)을 제공한다. 일 실시예에서, 전자 장치(100)는 출력 영상(120-1) 중 레이어 패널(220)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 영역에 대응되는 레이어 영역뿐만 아니라, 보정 맵(CBM/CBM-1, 도 8 참조)에 포함된 선명하게 표시하고 싶은 레이어 영역도 레이어 패널(220)에 선명하게 표시할 수 있다.

일 실시예에서, 사용자(110, 도 1 참조)에게 제공되는 출력 영상(120-1)이 사람의 얼굴 형이라고 할 때, 일 실시예에서, 보정 맵(CBM/CBM-1)은 선명하게 표시할 레이어 영역에 대한 정보로 사람의 턱 부분 영역, 사람의 눈 부분의 영역 및 사람의 코 부분의 영역에 대한 정보를 포함할 수 있다.

이 경우, 레이어 영상 중 레이어 패널(220)에 선명하게 표시되는 레이어 영역은, 레이어 패널(220)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 사람의 턱 부분의 영역에 대응되는 레이어 영역을 포함한다. 또한, 일 실시예에서, 레이어 영상 중 레이어 패널(220)에 선명하게 표시되는 레이어 영역은, 사람의 눈 부분의 영역에 대응되는 레이어 영역 및 사람의 코 부분의 영역에 대응되는 레이어 영역도 포함할 수 있다.본 개시의 전자 장치(100) 및 전자 장치의 동작 방법에 의하면, 전자 장치(100)에 포함된 레이어 패널(220)에 레이어 패널(220)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 영역에 대응되는 레이어 영역뿐만 아니라, 보정 맵(CBM/CBM-1)에 포함된 선명하게 표시하고 싶은 레이어 영역도 레이어 패널(220)에 선명하게 표시할 수 있다. 따라서, 전자 장치(100)를 시청하는 사용자(110)의 시인성을 높일 수 있다. 또한, 전자 장치(100)에 포함된 베이스 패널(210) 및 레이어 패널(220)을 통하여 사용자(110)에게 입체감을 갖는 출력 영상(120-1)을 제공하면서, 전자 장치(100)의 부피를 줄여 공간 활용도를 높일 수도 있다.

도 14는 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.

도 14를 참조하면, 일 실시예에서, 전자 장치(100-1)는 디스플레이 패널(200) 및 센싱부(600)를 포함할 수 있다. 이하, 도 1에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

일 실시예에서, 센싱부(600)는 전자 장치(100-1)를 시청하는 사용자(110)의 시선(ES1, ES2, 도 15 참조)을 센싱할 수 있다. 일 실시예에서, 센싱부(600)는 카메라를 포함할 수도 있다. 센싱부(600)는 RGB 카메라, IR(Infrared Ray) 카메라를 포함할 수 있다. 다만, 본 개시는 이에 한정되지 않고, 센싱부(600)는 사람(US)의 시선을 센싱할 수 있는 다른 종류의 카메라, 센서 등을 포함할 수 있다.

일 실시예에서, 센싱부(600)는 디스플레이 패널(200)을 바라보는 사용자(110)의 시선(ES1, ES2)을 센싱할 수 있다. 디스플레이 패널(200) 중 사용자(110)가 바라보는 영역을 관심 영역(IAR, 도 15 참조)라고 지칭하고, 관심 영역(IAR)과 인접한 영역을 비-관심 영역(NIAR)이라 지칭할 수 있다. 센싱부(600)는 디스플레이 패널(200) 내의 관심 영역(IAR)을 바라보는 사용자(110)의 시선(ES1, ES2)을 센싱하여 시선 정보를 획득할 수 있다.

도 7 및 도 14를 참조하면, 일 실시예에서, 전자 장치(100)의 동작 방법은, 디스플레이 패널(200) 내의 관심 영역(IAR)을 바라보는 사용자(110)의 시선 정보를 획득하는 단계를 더 포함할 수 있다.

도 15는 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 개념도이다. 도 16은 본 개시의 일 실시예에 따른 보정 맵 및 시선 보정 맵을 설명하기 위한 도면이다.

도 9, 도 15 및 도 16을 참조하면, 관심 영역(IAR)은 사용자(110)의 시선(ES1, ES2)이 대응되는 입력 영상(LFIM, 도 8 참조)의 영역에 따라 제1 관심 영역(IAR_a) 및 제2 관심 영역(IAR_b)으로 분류될 수 있다.

일 실시예에서, 입력 영상(LFIM)의 제1 영역(AR1)을 바라보는 사용자(110)의 시선(ES1)을 제1 시선(ES1)이라고 정의할 때, 제1 시선(ES1)으로 바라보는 관심 영역(IAR1)을 제1 관심 영역(IAR_a)이라 정의할 수 있다. 일 실시예에서, 제1 관심 영역(IAR_a)은 제1 영역(AR1)에 대응될 수 있다.

입력 영상(LFIM)의 제2 영역(AR2)을 바라보는 사용자(110)의 시선(ES2)을 제2 시선(ES2)이라고 정의할 때, 제2 시선(ES2)으로 바라보는 관심 영역(IAR_b)을 제2 관심 영역(IAR_b)이라 정의할 수 있다. 일 실시예에서, 제2 관심 영역(IAR_b)은 제2 영역(AR2)에 대응될 수 있다.

도 7, 도 10, 도 15 및 도 16을 참조하면, 일 실시예에서, 제1 관심 영역(IAR_a)이 제1 영역(AR1)에 대응되는 경우, 보정 맵(CBM, CBM-1)을 획득하는 단계(S200)에서는 제1 거리(d₂, 도 12 참조) 및 제1 깊이 값(DV₂)에 기초하여 결정되는 제1 보정 값(CV₂)이 제1 영역(AR1)에 대응되는 제1 보정 영역(CAR1)에 저장될 수 있다.

보정 맵(CBM, CBM-1)을 획득하는 단계(S200)에서는 제2 거리(d₃,d₄ 도 12a 참조) 및 제2 깊이 값(DV₃, DV₄)에 기초하여 결정되는 제2 보정 값(CV₃, CV₄)이 제2 영역(AR2)에 대응되는 제2 보정 영역(CAR2)에 저장될 수 있다.

보정 맵(CBM, CBM-1)을 획득하는 단계(S200)에서는 제1 거리(d₂) 및 제3 깊이 값(DV₁)에 기초하여 결정되는 제4 보정 값(CV₂`)이 제3 영역(AR3)에 대응되는 제3 보정 영역(CAR3)에 저장될 수 있다.

이하, 설명의 편의를 위하여, 일 실시예에서, 제1 관심 영역(IAR_a)이 제1 영역(AR1)에 대응되는 경우에 적어도 하나의 프로세서(400)가 획득하는 보정 맵(CBM, CBM-1)은 제2 보정 맵(CBM-1)으로 설명한다. 다만, 본 개시는 이에 한정되지 않고, 제1 관심 영역(IAR_a)이 제1 영역(AR1)에 대응되는 경우에 적어도 하나의 프로세서(400)는 제1 보정 맵(CBM, 도 10 참조)을 획득할 수도 있다. 이 경우, 제3 거리(d₁) 및 제3 깊이 값(DV₁)에 기초하여 결정되는 제3 보정 값(CV₁)이 제3 영역(AR3)에 대응되는 제3 보정 영역(CAR3)에 저장될 수 있다.

일 실시예에서, 제1 관심 영역(IAR_a)이 제1 영역(AR1)에 대응되는 경우 레이어 영상(LIM)을 생성하는 단계(S300)에서는 입력 영상(LFIM)에 제2 보정 맵(CBM-1)을 적용하여 레이어 영상(LIM, 도 8 참조)을 생성할 수 있다.

일 실시예에서, 제2 관심 영역(IAR_b)이 제2 영역(AR2)에 대응되는 경우, 보정 맵(CBM-2)을 획득하는 단계(S200)에서는 제1 거리(d₂) 및 제1 깊이 값(DV₂)에 기초하여 결정되는 제1 보정 값(CV₂)이 제1 영역(AR1)에 대응되는 제1 보정 영역(CAR1)에 저장될 수 있다.

보정 맵(CBM-2)을 획득하는 단계(S200)에서는, 제1 서브 거리(d₃) 및 제1 서브 깊이 값(DV₃)에 기초하여 결정되는 제1 서브 보정 값(CV₃)이 제2 영역(AR2) 중 제2 관심 영역(IAR_b)에 대응되는 제1 서브 보정 영역(CAR2_a)에 저장될 수 있다. 제1 서브 보정 영역(CAR2_a)은 제1 서브 영역(AR2_a)에 대응되는 영역일 수 있다.

보정 맵(CBM-2)을 획득하는 단계(S200)에서는, 제1 거리(d₂) 및 제2 서브 깊이 값(DV₄)에 기초하여 결정되는 제4 보정 값(CV₂`)이 제2 영역(AR2) 중 비-관심 영역(NIAR)에 대응되는 제2 서브 보정 영역(CAR2_b)에 저장될 수 있다. 제2 서브 보정 영역(CAR2_b)은 제2 서브 영역(AR2_b)에 대응되는 영역일 수 있다.

보정 맵(CBM, CBM-1)을 획득하는 단계(S200)에서는 제1 거리(d₂) 및 제3 깊이 값(DV₁)에 기초하여 결정되는 제4 보정 값(CV₂`)이 제3 영역(AR3)에 대응되는 제3 보정 영역(CAR3)에 저장될 수 있다

일 실시예로, 제2 서브 보정 영역(CAR2_b)에 저장되는 보정 값과 제3 보정 영역(CAR3)에 저장되는 보정 값은 서로 다를 수도 있다. 제2 서브 보정 영역(CAR2_b)에는 제2 서브 거리(d₄)와 상이한 거리 및 제2 서브 깊이 값(DV₄)에 기초하여 결정되는 보정 값이 저장될 수 있다. 제3 보정 영역(CAR3)에는 제3 거리(d₁)와 상이한 거리 및 제3 깊이 값(DV₁)에 기초하여 결정되는 보정 값이 저장될 수 있다.

이하, 설명의 편의를 위하여, 일 실시예에서, 제2 관심 영역(IAR_b)이 제2 영역(AR2)에 대응되는 경우에 적어도 하나의 프로세서(400)가 획득하는 보정 맵(CBM-2)은 제3 보정 맵(CBM-2)으로 설명한다.

일 실시예에서, 제2 관심 영역(IAR_b)이 제2 영역(AR2)에 대응되는 경우 레이어 영상(LIM)을 생성하는 단계(S300)에서는 입력 영상(LFIM)에 제3 보정 맵(CBM-2)을 적용하여 레이어 영상(LIM)을 생성할 수 있다.

일 실시예에서, 사용자(110)가 제1 영역(AR1)에 대응되는 제1 관심 영역(IAR_a)을 바라볼 때, 본 개시의 전자 장치(100)는 제2 보정 맵(CBM-1)을 입력 영상(LFIM)에 적용하여 레이어 영상(LIM)을 생성할 수 있다. 일 실시예에서, 제1 및 제2 서브 깊이 값들(DV₃, DV₄)은 제1 깊이 값(DV₂)과 차이가 적은 값들일 수 있다. 일 실시예에서, 제1 서브 영역(AR2_a) 및 제2 서브 영역(AR2_b)은 제1 영역(AR1)에 인접한 영역일 수 있다.

이 경우, 전자 장치(100)는 사용자(110)가 제1 시선(ES1)으로 바라보는 제1 관심 영역(IAR1)에 대응되는 레이어 영역뿐만 아니라, 제1 서브 깊이 값(DV₃)을 갖는 제1 서브 영역(AR2_a)에 대응되는 레이어 영역 및 제2 서브 깊이 값(DV₄)을 갖는 제2 서브 영역(AR2_b)에 대응되는 레이어 영역도 레이어 패널(220)에 선명하게 표시할 수 있다. 따라서, 전자 장치(100)를 시청하는 사용자(110)의 시인성이 향상될 수 있다.

일 실시예에서, 제3 깊이 값(DV₁)과 제1 깊이 값(DV₂)의 차이는, 각각의 제1 및 제2 서브 깊이 값들(DV₃, DV₄)과 제1 깊이 값(DV₂)간의 차이보다 클 수 있다. 일 실시예에서, 제3 영역(AR3)과 제1 서브 영역(AR1)간의 거리는, 각각의 제1 서브 영역(AR2_a) 및 제2 서브 영역(AR2_b)과 제1 서브 영역(AR1)간의 거리보다 멀 수 있다.

일 실시예에서, 사용자(110)가 제1 영역(AR1)에 대응되는 제1 관심 영역(IAR1)을 바라볼 때, 제3 깊이 값(DV₁)을 갖는 제3 영역(AR3)에 대응되는 레이어 영역은 불-선명하게 표시될 수 있다. 이를 통해 사용자(110)에게 선명하게 표시되는 레이어 영역 및 불-선명하게 표시되는 레이어 영역을 함께 제공하여, 사용자(110)가 느끼는 입체감을 증가시킬 수도 있다.

일 실시예에서, 사용자(110)가 제1 서브 영역(AR2_a)에 대응되는 제2 관심 영역(IAR_b)을 바라볼 때, 본 개시의 전자 장치(100)는 제3 보정 맵(CBM-2)을 입력 영상(LFIM)에 적용하여 레이어 영상(LIM)을 생성할 수 있다.

이 경우, 전자 장치(100)는 베이스 패널(210)로부터 제1 거리(d₂)에 위치한 레이어 패널(220)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 갖는 제1 영역(AR1)에 대응되는 레이어 영역뿐만 아니라, 제2 영역(AR2) 중 제2 관심 영역(IAR_b)에 대응되는 제1 서브 영역(AR2_a)에 대응되는 레이어 영역을 레이어 패널(220)에 선명하게 표시할 수 있다.

일 실시예에서, 전자 장치(100)는 제2 영역(AR2) 중 비-관심 영역(NIAR)에 대응되는 제2 서브 영역(AR2_b)에 대응되는 레이어 영역 및 제3 영역(AR3)에 대응되는 레이어 영역은 레이어 패널(220)에 불-선명하게 표시할 수 있다.

따라서, 사용자(110)의 시선에 대응하여 전자 장치(100)는 레이어 패널(220)에 선명하게 표시하는 레이어 영역을 선택할 수 있다. 이를 통해, 전자 장치(100)는 사용자(110)에게 현실 세계(Real World)에서 입체감을 가진 물체를 보는 것과 같은 영상(120-1)을 제공할 수 있다. 또한, 레이어 패널(220)의 픽셀 디스패리티에 대응되는 영상 디스패리티를 가지지 않은 영역에 대응되는 레이어 영역이라도, 사용자(110)의 시선이 집중되면 선명하게 표시하여, 사용자(110)의 시인성을 향상시킬 수 있다.

상술한 기술적 과제를 해결하기 위하여, 일 실시예에서, 디스플레이 패널(200)을 포함하는 전자 장치(100)를 제공한다. 전자 장치(100)는 적어도 하나의 명령어(instruction)를 저장하는 메모리(300)를 포함할 수 있다. 전자 장치(100)는 메모리(300)에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서(400)를 포함할 수 있다. 적어도 하나의 프로세서(400)는 제1 영역 및 제2 영역을 포함하는 입력 영상(LFIM)을 획득할 수 있다. 적어도 하나의 프로세서(400)는 제1 깊이 값을 나타내기 위한 제1 보정 값을 제1 영역에 할당하고, 제2 깊이 값을 나타내기 위한 제2 보정 값을 제2 영역에 할당하는 보정 맵(CBM; CBM-1)을 생성할 수 있다. 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 보정 맵(CBM; CBM-1)을 적용함으로써, 제1 영역에 대응되는 제1 출력 영역 및 제2 영역에 대응되는 제2 출력 영역을 포함하는 출력 영상을 획득할 수 있다. 적어도 하나의 프로세서(400)는 획득한 출력 영상을 디스플레이 패널(200)에 표시할 수 있다. 일 실시예에서, 제1 출력 영역은 제1 깊이 값을 디스플레이 패널(200)에 대응되도록 변환한 깊이 값을 가지고, 제2 출력 영역은 제2 깊이 값을 디스플레이 패널(200)에 대응되도록 변환한 깊이 값을 가질 수 있다.

일 실시예에서, 디스플레이 패널(200)은 베이스 패널(210) 및 베이스 패널(210)로부터 기준 거리만큼 이격된 레이어 패널(220)을 포함할 수 있다. 출력 영상(120)은 베이스 영상 및 레이어 영상을 포함할 수 있다. 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 보정 맵(CBM; CBM-1)을 적용함으로써, 베이스 패널(210)에 표시되는 베이스 영상 및 레이어 패널(220)에 표시되는 레이어 영상을 생성할 수 있다.

일 실시예에서, 레이어 영상은 제1 출력 영상에 대응되는 제1 레이어 영역 및 제2 출력 영역에 대응되는 제2 레이어 영역을 포함할 수 있다. 제1 레이어 영역은 제1 깊이 값이 기준 거리에 따라 변환된 깊이 값을 가질 수 있다. 제2 레이어 영역은 제2 깊이 값이 기준 거리에 따라 변환된 깊이 값을 가질 수 있다.

일 실시예에서, 입력 영상(LFIM)은, 서로 다른 복수의 뷰(view)를 갖는 영상들을 포함할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 팩토리제이션(factorization)을 수행하는 서브 영상 생성 모듈(330)을 통하여 출력 영상을 생성할 수 있다.

일 실시예에서, 서브 영상 생성 모듈(330)은 출력 영상에 기초하여 생성된 훈련 영상(TIM)과 입력 영상(LFIM)을 비교한 결과에 기초하여 훈련된 인공 지능 모델(330)을 포함할 수 있다.

일 실시예에서, 인공 지능 모델(330)은 출력 영상 및 훈련 거리 정보에 기초하여 생성된 훈련 영상(TIM)과 입력 영상(LFIM)을 비교한 결과에 기초하여 팩토리제이션을 수행하도록 훈련될 수 있다. 훈련 거리 정보는 제1 기준 거리 내지 제1 기준 거리보다 큰 제2 기준 거리 사이에서 선택된 어느 하나의 훈련 거리를 포함하며, 기준 거리는 제1 기준 거리 내지 제2 기준 거리 사이에 포함될 수 있다.

일 실시예에서, 인공 지능 모델(330)은 훈련 거리 정보에 기초하여 입력 영상(LFIM)에 포함된 복수의 뷰를 갖는 영상들의 와핑(warping) 정도를 결정하도록 훈련될 수 있다. 훈련 거리 정보는 동일한 훈련 거리가 각각 제1 영역 및 제2 영역에 대응되도록 생성될 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 디스플레이 패널(200) 내의 관심 영역을 바라보는 사용자(110)의 시선 정보를 획득할 수 있다. 적어도 하나의 프로세서(400)는 관심 영역이 제1 영역에 대응되는 경우 제1 보정 값을 제1 영역에 할당하고, 제2 보정 값을 제2 영역에 할당하는 보정 맵(CBM-1)을 생성할 수 있다. 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 보정 맵(CBM-1)을 적용함으로써 출력 영상을 생성할 수 있다.

일 실시예에서, 적어도 하나의 프로세서(400)는 디스플레이 패널(200) 내의 관심 영역을 바라보는 사용자(110)의 시선 정보를 획득할 수 있다. 적어도 하나의 프로세서(400)는 관심 영역이 제2 영역에 대응되는 경우, 제1 보정 값을 제1 영역에 할당하고, 제2 보정 값을 제2 영역 중 비-관심 영역에 대응되는 영역에 할당하고, 제2 깊이 값과 다른 깊이 값을 나타내기 위한 제3 보정 값을 제2 영역 중 관심 영역에 할당하는 보정 맵(CBM-2)을 생성할 수 있다. 적어도 하나의 프로세서(400)는 입력 영상(LFIM)에 보정 맵(CBM-2)을 적용함으로써 출력 영상을 생성할 수 있다. 출력 영상은 제1 영역에 대응되는 제1 출력 영역, 제2 영역 중 관심 영역에 대응되는 제1 서브 출력 영역 및 제2 영역 중 비-관심 영역에 대응되는 제2 서브 출력 영역을 포함할 수 있다. 제1 출력 영역은 제1 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다. 제2 서브 출력 영역은 제2 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다. 제1 서브 출력 영역은 다른 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다.

상술한 기술적 과제를 해결하기 위하여 본 개시의 다른 실시예는 디스플레이 패널(200)을 포함하는 전자 장치(100; 100-1)의 동작 방법을 제공한다. 일 실시예에서, 전자 장치(100; 100-1)의 동작 방법은 제1 영역 및 제2 영역을 포함하는 입력 영상(LFIM)을 획득하는 단계(S100)를 포함할 수 있다. 전자 장치(100; 100-1)의 동작 방법은 제1 깊이 값을 나타내기 위한 제1 보정 값을 제1 영역에 할당하고, 제2 깊이 값을 나타내기 위한 제2 보정 값을 제2 영역에 할당하는 보정 맵(CBM; CBM-1)을 생성하는 단계(S200)를 포함할 수 있다. 전자 장치(100; 100-1)의 동작 방법은 입력 영상(LFIM)에 보정 맵(CBM; CBM-1)을 적용함으로써 제1 영역에 대응되는 제1 출력 영역 및 제2 영역에 대응되는 제2 출력 영역을 포함하는 출력 영상을 생성하는 단계(S300)를 포함할 수 있다. 전자 장치(100; 100-1)의 동작 방법은 생성된 출력 영상을 디스플레이 패널(200)에 표시하는 단계(S400)를 포함할 수 있다. 제1 출력 영역은 제1 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지고, 제2 출력 영역은 제2 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다.

일 실시예에서, 디스플레이 패널(200)은 베이스 패널(210) 및 베이스 패널(210)로부터 기준 거리만큼 이격된 레이어 패널(220)을 포함할 수 있다 출력 영상(120)은 베이스 영상 및 레이어 영상을 포함할 수 있다. 출력 영상을 생성하는 단계(S300)는 입력 영상(LFIM)에 보정 맵(CBM; CBM-1)을 적용함으로써 베이스 패널(210)에 표시되는 베이스 영상을 생성하는 단계 및 레이어 패널(220)에 표시되는 레이어 영상을 생성하는 단계를 더 포함할 수 있다. 레이어 영상은 제1 출력 영역에 대응되는 제1 레이어 영역 및 제2 출력 영역에 대응되는 제2 레이어 영역을 포함할 수 있다. 제1 레이어 영역은 제1 깊이 값을 기준 거리에 따라 변환한 깊이 값을 가지고, 제2 레이어 영역은 제2 깊이 값을 기준 거리에 따라 변환한 깊이 값을 가질 수 있다.

일 실시예에서, 입력 영상(LFIM)은 서로 다른 복수의 뷰(view)를 갖는 영상들을 포함할 수 있다.

일 실시예에서, 출력 영상을 생성하는 단계(S300)에서는, 팩토리제이션(factorization)을 수행하는 서브 영상 생성 모듈(330)을 통하여 출력 영상을 생성할 수 있다.

일 실시예에서, 서브 영상 생성 모듈(330)은 출력 영상에 기초하여 획득한 훈련 영상(TIM)과 라이트 필드 영상(LFIM)을 비교한 결과에 기초하여 훈련된 인공 지능 모델(330)을 포함할 수 있다.

일 실시예에서, 상기 서브 영상 생성 모듈(330)은 출력 영상에 기초하여 생성한 훈련 영상(TIM)과 입력 영상(LFIM)을 비교한 결과에 기초하여 훈련된 인공 지능 모델(330)을 포함할 수 있다.

일 실시예에서, 인공 지능 모델(330)을 훈련시키는 방법은, 출력 영상 및 훈련 거리 정보에 기초하여 훈련 영상(TIM)을 생성하는 단계를 포함할 수 있다. 인공 지능 모델(330)을 훈련시키는 방법은 훈련 영상(TIM) 및 입력 영상(LFIM)을 비교한 결과에 기초하여 팩토리제이션을 수행하도록 훈련하는 단계를 포함할 수 있다. 훈련 거리 정보는 제1 기준 거리 내지 제1 기준 거리보다 큰 제2 기준 거리 사이에서 선택된 어느 하나의 훈련 거리를 포함하며, 기준 거리는 제1 기준 거리 내지 제2 기준 거리 사이에 포함될 수 있다.

일 실시예에서, 인공 지능 모델(330)을 훈련시키는 방법은 훈련 거리 정보에 기초하여 입력 영상(LFIM)에 포함된 복수의 뷰를 갖는 영상들의 와핑(warping) 정도를 결정하는 단계를 더 포함할 수 있다. 훈련 거리 정보는, 동일한 값이 각각 제1 영역 및 제2 영역에 대응되도록 생성될 수 있다.

일 실시예에서, 전자 장치(100; 100-1)의 동작 방법은 디스플레이 패널(200) 내의 관심 영역을 바라보는 사용자(110)의 시선 정보를 획득하는 단계를 더 포함할 수 있다. 관심 영역이 제1 영역에 대응되는 경우, 보정 맵(CBM; CBM-1)을 생성하는 단계(S200)에서는 제1 보정 값을 제1 영역에 할당하고, 제2 보정 값을 제2 영역에 할당하는 보정 맵(CBM-1)을 생성할 수 있다. 출력 영상을 생성하는 단계(S300)에서는 입력 영상(LFIM)에 보정 맵(CBM-1)을 적용함으로써 출력 영상을 생성할 수 있다.

일 실시예에서, 전자 장치(100; 100-1)의 동작 방법은 디스플레이 패널(200) 내의 관심 영역을 바라보는 사용자(110)의 시선 정보를 획득하는 단계를 더 포함할 수 있다. 관심 영역이 제2 영역에 대응되는 경우, 보정 맵(CBM; CBM-1)을 생성하는 단계(S200)에서는, 제1 보정 값을 제1 영역에 할당하고, 제2 보정 값을 제2 영역 중 비-관심 영역에 대응되는 영역에 할당하고, 제2 깊이 값과 다른 깊이 값을 나타내기 위한 제3 보정 값을 제2 영역 중 관심 영역에 할당하는 보정 맵(CBM-2)을 생성할 수 있다. 출력 영상을 생성하는 단계(S300)에서는 입력 영상(LFIM)에 보정 맵(CBM-2)을 적용함으로써 출력 영상을 생성할 수 있다. 출력 영상은, 제1 영역에 대응되는 제1 출력 영역, 제2 영역 중 관심 영역에 대응되는 제1 서브 출력 영역 및 제2 영역 중 비-관심 영역에 대응되는 제2 서브 출력 영역을 포함할 수 있다. 제1 출력 영역은 제1 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다. 제2 서브 출력 영역은 제2 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다. 제1 서브 출력 영역은 다른 깊이 값이 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가질 수 있다.

일 실시예에서, 개시된 방법의 실시예 중 적어도 하나의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.

본 개시에서 설명된 전자 장치(100)에 의해 수행되는 동작 방법은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.

소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 기록 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

컴퓨터로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

또한, 본 명세서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치(100)의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 전자 장치(100)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장 매체가 될 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

디스플레이 패널(200);
적어도 하나의 명령어(instruction)를 저장하는 메모리(300); 및
상기 메모리(300)에 저장된 상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서(400)를 포함하고,
상기 적어도 하나의 프로세서(400)는,
제1 영역 및 제2 영역을 포함하는 입력 영상(LFIM)을 획득하고,
제1 깊이 값을 나타내기 위한 제1 보정 값을 상기 제1 영역에 할당하고, 제2 깊이 값을 나타내기 위한 제2 보정 값을 상기 제2 영역에 할당하는 보정 맵(CBM; CBM-1)을 생성하고,
상기 입력 영상(LFIM)에 상기 보정 맵(CBM; CBM-1)을 적용함으로써, 상기 제1 영역에 대응되는 제1 출력 영역 및 상기 제2 영역에 대응되는 제2 출력 영역을 포함하는 출력 영상을 생성하고,
상기 생성된 출력 영상을 상기 디스플레이 패널(200)에 표시하며,
상기 제1 출력 영역은 상기 제1 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지고, 상기 제2 출력 영역은 상기 제2 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 전자 장치(100; 100-1).
제1 항에 있어서,
상기 디스플레이 패널(200)은,
베이스 패널(210); 및
상기 베이스 패널(210)로부터 기준 거리만큼 이격된 레이어 패널(220)을 포함하고,
상기 출력 영상(120)은 베이스 영상 및 레이어 영상을 포함하며,
상기 적어도 하나의 프로세서(400)는,
상기 입력 영상(LFIM)에 상기 보정 맵(CBM; CBM-1)을 적용함으로써, 상기 베이스 패널(210)에 표시되는 상기 베이스 영상 및 상기 레이어 패널(220)에 표시되는 상기 레이어 영상을 생성하는 전자 장치(100; 100-1).
제2 항에 있어서,
상기 레이어 영상은, 상기 제1 출력 영역에 대응되는 제1 레이어 영역 및 상기 제2 출력 영역에 대응되는 제2 레이어 영역을 포함하며,
상기 제1 레이어 영역은, 상기 제1 깊이 값이 상기 기준 거리에 따라 변환된 깊이 값을 가지고, 상기 제2 레이어 영역은 상기 제2 깊이 값이 상기 기준 거리에 따라 변환된 깊이 값을 갖는 전자 장치(100; 100-1).
제1 내지 제3 항 중 어느 하나의 항에 있어서,
상기 입력 영상(LFIM)은, 서로 다른 복수의 뷰(view)를 갖는 영상들(SIM)을 포함하는 전자 장치(100; 100-1).
제1 내지 제4 항 중 어느 하나의 항에 있어서,
상기 적어도 하나의 프로세서(400)는,
팩토리제이션(factorization)을 수행하는 서브 영상 생성 모듈(350)을 통하여 상기 출력 영상을 생성하는 전자 장치(100; 100-1).
제5 항에 있어서,
상기 서브 영상 생성 모듈(350)은,
상기 출력 영상에 기초하여 생성된 훈련 영상(TIM)과 상기 입력 영상(LFIM)을 비교한 결과에 기초하여 훈련된 인공 지능 모델을 포함하는 전자 장치(100; 100-1).
제6 항에 있어서,
상기 인공 지능 모델은,
상기 출력 영상 및 훈련 거리 정보(TD_n)에 기초하여 생성된 상기 훈련 영상(TIM)과 상기 입력 영상(LFIM)을 비교한 결과에 기초하여 상기 팩토리제이션을 수행하도록 훈련되고,
상기 훈련 거리 정보(TD_n)는,
제1 기준 거리 내지 상기 제1 기준 거리보다 큰 제2 기준 거리 사이에서 선택된 어느 하나의 훈련 거리를 포함하며, 상기 기준 거리는 상기 제1 기준 거리 내지 상기 제2 기준 거리 사이에 포함되는 전자 장치(100; 100-1).
제7 항에 있어서,
상기 인공 지능 모델은,
상기 훈련 거리 정보(TD_n)에 기초하여 상기 입력 영상(LFIM)에 포함된 상기 복수의 뷰를 갖는 영상들(SIM)의 와핑(warping) 정도를 결정하도록 훈련되고,
상기 훈련 거리 정보(TD_n)는, 동일한 훈련 거리가 각각 상기 제1 영역 및 상기 제2 영역에 대응되도록 생성되는 전자 장치(100; 100-1).
제1 내지 제8 항 중 어느 하나의 항에 있어서,
상기 적어도 하나의 프로세서(400)는,
상기 디스플레이 패널(200) 내의 관심 영역을 바라보는 사용자(110)의 시선 정보를 획득하고,
상기 관심 영역이 상기 제1 영역에 대응되는 경우,
상기 제1 보정 값을 상기 제1 영역에 할당하고, 상기 제2 보정 값을 상기 제2 영역에 할당하는 상기 보정 맵(CBM-1)을 생성하고,
상기 입력 영상(LFIM)에 상기 보정 맵(CBM-1)을 적용함으로써 상기 출력 영상을 생성하는 전자 장치(100; 100-1).
제1 내지 제8 항 중 어느 하나의 항에 있어서,
상기 적어도 하나의 프로세서(400)는,
상기 디스플레이 패널(200) 내의 관심 영역을 바라보는 사용자(110)의 시선 정보를 획득하고,
상기 관심 영역이 상기 제2 영역에 대응되는 경우,
상기 제1 보정 값을 상기 제1 영역에 할당하고, 상기 제2 보정 값을 상기 제2 영역 중 비-관심 영역에 대응되는 영역에 할당하고, 상기 제2 깊이 값과 다른 깊이 값을 나타내기 위한 제3 보정 값을 상기 제2 영역 중 관심 영역에 할당하는 상기 보정 맵(CBM-2)을 생성하고,
상기 입력 영상(LFIM)에 상기 보정 맵(CBM-2)을 적용함으로써 상기 출력 영상을 생성하며,
상기 출력 영상은, 상기 제1 영역에 대응되는 제1 출력 영역, 상기 제2 영역 중 상기 관심 영역에 대응되는 제1 서브 출력 영역 및 상기 제2 영역 중 상기 비-관심 영역에 대응되는 제2 서브 출력 영역을 포함하고,
상기 제1 출력 영역은 상기 제1 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지고, 상기 제2 서브 출력 영역은 상기 제2 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지며, 상기 제1 서브 출력 영역은 상기 다른 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 전자 장치(100; 100-1).
디스플레이 패널(200)을 포함하는 전자 장치(100; 100-1)의 동작 방법에 있어서,
제1 영역 및 제2 영역을 포함하는 입력 영상(LFIM)을 획득하는 단계(S100);
상기 제1 깊이 값을 나타내기 위한 제1 보정 값을 상기 제1 영역에 할당하고, 상기 제2 깊이 값을 나타내기 위한 제2 보정 값을 상기 제2 영역에 할당하는 보정 맵(CBM; CBM-1)을 생성하는 단계(S200);
상기 입력 영상(LFIM)에 상기 보정 맵(CBM; CBM-1)을 적용함으로써, 상기 제1 영역에 대응되는 제1 출력 영역 및 상기 제2 영역에 대응되는 제2 출력 영역을 포함하는 출력 영상을 생성하는 단계(S300); 및
상기 생성된 출력 영상을 상기 디스플레이 패널(200)에 표시하는 단계(S400)를 포함하며,
상기 제1 출력 영역은 상기 제1 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지고, 상기 제2 출력 영역은 상기 제2 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 전자 장치(100; 100-1)의 동작 방법.
제11 항에 있어서,
상기 디스플레이 패널(200)은,
베이스 패널(210); 및
상기 베이스 패널(210)로부터 기준 거리만큼 이격된 레이어 패널(220)을 포함하고,
상기 출력 영상(120)은 베이스 영상 및 레이어 영상을 포함하며,
상기 출력 영상(120)을 생성하는 단계(S300)는,
상기 입력 영상(LFIM)에 상기 보정 맵(CBM; CBM-1)을 적용함으로써, 상기 베이스 패널(210)에 표시되는 상기 베이스 영상을 생성하는 단계; 및
상기 입력 영상(LFIM)에 상기 보정 맵(CBM; CBM-1)을 적용함으로써, 상기 레이어 패널(220)에 표시되는 상기 레이어 영상을 생성하는 단계를 포함하고,
상기 레이어 영상은, 상기 제1 출력 영역에 대응되는 제1 레이어 영역 및 상기 제2 출력 영역에 대응되는 제2 레이어 영역을 포함하며,
상기 제1 레이어 영역은 상기 제1 깊이 값이 상기 기준 거리에 따라 변환된 깊이 값을 가지고, 상기 제2 레이어 영역은 상기 제2 깊이 값이 상기 기준 거리에 따라 변환된 깊이 값을 갖는 전자 장치(100; 100-1)의 동작 방법.
제11 내지 제12 항 중 어느 하나의 항에 있어서,
상기 입력 영상(LFIM)은, 서로 다른 복수의 뷰(view)를 갖는 영상들(SIM)을 포함하는 전자 장치(100; 100-1)의 동작 방법.
제11 내지 제13 항 중 어느 하나의 항에 있어서,
상기 출력 영상을 생성하는 단계(S300)에서는,
팩토리제이션(factorization)을 수행하는 서브 영상 생성 모듈(350)을 통하여 상기 출력 영상을 생성하는 전자 장치(100; 100-1)의 동작 방법.
제14 항에 있어서,
상기 서브 영상 생성 모듈(350)은,
상기 출력 영상(LIM)에 기초하여 생성한 훈련 영상(TIM)과 상기 입력 영상(LFIM)을 비교한 결과에 기초하여 훈련된 인공 지능 모델을 포함하는 전자 장치(100; 100-1)의 동작 방법.
제15 항에 있어서,
상기 인공 지능 모델을 훈련시키는 방법은,
상기 출력 영상 및 훈련 거리 정보(TD_n)에 기초하여 상기 훈련 영상(TIM)을 생성하는 단계; 및
상기 훈련 영상(TIM) 및 상기 입력 영상(LFIM)을 비교한 결과에 기초하여 상기 팩토리제이션을 수행하도록 훈련하는 단계를 포함하며,
상기 훈련 거리 정보(TD_n)는,
제1 기준 거리 내지 상기 제1 기준 거리보다 큰 제2 기준 거리 사이에서 선택된 어느 하나의 훈련 거리를 포함하며, 상기 기준 거리는 상기 제1 기준 거리 내지 상기 제2 기준 거리 사이에 포함되는 전자 장치(100; 100-1)의 동작 방법.
제16 항에 있어서,
상기 인공 지능 모델을 훈련시키는 방법은,
상기 훈련 거리 정보(TD_n)에 기초하여 상기 입력 영상(LFIM)에 포함된 상기 복수의 뷰를 갖는 영상들(SIM)의 와핑(warping) 정도를 결정하는 단계를 더 포함하고,
상기 훈련 거리 정보(TD_n)는, 동일한 값이 각각 상기 제1 영역 및 상기 제2 영역에 대응되도록 생성되는 전자 장치(100; 100-1)의 동작 방법.
제11 내지 제17 항 중 어느 하나의 항에 있어서,
상기 전자 장치(100; 100-1)의 동작 방법은,
상기 디스플레이 패널(200) 내의 관심 영역을 바라보는 사용자(110)의 시선 정보를 획득하는 단계를 더 포함하고,
상기 관심 영역이 상기 제1 영역에 대응되는 경우,
상기 보정 맵(CBM; CBM-1)을 생성하는 단계(S200)에서는,
상기 제1 보정 값을 상기 제1 영역에 할당하고, 상기 제2 보정 값을 상기 제2 영역에 할당하는 상기 보정 맵(CBM-1)을 생성하고,
상기 출력 영상을 생성하는 단계(S300)에서는,
상기 입력 영상(LFIM)에 상기 보정 맵(CBM-1)을 적용함으로써 상기 출력 영상을 생성하는 전자 장치(100; 100-1)의 동작 방법.
제11 내지 제17 항 중 어느 하나의 항에 있어서,
상기 전자 장치(100; 100-1)의 동작 방법은,
상기 디스플레이 패널(200) 내의 관심 영역을 바라보는 사용자(110)의 시선 정보를 획득하는 단계를 더 포함하고,
상기 관심 영역이 상기 제2 영역에 대응되는 경우,
상기 보정 맵(CBM; CBM-1)을 생성하는 단계(S200)에서는,
상기 제1 보정 값을 상기 제1 영역에 할당하고, 상기 제2 보정 값을 상기 제2 영역 중 비-관심 영역에 대응되는 영역에 할당하고, 상기 제2 깊이 값과 다른 깊이 값을 나타내기 위한 제3 보정 값을 상기 제2 영역 중 관심 영역에 할당하는 보정 맵(CBM-2)을 생성하고,
상기 출력 영상을 생성하는 단계(S300)에서는,
상기 입력 영상(LFIM)에 상기 보정 맵(CBM-2)을 적용함으로써 상기 출력 영상을 생성하며,
상기 출력 영상은, 상기 제1 영역에 대응되는 상기 제1 출력 영역, 상기 제2 영역 중 상기 관심 영역에 대응되는 제1 서브 출력 영역 및 상기 제2 영역 중 상기 비-관심 영역에 대응되는 제2 서브 출력 영역을 포함하고,
상기 제1 출력 영역은 상기 제1 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지고, 상기 제2 서브 출력 영역은 상기 제2 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 가지며, 상기 제1 서브 출력 영역은 상기 다른 깊이 값이 상기 디스플레이 패널(200)에 대응되도록 변환된 깊이 값을 갖는 전자 장치(100; 100-1)의 동작 방법.
제11 항 내지 제19항 중 어느 하나의 항에 기재된 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.