KR20240045059A - 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 - Google Patents
3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 Download PDFInfo
- Publication number
- KR20240045059A KR20240045059A KR1020230011114A KR20230011114A KR20240045059A KR 20240045059 A KR20240045059 A KR 20240045059A KR 1020230011114 A KR1020230011114 A KR 1020230011114A KR 20230011114 A KR20230011114 A KR 20230011114A KR 20240045059 A KR20240045059 A KR 20240045059A
- Authority
- KR
- South Korea
- Prior art keywords
- characteristic information
- image
- training
- base
- panel
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 217
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims description 451
- 238000013473 artificial intelligence Methods 0.000 claims description 166
- 230000006870 function Effects 0.000 claims description 59
- 238000004088 simulation Methods 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 17
- 238000013507 mapping Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 238000002834 transmittance Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 개시는 베이스 패널, 광학층, 프론트 패널, 사용자의 시야각(viewing angle)을 획득하는 사용자 추적 센서, 적어도 하나의 명령어(instruction)를 저장하는 메모리 및 메모리에 저장된 적어도 하나의 명령어를 실행하는 프로세서를 포함하고, 프로세서는 복수의 뷰 영상들을 포함하는 입력 영상을 획득하고, 베이스 영상 생성 모델을 이용하여 입력 영상을 분해함으로써 베이스 영상을 생성하고, 프론트 영상 생성 모델을 이용하여 사용자의 시야각에 대응되는 베이스 패널의 시야 특성 정보, 사용자의 시야각에 대응되는 프론트 패널의 시야 특성 정보 및 광학층의 특성 정보에 기반하여 입력 영상을 분해함으로써, 사용자의 시야각에 대응되는 프론트 영상을 생성하고, 베이스 패널에 베이스 영상을 표시하고, 프론트 패널에 프론트 영상을 표시하여 영상을 사용자에게 제공하는 전자 장치 및 전자 장치의 동작 방법을 포함한다.
Description
본 개시는 3D 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급 되고 있다. 영상을 표시하는 디스플레이 장치를 포함하는 전자 장치는 최근 수년 간 급속도로 발전하고 있다.
디스플레이 장치가 발전함에 따라, 디스플레이 장치에서 표시하는 영상의 종류도 다양해졌다. 2D(two dimension) 영상뿐만 아니라 3D(three dimension) 영상까지 표시할 수 있는 디스플레이 장치가 개발되고 있다.
최근 들어, 3D 영상을 표시하기 위하여, 3D 공간에서 물체를 표시할 수 있는 볼류메트릭 디스플레이(volumetric display)를 이용하여 3D 영상을 표시하는 장치 및 방법이 제안되었다. 특히, 적층된 복수의 디스플레이 패널을 포함하고, 복수의 디스플레이 패널 각각에 영상을 표시하여 3D 영상을 제공하는 적층형 디스플레이(stacked display)가 제안되었다.
적층형 디스플레이는 서로 다른 뷰(view)에서 촬영된 라이트 필드(light field) 영상에 기초하여 획득한 복수의 영상들을 적층된 복수의 디스플레이 패널들에 각각 표시하여 3D 영상을 표시할 수 있다.
본 개시의 일 실시예에 따른 영상을 표시하는 전자 장치는 베이스 패널, 베이스 패널 상에 배치된 광학층 및 광학층 상에 배치된 프론트 패널을 포함할 수 있다. 전자 장치는 영상을 시청하는 사용자의 시야각(viewing angle)을 획득하는 사용자 추적 센서를 포함할 수 있다. 전자 장치는 적어도 하나의 명령어(instruction)를 저장하는 메모리 및 메모리에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 서로 다른 복수의 시야각에 각각 대응되는 복수의 뷰 영상들을 포함하는 입력 영상을 획득할 수 있다. 적어도 하나의 프로세서는, 베이스 영상 생성 모델을 이용하여 입력 영상을 분해함으로써 베이스 영상을 생성할 수 있다. 적어도 하나의 프로세서는, 프론트 영상 생성 모델을 이용하여 사용자의 시야각에 대응되는 베이스 패널의 시야 특성 정보, 사용자의 시야각에 대응되는 프론트 패널의 시야 특성 정보 및 광학층의 특성 정보에 기반하여 입력 영상을 분해함으로써, 사용자의 시야각에 대응되는 프론트 영상을 생성할 수 있다. 적어도 하나의 프로세서는, 베이스 패널에 베이스 영상을 표시하고, 프론트 패널에 프론트 영상을 표시하여 영상을 사용자에게 제공할 수 있다.
본 개시의 다른 실시예는, 베이스 패널, 베이스 패널 상에 배치된 광학층 및 광학층 상에 배치된 프론트 패널을 포함하고, 영상을 표시하는 전자 장치의 동작 방법을 제공한다. 전자 장치의 동작 방법은 서로 다른 복수의 시야각에 각각 대응되는 복수의 뷰 영상들을 포함하는 입력 영상을 획득하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 영상을 시청하는 사용자의 시야각(viewing angle)을 획득하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 베이스 영상 생성 모델을 이용하여 입력 영상을 분해함으로써, 베이스 영상을 생성하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 프론트 영상 생성 모델을 이용하여 사용자의 시야각에 대응되는 베이스 패널의 시야 특성 정보, 사용자의 시야각에 대응되는 프론트 패널의 시야 특성 정보 및 광학층의 특성 정보에 기반하여 입력 영상을 분해함으로써, 사용자의 시야각에 대응되는 프론트 영상을 생성하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 베이스 패널에 베이스 영상을 표시하고, 프론트 패널에 프론트 영상을 표시하여 영상을 사용자에게 제공하는 단계를 포함할 수 있다.
본 개시의 일 실시예로, 개시된 동작 방법의 실시예 중 적어도 하나의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 순서도이다.
도 6은 본 개시의 일 실시예에 따른 베이스 영상 및 프론트 영상을 생성하는 전자 장치의 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 순서도이다.
도 9는 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 순서도이다.
도 12는 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 순서도이다.
도 14는 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델 및 제2 프론트 영상 생성 모듈에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다.
도 1은 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 순서도이다.
도 6은 본 개시의 일 실시예에 따른 베이스 영상 및 프론트 영상을 생성하는 전자 장치의 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 순서도이다.
도 9는 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 순서도이다.
도 12는 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 순서도이다.
도 14는 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델 및 제2 프론트 영상 생성 모듈에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시의 일 실시예에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 개시의 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for)”, “~하는 능력을 가지는(having the capacity to)”, “~하도록 설계된(designed to)”, “~하도록 변경된(adapted to)”, “~하도록 만들어진(made to)”, 또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성된(또는 설정된)”은 하드웨어적으로 “특별히 설계된(specifically designed to)” 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 시스템”이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
또한, 본 개시에서 일 구성요소가 다른 구성요소와 “연결된다” 거나 “접속된다” 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시의 일 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시의 일 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 본 개시 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예로, 전자 장치(100)는 디스플레이(110)를 포함할 수 있다. 전자 장치(100)는 입력 영상(180)을 제공받을 수 있다. 전자 장치(100)는 제공받은 입력 영상(180)에 기초하여 생성한 영상(160)을 디스플레이(110)를 통하여 사용자(150)에게 영상(160)을 제공할 수 있다.
일 실시예에서, 입력 영상(180)은 전자 장치(100)를 통하여 사용자(150)에게 제공하고자 하는 영상(160)에 대한 정보를 포함할 수 있다. 일 실시예에서, 입력 영상(180)은 서로 다른 복수의 뷰(view)에서 현실의 물체를 촬영하여 획득된 정보일 수 있다. 다만, 본 개시는 이에 제한되지 않고, 입력 영상(180)은 사용자(150)에게 서로 다른 복수의 뷰에서의 물체의 영상을 제공하기 위하여 생성된 정보를 포함할 수도 있다. 이때, '뷰'는 사용자(150)가 전자 장치(100)를 통하여 표시되는 영상(160)에 포함된 물체의 다른 면을 볼 수 있는 위치에 대응될 수 있다. 사용자(150)는 복수의 뷰들 각각에서 물체의 서로 다른 면을 볼 수 있다.
일 실시예에서, 입력 영상(180)은 현실의 물체를 서로 다른 복수의 뷰에서 촬영하여 획득된 복수의 뷰 영상들(181)을 포함할 수 있다. 일 실시예에서, 복수의 뷰 영상들(181) 각각은 서로 다른 위치에 배치되어, 서로 다른 뷰에서 물체를 촬영하는 복수의 카메라를 통하여 획득된 영상일 수 있다. 또한, 일 실시예에서, 복수의 뷰 영상들(181) 각각은, 마이크로 렌즈 어레이(micro lens array)를 포함하는 카메라를 통하여, 서로 다른 뷰에서 획득된 영상일 수도 있다. 이하, 설명의 편의를 위하여 복수의 뷰 영상들(181)은 서로 다른 뷰에서 물체를 촬영하는 복수의 카메라를 통하여 획득된 영상들로 정의한다.
일 실시예에서, 사용자(150)의 위치에 따라 전자 장치(100)가 디스플레이(110)를 통해 사용자(150)에게 제공하는 영상(160)은 달라질 수 있다. 일 실시예에서, 전자 장치(100)가 제공하는 영상(160)은 전자 장치(100)를 사용하는 사용자(150)에게 입체감(three dimensional effect)을 제공할 수 있는 영상일 수 있다.
일 실시예에서, 전자 장치(100)는 영상(160)을 통하여, 현실의 물체에서 반사되어 사용자(150)에게 제공되는 광을 재현한다. 일 실시예에서, 전자 장치(100)는 영상(160)을 표시하여, 현실의 물체에서 반사되어 사용자(150)에게 제공되는 광과 동일한 경로를 갖는 광(170)을 사용자(150)에게 제공한다. 이에 따라, 사용자(150)는 현실의 물체를 보는 것과 같이, 전자 장치(100)에 표시되는 영상(160)에 포함되는 물체의 입체감을 느낄 수 있다.
일 실시예에서, 전자 장치(100)는 사용자(150)의 위치 변화에 대응하여 달라지는 영상(160)을 제공하여, 사용자(150)가 영상(160)에 포함된 물체의 입체감을 느끼게 할 수도 있다. 이하, 설명의 편의를 위하여, 도 1에는 입력 영상(180)이 육면체(hexahedron)의 형상을 가지는 현실의 물체를 촬영하여 획득된 영상들을 포함하고, 전자 장치(100)를 시청하는 사용자(150)의 위치에 따라, 전자 장치(100)가 사용자(150)에게 육면체의 형상을 가지는 물체의 다른 면을 포함하는 영상(160)을 제공하는 것으로 설명한다.
일 실시예에서, 사용자(150)가 전자 장치(100)의 정면에 위치하는 경우에, 전자 장치(100)는 사용자(150)에게 물체의 정면을 포함하는 영상(160)을 제공할 수 있다.
일 실시예에서, 사용자(150)가 전자 장치(100)의 정면이 아닌, 전자 장치(100)의 정면에 수직한 방향과 교차하는 제1 방향에 위치하는 경우에, 전자 장치(100)는 사용자(150)에게 물체의 제1 측면 및 정면을 포함하는 영상(160)을 제공할 수 있다. 일 실시예에서, 정면에 수직한 방향과 제1 방향 사이의 각도에 따라, 전자 장치(100)가 사용자(150)에게 제공하는 영상(160)에 포함된 물체의 제1 측면 및 물체의 정면은 달라질 수 있다. 일 실시예에서, 정면에 수직한 방향과 제1 방향 사이의 각도에 따라, 전자 장치(100)는 사용자(150)에게 물체의 제1 측면만을 포함하는 영상(160)을 제공할 수도 있다.
일 실시예에서, 사용자(150)가 전자 장치(100)의 정면에 수직한 방향과 교차하고, 제1 방향과 다른 제2 방향에 위치하는 경우에, 전자 장치(100)는 사용자(150)에게 물체의 제1 측면과 다른 제2 측면 및 정면을 포함하는 영상(160)을 제공할 수 있다. 일 실시예에서, 정면에 수직한 방향과 제2 방향 사이의 각도에 따라, 전자 장치(100)가 사용자(150)에게 제공하는 영상(160)에 포함된 물체의 제2 측면 및 물체의 정면은 달라질 수 있다. 일 실시예에서, 정면에 수직한 방향과 제2 방향 사이의 각도에 따라, 전자 장치(100)는 사용자(150)에게 물체의 제2 측면만을 포함하는 영상(160)을 제공할 수도 있다.
일 실시예에서, 물체의 제1 측면과 정면은 현실에서 사용자(150)가 제1 방향에서 물체를 바라볼 때 볼 수 있는 물체의 영역일 수 있다. 일 실시예에서, 물체의 제2 측면과 정면은 현실에서 사용자(150)가 제2 방향에서 물체를 바라볼 때 볼 수 있는 물체의 영역일 수 있다.
일 실시예에서, 전자 장치(100)는 사용자(150)의 위치에 따라 사용자(150)에게 물체의 다른 면을 보여주는 영상(160)을 제공할 수 있다. 따라서 사용자(150)는 전자 장치(100)가 표시하는 영상(160)에 포함되는 물체의 입체감을 느낄 수 있다.
일 실시예에서, 전자 장치(100)는 사용자(150)의 좌안(left eye)과 우안(right eye)에 각각 다른 영상(160)을 제공하여, 사용자(150)가 양안 시차(binocular disparity)를 느끼게 할 수 있다. 일 실시예에서, 제1 방향은 사용자(150)가 좌안을 통하여 전자 장치(100)를 바라보는 방향일 수 있다. 제2 방향은 사용자(150)가 우안을 통하여 전자 장치(100)를 바라보는 방향일 수 있다. 사용자(150)의 우안과 좌안에 제공되는 영상(160)이 서로 달라, 사용자(150)는 양안 시차를 느껴 물체의 입체감을 느낄 수 있다.
일 실시예에서, 디스플레이(110)는 복수의 패널들(120, 130) 및 광학층(140)을 포함할 수 있다. 일 실시예에서, 복수의 패널들(120, 130) 및 광학층(140)은 서로 적층되어 배치될 수 있다. 도 1에는 디스플레이(110)가 두 개의 패널들(120, 130) 및 두 개의 패널들(120, 130) 사이에 배치된 하나의 광학층(140)을 포함하는 것으로 도시되어 있으나, 본 개시는 이에 제한되지 않는다. 디스플레이(110)는 세 개 이상의 패널들 또는 두 개 이상의 광학층을 포함할 수도 있다.
일 실시예에서, 디스플레이(110)는 베이스 패널(120), 프론트 패널(130) 및 베이스 패널(120)과 프론트 패널(130) 사이에 배치된 광학층(140)을 포함할 수 있다. 전자 장치(100)는 입력 영상(180)에 기초하여, 베이스 패널(120)에 표시되는 베이스 영상 및 프론트 패널(130)에 표시되는 프론트 영상을 생성할 수 있다.
일 실시예에서, 베이스 영상 및 프론트 영상은 입력 영상(180)을 분해(decomposition)하여 생성될 수 있다. 일 실시예에서, 입력 영상(180)은 베이스 영상과 프론트 영상의 곱으로 표현될 수 있다. 일 실시예에서, 전자 장치(100)는 베이스 패널(120)에 포함된 복수의 픽셀들 및 프론트 패널(130)에 포함된 복수의 픽셀들을 투과한 광을 통하여 사용자(150)에게 영상(160)을 제공한다. 따라서, 입력 영상(180)을 구성하는 복수의 화소들, 베이스 패널(120)에 포함된 복수의 픽셀들 및 프론트 패널(130)에 포함된 복수의 픽셀들을 각각 행렬(matrix) 형태로 표시하는 경우, 전자 장치(100)는 입력 영상(180)에 대응되는 행렬을 이용하여 베이스 영상에 대응되는 행렬 및 프론트 영상에 대응되는 행렬을 생성할 수 있다. 일 실시예에서, 입력 영상(180)에 대응되는 행렬은, 베이스 영상에 대응되는 행렬과 프론트 영상에 대응되는 행렬의 곱으로 표시될 수 있다. 이하, 설명의 편의를 위하여, 서로 곱하여 입력 영상(180)에 대응되는 행렬으로 구성되는 베이스 영상에 대응되는 행렬과 프론트 영상에 대응되는 행렬을 생성하는 것을, 입력 영상(180)을 분해한다고 지칭한다.
전자 장치(100)는 입력 영상(180)을 분해하여 베이스 영상 및 프론트 영상을 생성하고, 생성한 베이스 영상을 베이스 패널(120)에 표시하고, 생성한 프론트 영상을 프론트 패널(130)에 표시하여 사용자(150)에게 영상(160)을 제공할 수 있다. 전자 장치(100)는 입력 영상(180)에 기초하여, 입력 영상(180)에 포함된 복수의 뷰 영상들(181) 각각을 나타내는 베이스 영상 및 프론트 영상을 생성할 수 있다.
일 실시예에서, 베이스 패널(120)에 표시되는 베이스 영상과 프론트 패널(130)에 표시되는 프론트 영상의 조합으로 사용자(150)에게 영상(160)이 제공될 수 있다. 일 실시예에서, 사용자(150)의 위치에 따라, 베이스 패널(120)에 표시되는 베이스 영상 중 일부가 광학층(140)을 통과한 후 프론트 패널(130)에 표시되는 프론트 영상과 조합되어 사용자(150)에게 영상(160)으로 제공될 수 있다.
따라서, 전자 장치(100)는 사용자(150)의 위치에 따라 사용자(150)에게 제공되는 베이스 영상 및 프론트 영상의 조합의 달라지도록 하여, 사용자(150)에게 입체감 있는 영상(160)을 제공할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 1 및 도 2을 참조하면, 일 실시예에서, 전자 장치(100)는 디스플레이(110), 사용자 추적 센서(210), 메모리(220), 적어도 하나의 프로세서(230) 및 통신 인터페이스(240)를 포함할 수 있다. 그러나, 도 2에 도시된 구성 요소가 모두 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 전자 장치(100)는 구현될 수 있다. 디스플레이(110), 사용자 추적 센서(210), 메모리(220), 적어도 하나의 프로세서(230) 및 통신 인터페이스(240)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
일 실시예에서, 디스플레이(110)는 액정 표시(liquid crystal) 디스플레이, 유기 발광 다이오드(organic light emitting diodes) 디스플레이, 무기 발광 다이오드(inorganic light emitting diodes) 디스플레이 중 어느 하나의 디스플레이를 포함할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 디스플레이(110)는 사용자(150)에게 영상(160)을 제공할 수 있는 다른 종류의 디스플레이를 포함할 수 있다.
일 실시예에서, 디스플레이(110)는 베이스 패널(120), 프론트 패널(130) 및 광학층(140)을 포함할 수 있다. 그러나, 디스플레이(110)는 도 2에 도시된 구성 요소보다 많은 구성 요소를 포함할 수도 있고, 그보다 적은 구성 요소를 포함할 수도 있다. 일 예로, 디스플레이(110)는 베이스 패널(120) 및 프론트 패널(130) 만을 포함할 수도 있다. 또한, 디스플레이(110)는 백라이트(111, 도 3 참조)를 더 포함할 수도 있다. 베이스 패널(120), 프론트 패널(130) 및 광학층(140)에 대한 설명은 도 3 및 도 4에서 후술하도록 한다.
일 실시예에서, 사용자 추적 센서(210)는 영상(160)을 시청하는 사용자(150)의 시야각(viewing angle)을 획득할 수 있다. 사용자 추적 센서(210)는 RGB 이미지를 획득하는 RGB 카메라, RGB 이미지 및 Depth 이미지를 획득하는 RGB-D 카메라, 레이저를 이용하여 거리를 측정하는 라이다(LiDAR), ToF(time-of-flight) 센서 또는 모션 센서(motion sensor) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 사용자 추적 센서(210)는 사용자(150)의 위치 또는 사용자(150)의 머리(head)의 위치를 검출할 수 있다. 사용자 추적 센서(210)는 검출된 사용자(150)의 위치 또는 사용자(150)의 머리의 위치로 사용자(150)의 시야각을 획득할 수 있다. 이때, "시야각"은 사용자(150) 또는 사용자(150)의 머리가 위치한 방향과 전자 장치(100)의 정면에 수직한 방향 사이의 각도로 정의될 수 있다. 일 실시예에서, 사용자(150) 또는 사용자(150)의 머리가 전자 장치(100)의 정면에 수직한 방향에 위치할 때, 사용자 추적 센서(210)는 사용자(150)의 시야각을 0°로 획득할 수 있다. 일 실시예에서, 사용자(150) 또는 사용자(150)의 머리가 전자 장치(100)의 정면에 수직한 방향과 교차되는 방향에 위치할 때, 사용자 추적 센서(210)는 사용자(150)의 시야각을 0°보다 큰 각도라고 획득할 수 있다.
일 실시예에서, 메모리(220)에는 적어도 하나의 프로세서(230)가 판독할 수 있는 명령어들, 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 일 실시예에서, 메모리(220)는 하나 이상일 수 있다. 개시된 실시예들에서, 적어도 하나의 프로세서(230)가 수행하는 동작들은 메모리(220)에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다.
일 실시예에서, 메모리(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 메모리(220)에는 전자 장치(100)의 기능 또는 동작들을 수행하기 위한 명령어들 또는 프로그램 코드가 저장될 수 있다. 메모리(220)에 저장되는 명령어들, 알고리즘, 데이터 구조, 프로그램 코드 및 애플리케이션 프로그램은 예를 들어, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
일 실시예에서, 메모리(220)에는 디스플레이(110)를 통하여 영상(160)을 사용자(150)에게 제공하는데 이용될 수 있는 다양한 종류의 모듈들이 저장될 수 있다. 메모리(220)에는 영상 획득 모듈(221), 시야 특성 획득 모듈(222), 베이스 영상 생성 모듈(223), 프론트 영상 생성 모듈(224) 및 영상 표시 모듈(225)이 저장될 수 있다. 그러나, 도 2에 도시된 모듈 모두가 필수 모듈인 것은 아니다. 메모리(220)에는 도 2에 도시된 모듈보다 더 많은 모듈들이 저장될 수도 있고, 그보다 적은 모듈들이 저장될 수도 있다. 일 실시예에서, 메모리(220)에는 획득한 입력 콘텐츠를 전처리 하기 위한 모듈 등이 더 저장될 수도 있다.
일 실시예에서, 메모리(220)에 포함되는 '모듈'은 적어도 하나의 프로세서(230)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미할 수 있다. 메모리(220)에 포함되는 '모듈'은 명령어들(instructions), 알고리즘, 데이터 구조, 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.
일 실시예에서, 영상 획득 모듈(221)은 입력 영상(180, 도 3 참조)를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 영상 획득 모듈(221)은 외부의 서버 또는 주변의 전자 장치들로부터 입력 영상(180)을 수신하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 영상 획득 모듈(221)은 영상 획득 모델을 포함할 수 있다. 이하, 입력 영상(180)은 도 3에서 자세히 설명하도록 한다.
일 실시예에서, 시야 특성 획득 모듈(222)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 베이스 패널(120)의 베이스 특성 정보는, 베이스 패널(120)을 시청하는 각도에 따른 베이스 패널(120)에 표시되는 베이스 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 하나의 정보로 정의될 수 있다. 일 실시예에서, 베이스 패널(120)의 베이스 특성 정보는, 베이스 패널(120)을 시청하는 각도에 따라 달라질 수 있다. 다만, 본 개시는 이에 제한되지 않고, 베이스 패널(120)의 특성 정보는, 베이스 패널(120)에 포함된 디스플레이의 종류 및 디스플레이의 특성에 따라서도 달라질 수도 있다.
일 실시예에서, 베이스 패널(120)의 정면에서 베이스 패널(120)을 시청할 경우의 베이스 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)와 베이스 패널(120)의 정면이 아닌, 베이스 패널(120)의 정면에 수직한 방향과 교차되는 방향에서 베이스 패널(120)을 시청할 경우의 베이스 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)는 서로 상이 수 있다.
일 실시예에서, 베이스 패널(120)의 정면에 수직한 방향과, 전자 장치(100)의 정면에 수직한 방향이 평행할 때, 사용자(150)가 베이스 패널(120)을 시청하는 각도를 시야각으로 정의할 수 있다. 베이스 패널(120)은 서로 다른 복수의 시야각에 각각 대응되는 복수의 베이스 특성 정보들을 가질 수 있다.
일 실시예에서, 프론트 패널(130)의 프론트 특성 정보는, 프론트 패널(130)을 시청하는 각도에 따른 프론트 패널(130)에 표시되는 프론트 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 하나의 정보로 정의될 수 있다. 일 실시예에서, 프론트 패널(130)의 프론트 특성 정보는, 프론트 패널(13)을 시청하는 각도에 따라 달라질 수 있다. 다만, 본 개시는 이에 제한되지 않고, 프론트 패널(130)의 특성 정보는, 프론트 패널(130)에 포함된 디스플레이의 종류, 디스플레이의 특성에 따라서도 달라질 수도 있다.
일 실시예에서, 프론트 패널(130)의 정면에서 프론트 패널(130)을 시청할 경우의 프론트 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)와 프론트 패널(130)의 정면이 아닌, 프론트 패널(130)의 정면에 수직한 방향과 교차되는 방향에서 베이스 패널(120)을 시청할 경우의 프론트 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)는 서로 상이할 수 있다.
일 실시예에서, 프론트 패널(130)의 정면에 수직한 방향과, 전자 장치(100)의 정면에 수직한 방향이 평행할 때, 사용자(150)가 프론트 패널(130)을 시청하는 각도를 시야각으로 정의할 수 있다. 프론트 패널(130)은 서로 다른 복수의 시야각에 각각 대응되는 복수의 프론트 특성 정보들을 가질 수 있다.
일 실시예에서, 시야 특성 획득 모듈(222)은 메모리(220)에 기-저장된, 서로 다른 복수의 시야각에 각각 대응되는 베이스 패널(120)의 복수의 베이스 특성 정보들을 포함하는 룩업 테이블(lookup table)로부터, 획득된 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보를 획득할 수 있다.
일 실시예에서, 시야 특성 획득 모듈(222)은 메모리(220)에 기-저장된, 서로 다른 복수의 시야각에 각각 대응되는 프론트 패널(130)의 복수의 프론트 특성 정보들을 포함하는 룩업 테이블(lookup table)로부터 획득된 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보를 획득할 수 있다.
다만, 본 개시는 이에 제한되지 않고, 시야 특성 획득 모듈(222)은 통신 인터페이스(240)를 통하여, 외부의 서버 또는 주변의 전자 장치들에 저장된 룩업 테이블들로부터 획득된 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보 및 프론트 패널(130)의 시야 특성 정보를 획득할 수도 있다.
일 실시예에서, 베이스 영상 생성 모듈(223)은 획득한 입력 영상(180)에 기초하여, 베이스 패널(120)에 표시되는 베이스 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 베이스 영상 생성 모듈(223)은 입력 영상(180)을 분해하여, 입력 영상(180)을 구성하는 베이스 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 베이스 영상 생성 모듈(223)은 입력 영상(180)의 텐서(tensor)를 분해하여, 후술할 프론트 영상과의 곱으로 입력 영상(180)을 나타낼 수 있는 텐서를 포함하는 베이스 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 이하, 설명의 편의를 위하여, 입력 영상(180)을 분해하는 것을, 입력 영상(180)에 팩토리제이션(factorization)을 수행하는 것이라 지칭할 수 있다.
일 실시예에서, 베이스 영상 생성 모듈(223)은 입력 영상(180)에 팩토리제이션(factorization)을 수행하여, 베이스 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 베이스 영상 생성 모듈(223)은 입력 영상(180)에 팩토리제이션(factorization)을 수행하여 베이스 영상을 추론하는 인공 지능 모델을 포함할 수 있다. 일 실시예에서, 베이스 영상 생성 모듈(223)에 포함된 인공 지능 모델은 머신 러닝(machine learning) 또는 딥 러닝(deep learning) 모델을 포함할 수 있다.
일 실시예에서, 베이스 영상 생성 모듈(223)에 포함된 인공 지능 모델은 입력 영상(180)을 입력으로 제공받아, 프론트 패널(130)에 표시되는 종래의 프론트 영상과의 조합으로 영상(160)을 생성할 수 있는, 베이스 패널(120)에 표시되는 베이스 영상을 추론하기 위하여 학습된(trained) 인공 지능 모델일 수 있다. 일 실시예에서, 베이스 영상 생성 모듈(223)에 포함된 인공 지능 모델은, 입력 영상(180)에 팩토리제이션을 수행하여, 영상(160)을 생성하기 위한 베이스 영상 및 보정-전 프론트 영상을 추론하도록 학습된 모델 중 일부인 베이스 영상을 추론하기 위한 모델일 수도 있다. 일 실시예에서, 종래의 프론트 영상은, 본 개시의 전자 장치(100) 및 전자 장치(100)의 동작 방법에 의하여 생성되는 획득된 사용자(150)의 시야각에 대응되는 프론트 영상이 아닌, 종래의 사용자(150)의 시야각과 무관하게 입력 영상(180)에 기반하여 생성되는 프론트 영상일 수 있다.
일 실시예에서, 베이스 영상 생성 모듈(223)은 팩토리제이션을 수행하는 베이스 영상 생성 모델을 포함할 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)은 입력 영상(180), 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보에 기반하여, 프론트 패널(130)에 표시되는 프론트 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보에 기반하여, 입력 영상(180)을 분해하여, 입력 영상(180)을 구성하는 프론트 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보를 조건으로 하여, 입력 영상(180)을 분해할 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)은 입력 영상(180)의 텐서(tensor)를 분해함에 있어, 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보를 조건으로 하여, 베이스 영상과의 곱으로 입력 영상(180)을 나타낼 수 있는 텐서를 포함하는 프론트 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
이하, 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보를 조건으로 하여 팩토리제이션을 수행하는 것은, 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보에 기초하여 팩토리제이션을 수행하는 것을 의미할 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)은, 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보에 기초하여, 입력 영상(180)에 팩토리제이션(factorization)을 수행하여 프론트 영상을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보에 기초하여, 입력 영상(180)에 팩토리제이션을 수행하여, 프론트 영상을 추론하는 인공 지능 모델을 포함할 수 있다. 일 실시예에서, 프론트 영상 생성 모듈(224)에 포함된 인공 지능 모델은 머신 러닝(machine learning) 또는 딥 러닝(deep learning) 모델을 포함할 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)에 포함된 인공 지능 모델은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보 및 입력 영상(180)을 입력으로 제공받아, 베이스 패널(120)에 표시되는 베이스 영상과의 조합으로 영상(160)을 생성할 수 있는, 프론트 패널(130)에 표시되는 프론트 영상을 추론하기 위하여 학습된(trained) 인공 지능 모델일 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)은 팩토리제이션을 수행하는 프론트 영상 생성 모델을 포함할 수 있다. 일 실시예에서, 베이스 영상 생성 모델에 의하여 생성되는 프론트 영상을 종래의 프론트 영상이라 할 때, 프론트 영상 생성 모듈(224)을 통하여 생성된 프론트 영상은, 종래의 프론트 영상과 비교하여 사용자(150)의 시야각에 따른 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 따른 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보가 반영된 프론트 영상일 수 있다. 따라서, 사용자(150)가 영상(160)을 시청하는 시야각이 달라지더라도, 베이스 영상과 획득된 사용자(150)의 시야각에 대응되는 프론트 영상과의 조합을 통하여 사용자(150)에게 균일한 화질의 영상(160)을 제공할 수 있다.
일 실시예에서, 프론트 영상 생성 모듈(224)은 팩토리제이션을 수행하는 프론트 영상 생성 모델을 포함할 수 있다.
일 실시예에서, 베이스 영상 생성 모듈(223)에 포함된 인공 지능 모델 및 프론트 영상 생성 모듈(224)에 포함된 인공 지능 모델은 복수의 신경망 레이어들을 포함할 수 있다. 각각의 신경망 레이어는 복수의 가중치(weight values)을 가지고 있으며, 이전(previous) 신경망 레이어의 연산 결과와 복수의 가중치의 연산을 통해 현재(present) 신경망 레이어의 연산을 수행할 수 있다. 인공 지능 모델의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), 심층 Q-네트워크 (Deep Q-Networks), GAN(Generative Adversarial Networks), CGAN(Conditional Generative Adversarial Networks), DCGAN(Deep Convolutional Generative Adversarial Network) 및 VAE(Variational Auto Encoder) 등이 있으며, 본 개시에서의 베이스 영상 생성 모듈(223)에 포함된 인공 지능 모델 및 프론트 영상 생성 모듈(224)에 포함된 인공 지능 모델은 전술한 예에 한정되지 않는다.
이하, 프론트 영상 생성 모델 및 프론트 영상 모델을 통하여 생성된 프론트 영상은 도 5 내지 도 9에서 후술하도록 한다.
일 실시예에서, 전자 장치(100)는 베이스 영상 생성 모듈(223)에 포함된 인공 지능 모델을 훈련시킬 수 있다. 전자 장치(100)는 베이스 영상 생성 모듈(223)에 포함된 인공 지능 모델을 훈련시키기 위하여, 사전 학습 모델을 이용한 전이 학습(transfer learning)을 할 수도 있다. 다만, 본 개시는 이에 한정되지 않고, 베이스 영상 생성 모듈(223)은 입력 영상(180)에 팩토리제이션을 수행하여, 베이스 영상을 추론하기 위해 학습된 인공지능 모델을 통신 인터페이스(240)를 통하여 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다.
일 실시예에서, 전자 장치(100)는 프론트 영상 생성 모듈(224)에 포함된 인공 지능 모델을 훈련시킬 수 있다. 전자 장치(100)는 프론트 영상 생성 모듈(224)에 포함된 인공 지능 모델을 훈련시키기 위하여, 사전 학습 모델을 이용한 전이 학습(transfer learning)을 할 수도 있다. 다만, 본 개시는 이에 한정되지 않고, 전자 장치(100)는 사용자(150)의 시야각에 따른 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 따른 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보에 기초하여 입력 영상(180)에 팩토리제이션을 수행하여, 프론트 영상을 추론하기 위해 학습된 인공지능 모델을 통신 인터페이스(240)를 통하여 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다. 이하, 프론트 영상 생성 모듈(224)에 포함된 인공 지능 모델의 훈련 방법은 도 10 내지 도 15에서 후술하도록 한다.
일 실시예에서, 영상 표시 모듈(225)은 베이스 패널(120)에 베이스 영상을 표시하고, 프론트 패널(130)에 프론트 영상을 표시하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 적어도 하나의 프로세서(230)는 영상 표시 모듈(225)을 실행하여 베이스 패널(120)에 베이스 영상을 표시하고, 프론트 패널(130)에 프론트 영상을 표시할 수 있다.
일 실시예에서, 메모리(220)에는 획득한 입력 영상(180)을 전처리하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된 전처리 모듈이 더 저장될 수 있다. 전처리 모듈은 재구성(wrangling), 변환(transformation), 통합(integration), 클리닝(cleaning), 축소(reduction), 이산화(discretization) 등을 수행하여 입력 영상(180)을 전처리하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 베이스 영상 생성 모듈(223)은 전처리 모듈을 통하여 전처리된 입력 영상에 기초하여 베이스 영상을 생성할 수도 있다. 프론트 영상 생성 모듈(224)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보, 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보 및 광학층(140)의 특성 정보에 기초하여, 전처리된 입력 영상에 팩토리제이션을 수행하여 프론트 영상을 생성할 수도 있다.
일 실시예에서, 메모리(220)에는 광학층(140)의 특성 정보가 더 저장될 수 있다. 광학층(140)의 특성 정보는, 광학층(140)의 굴절률, 초점 거리(focal length), 광학층(140)에 포함된 렌즈들의 형상, 광학층(140)에 포함된 렌즈들의 크기, 광학층(140)에 포함된 렌즈들의 숫자 중 적어도 하나의 정보를 포함할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 광학층(140)의 특성 정보는, 광학층(140)으로 입사되는 광이 광학층(140)을 투과하며 굴절(refraction), 반사(reflection), 분산(dispersion) 등이 되는 것을 설명하기 위한 정보들을 포함할 수도 있다.
일 실시예에서, 적어도 하나의 프로세서(230)는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays) 및 뉴럴 프로세서(Neural Processing Unit) 또는 인공지능 모델(Artificial Intelligence, AI)의 학습 및 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
일 실시예에서, 통신 인터페이스(240)는 적어도 하나의 프로세서(230)의 제어에 의해 외부의 서버와 데이터 통신을 수행할 수 있다. 또한, 통신 인터페이스(240)는 외부의 서버뿐 아니라, 다른 주변 전자 장치들과도 데이터 통신을 수행할 수 있다. 통신 인터페이스(240)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 서버 또는 다른 주변 전자 장치들과 데이터 통신을 수행할 수 있다.
일 실시예에서, 적어도 하나의 프로세서(230)는 통신 인터페이스(240)를 통하여 입력 영상(180)을 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(230)는 통신 인터페이스(240)를 통하여 베이스 영상 생성 모듈(223)에 포함된 인공 지능 모델 또는 프론트 영상 생성 모듈(224)에 포함된 인공 지능 모델을 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다. 이하, 도 2에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 3을 참조하면, 전자 장치(100)는 디스플레이(110), 적어도 하나의 명령어(instruction)를 저장하는 메모리(220) 및 적어도 하나의 프로세서(230)를 포함할 수 있다. 적어도 하나의 프로세서(230)는 메모리(220)에 포함된 적어도 하나의 명령어를 실행함으로써, 전자 장치(100)의 동작을 제어할 수 있다. 일 실시예에서, 디스플레이(110)는 백라이트(back light, 111), 베이스 패널(120), 프론트 패널(130) 및 광학층(140)을 포함할 수 있다.
도 3에는 사람의 얼굴을 포함하는 입력 영상(180)이 도시되어 있다. 다만, 도 3의 도시는 설명의 편의를 위한 것이며, 현실의 물체는 사람의 얼굴 형상으로 제한되지 않는다. 입력 영상(180)은 다양한 종류의 물체를 촬영하여 획득한 정보를 포함할 수 있다.
일 실시예에서, 전자 장치(100)는 입력 영상(180)을 제공받을 수 있다. 일 실시예에서, 전자 장치(100)에 포함된 적어도 하나의 프로세서(230)는 입력 영상(180)을 제공받을 수 있다. 적어도 하나의 프로세서(230)는 메모리(220)에 포함된 적어도 하나의 명령어(instruction)를 실행하여, 입력 영상(180)에 기초하여 베이스 패널(120)에 표시할 베이스 영상 및 프론트 패널(130)에 표시할 프론트 영상을 생성할 수 있다. 적어도 하나의 프로세서(230)는 베이스 영상을 베이스 패널(120)에 표시하고, 프론트 영상을 프론트 패널(130)에 표시하여 사용자(150)에게 촬영한 물체를 재현하는 영상(160)을 제공할 수 있다.
이하, 적어도 하나의 프로세서(230)가 베이스 영상 및 프론트 영상을 생성하는 것에 대하여는 도 5 내지 도 9에서 후술하도록 한다.
일 실시예에서, 사용자(150)는 사용자(150)의 시야각에 따라 대응되는 뷰에 해당하는 영상을 시청할 수 있다. 일 실시예에서, 사용자(150)가 전자 장치(100)의 정면에 위치한 경우(예를 들어, 시야각이 0°인 경우), 해당 시야각에서 사용자(150)는 현실의 물체의 정면에 해당하는 뷰에서 볼 수 있는 물체의 면을 영상(160)을 통하여 시청할 수 있다. 일 실시예에서, 사용자(150)가 전자 장치(100)의 정면이 아닌, 측면에 위치한 경우(예를 들어, 시야각이 0°보다 큰 경우), 해당 시야각에서 사용자(150)는 현실의 물체의 측면에 해당하는 뷰에서 볼 수 있는 물체의 면을 영상(160)을 통하여 시청할 수 있다. 일 실시예에서, 백라이트(111)는 광을 생성하여 사용자(150)에게 제공할 수 있다. 일 실시예에서, 백라이트(111)가 생성하는 광은 백색 광일 수 있다. 다만, 본 개시는 이에 한정되지 않고, 백라이트(111)가 제공하는 광은 백색이 아닌, 다른 색을 가질 수도 있다.
일 실시예에서, 베이스 패널(120) 및 프론트 패널(130) 각각은 복수의 픽셀들을 포함할 수 있다. 일 실시예에서, 베이스 패널(120) 및 프론트 패널(130)이 액정 표시(liquid crystal) 디스플레이인 경우, 베이스 패널(120) 및 프론트 패널(130) 각각은 복수의 컬러 필터(color filter)들을 포함하는 필터층일 수 있다. 일 실시예에서, 복수의 픽셀들 각각은 복수의 컬러 필터들에 대응될 수 있다.
일 실시예에서, 베이스 패널(120) 또는 프론트 패널(130) 중 적어도 하나는 복수의 레드, 그린 및 블루 픽셀들을 포함할 수도 있다. 일 실시예에서, 베이스 패널(120) 또는 프론트 패널(130) 중 적어도 하나는 복수의 레드, 그린, 블루 컬러 픽셀들 및 광을 필터링하지 않는 개구부들을 포함할 수도 있다. 일 실시예에서, 베이스 패널(120) 또는 프론트 패널(130) 중 적어도 하나는 복수의 옐로우, 블루 픽셀 등을 포함할 수도 있다.
다만, 본 개시는 이에 제한되지 않고, 베이스 패널(120)은 서로 다른 컬러를 갖는 복수의 픽셀들을 포함하고, 프론트 패널(130)은 단색(monochrome)을 갖는 복수의 픽셀들을 포함할 수도 있다. 프론트 패널(130)은 단색의 컬러 필터를 포함하는 필터층일 수 있다.
다만, 본 개시는 이에 한정되지 않는다. 일 실시예에서, 백라이트(111)에서 제공하는 광의 파장 및 백라이트(111)에서 제공되는 광을 이용하여 영상(160)을 표시하기 위한 색의 조합 등에 따라 베이스 패널(120) 및 프론트 패널(130)에 포함되는 복수의 픽셀들의 색은 달라질 수 있다
일 실시예에서, 베이스 패널(120)의 해상도와 프론트 패널(130)의 해상도는 서로 다를 수 있다. 프론트 패널(130)의 해상도는 베이스 패널(120)의 해상도와 같거나, 클 수 있다.
일 실시예에서, 베이스 패널(120)을 투과하는 광을 베이스 패널(120)에 표시되는 베이스 영상이라 지칭하고, 프론트 패널(130)을 투과하는 광을 프론트 패널(130)에 표시되는 프론트 영상이라 지칭할 수 있다. 이때, 베이스 영상은 베이스 패널(120)을 투과하는 광에 대응되는 복수의 픽셀들의 투과율 및 색 등의 정보를 포함할 수도 있다. 프론트 영상은 프론트 패널(130)을 투과하는 광에 대응되는 복수의 픽셀들의 투과율 및 색 등의 정보를 포함할 수도 있다.
일 실시예에서, 백라이트(111)에서 제공되는 광(170)은 베이스 패널(120), 광학층(140) 및 프론트 패널(130)을 각각 투과하여 사용자(150)에게 제공될 수 있다.
일 실시예에서, 백라이트(111)에서 생성된 광(170)은 베이스 패널(120)에 포함된 어느 하나의 픽셀 및 프론트 패널(130)에 포함된 어느 하나의 픽셀을 거쳐 사용자(150)에게 제공될 수 있다. 백라이트(111)에서 생성된 광(170)이 지나가는 베이스 패널(120)의 픽셀 및 프론트 패널(130)의 픽셀 각각의 색 또는 투과율 중 적어도 하나에 따라 사용자(150)에게 제공되는 광(170)의 파장 및 세기가 결정된다. 백라이트(111)에서 생성된 광(170)이 지나가는 베이스 패널(120)의 픽셀과 프론트 패널(130)의 픽셀의 조합에 따라 사용자(150)에게 제공되는 광(170)의 파장 및 세기가 결정된다.
이때, 사용자(150)의 위치에 따라, 사용자(150)에게 도달하기 위하여 백라이트(111)에서 생성된 광(170)이 지나가는 베이스 패널(120)의 픽셀과 프론트 패널(130)의 픽셀이 달라진다. 구체적으로, 사용자(150)의 위치에 따라, 사용자(150)에게 도달하기 위하여 백라이트(111)에서 생성된 광(170)이 지나가는 베이스 패널(120)의 픽셀 및 프론트 패널(130)의 픽셀 각각의 색 또는 투과율 등이 달라질 수 있다. 일 실시예에서, 사용자(150)의 위치에 따라 사용자(150)에 도달하기 위하여 백라이트(111)에서 생성된 광(170)이 지나가는 베이스 패널(120)의 픽셀과 프론트 패널(130)의 픽셀의 조합이 달라질 수 있다.
일 실시예에서, 디스플레이(110)가 광학층(140)을 포함하는 경우, 백라이트(111)에서 제공되는 광(170)은 베이스 패널(120)을 투과되고, 광학층(140)에 의하여 굴절된 후 프론트 패널(130)을 투과하여 사용자(150)에게 제공될 수 있다. 광학층(140)에 의하여 굴절되어 경로가 변경된 광은, 변경된 경로에 대응되는 위치의 사용자(150)에게 제공될 수 있다.
일 실시예에서, 광학층(140)은 베이스 패널(120) 및 프론트 패널(130) 사이에 배치될 수 있다. 베이스 패널(120)에서 제공된 광(170)은, 광학층(140)을 투과하며 굴절(refraction), 반사(reflection), 분산(dispersion) 등이 된 후 프론트 패널(130)에 제공될 수 있다. 도 3에는 광학층(140)이 베이스 패널(120)과 프론트 패널(130) 사이에 배치된 것으로 도시되었으나, 본 개시는 이에 한정되지 않는다. 일 실시예에서, 디스플레이(110)가 세 개 이상의 패널들을 포함할 경우, 광학층(140)은 베이스 패널(120)과 프론트 패널(130) 사이가 아닌, 다른 곳에 배치될 수도 있다. 또한, 일 실시예에서, 광학층(140)은 생략될 수도 있다. 이하, 설명의 편의를 위하여, 광학층(140)을 지나는 광(170)은 굴절되는 것으로 설명한다.
일 실시예에서, 광학층(140)은 적어도 하나의 렌즈를 포함하는 렌즈 어레이(lens array)를 포함할 수 있다. 일 실시예에서, 광학층(140)은 적어도 하나의 렌즈를 포함할 수 있다. 도 3에는 광학층(140)이 세 개의 렌즈들을 포함하는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 광학층(140)은 두 개 이하의 렌즈, 또는 네 개 이상의 렌즈를 포함할 수도 있다.
일 실시예에서, 베이스 패널(120)에 포함된 픽셀과 광학층(140)에 포함된 적어도 하나의 렌즈 간의 위치 관계, 적어도 하나의 렌즈의 개수, 형상 및 굴절률에 따라, 베이스 패널(120)을 지나간 광(170)이 굴절되어 프론트 패널(130)을 향하는 경로가 변경될 수 있다. 광학층(140)에 의하여 경로가 굴절된 광은, 프론트 패널(130)을 투과한 후, 해당 경로에 대응되는 위치에서 전자 장치(100)를 보는 사용자(150)에게 제공될 수 있다. 따라서, 사용자(150)의 위치 변화에 따라 서로 다른 베이스 패널(120)의 픽셀과 프론트 패널(130)의 픽셀을 지나간 광이 사용자(150)에게 제공되어, 사용자(150)에게 위치 변화에 따라 물체의 다른 면을 포함하는 영상(160)을 제공할 수 있다.
다만, 본 개시는 이에 제한되지 않고, 광학층(140)은 패럴랙스 배리어(parallex barrier)를 포함할 수도 있다. 일 실시예에서, 광학층(140)은 광학층(140)을 지나가는 광을 광의 파장, 광의 경로 등에 따라 선택적으로 투과시킬 수도 있다.
이하, 설명의 편의를 위하여, 광학층(140)은 렌즈 어레이를 포함하는 것으로 설명한다.
다만, 본 개시는 이에 한정되지 않고, 베이스 패널(120) 또는 프론트 패널(130) 중 적어도 하나는 유기 발광 다이오드 디스플레이, 무기 발광 다이오드 디스플레이 등과 같이, 베이스 패널(120) 및 프론트 패널(130) 각각이 스스로 광을 생성하는 디스플레이일 수도 있다. 베이스 패널(120) 및 프론트 패널(130)이 모두 스스로 광을 생성하는 패널인 경우, 디스플레이(110)는 백라이트(111)를 포함하지 않을 수 있다. 이 경우, 전자 장치(100)는 각각의 패널에서 생성되는 광의 세기, 파장 및 각 서브 패널의 투과율 등을 조절하여 사용자(150)의 위치에 따라 다른 영상(160)을 사용자(150)에게 제공할 수도 있다.
일 실시예에서, 전자 장치(100)는 사용자(150)의 위치가 복수의 뷰 중 어느 하나의 뷰에 대응됨에 따라, 사용자(150)에게 해당 뷰에 대응되는 물체의 면을 포함하는 영상(160)을 제공하여 사용자(150)가 입체감을 느끼도록 할 수 있다.
일 실시예에서, 베이스 패널(120)에 포함되는 베이스 영상은 서로 다른 복수의 뷰에 각각 대응되는 복수의 서브 베이스 영상들을 포함할 수 있다. 복수의 서브 베이스 영상들 각각에서 나온 광은 광학층(140)에 의하여 굴절된 후 프론트 패널(130)로 제공될 수 있다. 복수의 서브 베이스 영상들 각각에서 나온 광은, 광학층(140)에 의하여, 서로 다른 경로로 굴절되어 프론트 패널(130)로 제공될 수 있다. 광학층(140)에 의하여 서로 다른 경로로 프론트 패널(130)로 제공된 복수의 서브 베이스 영상들은, 프론트 영상의 서로 다른 영역을 투과한 후 각각의 뷰에서 사용자(150)에게 제공될 수 있다.
따라서, 전자 장치(100)는 사용자(150)의 위치 변화에 대응하여 달라지는 영상(160)을 사용자(150)에게 제공할 수 있다. 사용자(150)는 사용자(150)의 위치 변화에 대응하여 전자 장치(100)가 제공하는 영상(160)이 달라지는 것에 기초하여, 영상(160)에 포함된 물체의 입체감을 느낄 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다. 이하, 도 2 및 도 3에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 3 및 도 4를 참조하면, 도 4에는 디스플레이(110)에 포함된 베이스 패널(120), 광학층(140) 및 프론트 패널(130)이 도시되어 있다. 일 실시예에서, 광학층(140)은 베이스 패널(120) 상에 배치되어 있다. 프론트 패널(130)은 광학층(140) 상에 배치되어 있다. 일 실시예에서, 디스플레이(110)는 베이스 패널(120)의 하단에 배치된 백라이트(111)를 더 포함할 수 있다.
일 실시예에서, 베이스 패널(120) 및 프론트 패널(130)은 각각 복수의 픽셀들을 포함할 수 있다. 일 실시예에서, 미도시된 백라이트에서 제공되는 광은 베이스 패널(120)에 포함된 복수의 픽셀들 중 어느 하나의 픽셀과 프론트 패널(130)에 포함된 복수의 픽셀들 중 어느 하나의 픽셀을 투과하여 사용자(150)에게 제공될 수 있다.
일 실시예에서, 광학층(140)에 포함된 적어도 하나의 렌즈의 크기, 렌즈의 형상 또는 렌즈의 굴절률 중 적어도 하나에 기초하여 베이스 패널(120)을 투과한 광이 광학층(140)에 의하여 굴절되는 정도가 결정될 수 있다. 베이스 패널(120)을 투과한 광은 광학층(140)에 의하여 굴절되어 경로가 변경된 후, 프론트 패널(130)을 투과하여 사용자(150)에게 제공될 수 있다.
일 실시예에서, 베이스 패널(120)에 표시되는 베이스 영상(121, 122, 123)은 제1 서브 베이스 영상(121), 제2 서브 베이스 영상(122) 및 제3 서브 베이스 영상(123)을 포함할 수 있다. 도 4에는 제1 서브 베이스 영상(121), 제2 서브 베이스 영상(122) 및 제3 서브 베이스 영상(123) 각각이 하나의 픽셀에 대응되는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 제1 서브 베이스 영상(121), 제2 서브 베이스 영상(122) 및 제3 서브 베이스 영상(123)은 각각 베이스 패널(120)에 포함된 적어도 하나 이상의 픽셀들에 대응되는 영상일 수 있다.
일 실시예에서, 제1 내지 제3 서브 베이스 영상들(121, 122, 123) 각각은 광학층(140)에 의하여 굴절되어, 서로 다른 뷰에 위치한 사용자(150)에게 제공될 수 있다. 제1 내지 제3 서브 베이스 영상들(121, 122, 123) 각각은 서로 다른 뷰에 위치한 사용자(150)에게 물체의 다른 면을 제공하기 위한 영상일 수 있다.
도 4에는 베이스 영상(121, 122, 123)이 세 개의 서브 베이스 영상들을 포함하는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 베이스 패널(120)의 해상도, 광학층(140)에 포함된 적어도 하나의 렌즈의 크기, 렌즈의 형상 또는 렌즈의 굴절률 중 적어도 하나에 기초하여, 베이스 영상(121, 122, 123)은 두 개의 서브 베이스 영상 또는 네 개 이상의 서브 베이스 영상들을 포함할 수도 있다.
일 실시예에서, 제1 내지 제3 서브 베이스 영상들(121, 122, 123) 각각은 광학층(140)에 의하여 굴절된 후, 프론트 패널(130) 중 대응되는 광 경로에 있는 영역을 투과하여 사용자(150)에게 제공될 수 있다.
일 실시예에서, 프론트 영상(131, 132, 133)은 제1 서브 프론트 영상(131), 제2 서브 프론트 영상(132) 및 제3 서브 프론트 영상(133)을 포함할 수 있다. 제1 서브 프론트 영상(131)은, 제1 서브 베이스 영상(121)이 광학층(140)을 거친 후 투과하는 프론트 패널(130)의 영역에 표시되는 영상이다. 제2 서브 프론트 영상(132)은 제2 서브 베이스 영상(122)이 광학층(140)을 거친 후 투과하는 프론트 패널(130)의 영역에 표시되는 영상이다. 제3 서브 프론트 영상(133)은 제3 서브 베이스 영상(123)이 광학층(140)을 거친 후 투과하는 프론트 패널(130)의 영역에 표시되는 영상이다.
일 실시예에서, 사용자(150)는 제1 서브 베이스 영상(121) 및 제1 서브 프론트 영상(131)의 조합으로 생성되는 영상을 시청하기 위하여, 전자 장치(100)의 정면에 해당하는 뷰에 위치할 수 있다. 일 실시예에서, 사용자(150)는 제2 서브 베이스 영상(122) 및 제2 서브 프론트 영상(132)의 조합으로 생성되는 영상을 시청하기 위하여, 전자 장치(100)의 제1 측면에 해당하는 뷰에 위치할 수 있다. 일 실시예에서, 사용자(150)는 제3 서브 베이스 영상(123) 및 제3 서브 프론트 영상(133)의 조합으로 생성되는 영상을 시청하기 위하여, 전자 장치(100)의 제2 측면에 해당하는 뷰에 위치할 수 있다.
일 실시예에서, 베이스 패널(120)의 베이스 특성 정보 및 프론트 패널(130)의 프론트 특성 정보는 전자 장치(100)를 시청하는 뷰에 따라 달라질 수 있다. 따라서, 전자 장치(100)의 정면에 해당하는 뷰에서 영상을 시청할 때의 베이스 특성 정보 및 프론트 특성 정보는 전자 장치(100)의 제1 측면에 해당하는 뷰에서 영상을 시청할 때의 베이스 특성 정보 및 프론트 특성 정보와 상이할 수 있다. 전자 장치(100)의 제2 측면에 해당하는 뷰에서 영상을 시청할 때의 베이스 특성 정보 및 프론트 특성 정보는, 전자 장치(100)의 정면에 해당하는 뷰 및 제1 측면에 해당하는 뷰 각각에서 영상을 시청할 때의 베이스 특성 정보 및 프론트 특성 정보와 상이할 수 있다.
이때, 제1 내지 제3 서브 프론트 영상들(131, 132, 133) 각각은, 서로 다른 뷰에 위치한 사용자(150)에게 물체의 다른 면을 제공하고, 사용자(150)의 뷰에 따른 베이스 특성 정보와 프론트 특성 정보의 변화를 보상하기 위한 영상일 수 있다. 따라서, 전자 장치(100)는 제1 내지 제3 서브 베이스 영상들(121, 122, 123) 및 제1 내지 제3 서브 프론트 영상들(131, 132, 133)을 통하여, 사용자(150)에게 전자 장치(100)를 시청하는 뷰의 변화에 따라 물체의 다른 면을 포함하는 영상을 제공하고, 균일한 화질의 영상(160)을 제공할 수 있다.
도 5는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 순서도이다. 도 6은 본 개시의 일 실시예에 따른 베이스 영상 및 프론트 영상을 생성하는 전자 장치의 동작을 설명하기 위한 도면이다.
도 2, 도 5 및 도 6을 참조하면, 일 실시예에서, 전자 장치(100)의 동작 방법은 서로 다른 복수의 시야각에 각각 대응되는 복수의 뷰 영상들(181)을 포함하는 입력 영상(180)을 획득하는 단계(S100)를 포함할 수 있다. 일 실시예에서, 입력 영상(180)을 획득하는 단계(S100)에서 적어도 하나의 프로세서(230)는 영상 획득 모듈(221)을 실행하여 입력 영상(180)을 획득할 수 있다.
일 실시예에서, 전자 장치(100)의 동작 방법은, 영상(160)을 시청하는 사용자(150)의 시야각을 획득하는 단계(S200)를 포함할 수 있다. 일 실시예에서, 사용자(150)의 시야각을 획득하는 단계(S200)에서, 적어도 하나의 프로세서(230)는 사용자 추적 센서(210)를 이용하여 사용자(150)의 시야각을 획득할 수 있다.
일 실시예에서, 전자 장치(100)의 동작 방법은, 베이스 영상 생성 모델(600)을 이용하여 입력 영상(180)을 분해함으로써, 베이스 영상(620)을 생성하는 단계(S300)를 포함할 수 있다. 일 실시예에서, 베이스 영상(620)은 서로 다른 복수의 뷰에 각각 대응되는 복수의 서브 베이스 영상들(621)을 포함할 수 있다.
일 실시예에서, 전자 장치(100)의 동작 방법은, 프론트 영상 생성 모델(610)을 이용하여 획득한 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1), 획득한 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3) 및 광학층(140)의 특성 정보(VC_2)에 기반하여 입력 영상(180)을 분해함으로써, 사용자(150)의 시야각에 대응되는 프론트 영상(630)을 생성하는 단계(S400)를 포함할 수 있다. 일 실시예에서, 프론트 영상(630)은 사용자(150)의 시야각에 따른 베이스 패널(120)의 시야 특성 정보(VC_1), 프론트 패널(130)의 시야 특성 정보(VC_3) 및 광학층(140)의 특성 정보(VC_2)를 반영하여 생성된 프론트 영상일 수 있다. 일 실시예에서, 메모리(220)에 포함된 프론트 영상 생성 모듈(224)은 프론트 영상 생성 모델(610)을 포함할 수 있다. 이하, 프론트 영상 생성 모델(610)은 도 7 내지 도 9에서 자세히 설명하도록 한다.
일 실시예에서, 전자 장치(100)의 동작 방법은, 베이스 패널(120)에 베이스 영상(620)을 표시하고, 프론트 패널(130)에 프론트 영상(630)을 표시하여, 사용자(150)에게 영상(160)을 제공하는 단계(S500)를 포함할 수 있다. 사용자(150)에게 영상(160)을 제공하는 단계(S500)에서, 적어도 하나의 프로세서(230)는 베이스 패널(120)에 복수의 서브 베이스 영상들(621)을 표시하고, 프론트 패널(130)에 프론트 영상(630)을 표시할 수 있다. 일 실시예에서, 복수의 서브 베이스 영상들(621) 각각은 사용자(150)의 서로 다른 뷰에 대응되는 물체의 면을 포함하는 영상일 수 있다. 사용자(150)는 영상(160)을 시청하는 뷰를 변경해가며, 영상(160)을 시청하는 뷰에 대응되는 서브 베이스 영상 및 프론트 영상(630)의 조합으로 생성된 영상(160)을 시청할 수 있다.
일 실시예에서, 사용자(150)가 영상(160)을 시청하는 뷰의 위치에 따라, 사용자(150)의 시야각이 달라질 수 있다. 베이스 패널(120)의 베이스 특성 정보는 시야각에 따라 달라지므로, 사용자(150)에게 제공되는 서브 베이스 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray) 중 적어도 하나의 정보가 사용자(150)의 시야각에 따라 달라질 수 있다.
그러나, 서브 베이스 영상과 조합되는 프론트 영상(630)은, 사용자(150)의 시야각에 따라 사용자(150)에게 제공되는 서브 베이스 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 하나의 정보가 변경되더라도, 사용자(150)에게 사용자(150)의 시야각과 무관하게 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)가 균일한 영상(160)을 제공할 수 있도록 생성된 영상일 수 있다.
일 실시예에서, 사용자(150)가 전자 장치(100)의 정면에서 영상(160)을 시청하는 경우의 사용자의 시야각을 기준 시야각이라고 정의할 수 있다. 베이스 패널(120)의 복수의 시야각에 각각 대응되는 베이스 특성 정보 중 기준 시야각에 대응되는 베이스 특성 정보를 기준 베이스 특성 정보라 정의할 수 있다. 프론트 패널(130)의 복수의 시야각에 각각 대응되는 프론트 특성 정보 중, 기준 시야각에 대응되는 프론트 특성 정보를 기준 프론트 특성 정보라 정의할 수 있다.
일 실시예에서, 프론트 영상(630)은 사용자(150)의 시야각과 무관하게, 사용자(150)에게 기준 베이스 특성 정보에 기초하여 표시되는 베이스 영상과 기준 프론트 특성 정보에 기초하여 표시되는 프론트 영상의 조합으로 생성되는 영상(160)을 제공하기 위한 영상일 수 있다.
일 실시예에서, 프론트 영상(630)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초하여 생성된 영상일 수 있다. 프론트 영상(630)은 종래의 프론트 영상과 비교하여, 베이스 패널(120)의 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(130)의 시야 특성 정보와 기준 프론트 특성 정보 간의 차이를 보상하도록 생성된 영상일 수 있다. 전자 장치(100)는 베이스 영상(620) 및 프론트 영상(630)을 통해, 사용자(150)가 기준 시야각이 아닌 다른 시야각에서 영상(160)을 시청하더라도 사용자(150)에게 기준 시야각에서의 기준 베이스 특성 정보와 기준 프론트 특성 정보에 기초하여 표시되는 영상(160)을 제공할 수 있다.
따라서, 전자 장치(100)는 베이스 영상(620) 및 프론트 영상(630)을 표시하는 단계(S500)에서, 사용자(150)의 시야각에 대응되는 뷰에 따라 달라지는 영상(160)을 제공하여 사용자(150)에게 입체감을 제공하며, 사용자(150)의 시야각과 무관하게, 사용자(150)에게 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)가 균일한 영상(160)을 제공할 수 있다.
도 7은 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 도면이다. 이하, 도 5 및 도 6에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 7을 참조하면, 일 실시예에서, 프론트 영상 생성 모델(610)은 제1 프론트 영상 생성 모델(700) 및 제2 프론트 영상 생성 모델(710)을 포함할 수 있다. 제1 프론트 영상 생성 모델(700)은 프론트 영상(630)에 의한 보상의 대상이 되는, 사용자(150)의 시야각과 기준 시야각의 차이에 의하여 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 하나의 정보가 달라진 베이스 영상(630)이 광학층(140)을 통과한 중간 영상에 대응되는 중간 프론트 영상(720)을 생성하는 모델일 수 있다.
제2 프론트 영상 생성 모델(710)은 중간 프론트 영상(720)에 기초하여, 베이스 패널(120) 및 광학층(140)을 거쳐 프론트 패널(130)로 제공되는 중간 영상과 조합될 수 있는 프론트 영상(630)을 생성하는 모델일 수 있다.
따라서, 프론트 영상 생성 모델(610)은 사용자(150)의 시야각에서, 베이스 영상 생성 모델(600)을 통하여 생성된 베이스 영상(620)이 광학층(140)을 거쳐 사용자(150)에게 제공되는 중간 영상에 기초하여, 사용자(150)의 시야각과 무관하게 균일한 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)의 영상(160)을 생성하기 위한 프론트 영상(630)을 생성하는 모델일 수 있다.
일 실시예에서, 제1 프론트 영상 생성 모델(700)은 입력 영상(180), 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)를 제공받아, 사용자(150)의 시야각에 따른 베이스 패널(120)의 시야 특성 정보에 기초한 중간 프론트 영상(720)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 제1 프론트 영상 생성 모델(700)은, 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)에 기초하여, 입력 영상(180)에 팩토리제이션을 수행하여 생성된 베이스 영상이 광학층(140)을 통과하여, 사용자(150)에게 제공되는 중간 영상에 대응되는 중간 프론트 영상(720)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 제1 프론트 영상 생성 모델(700)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)에 기초하여, 사용자(150)의 시야각에 따른 베이스 패널(120)의 베이스 특성 정보가 반영된 베이스 영상 및 해당 베이스 영상이 광학층(140)을 거쳐 생성되는 중간 영상에 대응되는 중간 프론트 영상(720)을 생성하기 위한 모델일 수 있다. 일 실시예에서, 중간 프론트 영상(720)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1)에 따른 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 갖고, 사용자(150)의 뷰에 대응되는 베이스 영상이 광학층(140)을 통하여 사용자(150)에게 제공되는 중간 영상에 대응되는 영상일 수 있다. 이때, 중간 프론트 영상(720)은 실제로 전자 장치(100)의 베이스 패널(120) 및 광학층(140)을 거쳐 표시되는 영상이 아닌, 제2 프론트 영상 생성 모델(710)에 입력 영상(180)을 팩토리제이션하여 생성된 베이스 영상(620), 프론트 영상(630)을 통하여 보상하고자 하는 사용자(150)의 시야각에 따른 베이스 특성 정보 및 광학층의 특성 정보를 제공하기 위해 생성된 중간 단계의 영상일 수 있다.
일 실시예에서, 제1 프론트 영상 생성 모델(700)은, 제공되는 베이스 패널(120)의 복수의 베이스 특성 정보 및 광학층(140)의 특성 정보(VC_2)에 기초하여, 서로 다른 복수의 뷰에서 관찰되는 복수의 서브 중간 프론트 영상들을 생성하기 위한 모델일 수 있다. 일 실시예에서, 적어도 하나의 프로세서(230)가 획득된 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)를 제1 프론트 영상 생성 모델(700)에 제공하는 경우, 복수의 서브 중간 프론트 영상들 중 사용자(150)의 시야각에 대응되는 뷰에서의 베이스 패널(120)의 시야 특성 정보(VC_1)가 반영된 서브 중간 프론트 영상(730)이 생성될 수 있다.
일 실시예에서, 복수의 서브 중간 프론트 영상들 각각은, 대응되는 뷰에서 관찰되는 복수의 서브-뷰 중간 프론트 영상들을 포함할 수 있다. 복수의 서브-뷰 중간 프론트 영상들 각각은, 대응되는 뷰에서 사용자(150)에게 입체감을 제공하기 위하여 표시되는 물체의 면을 포함하는 영상(731) 및 인접한 뷰에서 사용자(150)에게 입체감을 제공하기 위하여 표시되는 물체의 면을 포함하는 영상들을 포함할 수 있다. 사용자(150)에게 사용자(150)의 시야각에 대응되는 뷰에서 제공되는 영상 및 인접한 뷰에서 제공되는 영상들을 제공되더라도, 사용자(150)의 시야각에 대응되는 뷰에서 제공되는 영상(731)이 사용자(150)의 눈의 초점과 일치하여, 사용자(150)는 해당 뷰에 대응되는 물체의 면을 시청하여 입체감을 느낄 수 있다. 다만, 본 개시는 이에 제한되지 않고, 사용자(150)는 사용자(150)의 시야각에 대응되는 뷰에서 제공되는 영상(731)만을 제공받을 수도 있다.
이하, 설명의 편의를 위하여, 사용자(150)의 시야각에 대응되는 뷰에서의 베이스 패널(120)의 시야 특성 정보(VC_1)가 반영된 서브 중간 프론트 영상(730)을 중간 프론트 영상(720)이라 지칭한다.
일 실시예에서, 제1 프론트 영상 생성 모델(700)은 입력 영상(180), 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)에 기초하여, 중간 프론트 영상(720)을 추론하도록 훈련된 제1 인공 지능 모델을 포함할 수 있다. 일 실시예에서, 제1 인공 지능 모델은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)에 기초하여, 입력 영상(180)에 팩토리제이션을 수행하여 중간 프론트 영상(720)을 추론하도록 훈련된 인공 지능 모델일 수 있다. 이하, 제1 인공 지능 모델의 훈련 방법에 대하여는, 도 10, 도 11 및 도 15에서 후술하도록 한다.
일 실시예에서, 제2 프론트 영상 생성 모델(710)은 중간 프론트 영상(720) 및 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3)에 기초하여, 사용자(150)의 시야각에 대응되고, 프론트 패널(130)을 통하여 표시되는 프론트 영상(630)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 제2 프론트 영상 생성 모델(710)은, 중간 프론트 영상(720) 및 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3)에 기초하여, 중간 프론트 영상(720)과 조합되어 영상(160)을 제공하기 위한 프론트 영상(630)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 제2 프론트 영상 생성 모델(710)은, 프론트 패널(130)로 제공되는 중간 프론트 영상(720)과의 조합으로, 균일한 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 갖는 영상(160)을 생성하기 위한 프론트 영상(630)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 프론트 영상(630)은 광학층(140)을 통하여 굴절되어 프론트 패널(130)로 제공되는 베이스 영상(630)의 사용자(150)의 시야각과 기준 시야각의 차이에 의한 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 사용자(150)의 시야각과 기준 시야각의 차이에 의한 프론트 영상(630)의 시야 특성 정보와 기준 프론트 특성 정보 간의 차이를 보상하기 위한 영상일 수 있다.
일 실시예에서, 제2 프론트 영상 생성 모델(710)은 중간 프론트 영상(720) 및 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3)에 기초하여, 프론트 영상(630)을 추론하도록 훈련된 제2 인공 지능 모델을 포함할 수 있다. 일 실시예에서, 제2 인공 지능 모델은 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3) 및 중간 프론트 영상(720)에 기초하여, 중간 프론트 영상(720)과 조합되어 영상(160)을 제공하기 위한 프론트 영상(630)을 추론하도록 훈련된 인공 지능 모델일 수 있다. 이하, 제2 인공 지능 모델의 훈련 방법에 대하여는, 도 12 내지 도 15에서 후술하도록 한다.
일 실시예에서, 도 7에서는 제1 프론트 영상 생성 모델(700) 및 제2 프론트 영상 생성 모델(710)이 구분되어 도시되어 있으나, 본 개시는 이에 제한되지 않는다. 제1 프론트 영상 생성 모델(700) 및 제2 프론트 영상 생성 모델(710)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1), 광학층(140)의 특성 정보(VC_2) 및 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3)에 기초하여 입력 영상(180)에 팩토리제이션을 수행하여, 영상(160)을 제공할 수 있는 베이스 영상 및 프론트 영상(630)을 생성하는 하나의 모델에 포함될 수도 있다.
일 실시예에서, 프론트 영상 생성 모델(610)은 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)에 기초하여, 입력 영상(180)에 팩토리제이션을 수행하여 중간 프론트 영상(720)을 추론하고, 추론된 중간 프론트 영상(720) 및 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3)에 기초하여, 중간 프론트 영상(720)과 조합되어 영상(160)을 생성하기 위한 프론트 영상(630)을 추론하도록 훈련된 인공 지능 모델을 포함할 수도 있다.
도 8은 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 순서도이다. 이하, 도 5에서 설명한 단계와 동일한 단계에 대해서는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 7 및 도 8을 참조하면, 일 실시예에서, 프론트 영상(630)을 생성하는 단계(S400)는, 입력 영상(180), 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)를 제1 프론트 영상 생성 모델(700)에 적용함으로써, 베이스 패널(120)의 시야 특성 정보(VC_1)에 기초하여 중간 프론트 영상(720)을 생성하는 단계(S410)를 포함할 수 있다. 일 실시예에서, 중간 프론트 영상(720)을 생성하는 단계(S410)에서 적어도 하나의 프로세서(230)는 제1 프론트 영상 생성 모델(700)에 입력 영상(180), 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)를 적용함으로써, 베이스 패널(120)의 시야 특성 정보(VC_1)에 따른 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 갖고, 사용자(150)의 뷰에 대응되는 베이스 영상이 광학층(140)을 통하여 사용자(150)에게 제공되는 중간 영상에 대응되는 중간 프론트 영상(720)을 생성할 수 있다.
일 실시예에서, 프론트 영상(630)을 생성하는 단계(S400)는, 중간 프론트 영상(720) 및 프론트 패널(130)의 시야 특성 정보(VC_3)를 제2 프론트 영상 생성 모델(710)에 적용함으로써, 사용자(150)의 시야각에 대응되는 프론트 영상(630)을 생성하는 단계(S420)를 포함할 수 있다. 일 실시예에서, 프론트 영상(630)을 생성하는 단계(S420)에서, 적어도 하나의 프로세서(230)는 제2 프론트 영상 생성 모델(710)에 중간 프론트 영상(720) 및 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3)를 적용함으로써, 사용자(150)의 시야각에 대응되는 프론트 영상(630)을 생성할 수 있다.
일 실시예에서, 프론트 영상(630)을 생성하는 단계(S400)에서 제2 프론트 영상 생성 모델(710)을 통하여 생성된 프론트 영상(630)은, 사용자(150)의 시야각에 대응하여, 사용자(150)의 시야각에 따른 베이스 패널(120)의 시야 특성 정보와 기준 베이스 특성 정보와의 차이 및 프론트 패널(130)의 시야 특성 정보와 기준 프론트 특성 정보와의 차이에 기초한 영상일 수 있다. 일 실시예에서, 프론트 영상(630)은 베이스 패널(120)의 시야 특성 정보와 기준 베이스 특성 정보와의 차이 및 프론트 패널(130)의 시야 특성 정보와 기준 프론트 특성 정보와의 차이를 보상하고, 광학층(140)을 통과한 베이스 영상(620)과 조합되어 영상(160)을 생성하는 영상일 수 있다. 프론트 영상(630)은, 광학층(140)을 거쳐 프론트 패널(130)로 제공되는 베이스 영상(620)과 조합되어, 사용자(150)의 시야각과 무관하게 사용자(150)에게 균일한 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 갖는 영상(160)을 제공하기 위한 영상일 수 있다.
따라서, 영상(160)을 사용자(150)에게 제공하는 단계(S500)에서, 전자 장치(100)는 베이스 영상 생성 모델(600)을 이용하여 생성된 베이스 영상(620)을 베이스 패널(120)에 표시하고, 프론트 영상 생성 모델(610)을 이용하여 생성된 프론트 영상(630)을 프론트 패널(130)에 표시할 수 있다. 전자 장치(100)는 전자 장치(100)를 시청하는 사용자(150)의 시야각을 획득하고, 획득된 시야각에 대응되는 프론트 영상(630)을 프론트 패널(130)에 표시하여, 사용자(150)의 시야각에 대응되는 뷰의 변화에 따라 영상(160)에 포함된 물체는 달라지고, 사용자(150)의 시야각의 변화와 무관하게 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)는 균일한 영상(160)을 사용자(150)에게 제공할 수 있다.
도 9는 본 개시의 일 실시예에 따른 프론트 영상 생성 모델을 설명하기 위한 도면이다. 이하, 도 7에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 9를 참조하면, 일 실시예에서, 프론트 영상 생성 모델(610)은 제1 프론트 영상 생성 모델(700) 및 제2 프론트 영상 생성 모델(710_1)을 포함할 수 있다.
일 실시예에서, 제1 프론트 영상 생성 모델(700)은 입력 영상(180), 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)에 기초하여, 사용자(150)의 시야각에 따른 베이스 패널(120)의 시야 특성 정보(VC_1)가 반영된 중간 프론트 영상(720)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 제2 프론트 영상 생성 모델(710_1)은 중간 프론트 영상(720), 프론트 패널(130)의 시야 특성 정보(VC_3) 및 광학층(140)의 특성 정보(VC_2)에 기초하여, 사용자(150)의 시야각에 대응되는 프론트 영상(630_1)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 적어도 하나의 프로세서(230)는 중간 프론트 영상(720), 프론트 패널(130)의 시야 특성 정보(VC_3) 및 광학층(140)의 특성 정보(VC_2)를 제2 프론트 영상 생성 모델(710_1)에 적용함으로써, 프론트 영상(630_1)을 생성할 수 있다.
일 실시예에서, 도 7에 도시된 제2 프론트 영상 생성 모델(710)과 비교하여, 도 9에 도시된 제2 프론트 영상 생성 모델(710_1)은 중간 프론트 영상(720) 및 프론트 패널(130)의 시야 특성 정보(VC_3) 뿐만 아니라, 광학층(140)의 특성 정보(VC_2)도 제공받아 프론트 영상(630_1)을 생성할 수 있다.
일 실시예에서, 중간 프론트 영상(720)은 사용자(150)의 시야각에 따른 베이스 패널(120)의 시야 특성 정보(VC_1)가 반영된 베이스 영상이 광학층(140)을 거친 후 사용자(150)에게 제공되는 중간 영상에 대응되는 영상일 수 있다. 프론트 영상(630_1)을 생성할 때 광학층(140)의 특성 정보(VC_2)가 제공될 경우, 중간 프론트 영상(720)으로부터, 광학층(140)을 거쳐 굴절 등이 되기 전의 베이스 패널(120)의 시야 특성 정보(VC_1)가 반영된 베이스 영상에 대한 정보를 획득할 수 있다. 따라서, 프론트 영상(630_1)을 통한 베이스 패널(120)의 시야 특성 정보(VC_1)와 기준 베이스 특성 정보의 차이의 보상의 정확도가 높아질 수 있다.
도 10은 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다. 도 11은 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 순서도이다. 이하, 도 6 및 도 7에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 3, 도 7, 도 10 및 도 11을 참조하면, 제1 프론트 영상 생성 모델(700)은 입력 영상(180), 사용자(150)의 시야각에 대응되는 베이스 패널(120)의 시야 특성 정보(VC_1) 및 광학층(140)의 특성 정보(VC_2)에 기초하여 중간 프론트 영상(720)을 추론하도록 훈련된 제1 인공 지능 모델(700)을 포함할 수 있다.
일 실시예에서, 제1 인공 지능 모델(700)을 훈련시키는 단계는, 훈련용 입력 영상(180_1), 훈련용 시야각에 대응되는 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 제1 인공 지능 모델(700)에 적용함으로써, 훈련용 중간 프론트 영상(720_1)을 생성하는 단계(S1110)를 포함할 수 있다.
일 실시예에서, 제1 인공 지능 모델(700)의 훈련 단계에서의 베이스 패널(120) 및 훈련용 시야각과 전자 장치(100)에 포함된 베이스 패널(120) 및 사용자(150)의 시야각이 동일할 경우, 훈련 단계에서 제1 인공 지능 모델(700)에 제공되는 베이스 패널의 훈련용 시야 특성 정보(TVC_1)와 전자 장치(100)에 포함된 베이스 패널(120)의 시야 특성 정보(VC_1)는 동일할 수 있다. 일 실시예에서, 제1 인공 지능 모델(700)의 훈련 단계에서의 광학층(140)과 전자 장치(100)에 포함된 광학층(140)이 동일할 경우, 훈련 단계에서 제1 인공 지능 모델(700)에 제공되는 광학층(140)의 훈련용 특성 정보(TVC_2)와 전자 장치(100)에 포함된 광학층(140)의 특성 정보(VC_2)는 동일할 수 있다.
이하, 제1 인공 지능 모델(700) 및 제2 인공 지능 모델(710)의 훈련 단계에서의 베이스 패널(120), 광학층(140) 및 프론트 패널(130)은 전자 장치(100)에 포함된 베이스 패널, 광학층 및 프론트 패널과 각각 동일한 것으로 설명한다.
일 실시예에서, 훈련용 입력 영상(180_1)은 서로 다른 복수의 뷰에서 촬영하여 획득된 복수의 훈련 뷰 영상들(181_1)을 포함할 수 있다.
일 실시예에서, 제1 인공 지능 모델(700)은 훈련용 입력 영상(180_1), 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 제공받아, 훈련용 중간 프론트 영상(720_1)을 생성하는 모델일 수 있다. 일 실시예에서, 제1 인공 지능 모델(700)은 훈련용 입력 영상(180_1)을 팩토리제이션하여 생성되는 베이스 영상이 베이스 패널(120)에 표시된 후, 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)에 기초하여, 훈련용 시야각에 대응되는 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 갖고, 광학층(140)을 거쳐 표시되는 훈련용 중간 프론트 영상(720_1)을 생성하는 모델일 수 있다.
일 실시예에서, 제1 인공 지능 모델(700)은 제1 인코더(Encoder, 701) 및 제1 디코더(Decoder, 703)를 포함할 수 있다. 일 실시예에서, 제1 인코더(701)는 훈련용 입력 영상(180_1)을 인코딩하여, 훈련용 입력 영상(180_1)에 포함된 특징 벡터(feature vector)의 차원을 압축하고, 훈련용 입력 영상(180_1)에 포함된 특징(feature)을 추출하여 잠재 벡터(latent vector, 702)를 생성할 수 있다. 일 실시예에서, 제1 인코더(701)는 콘볼루션(Convolution)을 수행하여 훈련용 입력 영상(180_1)을 인코딩할 수 있다. 일 실시예에서, 제1 인코더(701)가 콘볼루션을 수행할 때 사용되는 필터의 크기 및 필터에 포함된 가중치는 훈련용 입력 영상(180_1)으로부터 추출하고자 하는 특징에 따라 달라질 수 있다. 제1 인코더(701)는 적어도 하나의 콘볼루션을 수행하는 콘볼루션 레이어 및 적어도 하나의 풀링(Pooling) 레이어 등을 포함할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 제1 인공 지능 모델(700)은 적어도 하나의 완전 연결 레이어(Fully Connected Layer)를 포함하고, 적어도 하나의 완전 연결 레이어를 통하여 훈련용 입력 영상(180_1)에 포함된 특징을 추출할 수도 있다.
일 실시예에서, 제1 디코더(703)는 제1 인코더(701)를 통하여 생성된 잠재 벡터(702)를 디코딩하여, 훈련용 중간 프론트 영상(720_1)을 생성할 수 있다. 제1 디코더(703)는 제1 인코더(701)에 포함된 레이어 구조와 동일한 레이어 구조를 포함할 수 있다. 일 실시예에서, 제1 디코더(703)는 잠재 벡터(702)의 차원을 복원하고, 잠재 벡터(702)에 포함된 특징에 기초하여 훈련용 중간 프론트 영상(720_1)을 생성할 수 있다. 일 실시예에서, 제1 디코더(703)는 디-콘볼루션(Deconvolution)을 수행하여 잠재 벡터(702)에 기초하여 훈련용 중간 프론트 영상(720_1)을 생성할 수 있다.
일 실시예에서, 제1 디코더(703)가 잠재 벡터(702)를 디코딩하여, 훈련용 중간 프론트 영상(720_1)을 생성할 때, 훈련용 시야각에 대응되는 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)의 조건(condition)이 제1 디코더(703)에 제공될 수 있다. 제1 디코더(703)는 조건으로 제공된 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)가 반영된 훈련용 중간 프론트 영상(720_1)을 생성할 수 있다.
일 실시예에서, 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)는 제1 매핑 모델(1000)을 통하여 제1 디코더(703)에 제공될 수 있다. 일 실시예에서, 제1 매핑 모델(1000)은 인코딩을 통하여 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 매핑하여, 제1 디코더(703)에 포함된 레이어에 조건으로 제공할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 제1 매핑 모델(1000)은 DNN 구조를 포함할 수도 있다.
또한, 도 10에는 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)가 제1 매핑 모델(1000)을 통하여 제1 디코더(703)에 제공되는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)는 제1 인코더(701)에 제공되거나, 혹은 제1 인코더(701) 및 제1 디코더(703) 모두에 제공될 수도 있고, 각각의 경우에 제1 매핑 모델(1000)을 통하여 제공되는 레이어의 차원에 맞게 매핑될 수 있다.
일 실시예에서, 제1 인공 지능 모델(700)은 제1 인코더(701)와 제1 디코더(703)를 연결하는 잔차 연결(Skip Connection)을 포함할 수도 있다. 잔차 연결을 통하여 훈련용 입력 영상(180_1)의 정보를 제1 디코더(703)에 제공할 수 있다.
일 실시예에서, 훈련용 중간 프론트 영상(720_1)은 훈련용 시야각에 대응되는 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)에 따른 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 갖고, 훈련용 시야각에 대응되는 뷰에 대응되는 베이스 영상이 광학층(140)을 통하여 제공되는 훈련 중간 영상에 대응되는 영상일 수 있다.
일 실시예에서, 제1 인공 지능 모델(700)은 제공되는 베이스 패널(120)의 복수의 훈련용 특성 정보 및 광학층(140)의 훈련용 특성 정보(TVC_2)에 기초하여, 서로 다른 복수의 훈련용 뷰에서 관찰되는 복수의 훈련용 서브 중간 프론트 영상들을 생성할 수 있다. 일 실시예에서, 제1 인공 지능 모델(700)에 훈련용 시야각에 대응되는 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)가 제공되는 경우, 복수의 훈련용 서브 중간 프론트 영상들 중 훈련용 시야각에 대응되는 뷰에서의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)가 반영된 훈련용 서브 중간 프론트 영상(730_1)이 생성될 수 있다. 이하, 설명의 편의를 위하여, 훈련용 시야각에 대응되는 뷰에서의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)가 반영된 훈련용 서브 중간 프론트 영상(730_1)을 훈련용 중간 프론트 영상(720_1)이라 지칭한다.
일 실시예에서, 제1 인공 지능 모델을 훈련시키는 단계는, 훈련용 입력 영상(180_1), 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 제1 시뮬레이션 모델(1020)에 적용함으로써, 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)에 기초한 기준 중간 프론트 영상(1030)을 생성하는 단계(S1120)를 포함할 수 있다.
일 실시예에서, 제1 시뮬레이션 모델(1020)은, 훈련용 입력 영상(180_1)에 기초하여 시뮬레이션을 진행하여, 입체감 있는 영상을 표시하기 위하여 베이스 패널(120)에 표시할 베이스 영상을 계산하고, 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)에 따라, 계산된 베이스 영상이 광학층(140)을 통하여 굴절된 후 훈련용 시야각에서 관찰되는 영상인 기준 중간 프론트 영상(1030)을 생성할 수 있다. 일 실시예에서, 제1 시뮬레이션 모델(1020)은 훈련용 시야 특성 정보(TVC_1)를 갖는 베이스 패널(120)의 모델 및 훈련용 특성 정보(TVC_2)를 갖는 광학층(140)의 모델을 계산하고, 계산된 베이스 패널(120)의 모델 및 광학층(140)의 모델에 기초하여 기준 중간 프론트 영상(1030)을 생성하기 위한 시뮬레이션을 진행할 수 있다.
일 실시예에서, 제1 시뮬레이션 모델(1020)은 제공되는 베이스 패널(120)의 복수의 훈련용 특성 정보 및 광학층(140)의 훈련용 특성 정보(TVC_2)에 따라, 계산된 베이스 영상이 광학층(140)을 통하여 굴절된 후 서로 다른 복수의 훈련용 뷰에서 관찰되는 복수의 서브 기준 중간 프론트 영상들을 생성할 수 있다. 일 실시예에서, 제1 시뮬레이션 모델(1020)에 훈련용 시야각에 대응되는 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)가 제공되는 경우, 시뮬레이션을 통하여 복수의 서브 기준 중간 프론트 영상들 중 훈련용 시야각에 대응되는 뷰에서 관찰되는 서브 기준 중간 프론트 영상(1040)이 생성될 수 있다. 이하, 설명의 편의를 위하여, 훈련용 시야각에 대응되는 뷰에서 관찰되는 서브 기준 중간 프론트 영상(1040)을 기준 중간 프론트 영상(1030)이라 지칭한다.
일 실시예에서, 제1 인공 지능 모델을 훈련시키는 단계는, 훈련용 중간 프론트 영상(720_1)과 기준 중간 프론트 영상(1030) 간의 차이에 따른 제1 손실 함수(LS_1)에 기초하여, 제1 인공 지능 모델(700)을 훈련하는 단계(S1130)를 포함할 수 있다.
일 실시예에서, 제1 판별 모델(1010)은 훈련용 중간 프론트 영상(720_1)과 기준 중간 프론트 영상(1030)을 제공받는다. 제1 판별 모델(1010)은 기준 중간 프론트 영상(1030)을 정답 값(Ground Truth)으로 하여, 훈련용 중간 프론트 영상(720_1)을 판별(discriminate)할 수 있다. 제1 판별 모델(1010)은 훈련용 중간 프론트 영상(720_1)이 기준 중간 프론트 영상(1030)으로 인식될 경우 훈련용 중간 프론트 영상(720_1)을 참(real)으로 판별하여, "1"의 결과 값을 출력할 수 있다. 제1 판별 모델(1010)은 훈련용 중간 프론트 영상(720_1)이 기준 중간 프론트 영상(1030)으로 인식되지 않은 경우, 훈련용 중간 프론트 영상(720_1)을 거짓(false)로 판별하여, "0"의 결과 값을 출력할 수 있다.
일 실시예에서, 제1 손실 함수(LS_1)는 제1 판별 모델(1010)을 훈련용 중간 프론트 영상(720_1)에 대하여 "0"의 결과 값을 출력하도록 훈련시키기 위한 함수를 포함할 수 있다. 제1 판별 모델(1010)은 제1 손실 함수(LS_1)에 의하여 정답 값과 다른, 훈련용 중간 프론트 영상(720_1)에 대하여 "0"의 결과 값을 출력하도록 훈련될 수 있다.
일 실시예에서, 제1 인공 지능 모델(700)은 생성한 훈련용 중간 프론트 영상(720_1)이 제1 판별 모델(1010)에 의하여 기준 중간 프론트 영상(1030)으로 인식되어, 제1 판별 모델(1010)에서 "1"의 결과 값이 나오도록 훈련될 수 있다.
일 실시예에서, 제1 손실 함수(LS_1)는 제1 인공 지능 모델(700)을 제1 판별 모델(1010)에 의하여 기준 중간 프론트 영상(1030)으로 인식되어 "1"의 결과가 출력되도록 하는 훈련용 중간 프론트 영상(720_1)을 생성하도록 훈련시키기 위한 함수를 포함할 수 있다. 제1 인공 지능 모델(700)은 제1 손실 함수(LS_1)에 의하여, 정답 값인 기준 중간 프론트 영상(1030)과 유사한 훈련용 중간 프론트 영상(720_1)을 생성하도록 훈련될 수 있다.
일 실시예에서, 제1 손실 함수(LS_1)에 의하여 제1 판별 모듈(1010)은 기준 중간 프론트 영상(1030)과 훈련용 중간 프론트 영상(720_1)을 서로 다른 영상으로 판별하도록 훈련되고, 제1 인공 지능 모델(700)은 기준 중간 프론트 영상(1030)과 구별되지 않도록 훈련용 중간 프론트 영상(720_1)을 생성하도록 훈련될 수 있다. 따라서, 제1 인공 지능 모델(700)은 베이스 영상이 훈련용 시야각에 대응되는 훈련용 뷰에서 광학층(140)을 통하여 관찰되는, 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)에 기초한 훈련용 중간 프론트 영상(720_1)을 추론하도록 훈련될 수 있다.
도 12는 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다. 도 13은 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 순서도이다. 이하, 도 10 및 도 11에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 3, 도 7, 도 12 및 도 13을 참조하면, 제2 프론트 영상 생성 모델(710)은 중간 프론트 영상(720) 및 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3)에 기초하여 프론트 영상(630)을 추론하도록 훈련된 제2 인공 지능 모델(710)을 포함할 수 있다.
일 실시예에서, 제2 인공 지능 모델(710)을 훈련시키는 단계는, 훈련용 중간 프론트 영상(720_1) 및 훈련용 시야각에 대응되는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)를 제2 인공 지능 모델(710)에 적용함으로써, 훈련용 프론트 영상(1210)을 생성하는 단계(S1310)를 포함할 수 있다.
일 실시예에서, 제2 인공 지능 모델(710)은 훈련용 중간 프론트 영상(720_1) 및 훈련용 시야각에 대응되는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)를 제공받아, 훈련용 프론트 영상(1210)을 생성하는 모델일 수 있다. 일 실시예에서, 제2 인공 지능 모델(710)은 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이에 기초하여, 훈련용 프론트 영상(1210)을 생성하는 모델일 수 있다. 전자 장치(100)는 훈련용 프론트 영상(1210)과 훈련용 중간 프론트 영상(720_1)의 조합을 통하여, 기준 시야각에서의 시청 가능한 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)와 동일한 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 갖는 영상을 훈련용 시야각에서 제공할 수 있다.
일 실시예에서, 제2 인공 지능 모델(710)은 제2 인코더(711) 및 제2 디코더(713)를 포함할 수 있다. 일 실시예에서, 제2 인코더(711)는 훈련용 중간 프론트 영상(720_1)을 인코딩하여, 훈련용 중간 프론트 영상(720_1)에 포함된 특징을 추출하여 잠재 벡터(712)를 생성할 수 있다. 도 12에는 제2 인코더(711)에 훈련용 중간 프론트 영상(720_1)이 제공되는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 일 실시예에서, 제2 인코더(711)에는 훈련용 중간 프론트 영상(720_1) 및 훈련용 입력 영상(180_1)이 제공되고, 제2 인코더(711)는 훈련용 중간 프론트 영상(720_1) 및 훈련용 입력 영상(180_1)을 인코딩하여, 잠재 벡터를 생성할 수도 있다.
일 실시예에서, 제2 디코더(713)는 제2 인코더(711)를 통하여 생성된 잠재 벡터(712)를 디코딩하여, 훈련용 프론트 영상(1210)을 생성할 수 있다. 제2 디코더(713)는 제1 인코더(701)와 동일한 레이어 구조를 포함할 수 있다. 제2 디코더(713)는 잠재 벡터(712)의 차원을 복원하고, 잠재 벡터(712)에 포함된 특징에 기초하여 훈련용 프론트 영상(1210)을 생성할 수 있다.
일 실시예에서, 제2 디코더(713)가 잠재 벡터(712)를 디코딩하여, 훈련용 프론트 영상(1210)을 생성할 때, 훈련용 시야각에 대응되는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)의 조건이 제2 디코더(713)에 제공될 수 있다. 제2 디코더(713)는 조건으로 제공된 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)가 반영된 훈련용 프론트 영상(1210)을 생성할 수 있다.
일 실시예에서, 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)는 제2 매핑 모델(1200)을 통하여 제2 디코더(713)에 제공될 수 있다. 일 실시예에서, 제2 매핑 모델(1200)은 인코딩을 통하여 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)를 매핑하여, 제2 디코더(713)에 포함된 레이어에 조건으로 제공할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 제2 매핑 모델(1200)은 DNN 구조를 포함할 수도 있다.
또한, 도 12에는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)가 제2 매핑 모델(1200)을 통하여 제2 디코더(713)에 제공되는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)는 제2 인코더(711)에 제공되거나, 혹은 제2 인코더(711) 및 제2 디코더(713) 모두에 제공될 수도 있고, 각각의 경우에 제2 매핑 모델(1200)을 통하여 제공되는 레이어의 차원에 맞게 매핑될 수 있다.
일 실시예에서, 제2 인공 지능 모델(710)은 제2 인코더(711)와 제2 디코더(713)를 연결하는 잔차 연결(Skip Connection)을 포함할 수도 있다. 잔차 연결을 통하여 훈련용 중간 프론트 영상(720_1)의 정보를 제2 디코더(713)에 제공할 수 있다.
일 실시예에서, 훈련용 프론트 영상(1210)은 훈련용 시야각과 기준 시야각의 차이에 의한, 광학층(140)을 통하여 굴절되어 프론트 패널(130)로 제공되는 훈련용 중간 프론트 영상(720_1)의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(120)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이를 보상하기 위한 영상일 수 있다.
일 실시예에서, 제2 인공 지능 모델(710)은 제공되는 프론트 패널(130)의 복수의 훈련용 특성 정보에 기초하여, 서로 다른 복수의 훈련용 뷰에서 관찰되는 복수의 훈련용 서브 프론트 영상들을 생성할 수 있다. 일 실시예에서, 제2 인공 지능 모델(710)에 훈련용 시야각에 대응되는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)가 제공되는 경우, 복수의 훈련용 서브 프론트 영상들 중 훈련용 시야각에 대응되는 뷰에서의 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)가 반영된 훈련용 서브 프론트 영상(1220)이 생성될 수 있다. 이하, 설명의 편의를 위하여, 훈련용 시야각에 대응되는 뷰에서의 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)가 반영된 훈련용 서브 프론트 영상(1220)을 훈련용 프론트 영상(1210)이라 지칭한다.
일 실시예에서, 제2 인공 지능 모델(710)을 훈련시키는 단계는, 훈련용 중간 프론트 영상(720_1) 및 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)를 제2 시뮬레이션 모델(1240)에 적용함으로써, 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이에 기초한 기준 프론트 영상(1250)을 생성하는 단계(S1320)를 포함할 수 있다.
일 실시예에서, 제2 시뮬레이션 모델(1240)은 훈련용 중간 프론트 영상(720_1) 및 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)에 기초하여 시뮬레이션을 진행하여, 훈련용 시야각과 기준 시야각의 차이에 의한 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(120)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이를 보상하고, 훈련용 중간 프론트 영상(720_1)과 조합되어 훈련용 시야각에 대응되는 뷰에 영상을 제공할 수 있는 기준 프론트 영상(1250)을 생성할 수 있다. 일 실시예에서, 제2 시뮬레이션 모델(1240)은 훈련용 시야 특성 정보(TVC_3)를 갖는 프론트 패널(130)의 모델을 계산하고, 계산된 프론트 패널(130)의 모델에 훈련용 중간 프론트 영상(720_1)을 적용하여, 기준 프론트 영상(1250)을 생성하기 위한 시뮬레이션을 진행할 수 있다.
일 실시예에서, 제2 시뮬레이션 모델(1240)은 제공되는 프론트 패널(130)의 복수의 훈련용 특성 정보에 따라, 서로 다른 복수의 훈련용 뷰에 대응되는 복수의 서브 기준 프론트 영상들을 생성할 수 있다. 일 실시예에서, 제2 시뮬레이션 모델(1240)에 훈련용 시야각에 대응되는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)가 제공되는 경우, 시뮬레이션을 통하여 복수의 서브 기준 프론트 영상들 중 훈련용 시야각에 대응되는 뷰에서 관찰되는 서브 기준 프론트 영상(1260)이 생성될 수 있다. 이하, 설명의 편의를 위하여, 훈련용 시야각에 대응되는 뷰에서 관찰되는 서브 기준 프론트 영상(1260)을 기준 프론트 영상(1250)이라 지칭한다.
일 실시예에서, 제2 인공 지능 모델(710)을 훈련시키는 단계는, 훈련용 프론트 영상(1210)과 기준 프론트 영상(1250) 간의 차이에 따른 제2 손실 함수(LS_2)에 기초하여, 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이에 기초한 훈련용 프론트 영상(1210)을 추론하도록 제2 인공 지능 모델(710)을 훈련시키는 단계(S1330)를 포함할 수 있다.
일 실시예에서, 제2 판별 모델(1230)은 훈련용 프론트 영상(1210)과 기준 프론트 영상(1250)을 제공받는다. 제2 판별 모델(1230)은 기준 프론트 영상(1250)을 정답 값(Ground Truth)으로 하여, 훈련용 프론트 영상(1210)을 판별(discriminate)할 수 있다. 제2 판별 모델(1230)은 훈련용 프론트 영상(1210)이 기준 프론트 영상(1250)으로 인식될 경우 훈련용 프론트 영상(1210)을 참(real)으로 판별하여, "1"의 결과 값을 출력할 수 있다. 제2 판별 모델(1230)은 훈련용 프론트 영상(1210)이 기준 프론트 영상(1250)으로 인식되지 않은 경우, 훈련용 프론트 영상(1210)을 거짓(false)로 판별하여, "0"의 결과 값을 출력할 수 있다.
일 실시예에서, 제2 손실 함수(LS_2)는 제2 판별 모델(1230)을 훈련용 프론트 영상(1210)에 대하여 "0"의 결과 값을 출력하도록 훈련시키기 위한 함수를 포함할 수 있다. 제2 판별 모델(1230)은 제2 손실 함수(LS_2)에 의하여 정답 값과 다른, 훈련용 프론트 영상(1210)에 대하여 "0"의 결과 값을 출력하도록 훈련될 수 있다.
일 실시예에서, 제2 인공 지능 모델(710)은 생성한 훈련용 프론트 영상(1210)이 제2 판별 모델(1230)에 의하여 기준 프론트 영상(1250)으로 인식되어, 제2 판별 모델(1230)에서 "1"의 결과 값이 나오도록 훈련될 수 있다.
일 실시예에서, 제2 손실 함수(LS_2)는 제2 인공 지능 모델(710)을 제2 판별 모델(1230)에 의하여 기준 프론트 영상(1250)으로 인식되어 "1"의 결과가 출력되도록 하는 훈련용 프론트 영상(1210)을 생성하도록 훈련시키기 위한 함수를 포함할 수 있다. 제2 인공 지능 모델(710)은 제2 손실 함수(LS_2)에 의하여, 정답 값인 기준 프론트 영상(1250)과 유사한 훈련용 프론트 영상(1210)을 생성하도록 훈련될 수 있다.
일 실시예에서, 제2 손실 함수(LS_2)에 의하여 제2 판별 모듈(1230)은 기준 프론트 영상(1250)과 훈련용 프론트 영상(1210)을 서로 다른 영상으로 판별하도록 훈련되고, 제2 인공 지능 모델(710)은 기준 프론트 영상(1250)과 구별되지 않도록 훈련용 프론트 영상(1210)을 생성하도록 훈련될 수 있다. 따라서, 제2 인공 지능 모델(710)은 훈련용 뷰에 대응되는 물체를 표시하고, 훈련용 중간 프론트 영상(720_1)의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(120)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이를 보상하기 위한 영상인 훈련용 프론트 영상(1210)을 추론하도록 훈련될 수 있다.
도 14는 본 개시의 일 실시예에 따른 제2 프론트 영상 생성 모델에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다. 이하, 도 12에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 3, 도 9 및 도 14를 참조하면, 제2 프론트 영상 생성 모델(710_1)은 중간 프론트 영상(720), 사용자(150)의 시야각에 대응되는 프론트 패널(130)의 시야 특성 정보(VC_3) 및 광학층(140)의 특성 정보(VC_2)에 기초하여 프론트 영상(630_1)을 추론하도록 훈련된 제2 인공 지능 모델(710_1)을 포함할 수 있다.
일 실시예에서, 제2 인공 지능 모델(710_1)은 훈련용 중간 프론트 영상(720_1), 훈련용 시야각에 대응되는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 제공받아, 훈련용 프론트 영상(1210_1)을 생성하는 모델일 수 있다.
일 실시예에서, 제2 인공 지능 모델(710_!)은 제2 인코더(711) 및 제2 디코더(713)를 포함할 수 있다. 일 실시예에서, 제2 인코더(711)는 훈련용 중간 프론트 영상(720_1)을 인코딩하여, 훈련용 중간 프론트 영상(720_1)에 포함된 특징을 추출하여 잠재 벡터(712)를 생성할 수 있다.
일 실시예에서, 제2 디코더(713)는 제2 인코더(711)를 통하여 생성된 잠재 벡터(712)를 디코딩하여, 훈련용 프론트 영상(1210)을 생성할 수 있다.
일 실시예에서, 제2 디코더(713)가 잠재 벡터(712)를 디코딩하여, 훈련용 프론트 영상(1210_1)을 생성할 때, 훈련용 시야각에 대응되는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)의 조건이 제2 디코더(713)에 제공될 수 있다. 제2 디코더(713)는 조건으로 제공된 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)가 반영된 훈련용 프론트 영상(1210_1)을 생성할 수 있다.
일 실시예에서, 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)는 제2 매핑 모델(1200)을 통하여 제2 디코더(713)에 제공될 수 있다. 일 실시예에서, 제2 매핑 모델(1200)은 인코딩을 통하여 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 매핑하여, 제2 디코더(713)에 포함된 레이어에 조건으로 제공할 수 있다.
또한, 도 14에는 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)가 제2 매핑 모델(1200)을 통하여 제2 디코더(713)에 제공되는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)는 제2 인코더(711)에 제공되거나, 혹은 제2 인코더(711) 및 제2 디코더(713) 모두에 제공될 수도 있고, 각각의 경우에 제2 매핑 모델(1200)을 통하여 제공되는 레이어의 차원에 맞게 매핑될 수 있다.
일 실시예에서, 훈련용 프론트 영상(1210_1)은 훈련용 시야각과 기준 시야각의 차이에 의한, 광학층(140)을 통하여 굴절되어 프론트 패널(130)로 제공되는 훈련용 중간 프론트 영상(720_1)의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(120)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이를 보상하기 위한 영상일 수 있다. 광학층(140)의 훈련용 특성 정보(TVC_2)를 제공받을 경우, 광학층(140)을 거쳐 굴절 등이 되기 전의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)가 반영된 훈련용 베이스 영상에 대한 정보를 획득할 수 있다. 따라서, 제2 인공 지능 모델(710_1)을 통하여 생성되는 훈련용 프론트 영상(1210_1)d을 통한 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보의 차이의 보상의 정확도가 높아질 수 있다.
일 실시예에서, 제2 시뮬레이션 모델(1240)은 훈련용 중간 프론트 영상(720_1), 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)에 기초하여 시뮬레이션을 진행하여, 훈련용 시야각과 기준 시야각의 차이에 의한 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(120)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이를 보상하고, 훈련용 중간 프론트 영상(720_1)과 조합되어 훈련용 시야각에 대응되는 뷰에 영상을 제공할 수 있는 기준 프론트 영상(1250_1)을 생성할 수 있다. 일 실시예에서, 제2 시뮬레이션 모델(1240)이 광학층(140)의 훈련용 특성 정보(TVC_2)를 제공받는 경우, 광학층(140)을 통과하기 전의 훈련용 베이스 영상의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보의 차이를 명확히 하여 시뮬레이션을 진행할 수 있다.
일 실시예에서, 제3 손실 함수(LS_3)는 제2 인공 지능 모델(710_1)을 제2 판별 모델(1230)에 의하여 기준 프론트 영상(1250_1)으로 인식되어 "1"의 결과가 출력되도록 하는 훈련용 프론트 영상(1210_1)을 생성하도록 훈련시키기 위한 함수를 포함할 수 있다. 제2 인공 지능 모델(710_1)은 제3 손실 함수(LS_3)에 의하여, 정답 값인 기준 프론트 영상(1250_1)과 유사한 훈련용 프론트 영상(1210_1)을 생성하도록 훈련될 수 있다.
일 실시예에서, 제3 손실 함수(LS_3)에 의하여 제2 판별 모듈(1230)은 기준 프론트 영상(1250_1)과 훈련용 프론트 영상(1210_1)을 서로 다른 영상으로 판별하도록 훈련되고, 제2 인공 지능 모델(710_1)은 기준 프론트 영상(1250_1)과 구별되지 않도록 훈련용 프론트 영상(1210_1)을 생성하도록 훈련될 수 있다. 따라서, 제2 인공 지능 모델(710_1)은 훈련용 뷰에 대응되는 물체를 표시하고, 훈련용 중간 프론트 영상(720_1)의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(120)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이를 보상하기 위한 영상인 훈련용 프론트 영상(1210_1)을 추론하도록 훈련될 수 있다.
도 15는 본 개시의 일 실시예에 따른 제1 프론트 영상 생성 모델에 포함된 제1 인공 지능 모델 및 제2 프론트 영상 생성 모듈에 포함된 제2 인공 지능 모델을 훈련시키는 방법을 설명하기 위한 도면이다. 이하, 도 10 및 도 12에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 2, 도 7 및 도 15를 참조하면, 제1 프론트 영상 생성 모델(700)에 포함된 제1 인공 지능 모델(700) 및 제2 프론트 영상 생성 모델(710)에 포함된 제2 인공 지능 모델(700)은 서로 다른 복수의 시야각 중 어느 하나의 훈련용 시야각에 대응되는 훈련용 프론트 영상(1210)을 추론하도록 순차적으로 훈련될 수 있다.
일 실시예에서, 전자 장치(100)는 훈련용 입력 영상(180_1), 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 제1 인공 지능 모델(700)에 적용하여, 훈련용 중간 프론트 영상(720_1)을 생성할 수 있다.
일 실시예에서, 전자 장치(100)는 훈련용 입력 영상(180_1), 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 제1 시뮬레이션 모델(1020)에 적용하여, 기준 중간 프론트 영상(1030)을 생성할 수 있다.
일 실시예에서, 전자 장치(100)는 훈련용 중간 프론트 영상(720_1) 및 기준 중간 프론트 영상(1030)을 제1 판별 모델(1010)에 적용하여, 제1 손실 함수(LS_1)를 계산하고, 제1 손실 함수(LS_1)에 기초하여 제1 판별 모델(1010) 및 제1 인공 지능 모델(700)을 훈련시킬 수 있다. 일 실시예에서, 제1 인공 지능 모델(700)은 훈련용 입력 영상(180_1)을 팩토리제이션하여 생성되는 베이스 영상이 베이스 패널(120)에 표시된 후, 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1) 및 광학층(140)의 훈련용 특성 정보(TVC_2)에 기초하여, 훈련용 시야각에 대응되는 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 갖고, 광학층(140)을 거쳐 제공되는 영상에 대응되는 훈련용 중간 프론트 영상(720_1)을 추론하도록 훈련될 수 있다.
일 실시예에서, 전자 장치(100)는 훈련용 중간 프론트 영상(720_1), 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 제2 인공 지능 모델(710)에 적용하여, 훈련용 프론트 영상(1210)을 생성할 수 있다.
일 실시예에서, 전자 장치(100)는 훈련용 중간 프론트 영상(720_1), 프론트 패널(130)의 훈련용 시야 특성 정보(TVC_3) 및 광학층(140)의 훈련용 특성 정보(TVC_2)를 제2 시뮬레이션 모델(1240)에 적용하여, 기준 프론트 영상(1250)을 생성할 수 있다.
일 실시예에서, 전자 장치(100)는 훈련용 프론트 영상(1210) 및 기준 프론트 영상(1250)을 제2 판별 모델(1230)에 적용하여, 제3 손실 함수(LS_3)를 계산하고, 제3 손실 함수(LS_3)에 기초하여, 제2 판별 모델(1230) 및 제2 인공 지능 모델(710)을 훈련시킬 수 있다. 일 실시예에서, 제2 인공 지능 모델(710)은 훈련용 중간 프론트 영상(720_1)의 베이스 패널(120)의 훈련용 시야 특성 정보(TVC_1)와 기준 베이스 특성 정보 간의 차이 및 프론트 패널(120)의 훈련용 시야 특성 정보(TVC_3)와 기준 프론트 특성 정보 간의 차이를 보상하고, 훈련용 중간 프론트 영상(720_1)과 조합되어 훈련용 시야각에 대응되는 영상을 제공할 수 있는 훈련용 프론트 영상(1210)을 추론하도록 훈련될 수 있다.
도 3, 도 6, 도 7 및 도 15를 참조하면, 일 실시예에서, 전자 장치(100)는 베이스 영상 생성 모델(700)을 통하여 생성된 베이스 영상(620)을 베이스 패널(120)에 표시하고, 훈련된 제1 인공 지능 모델(700) 및 훈련된 제2 인공 지능 모델(710)을 포함하는 프론트 영상 생성 모델(610)을 통하여 생성된 프론트 영상(630)을 프론트 패널(130)에 표시하여 사용자(150)에게 영상(160)을 제공할 수 있다. 본 개시의 전자 장치(100)를 통하여 사용자(150)에게 제공되는 영상(160)은, 전자 장치(100)를 시청하는 사용자(150)의 시야각의 변화에 대응되는 뷰에 따라 물체의 다른 면을 포함하고, 사용자(150)의 시야각의 변화에 따른 베이스 패널(120)의 베이스 특성 정보의 변화 및 프론트 패널(130)의 프론트 특성 정보의 변화와 무관하게 균일한 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 및 계조(gray)를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 일 실시예에서, 영상을 표시하는 전자 장치는 베이스 패널, 베이스 패널 상에 배치된 광학층 및 광학층 상에 배치된 프론트 패널을 포함한다. 전자 장치는 영상을 시청하는 사용자의 시야각(viewing angle)을 획득하는 사용자 추적 센서를 포함할 수 있다. 전자 장치는 적어도 하나의 명령어(instruction)를 저장하는 메모리 및 메모리에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 서로 다른 복수의 시야각에 각각 대응되는 복수의 뷰 영상들을 포함하는 입력 영상을 획득할 수 있다. 적어도 하나의 프로세서는 베이스 영상 생성 모델을 이용하여 입력 영상을 분해함으로써 베이스 영상을 생성할 수 있다. 적어도 하나의 프로세서는 프론트 영상 생성 모델을 이용하여 사용자의 시야각에 대응되는 베이스 패널의 시야 특성 정보, 사용자의 시야각에 대응되는 프론트 패널의 시야 특성 정보 및 광학층의 특성 정보에 기반하여 입력 영상을 분해함으로써 사용자의 시야각에 대응되는 프론트 영상을 생성할 수 있다. 적어도 하나의 프로세서는 베이스 패널에 베이스 영상을 표시하고, 프론트 패널에 프론트 영상을 표시하여 영상을 사용자에게 제공할 수 있다.
일 실시예에서, 사용자의 시야각은 서로 다른 복수의 시야각 중 어느 하나에 대응될 수 있다. 베이스 패널은 서로 다른 복수의 시야각에 각각 대응되는, 베이스 패널에 표시되는 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 어느 하나의 정보를 포함하는 복수의 베이스 특성 정보들을 포함할 수 있다. 베이스 패널의 시야 특성 정보는, 복수의 베이스 특성 정보들 중 사용자의 시야각에 대응되는 베이스 특성 정보일 수 있다. 프론트 패널은 서로 다른 복수의 시야각에 각각 대응되는, 프론트 패널에 표시되는 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 어느 하나의 정보를 포함하는 복수의 프론트 특성 정보들을 포함할 수 있다. 프론트 패널의 시야 특성 정보는, 복수의 프론트 특성 정보들 중 사용자의 시야각에 대응되는 프론트 특성 정보일 수 있다.
일 실시예에서, 광학층의 특성 정보는 광학층의 굴절률, 초점 거리(focal length), 광학층의 형상 또는 광학층의 크기 중 적어도 하나의 정보를 포함할 수 있다.
일 실시예에서, 프론트 영상 생성 모델은 제1 프론트 영상 생성 모델 및 제2 프론트 영상 생성 모델을 포함할 수 있다. 적어도 하나의 프로세서는 입력 영상, 베이스 패널의 시야 특성 정보 및 광학층의 특성 정보를 제1 프론트 영상 생성 모델에 적용함으로써, 베이스 패널의 시야 특성 정보에 기초하여 중간 프론트 영상을 생성할 수 있다. 적어도 하나의 프로세서는 중간 프론트 영상 및 프론트 패널의 시야 특성 정보를 제2 프론트 영상 생성 모델에 적용함으로써, 프론트 영상을 생성할 수 있다.
일 실시예에서, 적어도 하나의 프로세서는 중간 프론트 영상, 프론트 패널의 시야 특성 정보 및 광학층의 특성 정보를 제2 프론트 영상 생성 모델에 적용함으로써, 프론트 영상을 생성할 수 있다.
일 실시예에서, 중간 프론트 영상은 베이스 패널에 표시되는 베이스 영상이 광학층을 통하여, 획득한 사용자의 시야각을 갖는 사용자에게 제공되는 중간 영상에 대응되는 영상일 수 있다.
일 실시예에서, 서로 다른 복수의 베이스 특성 정보들 중 전자 장치의 정면에서 영상을 시청하는 사용자의 시야각인 기준 시야각에 대응되는 베이스 특성 정보를 기준 베이스 특성 정보라 할 수 있다. 서로 다른 복수의 프론트 특성 정보들 중 기준 시야각에 대응되는 프론트 특성 정보를 기준 프론트 특성 정보라 할 수 있다. 프론트 영상은 획득한 사용자의 시야각에 대응되는 베이스 패널의 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 획득한 사용자의 시야각에 대응되는 프론트 패널의 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초하여 생성된 영상일 수 있다.
일 실시예에서, 제1 프론트 영상 생성 모델은 입력 영상, 베이스 패널의 시야 특성 정보 및 광학층의 특성 정보에 기초하여 중간 프론트 영상을 추론하도록 훈련된 제1 인공 지능 모델을 포함할 수 있다. 제1 인공 지능 모델은 훈련용 입력 영상, 훈련용 시야각에 대응되는 베이스 패널의 훈련용 시야 특성 정보 및 광학층의 훈련용 특성 정보를 제1 인공 지능 모델에 적용함으로써, 훈련용 중간 프론트 영상을 생성하는 인공 지능 모델일 수 있다. 제1 인공 지능 모델은 훈련용 입력 영상 및 베이스 패널의 훈련용 시야 특성 정보 및 광학층의 훈련용 특성 정보를 제1 시뮬레이션 모델에 적용함으로써, 베이스 패널의 훈련용 시야 특성 정보에 기초한 기준 중간 프론트 영상을 생성하는 인공 지능 모델일 수 있다. 제1 인공 지능 모델은 훈련용 중간 프론트 영상과 기준 중간 프론트 영상 간의 차이에 따른 제1 손실 함수에 기초하여, 베이스 패널의 훈련용 시야 특성 정보에 기초한 훈련용 중간 프론트 영상을 추론하도록 훈련된 인공 지능 모델일 수 있다.
일 실시예에서, 제2 프론트 영상 생성 모델은 중간 프론트 영상 및 프론트 패널의 시야 특성 정보에 기초하여, 프론트 영상을 추론하도록 훈련된 제2 인공 지능 모델을 포함할 수 있다. 제2 인공 지능 모델은 훈련용 중간 프론트 영상 및 훈련용 시야각에 대응되는 프론트 패널의 훈련용 시야 특성 정보를 제2 인공 지능 모델에 적용함으로써, 훈련용 프론트 영상을 생성하는 인공 지능 모델일 수 있다. 제2 인공 지능 모델은 훈련용 중간 프론트 영상 및 프론트 패널의 훈련용 시야 특성 정보를 제2 시뮬레이션 모델에 적용함으로써, 베이스 패널의 훈련용 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 프론트 패널의 훈련용 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초한 기준 프론트 영상을 생성하기 위한 인공 지능 모델일 수 있다. 제2 인공 지능 모델은 훈련용 프론트 영상과 기준 프론트 영상 간의 차이에 따른 제2 손실 함수에 기초하여, 베이스 패널의 훈련용 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 프론트 패널의 훈련용 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초한 훈련용 프론트 영상을 추론하도록 훈련된 인공 지능 모델일 수 있다.
일 실시예에서, 제2 인공 지능 모델은 훈련용 중간 프론트 영상, 프론트 패널의 훈련용 시야 특성 정보 및 광학층의 훈련용 특성 정보를 제2 인공 지능 모델에 적용함으로써 훈련용 프론트 영상을 생성하기 위한 인공 지능 모델일 수 있다. 제2 인공 지능 모델은 훈련용 중간 프론트 영상, 프론트 패널의 훈련용 시야 특성 정보 및 광학층의 훈련용 특성 정보를 제2 시뮬레이션 모델에 적용함으로써, 베이스 패널의 훈련용 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 프론트 패널의 훈련용 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초한 기준 프론트 영상을 생성하기 위한 인공 지능 모델일 수 있다. 제2 인공 지능 모델은 훈련용 프론트 영상과 기준 프론트 영상 간의 차이에 따른 제3 손실 함수에 기초하여, 베이스 패널의 훈련용 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 프론트 패널의 훈련용 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초한 훈련용 프론트 영상을 추론하도록 훈련된 인공 지능 모델일 수 있다.
상술한 기술적 과제를 해결하기 위하여, 일 실시예에서, 베이스 패널, 상기 베이스 패널 상에 배치된 광학층 및 상기 광학층 상에 배치된 프론트 패널을 포함하고, 영상을 표시하는 전자 장치의 동작 방법을 제공한다. 전자 장치의 동작 방법은 서로 다른 복수의 시야각에 각각 대응되는 복수의 뷰 영상들을 포함하는 입력 영상을 획득하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 영상을 시청하는 사용자의 시야각(viewing angle)을 획득하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 입력 영상을 베이스 영상 생성 모델을 이용하여 입력 영상을 분해함으로써 베이스 영상을 생성하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 프론트 영상 생성 모델을 이용하여 사용자의 시야각에 대응되는 베이스 패널의 시야 특성 정보, 사용자의 시야각에 대응되는 프론트 패널의 시야 특성 정보 및 광학층의 특성 정보에 기반하여 입력 영상을 분해함으로써 사용자의 시야각에 대응되는 프론트 영상을 생성하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 베이스 패널에 베이스 영상을 표시하고, 프론트 패널에 프론트 영상을 표시하여 영상을 사용자에게 제공하는 단계를 포함할 수 있다.
일 실시예에서, 사용자의 시야각은 서로 다른 복수의 시야각 중 어느 하나에 대응될 수 있다. 베이스 패널은 서로 다른 복수의 시야각에 각각 대응되는, 베이스 패널에 표시되는 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 어느 하나의 정보를 포함하는 복수의 베이스 특성 정보들을 포함할 수 있다. 베이스 패널의 시야 특성 정보는, 복수의 베이스 특성 정보들 중 사용자의 시야각에 대응되는 베이스 특성 정보일 수 있다. 프론트 패널은 서로 다른 복수의 시야각에 각각 대응되는, 프론트 패널에 표시되는 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 어느 하나의 정보를 포함하는 복수의 프론트 특성 정보들을 포함할 수 있다. 프론트 패널의 시야 특성 정보는, 복수의 프론트 특성 정보들 중 사용자의 시야각에 대응되는 프론트 특성 정보일 수 있다. 광학층의 특성 정보는, 광학층의 굴절률, 초점 거리(focal length), 광학층의 형상 또는 광학층의 크기 중 적어도 하나의 정보를 포함할 수 있다.
일 실시예에서, 프론트 영상 생성 모델은 제1 프론트 영상 생성 모델 및 제2 프론트 영상 생성 모델을 포함할 수 있다. 사용자의 시야각에 대응되는 프론트 영상을 생성하는 단계는, 입력 영상, 베이스 패널의 시야 특성 정보 및 광학층의 특성 정보를 제1 프론트 영상 생성 모델에 적용함으로써, 베이스 패널의 시야 특성 정보에 기초하여 중간 프론트 영상을 생성하는 단계를 포함할 수 있다. 사용자의 시야각에 대응되는 프론트 영상을 생성하는 단계는, 중간 프론트 영상 및 프론트 패널의 시야 특성 정보를 제2 프론트 영상 생성 모델에 적용함으로써, 프론트 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 프론트 영상을 생성하는 단계에서는, 중간 프론트 영상, 프론트 패널의 시야 특성 정보 및 광학층의 특성 정보를 제2 프론트 영상 생성 모델에 적용함으로써, 프론트 영상을 생성할 수 있다.
일 실시예에서, 중간 프론트 영상은 베이스 패널에 표시되는 베이스 영상이 광학층을 통하여 획득한 사용자의 시야각을 갖는 사용자에게 제공되는 중간 영상에 대응되는 영상일 수 있다.
일 실시예에서, 서로 다른 복수의 베이스 특성 정보들 중 전자 장치의 정면에서 영상을 시청하는 사용자의 시야각인 기준 시야각에 대응되는 베이스 특성 정보를 기준 베이스 특성 정보라 할 수 있다. 서로 다른 복수의 프론트 특성 정보들 중 기준 시야각에 대응되는 프론트 특성 정보를 기준 프론트 특성 정보라 할 수 있다. 프론트 영상은 획득한 사용자의 시야각에 대응되는 베이스 패널의 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 획득한 사용자의 시야각에 대응되는 프론트 패널의 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초하여 생성된 영상일 수 있다.
일 실시예에서, 제1 프론트 영상 생성 모델은 입력 영상, 베이스 패널의 시야 특성 정보 및 광학층의 특성 정보에 기초하여, 중간 프론트 영상을 추론하도록 훈련된 제1 인공 지능 모델을 포함할 수 있다. 제1 인공 지능 모델을 훈련시키는 단계는 훈련용 입력 영상, 훈련용 시야각에 대응되는 베이스 패널의 훈련용 시야 특성 정보 및 광학층의 훈련용 특성 정보를 제1 인공 지능 모델에 적용함으로써, 훈련용 중간 프론트 영상을 생성하는 단계를 포함할 수 있다. 제1 인공 지능 모델을 훈련시키는 단계는 훈련용 입력 영상, 베이스 패널의 훈련용 시야 특성 정보 및 광학층의 훈련용 특성 정보를 제1 시뮬레이션 모델에 적용함으로써 베이스 패널의 훈련용 시야 특성 정보에 기초한 기준 중간 프론트 영상을 생성하는 단계를 포함할 수 있다. 제1 인공 지능 모델을 훈련시키는 단계는 훈련용 중간 프론트 영상과 기준 중간 프론트 영상 간의 차이에 따른 제1 손실 함수에 기초하여, 베이스 패널의 훈련용 시야 특성 정보에 기초한 훈련용 중간 프론트 영상을 추론하도록 제1 인공 지능 모델을 훈련시키는 단계를 포함할 수 있다.
일 실시예에서, 제2 프론트 영상 생성 모델은 중간 프론트 영상 및 프론트 패널의 시야 특성 정보에 기초하여, 프론트 영상을 추론하도록 훈련된 제2 인공 지능 모델을 포함할 수 있다. 제2 인공 지능 모델을 훈련시키는 단계는 훈련용 중간 프론트 영상 및 훈련용 시야각에 대응되는 프론트 패널의 훈련용 시야 특성 정보를 제2 인공 지능 모델에 적용함으로써, 훈련용 프론트 영상을 생성하는 단계를 포함할 수 있다. 제2 인공 지능 모델을 훈련시키는 단계는 훈련용 중간 프론트 영상 및 프론트 패널의 훈련용 시야 특성 정보를 제2 시뮬레이션 모델에 적용함으로써, 베이스 패널의 훈련용 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 프론트 패널의 훈련용 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초한 기준 프론트 영상을 생성하는 단계를 포함할 수 있다. 제2 인공 지능 모델을 훈련시키는 단계는 훈련용 프론트 영상과 기준 프론트 영상 간의 차이에 따른 제2 손실 함수에 기초하여, 베이스 패널의 훈련용 시야 특성 정보와 기준 베이스 특성 정보 간의 차이 및 프론트 패널의 훈련용 시야 특성 정보와 기준 프론트 특성 정보 간의 차이에 기초한 훈련용 프론트 영상을 추론하도록 제2 인공 지능 모델을 훈련시키는 단계를 포함할 수 있다.
일 실시예에서, 훈련용 프론트 영상을 생성하는 단계에서는 훈련용 중간 프론트 영상, 프론트 패널의 훈련용 특성 정보 및 광학층의 훈련용 특성 정보를 제2 인공 지능 모델에 적용함으로써, 훈련용 프론트 영상을 생성할 수 있다. 기준 프론트 영상을 생성하는 단계에서는 훈련용 중간 프론트 영상, 프론트 패널의 훈련용 특성 정보 및 광학층의 훈련 특성 정보를 제2 시뮬레이션 모델에 적용함으로써 기준 프론트 영상을 생성할 수 있다.
본 개시의 일 실시예로, 개시된 방법의 실시예 중 적어도 하나의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.
본 개시에서 설명된 전자 장치에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 기록 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 전자 장치의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장 매체가 될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
Claims (20)
- 영상을 표시하는 전자 장치에 있어서,
베이스 패널;
상기 베이스 패널 상에 배치된 광학층;
상기 광학층 상에 배치된 프론트 패널;
상기 영상을 시청하는 사용자의 시야각(viewing angle)을 획득하는 사용자 추적 센서;
적어도 하나의 명령어(instruction)를 저장하는 메모리; 및
상기 메모리에 저장된 상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
서로 다른 복수의 시야각에 각각 대응되는 복수의 뷰 영상들을 포함하는 입력 영상을 획득하고,
베이스 영상 생성 모델을 이용하여 상기 입력 영상을 분해함으로써, 베이스 영상을 생성하고,
프론트 영상 생성 모델을 이용하여 상기 사용자의 시야각에 대응되는 상기 베이스 패널의 시야 특성 정보, 상기 사용자의 시야각에 대응되는 상기 프론트 패널의 시야 특성 정보 및 상기 광학층의 특성 정보에 기반하여 상기 입력 영상을 분해함으로써, 상기 사용자의 시야각에 대응되는 프론트 영상을 생성하고,
상기 베이스 패널에 상기 베이스 영상을 표시하고, 상기 프론트 패널에 상기 프론트 영상을 표시하여 상기 영상을 상기 사용자에게 제공하는 전자 장치. - 제1 항에 있어서,
상기 사용자의 시야각은, 상기 서로 다른 복수의 시야각 중 어느 하나에 대응되고,
상기 베이스 패널은, 상기 서로 다른 복수의 시야각에 각각 대응되는, 상기 베이스 패널에 표시되는 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 어느 하나의 정보를 포함하는 복수의 베이스 특성 정보들을 포함하고,
상기 베이스 패널의 상기 시야 특성 정보는, 상기 복수의 베이스 특성 정보들 중 상기 사용자의 시야각에 대응되는 베이스 특성 정보이며,
상기 프론트 패널은, 상기 서로 다른 복수의 시야각에 각각 대응되는, 상기 프론트 패널에 표시되는 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 어느 하나의 정보를 포함하는 복수의 프론트 특성 정보들을 포함하고,
상기 프론트 패널의 상기 시야 특성 정보는, 상기 복수의 프론트 특성 정보들 중 상기 사용자의 시야각에 대응되는 프론트 특성 정보인 전자 장치. - 제1 또는 제2 항 중 어느 하나의 항에 있어서,
상기 광학층의 상기 특성 정보는, 상기 광학층의 굴절률, 초점 거리(focal length), 광학층의 형상 또는 광학층의 크기 중 적어도 하나의 정보를 포함하는 전자 장치. - 제2 항에 있어서,
상기 프론트 영상 생성 모델은,
제1 프론트 영상 생성 모델 및 제2 프론트 영상 생성 모델을 포함하고,
상기 적어도 하나의 프로세서는,
상기 입력 영상, 상기 베이스 패널의 상기 시야 특성 정보 및 상기 광학층의 상기 특성 정보를 상기 제1 프론트 영상 생성 모델에 적용함으로써, 상기 베이스 패널의 상기 시야 특성 정보에 기초하여 중간 프론트 영상을 생성하고,
상기 중간 프론트 영상 및 상기 프론트 패널의 상기 시야 특성 정보를 상기 제2 프론트 영상 생성 모델에 적용함으로써, 상기 프론트 영상을 생성하는 전자 장치. - 제4 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 중간 프론트 영상, 상기 프론트 패널의 상기 시야 특성 정보 및 상기 광학층의 상기 특성 정보를 상기 제2 프론트 영상 생성 모델에 적용함으로써, 상기 프론트 영상을 생성하는 전자 장치. - 제4 또는 제5 항 중 어느 하나의 항에 있어서,
상기 중간 프론트 영상은, 상기 베이스 패널에 표시되는 상기 베이스 영상이 상기 광학층을 통하여, 상기 획득한 사용자의 시야각을 갖는 상기 사용자에게 제공되는 중간 영상에 대응되는 영상인 전자 장치. - 제4 내지 제6 항 중 어느 하나의 항에 있어서,
상기 서로 다른 복수의 베이스 특성 정보들 중 상기 전자 장치의 정면에서 상기 영상을 시청하는 사용자의 시야각인 기준 시야각에 대응되는 베이스 특성 정보를 기준 베이스 특성 정보라 하고,
상기 서로 다른 복수의 프론트 특성 정보들 중 상기 기준 시야각에 대응되는 프론트 특성 정보를 기준 프론트 특성 정보라고 할 때,
상기 프론트 영상은,
상기 획득한 사용자의 시야각에 대응되는 상기 베이스 패널의 상기 시야 특성 정보와 상기 기준 베이스 특성 정보 간의 차이 및 획득한 상기 사용자의 시야각에 대응되는 상기 프론트 패널의 상기 시야 특성 정보와 상기 기준 프론트 특성 정보 간의 차이에 기초하여 생성된 영상인 전자 장치. - 제4 내지 7 항 중 어느 하나의 항에 있어서,
상기 제1 프론트 영상 생성 모델은 상기 입력 영상, 상기 베이스 패널의 상기 시야 특성 정보 및 상기 광학층의 상기 특성 정보에 기초하여, 상기 중간 프론트 영상을 추론하도록 훈련된 제1 인공 지능 모델을 포함하고,
상기 제1 인공 지능 모델은,
훈련용 입력 영상, 훈련용 시야각에 대응되는 상기 베이스 패널의 훈련용 시야 특성 정보 및 상기 광학층의 훈련용 특성 정보를 상기 제1 인공 지능 모델에 적용함으로써, 훈련용 중간 프론트 영상을 생성하고,
상기 훈련용 입력 영상 및 상기 베이스 패널의 상기 훈련용 시야 특성 정보 및 상기 광학층의 상기 훈련용 특성 정보를 제1 시뮬레이션 모델에 적용함으로써, 상기 베이스 패널의 상기 훈련용 시야 특성 정보에 기초한 기준 중간 프론트 영상을 생성하고
상기 훈련용 중간 프론트 영상과 상기 기준 중간 프론트 영상 간의 차이에 따른 제1 손실 함수에 기초하여, 상기 베이스 패널의 상기 훈련용 시야 특성 정보에 기초한 상기 훈련용 중간 프론트 영상을 추론하도록 훈련된 인공 지능 모델인 전자 장치. - 제8 항에 있어서,
상기 제2 프론트 영상 생성 모델은 상기 중간 프론트 영상 및 상기 프론트 패널의 시야 특성 정보에 기초하여, 상기 프론트 영상을 추론하도록 훈련된 제2 인공 지능 모델을 포함하고,
상기 제2 인공 지능 모델은,
상기 훈련용 중간 프론트 영상 및 상기 훈련용 시야각에 대응되는 상기 프론트 패널의 훈련용 시야 특성 정보를 상기 제2 인공 지능 모델에 적용함으로써, 훈련용 프론트 영상을 생성하고,
상기 훈련용 중간 프론트 영상 및 상기 프론트 패널의 상기 훈련용 시야 특성 정보를 제2 시뮬레이션 모델에 적용함으로써, 상기 베이스 패널의 상기 훈련용 시야 특성 정보와 상기 기준 베이스 특성 정보 간의 차이 및 상기 프론트 패널의 상기 훈련용 시야 특성 정보와 상기 기준 프론트 특성 정보 간의 차이에 기초한 기준 프론트 영상을 생성하고,
상기 훈련용 프론트 영상과 상기 기준 프론트 영상 간의 차이에 따른 제2 손실 함수에 기초하여, 상기 베이스 패널의 상기 훈련용 시야 특성 정보와 상기 기준 베이스 특성 정보 간의 차이 및 상기 프론트 패널의 상기 훈련용 시야 특성 정보와 상기 기준 프론트 특성 정보 간의 차이에 기초한 상기 훈련용 프론트 영상을 추론하도록 훈련된 인공 지능 모델인 전자 장치. - 제9 항에 있어서,
상기 제2 인공 지능 모델은,
상기 훈련용 중간 프론트 영상, 상기 프론트 패널의 상기 훈련용 시야 특성 정보 및 상기 광학층의 상기 훈련용 특성 정보를 상기 제2 인공 지능 모델에 적용함으로써 상기 훈련용 프론트 영상을 생성하고,
상기 훈련용 중간 프론트 영상, 상기 프론트 패널의 상기 훈련용 시야 특성 정보 및 상기 광학층의 상기 훈련용 특성 정보를 상기 제2 시뮬레이션 모델에 적용함으로써, 상기 베이스 패널의 상기 훈련용 시야 특성 정보와 상기 기준 베이스 특성 정보 간의 차이 및 상기 프론트 패널의 상기 훈련용 시야 특성 정보와 상기 기준 프론트 특성 정보 간의 차이에 기초한 기준 프론트 영상을 생성하고,
상기 훈련용 프론트 영상과 상기 기준 프론트 영상 간의 차이에 따른 제3 손실 함수에 기초하여, 상기 베이스 패널의 상기 훈련용 시야 특성 정보와 상기 기준 베이스 특성 정보 간의 차이 및 상기 프론트 패널의 상기 훈련용 시야 특성 정보와 상기 기준 프론트 특성 정보 간의 차이에 기초한 상기 훈련용 프론트 영상을 추론하도록 훈련된 인공 지능 모델인 전자 장치. - 베이스 패널, 상기 베이스 패널 상에 배치된 광학층 및 상기 광학층 상에 배치된 프론트 패널을 포함하고, 영상을 표시하는 전자 장치의 동작 방법에 있어서,
서로 다른 복수의 시야각에 각각 대응되는 복수의 뷰 영상들을 포함하는 입력 영상을 획득하는 단계;
상기 영상을 시청하는 사용자의 시야각(viewing angle)을 획득하는 단계;
베이스 영상 생성 모델을 이용하여 상기 입력 영상을 분해함으로써, 베이스 영상을 생성하는 단계;
프론트 영상 생성 모델을 이용하여 상기 사용자의 시야각에 대응되는 상기 베이스 패널의 시야 특성 정보, 상기 사용자의 시야각에 대응되는 상기 프론트 패널의 시야 특성 정보 및 상기 광학층의 특성 정보에 기반하여 상기 입력 영상을 분해함으로써, 상기 사용자의 시야각에 대응되는 프론트 영상을 생성하는 단계;
상기 베이스 패널에 상기 베이스 영상을 표시하고, 상기 프론트 패널에 상기 프론트 영상을 표시하여 상기 영상을 상기 사용자에게 제공하는 단계를 포함하는 전자 장치의 동작 방법. - 제11 항에 있어서,
상기 사용자의 시야각은, 상기 서로 다른 복수의 시야각 중 어느 하나에 대응되고,
상기 베이스 패널은, 상기 서로 다른 복수의 시야각에 각각 대응되는, 상기 베이스 패널에 표시되는 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 어느 하나의 정보를 포함하는 복수의 베이스 특성 정보들을 포함하고,
상기 베이스 패널의 상기 시야 특성 정보는, 상기 복수의 베이스 특성 정보들 중 상기 사용자의 시야각에 대응되는 베이스 특성 정보이며,
상기 프론트 패널은, 상기 서로 다른 복수의 시야각에 각각 대응되는, 상기 프론트 패널에 표시되는 영상의 감마(gamma), 색(color), 명암비(contrast ratio), 밝기(luminance) 또는 계조(gray) 중 적어도 어느 하나의 정보를 포함하는 복수의 프론트 특성 정보들을 포함하고,
상기 프론트 패널의 상기 시야 특성 정보는, 상기 복수의 프론트 특성 정보들 중 상기 사용자의 시야각에 대응되는 프론트 특성 정보이며,
상기 광학층의 상기 특성 정보는, 상기 광학층의 굴절률, 초점 거리(focal length), 광학층의 형상 또는 광학층의 크기 중 적어도 하나의 정보를 포함하는 전자 장치의 동작 방법. - 제11 항 또는 제12 항 중 어느 하나의 항에 있어서,
상기 프론트 영상 생성 모델은,
제1 프론트 영상 생성 모델 및 제2 프론트 영상 생성 모델을 포함하고,
상기 사용자의 시야각에 대응되는 상기 프론트 영상을 생성하는 단계는,
상기 입력 영상, 상기 베이스 패널의 상기 시야 특성 정보 및 상기 광학층의 상기 특성 정보를 상기 제1 프론트 영상 생성 모델에 적용함으로써, 상기 베이스 패널의 상기 시야 특성 정보에 기초하여 중간 프론트 영상을 생성하는 단계; 및
상기 중간 프론트 영상 및 상기 프론트 패널의 상기 시야 특성 정보를 상기 제2 프론트 영상 생성 모델에 적용함으로써, 상기 프론트 영상을 생성하는 단계를 포함하는 전자 장치의 동작 방법. - 제13 항에 있어서,
상기 프론트 영상을 생성하는 단계에서는,
상기 중간 프론트 영상, 상기 프론트 패널의 상기 시야 특성 정보 및 상기 광학층의 상기 특성 정보를 상기 제2 프론트 영상 생성 모델에 적용함으로써, 상기 프론트 영상을 생성하는 전자 장치의 동작 방법. - 제14 또는 제15 항 중 어느 하나의 항에 있어서,
상기 중간 프론트 영상은, 상기 베이스 패널에 표시되는 상기 베이스 영상이 상기 광학층을 통하여 상기 획득한 사용자의 시야각을 갖는 상기 사용자에게 제공되는 중간 영상에 대응되는 영상인 전자 장치의 동작 방법. - 제13 내지 제15 항 중 어느 하나의 항에 있어서,
상기 서로 다른 복수의 베이스 특성 정보들 중 상기 전자 장치의 정면에서 상기 영상을 시청하는 사용자의 시야각인 기준 시야각에 대응되는 베이스 특성 정보를 기준 베이스 특성 정보라 하고,
상기 서로 다른 복수의 프론트 특성 정보들 중 상기 기준 시야각에 대응되는 프론트 특성 정보를 기준 프론트 특성 정보라고 할 때,
상기 프론트 영상은,
상기 획득한 사용자의 시야각에 대응되는 상기 베이스 패널의 상기 시야 특성 정보와 상기 기준 베이스 특성 정보 간의 차이 및 획득한 상기 사용자의 시야각에 대응되는 상기 프론트 패널의 상기 시야 특성 정보와 상기 기준 프론트 특성 정보 간의 차이에 기초하여 생성된 영상인 전자 장치의 동작 방법. - 제13 내지 제16 항 중 어느 하나의 항에 있어서,
상기 제1 프론트 영상 생성 모델은 상기 입력 영상, 상기 베이스 패널의 상기 시야 특성 정보 및 상기 광학층의 상기 특성 정보에 기초하여, 상기 중간 프론트 영상을 추론하도록 훈련된 제1 인공 지능 모델을 포함하고,
상기 제1 인공 지능 모델은,
훈련용 입력 영상, 훈련용 시야각에 대응되는 상기 베이스 패널의 훈련용 시야 특성 정보 및 상기 광학층의 훈련용 특성 정보를 상기 제1 인공 지능 모델에 적용함으로써, 훈련용 중간 프론트 영상을 생성하는 단계;
상기 훈련용 입력 영상, 상기 베이스 패널의 상기 훈련용 시야 특성 정보 및 상기 광학층의 상기 훈련용 특성 정보를 제1 시뮬레이션 모델에 적용함으로써 상기 베이스 패널의 상기 훈련용 시야 특성 정보에 기초한 기준 중간 프론트 영상을 생성하는 단계; 및
상기 훈련용 중간 프론트 영상과 상기 기준 중간 프론트 영상 간의 차이에 따른 제1 손실 함수에 기초하여, 상기 베이스 패널의 상기 훈련용 시야 특성 정보에 기초한 상기 훈련용 중간 프론트 영상을 추론하도록 상기 제1 인공 지능 모델을 훈련시키는 단계를 통하여 훈련된 인공 지능 모델인 전자 장치의 동작 방법. - 제17 항에 있어서,
상기 제2 프론트 영상 생성 모델은 상기 중간 프론트 영상 및 상기 프론트 패널의 시야 특성 정보에 기초하여, 상기 프론트 영상을 추론하도록 훈련된 제2 인공 지능 모델을 포함하고,
상기 제2 인공 지능 모델은,
상기 훈련용 중간 프론트 영상 및 상기 훈련용 시야각에 대응되는 상기 프론트 패널의 훈련용 시야 특성 정보를 상기 제2 인공 지능 모델에 적용함으로써, 훈련용 프론트 영상을 생성하는 단계;
상기 훈련용 중간 프론트 영상 및 상기 프론트 패널의 상기 훈련용 시야 특성 정보를 제2 시뮬레이션 모델에 적용함으로써, 상기 베이스 패널의 상기 훈련용 시야 특성 정보와 상기 기준 베이스 특성 정보 간의 차이 및 상기 프론트 패널의 상기 훈련용 시야 특성 정보와 상기 기준 프론트 특성 정보 간의 차이에 기초한 기준 프론트 영상을 생성하는 단계; 및
상기 훈련용 프론트 영상과 상기 기준 프론트 영상 간의 차이에 따른 제2 손실 함수에 기초하여, 상기 베이스 패널의 상기 훈련용 시야 특성 정보와 상기 기준 베이스 특성 정보 간의 차이 및 상기 프론트 패널의 상기 훈련용 시야 특성 정보와 상기 기준 프론트 특성 정보 간의 차이에 기초한 상기 훈련용 프론트 영상을 추론하도록 상기 제2 인공 지능 모델을 훈련시키는 단계를 통하여 훈련된 인공 지능 모델인 전자 장치의 동작 방법. - 제18 항에 있어서,
상기 훈련용 프론트 영상을 생성하는 단계에서는,
상기 훈련용 중간 프론트 영상, 상기 프론트 패널의 상기 훈련용 특성 정보 및 상기 광학층의 상기 훈련용 특성 정보를 상기 제2 인공 지능 모델에 적용함으로써, 상기 훈련용 프론트 영상을 생성하고,
상기 기준 프론트 영상을 생성하는 단계에서는,
상기 훈련용 중간 프론트 영상, 상기 프론트 패널의 상기 훈련용 특성 정보 및 상기 광학층의 상기 훈련 특성 정보를 상기 제2 시뮬레이션 모델에 적용함으로써 상기 기준 프론트 영상을 생성하는 전자 장치의 동작 방법. - 제11 항 내지 제19 항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2023/014831 WO2024072000A1 (ko) | 2022-09-29 | 2023-09-26 | 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220124662 | 2022-09-29 | ||
| KR1020220124662 | 2022-09-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240045059A true KR20240045059A (ko) | 2024-04-05 |
Family
ID=90714134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230011114A KR20240045059A (ko) | 2022-09-29 | 2023-01-27 | 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240045059A (ko) |
-
2023
- 2023-01-27 KR KR1020230011114A patent/KR20240045059A/ko unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11533489B2 (en) | Reprojecting holographic video to enhance streaming bandwidth/quality | |
| EP3959688B1 (en) | Generative latent textured proxies for object category modeling | |
| JP7201869B1 (ja) | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 | |
| US20230360182A1 (en) | Enhanced Photo Relighting Based on Machine Learning Models | |
| TWI813098B (zh) | 用於新穎視圖合成之神經混合 | |
| JP2015070618A (ja) | ユーザの目の位置に基づくレイヤードディスプレイ方式のための映像生成装置及びディスプレイ装置 | |
| KR20240045059A (ko) | 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 | |
| US11636578B1 (en) | Partial image completion | |
| US20230326432A1 (en) | Electronic apparatus for displaying 3d image and operating method thereof | |
| KR20230097163A (ko) | 자동입체 텔레프레즌스 시스템들을 위한 3차원(3d) 얼굴 피처 추적 | |
| KR20240025440A (ko) | 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 | |
| KR20230146431A (ko) | 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 | |
| US20230412724A1 (en) | Controlling an Augmented Call Based on User Gaze | |
| KR20240025423A (ko) | 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 | |
| Mudireddy | Monocular Depth Estimation Using Attention Guidance | |
| KR20220093975A (ko) | 적층형 디스플레이 장치 및 이의 제어 방법 |