KR102530278B1 - 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법 - Google Patents

표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법 Download PDF

Info

Publication number
KR102530278B1
KR102530278B1 KR1020180124529A KR20180124529A KR102530278B1 KR 102530278 B1 KR102530278 B1 KR 102530278B1 KR 1020180124529 A KR1020180124529 A KR 1020180124529A KR 20180124529 A KR20180124529 A KR 20180124529A KR 102530278 B1 KR102530278 B1 KR 102530278B1
Authority
KR
South Korea
Prior art keywords
view
image
images
electronic device
display unit
Prior art date
Application number
KR1020180124529A
Other languages
English (en)
Other versions
KR20200044257A (ko
Inventor
김범식
권재중
목랑균
조주완
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020180124529A priority Critical patent/KR102530278B1/ko
Priority to US16/564,863 priority patent/US10930084B2/en
Priority to EP19203954.3A priority patent/EP3641308A1/en
Priority to CN201910992106.7A priority patent/CN111080797A/zh
Publication of KR20200044257A publication Critical patent/KR20200044257A/ko
Priority to US17/169,354 priority patent/US20210158626A1/en
Application granted granted Critical
Publication of KR102530278B1 publication Critical patent/KR102530278B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses

Abstract

전자 장치는 3차원 영상을 표시하는 표시 유닛, 실사 영상을 촬영하는 카메라 모듈 및 상기 실사 영상과 AR 영상 데이터에 기반해서 영상 신호 생성하고, 상기 영상 신호를 상기 표시 유닛으로 제공하는 제어 모듈을 포함하며, 상기 제어 모듈은, 상기 AR 영상 데이터를 다시점 AR 영상들로 변환하는 다시점 영상 생성기, 상기 다시점 AR 영상들 각각과 상기 실사 영상을 합성해서 다시점 합성 영상들을 생성하는 그래픽 프로세서 및 상기 다시점 가상 카메라 및 상기 그래픽 프로세서를 제어하고, 상기 다시점 합성 영상들을 상기 영상 신호로 변환해서 상기 표시 유닛으로 제공하는 프로세서를 포함한다.

Description

표시 유닛을 구비한 전자 장치 및 AR 영상 표시 방법{ELECTRONIC DEVICE HAVING DISPLAY MODULE AND IMAGE DISPLAY METHOD}
본 발명은 표시 유닛을 구비한 전자 장치에 관한 것으로 좀 더 구체적으로는 증강 현실 영상을 표시 유닛에 표시하는 전자 장치에 관한 것이다.
3차원 디스플레이 기술은 영화, TV, 휴대폰 등 다양한 영상 디스플레이 분야에 적용되고 있다. 3차원 디스플레이의 궁극적 목적은 사람이 실제 환경에서 경험하는 것과 같은 입체감을 느낄 수 있게 하는 것으로, 이를 위해 스테레오 방식, 다시점 방식 등 많은 종류의 기술이 연구되고 있다. 그 중 라이트 필드(Light Field) 방식은 스테레오 방식 또는 다시점 방식에 비하여 3차원 공간 정보를 보다 정확하게 재현할 수 있다.
한편, 실제 세계의 영상에 가상 객체를 합성 표시함으로써 그 가상 객체가 마치 실제 세계 내에 실재하는 것 같이 표시하는 AR(Augmented Reality, 증강 현실) 기술의 연구가 진행되고 있다.
최근에는 표시 유닛에 AR 영상을 3차원 영상으로 표시하는 기술의 필요성이 증가하고 있다.
본 발명의 목적은 3차원 표시 유닛에 AR 영상을 표시하는 전자 장치를 제공하는데 있다.
본 발명의 다른 목적은 AR 영상을 3차원으로 표시하는 방법을 제공하는데 있다.
이와 같은 목적을 달성하기 위한 본 발명의 일 특징에 의하면, 전자 장치는: 3차원 영상을 표시하는 표시 유닛, 실사 영상을 촬영하는 카메라 모듈 및 상기 실사 영상과 AR 영상 데이터에 기반해서 영상 신호 생성하고, 상기 영상 신호를 상기 표시 유닛으로 제공하는 제어 모듈을 포함한다. 상기 제어 모듈은, 상기 AR 영상 데이터를 다시점 AR 영상들로 변환하는 다시점 영상 생성기, 상기 다시점 AR 영상들 각각과 상기 실사 영상을 합성해서 다시점 합성 영상들을 생성하는 그래픽 프로세서 및 상기 다시점 가상 카메라 및 상기 그래픽 프로세서를 제어하고, 상기 다시점 합성 영상들을 상기 영상 신호로 변환해서 상기 표시 유닛으로 제공하는 프로세서를 포함한다.
이 실시예에 있어서, 상기 제어 모듈은 상기 AR 영상 데이터를 저장하는 메모리를 더 포함할 수 있다.
이 실시예에 있어서, 상기 실사 영상은 마커 및 사물 중 적어도 하나를 포함하고, 상기 다시점 AR 영상들 각각은 AR 객체를 포함할 수 있다.
이 실시예에 있어서, 상기 프로세서는, 상기 카메라 모듈과 상기 마커 및 상기 사물 중 적어도 하나 사이의 제1 이격 거리가 변경될 때, 상기 제1 이격 거리의 변화량에 따라 상기 다시점 영상 생성기와 상기 AR 객체 사이의 제2 이격 거리가 변경되도록 상기 다시점 영상 생성기를 제어할 수 있다.
이 실시예에 있어서, 상기 다시점 영상 생성기는 상기 AR 영상 데이터에 근거해서 복수의 시점들 각각에 대응하는 상기 다시점 AR 영상들로 변환하는 복수의 가상 카메라들을 포함할 수 있다.
이 실시예에 있어서, 상기 다시점 영상 생성기는 상기 AR 영상 데이터에 근거해서 복수의 시점들 각각에 대응하는 상기 다시점 AR 영상들로 변환하는 알고리즘을 포함할 수 있다.
이 실시예에 있어서, 상기 제어 모듈은, 외부로부터 무선 통신 방식으로 상기 AR 영상 데이터를 수신하는 무선 통신 모듈을 더 포함할 수 있다.
이 실시예에 있어서, 상기 표시 유닛은 라이트 필드 표시 유닛을 포함하며, 상기 라이트 필드 표시 유닛은, 복수의 화소들을 포함하는 표시 패널, 및 상기 표시 패널 상에 배치되고 복수의 마이크로 렌즈들을 포함하는 마이크로 렌즈 어레이를 포함할 수 있다.
이 실시예에 있어서, 상기 프로세서는 상기 다시점 합성 영상들을 상기 복수의 화소들에 각각 대응하는 상기 영상 신호로 매핑할 수 있다.
이 실시예에 있어서, 상기 프로세서는 상기 실사 영상을 3차원 모델링하여 다시점 실사 영상들을 생성하는 3차원 모델링 알고리즘을 더 포함하며, 상기 그래픽 프로세서는 상기 다시점 AR 영상들 각각과 상기 다시점 실사 영상들을 합성해서 상기 다시점 합성 영상들을 생성할 수 있다.
이 실시예에 있어서, 상기 카메라 모듈은 3차원 실사 영상을 촬영하는 3차원 카메라 모듈을 포함할 수 있다.
이 실시예에 있어서, 상기 프로세서는 상기 3차원 실사 영상에 기반하여 다시점 실사 영상들을 생성하며, 상기 그래픽 프로세서는 상기 다시점 AR 영상들 각각과 상기 다시점 실사 영상들을 합성해서 상기 다시점 합성 영상들을 생성할 수 있다.
이 실시예에 있어서, 상기 AR 영상 데이터는 AR 객체의 좌표 정보 및 깊이 정보를 포함할 수 있다.
본 발명의 다른 특징에 따른 복수의 화소들을 구비하고, 3차원 영상을 표시하는 표시 유닛을 포함하는 전자 장치의 동작 방법은: 카메라 모듈로부터 실사 영상을 수신하는 단계, AR 영상 데이터를 수신하는 단계, 상기 AR 영상 데이터를 다시점 AR 영상들로 변환하는 단계, 상기 다시점 AR 영상들과 상기 실사 영상을 합성하는 단계, 다시점 합성 영상들을 영상 신호로 변환하는 단계, 및 상기 영상 신호를 상기 표시 유닛으로 출력하는 단계를 포함한다.
이 실시예에 있어서, 상기 전자 장치는 상기 AR 영상 데이터를 저장하는 메모리를 포함할 수 있다.
이 실시예에 있어서, 상기 AR 영상 데이터를 수신하는 단계는, 외부와 무선 통신 방식으로 상기 AR 영상 데이터를 수신할 수 있다.
이 실시예에 있어서, 상기 실사 영상은 마커 및 사물 중 적어도 하나를 포함하고, 상기 다시점 AR 영상들 각각은 AR 객체를 포함할 수 있다.
이 실시예에 있어서, 상기 AR 영상 데이터를 상기 다시점 AR 영상들로 변환하는 단계는, 상기 카메라 모듈과 상기 마커 및 상기 사물 중 적어도 하나 사이의 제1 이격 거리가 변경될 때, 상기 제1 이격 거리의 변화량에 따라 상기 다시점 AR 영상들 각각에 포함되는 상기 AR 객체의 크기를 변경한다.
이 실시예에 있어서, 상기 카메라 모듈로부터 상기 실사 영상을 수신하는 단계는, 상기 실사 영상을 3차원 모델링하여 다시점 실사 영상들을 생성하는 단계를 포함하며, 상기 다시점 AR 영상들과 상기 실사 영상을 합성하는 단계는, 상기 다시점 AR 영상들과 상기 다시점 실사 영상들을 합성하는 단계를 포함한다.
이 실시예에 있어서, 상기 다시점 합성 영상들을 상기 영상 신호로 변환하는 단계는, 상기 다시점 합성 영상들을 상기 표시 유닛의 상기 화소들에 각각 대응하도록 매핑해서 상기 영상 신호로 변환한다.
이와 같은 구성을 갖는 전자 장치는 AR 영상을 3차원 표시 유닛에 표시할 수 있다. 특히, AR 영상 데이터는 다시점 AR 영상들로 변환된 후 실사 영상과 합성되어서 표시 유닛으로 제공될 수 있다. 따라서 AR 객체가 실사 영상에 자연스러운 깊이감으로 표현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 장치의 사시도이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 3a는 본 발명의 일 실시예에 따른 표시 유닛을 간략히 나타낸 분해 사시도이다.
도 3b는 도 3a에 도시된 라이트 필드 표시 유닛을 사용하여 사용자가 입체 영상을 시청하는 것을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자 시스템에서 영상 신호를 출력하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 전자 시스템에서 AR 영상과 실사 영상을 합성하여 영상 신호가 생성되는 과정을 설명하기 위한 도면이다.
도 6은 실사 카메라와 마커 사이의 거리에 따른 가상 카메라와 AR 영상 사이의 가상 거리 연동을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 전자 시스템의 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 전자 시스템의 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 전자 시스템의 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 전자 시스템에서 AR 영상과 3차원 실사 영상을 합성하여 영상 신호가 생성되는 과정을 설명하기 위한 도면이다.
도 11는 본 발명의 다른 실시예에 따른 전자 시스템의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 전자 장치의 표시 유닛에 AR 영상이 표시되는 것을 예시적으로 보여주는 도면이다.
도 13은 본 발명의 일 실시예에 따른 AR 영상 표시 방법을 설명하기 위한 플로우차트이다.
본 명세서에서, 어떤 구성요소(또는 영역, 층, 부분 등)가 다른 구성요소 "상에 있다", "연결된다", 또는 "결합된다"고 언급되는 경우에 그것은 다른 구성요소 상에 직접 배치/연결/결합될 수 있거나 또는 그들 사이에 제3의 구성요소가 배치될 수도 있다는 것을 의미한다.
동일한 도면부호는 동일한 구성요소를 지칭한다. 또한, 도면들에 있어서, 구성요소들의 두께, 비율, 및 치수는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
"및/또는"은 연관된 구성들이 정의할 수 있는 하나 이상의 조합을 모두 포함한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, "아래에", "하측에", "위에", "상측에" 등의 용어는 도면에 도시된 구성들의 연관관계를 설명하기 위해 사용된다. 상기 용어들은 상대적인 개념으로, 도면에 표시된 방향을 기준으로 설명된다.
다르게 정의되지 않는 한, 본 명세서에서 사용된 모든 용어 (기술 용어 및 과학 용어 포함)는 본 발명이 속하는 기술 분야의 당업자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 또한, 일반적으로 사용되는 사전에서 정의된 용어와 같은 용어는 관련 기술의 맥락에서 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고, 이상적인 또는 지나치게 형식적인 의미로 해석되지 않는 한, 명시적으로 여기에서 정의된다.
"포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 전자 장치의 사시도이다.
도 1을 참조하면, 전자 장치(100)는 전기적 신호에 따라 활성화되는 장치일 수 있다. 전자 장치(100)는 다양한 실시예들을 포함할 수 있다. 예를 들어, 전자 장치(100)는 태블릿, 노트북, 컴퓨터, 스마트 텔레비전 등을 포함할 수 있다. 본 실시예에서, 전자 장치(100)는 스마트 폰으로 예시적으로 도시되었다.
전자 장치(100)는 윈도우 부재(101) 및 하우징 유닛(105)을 포함한다. 본 실시예에서, 윈도우 부재(101)와 하우징 유닛(105)은 결합되어 전자 장치(100)의 외관을 구성한다.
전자 장치(100)의 영상(IM)이 표시되는 표시면은 전자 장치(100)의 전면(front surface, FS)과 대응될 수 있다. 영상(IM)은 동적인 영상은 물론 정지 영상을 포함할 수 있다. 도 1에서 영상(IM)의 일 예로 2차원(2D 또는 평면) 영상이 도시되었으나, 3차원(3D 또는 입체) 영상이 표시될 수 있다.
윈도우 부재(101)는 절연 패널을 포함할 수 있다. 예를 들어, 윈도우 부재(101)는 유리, 플라스틱, 또는 이들의 조합으로 구성될 수 있다.
윈도우 부재(101)의 전면은 상술한 바와 같이, 전자 장치(100)의 전면(FS)을 정의한다. 전자 장치(100)의 전면(FS)은 투과 영역(TA) 및 베젤 영역(BZA)을 포함한다. 투과 영역(TA)은 광학적으로 투명한 영역일 수 있다. 예를 들어, 투과 영역(TA)은 약 90% 이상의 가시광선 투과율을 가진 영역일 수 있다.
베젤 영역(BZA)은 투과 영역(TA)에 비해 상대적으로 광 투과율이 낮은 영역일 수 있다. 베젤 영역(BZA)은 투과 영역(TA)의 형상을 정의한다. 베젤 영역(BZA)은 투과 영역(TA)에 인접하며, 투과 영역(TA)을 에워쌀 수 있다. 본 발명의 일 실시예에 따른 윈도우 부재(101)에 있어서, 베젤 영역(BZA)은 생략될 수도 있다.
투과 영역(TA)은 카메라 모듈(144)을 포함할 수 있다. 도 1에는 투과 영역(TA)에 구비된 카메라 모듈(144)만을 도시하나 이에 한정되지 않으며, 전자 장치(100)의 배면에 카메라 모듈을 더 구비할 수 있다. 또한 다른 실시예에서 카메라 모듈은 전자 장치(100)의 배면에만 구비되거나 측면에 구비될 수 있다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 2를 참조하면, 전자 장치(100)는 제어 모듈(110), 전원 공급 모듈(120), 표시 모듈(130) 및 전자 모듈(140)을 포함한다. 제어 모듈(110), 전원 공급 모듈(120), 표시 모듈(130) 및 전자 모듈(140)은 서로 전기적으로 연결될 수 있다.
제어 모듈(110) 및 전자 모듈(140)은 전자 장치(100)를 동작시키기 위한 다양한 기능성 모듈을 포함한다.
제어 모듈(110)은 프로세서(111), 무선통신 모듈(112), 메모리(113), 다시점 영상 생성기(114), 그래픽 프로세서(Graphics Processing Unit, GPU)(115) 및 외부 인터페이스(116)를 포함할 수 있다. 제어 모듈(110) 내 구성들은 마더보드에 직접 실장되거나 별도의 기판에 실장되어 커넥터(미 도시) 등을 통해 마더보드에 전기적으로 연결될 수 있다.
프로세서(111)는 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(111)는 AP(application processor), CPU(central processing unit) 또는 마이크로프로세서일 수 있다. 예를 들어, 프로세서(111)는 표시 모듈(130)을 활성화하거나, 비활성화할 수 있다. 프로세서(111)는 표시 모듈(130)로부터 수신된 터치 신호에 근거하여 전자 모듈(140) 내 다른 모듈들을 제어할 수 있다.
무선통신 모듈(112)은 이동 통신(mobile communications), 블루투스 또는 와이파이 회선을 이용하여 다른 단말기 또는 호스트 장치와 무선 신호를 송/수신할 수 있다. 무선통신 모듈(112)은 일반 통신 회선을 이용하여 음성신호를 송/수신할 수 있다. 무선통신 모듈(112)은 송신할 신호를 변조하여 송신하는 송신부(112-2)와, 수신되는 신호를 복조하는 수신부(112-1)를 포함한다.
메모리(113)는 프로세서(111)의 동작에 필요한 프로그램 코드 및 사용자 데이터를 저장할 수 있다. 이 실시예에서, 메모리(113)는 AR(augmented reality, 증강 현실) 영상 데이터를 저장할 수 있다. 이 실시예에서, AR 영상 데이터는 AR 객체의 좌표 정보 및 깊이 정보를 포함할 수 있다.
다시점 영상 생성기(114)는 메모리(113)에 저장된 AR 영상 데이터를 다시점 AR 영상들로 변환할 수 있다. 예를 들어, 다시점 영상 생성기(114)는 좌표 정보 및 깊이 정보에 근거해서 AR 영상 데이터를 다시점 AR 영상들로 변환할 수 있다. 다시점 영상 생성기(114)는 다시점 가상 카메라 또는 다시점 영상 생성 알고리즘을 포함하는 다시점 변환 유닛일 수 있다.
그래픽 프로세서(115)는 다시점 AR 영상들과 카메라 모듈(144)로부터의 실사 영상을 합성해서 다시점 합성 영상들을 생성한다. 프로세서(110)는 다시점 합성 영상들을 표시 유닛(131)의 복수의 화소들에 각각 대응하는 영상 신호로 매핑할 수 있다.
외부 인터페이스(116)는 외부 충전기, 유/무선 데이터 포트, 카드 소켓(예를 들어, 메모리 카드(Memory card), SIM/UIM card) 등에 연결되는 인터페이스 역할을 한다.
전원공급 모듈(120)은 전자 장치(100)의 전반적인 동작에 필요한 전원을 공급한다. 전원공급 모듈(120)은 통상적인 배터리 모듈을 포함할 수 있다.
표시 모듈(130)은 표시 유닛(131) 및 감지 유닛(132)을 포함한다. 표시 유닛(131)은 실질적으로 영상(IM)을 생성하는 구성일 수 있다. 표시 유닛(131)이 생성하는 영상(IM)은 투과 영역(TA)을 통해 표시되어 외부에서 사용자에게 시인된다. 이 실시예에서, 표시 유닛(131)은 3차원 영상을 표시할 수 있는 3차원 표시 유닛일 수 있다. 예를 들어, 표시 유닛(131)은 라이트 필드(Light Field) 표시 패널을 포함할 수 있다.
감지 유닛(132)은 외부에서 인가되는 사용자 입력(TC)을 감지한다. 감지 유닛(132)은 윈도우 부재(101)에 제공되는 사용자 입력(TC)을 감지할 수 있다. 사용자 입력(TC)은 사용자 신체의 일부, 광, 열, 또는 압력 등 다양한 형태의 외부 입력들을 포함한다. 또한, 전자 장치(100)는 전자 장치(100)의 구조에 따라 전자 장치(100)의 측면이나 배면에 인가되는 사용자 입력(TC)을 감지할 수도 있으며, 어느 하나의 실시예로 한정되지 않는다. 감지 유닛(132)은 사용자 입력(TC)에 대응하는 터치 신호를 프로세서(111)로 제공할 수 있다.
전자 모듈(140)은 음향출력 모듈(141), 발광 모듈(142), 수광 모듈(143), 및 카메라 모듈(144) 등을 포함할 수 있다. 상기 구성들은 마더 보드에 직접 실장되거나, 별도의 기판에 실장되어 커넥터(미 도시) 등을 통해 제어 모듈(110) 과 전기적으로 연결될 수 있다.
음향출력 모듈(141)은 무선통신 모듈(112)로부터 수신된 음향 데이터 또는 메모리(113)에 저장된 음향 데이터를 변환하여 외부로 출력한다.
발광 모듈(142)은 광을 생성하여 출력한다. 발광 모듈(142)은 적외선을 출력할 수 있다. 발광 모듈(142)은 LED 소자를 포함할 수 있다. 수광 모듈(143)은 적외선을 감지할 수 있다. 수광 모듈(143)은 소정 레벨 이상의 적외선이 감지된 때 활성화될 수 있다. 수광 모듈(143)은 CMOS 센서를 포함할 수 있다. 발광 모듈(142)에서 생성된 적외광이 출력된 후, 외부 물체(예컨대, 사용자 신체의 일부 또는 사물)에 의해 반사되고, 반사된 적외광이 수광 모듈(143)에 입사될 수 있다.
카메라 모듈(144)은 외부의 이미지를 촬영한다. 이 실시예에서 카메라 모듈(144)은 촬영된 실사 영상을 프로세서(111)로 제공한다. 카메라 모듈(144)은 2차원(2D 또는 평면) 실사 영상을 프로세서(111)로 제공할 수 있다. 그러나 이에 한정되지 않고, 카메라 모듈(144)은 3차원(3D 또는 입체) 영상을 프로세서(111)로 제공할 수 있다. 예를 들어, 카메라 모듈(144)은 라이트 필드 카메라일 수 있다.
도 3a는 본 발명의 일 실시예에 따른 표시 유닛을 간략히 나타낸 분해 사시도이다.
도 3a를 참조하면, 표시 유닛(131)은 표시 패널(310) 및 마이크로 렌즈 어레이(320)를 포함할 수 있다. 이 실시예에서, 표시 유닛(131)은 라이트 필드 표시 유닛일 수 있다.
표시 패널(310)은 복수의 화소들(PX)을 포함할 수 있다. 각각의 화소는 예를 들면, 레드 화소, 그린 화소 및 블루 화소를 포함할 수 있다. 화소들(PX)은 제1 방향(D1) 및 제1 방향(D1)과 실질적으로 수직한 제2 방향(D2)으로 매트릭스 형태로 배열될 수 있다. 표시 패널(310)은 플라즈마 표시 패널, 액정 표시 패널 또는 유기 발광 표시 패널 등 일 수 있다.
마이크로 렌즈 어레이(320)는 표시 패널(310) 상에 배치된다. 마이크로 렌즈 어레이(320)는 복수의 마이크로 렌즈(ML)들을 포함할 수 있다. 표시 패널(310)의 화소들(PX)에서 발생한 광들이 마이크로 렌즈 어레이(320)의 마이크로 렌즈(ML)들을 통과하여 라이트 필드(light field)를 형성할 수 있다.
마이크로 렌즈 어레이(320)는 액티브(active) 렌즈로 구성된다. 마이크로 렌즈 어레이(320)는 마이크로 렌즈 어레이를 구성하는 전극들에 인가되는 전압에 의해 전기장(전계)를 생성하고, 이에 따라 액정 분자의 배열을 변형시킬 수 있다. 마이크로 렌즈 어레이(320)은 2차원 표시 모드에서는 표시 패널(310)에서 표시된 영상이 그대로 투과되도록 하고, 3차원 표시 모드에서는 표시 패널(310)의 영상의 시역을 분리한다. 예컨대, 3차원 표시 모드로 동작하는 마이크로 렌즈 어레이(320)는 표시 패널(310)에 표시된 다시점 영상을 광의 회절 및 굴절 현상을 이용하여 각 시점 영상 별로 해당하는 시역에 상이 맺히도록 한다.
라이트 필드를 형성하기 위한 표시 패널(310)의 화소들(PX)의 배열, 마이크로 렌즈 어레이(320)를 구성하는 마이크로 렌즈(ML)들의 배열 및 화소들(PX)과 마이크로 렌즈(ML)들의 상대적인 위치 관계는 도 3a에 한정되지 않으며 다양한 실시예로 구현될 수 있다.
도 3b는 도 3a에 도시된 라이트 필드 표시 유닛을 사용하여 사용자가 입체 영상을 시청하는 것을 예시적으로 보여주는 도면이다.
도 3b를 참조하면, '라이트 필드(Light Field)'는 빛이 공간 상에서 분포하는 상태를 광선의 분포를 통해 표현하는 개념이다. 이 개념을 이용하면 사물에서 반사되거나 발생한 빛은 공간 속을 직진하여 사람의 눈에 들어오는 것으로 정의되며, 3차원 공간은 무수히 많은 라이트 필드로 구성될 수 있다. 개별적인 라이트 필드를 수학적으로 표현하는 데는 예를 들어, 5차원 플렌옵틱(Plenoptic) 함수(I(x, y, z, θ, φ))가 사용될 수 있다. 즉, 라이트 필드는 공간 상의 특정 평면 상에서 광선이 평면을 지나는 점의 삼차원 공간 좌표(x, y, z)와 광선이 향하는 공간 방향각(θ, φ)에 대한 휘도로 표기될 수 있다. 라이트 필드는 앞에서 말한 특정 평면을 지나는 빛의 플렌옵틱 함수값을 정보화 함으로써 획득(capture)될 수 있다. 즉, 라이트 필드는 일정 영역의 좌표(x, y, z) 각각에 대하여 각도(θ, φ)별 휘도 값에 의해 획득될 수 있다. 즉, 도 1에 도시된 제어 모듈(110)로부터 제공된 3D 영상 신호는 표시 패널(310)로 제공되고, 표시 패널(310)에서 생성되는 광선(light ray)의 방향은 마이크로 렌즈 어레이(320)에 의해 특정 방향(관찰 시점)으로 향하는 라이트 필드를 형성하고, 광선 방향에 맞는 입체 영상 정보에 의해 사용자(2)는 객체들(OJ1, OJ2)을 3차원 영상으로 시청할 수 있다.
도 3a 및 도 3b에는 마이크로 렌즈 어레이 방식의 라이트 필드 표시 유닛(131)이 도시되었으나, 이에 한정되지 않는다. 예를 들어, 표시 유닛(131)은 패럴렉스 배리어(parallax barrier) 방식 또는 렌티큘러(lenticular) 방식을 이용한 집적 영상(integral imaging) 또는 다시점(multi view) 표시 유닛일 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자 시스템에서 영상 신호를 출력하는 과정을 설명하기 위한 도면이다.
도 2 및 도 4를 참조하면, 카메라 모듈(144)은 마커(marker) 또는 사물(410)을 촬영한다. 마커는 미리 지정해둔 특정 표시를 일컬으며, 제어 모듈(110)이 또는 증강 현실 애플리케이션 프로그램이 마커를 인식하면 정해진 반응이 실행될 수 있다. QR 코드와 같은 특정 패턴 또는 특정 로고가 마커로 사용될 수 있다. 전자 장치(100)가 SLAM(Simultaneous Localization and Mapping) 방식으로 동작하는 경우 주변의 환경을 인식해서 해당 지형지물에 대한 정보와 공간을 읽을 수 있다. 카메라 모듈(144)는 촬영된 마커 또는 사물(410)에 대한 실사 영상(450)을 제어 모듈(110)로 제공할 수 있다.
메모리(113)에 저장된 AR 영상 데이터(420)는 도 2에 도시된 다시점 영상 생성기(114)에 의해서 다시점 AR 영상들(440)로 변환될 수 있다. 이 실시예에서, 다시점 영상 생성기(114)는 다시점 가상 카메라(430)로 구현될 수 있다. 다시점 가상 카메라(430)는 애프리케이션(application)으로 구현될 수 있다. 다시점 가상 카메라(430)는 복수의 가상 카메라들을 포함하며, 복수의 가상 카메라들 간의 간격 및 각도 등에 대한 설정 정보에 기반하여 AR 영상 데이터(420)를 다시점 AR 영상들(440)로 변환한다.
그래픽 프로세서(115)는 다시점 AR 영상들(440)과 실사 영상(450)을 합성해서 다시점 합성 영상들(460)을 생성한다. 프로세서(111)는 다시점 합성 영상들(460)을 영상 신호(470)로 변환한다.
도 5는 본 발명의 일 실시예에 따른 전자 시스템에서 AR 영상과 실사 영상을 합성하여 영상 신호가 생성되는 과정을 설명하기 위한 도면이다.
도 2, 도 4 및 도 5를 참조하면, 다시점 가상 카메라(430)는 1시점부터 N 시점까지 다시점 AR 영상들(431-43n)을 출력한다. 다시점 AR 영상들(431-43n) 각각은 AR 객체를 포함하며, AR 객체에 대한 서로 다른 시점의 영상이다. 다시점 가상 카메라(430)는 미리 설정된 가상 카메라들 사이의 간격, AR 객체와 가상 카메라들 사이의 이격 거리에 따라서 다시점 AR 영상들(431-43n)을 생성할 수 있다.
실사 영상(450)은 카메라 모듈(144)에 의해 촬영된 마커 또는 사물에 대한 영상이며, 2 차원 영상이다.
그래픽 프로세서(115)는 다시점 AR 영상들(431-43n)과 실사 영상(450)을 합성해서 1시점부터 N 시점까지 다시점 합성 영상들(461-36n)을 생성한다.
프로세서(111)는 다시점 합성 영상들(460)을 도 3a에 도시된 복수의 화소들(PX)에 각각 매핑하여 한 프레임의 영상 신호(470)를 출력할 수 있다. 프로세서(111)는 다시점 영상 매핑 알고리즘에 의해서 다시점 정보가 있는 영상을 라이트 필드 시점 배열 규칙에 따라 화소 단위로 재배열하는 일련의 동작을 수행할 수 있다.
프로세서(111)가 영상 신호(470)를 표시 유닛(131)으로 제공함에 따라서 2차원 실사 영상과 3차원 AR 영상이 동시에 전자 장치(100)에 디스플레이될 수 있다.
도 6은 실사 카메라와 마커 사이의 거리에 따른 가상 카메라와 AR 영상 사이의 가상 거리 연동을 설명하기 위한 도면이다.
도 6을 참조하면, 카메라 모듈(144)은 마커 또는 사물(410)을 촬영한다. 일반적으로 카메라 모듈(144)(구체적으로는 카메라 모듈(144)의 렌즈(미 도시됨))은 마커 또는 사물(410)과 제1 이격 거리(Dr)만큼 떨어져 있다. 카메라 모듈(144)과 마커 또는 사물(410)과의 제1 이격 거리(Dr)는 발광 모듈(142)(도 2에 도시됨)에서 생성된 적외광이 출력된 후, 마커 또는 사물(410)에 의해 반사되고, 반사된 적외광이 수광 모듈(143)(도 2에 도시됨)에 입사된 양을 측정하여 알 수 있다. 그러나 본 발명은 이에 한정되지 않으며, 초음파 센서(미 도시됨)에 의한 거리 측정 등의 방식으로 제1 이격 거리(Dr)가 측정될 수 있다.
도 1에 도시된 프로세서(111)는 카메라 모듈(144)과 마커 또는 사물(410)과의 제1 이격 거리(Dr)가 변경될 때 제1 이격 거리(Dr)의 변화량에 따라서 AR 영상 데이터(420)에 포함된 AR 객체(425)와 다시점 가상 카메라(430) 사이의 제2 이격 거리(Da)가 변경되도록 제어한다.
예를 들어, 카메라 모듈(144)과 마커 또는 사물(410) 사이의 제1 이격 거리(Dr)가 기준값보다 커지면 즉, 카메라 모듈(144)이 마커 또는 사물(410)로부터 멀리 떨어지면 다시점 가상 카메라(430)는 객체(425)의 크기를 기준 크기보다 작게 인식해서 다시점 AR 영상들(440)을 생성할 수 있다. 반대로 카메라 모듈(144)과 마커 또는 사물(410) 사이의 제1 이격 거리(Dr)가 기준값보다 작아지면 즉, 카메라 모듈(144)이 마커 또는 사물(410)에 가까워지면 다시점 가상 카메라(430)는 객체(425)의 크기를 기준 크기보다 크게 인식해서 다시점 AR 영상들(440)을 생성할 수 있다. 그러나 본 발명은 이에 한정되지 않는다. 예를 들어, 카메라 모듈(144)과 마커 또는 사물(410) 사이의 제1 이격 거리(Dr)가 기준값보다 커지면 다시점 가상 카메라(430)는 객체(425)의 크기를 기준 크기보다 크게 인식해서 다시점 AR 영상들(440)을 생성할 수 있다.
도 6에는 카메라 모듈(144)과 마커 또는 사물(410)과의 제1 이격 거리(Dr)만을 도시하나 카메라 모듈(144)의 앵글 변화 즉, 마커 또는 사물(410)을 향한 카메라 모듈(144)의 촬영 각도 변화에 따라서 다시점 가상 카메라(430)의 앵글도 변화될 수 있다. 이 경우, 다시점 가상 카메라(430)는 카메라 모듈(144)의 앵글 변화를 고려하여 다시점 AR 영상들(440)을 생성할 수 있다
도 7은 본 발명의 다른 실시예에 따른 전자 시스템의 동작을 설명하기 위한 도면이다.
도 2 및 도 7을 참조하면, 카메라 모듈(144)는 마커 또는 사물(510)을 촬영한다. 카메라 모듈(144)는 촬영된 마커 또는 사물(510)에 대한 실사 영상(550)을 제어 모듈(110)로 제공할 수 있다.
메모리(113)에 저장된 AR 영상 데이터(520)는 도 2에 도시된 다시점 영상 생성기(114)에 의해서 다시점 AR 영상들(540)로 변환될 수 있다. 이 실시예에서, 다시점 영상 생성기(114)는 다시점 AR 알고리즘(530)으로 구현될 수 있다. 다시점 AR 알고리즘은 프로그램 코드로 구현되어 메모리(113) 또는 별도의 저장 장치에 저장될 수 있다.
그래픽 프로세서(115)는 다시점 AR 영상들(540)과 실사 영상(550)을 합성해서 다시점 합성 영상들(560)을 생성한다. 프로세서(111)는 다시점 합성 영상들(560)을 영상 신호(570)로 변환한다.
도 8은 본 발명의 다른 실시예에 따른 전자 시스템의 동작을 설명하기 위한 도면이다.
도 2 및 도 8을 참조하면, 카메라 모듈(144)는 마커 또는 사물(610)을 촬영한다. 카메라 모듈(144)는 촬영된 마커 또는 사물(610)에 대한 실사 영상(650)을 제어 모듈(110)로 제공할 수 있다.
무선통신 모듈(112)의 수신부(112-1)는 GPS(Global Positioning System) 위성(미 도시됨)에서 보내지는 신호를 수신할 수 있다. 프로세서(111)는 GPS 위성으로부터 수신된 신호에 근거해서 전자 장치(100)의 현재 위치(680)를 파악한다. 또한 무선통신 모듈(112)의 송신부(112-2)는 전자 장치(100)의 현재 위치(680)를 외부 호스트 장치(미 도시됨)로 전송할 수 있다. 외부 호스트 장치는 전자 장치(100)의 현재 위치(680)에 대응하는 AR 영상 데이터를 전자 장치(100)로 제공할 수 있다. 수신부(112-1)는 외부 호스트 장치로부터 AR 영상 데이터를 수신한다.
수신부(112-1)를 통해 외부 호스트 장치로부터 수산된 AR 영상 데이터(620)는 다시점 AR 알고리즘(630)에 의해서 다시점 AR 영상들(640)로 변환한다.
그래픽 프로세서(115)는 다시점 AR 영상들(640)과 실사 영상(650)을 합성해서 다시점 합성 영상들(660)을 생성한다. 프로세서(111)는 다시점 합성 영상들(660)을 영상 신호(670)로 변환한다.
예를 들어, 전자 장치(100)가 네비게이션(Navigation) 모드로 동작하는 경우, 카메라 모듈(144)에 의해서 촬영된 실사 영상(650)인 도로 영상에 AR 객체를 함께 디스플레이할 수 있다. 이 실시예에서, AR 객체는 주행 방향 또는 주행시 필요한 정보일 수 있다. 또한 이 실시예에서, AR 객체에 대한 AR 영상 데이터는 수신부(112-1)를 통해 외부 호스트 장치로부터 제공될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 전자 시스템의 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 3차원 카메라 모듈(820)는 마커(marker) 또는 사물(810)을 촬영한다. 3차원 카메라 모듈(820)은 촬영된 마커 또는 사물(810)에 대한 다시점 실사 영상(830)을 도 2에 도시된 제어 모듈(110)로 제공할 수 있다.
예를 들어, 3차원 카메라 모듈(820)은 라이트 필드 카메라(Light Field Camera)일 수 있다. 3 라이트 필드 카메라는 라이트 필드 획득을 목적으로 하는 카메라로, 2D 카메라가 공간 상의 특정한 하나의 점 즉, 좌표(x, y)별 휘도 값을 기록하는 것에 비하여, 일정 영역 내의 모든 좌표에 대하여 각도(θ, φ)별 휘도값을 기록할 수 있다.
다른 실시예에서, 3차원 카메라 모듈(820)은 깊이 정보를 획득할 수 있는 2개 이상의 카메라들을 포함할 수 있다.
도 2에 도시된 메모리(113)에 저장된 AR 영상 데이터(840)는 다시점 가상 카메라(850)에 의해서 다시점 AR 영상들(860)로 변환될 수 있다.
그래픽 프로세서(115)는 다시점 AR 영상들(860)과 다시점 실사 영상(830)을 합성해서 다시점 합성 영상들(870)을 생성한다. 도 2에 도시된 프로세서(111)는 다시점 합성 영상들(870)을 영상 신호(880)로 변환한다.
도 10은 본 발명의 다른 실시예에 따른 전자 시스템에서 AR 영상과 3차원 실사 영상을 합성하여 영상 신호가 생성되는 과정을 설명하기 위한 도면이다.
도 2, 도 9 및 도 10을 참조하면, 다시점 가상 카메라(850)는 1시점부터 N 시점까지 다시점 AR 영상들(861-86n)을 출력한다. 다시점 AR 영상들(861-86n) 각각은 AR 객체를 포함하며, AR 객체에 대한 서로 다른 시점의 영상이다. 다시점 가상 카메라(850)는 미리 설정된 가상 카메라들 사이의 간격, AR 객체와 가상 카메라들 사이의 이격 거리에 따라서 다시점 AR 영상들(861-86n)을 생성할 수 있다.
다시점 실사 영상들(831-83n)은 3차원 카메라 모듈(820)에 의해 촬영된 마커 또는 사물에 대한 3차원 영상이다. 이 실시예에서, 다시점 AR 영상들(861-86n) 및 다시점 실사 영상들(831-83n)은 동일한 N개의 다시점 영상들을 포함하나, 시점의 개수는 서로 다를 수 있다. 예를 들어, 다시점 가상 카메라(850)가 32개의 다시점 AR 영상들을 생성하고, 3차원 카메라 모듈(820)이 16개의 다시점 실사 영상들을 제공하는 경우, 도 2에 도시된 제어 모듈(110)은 16개의 다시점 실사 영상들을 보간(내삽 또는 외삽) 알고리즘에 의해 32개의 다시점 실사 영상들을 생성할 수 있다.
그래픽 프로세서(115)는 다시점 AR 영상들(861-86n)과 다시점 실사 영상들(831-83n)을 합성해서 1시점부터 N 시점까지 다시점 합성 영상들(871-87n)을 생성한다.
프로세서(111)는 다시점 합성 영상들(871-87n)을 도 3a에 도시된 복수의 화소들(PX)에 각각 매핑하여 한 프레임의 영상 신호(880)를 출력할 수 있다. 프로세서(111)는 다시점 영상 매핑 알고리즘에 의해서 다시점 정보가 있는 영상을 라이트 필드 시점 배열 규칙에 따라 화소 단위로 재배열하는 일련의 동작을 수행할 수 있다.
프로세서(111)가 영상 신호(880)를 표시 유닛(131)으로 제공함에 따라서 3차원 실사 영상과 3차원 AR 영상이 동시에 전자 장치(100)에 디스플레이될 수 있다.
도 11는 본 발명의 다른 실시예에 따른 전자 시스템의 동작을 설명하기 위한 도면이다.
도 11을 참조하면, 카메라 모듈(144)은 마커(marker) 또는 사물(910)을 촬영한다. 카메라 모듈(144)은 촬영된 마커 또는 사물(910)에 대한 2차원 실사 영상을 도 2에 도시된 제어 모듈(110)로 제공할 수 있다.
제어 모듈(110) 내 프로세서(111)는 3차원 모델링 알고리즘(950)을 포함할 수 있다. 프로세서(111)는 카메라 모듈(144)로부터 수신된 2차원 실사 영상을 3차원 다시점 실사 영상들(960)로 변환할 수 있다. 다른 실시예에서, 3차원 모델링 알고리즘(950)은 그래픽 프로세서(115)에 포함될 수 있다.
도 2에 도시된 메모리(113)에 저장된 AR 영상 데이터(920)는 다시점 가상 카메라(930)에 의해서 다시점 AR 영상들(940)로 변환될 수 있다.
그래픽 프로세서(115)는 다시점 AR 영상들(940)과 다시점 실사 영상들(960)을 합성해서 다시점 합성 영상들(970)을 생성한다. 도 2에 도시된 프로세서(111)는 다시점 합성 영상들(970)을 영상 신호(980)로 변환한다.
도 12는 본 발명의 일 실시예에 따른 전자 장치의 표시 유닛에 AR 영상이 표시되는 것을 예시적으로 보여주는 도면이다.
도 12을 참조하면, 전자 장치(100)의 후면에 배치된 카메라 모듈(미 도시됨)이 사물을 촬영하면, 표시 유닛(131)에 2차원 실사 영상(RI)와 3차원 AR 영상(ARI)이 디스플레이 된다.
도 13은 본 발명의 일 실시예에 따른 AR 영상 표시 방법을 설명하기 위한 플로우차트이다. 설명의 편의를 위하여 도 1 내지 도 12에 도시된 전자 장치를 참조하여 본 발명의 AR 영상 표시 방법이 설명되나, 전자 장치(100)에 한정되지 않는다.
도 2, 도 5 및 도 13을 참조하면, 제어 모듈(110) 내 프로세서(111)는 카메라 모듈(144)로부터 실사 영상을 수신한다(1110). 실사 영상은 카메라 모듈(144)에 의해서 촬영된 마커 또는 사물에 대한 영상 신호일 수 있다.
프로세서(111)는 메모리(113)에 저장된 AR 영상 데이터를 수신한다(1120).
프로세서(111)는 다시점 영상 생성기(114)에 의해서 AR 영상 데이터가 다시점 AR 영상들(431-43n)로 변환되도록 제어한다(1130).
프로세서(111)는 그래픽 프로세서(115)에 의해서 다시점 AR 영상들(431-43n)과 실사 영상(450)이 합성되도록 제어한다(1140).
프로세서(111)는 그래픽 프로세서(115)에 의해서 합성된 다시점 합성 영상들(461-36n)을 표시 유닛(131)의 화소 단위로 재배열하는 매핑을 수행한다(1150).
프로세서(111)는 영상 신호(470)를 표시 유닛(131)으로 출력한다(1160). 그 결과, 2차원 실사 영상과 3차원 AR 영상이 동시에 전자 장치(100)의 표시 유닛(131)에 디스플레이될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 또한 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니고, 하기의 특허 청구의 범위 및 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 전자 장치
110: 제어 모듈
111: 프로세서
112: 무선통신 모듈
113: 메모리
114: 다시점 영상 생성기
115: 그래픽 프로세서
120: 전원 공급 모듈
130: 표시 모듈
131: 표시 유닛
140: 전자 모듈
144: 카메라 모듈

Claims (20)

  1. 3차원 영상을 표시하는 표시 유닛;
    실사 영상을 촬영하는 카메라 모듈; 및
    상기 실사 영상과 AR 영상 데이터에 기반해서 영상 신호 생성하고, 상기 영상 신호를 상기 표시 유닛으로 제공하는 제어 모듈을 포함하되,
    상기 제어 모듈은,
    상기 AR 영상 데이터를 다시점 AR 영상들로 변환하는 다시점 영상 생성기;
    상기 다시점 AR 영상들 각각과 상기 실사 영상을 합성해서 다시점 합성 영상들을 생성하는 그래픽 프로세서; 및
    상기 다시점 영상 생성기 및 상기 그래픽 프로세서를 제어하고, 상기 다시점 합성 영상들을 상기 영상 신호로 변환해서 상기 표시 유닛으로 제공하는 프로세서를 포함하되,
    상기 실사 영상은 마커 및 사물 중 적어도 하나를 포함하고, 상기 다시점 AR 영상들 각각은 AR 객체를 포함하며,
    상기 프로세서는 상기 카메라 모듈과 상기 마커 및 상기 사물 중 적어도 하나 사이의 제1 이격 거리가 변경될 때, 상기 제1 이격 거리의 변화량에 따라 상기 다시점 영상 생성기와 상기 AR 객체 사이의 제2 이격 거리가 변경되도록 상기 다시점 영상 생성기를 제어하는 것을 특징으로 하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 제어 모듈은 상기 AR 영상 데이터를 저장하는 메모리를 더 포함하는 전자 장치.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 다시점 영상 생성기는 상기 AR 영상 데이터에 근거해서 복수의 시점들 각각에 대응하는 상기 다시점 AR 영상들로 변환하는 복수의 가상 카메라들을 포함하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 다시점 영상 생성기는 상기 AR 영상 데이터에 근거해서 복수의 시점들 각각에 대응하는 상기 다시점 AR 영상들로 변환하는 알고리즘을 포함하는 전자 장치.
  7. 제 6 항에 있어서,
    상기 제어 모듈은,
    외부로부터 무선 통신 방식으로 상기 AR 영상 데이터를 수신하는 무선 통신 모듈을 더 포함하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 표시 유닛은 라이트 필드 표시 유닛을 포함하며,
    상기 라이트 필드 표시 유닛은,
    복수의 화소들을 포함하는 표시 패널; 및
    상기 표시 패널 상에 배치되고 복수의 마이크로 렌즈들을 포함하는 마이크로 렌즈 어레이를 포함하는 전자 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는 상기 다시점 합성 영상들을 상기 복수의 화소들에 각각 대응하는 상기 영상 신호로 매핑하는 전자 장치.
  10. 제 1 항에 있어서,
    상기 프로세서는 상기 실사 영상을 3차원 모델링하여 다시점 실사 영상들을 생성하는 3차원 모델링 알고리즘을 더 포함하며,
    상기 그래픽 프로세서는 상기 다시점 AR 영상들 각각과 상기 다시점 실사 영상들을 합성해서 상기 다시점 합성 영상들을 생성하는 것을 특징으로 하는 전자 장치.
  11. 제 1 항에 있어서,
    상기 카메라 모듈은 3차원 실사 영상을 촬영하는 3차원 카메라 모듈을 포함하는 전자 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는 상기 3차원 실사 영상에 기반하여 다시점 실사 영상들을 생성하며,
    상기 그래픽 프로세서는 상기 다시점 AR 영상들 각각과 상기 다시점 실사 영상들을 합성해서 상기 다시점 합성 영상들을 생성하는 것을 특징으로 하는 전자 장치.
  13. 제 1 항에 있어서,
    상기 AR 영상 데이터는 AR 객체의 좌표 정보 및 깊이 정보를 포함하는 것을 특징으로 하는 전자 장치.
  14. 복수의 화소들을 구비하고, 3차원 영상을 표시하는 표시 유닛을 포함하는 전자 장치의 동작 방법에 있어서:
    카메라 모듈로부터 실사 영상을 수신하는 단계;
    AR 영상 데이터를 수신하는 단계;
    상기 AR 영상 데이터를 다시점 AR 영상들로 변환하는 단계;
    상기 다시점 AR 영상들과 상기 실사 영상을 합성하는 단계;
    다시점 합성 영상들을 영상 신호로 변환하는 단계; 및
    상기 영상 신호를 상기 표시 유닛으로 출력하는 단계를 포함하되,
    상기 실사 영상은 마커 및 사물 중 적어도 하나를 포함하고, 상기 다시점 AR 영상들 각각은 AR 객체를 포함하며,
    상기 AR 영상 데이터를 상기 다시점 AR 영상들로 변환하는 단계는,
    상기 카메라 모듈과 상기 마커 및 상기 사물 중 적어도 하나 사이의 제1 이격 거리가 변경될 때, 상기 제1 이격 거리의 변화량에 따라 상기 다시점 AR 영상들 각각에 포함되는 상기 AR 객체의 크기를 변경하는 전자 장치의 동작 방법.
  15. 제 14 항에 있어서,
    상기 전자 장치는 상기 AR 영상 데이터를 저장하는 메모리를 포함하는 전자 장치의 동작 방법.
  16. 제 14 항에 있어서,
    상기 AR 영상 데이터를 수신하는 단계는,
    외부와 무선 통신 방식으로 상기 AR 영상 데이터를 수신하는 전자 장치의 동작 방법.
  17. 삭제
  18. 삭제
  19. 제 14 항에 있어서,
    상기 카메라 모듈로부터 상기 실사 영상을 수신하는 단계는,
    상기 실사 영상을 3차원 모델링하여 다시점 실사 영상들을 생성하는 단계를 포함하며,
    상기 다시점 AR 영상들과 상기 실사 영상을 합성하는 단계는,
    상기 다시점 AR 영상들과 상기 다시점 실사 영상들을 합성하는 단계를 포함하는 전자 장치의 동작 방법.
  20. 제 14 항에 있어서,
    상기 다시점 합성 영상들을 상기 영상 신호로 변환하는 단계는,
    상기 다시점 합성 영상들을 상기 표시 유닛의 상기 화소들에 각각 대응하도록 매핑해서 상기 영상 신호로 변환하는 것을 포함하는 전자 장치의 동작 방법.
KR1020180124529A 2018-10-18 2018-10-18 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법 KR102530278B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180124529A KR102530278B1 (ko) 2018-10-18 2018-10-18 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법
US16/564,863 US10930084B2 (en) 2018-10-18 2019-09-09 Electronic device including display unit and method of operating the same
EP19203954.3A EP3641308A1 (en) 2018-10-18 2019-10-17 Electronic device including display unit and method of operating the same
CN201910992106.7A CN111080797A (zh) 2018-10-18 2019-10-18 电子装置
US17/169,354 US20210158626A1 (en) 2018-10-18 2021-02-05 Electronic device including display unit and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180124529A KR102530278B1 (ko) 2018-10-18 2018-10-18 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법

Publications (2)

Publication Number Publication Date
KR20200044257A KR20200044257A (ko) 2020-04-29
KR102530278B1 true KR102530278B1 (ko) 2023-05-10

Family

ID=68296036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180124529A KR102530278B1 (ko) 2018-10-18 2018-10-18 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법

Country Status (4)

Country Link
US (2) US10930084B2 (ko)
EP (1) EP3641308A1 (ko)
KR (1) KR102530278B1 (ko)
CN (1) CN111080797A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11539745B2 (en) 2019-03-22 2022-12-27 Proofpoint, Inc. Identifying legitimate websites to remove false positives from domain discovery analysis
KR20220031850A (ko) 2020-09-04 2022-03-14 삼성디스플레이 주식회사 라이트 필드 표시 장치 및 이의 영상 처리 방법
CA3150062A1 (en) * 2021-02-24 2022-08-24 International Datacasting Corp. Collaborative distributed workspace using real-time processing network of video projectors and cameras
TWI772108B (zh) * 2021-07-15 2022-07-21 瑞鼎科技股份有限公司 計算型顯示器及其運作方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110304703A1 (en) * 2010-06-11 2011-12-15 Nintendo Co., Ltd. Computer-Readable Storage Medium, Image Display Apparatus, Image Display System, and Image Display Method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4125252B2 (ja) 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP4696184B1 (ja) 2010-06-02 2011-06-08 任天堂株式会社 画像表示システム、画像表示装置および画像表示方法
TW201216684A (en) * 2010-10-12 2012-04-16 Unique Instr Co Ltd Stereoscopic image display device
KR101280210B1 (ko) 2011-06-29 2013-06-28 김현아 이동 단말에서의 증강현실 기반 정보 제공 방법
US9846965B2 (en) 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
EP2887687A1 (en) * 2013-12-23 2015-06-24 Thomson Licensing Distribution of audiovisual content for display devices
KR101681667B1 (ko) * 2014-07-29 2016-12-05 주식회사 세가온 판매 상품 정보 실시간 공유 시스템 및 방법
KR20160109828A (ko) 2015-03-13 2016-09-21 한국전자통신연구원 증강 현실 시스템
US10440351B2 (en) * 2017-03-03 2019-10-08 Fyusion, Inc. Tilts as a measure of user engagement for multiview interactive digital media representations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110304703A1 (en) * 2010-06-11 2011-12-15 Nintendo Co., Ltd. Computer-Readable Storage Medium, Image Display Apparatus, Image Display System, and Image Display Method

Also Published As

Publication number Publication date
US10930084B2 (en) 2021-02-23
EP3641308A1 (en) 2020-04-22
KR20200044257A (ko) 2020-04-29
US20210158626A1 (en) 2021-05-27
CN111080797A (zh) 2020-04-28
US20200126303A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
KR102530278B1 (ko) 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법
US8581966B2 (en) Tracking-enhanced three-dimensional display method and system
CN111052727B (zh) 电子装置及其控制方法
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
CN101909219B (zh) 一种立体显示方法及跟踪式立体显示器
JP5739674B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US10999412B2 (en) Sharing mediated reality content
CN111353930B (zh) 数据处理方法及装置、电子设备及存储介质
JP7176520B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11843758B2 (en) Creation and user interactions with three-dimensional wallpaper on computing devices
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
CN107589845B (zh) 一种显示系统
CN108965853A (zh) 一种集成成像三维显示方法、装置、设备及存储介质
JP2013168120A (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US9942540B2 (en) Method and a device for creating images
US10482671B2 (en) System and method of providing a virtual environment
JP2842735B2 (ja) 複数視点３次元画像入力装置、画像合成装置、及びその画像出力装置
TWI792106B (zh) 資訊顯示方法及其處理裝置與顯示系統
JP6812643B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
CN113689551A (zh) 一种三维内容的展示方法、装置、介质及电子设备
JP2000184397A (ja) 仮想画像立体合成通信システム及び仮想画像立体合成通信方法
Christodoulou Overview: 3D stereo vision camera-sensors-systems, advancements, and technologies
KR20220127815A (ko) 표시 장치, 화상 생성 방법 및 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant