KR102366242B1 - 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법 - Google Patents

미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법 Download PDF

Info

Publication number
KR102366242B1
KR102366242B1 KR1020170167595A KR20170167595A KR102366242B1 KR 102366242 B1 KR102366242 B1 KR 102366242B1 KR 1020170167595 A KR1020170167595 A KR 1020170167595A KR 20170167595 A KR20170167595 A KR 20170167595A KR 102366242 B1 KR102366242 B1 KR 102366242B1
Authority
KR
South Korea
Prior art keywords
mirror
depth value
mirror display
display
subject
Prior art date
Application number
KR1020170167595A
Other languages
English (en)
Other versions
KR20190067545A (ko
Inventor
김도형
정민규
박형걸
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170167595A priority Critical patent/KR102366242B1/ko
Priority to US16/764,515 priority patent/US11257467B2/en
Priority to PCT/KR2018/009749 priority patent/WO2019112147A1/ko
Publication of KR20190067545A publication Critical patent/KR20190067545A/ko
Application granted granted Critical
Publication of KR102366242B1 publication Critical patent/KR102366242B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

미러 디스플레이 시스템이 개시된다. 미러 디스플레이 시스템은 센서 모듈, 광학 거울 및 디스플레이를 포함하는 미러 디스플레이, 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 사용자의 시선 방향을 나타내는 제1 각도 값을 결정하고, 상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 제1 각도 값 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.

Description

미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법{METHOD FOR CONTROLLING DEPTH OF OBJECTS IN MIRROR DISPLAY SYSTEM}
본 문서에서 개시되는 실시 예들은, 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법과 관련된다.
미러 디스플레이는 광학 거울과 디스플레이를 포함할 수 있다. 미러 디스플레이는 빛의 반사에 의해 나타나는 거울 상(mirror image)과 컴퓨터 그래픽을 통해 생성된 객체(object)를 동시에 표시함으로써 사용자에게 증강 현실(augmented reality, AR)을 제공할 수 있다. 미러 디스플레이는 증강 현실을 통해 효율적인 정보 및 다양한 멀티미디어 서비스를 사용자에게 제공할 수 있다.
미러 디스플레이의 광학 거울에 의해 비춰지는 거울 상은 광학 거울과 피사체(subject) 간 거리에 따라서 원근감(또는 깊이(depth))을 가질 수 있다. 반면에, 미러 디스플레이의 디스플레이는 거울 상의 원근감을 반영하지 못한 채로 객체를 표시할 수 있다. 객체의 깊이와 거울 상의 깊이가 상이하면, 미러 디스플레이의 사용자는 미러 디스플레이에 표시되는 화면에 대한 몰입도 또는 이해도가 감소하는 시각적 불편함을 경험할 수 있다.
본 발명의 다양한 실시 예들은 미러 디스플레이 시스템에서 거울 상의 깊이에 따라서 객체의 깊이를 제어하기 위한 장치 및 그에 관한 방법을 제안하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 미러 디스플레이 시스템은, 센서 모듈, 광학 거울 및 디스플레이를 포함하는 미러 디스플레이, 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 사용자의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.
본 문서에 개시되는 일 실시 예에 따른 미러 디스플레이 시스템의 방법은, 상기 미러 디스플레이 시스템의 센서 모듈을 통해, 광학 거울에 의해 비춰지는 사용자의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하는 동작, 상기 센서 모듈을 통해, 상기 피사체와 미러 디스플레이 간 거리 값을 결정하는 동작, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하는 동작, 및 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하는 동작을 포함할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 미러 디스플레이 시스템은, 센서 모듈, 광학 거울 및 디스플레이를 포함하는 미러 디스플레이, 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 사용자의 시선 방향에 기반하여, 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고, 상기 반사각에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 미러 디스플레이 시스템은 광학 거울에 비춰지는 피사체와 미러 디스플레이 간 거리에 기반하여 피사체의 깊이를 결정함으로써, 거울 상과 객체의 원근감이 일치되는 시각적 환경을 사용자에게 제공할 수 있다.
또한, 본 문서에 개시되는 실시 예들에 따르면, 미러 디스플레이 시스템은 거울 상과 객체의 원근감을 일치시킴으로써, 다양한 증강 현실 서비스를 사용자에게 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예들에 따른 미러 디스플레이 시스템을 도시한다.
도 2는 다양한 실시 예들에 따른 미러 디스플레이의 구조를 도시한다.
도 3은 다양한 실시 예들에 따라 객체의 깊이 값을 결정하는 동작을 도시한다.
도 4는 다양한 실시 예들에 따라 객체의 깊이 값을 결정하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다.
도 5는 다양한 실시 예들에 따라 디스플레이 상에서 깊이를 가지는 객체를 표시하는 동작을 도시한다.
도 6은 다양한 실시 예들에 따른 깊이 값에 따라 제스처를 감지하는 동작을 도시한다.
도 7은 다양한 실시 예들에 따른 깊이 값에 따라 제스처를 감지하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다.
도 8은 다양한 실시 예들에 따른 깊이 값에 따라 객체의 색상 또는 명암을 변경하는 동작을 도시한다.
도 9는 다양한 실시 예들에 따른 지정된 조건에 따라 미러 디스플레이의 동작 모드를 변경하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 다양한 실시 예들에 따른 미러 디스플레이 시스템을 도시한다.
도 1을 참조하면, 미러 디스플레이 시스템(100)은 센서 모듈(110), 미러 디스플레이(120), 및 적어도 하나의 제어 회로(130)를 포함할 수 있다. 일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 도 1에 도시된 구성 요소들 중 적어도 하나를 생략하거나, 추가적인 구성 요소를 적어도 하나 포함할 수 있다. 예를 들어, 미러 디스플레이 시스템(110) 사용자 입력을 수신하는 입력 장치, 외부 장치와 통신을 수행하기 위한 통신 모듈, 또는 멀티미디어 서비스 데이터를 저장하는 적어도 하나의 메모리를 더 포함할 수 있다.
일 실시 예에 따르면, 센서 모듈(110)은 미러 디스플레이(120)의 전면에 위치하는 사용자(10)를 감지하고, 사용자(10)와 미러 디스플레이(120) 간 거리(예: 제1 거리(15)), 사용자(10)의 위치, 또는 사용자(10)의 시선 방향(또는 얼굴의 방향)을 측정할 수 있다. 다른 예를 들어, 센서 모듈(110)은 피사체와 미러 디스플레이(120) 간 거리, 또는 피사체의 위치를 측정할 수 있다. 본 문서에서, 피사체는 사용자(10)가 미러 디스플레이(120)의 광학 거울을 통해 바라보는 사용자(10)의 신체 일부 또는 다른 물체를 포함할 수 있다. 예를 들어, 도 1에서, 사용자(10)가 미러 디스플레이(120)의 광학 거울을 통해 사용자(10)의 어깨를 바라보면, 피사체는 어깨를 의미할 수 있다.
일 실시 예에 따르면, 센서 모듈(110)은 하나 또는 그 이상일 수 있다. 센서 모듈(110)은 예를 들어, 적외선 센서, LIDAR(light detection and ranging) 센서, RADAR(radio detecting and ranging) 센서, 또는 카메라 센서 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 센서 모듈(110)은 미러 디스플레이(120)의 일 면(one side)에 부착되거나, 미러 디스플레이(120)에 내장될 수 있다.
일 실시 예에 따르면, 미러 디스플레이(120)는 거울 기능과 디스플레이 기능을 함께 수행할 수 있다. 예를 들어, 사용자(10)는 빛의 반사에 의하여 미러 디스플레이(120)에 포함되는 광학 거울을 통해 거울 상(20)으로 비춰질 수 있다. 다른 예를 들어, 미러 디스플레이(120)는 미러 디스플레이(120)에 포함되는 디스플레이를 통해 컴퓨터 그래픽으로 형성되는 객체(30)를 표시할 수 있다. 미러 디스플레이(120)는 객체(30)를 거울 상(20)과 함께 표시함으로써 증강 현실을 제공할 수 있다. 미러 디스플레이(120)의 광학 거울에 의해 비춰지는 거울 상(20)은 사용자(10)와 미러 디스플레이(120)간 거리에 따라서 원근감(또는 깊이)을 가질 수 있다. 예를 들어, 거울 상(20)은 사용자(10)와 미러 디스플레이(120) 간 제1 거리(15)의 길이와 대응하는(예: 동일 또는 유사한) 제2 거리(25)만큼 광학 거울 내에서 원근감을 가질 수 있다.
일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 서버, 엔진, 디바이스, 기구, 단말, 또는 UE(user equipment)의 형태를 포함할 수 있다. 적어도 하나의 제어 회로(130)는 소프트웨어 또는 하드웨어 모듈을 포함할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 및 마이크로 프로세서(microprocessors) 중 적어도 하나를 포함할 수 있다. 도 1은 적어도 하나의 제어 회로(130)가 미러 디스플레이(120)의 외부에 배치되는 예를 도시하였지만, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)의 내부에 내장되거나, 미러 디스플레이(120)와 결합될 수 있다.
일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 미러 디스플레이 시스템(100)의 전반적인 기능을 수행할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 센서 모듈(110)을 통해 사용자(10)와 디스플레이 간 거리(제1 거리(15)), 사용자(10)의 위치, 또는 사용자(10)의 시선 방향을 결정할 수 있다. 다른 예를 들어, 적어도 하나의 제어 회로(130)는 사용자(10)의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 미러 디스플레이(120)의 광학 거울에 대한 법선(normal)이 형성하는 각을 결정할 수 있다. 본 문서에서 피사체로부터 반사되는 빛과 광학 거울의 법선이 형성하는 각도는 입사각으로 지칭될 수 있다. 입사각의 크기는 광학 거울에 의해 반사되는 빛과 광학 거울의 법선이 형성하는 반사각의 크기와 동일할 수 있다. 적어도 하나의 제어 회로(130)는 결정된 입사각에 적어도 기반하여 다른 피사체의 깊이 값을 결정할 수 있다. 다른 예를 들어, 적어도 하나의 제어 회로(130)는 측정된 깊이 값에 기반하여 컴퓨터 그래픽으로 생성된 객체(30)를 디스플레이를 통해 표시할 수 있다.
도 2는 다양한 실시 예들에 따른 미러 디스플레이의 구조를 도시한다.
도 2를 참조하면, 미러 디스플레이(120)는 전면에 광학 거울(112)을 포함하고, 후면에 디스플레이(114)를 포함할 수 있다. 일 실시 예에 따르면, 광학 거울(112)은 빛의 일부를 반사하고, 나머지 일부는 투과할 수 있는 하프 미러를 포함할 수 있다. 하프 미러는 예를 들어, 유리 표면에 니켈, 알루미늄, 또는 티타늄을 포함할 수 있다. 외부로부터 들어오는 빛의 적어도 일부는 하프 미러를 통과할 수 있다. 일 실시 예에 따르면, 디스플레이(114)는 액정 디스플레이(liquid crystal display, LCD), 유기EL(organic electro luminescence), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 및 플라즈마 디스플레이 패널(plasma display panel, PDP), 중에서 적어도 하나를 포함할 수 있다.
도 2는 광학 거울(112)이 디스플레이(114)의 전면에 배치되는 예를 도시하였지만, 다른 예가 미러 디스플레이(120)에 적용될 수 있다. 예를 들어, 미러 디스플레이(120)는 전면에 디스플레이(114)를 포함하고, 후면에 광학 거울(112)을 포함할 수 있다. 디스플레이(114)는 투명 디스플레이를 포함할 수 있다. 광학 거울(112)은 반사 매질을 포함하는 미러 필름을 포함할 수 있다. 디스플레이(114)는 OLED 또는 TFT LCD를 포함할 수 있다. 다른 예를 들어, 미러 디스플레이(120)는 LCD 디스플레이를 포함하고, LCD 디스플레이는 광학 거울의 기능을 수행하는 미러 필름을 포함할 수 있다. LCD 디스플레이는 빛을 공급하는 백 라이트(back light), 백 라이트로부터 공급되는 빛을 편파(polarization)에 따라 반사 또는 투과시키는 편광판(polarizer), 그리고 빛의 편파를 조절하는 액정 표시 패널을 포함할 수 있다. 편광판은 광학 거울의 기능을 수행하는 미러 필름을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이(114)는 3차원 디스플레이(3D display)를 포함할 수 있다. 적어도 하나의 제어 회로(130)는 3차원 디스플레이를 통해 디스플레이(114)에 의해 표시되는 객체(예: 도 1의 객체(30))의 깊이를 조절할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 3차원 안경을 이용하는 안경식(stereoscopic) 또는 3차원 안경을 이용하지 않고 사용자(10)의 양쪽 눈을 이용하는 무안경식(autostereoscopic)을 통해 객체의 깊이를 조절할 수 있다.
도 3은 다양한 실시 예들에 따라 객체의 깊이 값을 결정하는 동작을 도시한다. 도 3은 사용자(10)가 미러 디스플레이(120)를 통해 피사체(60)를 바라보는 예를 도시한다.
도 3을 참조하면, 미러 디스플레이 시스템(100)은 센서 모듈(110)을 통해 사용자(10)와 미러 디스플레이(120) 간 거리를 나타내는 제1 거리(15) 값 및 피사체(60)와 미러 디스플레이(120) 간 거리를 나타내는 제2 거리(65) 값을 결정할 수 있다. 미러 디스플레이 시스템(100)은 결정된 거리 값들에 따라서 미러 디스플레이(120)에 비춰지는 거울 상(20)의 깊이 값(25) 및 거울 상(70)의 깊이 값(75)을 결정할 수 있다.
일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 사용자(10)의 시선 방향에 따른 거울 상(70)의 깊이 값(350)을 결정하기 위하여, 입사각(330)을 이용할 수 있다. 입사각(330)은 피사체(60)로부터 반사되는 빛(340)의 방향과 미러 디스플레이(120)의 법선(normal)이 형성하는 각도를 의미할 수 있다. 입사각(330)은 반사각(310)과 동일하므로, 미러 디스플레이 시스템(100)은 반사각(310)을 통해 입사각(330)을 결정할 수 있다. 반사각(310)은 광학 거울로부터 반사되어 사용자(10)의 눈으로 들어가는 빛의 방향과 미러 디스플레이(120)의 법선이 형성하는 각도를 의미할 수 있다. 미러 디스플레이 시스템(100)은 사용자(10)의 시선 방향(또는 머리 방향)을 감지함으로써 반사각(310)을 결정할 수 있다.
일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 제2 거리(65) 값과 입사각(330)을 이용하여 사용자(10)의 시선 방향에 따른 거울 상(70)의 깊이 값(350)을 결정할 수 있다. 예를 들어, 깊이 값(350)의 각도는 입사각(330)과 동일하고, 깊이 값의 길이는 피사체(60)로부터 반사되는 빛(340)의 길이와 동일할 수 있다.
일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 결정된 깊이 값(350)에 기반하여 객체(80)를 디스플레이를 통해 표시할 수 있다. 객체(80)의 깊이 값은 거울 상(70)의 깊이 값(350)과 동일 또는 유사할 수 있다.
도 4는 다양한 실시 예들에 따라 객체의 깊이 값을 결정하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다. 이하 서술되는 동작들은 미러 디스플레이 시스템(100) 또는 적어도 하나의 제어 회로(130)에 의해 구현될 수 있다.
도 4를 참조하면, 방법 400의 동작 405에서, 적어도 하나의 제어 회로(130)는 사용자(10)의 시선 방향에 기반하여, 피사체(60)로부터 반사되는 빛과 광학 거울의 법선이 형성하는 입사각(330)을 결정할 수 있다. 일 실시 예에 따르면, 입사각(330)은 광학 거울에 반사되는 빛과 광학 거울의 법선이 형성하는 반사각(310)에 기반하여 결정될 수 있다.
동작 410에서, 적어도 하나의 제어 회로(130)는 피사체(60)와 미러 디스플레이(120) 간 거리(예: 도 3의 제2 거리(65)) 값을 결정할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 센서 모듈(110)을 통해 거리 값을 결정할 수 있다.
동작 420에서, 적어도 하나의 제어 회로(130)는 입사각(330) 및 거리 값에 기반하여 미러 디스플레이(120) 상에서 피사체(60)의 깊이 값(예: 도 3의 깊이 값(350))을 결정할 수 있다.
동작 425에서, 적어도 하나의 제어 회로(130)는 결정된 깊이 값에 대응하는 깊이 값을 가지는 객체(80)를 디스플레이를 통해 표시할 수 있다. 예를 들어 객체(80)의 깊이 값은 피사체(60)의 깊이 값과 동일하거나 유사할 수 있다. 일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 객체(80)의 깊이를 제어하기 위하여 안경식 또는 무안경식을 이용할 수 있다. 안경식은 예를 들어, 빛의 편광을 이용하는 편광 방식 또는 왼쪽 눈에 대응하는 화면과 오른쪽 눈에 대응하는 화면을 교대로 표시하는 시분할 방식을 포함할 수 있다. 무안경식은 예를 들어, 미러 디스플레이(120)가 디스플레이(114)의 일면에 3차원 효과를 제공하기 위한 베리어(barrier)를 포함하는 패럴렉스 베이러(parallax barrier) 방식, 또는 미러 디스플레이(120)가 디스플레이(114)의 일면에 반원 형태의 렌즈를 포함하는 렌티큘라 방식을 이용할 수 있다.
일 실시 예에 따르면, 동작 430에서 적어도 하나의 제어 회로(130)는 피사체(60)와 미러 디스플레이(120) 간 거리 값에 대한 오차를 보정할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 센서 모듈(110)의 위치를 고려하여 오차를 보정할 수 있다.
상술한 방법 400을 통해, 미러 디스플레이 시스템(100)은 광학 거울(112)에 비춰지는 거울 상의 깊이 값을 보다 명확히 측정하고, 디스플레이(114)를 통해 표시되는 객체의 깊이 값을 거울 상의 깊이 값에 기반하여 제어함으로써, 거울 상과 객체 간 일체감을 사용자(10)에게 제공할 수 있다.
도 5는 다양한 실시 예들에 따라 디스플레이 상에서 깊이를 가지는 객체를 표시하는 동작을 도시한다.
도 5를 참조하면, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)에 포함되는 3차원 디스플레이(520)(예: 디스플레이(114))를 통해 깊이를 가지는 객체(예: 도 1의 객체(30) 또는 도 3의 객체(80))를 표시할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 사용자(10)의 왼쪽 눈(510a)과 오른쪽 눈(510b)들 간 거리 차이에 의하여 3차원 디스플레이(520) 상에서 표시되는 객체의 원근감(또는 깊이)이 사용자(10)에게 다르게 보여지도록 제어하는 양안 시차 원리를 적용할 수 있다.
일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 사용자(10)의 왼쪽 눈(510a)과 오른쪽 눈(510b)에 의해 보여지는 객체의 위치가 변경되도록 3차원 디스플레이(520)을 제어할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 사용자(10)에 의해 보여지는 객체의 위치가 3차원 디스플레이(520)의 전면을 나타내는 제1 위치(536) 상에 표시되도록 안경식 또는 무안경식을 이용하여 3차원 디스플레이(520)를 제어할 수 있다. 유사한 원리로, 적어도 하나의 제어 회로(130)는 객체의 위치가 3차원 디스플레이(520)의 후면을 나타내는 제2 위치(534) 상에 표시되거나, 3차원 디스플레이(520)와 동일한 깊이를 나타내는 제3 위치(532) 상에 표시되도록 3차원 디스플레이(520)를 제어할 수 있다.
도 6은 다양한 실시 예들에 따른 깊이 값에 따라 제스처를 감지하는 동작을 도시한다.
도 6의 참조 번호 601을 참조하면, 미러 디스플레이 시스템(100)은 사용자(610)가 빛의 반사에 의해 비춰지는 거울 상(620)을 미러 디스플레이(120)의 광학 거울을 통해 표시할 수 있다. 일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 센서 모듈(110)을 통해 사용자(610)의 시선 방향을 감지하고, 감지된 시선 방향에 기반하여 깊이 값을 가지는 객체(680)를 표시할 수 있다. 일 실시 예에 따르면, 객체(680)는 사용자(610)에게 제공되는 멀티미디어 서비스에 관한 정보를 포함할 수 있다. 예를 들어, 미러 디스플레이 시스템(100)이 의류 매장에 배치되면, 객체(680)는 사용자(610)에게 추천되는 의류 또는 액세서리에 관한 정보를 포함할 수 있다. 다른 예를 들어, 객체(680)는 뷰티(beauty)에 관한 정보, 인테리어에 관한 정보, 헬스 케어에 관한 정보 또는 게임에 관한 정보를 포함할 수 있다.
도 6의 참조 번호 602를 참조하면, 미러 디스플레이 시스템(100)은 객체(680)를 선택하는 사용자 입력을 감지할 수 있다. 일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 사용자(610)가 미러 디스플레이(120)를 터치하지 않고 객체(680)를 선택하는 사용자 입력을 감지할 수 있다. 예를 들어, 미러 디스플레이 시스템(100)은 센서 모듈(예: 센서 모듈(110))을 통해 사용자(610)의 제스처를 감지할 수 있다. 제스처는 사용자(610)가 객체(680)가 표시되는 평면 좌표(x 축 및 y축)와 동일한 좌표를 가리키는 동작을 포함할 수 있다. 미러 디스플레이 시스템(100)은 객체(680)를 가리키는 피사체(예: 사용자(610)의 손)의 깊이 값이 객체(680)의 깊이 값과 동일한지 여부를 확인할 수 있다. 피사체의 깊이 값이 객체(680)의 깊이 값과 동일하면, 미러 디스플레이 시스템(100)은 사용자(610)의 제스처 동작에 응답하여 객체(680)가 이동하거나, 변경되도록 제어할 수 있다.
도 7은 다양한 실시 예들에 따른 깊이 값에 따라 제스처를 감지하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다. 도 7은 도 4의 동작 425가 보다 구체적으로 구현되는 동작을 포함할 수 있다.
도 7을 참조하면, 동작 705에서, 적어도 하나의 제어 회로(130)는 사용자의 제스처를 감지할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120) 상에 표시되는 객체를 가리키는 사용자의 제스처를 센서 모듈을 통해 감지할 수 있다.
동작 710에서, 적어도 하나의 제어 회로(130)는 감지된 제스처를 나타내는 피사체의 깊이 값이 객체의 깊이 값과 동일한지 여부를 확인할 수 있다. 일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 감지된 제스처를 나타내는 피사체의 깊이 값을 피사체와 미러 디스플레이(120) 간 거리 값 및 피사체로부터 반사되는 빛의 입사각에 기반하여 결정할 수 있다. 피사체의 깊이 값이 객체의 깊이 값과 동일하지 않으면, 적어도 하나의 제어 회로(130)는 동작 705 및 동작 710을 반복적으로 구현할 수 있다. 피사체의 깊이 값이 객체의 깊이 값과 동일하면, 적어도 하나의 제어 회로(130)는 동작 715를 구현할 수 있다.
동작 715에서, 적어도 하나의 제어 회로(130)는 감지된 제스처에 응답하여 객체가 이동하도록 제어할 수 있다. 다른 예를 들어, 적어도 하나의 제어 회로(130)는 감지된 제스처에 응답하여 객체의 모양, 색상, 또는 크기가 변경되도록 제어할 수 있다.
상술한 방법을 통해, 미러 디스플레이 시스템(100)은 터치 입력 없이 객체를 선택하는 사용자 입력을 보다 정확하게 감지함으로써, 사용자 조작의 편의성을 제공할 수 있다.
도 8은 다양한 실시 예들에 따른 깊이 값에 따라 객체의 색상 또는 명암을 변경하는 동작을 도시한다.
도 8의 참조 번호 801을 참조하면, 미러 디스플레이 시스템(100)은 컴퓨터 그래픽에 의해 생성되는 객체(880)를 미러 디스플레이(120)를 통해 표시할 수 있다. 미러 디스플레이 시스템(100)은 객체(880)의 색상, 대비, 또는 명도를 깊이 값에 기반하여 변경할 수 있다. 예를 들어, 객체(880)의 깊이 값이 다른 피사체들의 깊이 값보다 크다면(즉, 객체(880)가 다른 피사체들보다 전방에 위치한다면), 미러 디스플레이 시스템(100)은 참조 번호 802에 도시된 바와 같이 객체(880)의 색상, 대비, 또는 명도를 진하게 변경할 수 있다. 다른 예를 들어, 객체(880)의 깊이 값이 다른 피사체들의 깊이 값보다 작다면(즉, 객체(880)가 다른 피사체들보다 후방에 위치한다면), 미러 디스플레이 시스템(100)은 객체(880)의 색상, 대비, 또는 명도를 흐리게 변경할 수 있다.
도 9는 다양한 실시 예들에 따른 지정된 조건에 따라 미러 디스플레이의 동작 모드를 변경하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다.
미러 디스플레이(120)는 제1 모드 또는 제2 모드로 동작할 수 있다. 제1 모드는 미러 디스플레이(120)가 사용자의 시선 방향 및 피사체로부터 반사되는 빛의 입사각을 이용하여 객체의 깊이 값을 결정하는 동작 모드를 의미할 수 있다. 제1 모드에서, 미러 디스플레이 시스템(100)은 거울 상의 깊이 값을 보다 명확하게 측정함으로써, 거울 상이 가지는 원근감에 기반하여 객체를 표시할 수 있다. 제2 모드는 미러 디스플레이(120)가 객체를 다른 거울 상들의 전면에 배치하도록 제어하는 동작 모드를 의미할 수 있다. 제2 모드에서, 미러 디스플레이 시스템(100)은 멀티 미디어 서비스와 관련된 객체를 전면에 배치함으로써, 사용자에게 서비스와 관련된 객체를 우선적으로 제공할 수 있다.
도 9를 참조하면, 방법 900의 동작 905에서, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)가 지정된 조건을 만족하는 지 여부를 확인할 수 있다. 본 문서에서, 지정된 조건은, 사용자 입력을 수신하는 경우, 객체의 깊이를 제어할 필요가 요구되는 경우를 포함할 수 있다. 객체의 깊이를 제어할 필요가 요구되는 경우는 예를 들어, 거울 상의 깊이 값에 대응하는 깊이 값의 객체를 표시하는 증강 현실 서비스를 제공하는 경우를 포함할 수 있다. 지정된 조건이 만족되지 않으면, 적어도 하나의 제어 회로(130)는 동작 910을 구현할 수 있다. 지정된 조건이 만족되면, 적어도 하나의 제어 회로(130)는 동작 915를 구현할 수 있다.
동작 910에서, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)가 제1 모드로 동작하도록 제어할 수 있다. 제1 모드에서, 적어도 하나의 제어 회로(130)는 디스플레이를 통해 표시되는 객체의 깊이 값이 가장 큰 값을 가지도록 제어할 수 있다. 다시 말해, 적어도 하나의 제어 회로(130)는 객체가 광학 거울을 통해 비춰지는 거울 상들보다 전면에 표시되도록 제어할 수 있다.
동작 915에서, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)가 제2 모드로 동작하도록 제어할 수 있다. 제2 모드에서, 적어도 하나의 제어 회로(130)는 디스플레이를 통해 표시되는 객체의 깊이 값이 광학 거울을 통해 비춰지는 거울 상들의 깊이 값에 기반하여 결정되도록 제어할 수 있다.
상술한 방법을 통해, 미러 디스플레이 시스템(100)은 객체에 포함되는 정보의 중요도 또는 사용자 입력에 따라 객체의 깊이가 변경되도록 제어함으로써, 사용자가 객체의 정보를 보다 용이하게 확인할 수 있는 환경을 제공할 수 있다.
상술한 바와 같이, 미러 디스플레이 시스템(예: 도 1의 미러 디스플레이 시스템(100))은, 센서 모듈(예: 도 1의 센서 모듈(110), 광학 거울(예: 도 2의 광학 거울(112)) 및 디스플레이(예: 도 2의 디스플레이(114))를 포함하는 미러 디스플레이(예: 도 1의 미러 디스플레이(120)), 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로(예: 도 1의 적어도 하나의 제어 회로(130))를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 사용자의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 시선 방향에 기반하여 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고, 상기 반사각과 동일한 상기 입사각을 결정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 디스플레이는 3차원(3D) 디스플레이 패널을 포함하고, 상기 적어도 하나의 제어 회로는, 양안 시차 방식을 이용하여, 상기 3D 디스플레이를 통해 상기 객체를 표시하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 센서 모듈은 초음파 센서, 적외선 센서, 라이다 센서, 레이더 센서 또는 카메라 센서 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 사용자의 제스처를 감지하고, 상기 제스처를 동작하는 피사체의 깊이 값이 상기 객체의 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체가 이동하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 객체의 깊이 값이 상기 피사체의 깊이 값 보다 큰지 여부에 기반하여, 상기 객체가 상기 피사체의 전방 또는 후방에 표시되도록 제어하고, 상기 객체의 깊이 값에 기반하여 상기 객체의 색상 또는 명암을 변경하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러디스플레이의 동작 모드를 객체를 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하도록 설정될 수 있다.
상술한 바와 같이, 미러 디스플레이 시스템의 방법은, 상기 미러 디스플레이 시스템의 센서 모듈을 통해, 광학 거울에 의해 비춰지는 사용자의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하는 동작, 상기 센서 모듈을 통해, 상기 피사체와 미러 디스플레이 간 거리 값을 결정하는 동작, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하는 동작, 및 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 피사체의 깊이 값을 결정하는 동작은, 상기 시선 방향에 기반하여 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하는 동작, 및 상기 반사각과 동일한 상기 입사각을 결정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 객체를 표시하는 동작은, 양안 시차 방식을 이용하여 상기 객체를 표시하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 사용자의 제스처를 감지하는 동작, 및 상기 제스처를 동작하는 피사체의 깊이 값이 상기 객체의 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체가 이동하도록 제어하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 객체를 표시하는 동작은, 상기 객체의 깊이 값이 상기 피사체의 깊이 값 보다 큰지 여부에 기반하여, 상기 객체가 상기 피사체의 전방 또는 후방에 표시되도록 제어하는 동작, 및 상기 객체의 깊이 값에 기반하여 상기 객체의 색상 또는 명암을 변경하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러디스플레이의 동작 모드를 상기 객체를 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하는 동작을 더 포함할 수 있다.
상술한 바와 같이, 미러 디스플레이 시스템(예: 도 1의 미러 디스플레이 시스템(100))은, 센서 모듈(예: 도 1의 센서 모듈(110), 광학 거울(예: 도 2의 광학 거울(112)) 및 디스플레이(예: 도 2의 디스플레이(114))를 포함하는 미러 디스플레이(예: 도 1의 미러 디스플레이(120)), 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로(예: 도 1의 적어도 하나의 제어 회로(130))를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 사용자의 시선 방향에 기반하여, 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고, 상기 반사각에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 사용자의 제스처를 감지하고, 상기 제스처를 동작하는 피사체의 깊이 값이 상기 객체의 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체가 이동하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 객체의 깊이 값이 상기 피사체의 깊이 값 보다 큰지 여부에 기반하여, 상기 객체가 상기 피사체의 전방 또는 후방에 표시되도록 제어하고, 상기 객체의 깊이 값에 기반하여 상기 객체의 색상 또는 명암을 변경하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러디스플레이의 동작 모드를 상기 객체를 상기 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하도록 설정될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 미러 디스플레이 시스템은 다양한 형태의 장치가 될 수 있다. 미러 디스플레이 시스템은, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시 예에 따른 미러 디스플레이 시스템은 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 애플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 애플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (20)

  1. 미러 디스플레이 시스템에 있어서,
    센서 모듈;
    광학 거울 및 디스플레이를 포함하는 미러 디스플레이; 및
    상기 센서 모듈 및 상기 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는,
    상기 센서 모듈을 통해, 사용자의 시선 방향을 획득하고,
    상기 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고,
    상기 센서 모듈을 통해, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 획득하고,
    상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고,
    상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하고,
    상기 사용자의 신체의 적어도 일부를 이용한 제스처를 식별하고,
    상기 신체의 적어도 일부가 상기 객체와 중첩되고, 상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체를 이동시키고,
    상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값보다 크면, 상기 객체의 명도를 감소시키고,
    상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값보다 작으면, 상기 객체의 명도를 증가시키도록 설정되는, 미러 디스플레이 시스템.
  2. 청구항 1에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 시선 방향에 기반하여 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고,
    상기 반사각과 동일한 상기 입사각을 결정하도록 설정되는, 미러 디스플레이 시스템.
  3. 청구항 1에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하도록 설정되는, 미러 디스플레이 시스템.
  4. 청구항 1에 있어서, 상기 디스플레이는,
    3차원(3D) 디스플레이 패널을 포함하고,
    상기 적어도 하나의 제어 회로는,
    양안 시차 방식을 이용하여, 상기 3D 디스플레이를 통해 상기 객체를 표시하도록 설정되는, 미러 디스플레이 시스템.
  5. 청구항 1에 있어서, 상기 센서 모듈은,
    초음파 센서, 적외선 센서, 라이다(ridar) 센서, 레이더(radar) 센서 또는 카메라 센서 중 적어도 하나를 포함하는, 미러 디스플레이 시스템.
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러 디스플레이의 동작 모드를 객체를 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하도록 설정되는, 미러 디스플레이 시스템.
  9. 미러 디스플레이 시스템의 방법에 있어서,
    상기 미러 디스플레이 시스템의 센서 모듈을 통해, 광학 거울에 의해 비춰지는 사용자의 시선 방향을 획득하는 동작;
    상기 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하는 동작;
    상기 센서 모듈을 통해, 상기 피사체와 미러 디스플레이 간 거리 값을 획득하는 동작;
    상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하는 동작;
    디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하는 동작고,
    상기 사용자의 신체의 적어도 일부를 이용한 제스처를 식별하는 동작,
    상기 신체의 적어도 일부가 상기 객체와 중첩되고, 상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체를 이동시키는 동작,
    상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값보다 크면, 상기 객체의 명도를 감소시키는 동작, 및
    상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값보다 작으면, 상기 객체의 명도를 증가시키는 동작을 포함하는, 방법.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 9에 있어서, 상기 피사체의 깊이 값을 결정하는 동작은,
    상기 시선 방향에 기반하여 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하는 동작; 및
    상기 반사각과 동일한 상기 입사각을 결정하는 동작을 포함하는, 방법.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 9에 있어서,
    상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하는 동작을 더 포함하는, 방법.
  12. 청구항 9에 있어서, 상기 객체를 표시하는 동작은,
    양안 시차 방식을 이용하여 상기 객체를 표시하는 동작을 포함하는, 방법.
  13. 삭제
  14. 삭제
  15. 청구항 9에 있어서,
    상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러 디스플레이의 동작 모드를 상기 객체를 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하는 동작을 더 포함하는, 방법.
  16. 미러 디스플레이 시스템에 있어서,
    센서 모듈;
    광학 거울 및 디스플레이를 포함하는 미러 디스플레이; 및
    상기 센서 모듈 및 상기 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는,
    상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 사용자의 시선 방향을 획득하고,
    상기 시선 방향에 기반하여, 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고,
    상기 반사각에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고,
    상기 센서 모듈을 통해, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 획득하고,
    상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고,
    상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하고,
    상기 사용자의 신체의 적어도 일부를 이용한 제스처를 식별하고,
    상기 신체의 적어도 일부가 상기 객체와 중첩되고, 상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체를 이동시키고,
    상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값보다 크면, 상기 객체의 명도를 감소시키고,
    상기 신체의 적어도 일부의 깊이 값이 상기 객체의 상기 깊이 값보다 작으면, 상기 객체의 명도를 증가시키도록 설정되는, 미러 디스플레이 시스템.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 16에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하도록 설정되는, 미러 디스플레이 시스템.
  18. 삭제
  19. 삭제
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 16에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러 디스플레이의 동작 모드를 상기 객체를 상기 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하도록 설정되는, 미러 디스플레이 시스템.
KR1020170167595A 2017-12-07 2017-12-07 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법 KR102366242B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170167595A KR102366242B1 (ko) 2017-12-07 2017-12-07 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
US16/764,515 US11257467B2 (en) 2017-12-07 2018-08-23 Method for controlling depth of object in mirror display system
PCT/KR2018/009749 WO2019112147A1 (ko) 2017-12-07 2018-08-23 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170167595A KR102366242B1 (ko) 2017-12-07 2017-12-07 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법

Publications (2)

Publication Number Publication Date
KR20190067545A KR20190067545A (ko) 2019-06-17
KR102366242B1 true KR102366242B1 (ko) 2022-02-23

Family

ID=66751520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167595A KR102366242B1 (ko) 2017-12-07 2017-12-07 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법

Country Status (3)

Country Link
US (1) US11257467B2 (ko)
KR (1) KR102366242B1 (ko)
WO (1) WO2019112147A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11526324B2 (en) * 2022-03-24 2022-12-13 Ryland Stefan Zilka Smart mirror system and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732890B1 (ko) * 2015-08-19 2017-05-08 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008017051A2 (en) * 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US8340379B2 (en) * 2008-03-07 2012-12-25 Inneroptic Technology, Inc. Systems and methods for displaying guidance data based on updated deformable imaging data
JP5210102B2 (ja) 2008-09-22 2013-06-12 セーレン株式会社 仮想試着装置
US8554307B2 (en) * 2010-04-12 2013-10-08 Inneroptic Technology, Inc. Image annotation in image-guided medical procedures
KR20120029228A (ko) 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US8743051B1 (en) * 2011-09-20 2014-06-03 Amazon Technologies, Inc. Mirror detection-based device functionality
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
US20130260360A1 (en) 2012-03-27 2013-10-03 Sony Corporation Method and system of providing interactive information
KR20140119999A (ko) 2013-04-01 2014-10-13 한국전자통신연구원 깊이값 조정을 통한 입체영상 제공 시스템 및 방법
KR102079097B1 (ko) 2013-04-09 2020-04-07 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US10330931B2 (en) * 2013-06-28 2019-06-25 Microsoft Technology Licensing, Llc Space carving based on human physical data
US10295338B2 (en) * 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9726948B2 (en) * 2013-08-05 2017-08-08 Sharp Kabushiki Kaisha Image display device
KR102209008B1 (ko) * 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
JP6320143B2 (ja) * 2014-04-15 2018-05-09 株式会社東芝 健康情報サービスシステム
CN106461958B (zh) 2014-06-05 2019-01-01 夏普株式会社 镜面显示器系统
JP6402991B2 (ja) * 2014-10-02 2018-10-10 セイコーエプソン株式会社 画像表示装置
KR101728775B1 (ko) * 2015-01-28 2017-04-21 경북대학교 산학협력단 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR102298232B1 (ko) * 2015-06-16 2021-09-06 엘지디스플레이 주식회사 공간 터치 기능을 갖는 입체 영상 표시 장치
CN108780228B (zh) * 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
JP6527605B2 (ja) * 2016-02-12 2019-06-05 マクセル株式会社 車両用映像表示装置
KR20170096420A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732890B1 (ko) * 2015-08-19 2017-05-08 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR20190067545A (ko) 2019-06-17
US11257467B2 (en) 2022-02-22
WO2019112147A1 (ko) 2019-06-13
US20200372878A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
US10845606B1 (en) Eye tracking for a head mounted display including a pancake lens block
US10867450B2 (en) Augmented reality lighting effects
US10429927B1 (en) Eye tracking for a head mounted display including a pancake lens block
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
CN104765445B (zh) 显示器上的眼睛聚散检测
US10623721B2 (en) Methods and systems for multiple access to a single hardware data stream
US10429657B1 (en) Eye tracking for a head mounted display including a pancake lens block
US20200201038A1 (en) System with multiple displays and methods of use
US10546429B2 (en) Augmented reality mirror system
US20140375541A1 (en) Eye tracking via depth camera
US10528128B1 (en) Head-mounted display devices with transparent display panels for eye tracking
US9106903B2 (en) Head tracking eyewear system
US11809620B2 (en) Focus-based debugging and inspection for a display system
US10809873B2 (en) Controlling content displayed in a display
WO2014103088A1 (ja) 表示システム及び表示制御方法
KR102366242B1 (ko) 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
US10296098B2 (en) Input/output device, input/output program, and input/output method
KR101733519B1 (ko) 3차원 디스플레이 장치 및 방법
KR101002071B1 (ko) 멀티 적외선 카메라 방식의 투영 영상 터치 장치
US11917273B2 (en) Image generating device and method thereof
JP2016197816A (ja) ヘッドマウントディスプレイ及び制御方法
WO2020081677A2 (en) Systems and methods to provide a mobile computing platform as a physical interface tool for an interactive space
KR20180050126A (ko) 양안식 증강현실 뷰어에서 증강현실 제공방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right