KR102170749B1 - 투명 디스플레이를 포함하는 전자 장치 및 제어 방법 - Google Patents

투명 디스플레이를 포함하는 전자 장치 및 제어 방법 Download PDF

Info

Publication number
KR102170749B1
KR102170749B1 KR1020130147323A KR20130147323A KR102170749B1 KR 102170749 B1 KR102170749 B1 KR 102170749B1 KR 1020130147323 A KR1020130147323 A KR 1020130147323A KR 20130147323 A KR20130147323 A KR 20130147323A KR 102170749 B1 KR102170749 B1 KR 102170749B1
Authority
KR
South Korea
Prior art keywords
image
display
displaying
electronic device
user
Prior art date
Application number
KR1020130147323A
Other languages
English (en)
Other versions
KR20150064761A (ko
Inventor
이영범
이선민
이형욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130147323A priority Critical patent/KR102170749B1/ko
Priority to US14/551,478 priority patent/US9552063B2/en
Publication of KR20150064761A publication Critical patent/KR20150064761A/ko
Application granted granted Critical
Publication of KR102170749B1 publication Critical patent/KR102170749B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)

Abstract

투명 디스플레이를 포함하는 전자 장치가 개시된다. 일 실시 예에 의한 전자 장치는, 객체로부터 입사되는 빛을 투과시키는 광학 표시 모드에 기초한 제 1 이미지를 획득하는 단계, 상기 객체를 촬영한 이미지를 표시하는 비디오 표시 모드에 기초한 제 2 이미지를 획득하는 단계 및 상기 투명 디스플레이 상에 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계를 포함한다

Description

투명 디스플레이를 포함하는 전자 장치 및 제어 방법 {ELECTRO DEVICE COMPRISING TRANSPARENT DISPLAY AND METHOD FOR CONTROLLING THEREOF}
본 개시는 투명 디스플레이를 포함하는 전자 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 전자 장치 후면으로부터의 빛을 투과하면서 동시에 그래픽 이미지를 표시하는 투명 디스플레이를 포함하는 전자 장치 및 제어 방법에 관한 것이다.
근자에 들어서 투명 디스플레이를 활용한 기술의 개발이 활발하게 진행중이다. 투명 디스플레이는, 후면으로부터 입사되는 빛을 투과할 수 있는 디스플레이로 동시에 그래픽 이미지를 표시할 수 있다.
사용자는, 투명 디스플레이를 통하여 전자 장치의 후면으로부터 입사되는 빛을 관찰하면서도, 투명 디스플레이 상에 표시되는 그래픽 이미지를 함께 관찰할 수도 있다.
상술한 특징에 따라서 투명 디스플레이는 증강 현실(augmented reality) 서비스에 활용된다. 증강 현실 서비스는, 사용자가 관찰하는 바에 추가적으로 관련 정보를 제공하는 서비스일 수 있다. 예를 들어, 사용자가 투명 디스플레이를 통하여 객체를 관찰하는 경우, 투명 디스플레이 상에 객체 관련 정보가 추가적으로 표시될 수 있다. 사용자는, 이에 따라 객체 및 객체 관련 정보를 동시에 제공받을 수 있다.
증강 현실 서비스는, 비디오 기반(video based) 증강 현실 및 광학 기반(optical based) 증강 현실의 종류를 가질 수 있다. 비디오 기반 증강 현실은 전자 기기가 촬영한 화면과 관련 정보를 함께 표시하는 방식이다. 아울러, 광학 기반 증강 현실은 투명 디스플레이에 관련 정보를 표시함으로써, 사용자로 하여금 투명 디스플레이를 통하여 투과되는 전경을 관련 정보와 함께 인지하도록 하는 방식이다.
다만, 투명 디스플레이는 객체로부터의 거리에 따라 빛의 투과도가 달라지는데, 특히 먼 거리에 배치된 객체로부터의 빛의 투과도는 현격하게 저하된다.
일 실시 예에 따른 투명 디스플레이를 포함하는 전자 장치의 제어 방법은 객체로부터 입사되는 빛을 투과시키는 광학 표시 모드에 기초한 제 1 이미지를 획득하는 단계, 상기 객체를 촬영한 이미지를 표시하는 비디오 표시 모드에 기초한 제 2 이미지를 획득하는 단계 및 상기 투명 디스플레이 상에 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계를 포함할 수 있다.
한편, 상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 제 1 이미지 및 상기 제 2 이미지의 표시 비율에 기초하여 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시할 수 있다.
또한 상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 제 1 이미지의 표시 밝기 및 상기 제 2 이미지의 표시 밝기를 상기 표시 비율에 따라 조정하여 표시할 수 있다.
여기에서, 상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 제 2 이미지의 표시 비율을 증가시키는 경우에는 상기 제 2 이미지의 표시 밝기를 증가시키고, 상기 제 1 이미지의 표시 비율을 증가시키는 경우에는 상기 제 2 이미지의 표시 밝기를 감소시킬 수 있다.
한편, 상기 제 1 이미지는, 상기 투명 디스플레이 상에 추가적인 렌더링 효과 더 표시하는 이미지이며, 상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 추가적인 렌더링 효과의 표시 밝기 및 상기 제 2 이미지의 표시 밝기를 조정하여 표시할 수 있다.
다른 실시 예에 의한 제어 방법은, 상기 전자 장치 및 상기 객체까지의 거리를 측정하는 단계를 더 포함할 수 있다.
여기에서, 상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 전자 장치 및 상기 객체까지의 거리에 기초하여 상기 표시 비율을 결정할 수 있다.
또한 상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 거리가 증가할수록 상기 제 2 이미지의 표시 밝기를 증가시키며, 상기 거리가 감소할수록 상기 제 2 이미지의 표시 밝기를 감소시킬 수 있다.
아울러, 상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 거리가 제 1 임계치를 초과하면 상기 제 2 이미지만을 표시하고, 상기 거리가 제 2 임계치 미만이면 상기 제 1 이미지만을 표시할 수 있다.
한편, 상기 제 1 이미지를 획득하는 단계는, 상기 객체로부터 입사되는 빛을 투과시키는 투명 디스플레이에 추가적인 렌더링 효과를 부가하는 단계를 더 포함할 수 있다.
또한, 상기 제 2 이미지를 획득하는 단계는, 상기 객체를 촬영할 수 있다.
다른 실시 예에 의한 제어 방법은, 상기 제 1 이미지 및 상기 제 2 이미지 중 적어도 하나 상에 상기 객체와 관련된 추가 이미지를 더 표시하는 단계를 더 포함할 수 있다.
또 다른 실시 예에 의한 제어 방법은, 상기 객체를 외향 촬영하는 단계, 사용자의 시선을 내향 촬영하는 단계 및 내향 촬영된 이미지에 기초하여 사용자의 시선을 판단하여, 상기 외향 촬영의 시점 및 상기 사용자의 시점을 일치시키도록 제어하는 단계를 더 포함할 수 있다.
또 다른 실시 예에 의한 제어 방법은, 상기 사용자의 시선이 기설정된 내향 촬영 범위를 초과하면, 알림 메시지를 출력하는 단계를 더 포함할 수 있다.
한편, 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계는, 상기 제 1 이미지를 상기 투명 디스플레이의 관심 영역에 표시하며, 상기 제 2 이미지를 상기 투명 디스플레이의 나머지 영역에 표시할 수 있다.
일 실시 예에 의한 제어 방법은, 관심 영역 지정을 수신하는 단계를 더 포함하고, 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계는, 관심 영역 지정에 의하여 결정된 관심 영역에 제 1 이미지를 표시할 수 있다.
한편, 다른 실시 예에 의한 제어 방법은 사용자의 시선을 내향 촬영하는 단계를 더 포함하며, 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계는, 상기 사용자 시선이 향하는 지점을 관심 영역으로 결정할 수 있다.
다른 측면에 의한 전자 장치는, 객체로부터 입사되는 빛을 투과시키고 적어도 하나의 이미지를 표시하는 투명 디스플레이, 상기 객체를 촬영하는 외향 촬영부 및 상기 빛을 투과시키는 광학 표시 모드에 기초한 제 1 이미지를 획득하고, 상기 객체를 촬영한 이미지를 표시하는 비디오 표시 모드에 기초한 제 2 이미지를 획득하고, 상기 투명 디스플레이 상에 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하도록 제어하는 제어부를 포함할 수 있다.
한편, 상기 제어부는, 상기 제 1 이미지의 표시 밝기 및 상기 제 2 이미지의 표시 밝기를 표시 비율에 따라 조정하여 표시하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 제 1 이미지를 상기 투명 디스플레이의 관심 영역에 표시하며, 상기 제 2 이미지를 상기 투명 디스플레이의 나머지 영역에 표시하도록 제어할 수도 있다.
도 1a 내지 1e는 다양한 실시 예에 따른 투명 디스플레이를 설명하기 위한 개념도들이다.
도 2a 및 2b는 다양한 실시 예에 의한 전자 장치(100)의 블록도이다.
도 3은 일 실시 예에 의한 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 4a 및 4b는 일 실시 예에 따른 광학 표시 모드에 기초한 제 1 이미지 표시를 설명하기 위한 개념도들이다.
도 5a 및 5b는 일 실시 예에 따른 비디오 표시 모드에 기초한 제 2 이미지 표시를 설명하기 위한 개념도들이다.
도 6은 일 실시 예에 의한 광학 표시 모드를 표시하는 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 7a 및 7b는 다양한 실시 예에 의한 제 1 이미지 및 제 2 이미지 표시 방법을 설명하기 위한 흐름도이다.
도 7c 내지 7h는 다양한 실시 예에 의한 전자 장치의 개념도이다.
도 8은 일 실시 예에 따른 전자 장치의 개념도이다.
도 9는 일 실시 예에 의한 전자 장치의 제어 방법을 설명하는 흐름도이다.
도 10은 일 실시 예에 의한 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1a 내지 1e는 다양한 실시 예에 따른 투명 디스플레이를 설명하기 위한 개념도들이다.
도 1a 및 1b에서, 전자 장치(100)는 투명 디스플레이(190)를 포함할 수 있다. 투명 디스플레이(190)는 예를 들어 후면으로부터 입사하는 빛을 전면으로 투과할 수 있다. 예를 들어, 도 1a 및 1b에서와 같이, 객체(2)는 자연광 또는 실내광 등에 의한 산란광을 주변부로 발산할 수 있다.
객체(2)로부터의 산란광은 투명 디스플레이(190)의 후면으로 입사할 수 있으며, 투명 디스플레이(190)는 후면으로 입사되는 빛을 전면으로 투과할 수 있다. 여기에서, 투명 디스플레이(190)는 일면으로 입사되는 빛을 타면으로 투과할 수 있으며, 아울러 렌더링 데이터를 투명 디스플레이(190)상에 표시할 수도 있다. 이에 따라, 사용자(1)는 객체(2)를 투명 디스플레이(190)를 투과하여 인지할 수 있다. 더욱 상세하게, 사용자(1)는 투명 디스플레이(190)를 투과한 객체(2)로부터의 산란광을 인지할 수 있다. 아울러, 사용자(1)는 투명 디스플레이(190)의 일 부분에서 객체(2)를 관찰할 수 있다. 사용자(1)가 투명 디스플레이(190) 상에서 객체(2)를 관찰하는 부분은 사용자(1)의 시야 창의 위치에 따라서 다양하게 변경될 수 있으며, 사용자(1) 및 객체(2) 사이의 시선이 투명 디스플레이(190)와 교차하는 지점일 수 있다.
투명 디스플레이(190)는 이미지를 표시하지 않는 경우에도 후면으로부터 전면으로 빛을 투과하여, 사용자로 하여금 객체를 인지할 수 있도록 하는 디스플레이일 수 있다. 투명 디스플레이(190)는 다양한 기술로 구현될 수 있으며, 예를 들어 투사형 디스플레이 또는 직시형 디스플레이 등으로 구현될 수 있다. 투사형 디스플레이는 프로젝션과 같은 방식으로 구동할 수 있으며, 직시형 디스플레이는 예를 들어 TFT-LCD, AMOLED와 같이 디스플레이 자체가 투명한 방식으로 구동될 수 있다. 한편, 투명 디스플레이(190)의 더욱 상세한 동작 또는 구조와 관련하여서는 본 개시와 직접적인 관련이 없어 생략하도록 한다.
상술한 바와 같이, 투명 디스플레이(190)는 후면으로 입사되는 산란광을 투과하여 표시할 수 있으며, 이와 같은 표시 모드를 광학 표시 모드라고 명명하도록 한다. 한편, 투명 디스플레이(190)를 포함하는 전자 장치는 광학 표시 모드에 기초한 제 1 이미지를 표시하는 중에, 추가적인 렌더링 효과를 더 표시할 수 있다. 예를 들어, 전자 장치는 투명 디스플레이(190)의 적어도 일부에 블러(blur) 효과를 부가한다든지 또는 컬러 또는 밝기 중 적어도 하나를 변경하는 추가적인 렌더링 효과를 부가할 수 있다. 전자 장치가 객체로부터의 자연광을 투과하면서도 추가적인 렌더링 효과를 부가하는 표시 모드 또한 광학 표시 모드라고 명명하도록 한다.
도 1c에 도시된 바와 같이, 전자 장치(100)는 객체(140)로부터 입사되는 빛을 그대로 투과할 수 있다. 전자 장치(100)는 도 1c에 도시된 바와 같이 블러(blur) 효과를 더 표시하는 제 1 이미지(141)를 표시할 수도 있다. 객체(140)로부터 입사되는 빛이 그대로 투과됨에 따라서 투명 디스플레이상의 객체는 후면의 객체(140)와 기하학적으로 연속되게 표시될 수 있다. 아울러, 전자 장치(100)가 블러 효과를 더 표시함에 따라서, 사용자는 제 1 이미지(141)를 상대적으로 흐릿하게 인식할 수 있다.
한편, 전자 장치(100)가 촬영된 이미지 또는 저장된 이미지를 투명 디스플레이(190) 상에 표시하는 모드를 비디오 표시 모드라고 명명하도록 한다. 도 1d에 도시된 바와 같이, 전자 장치(100)는 객체(140)를 촬영한 제 2 이미지(142)를 표시할 수도 있다. 전자 장치(100)가 촬영된 이미지(142)를 표시함에 따라서 촬영된 이미지(142)상의 객체는 후면의 객체(140)와 기하학적으로 불연속적으로 표시될 수 있다.
도 1e는 일 실시 예에 의한 제 1 이미지의 개념도이다. 도 1e에 도시된 바와 같이, 제 1 이미지는 객체(150)로부터 입사되어 투과되는 이미지(151) 및 추가 이미지(152)를 포함할 수 있다. 추가 이미지(152)는 객체(150)와 관련된 정보를 표현하는 이미지일 수 있으며, 또는 장치(100) 관련 이미지일 수도 있다.
전자 장치(100)는 디스플레이를 포함하는 전자 장치로서, 예를 들어 스마트 폰, 태블릿 PC, PDP와 같은 모바일 전자 장치일 수 있다. 또는 전자 장치(100)는 TV, 모니터와 같은 상대적으로 큰 사이즈의 전자 장치로 구현될 수도 있다.
한편, 기존의 투명 디스플레이(190)는, 22인치의 크기를 가지면서 TFT-LCD 방식으로 구현된 경우 약 15%의 투과도를 가지며, OLED 방식으로 구현된 경우 약 48%의 투과도를 가질 수 있다.
또한, 전자 장치(100) 및 객체(2) 사이의 거리에 따라서 사용자(1)가 체감하는 투과도는 현저하게 달라질 수 있다. 투명 디스플레이(190)의 투과도는 수학식 1과 같이 표시될 수 있다.
Figure 112013109450018-pat00001
아울러, 수학식 1의 물리적 투명도는 수학식 2와 같이 표시될 수 있다.
Figure 112013109450018-pat00002
아울러, 수학식 1의 후면 공간은 수학식 3과 같이 표시될 수 있다.
Figure 112013109450018-pat00003
즉, 수학식 1 내지 3을 종합하면 수학식 4와 같이 표시될 수 있다.
Figure 112013109450018-pat00004
예를 들어, 전자 장치(100) 및 객체(2) 사이의 거리가 먼 경우에 투과도는 현저하게 저하된다. 또한, 투명 디스플레이(190)의 크기가 작아지는 경우에 투과도는 현저하게 저하될 수 있다. 이에 따라, 전자 장치(100)가 예를 들어 모바일 전자 장치와 같이 상대적으로 소형으로 제작되면서 객체(2)가 원거리에 배치된 경우에는 투과도 저하의 문제가 발생할 수 있다.
도 2a는 일 실시 예에 의한 전자 장치(100)의 블록도이다.
도 2a에 도시된 바와 같이, 전자 장치(100)는 제어부(110) 및 투명 디스플레이(190)를 포함할 수 있다. 제어부(110)는 전자 장치(100)의 동작 전반을 제어할 수 있다. 제어부(110)는 저장부(미도시)에 저장된 전자 장치(100) 동작과 관련된 프로그램 또는 어플리케이션을 실행할 수 있으며, 실행 결과를 전자 장치(100) 내의 각종 하드웨어로 출력할 수도 있다. 제어부(110)는, CPU 또는 미니컴퓨터와 같은 연산을 수행할 수 있는 하드웨어로 구현될 수 있으며, 그 종류에는 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다.
투명 디스플레이(190)는 객체로부터의 입사되는 산란 광을 투과시킨다. 또한, 투명 디스플레이(190)는 적어도 하나의 이미지를 표시할 수도 있다. 즉, 투명 디스플레이(190)는 제어부(110)의 제어에 기초하여 광학 표시 모드에 기초한 제 1 이미지 및 비디오 표시 모드에 기초한 제 2 이미지를 혼합하여 표시할 수 있다.
여기에서, 투명 디스플레이(190)가 광학 표시 모드에 기초한 제 1 이미지를 표시한다는 것은 객체로부터의 산란광을 그대로 투과시키는 것을 의미할 수 있다. 예를 들어, 광학 표시 모드에서 제어부(110)는 투명 디스플레이(190)에 아무런 렌더링 데이터를 표시하지 않도록 제어할 수 있다. 이에 따라, 객체로부터의 산란광은 투명 디스플레이(190)를 투과하여 사용자에게 전달될 수 있다.
한편, 제어부(110)는 상술한 바와 같이 추가적인 렌더링 효과를 투명 디스플레이(190)가 표시하도록 제어할 수 있다. 예를 들어 제어부(110)는 투명 디스플레이(190)의 적어도 일부에 블러 효과가 표시되도록 제어하거나 또는 투명 디스플레이(190)의 적어도 일부의 컬러 또는 밝기를 변경하도록 제어할 수도 있다. 상술한 바와 같이 투명 디스플레이(190)가 객체로부터의 산란광을 투과하면서도 추가적인 렌더링 효과를 표시하는 것 또한 광학 표시 모드에 기초한 제 1 이미지를 표시하는 것일 수도 있다.
제어부(110)는 광학 표시 모드에 기초한 제 1 이미지의 표시 비율 및 비디오 표시 모드에 기초한 제 2 이미지의 표시 비율을 결정할 수 있다. 제어부(110)는 결정된 표시 비율로 제 1 이미지 및 제 2 이미지를 혼합하여 표시할 수 있다. 제어부(110)는 예를 들어 제 2 이미지의 표시 밝기 등을 조정하여 표시 비율에 따른 제 1 이미지 및 제 2 이미지의 혼합 이미지를 표시할 수 있다.
여기에서의 표시 비율은 예를 들어 밝기 비율일 수 있다. 제어부(110)는 제 2 이미지의 밝기를 조정함으로써 혼합 이미지 표시 비율을 조정할 수 있다. 더욱 상세하게는, 제 2 이미지의 표시 비율이 제 1 이미지의 표시 비율보다 상대적으로 더 높을수록, 제어부(110)는 비디오 표시 모드에 기초한 제 2 이미지의 표시 밝기를 더 증가시킬 수 있다. 제 2 이미지의 표시 밝기가 증가할수록, 투명 디스플레이(190)의 투명도는 저하된다. 이에 따라 객체로부터의 산란광의 투명 디스플레이(190)에서의 투과도 또한 저하되며, 제 1 이미지의 표시 밝기가 저하될 수 있다. 즉, 제어부(110)는 제 2 이미지의 밝기를 조정함에 따라 제 1 이미지 및 제 2 이미지의 표시 비율을 조정할 수 있다.
한편, 제 1 이미지가 단순히 객체로부터 산란광을 투과시키는 것이 아닌 추가적인 렌더링 효과를 부가하는 것일 때는, 제어부(110)는 렌더링 효과의 밝기 및 제 2 이미지의 표시 밝기를 조정하여 표시 비율을 조정할 수 있다. 예를 들어 제 2 이미지의 표시 비율이 제 1 이미지의 표시 비율보다 상대적으로 높은 경우에는, 제어부(110)는 제 2 이미지의 표시 밝기를 제 1 이미지, 즉 렌더링 효과의 표시 밝기보다 상대적으로 높도록 제어할 수 있다.
다른 실시 예에서 표시 비율은 투명 디스플레이(190) 상의 표시 면적일 수도 있다. 즉, 제어부(110)는 투명 디스플레이(190) 상의 제 1 부분에는 제 1 이미지를 표시할 수 있으며, 투명 디스플레이(190) 상의 제 2 부분에는 제 2 이미지를 표시하도록 제어할 수 있다. 예를 들어, 제어부(110)는 객체로부터의 산란광이 투명 디스플레이(190)에 교차하는 부분에는 제 1 이미지를 표시하도록 제어하고, 나머지 부분에는 제 2 이미지를 표시하도록 제어할 수도 있다. 상술한 바와 같은 혼합 이미지의 표시는 도 7a 내지 7h를 참조하여 더욱 상세하게 후술하도록 한다.
한편 다른 실시 예에서, 제어부(110)는 제 1 이미지의 표시 비율을 1로 결정하고, 제 2 이미지의 표시 비율을 0으로 결정할 수 있다. 이 경우, 제어부(110)는 제 1 이미지만을 표시하고 제 2 이미지를 표시하지 않을 수도 있다. 또 다른 실시 예에서, 제어부(110)는 제 1 이미지의 표시 비율을 0으로 결정하고, 제 2 이미지의 표시 비율을 1로 결정할 수도 있다. 이 경우, 제어부(110)는 제 2 이미지만을 표시할 수도 있다.
상술한 바와 같이, 제어부(110)는 다양한 방식에 따라서 광학 표시 모드의 제 1 이미지 및 비디오 표시 모드의 제 2 이미지를 혼합하여 표시할 수 있다. 이하에서는, 혼합 이미지가 표시되는 경우에 제 1 및 제 2 이미지의 표시 비율을 결정하는 실시 예를 설명하도록 한다.
도 2b는 다른 실시 예에 의한 전자 장치의 블록도이다. 도 2b에 도시된 바와 같이, 전자 장치(100)는 거리 측정부(120)를 더 포함할 수 있다.
거리 측정부(120)는 전자 장치(100)로부터 특정 객체까지의 거리를 측정할 수 있다. 거리 측정부(120)는, 예를 들어 TOF(time of flight) 카메라, 스테레오스코픽(stereoscopic) 카메라, 모노(mono) 카메라 또는 근접 센서 등으로 구현될 수 있다.
거리 측정부(120)가 TOF 카메라로 구현되는 경우에는, 전자 장치(100)의 후면에 배치될 수 있으며, 전자 장치(100)의 후면에 배치되는 객체까지의 거리를 측정할 수 있다. 거리 측정부(120)는 소정의 파장 및 세기를 가지는 빛을 객체로 송신할 수 있다. 거리 측정부(120)는 객체로부터 반사된 빛을 수신할 수 있으며, 송신 시점으로부터 수신 시점까지의 시간에 기초하여 객체까지의 거리를 측정할 수 있다.
거리 측정부(120)가 스테레오스코픽 카메라로 구현되는 경우에는, 전자 장치(100)의 후면에 두 개의 카메라로 배치될 수 있다. 두 개의 카메라는 동시에 객체를 촬영할 수 있다. 두 개의 카메라에서 수집되는 두 개의 이미지의 차이에 기초하여 거리 측정부(120)는 객체까지의 거리를 측정할 수 있다.
거리 측정부(120)가 모노 카메라로 구현되는 경우에는, 전자 장치(100)의 후면에 한 개의 카메라로 배치될 수 있다. 거리 측정부(120)는 연속적인 이미지 프레임을 촬영할 수 있으며, 두 프레임 사이의 특징점(feature) 사이의 변위를 측정하고 삼각법을 이용하여 거리를 측정할 수도 있다.
거리 측정부(120)가 근접 센서로 구현되는 경우에는, 거리 측정부(120)는 예를 들어 객체에 의한 자계 변화, 정전 용량 변화, 발광 다이오드 측정값 변화 등에 기초하여 객체까지의 거리를 측정할 수도 있다.
제어부(110)는 전자 장치(100) 및 객체 사이의 거리에 기초하여 광학 표시 모드의 제 1 이미지 및 비디오 표시 모드의 제 2 이미지의 표시 비율을 결정할 수 있다. 예를 들어, 전자 장치(100) 및 객체 사이의 거리가 증가하면, 제어부(110)는 제 2 이미지의 표시 비율을 증가시키고 제 1 이미지의 표시 비율을 감소시킬 수 있다. 아울러, 전자 장치(100) 및 객체 사이의 거리가 감소하면, 제어부(110)는 제 2 이미지의 표시 비율을 감소시키고 제 1 이미지의 표시 비율을 증가시킬 수 있다. 예를 들어, 전자 장치(100)는 제 2 이미지의 표시 밝기를 증가시킴으로써 제 2 이미지의 표시 비율을 증가시키고, 제 1 이미지의 표시 비율을 감소시킬 수 있다. 또한, 제 1 이미지가 추가적인 렌더링 효과를 포함한 경우에는, 전자 장치(100)는 제 1 이미지의 표시 밝기를 증가시킴으로써 제 1 이미지의 표시 비율을 증가시키고, 제 2 이미지의 표시 비율을 감소시킬 수 있다.
아울러, 제어부(110)는 전자 장치(100) 및 객체 사이의 거리가 제 1 임계치를 초과하면, 제 2 이미지만을 표시하도록 투명 디스플레이(190)를 제어할 수 있다. 또는 제어부(110)는 전자 장치(100) 및 객체 사이의 거리가 제 2 임계치 미만이면, 제 1 이미지만을 표시하도록 투명 디스플레이(190)를 제어할 수도 있다.
제어부(110)는 객체와 관련된 추가 이미지를 투명 디스플레이(190)의 객체에 대응하는 부분에 표시하도록 제어할 수 있다. 상술한 바와 같이, 투명 디스플레이(190)는 객체로부터의 빛을 투과시킬 수 있다. 이에 따라, 사용자는 투명 디스플레이(190)의 특정 부분에서 객체를 관찰할 수 있으며, 제어부(110)는 해당 부분의 근처에 객체와 관련된 정보를 표시하도록 투명 디스플레이(190)를 제어할 수 있다.
제어부(110)는 내향 촬영부(미도시)로부터 수신되는 사용자 시선을 판단할 수 있다. 제어부(110)는 사용자 시선을 판단하여, 사용자가 투명 디스플레이(190)의 어떠한 부분에서 객체를 관찰할 수 있는지를 판단할 수 있다. 제어부(110)는 해당 부분의 근처에 객체 관련 정보를 표시하도록 제어할 수 있다.
외향 촬영부(미도시)는 객체를 촬영할 수 있다. 제어부(110)는 외향 촬영부에서 촬영된 객체를 인식할 수 있으며, 인식 결과에 대응하여 객체 관련 정보를 획득할 수 있다. 제어부(110)는 예를 들어 데이터베이스에 저장된 객체 관련 정보를 획득할 수 있거나 또는 외부 소스로부터 객체 관련 정보를 획득할 수도 있다.
제어부(110)는, 상술한 바와 같이, 제 1 이미지를 표시하는 경우, 객체 관련 정보만을 표시하도록 투명 디스플레이(190)를 제어할 수 있다. 즉, 제어부(110)는 제 1 이미지를 표시하는 경우, 광학 방식의 증강 현실 서비스를 제공하도록 제어할 수 있다.
한편, 제 2 이미지를 표시하는 경우, 제어부(110)는 외향 촬영부(미도시)에서 촬영된 객체 이미지 및 객체 관련 정보를 함께 표시하도록 투명 디스플레이(190)를 제어할 수 있다.
아울러, 제어부(110)는 외향 촬영부에서 촬영된 객체를 인식할 수 있으며, 인식 결과에 대응하여 객체 관련 정보를 획득할 수 있다. 제어부(110)는 예를 들어 데이터베이스에 저장된 객체 관련 정보를 획득할 수 있거나 또는 외부 소스로부터 객체 관련 정보를 획득할 수도 있다.
제어부(110)는, 비디오 표시 모드에서 객체에 대하여 촬영된 이미지와 객체 관련 정보를 함께 표시하도록 투명 디스플레이(190)를 제어할 수 있다. 제어부(110)는 객체 관련 정보를 추가 이미지로서 객체 이미지상에 더 표시하도록 제어할 수 있다.
즉, 제어부(110)는 비디오 표시 모드에서는 비디오 기반의 증강 현실 서비스를 제공하도록 제어할 수 있다.
제어부(110)는 내향 촬영부(미도시)에서 촬영된 사용자 시선에 기초하여 객체 이미지 및 객체 관련 정보를 보정하여 표시하도록 제어할 수도 있으며, 이에 대하여서는 더욱 상세하게 후술하도록 한다.
도 3은 일 실시 예에 의한 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
단계 310에서, 전자 장치는 광학 표시 모드에 기초한 제 1 이미지를 획득할 수 있다. 더욱 상세하게, 전자 장치는 객체로부터 입사되는 빛을 획득하여 투명 디스플레이를 통하여 투과시킬 수 있다. 또는, 전자 장치는 객체로부터 입사되는 빛을 수신하여 투명 디스플레이를 통하여 투과시면서 추가적인 렌더링 효과를 더 표시할 수도 있다.
단계 320에서, 전자 장치는 비디오 표시 모드에 기초한 제 2 이미지를 획득할 수 있다. 예를 들어, 전자 장치는 객체를 촬영하여 이미지를 획득할 수 있다.
단계 330에서, 전자 장치는 제 1 이미지 및 제 2 이미지를 혼합하여 투명 디스플레이 상에 표시할 수 있다. 전자 장치는, 상기 제 1 이미지 및 상기 제 2 이미지의 표시 비율에 기초하여 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시할 수 있다. 일 실시 예에서, 전자 장치는 상기 제 1 이미지의 표시 밝기 및 상기 제 2 이미지의 표시 밝기를 상기 표시 비율에 따라 조정하여 표시할 수 있다. 또 다른 실시 예에서, 전자 장치는 상기 제 1 이미지를 상기 투명 디스플레이의 제 1 영역에 표시하며, 상기 제 2 이미지를 상기 투명 디스플레이의 제 2 영역에 표시하여 혼합 이미지를 표시할 수도 있다.
도 4a 및 4b는 일 실시 예에 따른 광학 표시 모드에 기초한 제 1 이미지 표시를 설명하기 위한 개념도들이다. 도 4a 및 4b의 실시 예에서, 객체(2)는 전자 장치(100)로부터 d1만큼 이격된 것을 상정하도록 한다.
위치 측정부(120)는 전자 장치(100) 및 객체(2) 사이의 거리가 d1인 것을 측정할 수 있다. 아울러, 외향 촬영부(180)는 객체(2)를 촬영할 수 있으며, 내향 촬영부(185)는 사용자(1)의 시선을 촬영할 수 있다.
제어부(110)는 d1이 임계치 미만인 것을 판단할 수 있으며, 이에 따라 제 1 이미지만을 표시하도록 결정할 수 있다.
제어부(110)는 외향 촬영부(180)에서 촬영된 객체(2)를 식별할 수 있으며, 식별 결과에 대응되는 객체 관련 정보를 획득할 수 있다.
제어부(110)는 내향 촬영부(185)에서 촬영된 사용자 시선을 판단할 수 있다. 제어부(110)는 판단된 사용자 시선에 기초하여 사용자(1)의 시점 및 외향 카메라(180)의 시점을 일치시킬 수 있다. 또한, 제어부(110)는 사용자 시선에 기초하여 객체 관련 정보를 표시할 위치를 판단할 수도 있다.
도 4a 및 4b에 도시된 바와 같이, 사용자(1)는 투명 디스플레이(190)를 투과하는 객체(2)로부터의 빛을 관찰할 수 있다.
제어부(110)는 투명 디스플레이(190) 상에 객체 관련 정보를 표시할 수 있다. 예를 들어, 제어부(110)는 내향 촬영부(185)에서 촬영된 사용자 시선에 기초하여 객체 관련 정보를 표시할 수 있다.
도 4b에서와 같이, 제어부(110)는 객체(2)의 관련 정보가 보석류인 것과 해당 가격을 획득하여 객체 관련 정보(410)를 표시하도록 제어할 수 있다. 특히, 제어부(110)는 객체(2)가 사용자에게 관찰되는 위치(405)에 대응하는 위치에 객체 관련 정보(410)를 표시하도록 제어할 수 있다.
도 5a 및 5b는 일 실시 예에 따른 비디오 표시 모드에 기초한 제 2 이미지 표시를 설명하기 위한 개념도들이다. 도 5a 및 5b의 실시 예에서, 객체(2)는 전자 장치(100)로부터 d2만큼 이격된 것을 상정하도록 한다.
위치 측정부(120)는 전자 장치(100) 및 객체(2) 사이의 거리가 d2인 것을 측정할 수 있다. 아울러, 외향 촬영부(180)는 객체(2)를 촬영할 수 있으며, 내향 촬영부(185)는 사용자(1)의 시선을 촬영할 수 있다.
제어부(110)는 d2가 임계치 초과인 것을 판단할 수 있으며, 이에 따라 제 2 이미지만을 표시하도록 결정할 수 있다.
제어부(110)는 외향 촬영부(180)에서 촬영된 객체(2)를 식별할 수 있으며, 식별 결과에 대응되는 객체 관련 정보를 획득할 수 있다.
제어부(110)는 내향 촬영부(185)에서 촬영된 사용자 시선을 판단할 수 있다. 제어부(110)는 판단된 사용자 시선에 기초하여 사용자(1)의 시점 및 외향 카메라(180)의 시점을 일치시킬 수 있다.
도 5a 및 5b에 도시된 바와 같이, 제어부(110)는 객체 촬영 이미지(415)을 표시하도록 제어할 수 있다. 아울러 제어부(110)는 투명 디스플레이(190) 상에 객체 관련 정보(410)를 표시할 수 있다.
도 5b에서와 같이, 제어부(110)는 객체(2)의 관련 정보가 보석류인 것과 해당 가격을 획득하여 객체 관련 정보(410)를 표시하도록 제어할 수 있다. 특히, 제어부(110)는 객체(2)가 표시되는 위치(415)에 대응하는 위치에 객체 관련 정보(410)를 표시하도록 제어할 수 있다.
도 6은 일 실시 예에 의한 광학 표시 모드를 표시하는 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
단계 610에서, 전자 장치는 전자 장치 및 객체 사이의 거리를 측정할 수 있다. 예를 들어, 전자 장치는 상술한 바와 같은 TOF 카메라 방식, 스테레오스코픽 카메라 방식, 모노 카메라 방식 및 근접 센서 방식 등의 다양한 방식에 따라서 객체까지의 거리를 측정할 수 있다. 전자 장치의 객체까지의 거리 측정 방식에는 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다.
단계 620에서, 전자 장치는 거리가 임계치 미만인 것을 판단할 수 있다.
단계 630에서, 전자 장치는 외향 카메라를 이용하여 객체를 외향 촬영할 수 있다.
단계 640에서, 전자 장치는 객체를 촬영한 이미지에 기초하여 객체를 인식할 수 있으며, 아울러 인식 결과에 대응하는 관련 이미지를 생성할 수 있다. 예를 들어, 전자 장치는 도 4b 또는 도 5b의 실시 예와 같이, 객체의 종류 또는 가격 등의 정보를 포함하는 이미지를 생성할 수 있다.
전자 장치는 내부 데이터베이스 또는 외부 소스로부터 인식 결과에 대응하는 객체 관련 정보를 획득할 수 있다. 전자 장치는 획득된 객체 관련 정보에 기초하여 이미지를 생성하거나 또는 객체 관련 정보에 대응하는 이미지를 외부 소스로부터 수신할 수도 있다.
단계 650에서, 전자 장치는 투명 디스플레이 상에 객체 관련 정보에 대응하는 이미지를 표시할 수 있다. 예를 들어, 전자 장치는 내향 촬영부에서 내향 촬영된 사용자 시선에 기초하여 객체가 투명 디스플레이 상에서 관찰되는 위치를 판단할 수 있다. 전자 장치는 객체가 투명 디스플레이 상에서 관찰되는 위치에 대응하여 객체 관련 정보에 대응하는 이미지를 표시할 수 있다.
도 7a은 일 실시 예에 의한 제 1 이미지 및 제 2 이미지 표시 방법을 설명하기 위한 흐름도이다.
도 7a를 참조하면, 단계 710에서 전자 장치는 투명 디스플레이 상에서 광학 표시 모드에 기초한 제 1 이미지를 표시할 부분과 비디오 표시 모드에 기초한 제 2 이미지를 표시할 부분을 결정할 수 있다.
단계 720에서, 전자 장치는 결정 결과에 따라서 제 1 이미지 및 제 2 이미지를 표시할 수 있다.
도 7b는 일 실시 예에 의한 제 1 이미지 및 제 2 이미지 표시 방법을 설명하기 위한 흐름도이다. 도 7b의 실시 예는 도 7c 내지 7g를 참조하여 더욱 상세하게 설명하도록 한다.
단계 730에서, 전자 장치는 관심 영역 지정을 수신할 수 있다. 예를 들어, 도 7c에서와 같이, 전자 장치의 후방에는 제 1 객체(2) 및 제 2 객체(3)가 배치될 수 있다. 제 1 객체(2) 및 제 2 객체(3)로부터의 산란광은 투명 디스플레이를 투과할 수 있으며, 사용자는 투명 디스플레이를 통하여 제 1 객체(2) 및 제 2 객체(3)를 관찰할 수 있다. 예를 들어, 투명 디스플레이의 제 1 위치(761)에서 제 1 객체(2)가 관찰되며, 제 2 위치(762)에서 제 2 객체(3)가 관찰될 수 있다.
한편, 도 7d에서와 같이, 사용자(1)는 관심 영역을 지정할 수 있다. 예를 들어, 사용자(1)는 제 1 영역(761)을 관심 영역으로 지정할 수 있다.
다시 도 7b를 참조하면, 단계 740에서 전자 장치는 관심 영역을 광학 표시 모드로 표시할 수 있다. 예를 들어, 전자 장치는 도 7e에서와 같이 제 1 영역(761)에 대하여서는 아무런 렌더링 데이터를 표시하지 않도록 제어할 수 있다. 또는, 전자 장치는 제 1 영역(761)에 추가적인 렌더링 효과를 부가하여 표시하도록 제어할 수도 있다.
단계 750에서 전자 장치는 관심 영역 이외의 나머지 영역을 비디오 표시 모드로 표시할 수 있다. 도 7e에서와 같이, 전자 장치는 제 2 객체(3)를 외향 촬영하고, 촬영된 화면을 제 1 영역(761) 이외의 나머지 영역(763)에 표시할 수 있다. 여기에서, 촬영된 화면에 추가적인 블러 효과가 처리될 수도 있다
상술한 바와 같이, 사용자는 관심 영역을 지정함으로써 광학 표시 모드로 표시할 투명 디스플레이 부분을 지정할 수 있다.
한편, 도 7f는 다른 실시 예에 의한 관심 영역 지정 방법을 설명하기 위한 개념도이다.
도 7f에 도시된 바와 같이, 사용자(1)는 관심 영역(764)을 드래그 제스처 입력으로 지정할 수도 있다. 사용자(1)는 도 7f와 같은 관심 영역의 경계를 결정하기 위한 드래그 제스처(764)를 입력할 수 있다. 전자 장치는 입력된 드래그 제스처(764)를 경계로 하는 관심 영역(765)을 결정할 수 있다. 도 7g에서와 같이 전자 장치는 결정된 관심 영역(765)은 광학 표시 모드로 표시하며, 나머지 영역(766)은 비디오 표시 모드로 표시하도록 동작할 수 있다.
상술한 설명은 관심 영역을 광학 표시 모드로 표시하고, 나머지 영역을 비디오 표시 모드로 표시하는 실시 예에 대한 것이다. 하지만, 다른 실시 예에 의한 전자 장치는, 관심 영역을 비디오 표시 모드로 표시하고, 나머지 영역을 광학 표시 모드로 표시할 수도 있다. 이는 관심 영역의 상이한 결정에 따라서 구현될 수 있다. 예를 들어, 다른 실시 예에 의한 전자 장치는 도 7f에서와 같은 경계 입력 단계에서, 경계 내부의 영역을 나머지 영역(766)으로 결정하고, 경계 외부의 영역(765)을 관심 영역으로 결정할 수도 있다.
도 7h는 다른 실시 예에 의한 관심 영역 결정을 설명하기 위한 개념도이다.
전자 장치는 사용자의 시선을 내향 촬영하여 사용자의 시선이 향하는 지점을 판단할 수 있다. 전자 장치는 사용자의 시선이 향하는 지점을 관심 영역(771)으로 결정할 수 있으며, 관심 영역을 광학 표시 모드로 표시하도록 동작할 수 있다. 예를 들어, 도 7h에서와 같이, 전자 장치는 관심 영역(771) 상에는 아무런 렌더링 데이터를 표시하지 않도록 동작할 수 있다. 또는, 전자 장치는 관심 영역(771)에 추가적인 렌더링 효과를 부가하여 표시하도록 제어할 수도 있다.
한편, 전자 장치는 나머지 영역(772)에는 전경을 촬영한 이미지를 표시할 수 있다. 즉, 전자 장치는 나머지 영역(772)은 비디오 표시 모드로 표시하도록 동작할 수 있다.
도 8은 일 실시 예에 따른 전자 장치의 개념도이다.
객체(2)는 전자 장치(100)의 투명 디스플레이(190)의 후면에 배치될 수 있다. 사용자는 1a의 위치 또는 1b의 위치 중 어느 하나의 위치에서 투명 디스플레이(190)를 관찰할 수 있다.
내향 촬영부(185)는 사용자의 시선을 촬영할 수 있다. 예를 들어, 내향 촬영부(185)는, 사용자(1a 또는 1b)를 포함하는 전자 장치(100)의 전면을 촬영할 수 있다. 제어부(110)는 내향 촬영부(185)가 촬영한 이미지로부터 사용자의 위치(1a 또는 1b)를 판단할 수 있다. 아울러, 제어부(110)는 사용자의 시선을 판단할 수도 있다. 제어부(110)는, 예를 들어 사용자의 눈동자의 위치, 눈동자의 방향, 눈동자중 흰자위/검은 자위의 위치, 안면 특징점의 위치에 기초하여 사용자의 시선을 판단할 수 있다.
예를 들어, 비디오 표시 모드의 이미지를 표시하는 경우, 제어부(110)는 투명 디스플레이(190) 상에 표시되는 화면을 보정하여 표시하도록 제어할 수 있다.
제어부(110)는 사용자(1a 또는 1b)의 시선과 외향 카메라의 시선을 일치시킬 수 있다. 예를 들어, 제어부(110)가 사용자가 1a의 위치에 위치한 것으로 판단한 경우에는, 제어부(110)는 객체(2)가 상대적으로 좌측(810)에 배치된 이미지를 제공할 수 있다. 아울러, 제어부(110)가 사용자가 1b의 위치에 위치한 것으로 판단한 경우에는, 제어부(110)는 객체(2)가 상대적으로 우측(820)에 배치된 이미지를 제공할 수 있다. 제어부(110)는 외향 촬영부가 촬영한 객체(2)의 이미지를 보정하여 객체가 상대적으로 좌측 또는 우측에 배치된 이미지를 생성할 수 있다. 기촬영된 이미지를 상대적으로 좌측 또는 우측에서 촬영되는 것과 같이 보정하는 기술은 잘 알려져 있으며, 본 개시와는 직접적인 관련이 없어 더 이상의 상세한 설명은 생략하도록 한다.
한편, 내향 촬영부(185)는 소정의 촬영각(θ)을 가질 수 있으며, 사용자가 해당 촬영각을 벗어나는 경우, 제어부(110)는 내향 촬영부(185)의 촬영 범위에서 벗어났다는 취지의 알림 메시지를 출력할 수도 있다.
도 9는 일 실시 예에 의한 전자 장치의 제어 방법을 설명하는 흐름도이다.
단계 910에서, 내향 촬영부(185)는 사용자의 시선을 촬영할 수 있다. 예를 들어, 내향 촬영부는 사용자의 얼굴을 촬영할 수 있다.
단계 920에서, 제어부(110)는 외향 촬영부의 시점을 판단할 수 있다. 예를 들어, 제어부(110)는 외향 촬영부가 촬영한 객체의 이미지를 확인할 수 있다.
단계 930에서, 제어부(110)는 사용자 시점 및 외향 촬영부 시점을 일치시킬 수 있다. 제어부(110)는 내향 촬영부(185)에서 촬영된 사용자 얼굴에 기초하여 사용자 시점을 판단할 수 있다. 예를 들어, 제어부(110)는 사용자의 눈동자의 위치, 눈동자의 방향, 눈동자중 흰자위/검은 자위의 위치, 안면 특징점의 위치에 기초하여 사용자의 시선을 판단할 수 있다. 이에 따라, 제어부(110)는 사용자의 시점의 위치 및 방향 중 적어도 하나를 판단할 수 있다.
한편, 제어부(110)는 판단된 사용자 시점에 대응하여 외향 촬영부의 시점을 보정할 수 있다.
제 1 이미지를 표시하는 경우에는, 제어부(110)는 객체 관련 정보에 대한 추가 이미지의 표시 위치를 사용자 시점에 대응하여 결정할 수 있다. 우선, 제어부(110)는 외향 촬영부(180)에서 촬영된 이미지를 기초로 추가 이미지의 표시 위치를 초기 결정할 수 있다. 제어부(110)는 판단된 사용자 시점에 대응하여 초기 결정된 추가 이미지의 표시 위치를 보정하여 표시하도록 제어할 수 있다.
예를 들어, 제어부(110)는 외향 촬영부(180)에서 촬영된 객체 이미지에 기초하여, 투명 디스플레이(190) 상의 추가 이미지 표시 위치를 제 1 위치로 결정할 수 있다. 한편, 사용자의 시점이 좌측으로부터 우측을 관찰하고 있는 것으로 판단되면, 제어부(110)는 제 1 위치보다 좌측인 제 2 위치를 추가 이미지 표시 위치로 결정할 수 있다. 상술한 바에서, 사용자의 시점이 좌측으로부터 우측을 관찰하고 있는 경우에 대하여 설명하였지만, 사용자의 시점이 우측으로부터 좌측을 관찰하는 것으로 결정된 경우, 하측으로부터 상측을 관찰하는 것으로 결정된 경우, 상측으로부터 하측을 관찰하는 것으로 결정된 경우 또는 상기 나열한 경우들이 혼합된 경우 등 다양한 사용자 시점에도 동일하게 적용될 수 있다는 것을 당업자는 용이하게 이해할 수 있을 것이다.
제 2 이미지를 표시하는 경우에는, 제어부(110)는 객체 이미지를 사용자 시점에 대응하여 보정할 수 있다. 우선, 제어부(110)는 외향 촬영부(180)에서 촬영된 이미지를 획득할 수 있다. 제어부(110)는 판단된 사용자 시점에 대응하여 초기 획득된 이미지의 표시 방향을 보정하여 표시하도록 제어할 수 있다.
예를 들어, 제어부(110)는 외향 촬영부(180)에서 촬영된 객체 이미지를 획득할수 있다. 제어부(110)는 외향 촬영부(180)의 시점을 제 1 방향으로 판단할 수 있다. 한편, 사용자의 시점이 좌측으로부터 우측을 관찰하고 있는 것으로 판단되면, 제어부(110)는 제 1 방향을 시계 방향으로 회전시킨 제 2 방향에서 관찰한 것과 같이 객체 이미지를 보정할 수 있다. 상술한 바에서, 사용자의 시점이 좌측으로부터 우측을 관찰하고 있는 경우에 대하여 설명하였지만, 사용자의 시점이 우측으로부터 좌측을 관찰하는 것으로 결정된 경우, 하측으로부터 상측을 관찰하는 것으로 결정된 경우, 상측으로부터 하측을 관찰하는 것으로 결정된 경우 또는 상기 나열한 경우들이 혼합된 경우 등 다양한 사용자 시점에도 동일하게 적용될 수 있다는 것을 당업자는 용이하게 이해할 수 있을 것이다.
도 10은 일 실시 예에 의한 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
1010 단계에서, 전자 장치는 전자 장치 및 객체 사이의 거리를 측정할 수 있다.
1020 단계에서, 전자 장치는 객체를 촬영할 수 있다. 전자 장치는 객체 이미지를 획득할 수 있다.
1030 단계에서, 전자 장치는 객체 이미지의 표시 비율을 객체까지의 거리에 기초하여 결정할 수 있다. 여기에서, 표시 비율을 객체 이미지를 표시하는 정도를 의미할 수 있다.
표시 비율과 관련된 수학식 5는 하기와 같이 표시될 수 있다.
Figure 112013109450018-pat00005
수학식 5에서의 a는 가중치일 수 있으며, 객체까지에 거리에 관련될 수 있다.
여기에서 표시 비율이 증가하는 것은, 예를 들어 객체 이미지의 표시 강도, 예를 들어 표시 밝기가 증가하는 것일 수도 있다.
1040 단계에서, 전자 장치는 결정된 표시 비율로 촬영 이미지를 표시할 수 있다.
한편, 다른 실시 예에 의한 전자 장치는, 전자 장치로부터 제 1 객체까지의 거리를 측정하는 거리 측정부, 상기 제 1 객체를 촬영하는 외향 촬영부, 상기 제 1 객체로부터 입사되는 빛을 투과하며, 적어도 하나의 이미지를 표시가능한 투명 디스플레이 및 상기 전자 장치로부터 제 1 객체까지의 거리에 대응하여 결정된 표시 비율로 상기 촬영부에서 촬영된 이미지를 상기 투명 디스플레이 상에 표시하도록 제어하는 제어부를 포함할 수도 있다.
이 경우, 상기 제어부는, 상기 전자 장치로부터 제 1 객체까지의 거리가 기설정된 임계치 이하인 경우에는, 상기 외향 촬영부에서 촬영된 이미지를 표시하지 않도록 제어할 수 있으며, 상기 전자 장치로부터 상기 제 1 객체로의 거리가 증가할수록 상기 외향 촬영부에서 촬영된 이미지의 표시 비율을 증가하여 표시하도록 상기 투명 디스플레이를 제어할 수 있다.
특히, 상기 제어부는 수학식 6에 기초하여 상기 촬영된 이미지의 표시 비율을 결정할 수 있다.
Figure 112013109450018-pat00006
수학식 6에서의 a는 상기 전자 장치로부터 상기 제 1 객체로의 거리로 설정될 수 있다.
본 실시 예에 의한 전자 장치는, 사용자의 시선을 촬영하는 내향 촬영부를 더 포함하며, 상기 제어부는, 상기 내향 촬영부의 촬영 이미지에 기초하여 사용자의 시점을 판단하여, 상기 외향 촬영부의 시점 및 상기 사용자의 시점을 일치시키도록 제어할 수도 있다.
한편, 다른 실시 예에 의한 투명 디스플레이를 포함하는 전자 장치는, 상기 전자 장치로부터 제 1 객체까지의 거리를 측정하는 거리 측정부, 상기 제 1 객체로부터 입사되는 빛을 투과시키고 적어도 하나의 이미지를 디스플레이하는 투명 디스플레이 및 상기 전자 장치로부터 상기 제 1 객체까지의 거리에 기초하여, 복수 개의 표시 모드 중 하나의 모드로 디스플레이하도록 제어하는 제어부를 포함할 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.
이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 투명 디스플레이를 포함하는 전자 장치의 제어 방법에 있어서,
    객체로부터 입사되는 빛을 투과시키는 광학 표시 모드에 기초한 제 1 이미지를 획득하는 단계;
    상기 객체를 촬영한 이미지를 표시하는 비디오 표시 모드에 기초한 제 2 이미지를 획득하는 단계;
    상기 객체까지의 거리를 측정하는 단계; 및
    상기 전자 장치 및 상기 객체까지의 거리에 기초하여 상기 제 1 이미지 및 상기 제 2 이미지의 표시 비율을 결정하고, 상기 표시 비율에 기초하여 상기 제 1 이미지가 표시될 영역과 상기 제 2 이미지가 표시될 영역을 결정하고, 상기 투명 디스플레이 상에 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계
    를 포함하는 전자 장치의 제어 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는,
    상기 제 1 이미지의 표시 밝기 및 상기 제 2 이미지의 표시 밝기를 상기 표시 비율에 따라 조정하여 표시하는 제어 방법.
  4. 제 3 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는,
    상기 제 2 이미지의 표시 비율을 증가시키는 경우에는 상기 제 2 이미지의 표시 밝기를 증가시키고, 상기 제 1 이미지의 표시 비율을 증가시키는 경우에는 상기 제 2 이미지의 표시 밝기를 감소시키는 제어 방법.
  5. 제 3 항에 있어서,
    상기 제 1 이미지는, 상기 투명 디스플레이 상에 추가적인 렌더링 효과 더 표시하는 이미지이며,
    상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 추가적인 렌더링 효과의 표시 밝기 및 상기 제 2 이미지의 표시 밝기를 조정하여 표시하는 제어 방법.
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 거리가 증가할수록 상기 제 2 이미지의 표시 밝기를 증가시키며, 상기 거리가 감소할수록 상기 제 2 이미지의 표시 밝기를 감소시키는 제어 방법.
  9. 제 8 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지를 표시하는 단계는, 상기 거리가 제 1 임계치를 초과하면 상기 제 2 이미지만을 표시하고, 상기 거리가 제 2 임계치 미만이면 상기 제 1 이미지만을 표시하는 제어 방법.
  10. 제 1 항에 있어서,
    상기 제 1 이미지를 획득하는 단계는,
    상기 객체로부터 입사되는 빛을 투과시키는 투명 디스플레이에 추가적인 렌더링 효과를 부가하는 단계
    를 더 포함하는 제어 방법.
  11. 제 1 항에 있어서,
    상기 제 2 이미지를 획득하는 단계는, 상기 객체를 촬영하는 제어 방법.
  12. 제 1 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지 중 적어도 하나 상에 상기 객체와 관련된 추가 이미지를 더 표시하는 단계
    를 더 포함하는 제어 방법.
  13. 제 1 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계는, 상기 제 1 이미지를 상기 투명 디스플레이의 관심 영역에 표시하며, 상기 제 2 이미지를 상기 투명 디스플레이의 나머지 영역에 표시하는 제어 방법.
  14. 제 13 항에 있어서,
    관심 영역 지정을 수신하는 단계를 더 포함하고,
    상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계는, 관심 영역 지정에 의하여 결정된 관심 영역에 제 1 이미지를 표시하는 제어 방법.
  15. 제 13 항에 있어서,
    사용자의 시선을 내향 촬영하는 단계를 더 포함하며,
    상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하는 단계는, 상기 사용자의 시선이 향하는 지점을 관심 영역으로 결정하는 제어 방법.
  16. 제 1 항에 있어서,
    상기 객체를 외향 촬영하는 단계;
    사용자의 시선을 내향 촬영하는 단계; 및
    내향 촬영된 이미지에 기초하여 사용자의 시선을 판단하여, 상기 외향 촬영의 시점 및 상기 사용자의 시점을 일치시키도록 제어하는 단계
    를 더 포함하는 제어 방법.
  17. 제 16 항에 있어서,
    상기 사용자의 시선이 기설정된 내향 촬영 범위를 초과하면, 알림 메시지를 출력하는 단계
    를 더 포함하는 제어 방법.
  18. 전자 장치로,
    객체로부터 입사되는 빛을 투과시키고 적어도 하나의 이미지를 표시하는 투명 디스플레이;
    상기 객체를 촬영하는 외향 촬영부;
    상기 객체까지의 거리를 측정하는 거리 측정부; 및
    상기 빛을 투과시키는 광학 표시 모드에 기초한 제 1 이미지를 획득하고, 상기 객체를 촬영한 이미지를 표시하는 비디오 표시 모드에 기초한 제 2 이미지를 획득하고, 상기 객체까지의 거리를 측정하고, 상기 전자 장치 및 상기 객체까지의 거리에 기초하여 상기 제 1 이미지 및 상기 제 2 이미지의 표시 비율을 결정하고, 상기 표시 비율에 기초하여 상기 제 1 이미지가 표시될 영역과 상기 제 2 이미지가 표시될 영역을 결정하고, 상기 투명 디스플레이 상에 상기 제 1 이미지 및 상기 제 2 이미지를 혼합하여 표시하도록 제어하는 제어부
    를 포함하는 전자 장치.
  19. 제 18 항에 있어서,
    상기 제어부는, 상기 제 1 이미지의 표시 밝기 및 상기 제 2 이미지의 표시 밝기를 표시 비율에 따라 조정하여 표시하도록 제어하는 전자 장치.
  20. 제 18 항에 있어서,
    상기 제어부는, 상기 제 1 이미지를 상기 투명 디스플레이의 관심 영역에 표시하며, 상기 제 2 이미지를 상기 투명 디스플레이의 나머지 영역에 표시하도록 제어하는 전자 장치.



KR1020130147323A 2013-11-29 2013-11-29 투명 디스플레이를 포함하는 전자 장치 및 제어 방법 KR102170749B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130147323A KR102170749B1 (ko) 2013-11-29 2013-11-29 투명 디스플레이를 포함하는 전자 장치 및 제어 방법
US14/551,478 US9552063B2 (en) 2013-11-29 2014-11-24 Electronic device including transparent display and method of controlling the electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130147323A KR102170749B1 (ko) 2013-11-29 2013-11-29 투명 디스플레이를 포함하는 전자 장치 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20150064761A KR20150064761A (ko) 2015-06-12
KR102170749B1 true KR102170749B1 (ko) 2020-10-28

Family

ID=53265771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130147323A KR102170749B1 (ko) 2013-11-29 2013-11-29 투명 디스플레이를 포함하는 전자 장치 및 제어 방법

Country Status (2)

Country Link
US (1) US9552063B2 (ko)
KR (1) KR102170749B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170011183A (ko) * 2015-07-21 2017-02-02 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
EP3270580B1 (en) * 2016-07-15 2021-09-01 Hand Held Products, Inc. Imaging scanner with positioning and display
CN107622217B (zh) 2016-07-15 2022-06-07 手持产品公司 具有定位和显示的成像扫描仪
CN109388233B (zh) * 2017-08-14 2022-07-29 财团法人工业技术研究院 透明显示装置及其控制方法
KR102359601B1 (ko) * 2019-11-29 2022-02-08 한국과학기술원 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치
CN113923437B (zh) * 2020-07-09 2024-03-22 财团法人工业技术研究院 信息显示方法及其处理装置与显示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20050253877A1 (en) * 2004-05-12 2005-11-17 Thompson Robert D Display resolution systems and methods
US20110158478A1 (en) * 2008-09-11 2011-06-30 Brother Kogyo Kabushiki Kaisha Head mounted display
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4141620B2 (ja) 2000-07-04 2008-08-27 日本放送協会 立体物表示システム及びその受信装置
JP2004534963A (ja) 2001-03-30 2004-11-18 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 強化現実のための方法、システム及び装置
KR100911376B1 (ko) 2007-11-08 2009-08-10 한국전자통신연구원 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치
US8102334B2 (en) 2007-11-15 2012-01-24 International Businesss Machines Corporation Augmenting reality for a user
KR101036600B1 (ko) 2009-12-18 2011-05-24 주식회사 비전소프트텍 투명스크린을 이용한 3차원 가상현실 시스템 및 가상영상 표시방법
KR101090081B1 (ko) 2010-03-16 2011-12-07 주식회사 시공테크 증강현실 제공 시스템 및 그 제공 방법
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
KR101544524B1 (ko) 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US8638223B2 (en) 2011-05-18 2014-01-28 Kodak Alaris Inc. Mobile communicator with orientation detector
US8749573B2 (en) 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
TW201316328A (zh) 2011-10-14 2013-04-16 Hon Hai Prec Ind Co Ltd 聲音反饋裝置及其工作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20050253877A1 (en) * 2004-05-12 2005-11-17 Thompson Robert D Display resolution systems and methods
US20110158478A1 (en) * 2008-09-11 2011-06-30 Brother Kogyo Kabushiki Kaisha Head mounted display
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece

Also Published As

Publication number Publication date
US20150154801A1 (en) 2015-06-04
KR20150064761A (ko) 2015-06-12
US9552063B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
US11087443B2 (en) Augmented reality system and color compensation method thereof
US11756223B2 (en) Depth-aware photo editing
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
KR102170749B1 (ko) 투명 디스플레이를 포함하는 전자 장치 및 제어 방법
US9325968B2 (en) Stereo imaging using disparate imaging devices
US9990536B2 (en) Combining images aligned to reference frame
US10110868B2 (en) Image processing to determine center of balance in a digital image
US10754420B2 (en) Method and device for displaying image based on virtual reality (VR) apparatus
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
KR20190012465A (ko) 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
KR20190019606A (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
US20210250498A1 (en) Electronic device and method for displaying image in electronic device
US11094041B2 (en) Generation of bokeh images using adaptive focus range and layered scattering
EP2613520A2 (en) Apparatus and method of displaying camera view area in portable terminal
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
US20210074010A1 (en) Image-Processing Method and Electronic Device
US9292906B1 (en) Two-dimensional image processing based on third dimension data
KR101957417B1 (ko) 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
WO2024018975A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131129

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20181012

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20131129

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200326

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200727

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201021

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201022

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230914

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240912

Start annual number: 5

End annual number: 5