KR20160096853A - 전자 장치 및 사용자 인터페이스 제공 방법 - Google Patents

전자 장치 및 사용자 인터페이스 제공 방법 Download PDF

Info

Publication number
KR20160096853A
KR20160096853A KR1020150018428A KR20150018428A KR20160096853A KR 20160096853 A KR20160096853 A KR 20160096853A KR 1020150018428 A KR1020150018428 A KR 1020150018428A KR 20150018428 A KR20150018428 A KR 20150018428A KR 20160096853 A KR20160096853 A KR 20160096853A
Authority
KR
South Korea
Prior art keywords
user
user interface
display unit
electronic device
displayed
Prior art date
Application number
KR1020150018428A
Other languages
English (en)
Other versions
KR102375699B1 (ko
Inventor
신상민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150018428A priority Critical patent/KR102375699B1/ko
Priority to US15/016,732 priority patent/US10297037B2/en
Publication of KR20160096853A publication Critical patent/KR20160096853A/ko
Application granted granted Critical
Publication of KR102375699B1 publication Critical patent/KR102375699B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)

Abstract

본 발명의 일 실시예에 의한 전자 장치는, 거울로 동작 가능하고, 사용자 인터페이스를 표시하는 디스플레이부; 상기 디스플레이부 전면에 사용자의 접근을 감지하고, 상기 디스플레이부 전면의 피사체를 촬영하는 센서부; 사용자로부터 입력을 수신하는 입력부; 및 상기 센서부가 촬영한 이미지를 이용하여 상기 디스플레이부에 비치는 사용자의 신체 영역을 판단하고, 상기 디스플레이부에 표시된 사용자 인터페이스와 상기 사용자의 신체 영역의 적어도 일부분이 중첩되는지 판단하고, 상기 디스플레이부가 상기 사용자 인터페이스를 재설정하여 표시하도록 제어하는 제어부를 포함할 수 있다.

Description

전자 장치 및 사용자 인터페이스 제공 방법{Electronic device and method for providing user interface thereof}
본 발명의 다양한 실시예는, 제어부의 제어에 따라 디스플레이가 거울로 동작하거나, 사용자 인터페이스를 표시하는 전자 장치 및 전자 장치에서의 사용자 인터페이스 제공 방법에 관한 것이다.
최근에는, 일상 생활에서 사용하는 많은 물품들이 전자 제품으로 대체되고 있다. 또한, 일상 생활 용품들 중에서는 사용자의 편의성을 고려하여 복합적인 기능을 갖춘 용품들이 증가하고 있다. 이러한 다목적 생활 용품들은 대부분 전자 장치를 포함하고 있다. 예를 들어, 최근에 사용되는 하프 거울 디스플레이 장치의 경우, 거울로 사용되는 동시에, 사용자에게 컨텐츠 또는 정보를 제공하는 디스플레이 장치로도 사용된다.
본 발명의 다양한 실시예들은, 거울 및 사용자 인터페이스를 동시에 제공할 수 있는 전자 장치 및 사용자 인터페이스 제공 방법을 제공하고자 한다.
본 발명의 다양한 실시예에 따른 전자 장치는, 거울로 동작 가능하고, 사용자 인터페이스를 표시하는 디스플레이부; 상기 디스플레이부 전면에 사용자의 접근을 감지하고, 상기 디스플레이부 전면의 피사체를 촬영하는 센서부; 사용자로부터 입력을 수신하는 입력부; 및 상기 센서부가 촬영한 이미지를 이용하여 상기 디스플레이부에 비치는 사용자의 신체 영역을 판단하고, 상기 디스플레이부에 표시된 사용자 인터페이스와 상기 사용자의 신체 영역의 적어도 일부분이 중첩되는지 판단하고, 상기 디스플레이부가 상기 사용자 인터페이스를 재설정하여 표시하도록 제어하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 사용자 인터페이스 제공 방법은, 거울로 동작 중인 상기 디스플레이부에 적어도 하나의 사용자 인터페이스를 표시하는 동작; 상기 디스플레이부 전면의 피사체를 촬영하여 이미지를 생성하는 동작; 상기 생성한 이미지를 이용하여 상기 디스플레이부에 비치는 사용자의 신체 영역을 판단하는 동작; 상기 디스플레이부에 표시된 상기 적어도 하나의 사용자 인터페이스와 상기 사용자의 신체 영역의 적어도 일부분이 중첩되는지 판단하는 동작; 상기 사용자 인터페이스를 상기 사용자의 신체 영역과 중첩되지 않도록 재설정하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치 및 사용자 인터페이스 제공 방법에 의하면, 사용자의 신체가 디스플레이부에 비치는 영역을 피해서 사용자 인터페이스를 제공할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치 및 사용자 인터페이스 제공 방법에 의하면, 사용자는 거울을 보면서 사용자 인터페이스의 원활한 사용이 가능하다.
도 1은 본 발명의 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 2는 본 발명의 다양한 실시예들에 따른 전자 장치의 사용자 인터페이스 제공 방법의 순서도를 도시한다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 전자 장치 및 사용장 인터페이스 제공 방법에 따라 사용자 인터페이스의 위치를 변경하는 동작을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 전자 장치 및 사용자 인터페이스 제공 방법에 따라 사용자 인터페이스의 크기를 변경하는 동작을 설명하기 위한 도면이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 전자 장치 및 사용자 인터페이스 제공 방법에 따라 사용자 인터페이스의 위치 및 크기를 변경하는 동작을 설명하기 위한 도면이다.
도 6a 및 도6b는 본 발명의 일 실시예에 따른 전자 장치 및 사용자 인터페이스 제공 방법에 따라 멀티미디어 재생 화면의 크기 및 위치를 변경하는 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자 장치의 사용자 인터페이스 제공 방법의 순서도를 도시한다.
이하 본 개시에 따른 상세한 설명에서는 상술한 기술적 과제를 이루기 위한 대표적인 실시 예를 제시할 것이다. 또한, 본 개시에 대한 설명의 편의를 위하여 정의하고 있는 개체들의 명칭들을 동일하게 사용할 수 있다. 하지만, 설명의 편의를 위해 사용된 명칭들이 본 개시에 따른 권리를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 대해 동일 또는 용이한 변경에 의해 적용 가능함은 물론이다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 개시는 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한 되어지지 않는다.
또한, 본 개시에 사용된 단수형은 문맥상 명확하게 달리 지적하지 않은 이상 복수형도 포함하는 것으로 의도된 것이다. 또한, 본 명세서에 사용된 "및"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함되는 것으로 이해되어야 한다.
또한, 본 개시에 기재된 "~ 부,"~ 모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 개시를 설명한다.
도 1은 본 발명의 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 다른 전자 장치는 디스플레이부(110), 센서부(120), 제어부(130), 통신부(140), 저장부(150), 오디오부(160)를 포함할 수 있다.
디스플레이부(110)는 제어부(130)의 제어에 따라 거울로 동작할 수 있다. 또한, 디스플레이부(110)는 제어부(130)의 제어에 따라 사용자 인터페이스를 표시할 수 있다. 디스플레이부(110)는 거울로 동작하기 위하여 하프 미러를 포함할 수 있다. 본 발명의 다양한 실시예들에 따르면, 디스플레이부(110)는 LED로 구성된 픽셀들 사이의 빈 공간이 거울로 채워져서 구성될 수 있다. 디스플레이부(110)는 LCD 패널에 거울(예를 들면, 하프 거울)이 적층되어 형성될 수 있다.
디스플레이부(110)는 사용자 디바이스 운용에 따른 다양한 화면(예컨대, 미디어 컨텐츠 재생 화면, 통화 발신을 위한 화면, 메신저 화면, 게임 화면, 갤러리 화면 등)을 표시할 수 있다. 디스플레이부(110)가 터치 스크린을 포함하는 경우, 디스플레이부(110)는 화면 표시 중에 사용자의 터치 이벤트(touch event)가 입력되면, 터치 이벤트에 따른 입력신호를 제어부(130)에 전달할 수 있다. 디스플레이부(110)는 전자 장치에서 처리되는 정보를 표시(출력)할 수 있다. 예를 들어, 디스플레이부(110)는 전자 장치가 통화모드인 경우 통화와 관련된 사용자 인터페이스(UI, User Interface) 또는 그래픽 사용자 인터페이스(GUI, Graphical UI)를 표시할 수 있다. 디스플레이부(110)는 사용자 디바이스가 화상통화 모드 또는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시할 수 있다. 디스플레이부(110)는 액정 디스플레이(LCD, Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(TFT LCD, Thin Film Transistor-LCD), 발광 다이오드(LED, Light Emitting Diode), 유기 발광 다이오드(OLED, Organic LED), 능동형 OLED(AMOLED, Active Matrix OLED), 플렉서블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 일 실시예에 의하면, 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다.
본 발명의 일 실시예에 따르면, 디스플레이부(110)는 거울로 동작할 수 있다. 디스플레이부(110)는 거울로 동작 중에 제어부(130)의 제어에 따라 적어도 하나의 사용자 인터페이스를 표시할 수 있다. 예를 들어, 사용자 인터페이스는 애플리케이션 실행 화면(예를 들면, 인터넷 실행 화면, 헬스 케어 애플리케이션 화면, 주변 매장 정소 검색 화면 등), 애플리케이션 실행 아이콘, 이미지 컨텐츠, 또는 멀티미디어 컨텐츠를 포함할 수 있다. 사용자 인터페이스는 디스플레이부(110)가 사용자의 터치 입력 또는 제어부(130)의 제어에 따라 표시할 수 있는 다양한 컨텐츠들을 모두 포함할 수 있다. 예를 들어, 사용자 인터페이스는 전자 장치의 기능을 수행하기 위한 메뉴, 전자 장치에서 기본적으로 제공하는 시간, 날짜, 날씨 등의 정보를 나타내는 아이콘, 또는 화면을 포함할 수 있다.
디스플레이부(110)는 제어부(130)의 제어에 따라 표시한 사용자 인터페이스의 크기를 변경하여 표시할 수 있다. 디스플레이부(110)는 제어부(130)의 제어에 따라 표시한 사용자 인터페이스의 위치를 변경할 수 있다.
센서부(120)는, 예를 들면, 제스처 센서(Gesture Sensor), 자이로 센서(Gyro Sensor), 마그네틱 센서(Magnetic Sensor), 가속도 센서(Acceleration Sensor), 근접 센서(Proximity Sensor), 조도 센서(Illuminance Sensor)(156) 또는 지문인식 센서 등을 포함할 수 있다.
본 발명의 일 실시예에 의하면, 센서부(120)는 디스플레이부(110) 전면에 사용자의 접근을 감지할 수 있다. 예를 들어, 센서부(120)는 근접 센서 또는 적외선 센서를 이용하여 전자 장치 전면부 쪽에 사용자가 접근하는 것을 감지할 수 있다. 센서 부는 사용자의 접근을 감지하면 제어부(130)에 감지 신호를 전송할 수 있다. 감지 신호는 사용자가 전자 장치에 기 설정된 거리 이상 접근한 것을 제어부(130)에 알려주는 신호일 수 있다.
본 발명의 일 실시예에 의하면, 센서부(120)는 디스플레이부(110)에 비치는 사용자의 신체 영역을 감지할 수 있다. 예를 들어, 센서부(120)는 이미지 센서, IR 센서 등을 사용하여 디스플레이부(110) 전면에 접근한 사용자의 모습을 감지할 수 있다.
본 발명의 일 실시예에 따르면, 센서부(120)는 디스플레이부(110) 전면의 피사체를 촬영하여 이미지를 생성할 수 있다. 예를 들어, 센서부(120)는 디스플레이부의 전면에 접근한 사용자를 감지하고, 사용자를 촬영할 수 있다.
본 발명의 일 실시예에 따르면, 센서부(120)는 카메라 모듈을 포함할 수 있다. 카메라 모듈은 센서부(120)에 포함되어 하나의 모듈로 구성될 수도 있고, 별도의 독립적인 모듈로 구성될 수도 있다. 카메라 모듈은 광학 신호를 집광하는 렌즈, 광학 신호의 광량을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터, 광학 신호를 수광하여 전기 신호로 변환하는 이미지 센서 등을 포함할 수 있다. 예를 들면, 렌즈는 초점 거리 정보(focus length)에 따라 화각이 좁아지거나 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함할 수 있다. 이들 렌즈는 각각 하나의 렌즈로 구성될 수도 있지만, 복수 렌즈들의 군집으로 이루어질 수도 있다. 일 실시예로, 셔터는 가리개가 위아래로 움직이는 기계식 셔터를 포함할 수 있다. 다른 실시예로, 이미지 센서가 전기 신호의 공급을 제어하여 셔터 역할을 대신 수행할 수 있다. 이미지 센서는 광학 신호를 수광하여 전기 신호로 변환하여 제어부(130)에 전송할 수 있다. 이미지 센서로는 예를 들어, CCD(Charge Coupled Device) 센서, CMOS(Complementary Metal Oxide Semiconductor) 센서 등을 포함할 수 있다.
카메라 모듈은 렌즈, 조리개, 셔터를 구동하기 위한 모터를 포함할 수 있다. 예를 들어, 모터는 오터 포커스, 자동 노출 조정, 조리개 조정, 줌, 초점 변경 등의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작 등을 구동할 수 있다. 여기서, 모터는 제어부(130)로부터 제어 신호를 공급받아 렌즈, 조리개, 셔터의 구동을 제어할 수 있다.
본 발명의 일 실시예에 따르면, 카메라 모듈은 디스플레이부(110)의 전면(즉, 전자 장치의 전면)을 촬영할 수 있다. 카메라 모듈은 디스플레이부(110)의 전면을 촬영하여 이미지 또는 동영상을 생성할 수 있다. 카메라 모듈은 생성한 이미지 또는 동영상을 제어부(130)에 전송할 수 있다. 본 발명의 다양한 실시예에 따르면, 사용자가 전자 장치의 전면부 쪽으로 접근하는 경우, 상기 카메라 모듈은 접근한 사용자를 촬영할 수 있다.
본 발명의 일 실시예에 따르면, 카메라 모듈은 전자 장치의 상단 중앙에 배치될 수 있다. 카메라 모듈은 디스플레이부(110)가 거울로 동작하는 경우, 사용자의 모습이 거울에 비치는 모습과 동일한 이미지 또는 동영상을 생성하도록 배치될 수 있다. 예를 들어, 사용자가 거울로 동작 중인 디스플레이부(110)에 비치는 모습과 카메라 모듈이 생성한 이미지는 같은 형태일 수 있다. 본 발명의 다양한 실시예들에 따르면, 카메라 모듈이 생성한 이미지가 디스플레이부(110)에 비치는 모습과 일치할 수 있도록 카메라 모듈의 위치 및 각도는 다르게 설정될 수 있다. 본 발명의 일 실시예에 따르면, 센서부(120)가 감지한 사용자의 거리에 따라 상기 카메라 모듈의 촬영 각도 및 배율이 조절될 수 있다.
제어부(130)는 디스플레이부(110)를 거울로만 동작하도록 제어할 수 있다. 제어부(130)는 디스플레이부(110)가 사용자 인터페이스를 표시하도록 제어할 수 있다. 본 발명의 일 실시예에 따르면, 디스플레이부(110)는 사용자 인터페이스를 표시하기 전에는 거울로 동작할 수 있다. 예를 들어, 플레이부의 후방에 배치되는 백라이트를 제어하여 디스플레이부(110)를 거울로 동작하도록 제어할 수 있다. 제어부(130)가 디스플레이부(110)의 백라이트를 끄는 경우, 디스플레이부(110)가 거울로 동작할 수 있다. 제어부(130)가 디스플레이부(110)의 백라이트를 키는 경우, 디스플레이부(110)는 사용자 인터페이스를 표시하는 표시 화면으로 동작할 수 있다. 본 발명의 다양한 실시예들에 따르면, 제어부(130)는 거울로 동작 중인 디스플레이부(110)를 제어하여 사용자 인터페이스를 표시하게 함으로써, 디스플레이부(110)가 거울로 동작하면서 동시에 사용자 인터페이스를 표시하도록 제어할 수 있다.
제어부(130)는 센서부(120)로부터 감지 신호를 수신하여, 사용자의 접근을 감지할 수 있다. 제어부(130)는 사용자가 디스플레이부(110)의 전면에 기 설정된 거리 이상 떨어져 있는 것을 감지한 경우에 디스플레이부(110)가 사용자 인터페이스를 표시하도록 제어할 수 있다.
제어부(130)는 센서부(120)가 생성한 이미지를 이용하여 디스플레이부(110)에 비치는 사용자의 신체 영역을 판단할 수 있다. 제어부(130)는 디스플레이부(110)에 표시된 적어도 하나의 사용자 인터페이스와 사용자의 신체 영역의 적어도 일부분이 중첩되는지 판단할 수 있다. 예를 들어, 제어부(130)는 센서부(120)가 촬영한 이미지를 이미지 프로세싱(image processing)하여 디스플레이부(110)의 화면 사이즈와 모양 및 크기가 일치하도록 보정할 수 있다. 본 발명의 일 실시예에 따르면, 제어부(130)는 센서부(120)가 촬영한 이미지에 포함된 사용자의 신체 부분을 판단할 수 있다. 예를 들어, 제어부(130)는 이미지의 명암값 등을 비교하여 이미지에 포함된 사용자의 신체 부분을 판단할 수 있다. 또는, 제어부(130)는 이미지에서 사용자의 얼굴 영역을 인식할 수 있다. 즉, 사용자의 신체 부분은 사용자의 얼굴 부분일 수 있다. 제어부(130)가 판단하는 사용자의 신체 부분은 사용자의 신체 전부일 수도 있고, 신체의 일부분일 수도 있다. 제어부(130)는 센서부(120)가 촬영한 이미지를 디스플레이부(110)와 매칭시킴으로써, 디스플레이부(110)에 사용자의 신체가 비치는 영역을 판단할 수 있다.
제어부(130)는 사용자 인터페이스와 사용자의 신체 영역의 적어도 일부분이 중첩되는 경우, 사용자 인터페이스를 재설정할 수 있다. 제어부(130)는 사용자 인터페이스를 재설정함으로써, 디스플레이부(110)에 비치는 사용자의 신체 영역과 사용자 인터페이스가 중첩되지 않도록 제어할 수 있다.
제어부(130)는 사용자 인터페이스의 크기를 조절할 수 있다. 제어부(130)는 사용자 인터페이스의 크기를 기 설정된 비율로 조절할 수 있다. 디스플레이부(110)에 복수 개의 사용자 인터페이스들이 표시된 경우, 제어부(130)는 각각의 사용자 인터페이스를 동일한 비율로 축소시킬 수도 있고, 서로 다른 비율로 축소시킬 수도 있다.
제어부(130)는 디스플레이부(110)에 표시된 사용자 인터페이스의 위치를 이동시킬 수 있다. 예를 들어, 제어부(130)는 디스플레이부(110) 중앙에 표시된 사용자 인터페이스를 디스플레이부(110)의 상단 또는 바깥쪽으로 이동시킬 수 있다. 또는, 사용자의 신체 영역이 디스플레이부(110)의 오른쪽에 치우쳐 있는 경우, 제어부(130)는 사용자 인터페이스를 디스플레이부(110)의 좌측으로 이동시킬 수도 있다. 즉, 제어부(130)는 디스플레이부(110)에 비치는 사용자의 신체 영역을 제외한 다른 위치로 사용자 인터페이스를 이동시킬 수 있다.
본 발명의 일 실시예에 따르면, 제어부(130)는 디스플레이부(110) 전 부분에 사용자 인터페이스(예를 들면, 애플리케이션 실행 아이콘)이 표시되어 있는 경우, 사용자 인터페이스의 크기를 축소시킨 후 사용자의 신체 영역의 밖으로 사용자 인터페이스를 이동시킬 수 있다. 즉, 제어부(130)는 표시된 사용자 인터페이스들이 전부 사용자의 신체 영역 밖에 위치하도록 사용자 인터페이스들의 크기 및 위치를 변경할 수 있다.
본 발명의 일 실시예에 따르면, 제어부(130)는 기 설정된 크기 이상으로 사용자 인터페이스의 크기를 제한할 수 있다. 즉, 제어부(130)는 기 설정된 크기 미만으로 사용자 인터페이스의 크기가 줄어들어 사용자가 사용자 인터페이스를 식별하지 못하게 되는 경우를 방지할 수 있다. 제어부(130)는 사용자의 입력에 따라 기준이 되는 상기 기 설정된 크기를 변경할 수 있다. 이 경우, 제어부(130)는 기 설정된 최소의 크기로 사용자 인터페이스를 변경한 후, 디스플레이부(110)의 화면 안에서 사용자의 신체 영역과 중첩되는 부분이 최소가 되도록 사용자 인터페이스들을 이동시킬 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 사용자 인터페이스의 크기를 최소로 축소하고, 사용자 인터페이스의 위치를 디스플레이부(110) 화면의 최대한 외곽으로 이동시킨 경우에도 사용자 인터페이스와 사용자의 신체 영역이 중첩되는 경우, 사용자 인터페이스의 크기 및 위치를 기 설정된 초기 상태로 재설정할 수 있다.
일 실시예에 따르면, 제어부(130)는 디스플레이부(110)에 비치는 사용자의 신체 영역이 일정 영역 이상인 경우에 디스플레이부(110)에 표시된 사용자 인터페이스를 재설정할 수 있다. 예를 들어, 제어부(130)는 사용자의 신체 영역이 기 설정된 면적 이상인지 판단할 수 있다. 제어부(130)는 사용자의 신체 영역이 디스플레이부(110)의 전체 화면 중 일정 비율 이상을 차지하는지 판단할 수 있다. 제어부(130)는 사용자의 신체 영역이 일정 면적 이상이 되거나, 디스플레이부(110)의 일정 비율 이상을 차지하는 경우에 기 표시된 사용자 인터페이스의 크기 또는 위치를 재설정할 수 있다. 이 경우, 상기 일정 면적 또는 일정 비율은 기 설정된 값일 수도 있고, 사용자의 입력에 따라 설정 또는 변경될 수도 있다. 예를 들어, 제어부(130)는 사용자의 신체 영역과 디스플레이부(110)에 표시된 사용자 인터페이스가 겹쳐지지 않도록 사용자 인터페이스의 크기를 축소할 수 있다. 제어부(130)는 사용자 인터페이스가 사용자의 신체 영역과 겹쳐지지 않도록 사용자 인터페이스를 사용자의 신체 영역 외의 영역으로 이동시킬 수 있다. 제어부(130)는 사용자 인터페이스의 크기를 축소하면서 사용자의 신체 영역 외의 영역으로 이동시켜 사용자 인터페이스를 재배치할 수 있다.
디스플레이부(110)에 비치는 사용자의 신체 영역이 협소한 부분만을 차지하는 경우에는 사용자가 표시된 사용자 인터페이스를 보는데 큰 불편함을 느끼지 않을 수 있다. 이 경우, 제어부(130)는 디스플레이부(110)에 비치는 사용자의 신체 영역이 일정 크기 미만인 경우, 표시된 사용자 인터페이스를 재설정하지 않고 동일하게 표시할 수 있다. 일 실시예에 따르면, 제어부(130)는 사용자의 신체 영역이 일정 크기 미만인 경우에도, 사용자 인터페이스의 크기 및 위치를 변경하여 재배치할 수 있다.
일 실시예에 따르면, 제어부(130)는 사용자 인터페이스와 디스플레이부(110)에 비친 사용자의 신체 영역이 겹치는 경우에 기 설정된 시간 내에 사용자로부터 입력이 수신되는지를 확인할 수 있다. 제어부(130)는 기 설정된 시간 내에 사용자로부터 입력이 수신되면, 표시 중인 사용자 인터페이스의 재설정 없이 사용자 입력에 대응되는 기능을 수행할 수 있다. 제어부(130)는 사용자로부터 기 설정된 시간 내에 입력이 수신되지 않으면, 사용자 인터페이스를 사용자의 신체 영역과 중첩되지 않도록 재설정할 수 있다. 제어부(130)는 사용자의 설정 입력에 따라 사용자의 입력 수신 여부를 판단하기 위한 기 설정된 시간을 변경할 수 있다. 제어부(130)는 사용자 인터페이스를 재설정한 후에 사용자로부터 입력을 수신한 경우, 사용자로부터의 입력에 기반하여 사용자 인터페이스의 크기 또는 위치를 재설정할 수 있다. 예를 들어, 제어부(130)는 사용자의 터치 입력이 수신된 사용자 인터페이스의 크기를 확대하거나, 사용자의 터치 입력이 수신된 사용자 인터페이스의 표시 위치를 디스플레이부(110)의 중앙 부분으로 변경할 수 있다.
일 실시예에 따르면, 제어부(130)는 특정 애플리케이션 또는 특정 사용자 인터페이스가 실행 중이지 않은 경우에 디스플레이부(110)에 표시된 사용자 인터페이스를 재설정할 수 있다. 예를 들어, 전자 장치(100)가 특정 특정 애플리케이션 실행 화면을 표시하고 있거나, 또는 특정 사용자 인터페이스 실행 화면을 표시하고 있는 중인 경우에는 사용자가 전자 장치(100)를 거울 기능 외에 실행 중인 애플리케이션 또는 사용자 인터페이스를 위해 사용하고 있는 중일 수 있다. 이 경우, 사용자는 일부 거울에 비친 신체 영역과 상기 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면이 겹치더라도, 상기 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면을 디스플레이부(110)의 가운데에 표시하거나, 큰 화면으로 표시하길 원할 수 있다. 제어부(130)는 디스플레이부(110)가 특정 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면을 표시 중인 경우에는, 상기 실행 화면을 디스플레이부(110)의 중앙에 재배치하거나, 또는 실행 화면의 크기를 확대할 수 있다. 또는, 제어부(110)는 디스플레이부(110)가 특정 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면을 표시 중인 경우에 디스플레이부(110)에 표시된 사용자 인터페이스를 디스플레이부(110)에 사용자의 신체가 비치는 사용자의 신체 영역 외부로 이동시키거나, 크기를 축소하지 않을 수도 있다. 예를 들어, 전자 장치(100)가 멀티미디어 재생 애플리케이션을 실행 중인 경우에 제어부(130)는 디스플레이부(110)에 표시된 사용자 인터페이스(예를 들어, 멀티미디어 재생 화면, 멀티미디어 애플리케이션 실행 화면 등)의 크기 및 위치를 변경하지 않고 그대로 유지할 수 있다. 다른 예로, 전자 장치(100)가 사용자의 입력에 따라 날씨 애플리케이션을 실행 중인 경우, 제어부(130)는 표시된 사용자 인터페이스(예를 들어, 날씨 애플리케이션 화면)와 사용자의 신체 영역이 겹치게 되더라도 사용자 인터페이스(예를 들어, 날씨 애플리케이션 화면)의 크기 및 위치를 변경하지 않고 유지할 수 있다.
일 실시예에 따르면, 제어부(130)는 사용자의 입력에 따라 특정 애플리케이션 또는 특정 사용자 인터페이스를 활성화시킨 경우에, 이전에 크기를 축소하였던 사용자 인터페이스(예를 들면, 특정 애플리케이션의 실행 화면, 또는 사용자 인터페이스의 실행 화면 등)의 크기를 다시 확대할 수 있다. 또는, 제어부(130)는 이전에 사용자의 신체 영역 밖으로 이동시켰던 사용자 인터페이스를 초기 설정된 위치 또는 새로운 위치로 재배치할 수 있다.
일 실시예에 따르면, 제어부(110)는 사용자로부터 특정 사용자 인터페이스 또는 특정 애플리케이션을 실행하기 위한 입력을 수신하면, 사용자의 입력에 따라 실행시킨 애플리케이션 또는 사용자 인터페이스에 따라 디스플레이부(110)에 새롭게 표시되는 사용자 인터페이스(예를 들어, 실행 시킨 애플리케이션 또는 사용자 인터페이스의 실행 화면)의 크기 및 위치는 사용자의 신체 영역과 겹치더라도 재설정하지 않고 표시할 수 있다. 또는, 제어부(130)는 새롭게 표시되는 사용자 인터페이스의 크기를 확대하거나, 화면의 다른 위치에 재배치할 수도 있다. 또는, 제어부(130)는 새로운 사용자 인터페이스가 디스플레이부(110)에 표시되는 경우, 디스플레이부(110)에 표시된 적어도 하나 이상의 인터페이스의 위치 및 크기를 재설정할 수 있다.
제어부(130)는 디스플레이부(110)의 전면에 사용자가 감지되지 않으면, 사용자 인터페이스의 크기 및 위치를 기 설정된 초기 상태로 재설정할 수 있다.
통신부(140)는 전자 장치의 무선 통신 기능을 지원하며,전자 장치가 이동 통신 기능을 지원하는 경우 이동 통신 모듈로서 구성될 수 있다.통신부(140)는 송신되는 무선 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신부 및 수신되는 무선 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신부 등을 포함할 수 있다.또한,전자 장치가 와이파이 통신,블루투스 통신,지그비(Zigbee) 통신, UWB(Ultra Wideband) 통신 및NFC(Near Field Communication) 통신 등과 같은 근거리 무선 통신 기능을 지원하는 경우 통신부(140)는 와이파이 통신 모듈,블루투스 통신 모듈, 지그비(Zigbee) 통신 모듈, UWB 통신 모듈, NFC 통신 모듈 등을 포함할 수 있다.특히,본 발명의 일 실시 예에 따른 통신부(140)는 제어부(130)의 제어 하에 다른 전자 장치 또는 특정 서버로부터 사용자의 요청에 따른 각종 생활 정보를 수신할 수 있다. 예를 들어, 통신부(140)는 날씨 정보, 교통 정보, 지도 정보 또는 현재의 시간 정보를 외부 네트워크로부터 수신할 수 있다. 통신부(140)는 사용자가 요청한 각종 이미지 또는 멀티미디어 컨텐츠를 외부 네트워크로부터 수신할 수 있다.
저장부(150) 는 영상 데이터, 음성 데이터, 카메라부로부터 입력된 데이터, 연산 처리를 위한 데이터, 전자 장치(100)의 동작에 필요한 알고리즘, 설정 데이터, 가이드 정보 등을 포함할 수 있으며, 또한 처리 결과 등을 임시 저장할 수 있다. 저장부(150)는 휘발성 메모리 또는 비 휘발성 메모리를 포함할 수 있다. 예를 들어, 휘발성 메모리는 에스램(Static Random Access Memory, SRAM), 디램(Dynamic Random Access Memory, DRAM) 등을 포함할 수 있으며, 비휘발성 메모리는 롬(Read Only Memory, ROM), 플래쉬 메모리(Flash Memory), 하드 디스크(Hard Disk), SD 카드(Secure Digital Memory Card), MMC 카드(Multi-Media Card) 등을 포함할 수 있다.
오디오부(160)는 음성과 전기신호를 쌍방향으로 변화시킬 수 있다. 오디오부(160), 예를 들어, 스피커, 리시버, 이어폰 또는 마이크 중 적어도 하나를 포함하여 입력 또는 출력되는 음성 정보를 변환시킬 수 있다. 본 발명의 일 실시예에 의하면, 오디오부(160)는 디스플레이부(110)에 재생 중인 컨텐츠와관련된 음성을 출력할 수 있다. 오디오부(160)는 사용자로부터 음성 신호를 입력 받아 전기 신호로 변환하여 제어부(130)에 전달할 수 있다.
입력부(170)는 터치 패널(touch panel), (디지털) 펜 센서(pen sensor), 키(key) 또는 초음파(ultrasonic) 입력 장치를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 터치 패널은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널은 사용자에게 촉각 반응을 제공할 수 있다.
펜 센서는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 시트(sheet)를 이용하여 구현될 수 있다. 키는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키 패드를 포함할 수 있다. 초음파(ultrasonic) 입력 장치는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(100)에서 마이크(미도시)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다.
본 발명의 일 실시예에 따르면, 입력부(170)는 사용자로부터 입력을 수신할 수 있다. 예를 들어, 입력부(170)는 사용자로부터 디스플레이부(110)에 표시된 특정 사용자 인터페이스를 제어하기 위한 입력을 수신할 수 있다. 예를 들어, 입력부(170)는 사용자로부터 특정 기능을 수행하기 위한 입력을 수신할 수 있다.
본 발명의 일 실시예에 따르면, 디스플레이부(110) 및 입력부(170)는 하나의 모듈로서 구현될 수 있다. 예를 들어, 디스플레이부(110) 및 입력부(170)는 터치 스크린일 수 있다. 터치스크린은 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치스크린은 터치되는 위치 및 면적뿐만 아니라, 적용한 터치 방식에 따라 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치스크린에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 전달될 수 있다. 터치 제어기(미도시)는 그 신호(들)를 처리한 다음 해당 데이터를 제어부(130)로 전달할 수 있다.터치 스크린은 디스플레이부(110)의 기능을 수행하는 표시 패널 및 입력부(170)의 기능을 수행하는 터치 패널을 포함할 수 있다. 터치스크린(즉, 디스플레이부(110) 및 입력부(170))는 터치스크린 표면에 접촉하는 사용자의 터치 이벤트 입력(예컨대, 터치 기반의 롱 프레스(long press) 입력, 터치 기반의 숏 프레스(short press) 입력, 싱글터치(single-touch) 기반의 입력, 멀티터치(multi-touch) 기반의 입력, 터치 기반의 제스처(예컨대, 드래그(drag) 등) 입력 등)을 감지할 수 있다. 디스플레이부(110)는 표면에서 사용자의 터치 이벤트를 감지한 경우, 상기 터치 이벤트가 발생된 좌표를 검출하고 검출된 좌표를 제어부(130)에 전달할 수 있다.
이하, 본 발명의 다양한 실시예들을 설명함에 있어서, 디스플레이부(110)와 입력부(170)를 하나의 터치 스크린으로 가정하여 설명하나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 의한 전자 장치(100)의 사용자 인터페이스 제공 방법의 순서도이다.
210 동작에서, 전자 장치(100)는 디스플레이부(110)를 거울로 동작 시킬 수 있다. 디스플레이부(110)는 거울(또는, 하프 거울(half mirror))을 포함할 수 있다. 즉, 디스플레이부(110)는 사용자 인터페이스를 표시하기 전에는 일반적인 거울로 동작할 수 있다. 210 동작에서, 전자 장치(100)는 디스플레이부(110)를 사용자 인터페이스를 표시하기 전의 거울 전용의 상태로 동작시킬 수 있다.
220 동작에서, 전자 장치(100)는 전자 장치(100)의 전면부 쪽에 사용자가 접근한 것을 감지할 수 있다. 즉, 전자 장치(100)는 디스플레이부(110)의 전면부 쪽에 사용자가 접근한 것을 감지할 수 있다. 전자 장치(100)는 사용자의 접근을 감지하면, 230동작을 수행할 수 있다. 전자 장치(100)는 사용자의 접근을 감지하지 못하면 계속해서 디스플레이부(110)를 거울로 동작시킬 수 있다. 예를 들어, 전자 장치(100)는 근접 센서 또는 IR 센서 등을 사용하여 사용자가 디스플레이부(110) 전면의 기 설정된 거리 이내로 접근한 것을 감지할 수 있다.
230 동작에서, 전자 장치(100)는 디스플레이부(110)에 사용자 인터페이스를 표시할 수 있다. 사용자 인터페이스는 애플리케이션 실행 화면, 애플리케이션 실행 아이콘, 이미지 컨텐츠, 또는 멀티미디어 컨텐츠를 포함할 수 있다. 본 발명의 다양한 실시예에서, 사용자 인터페이스는 디스플레이부(110)에 표시되는 다양한 오브젝트들을 모두 포함할 수 있다. 전자 장치(100)가 디스플레이부(110)에 사용자 인터페이스를 표시함으로써, 디스플레이부(110)는 거울로 동작하는 화면 상에 사용자 인터페이스를 표시할 수 있다. 예를 들어, 디스플레이부(110)에 애플리케이션 실행 아이콘들을 표시하는 경우, 표시된 애플리케이션 실행 아이콘들 외의 영역은 거울 화면일 수 있다.
240 동작에서, 전자 장치(100)는 디스플레이부(110)의 전면의 피사체를 촬영할 수 있다. 예를 들어, 전자 장치(100)는 카메라 모듈을 이용하여 디스플레이부(110) 전면의 피사체를 촬영하여 이미지 또는 동영상을 생성할 수 있다.
250 동작에서, 전자 장치(100)는 디스플레이부(110)에 비치는 사용자의 영역을 판단할 수 있다. 전자 장치(100)는 240 동작에서 생성한 이미지를 이용하여 디스플레이부(110)에 비치는 사용자의 신체 영역을 판단할 수 있다. 전자 장치(100)는 디스플레이부(110)의 전면을 촬영한 이미지(또는 동영상)에서 사용자의 신체 부분을 판단할 수 있다. 예를 들어, 전자 장치(100)는 이미지(또는 동영상)에서 얼굴 인식을 통한 사용자의 얼굴 영역을 판단할 수 있다. 전자 장치(100)는 촬영한 이미지(또는 동영상)를 이미지 프로세싱을 통하여 보정할 수 있다. 예를 들어, 전자 장치(100)는 촬영한 이미지(또는 동영상)를 디스플레이부(110)와 동일한 크기 및 형태로 보정할 수 있다. 전자 장치(100)는 촬영한 이미지(또는 동영상)에 특정 영역에 사용자의 신체 영역이 포함된 경우, 이를 디스플레이부(110)의 화면과 매핑함으로써, 사용자의 신체가 거울로 동작 중인 디스플레이부(110)에 비치는 사용자의 신체 영역을 판단할 수 있다. 본 발명의 일 실시예에서, 전자 장치(100)는 얼굴 인식을 수행하여 사용자의 신체 중 얼굴 영역을 판단할 수 있다. 즉, 전자 장치(100)는 디스플레이 부에 비치는 사용자의 얼굴 영역을 판단할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 거울로 동작 중인 디스플레이에 비치는(또는 반사되는) 모습과 동일한 영상을 촬영할 수 있다. 이를 위해서, 전자 장치(100)는 카메라 모듈의 위치, 촬영 각도, 촬영 거리 및 촬영하여 생성할 이미지 또는 동영상의 크기를 변경할 수 있다. 예를 들어, 전자 장치(100)가 벽면에 고정되는 경우, 센서부(120)(예를 들면, 카메라 모듈)가 전자 장치(100)가 고정된 높이에 대응되는 높이의 전면을 촬영하도록 설정될 수 있다. 본 발명의 일 실시예에 따른 전자 장치(100)는 사용자가 감지된 거리에 따라 센서부(120)(예를 들면, 카메라 모듈)가 촬영하는 촬영 각도 또는 촬영 배율을 변경할 수 있다. 전자 장치(100)는, 촬영 및 보정한 이미지 또는 동영상을 기반하여 디스플레이부(110)에 비친 사용자의 신체 영역을 판단할 수 있다.
260 동작에서, 전자 장치(100)는 디스플레이부(110)에 표시된 적어도 하나의 사용자 인터페이스와 디스플레이부(110)에 비치는 사용자의 신체 영역의 적어도 일부분이 중첩되는지 판단할 수 있다. 예를 들어, 전자 장치(100)는 250 동작에서 판단한 디스플레이부(110)에 비치는 사용자의 신체 영역의 적어도 일부분이 디스플레이부(110)에 표시한 사용자 인터페이스와 중첩되는 부분이 있는지 판단할 수 있다. 전자 장치(100)는, 사용자 인터페이스와 사용자의 신체 영역이 중첩되는 것으로 판단하면 270동작을 수행할 수 있다. 전자 장치(100)는 사용자 인터페이스와 사용자의 신체 영역이 중첩되는 부분이 없다고 판단하면, 280 동작을 수행할 수 있다.
270 동작에서, 전자 장치(100)는 디스플레이부(110)에 표시한 사용자 인터페이스를 재설정할 수 있다. 전자 장치(100)는 사용자 인터페이스와 디스플레이부(110)에 비치는 사용자의 신체 영역이 중첩되지 않도록 사용자 인터페이스의 크기 또는 위치를 재설정할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 신체 영역과 디스플레이부(110)에 표시된 사용자 인터페이스가 겹쳐지지 않도록 디스플레이부(110)에 표시된 사용자 인터페이스의 크기를 축소시킬 수 있다. 전자 장치(100)는 사용자 인터페이스가 사용자의 신체 영역과 겹쳐지지 않도록 디스플레이부(110)에 표시된 사용자 인터페이스를 디스플레이부(110)의 상단 또는 바깥쪽으로 이동시킬 수 있다. 전자 장치(100)는 사용자 인터페이스의 크기를 축소시키면서 위치를 다른 곳으로 이동시킬 수 있다.
일 실시예에 따르면, 전자 장치(100)는 디스플레이부(110)에 비치는 사용자의 신체 영역이 일정 영역 이상인 경우에 디스플레이부(110)에 표시된 사용자 인터페이스를 재설정할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 신체 영역이 기 설정된 면적 이상인지 판단할 수 있다. 전자 장치(100)는 사용자의 신체 영역이 디스플레이부(110)의 전체 화면 중 일정 비율 이상을 차지하는지 판단할 수 있다. 전자 장치(100)는 사용자의 신체 영역이 일정 면적 이상이 되거나, 디스플레이부(110)의 일정 비율 이상을 차지하는 경우에 디스플레이부(110)에 표시된 사용자 인터페이스의 크기 또는 위치를 재설정할 수 있다. 이 경우, 상기 일정 면적 또는 일정 비율은 기 설정된 값일 수도 있고, 사용자의 입력에 따라 설정 또는 변경될 수도 있다. 일 실시예에 따르면, 전자 장치(100)는 사용자의 신체 영역이 일정 크기 미만인 경우에도, 사용자 인터페이스의 크기 및 위치를 변경하여 재배치할 수 있다. 또는, 전자 장치(100)는 디스플레이부(110)에 비치는 사용자의 신체 영역이 일정 영역 미만인 경우, 표시된 사용자 인터페이스를 재설정하지 않고 동일하게 표시할 수도 있다.
일 실시예에 따르면, 전자 장치(100)는 특정 애플리케이션 또는 특정 사용자 인터페이스가 실행 중이지 않은 경우에 디스플레이부(110)에 표시된 사용자 인터페이스를 재설정할 수 있다. 예를 들어, 전자 장치(100)가 특정 특정 애플리케이션 실행 화면을 표시하고 있거나, 또는 특정 사용자 인터페이스 실행 화면을 표시하고 있는 중인 경우에는 사용자가 전자 장치(100)를 거울 외에 목적으로 사용하고 있는 중일 수 있다. 이 경우, 사용자는 일부 거울에 비친 신체 영역과 상기 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면이 겹치더라도, 상기 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면을 디스플레이부(110)의 가운데에 표시하거나, 큰 화면으로 표시하길 원할 수 있다. 따라서, 전자 장치(100)는 특정 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면을 표시 중인 경우에는 디스플레이부(110)에 표시된 사용자 인터페이스를 재설정하지 않을 수도 있다. 예를 들어, 전자 장치(100)가 멀티미디어 재생 애플리케이션을 실행 중인 경우에 전자 장치(100)는 디스플레이부(110)에 표시된 사용자 인터페이스(예를 들어, 멀티미디어 재생 화면, 멀티미디어 애플리케이션 실행 화면 등)의 크기 및 위치를 변경하지 않고 그대로 유지할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 디스플레이부(110)가 특정 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면을 표시 중인 경우에는, 상기 실행 화면을 디스플레이부(110)의 중앙에 재배치하거나, 또는 실행 화면의 크기를 확대할 수 있다.일 실시예에 따르면, 전자 장치(100)는 사용자로부터 특정 사용자 인터페이스 또는 특정 애플리케이션을 실행하기 위한 입력이 없는 경우에만 디스플레이부(110)에 표시된 사용자 인터페이스를 재설정할 수 있다. 예를 들어, 전자 장치(100)는 사용자로부터 특정 애플리케이션 또는 특정 사용자 인터페이스를 실행하기 위한 입력을 수신하면, 사용자의 입력에 따라 실행시킨 애플리케이션 또는 사용자 인터페이스에 따라 디스플레이부(110)에 새롭게 표시되는 사용자 인터페이스(예를 들어, 실행 시킨 애플리케이션 또는 사용자 인터페이스의 실행 화면)의 크기 및 위치는 사용자의 신체 영역과 겹치더라도 재설정하지 않고 표시할 수 있다. 예를 들어, 전자 장치(100)가 사용자의 입력에 따라 날씨 애플리케이션을 실행 중인 경우, 전자 장치(100)는 표시된 사용자 인터페이스(예를 들어, 날씨 애플리케이션 화면)와 사용자의 신체 영역이 겹치게 되더라도 사용자 인터페이스(예를 들어, 날씨 애플리케이션 화면)의 크기 및 위치를 변경하지 않고 유지할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 사용자의 입력에 따라 특정 애플리케이션 또는 특정 사용자 인터페이스를 활성화시킨 경우에, 이전에 크기를 축소하였던 사용자 인터페이스(예를 들면, 특정 애플리케이션의 실행 화면, 또는 사용자 인터페이스의 실행 화면 등)의 크기를 다시 확대할 수 있다. 또는, 제어부(130)는 이전에 사용자의 신체 영역 밖으로 이동시켰던 사용자 인터페이스를 초기 설정된 위치 또는 새로운 위치로 재배치할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 사용자의 입력 등에 의하여 디스플레이부(110)에 새롭게 표시되는 사용자 인터페이스가 있는 경우, 새롭게 표시되는 사용자 인터페이스의 크기를 확대하거나, 화면의 다른 위치에 재배치할 수도 있다. 전자 장치(100)는 새로운 사용자 인터페이스가 디스플레이부(110)에 표시되는 경우, 디스플레이부(110)에 표시된 적어도 하나 이상의 인터페이스의 위치 및 크기를 재설정할 수 있다.
280 동작에서, 전자 장치(100)는 사용자가 디스플레이부(110)의 전면에 계속 감지되는지 판단할 수 있다. 전자 장치(100)는 사용자가 감지되면 240 동작을 반복적으로 수행할 수 있다. 전자 장치(100)는 사용자가 감지되지 않으면 290 동작을 수행할 수 있다.
290 동작에서, 전자 장치(100)는 디스플레이부(110)에 표시된 사용자 인터페이스를 기 설정된 초기 상태로 재설정할 수 있다. 예를 들어, 디스플레이부(110)의 중앙에 표시되던 사용자 인터페이스를 디스플레이부(110)의 상단으로 이동시킨 경우, 전자 장치(100)는 사용자 인터페이스를 디스플레이부(110) 중앙으로 원위치 시킬 수 있다. 전자 장치(100)는 사용자 인터페이스를 축소시켰던 경우, 사용자 인터페이스를 초기 설정된 크기로 다시 확대할 수 있다. 본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 사용자가 감지되지 않으면, 디스플레이부(110)를 다시 거울 전용으로 동작하도록 제어할 수 있다. 예를 들어, 전자 장치(100)는 디스플레이부(110)에 표시하였던 사용자 인터페이스의 표시를 중단할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 디스플레이부(110)의 전면에 감지되는 사용자의 거리에 멀어짐에 따라 디스플레이부(110)의 동작을 제어할 수 있다. 예를 들어, 사용자의 거리가 기 설정된 거리 이상 멀어지면, 사용자 인터페이스를 초기 상태로 재설정할 수 있다. 이후, 전자 장치(100)는 사용자의 거리가 일정 거리 이상 더 멀어지거나, 사용자가 더 이상 감지되지 않는 경우에 디스플레이부(110)를 거울 전용으로 동작하게 제어할 수 있다.
본 발명의 일 실시예에 따른 전자 장치(100)는 사용자와의 거리, 사용자의 입력 수신 여부, 사용자 인터페이스의 활성화 여부, 새로운 애플리케이션 또는 사용자 인터페이스의 실행 화면이 표시되는지 여부 등에 따라 사용자가 전자 장치(100)를 거울로 사용하는지 또는, 전자 장치(100)의 사용자 인터페이스를 사용하는 중인지를 판단할 수 있다. 따라서, 본 발명의 일 실시예에 의한 전자 장치(100)는 사용자의 사용 의도에 맞게 디스플레이부(110)에 표시된 사용자 인터페이스의 크기, 또는 위치를 재설정하여 표시할 수 있다.
본 발명의 다양한 실시예들에 따르면, 본 발명의 다양한 실시예들에 따른 사용자 인터페이스 제공 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
본 발명의 다양한 실시예들에 따른 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 사용자 인터페이스 제공 방법은 거울로 동작 중인 상기 디스플레이부(110)에 상기 사용자 인터페이스를 표시하는 동작, 상기 디스플레이부(110)에 비치는 사용자의 신체 영역을 감지하는 동작, 상기 디스플레이부(110)에 표시된 상기 적어도 하나의 사용자 인터페이스와 상기 사용자의 신체 영역이 겹치는지 판단하는 동작, 및상기 사용자 인터페이스와 상기 사용자 신체 영역이 겹치는 경우, 상기 사용자 인터페이스를 상기 사용자의 신체 영역과 겹치지 않도록 재설정하는 동작을 포함할 수 있다.
도 3a 내지 3b는 본 발명의 다양한 실시예들에 따른 전자 장치(100) 및 사용자 인터페이스 제공 방법에 따라 사용자 인터페이스의 위치를 변경하는 동작을 설명하기 위한 도면이다.
도 3a는, 전자 장치(100)가 사용자 인터페이스(301, 302, 303, 304)를 표시한 상태를 나타내는 도면이다. 도 3a는, 전자 장치(100)가 애플리케이션 실행 아이콘들(301, 302, 303, 304)을디스플레이부(110) 중앙에 표시한 상태를 나타낸다. 여기서, 디스플레이부(110)는 거울로 동작 중인 경우를 가정한다. 디스플레이부(110) 상단 중앙에는 센서부(예를 들면, 카메라 모듈)(120)이 배치될 수 있다. 다만, 카메라 모듈(120)의 위치는 도시된 것에 한정되지 않는다. 사용자(320)가 디스플레이부(110)에 접근하면, 사용자(320)의 모습이 거울로 동작 중인 디스플레이부(110)에 비칠 수 있다. 사용자(320)가 디스플레이부(110)에 점점 가까이 접근할수록 디스플레이부(110)에 비치는 사용자(320)의 모습 또한 점점 커질 수 있다. 전자 장치(100)는 전자 장치(100)의 사용자 인터페이스(301, 302, 303, 304)를 사용하기 위하여 접근하는 사용자(320)를 감지할 수 있다. 디스플레이부(110)에 사용자(320)의 신체(예를 들면, 사용자(320)의 얼굴 등) 크게 비치는 경우, 디스플레이부(110)가 표시하는 사용자 인터페이스(301, 302, 303, 304)와 디스플레이부(110)에 비친 사용자의 신체 영역(310)이 겹쳐져서 사용자 인터페이스(301, 302, 303, 304)의 식별이 어려울 수 있다.
도 3b는 제어부(130)의 제어에 따라 디스플레이부(110)에 표시되는 사용자 인터페이스(301, 302, 303, 304)가 재설정된 모습을 나타낸다. 전자 장치(100)는 사용자의 신체 영역(디스플레이부(110)에 비치는 사용자의 얼굴 영역)(310)이 디스플레이부(110)에 표시된 사용자 인터페이스(301, 302, 303, 304)와 겹치는 것을 방지하기 위하여, 사용자 인터페이스들(301, 302, 303, 304)을 디스플레이부(110)의 상단에 재배치할 수 있다. 즉, 전자 장치(100)는 사용자 인터페이스들(301, 302, 303, 304)이 디스플레이부(110)에 표시되는 위치를 재설정할 수 있다. 본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 사용자 인터페이스들(301, 302, 303, 304)의 위치를 다양하게 재설정할 수 있다. 예를 들어, 도 3a에 도시된 것처럼 디스플레이부(110)의 상단 부분으로 사용자 인터페이스들(301, 302, 303, 304)을 이동시킬 수도 있고, 디스플레이부(110)의 바깥쪽 테두리를 둘러싸도록 사용자 인터페이스들(301, 302, 303, 304)을 분산시켜 이동시킬 수도 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 전자 장치(100) 및 사용자 인터페이스 제공 방법에 따라 사용자 인터페이스의 크기를 변경하는 동작을 설명하기 위한 도면이다.
도 4a는, 전자 장치(100)가 사용자 인터페이스를 표시한 다른 실시예를 나타내는 도면이다. 도 4a는, 전자 장치(100)가 애플리케이션 실행 아이콘들(401, 402, 403, 404)을디스플레이부(110) 상단에 일렬로 표시한 상태를 나타낸다.
도 4b 는, 전자 장치(100)가 사용자 인터페이스(401, 402, 403, 404)의 크기를 재설정한 경우를 도시한다. 전자 장치(100)는 디스플레이부(110)에 비치는 사용자의 신체 영역(410)이 디스플레이부(110)에 표시된 사용자 인터페이스(401, 402, 403, 404)와 겹치는 것을 방지하기 위하여, 사용자 인터페이스들(401, 402, 403, 404)의 크기를 재설정할 수 있다. 즉, 전자 장치(100)는 디스플레이부(110)의 상단에 표시한 사용자 인터페이스들(401, 402, 403, 404)의 크기를 일정 비율로 축소시킨 후 표시할 수 있다. 본 발명의 일 실시예에 의하면, 전자 장치(100)는 디스플레이부(110)에 표시된 사용자 인터페이스들(401, 402, 403, 404)을 동일한 비율로 축소시킬 수도 있고, 사용자 인터페이스들(401, 402, 403, 404)의 위치에 따라 서로 다른 비율로 축소시킬 수 있다. 예를 들어, 디스플레이부(110)에 복수 개의 애플리이션 아이콘들(401, 402, 403, 404)이 일렬로 표시된 경우, 전자 장치(100)는 바깥쪽의 애플리케이션 아이콘들(403, 404)의 크기는 유지하고, 사용자의 얼굴이 비치는 중앙 부분(410)의 아이콘들(401, 402)만을 축소시켜 표시할 수도 있다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 전자 장치(100) 및 사용자 인터페이스 제공 방법에 따라 사용자 인터페이스의 위치 및 크기를 변경하는 동작을 설명하기 위한 도면이다.
도 5a는, 전자 장치(100)가 사용자 인터페이스를 표시한 상태를 나타내는 도면이다. 도 5는, 전자 장치(100)가 사용자 인터페이스의 예시로서 애플리케이션 실행 아이콘들(501, 502, 503, 504)을디스플레이부(110) 중앙에 표시한 상태를 나타낸다.
도 5b는 전자 장치(100)가 사용자의 접근 및 사용자(520)의 모습이 디스플레이부(110)에 비치는 모습을 감지한 경우, 사용자 인터페이스(501, 502, 503, 504)의 위치를 재설정한 상태를 나타낸다. 전자 장치(100)는 사용자의 신체 영역(510)이 디스플레이부(110)에 표시된 사용자 인터페이스(501, 502, 503, 504)와 겹치는 것을 방지하기 위하여, 사용자 인터페이스들(501, 502, 503, 504)의 크기 및 위치를 재설정할 수 있다. 예를 들어, 전자 장치(100)는 사용자 인터페이스들(501, 502, 503, 504)의 위치를 디스플레이부(110)의 상단으로 변경할 수 있다.
도 5c는 전자 장치(100)가 사용자 인터페이스(501, 502, 503, 504)의 위치를 재설정한 후, 사용자 인터페이스(501, 502, 503, 504)의 크기를 재설정한 상태를 나타낸다. 전자 장치(100)는 사용자 인터페이스들(501, 502, 503, 504)의 위치를 변경한 후, 사용자 인터페이스들(501, 502, 503, 504)이 사용자의 신체 영역(510)과 겹치는 부분이 남아있는지 판단할 수 있다. 전자 장치(100)는 적어도 하나의 사용자 인터페이스 (501, 502, 503, 504)가 사용자의 신체 영역(510)과 겹치는 경우에는, 위치가 이동된 사용자 인터페이스들(501, 502, 503, 504)의 크기를 축소시켜 표시할 수 있다.
도 6a 및 도6b는 본 발명의 일 실시예에 따른 전자 장치(100) 및 사용자 인터페이스 제공 방법에 따라 멀티미디어 재생 화면의 크기 및 위치를 변경하는 동작을 설명하기 위한 도면이다.
도 6a는, 전자 장치(100)가 사용자 인터페이스의 예시로서 멀티미디어 컨텐츠 실행 화면(601)을 디스플레이부(110) 중앙에 표시한 상태를 나타낸다. 사용자(620)가 전자 장치(100)의 전면에 접근하는 경우, 디스플레이부(110)에 표시된 멀티미디어 컨텐츠 실행 화면(601)과 사용자의 신체가 거울로 동작 중인 디스플레이부(110)에 비치는 영역(610)이 겹칠 수 있다. 이 경우, 전자 장치(100)는 멀티미디어 컨텐츠 실행 화면(601)을 재설정할 수 있다.
도 6b는, 전자 장치(100)가 사용자의 신체 영역(사용자의 신체가 디스플레이부(110)에 비치는 영역)(610)이 디스플레이부(110)에 표시된 사용자 인터페이스(601)와 겹치는 것을 방지하기 위하여, 멀티미디어 컨텐츠 재생 화면(601)의 크기 및 위치를 재설정한 상태를 나타낸다. 즉, 전자 장치(100)는 사용자(620)의 접근을 감지하여 사용자가 디스플레이부(110)에 비치는 영역(610)과 멀티미디어 컨텐츠 재생 화면(601)이 겹치지 않도록 디스플레이부(110)에 표시되는 멀티미디어 컨텐츠 재생 화면(601)의 위치 및 크기를 재설정하여 표시할 수 있다.
도 3 내지 도 6의 실시예에서는, 전자 장치(100)가 사용자를 감지하면 사용자 인터페이스를 바로 재설정하는 실시예를 중점으로 설명하였다. 다만, 본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 사용자의 입력이 없는 경우에만, 사용자 인터페이스를 재설정할 수도 있다. 전자 장치(100)는 사용자 입력에 따른 기능 또는 기 설정된 특정 기능이 실행 중인 경우에는 사용자 인터페이스를 재설정하지 않고 사용자 인터페이스의 표시를 유지거나, 초기 설정 상태로 재설정할 수도 있다. 또한, 본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 사용자의 입력을 수신한 경우, 표시 중인 사용자 인터페이스의 크기를 확대하거나, 사용자 인터페이스의 위치를 다른 위치(예를 들면, 화면의 가운데 등)으로 변경할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 전자 장치의 사용자 인터페이스 제공 방법의 순서도이다.701 동작에서, 전자 장치(100)는 적어도 하나의 사용자 인터페이스를 표시할 수 있다, 예를 들어, 전자 장치(100)는 애플리케이션 실행 화면, 애플리케이션 실행 아이콘, 이미지 컨텐츠, 또는 멀티미디어 컨텐츠를 표시할 수 있다. 본 발명의 다양한 실시예에서, 사용자 인터페이스는 디스플레이부(110)에 표시되는 다양한 오브젝트들을 모두 포함할 수 있다. 전자 장치(100)가 디스플레이부(110)에 사용자 인터페이스를 표시함으로써, 디스플레이부(110)는 거울로 동작하는 화면 상에 사용자 인터페이스를 표시할 수 있다. 예를 들어, 디스플레이부(110)에 애플리케이션 실행 아이콘들을 표시하는 경우, 표시된 애플리케이션 실행 아이콘들 외의 영역은 거울 화면일 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 디스플레이부(110)를 거울로 동작 시킬 수 있다. 예를 들어, 디스플레이부(110)는 거울(또는 하프 거울(half mirror))를 포함할 수 있다. 예를 들어, 전자 장치(100)는 백라이트 또는 표시 소자(예를 들어, LED 등)을 제어하여 디스플레이부(110)를 거울 또는 사용자 인터페이스를 표시하는 화면으로 동작시킬 수 있다.
703 동작에서, 전자 장치(100)는 사용자의 접근을 감지할 수 있다. 예를 들어, 전자 장치(100)는 디스플레이부(110)의 전면부에 사용자가 접근하는 것을 감지할 수 있다. 예를 들어, 전자 장치(100)는 근접 센서 또는 IR 센서 등을 이용하여 디스플레이부(110)의 전면부를 센싱할 수 있다. 전자 장치(100)는 사용자의 접근을 감지하면, 705 동작을 수행할 수 있다. 전자 장치(100)는 사용자의 접근이 없는 경우, 701 동작에서 계속적으로 사용자 인터페이스를 그대로 표시할 수 있다.
본 발명의 일 실시예에 의하면, 전자 장치(100)는 디스플레이부(110)를 거울로만 동작시키는 중에 사용자의 접근을 감지한 후에 사용자 인터페이스를 표시할 수도 있다.
705 동작에서, 전자 장치(100)는 디스플레이부(110) 전면의 피사체를 촬영하여 이미지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 카메라 모듈을 이용하여 디스플레이부(110) 전면의 피사체를 촬영하여 이미지 또는 동영상을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 전자 장치(100)는 703 동작의 사용자의 감지 여부와는 무관하게 지속적으로 디스플레이부(110) 전방의 피사체를 촬영할 수도 있다.
707 동작에서, 전자 장치(100)는 생성한 이미지를 이용하여 디스플레이부(110)에 비치는 사용자의 신체 영역을 판단할 수 있다. 전자 장치(100)는 705 동작에서 생성한 이미지를 이용하여 디스플레이부(110)에 비치는 사용자의 신체 영역을 인식할 수 있다. 예를 들어, 전자 장치(100)는 생성한 이미지를 이미지 프로세싱을 통하여 디스플레이부(110)와 동일한 크기 및 형태로 보정할 수 있다. 전자 장치(100)는 이미지에 포함된 사용자의 신체 영역을 검출한 후에, 디스플레이부(110)의 화면과 매핑함으로써, 사용자의 신체 가 디스플레이부(110)에 비치는 사용자의 신체 영역을 인식할 수 있다.
709 동작에서, 전자 장치(100)는 디스플레이부(110)에 표시된 적어도 하나의 사용자 인터페이스와 디스플레이부(110)에 비친 사용자의 신체 영역의 적어도 일부분이 중첩되는지 판단할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 사용자 인터페이스와 사용자의 신체 영역이 중첩되는 부분이 일정 면적 이상이 되는지를 확인할 수 있다. 전자 장치(100)는 사용자 인터페이스와 사용자의 신체 영역이 겹쳐진 경우, 711 동작을 수행할 수 있다. 전자 장치(100)는 사용자 인터페이스와 사용자의 신체 영역이 겹쳐지지 않은 경우, 701 동작을 다시 수행할 수 있다. 예를 들어, 전자 장치(100)는 사용자 인터페이스와 사용자의 신체 영역이 겹쳐지지 않은 경우, 기존에 표시한 사용자 인터페이스를 유지할 수 있다.
711 동작에서, 전자 장치(100)는 기 설정된 시간 내에 사용자로부터 입력이 수신되는지 판단할 수 있다. 전자 장치(100)는 입력부(170)를 통하여 사용자로부터 입력을 수신할 수 있다. 전자 장치(100)가 수신하는 사용자의 입력은, 키 입력, 음성 입력, 제스처 입력, 터치 입력 등을 포함할 수 있다. 예를 들어, 전자 장치(100)는 사용자가 디스플레이부(110)에 표시된 특정 사용자 인터페이스를 터치하는 입력을 수신할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 사용자의 설정 입력에 따라 사용장의 입력의 수신 여부를 판단하기 위해 기 설정된 시간을 변경할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 사용자로부터의 입력이 수신되는지 여부에 따라 사용자의 의도를 판단할 수 있다. 예를 들어, 전자 장치(100)는 사용자로부터 입력을 수신하면, 사용자의 의도가 전자 장치(100)를 거울이 아닌 사용자 인터페이스를 사용하기 위한 것으로 판단할 수 있다. 전자 장치(100)는 사용자로부터 입력을 수신하지 않는 경우, 사용자의 의도가 전자 장치(100)를 거울로 사용하기 위한 것으로 판단할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 입력이 수신되는지에 따라 표시 중인 사용자 인터페이스의 크기 또는 위치를 재설정할지 여부를 결정할 수 있다. 전자 장치(100)는 사용자의 입력이 없는 경우, 표시 중이던 사용자 인터페이스가 사용자의 신체 영역과 겹쳐지지 않도록 사용자 인터페이스의 위치 또는 크기를 재설정하도록 결정할 수 있다. 반대로, 전자 장치(100)는 사용자의 입력이 있는 경우, 표시 중이던 사용자 인터페이스를 그대로 유지하면서, 사용자 입력에 대응되는 기능을 실행하도록 결정할 수 있다. 본 발명의 일 실시예에 따르면, 전자 장치(100)는 사용자의 입력 수신 여부에 따라 사용자의 의도를 파악하여, 사용자가 거울을 사용할 목적으로 전자 장치(100)에 접근한 경우에는 사용자의 신체 영역과 사용자 인터페이스가 겹치지 않도록 사용자 인터페이스를 재설정할 수 있다. 전자 장치(100)는 사용자가 사용자 인터페이스를 활용하기 위하여 접근한 경우에는 사용자의 입력에 따른 기능을 수행할 수 있다. 따라서, 전자 장치(100)는 사용자의 사용 의도에 따라 거울 기능 또는 다양한 컨텐츠를 제공하는 전자 장치로서의 기능을 제공하여, 사용자의 편의성 및 실용성을 증대시킬 수 있다.
전자 장치(100)는 사용자로부터 입력을 수신하면, 719 동작을 수행할 수 있다. 전자 장치(100)는 사용자로부터 입력이 수신되지 않는 경우, 713 동작을 수행할 수 있다.
713 동작에서, 전자 장치(100)는 디스플에이부(110)에 표시된 사용자 인터페이스를 사용자의 신체 영역과 중첩되지 않도록 재설정할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 신체 영역과 디스플레이부(110)에 표시된 사용자 인터페이스가 겹쳐지지 않도록 디스플레이부(110)에 표시된 사용자 인터페이스의 크기를 축소시킬 수 있다. 전자 장치(100)는 사용자 인터페이스가 사용자의 신체 영역과 겹쳐지지 않도록 디스플레이부(110)에 표시된 사용자 인터페이스를 디스플레이부(110)의 상단 또는 바깥쪽으로 이동시킬 수 있다. 전자 장치(100)는 사용자 인터페이스의 크기를 축소시키면서 위치를 다른 곳으로 이동시킬 수 있다.
본 발명의 다양한 실시예에 따르면, 713 동작에서는 도 2의 270 동작에서 설명한 바와 같이, 사용자 인터페이스를 다양한 방법으로 재설정할 수 있다. 예를 들어, 전자 장치(100)는 전자 장치(100)는 특정 애플리케이션 또는 특정 사용자 인터페이스가 실행 중이지 않은 경우에 디스플레이부(110)에 표시된 사용자 인터페이스를 재설정할 수 있다. 특정 애플리케이션 실행 화면 또는 사용자 인터페이스 실행 화면을 표시 중인 경우에는 디스플레이부(110)에 표시된 사용자 인터페이스를 재설정하지 않거나, 재설정되었던 사용자 인터페이스를 다시 원래 상태로 설정할 수도 있다.
본 발명의 일 실시예에 따르면, 전자 장치(100)는 사용자 인터페이스를 재설정한 후에 사용자로부터 입력을 수신하면, 사용자로부터의 입력에 기반하여 사용자 인터페이스의 크기 또는 위치를 재설정할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 터치 입력이 수신된 사용자 인터페이스의 크기를 확대하거나, 사용자의 터치 입력이 수신된 사용자 인터페이스의 표시 위치를 다른 곳(예를 들어, 디스플레이부(110)의 화면 중앙 등)으로 변경할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 사용자로부터 입력을 수신한 시점에 719 동작의 사용자 입력에 대응되는 기능을 실행할 수 있다. 이 경우, 전자 장치(100)는 사용자의 입력에 대응되는 기능을 수행하기 전에, 사용자의 입력에 대응되는 사용자 인터페이스의 크기를 확대하거나, 또는 사용자 인터페이스의 표시 위치를 디스플레이부(110)의 중앙 부분으로 변경할 수도 있다.
715 동작에서, 전자 장치(100)는 전면에 사용자가 있는지를 감지할 수 있다. 예를 들어, 전자 장치(100)는 사용자가 전방에 사용자가 계속 감지되는 경우, 705 내지 713 동작을 반복적으로 수행할 수 있다. 전자 장치(100)는 전방에 사용자가 감지되지 않는 경우 717 동작을 수행할 수 있다.
717 동작에서, 전자 장치(100)는 사용자 인터페이스를 기 설정된 초기 상태로 재설정할 수 있다. 예를 들어, 전자 장치(100)는 재설정되었던 사용자 인터페이스의 크기 및 위치를 초기 설정 상태로 되돌릴 수 있다. 일 실시예에 따르면, 표시 중이던 사용자 인터페이스를 화면에서 제거하고, 기 설정된 초기 화면(예를 들어, 초기에 표시되도록 설정되었던 특정 사용자 인터페이스를 포함하는 화면)을 표시할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 사용자 인터페이스의 표시를 중단하고, 디스플레이부(100)를 거울로 동작시킬 수 있다.
719 동작에서, 전자 장치(100)는 사용자 입력에 따른 기능을 수행할 수 있다. 예를 들어, 전자 장치(100)는 사용자 입력에 따라 특정 사용자 인터페이스를 실행 또는 활성화시킬 수 있다. 예를 들어, 전자 장치(100)는 사용자의 터치 입력을 수신한 사용자 인터페이스를 활성화시킬 수 있다. 예를 들어, 디스플레이부(110)에 표시된 날씨 어플리케이션 항목에 사용자의 터치 입력이 수신되면, 전자 장치(100)는 상세한 날씨 정보를 표시해주는 화면을 표시할 수 있다. 다른 예로, 디스플레이부(110)에 표시된 사진 어플리케이션 항목에 사용자의 터치 입력이 수신되면, 전자 장치(100)는 카메라를 활성화하여 사용자(즉, 피사체)를 촬영하기 위한 화면을 표시할 수 있다. 본 발명의 다양한 실시예에 따르면, 전자 장치는 사용자로부터의 입력을 수신함에 따라 각각의 사용자 입력에 대응되는 다양한 기능들을 수행할 수 있다.
일 실시예에 따르면, 사용자로부터 입력이 수신되는 경우, 전자 장치(100)는 디스플레이부(110)에 표시된 사용자 인터페이스들을 재설정하지 않고 유지할 수 있다. 예를 들어, 전자 장치(100)는 표시 중이던 사용자 인터페이스의 크기 및 위치를 재설정하지 않고, 사용자 입력에 대응되는 특정 기능을 수행할 수 있다.
전술한 본 개시의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재 기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비 휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 기록매체에 저장될 수 있다.
본 개시의 휴대 단말기의 사용 로그를 활용하는 방법 및 이를 이용한 장치는 프로세서 및 메모리를 포함하는 컴퓨터 또는 휴대 단말기에 의해 구현될 수 있고, 상기 메모리는 본 개시의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 기록매체의 한 예임을 알 수 있을 것이다. 따라서, 본 개시는 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 기록매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 개시는 이와 균등한 것을 적절하게 포함한다. 또한, 상기 휴대 단말기의 사용 로그를 활용하는 방법 및 이를 이용한 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 뿐만 아니라 사용자는 사용자 휴대 단말기의 설정을 조정하여 본 개시의 실시 예에 따른 동작을 사용자 단말 내로 한정하거나 네트워크를 통한 서버와의 연동으로 확장하는 것을 선택적으로 이용할 수도 있다.
100: 전자 장치
110: 디스플레이부 120: 센서부
130: 제어부 140: 통신부
150: 저장부 160: 오디오부

Claims (20)

  1. 거울로 동작 가능하고, 사용자 인터페이스를 표시하는 디스플레이부;
    상기 디스플레이부 전면에 사용자의 접근을 감지하고, 상기 디스플레이부 전면의 피사체를 촬영하는 센서부;
    사용자로부터 입력을 수신하는 입력부; 및
    상기 센서부가 촬영한 이미지를 이용하여 상기 디스플레이부에 비치는 사용자의 신체 영역을 판단하고, 상기 디스플레이부에 표시된 사용자 인터페이스와 상기 사용자의 신체 영역의 적어도 일부분이 중첩되는지 판단하고, 상기 디스플레이부가 상기 사용자 인터페이스를 재설정하여 표시하도록 제어하는 제어부를 포함하는 전자 장치.
  2. 제1항에 있어서, 상기 제어부는
    상기 사용자 인터페이스와 상기 사용자의 신체 영역이 중첩되면 사용자로부터 입력이 수신되는지 판단하고, 기 설정된 시간 이상 사용자로부터 입력이 수신되지 않는 경우에 상기 사용자 인터페이스를 재설정하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서, 상기 제어부는
    상기 사용자 인터페이스를 재설정한 후에, 사용자로부터 입력을 수신하면 상기 사용자로부터의 입력에 기반하여 상기 사용자 인터페이스의 크기 또는 위치를 재설정하는 전자 장치.
  4. 제1항에 있어서, 상기 제어부는
    상기 사용자의 신체 영역과 상기 사용자 인터페이스가 중첩되지 않도록 상기 디스플레이부에 표시된 적어도 하나의 사용자 인터페이스의 크기 또는 위치를 재설정하는 전자 장치.
  5. 제1항에 있어서, 상기 사용자의 신체 영역은
    상기 디스플레이부에 비치는 사용자의 신체 중에서 상기 사용자의 얼굴 영역인 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서, 상기 제어부는
    상기 디스플레이부가 거울로 동작하는 중에, 사용자가 상기 디스플레이부로부터 기 설정된 거리 이내에 접근한 것을 감지하면, 상기 디스플레이부가 상기 사용자 인터페이스를 표시하도록 제어하는 전자 장치.
  7. 제1항에 있어서, 상기 제어부는
    상기 센서부가 촬영한 이미지에서 사용자의 얼굴을 인식하고, 상기 촬영한 이미지를 이용하여 사용자의 얼굴이 상기 디스플레이부에 비치는 영역을 판단하는 것을 특징으로 하는 전자 장치.
  8. 제1항에 있어서, 상기 제어부는
    상기 디스플레이부에 비치는 상기 사용자의 신체 영역이 일정 영역 이상인 경우에 상기 디스플레이부에 표시된 사용자 인터페이스를 재설정하는 전자 장치.
  9. 제1항에 있어서, 상기 제어부는
    특정 애플리케이션 또는 특정 사용자 인터페이스가 실행 중이지 않은 경우에 상기 디스플레이부에 표시된 사용자 인터페이스를 재설정하는 전자 장치.
  10. 제1항에 있어서, 상기 제어부는
    상기 디스플레이부에 전면에 사용자가 감지되지 않으면, 상기 사용자 인터페이스의 크기 및 위치를 기 설정된 초기상태로 재설정하는 전자 장치.
  11. 제어부의 제어에 따라 거울로 동작 가능하고, 사용자 인터페이스를 표시할 수 있는 디스플레이부를 포함하는 전자 장치의 사용자 인터페이스 제공 방법에 있어서,
    거울로 동작 중인 상기 디스플레이부에 적어도 하나의 사용자 인터페이스를 표시하는 동작;
    상기 디스플레이부 전면의 피사체를 촬영하여 이미지를 생성하는 동작;
    상기 생성한 이미지를 이용하여 상기 디스플레이부에 비치는 사용자의 신체 영역을 판단하는 동작;
    상기 디스플레이부에 표시된 상기 적어도 하나의 사용자 인터페이스와 상기 사용자의 신체 영역의 적어도 일부분이 중첩되는지 판단하는 동작; 및
    상기 사용자 인터페이스를 상기 사용자의 신체 영역과 중첩되지 않도록 재설정하는 동작을 포함하는 사용자 인터페이스 제공 방법.
  12. 제11항에 있어서, 상기 재설정하는 동작은
    상기 적어도 하나의 사용자 인터페이스와 상기 사용자의 신체 영역이 중첩되는 경우, 기 설정된 시간 내에 사용자로부터 입력이 수신되는지 판단하는 동작; 및
    기 설정된 시간 내에 사용자로부터 입력이 수신되지 않는 경우에 상기 사용자 인터페이스를 재설정하는 동작을 포함하는 사용자 인터페이스 제공 방법.
  13. 제12항에 있어서,
    상기 사용자 인터페이스를 재설정한 후에 사용자로부터 입력을 수신하는 경우, 상기 사용자로부터의 입력에 기반하여 상기 적어도 하나의 사용자 인터페이스의 크기 또는 위치를 재설정하는 동작을 더 포함하는 사용자 인터페이스 제공 방법.
  14. 제11항에 있어서, 상기 재설정하는 동작은
    상기 디스플레이부에 표시된 적어도 하나의 사용자 인터페이스의 크기를 변경하거나, 또는 상기 적어도 하나의 사용자 인터페이스의 위치를 상기 사용자의 신체 영역 밖으로 이동시키는 것을 특징으로 하는 사용자 인터페이스 제공 방법.
  15. 제11항에 있어서, 상기 사용자의 신체 영역은
    상기 디스플레이부에 비치는 사용자의 신체 중에서 상기 사용자의 얼굴 영역인 것을 특징으로 하는 사용자 인터페이스 제공 방법.
  16. 제11항에 있어서, 상기 사용자 인터페이스를 표시하는 동작은
    상기 디스플레이부 전면에 사용자의 접근을 감지하는 동작; 및
    사용자가 상기 디스플레이부로부터 기 설정된 거리 이내에 접근하면 상기 사용자 인터페이스를 표시하는 동작을 포함하는 사용자 인터페이스 제공 방법.
  17. 제11항에 있어서, 상기 사용자의 신체 영역을 판단하는 동작은
    상기 이미지에서 사용자의 얼굴을 인식하는 동작; 및
    상기 이미지를 이용하여 상기 디스플레이부에 사용자의 얼굴이 비치는 영역을 판단하는 동작을 포함하는 사용자 인터페이스 제공 방법.
  18. 제11항에 있어서,
    상기 디스플레이부에 전면에 사용자가 감지되지 않으면, 상기 사용자 인터페이스의 크기 및 위치를 기 설정된 초기상태로 재설정하는 단계를 더 포함하는 사용자 인터페이스 제공 방법.
  19. 제11항에 있어서,
    상기 사용자의 신체 영역이 상기 디스플레이부의 일정 영역 이상이거나, 또는 특정 애플리케이션 또는 특정 사용자 인터페이스가 실행 중이지 않은 경우에 상기 디스플레이부에 표시된 사용자 인터페이스를 재설정하는 것을 특징으로 하는 사용자 인터페이스 제공 방법.
  20. 제어부의 제어에 따라 거울로 동작 가능하고, 사용자 인터페이스를 표시할 수 있는 디스플레이부를 포함하는 전자 장치가 사용자 인터페이스를 제공하는 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터 읽을 수 있는 기록 매체에 있어서,
    상기 사용자 인터페이스 제공 방법은
    거울로 동작 중인 상기 디스플레이부에 상기 사용자 인터페이스를 표시하는 동작;
    상기 디스플레이부에 비치는 사용자의 신체 영역을 감지하는 동작;
    상기 디스플레이부에 표시된 상기 사용자 인터페이스와 상기 사용자의 신체 영역이 겹치는지 판단하는 동작; 및
    상기 사용자 인터페이스와 상기 사용자 신체 영역이 겹치는 경우, 상기 사용자 인터페이스를 상기 사용자의 신체 영역과 겹치지 않도록 재설정하는 동작을 포함하는 컴퓨터로 읽을 수 있는 기록 매체.
KR1020150018428A 2015-02-06 2015-02-06 전자 장치 및 사용자 인터페이스 제공 방법 KR102375699B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150018428A KR102375699B1 (ko) 2015-02-06 2015-02-06 전자 장치 및 사용자 인터페이스 제공 방법
US15/016,732 US10297037B2 (en) 2015-02-06 2016-02-05 Electronic device and method of providing user interface therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150018428A KR102375699B1 (ko) 2015-02-06 2015-02-06 전자 장치 및 사용자 인터페이스 제공 방법

Publications (2)

Publication Number Publication Date
KR20160096853A true KR20160096853A (ko) 2016-08-17
KR102375699B1 KR102375699B1 (ko) 2022-03-17

Family

ID=56566833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150018428A KR102375699B1 (ko) 2015-02-06 2015-02-06 전자 장치 및 사용자 인터페이스 제공 방법

Country Status (2)

Country Link
US (1) US10297037B2 (ko)
KR (1) KR102375699B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038466A1 (en) * 2016-08-26 2018-03-01 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
KR20180108048A (ko) * 2017-03-23 2018-10-04 박귀현 스마트 미러의 피사체 자동연동 장치, 방법 및 이를 이용한 스마트 미러

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11083344B2 (en) 2012-10-11 2021-08-10 Roman Tsibulevskiy Partition technologies
JP6809267B2 (ja) * 2017-02-10 2021-01-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
CN109101084A (zh) * 2018-09-28 2018-12-28 深圳阜时科技有限公司 一种设备
WO2021054809A1 (en) 2019-09-21 2021-03-25 Samsung Electronics Co., Ltd. Method and system for generating dynamic user interface layout for an electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060116940A (ko) * 2005-05-12 2006-11-16 한국과학기술원 하프미러를 이용한 사용자 인터페이스 시스템과 그의 구동방법
JP2013246184A (ja) * 2012-05-23 2013-12-09 Sharp Corp 表示装置
US20140085178A1 (en) * 2012-09-24 2014-03-27 3M Innovative Properties Company Method and apparatus for controlling information display areas in a mirror display
US20140164963A1 (en) * 2012-12-11 2014-06-12 Sap Ag User configurable subdivision of user interface elements and full-screen access to subdivided elements

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473102B1 (en) * 1998-05-11 2002-10-29 Apple Computer, Inc. Method and system for automatically resizing and repositioning windows in response to changes in display
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8976160B2 (en) * 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
US20120198367A1 (en) 2011-01-31 2012-08-02 Sap Ag User interface style guide compliance forecasting
US20130145272A1 (en) * 2011-11-18 2013-06-06 The New York Times Company System and method for providing an interactive data-bearing mirror interface
JP6027764B2 (ja) * 2012-04-25 2016-11-16 キヤノン株式会社 ミラーシステム、および、その制御方法
US9325943B2 (en) * 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US20140240273A1 (en) * 2013-02-27 2014-08-28 Sony Corporation Apparatus and method for interacting with a user
KR20150066883A (ko) * 2013-12-09 2015-06-17 삼성전자주식회사 이미지 처리 방법 및 장치
US9805131B2 (en) * 2014-03-13 2017-10-31 Ebay Inc. Wear time as metric of buying intent
KR102209745B1 (ko) * 2014-03-18 2021-01-29 광운대학교 산학협력단 광고 및 쇼핑 등 정보를 표시하기 위하여 사용자의 투영 영상 인식을 통한 미러 디스플레이의 정보 표시 장치 및 방법
US9182889B1 (en) * 2014-06-24 2015-11-10 Google Inc. Preventing unintentional user activation of user interface elements
WO2016048102A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060116940A (ko) * 2005-05-12 2006-11-16 한국과학기술원 하프미러를 이용한 사용자 인터페이스 시스템과 그의 구동방법
JP2013246184A (ja) * 2012-05-23 2013-12-09 Sharp Corp 表示装置
US20140085178A1 (en) * 2012-09-24 2014-03-27 3M Innovative Properties Company Method and apparatus for controlling information display areas in a mirror display
US20140164963A1 (en) * 2012-12-11 2014-06-12 Sap Ag User configurable subdivision of user interface elements and full-screen access to subdivided elements

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038466A1 (en) * 2016-08-26 2018-03-01 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
KR20180108048A (ko) * 2017-03-23 2018-10-04 박귀현 스마트 미러의 피사체 자동연동 장치, 방법 및 이를 이용한 스마트 미러

Also Published As

Publication number Publication date
US20160231918A1 (en) 2016-08-11
US10297037B2 (en) 2019-05-21
KR102375699B1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
US10148886B2 (en) Method for photographing control and electronic device thereof
KR101983725B1 (ko) 전자 기기 및 전자 기기의 제어 방법
US10353574B2 (en) Photographic apparatus, control method thereof, and non-transitory computer-readable recording medium
KR102375699B1 (ko) 전자 장치 및 사용자 인터페이스 제공 방법
CN107810629B (zh) 图像处理装置和图像处理方法
US9325903B2 (en) Method and apparatus for processing image
US9106821B1 (en) Cues for capturing images
US10375312B2 (en) Imaging device and video generation method by imaging device
US20140354874A1 (en) Method and apparatus for auto-focusing of an photographing device
US9538086B2 (en) Method of performing previewing and electronic device for implementing the same
KR102661614B1 (ko) 화면 제공 방법 및 이를 지원하는 전자 장치
JP6392900B2 (ja) 圧力検出方法、装置、プログラム、及び記録媒体
US9535604B2 (en) Display device, method for controlling display, and recording medium
US20190012129A1 (en) Display apparatus and method for controlling display apparatus
US10652442B2 (en) Image capturing apparatus with operation members provided on different sides, control method of the same, and storage medium
KR20150014226A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
KR102156799B1 (ko) 화면 제어 방법 및 장치
US9350918B1 (en) Gesture control for managing an image view display
US11106325B2 (en) Electronic apparatus and control method thereof
US9811160B2 (en) Mobile terminal and method for controlling the same
US20220326899A1 (en) Electronic apparatus and control method thereof and storage medium
JP2016187105A (ja) 電子機器、電子機器の撮影制御方法、および電子機器の撮影制御プログラム
KR102124806B1 (ko) 전자 장치 및 전자 장치의 영상 정보와 오디오 정보의 연결 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant