KR20180071092A - 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치 - Google Patents

사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치 Download PDF

Info

Publication number
KR20180071092A
KR20180071092A KR1020160173893A KR20160173893A KR20180071092A KR 20180071092 A KR20180071092 A KR 20180071092A KR 1020160173893 A KR1020160173893 A KR 1020160173893A KR 20160173893 A KR20160173893 A KR 20160173893A KR 20180071092 A KR20180071092 A KR 20180071092A
Authority
KR
South Korea
Prior art keywords
input
processor
camera
display
electronic device
Prior art date
Application number
KR1020160173893A
Other languages
English (en)
Inventor
황상웅
성영아
장세이
최승환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160173893A priority Critical patent/KR20180071092A/ko
Priority to PCT/KR2017/014912 priority patent/WO2018117560A1/ko
Priority to US16/465,239 priority patent/US10962785B2/en
Publication of KR20180071092A publication Critical patent/KR20180071092A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

전자 장치가 개시된다. 전자 장치는, 제1 카메라 및 제2 카메라; 마이크; 디스플레이; 및 상기 제1 카메라, 제2 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이에 복수의 객체를 포함하는 UI(user interface)를 표시하고, 상기 제1 카메라로부터 사용자의 시선 정보를 획득하고, 상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고, 상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고, 상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정될 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치{Device, mobile device and displaying device controlled based on the view of use and input}
본 문서에서 개시되는 실시 예들은, 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치 기술과 관련된다.
웨어러블(wearable) 제품 등 새로운 지능형 디바이스들이 개발되면서, 장치에 대한 다양한 입력 방식 또한 개발되고 있다. 특히, 인공지능이 관심을 받기 시작하면서, 음성 입력은 터치 입력을 대신할 인터페이스로 각광받고 있으며, 인간의 시선을 활용하는 아이 게이징(eyegazing)과 제스처(gesture)를 인식하는 모션 검출을 활용한 입력 방식 또한 개발되고 있다.
최근에는 시선 정보, 음성 입력 또는 제스처 입력 등 2개 이상의 입력 방식을 조합하여 사용하는 전자 장치가 제안되었으나, 단순히 여러 입력 방식을 동시에 사용하는 것에 불과하여 프로세서의 연산량이 많아지는 등 비효율적이라는 문제가 있다.
본 문서에서 개시되는 실시 예들은, 전술한 문제 및 본 문서에서 제기되는 과제들을 해결하기 위해, UI의 객체의 타입에 따라 입력 방식을 결정함으로써 사용자의 시선, 음성 입력 및 제스처 입력을 보다 효율적으로 이용하는 전자 장치를 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 제1 카메라 및 제2 카메라; 마이크; 디스플레이; 및 상기 제1 카메라, 제2 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이에 복수의 객체를 포함하는 UI(user interface)를 표시하고, 상기 제1 카메라로부터 사용자의 시선 정보를 획득하고, 상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고, 상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고, 상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정될 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 모바일 전자 장치는, 제1 카메라 및 마이크를 포함하는 HMD(head mounted display)에 결합되고, 제2 카메라; 디스플레이; 및 상기 제1 카메라 및 상기 마이크와 기능적으로 연결되고, 상기 제2 카메라 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이에 복수의 객체를 포함하는 UI를 표시하고, 상기 제1 카메라로부터 사용자의 시선 정보를 획득하고, 상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고, 상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고,상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정될 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 디스플레이 장치는 카메라; 마이크; 디스플레이; 및 상기 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이에 복수의 객체를 포함하는 UI를 표시하고, 상기 카메라로부터 사용자의 시선 정보를 획득하고, 상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고, 상기 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고, 상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정될 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자의 시선과 제스처로 전자 장치를 효율적이고 편리하게 제어할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치의 블록도이다.
도 2는 일 실시 예에 따라 전자 장치의 프로세서가 사용자의 시선 및 입력에 대응하는 기능을 실행하는 예시적인 흐름도이다.
도 3a는 일 실시 예에 따라 디스플레이에 복수의 객체를 포함하는 UI가 표시된 도면이다.
도 3b는 일 실시 예에 따라 사용자의 시선이 향하는 위치를 나타내는 도면이다.
도 3c는 일 실시 예에 따라 시선 정보에 대응하는 객체가 활성화된 도면이다.
도 3d는 일 실시 예에 따라 활성화된 객체에 음성 입력에 대응하는 기능이 실행되는 것을 나타내는 도면이다.
도 3e는 일 실시 예에 따라 활성화된 객체에 음성 입력에 대응하는 기능이 실행되는 것을 나타내는 도면이다.
도 4a는 일 실시 예에 따라 디스플레이에 복수의 객체가 표시된 화면을 나타내는 도면이다.
도 4b는 일 실시 예에 따라 음성 입력에 의해 시선이 제2 객체를 향하는 중에 텍스트 입력 창에 텍스트가 입력되는 것을 나타내는 도면이다.
도 4c는 일 실시 예에 따라 음성 입력에 따라 다른 객체가 활성화 되며 음성 입력에 따른 기능이 실행되는 것을 나타내는 도면이다.
도 5a 내지 도 5c는 일 실시 예에 따른 제스처 입력에 대응하는 기능이 수행되는 단계별 예시적인 UI를 나타내는 도면이다.
도 6a 내지 도 6c는 일 실시 예에 따른 음성 입력에 대응하는 기능이 수행되는 단계별 예시적인 UI를 나타내는 도면이다.
도 7a는 일 실시 예에 따른 HMD(head mounted diplay)와 HMD에 결합되는 전자 장치의 후면을 나타내는 도면이다.
도 7b는 일 실시 예에 따른 HMD에 결합되는 전자 장치의 전면을 나타내는 도면이다.
도 8은 일 실시 예에 따른 디스플레이 장치를 나타내는 도면이다.
도 9는 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치를 나타낸다.
도 10는 다양한 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도 11은 다양한 실시 예에 따른 프로그램 모듈의 블록도를 나타낸다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 일 실시 예에 따른 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치의 블록도이다.
도 1을 참조하면, 전자 장치는 카메라(110), 마이크(120), 디스플레이(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다. 다양한 실시 예에서 전자 장치는 위 구성 요소들 중 일부 구성을 생략하거나, 혹은 다른 구성 요소를 추가적으로 구비할 수 있다. 예를 들어, 각종 센서, 배터리나 입/출력 인터페이스와 같은 구성이 전자 장치에 추가적으로 포함될 수 있다.
카메라(110)는 사용자를 촬영하여 사용자의 시선 정보 및 제스처 입력을 획득할 수 있다. 카메라(110)는, 2개이상 구비될 수 있고, 제1 카메라(111)는 사용자의 눈을 촬영하여 사용자의 시선이 향하는 위치를 획득할 수 있다. 제1 카메라(111)는 적외선 카메라(110)(infra-red camera)에 해당할 수 있다. 제2 카메라(112)는 사용자의 손동작 또는 팔동작 등을 촬영하여 제스처 입력을 획득할 수 있다.
마이크(120)는 사용자의 음성 입력 등 소리 신호를 획득할 수 있다.
디스플레이(130)는 프로세서(150)의 제어에 의해 복수의 객체를 포함하는 UI를 표시할 수 있다.
메모리(140)는 휘발성 및/또는 비휘발성 메모리(140)를 포함할 수 있다. 메모리(140)는 전자 장치의 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(140)는 디스플레이(130)에 표시되는 객체의 타입에 대응하는 입력 방식 또는 입력에 따라 UI(user interface)의 객체에 대하여 실행되는 기능 등의 데이터를 저장할 수 있다.
프로세서(150)는 전자 장치에서 프로세서(150)에 전기적 또는 기능적으로 연결된 다른 구성 요소들을 제어하고 연산을 수행할 수 있다.
이하에서는 도 2 내지 도 4c를 참조하여, 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치의 프로세서(150)가 수행하는 동작들을 설명한다.
도 2는 일 실시 예에 따라 전자 장치의 프로세서(150)가 사용자의 시선 및 입력에 대응하는 기능을 실행하는 단계별 예시적인 흐름도이다.
도 3a는 일 실시 예에 따라 디스플레이(130)에 복수의 객체를 포함하는 UI가 표시된 도면이고, 도 3b는 일 실시 예에 따라 사용자의 시선이 향하는 위치를 나타내는 도면이고, 도 3c는 일 실시 예에 따라 시선 정보에 대응하는 객체가 활성화된 도면이고, 도 3d는 일 실시 예에 따라 활성화된 객체에 음성 입력에 대응하는 기능이 실행되는 것을 나타내는 도면이고, 도 3e는 일 실시 예에 따라 활성화된 객체에 음성 입력에 대응하는 기능이 실행되는 것을 나타내는 도면이다. 도 3a 내지 도 3e의 디스플레이 (310)는 도 1의 디스플레이(130)에 대응된다.
도 2를 참조하면, 동작 201에서 프로세서(150)는 디스플레이(130)에 복수의 객체를 포함하는 UI를 표시할 수 있다. 예를 들어, 도 3a와 같이 프로세서(150)는 디스플레이(130)에 복수의 객체(321-324)를 포함하는 UI(320)를 표시할 수 있다. 도 3a에서 복수의 객체 중 항목 객체(322-324)는 UI(320)에 포함된 목록 내 각 항목에 해당할 수 있고, 실행 입력 수신 객체(321)는 제2 객체(322-324)에 대응하는 별도의 정보를 표시시키는 명령 입력을 수신하는 객체일 수 있다.
일 실시 예에 따라, 음성 입력 및 제스처 입력 중 적어도 하나에 따라 UI가 표시될 수 있다. 예를 들어, 음성 입력으로 친구의 이름을 입력하면, 프로세서(150)는 친구의 이름 각각을 객체로 포함하는 UI를 표시할 수 있다.
동작 202에서 프로세서(150)는 제1 카메라(111)로부터 사용자의 시선 정보를 획득할 수 있다. 예를 들어, 프로세서(150)는 도 3b에 도시된 것과 같이 사용자의 시선이 디스플레이(130)에서 어떤 위치를 향하는지에 해당하는 시선 정보를 획득할 수 있다.
동작 203에서 프로세서(150)는 복수의 객체 중 시선 정보에 대응하는 제1 객체를 활성화할 수 있다. 예를 들어, 도 3c에 도시된 것과 같이, 복수의 객체(321-324) 중 사용자의 시선(330)이 향하는 실행 입력 수신 객체(321)가 제1 객체에 해당할 수 있고, 프로세서(150)는 실행 입력 수신 객체(321)를 활성화할 수 있다. 활성화된 객체(321)는 후술할 바와 같이 제스처 입력 및 음성 입력 중 적어도 하나의 입력에 대응하는 기능이 실행되는 대상일 수 있다.
일 실시 예에서, 프로세서(150)는 제1 객체가 표시된 위치에 사용자의 시선이 향하면, 제1 객체를 즉시 활성화할 수 있다. 이러한 활성화 방식은 복수의 객체를 포함하는 목록에서 하나의 객체가 선택되는 UI 등 즉각적인 반응성이 중요한 UI에서 사용될 수 있다.
일 실시 예에서, 프로세서(150)는 제1 객체가 표시된 위치에 사용자의 시선이 기 설정된 시간 이상 유지되면, 제1 객체를 활성화 할 수 있다. 이러한 활성화 방식은 디스플레이(130)에서 작게 표시되는 객체를 포함하는 UI 등 시선에 대한 반응성보다 제1 객체의 정확한 선택이 중요한 UI에서 사용될 수 있다.
동작 204에서 프로세서(150)는 제2 카메라(112)로부터 획득되는 제스처 입력 및 마이크(120)에 의해 획득되는 음성 입력 중 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정할 수 있다.
예를 들어, 제1 객체가 텍스트 창 또는 채팅 창 등과 같은 문자 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 음성 입력으로 결정할 수 있다. 프로세서(150)는 디스플레이(130)에 표시되는 소프트 입력 패널(soft input panel) 등을 통해 문자 입력을 받을 수 있으므로, 제1 객체가 문자 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 제스처 입력으로 결정할 수도 있다.
일 실시 예에서, 제1 객체가 리스트에 포함된 항목 또는 체크 박스 등과 같은 선택 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 제스처 입력으로 결정할 수 있다.
일 실시 예에서, 제1 객체가 스크롤바 또는 슬라이드바 등과 같은 조작 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 제스처 입력으로 결정할 수 있다.
일 실시 예에서, 제1 객체가 특정 기능을 실행 하는 실행 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 음성 입력 및 제스처 입력 중 하나의 입력 방식으로 결정할 수 있을 뿐만 아니라, 입력 방식을 두 가지 방식의 입력 모두로 결정할 수도 있다.
도 3c에서 제1 객체(321)는 실행 입력 타입의 객체이므로, 프로세서(150)는 음성 입력 및 제스처 입력 모두를 입력 방식으로 결정할 수 있다.
일 실시 예에 따라 프로세서(150)는 시선 정보뿐만 아니라 제스처 입력 및 음성 입력 중 적어도 하나에 더 기반하여 입력 방식을 결정할 수 있다.
예를 들어, 프로세서(150)는 음성 입력에서 기준 값 이상의 노이즈가 발생하는 경우, 입력 방식을 제스처 입력으로 결정할 수 있다. 또한, 제스처 입력이 손을 흔드는 제스처 인 경우, 입력 방식을 제스처 입력으로 결정할 수 있다.
동작 205에서 프로세서(150)는 결정된 방식의 입력이 제1 객체에 적용 가능한지 판단할 수 있다. 예를 들어, 결정된 입력 방식이 음성 입력이고 제1 객체에 적용 가능한 음성 입력이 "OK" 또는 "Do it"으로 설정된 경우, 프로세서(150)는 마이크(120)에 의해 획득되는 음성 입력이 "OK" 및 "Do it" 중 하나에 해당하는지 판단할 수 있다. 일 실시 예에서, 결정된 입력 방식이 제스처 입력이고, 제1 객체에 적용 가능한 제스처 입력이 O를 그리는 제스처로 설정된 경우, 프로세서(150)는 제2 카메라(112)로부터 획득되는 제스처 입력이 O를 그리는 제스처에 해당하는지 판단할 수 있다.
프로세서(150)는 결정된 방식의 입력이 제1 객체에 적용 가능한 경우, 동작 206을 수행할 수 있다.
동작 205에서 결정된 방식의 입력이 제1 객체에 적용 불가한 입력인 것으로 판단된 경우, 제2 카메라(112)로부터의 제스처 입력 및 마이크(120)로부터의 음성 입력은 지속적으로 획득될 수 있으므로, 프로세서(150)는 획득되는 새로운 입력이 제1 객체에 적용 가능한 입력인지 다시 판단할 수 있다.
동작 206에서 프로세서(150)는 제1 객체의 활성화 상태가 유지되는 동안 결정된 방식의 입력에 대응하는 기능을 제1 객체에 대해 실행할 수 있다.
예를 들어, 도 3d에 도시된 것과 같이 사용자의 시선(330)은 실행 입력 수신 객체(321)를 향하고 있어 실행 입력 수신 객체(321)의 활성화 상태는 유지되고, 프로세서(150)는 음성 입력(340)에 대응하여 제2 객체(322-324)에 대응하는 별도의 정보(350)를 표시시키는 기능을 제1 객체에 대해 실행할 수 있다. (도 3d에서 결정된 방식의 입력은 음성 입력이 또는 음성 입력과 제스처 입력 모두이고, 획득되는 음성 입력(340)은 실행 입력 수신 객체(321)에 적용 가능한 입력임을 가정한다.)
일 실시 예에서, 도 3e에 도시된 것과 같이 사용자의 시선(330)은 실행 입력 수신 객체(321)를 향하고 있어 실행 입력 수신 객체(321)의 활성화 상태는 유지되고, 프로세서(150)는 제스처 입력(360_에 대응하여 제2 객체(322-324)에 대응하는 별도의 정보(370)를 표시시키는 기능을 제1 객체에 대해 실행할 수 있다. (도 3e에서 결정된 방식의 입력은 제스처 입력 또는 음성 입력과 제스처 입력 모두이고, 획득되는 제스처 입력은 실행 입력 수신 객체(321)에 적용 가능한 입력임을 가정한다.)
일 실시 예에 따라 프로세서(150)는 제스처 입력의 제스처가 시선을 지나는 경우에 제스처 입력에 대응하는 기능을 제1 객체에 대해 실행할 수 있다.
이하에서는 도 4a 내지 도 4c를 참조하여 일 실시 예에 따라, 동작 204 후, 프로세서(150)가 시선 정보뿐만 아니라, 결정된 방식의 입력의 획득에 더 기반하여 제1 객체의 활성화 상태를 유지하는 방법을 설명한다.
도 4a는 일 실시 예에 따라 디스플레이에 복수의 객체가 표시된 화면을 나타내는 도면이고, 도 4b는 일 실시 예에 따라 음성 입력에 의해 시선이 제2 객체를 향하는 중에 텍스트 입력 창에 텍스트가 입력되는 것을 나타내는 도면이고, 도 4c는 일 실시 예에 따라 음성 입력에 따라 다른 객체가 활성화 되며 음성 입력에 따른 기능이 실행되는 것을 나타내는 도면이다.
전술한 바와 같이 프로세서(150)는 제1 객체가 표시된 위치에 사용자의 시선이 향하면, 제1 객체를 즉시 활성화할 수 있다. 이러한 활성화 방식은 한번 선택된 객체에 지속적으로 입력을 하는 경우, 사용자에게 불편함을 초래할 수 있다. 예를 들어, 제1 객체로써 텍스트 입력창이 활성화 되고, 음성 입력 중 사용자가 시선을 제1 객체가 아닌 다른 위치를 향한다면, 텍스트 일부가 텍스트 입력창에 입력되지 않는 문제가 발생할 수 있다.
프로세서(150)는 제1 객체가 표시된 위치에 사용자의 시선이 향하면, 제1 객체를 활성화하고, 결정된 방식의 입력이 획득되는 동안 제1 객체의 활성화 상태를 유지할 수 있다.
예를 들어, 도 4a를 참조하면, 사용자의 시선(440)은 디스플레이(410)에 표시된 제1 UI(420)의 텍스트 입력창(421)을 향하므로, 프로세서(150)는 텍스트 입력창(421)을 제1 객체로써 활성화할 수 있다. 텍스트 입력창(421)이 활성화 된 후, 결정된 입력 방식인 음성 입력(450)이 획득되는 동안 도 4b와 같이 사용자의 시선(440)이 제1 객체인 텍스트 입력창(421)을 향하지 않는 경우에도, 프로세서(150)는 텍스트 입력창(421)의 활성화 상태를 유지할 수 있다.
일 실시 예에 따라 프로세서(150)는 제1 객체의 활성화 상태가 유지되는 동안, 시선이 복수의 객체 중 제1 객체와 다른 제2 객체를 향하고, 입력이 제2 객체에 적용 가능한 입력인 경우, 입력에 대응하는 기능을 제2 객체에 대해 실행할 수 있다.
예를 들어, 도 4c와 같이, 음성 입력에 의해 텍스트 입력창(421)에 텍스트가 입력되던 중, 사용자의 시선이 제2 객체(430)를 향하고 "Play"라는 음성 입력(450)이 획득된 경우, 프로세서(150)는 제2 객체(430)를 활성화하고, 음성 입력450)에 대응하는 기능인 재생 기능을 실행할 수 있다.("Play"는 제2 객체에 적용 가능한 입력임을 가정한다.)
이하에서는, 도 5a 내지 도 6c를 참조하여, 제스처 입력에 대응하는 기능이 수행되는 예시 및 음성 입력에 대응하는 기능이 수행되는 예시를 설명한다.
도 5a 내지 도 5c는 일 실시 예에 따른 제스처 입력에 대응하는 기능이 수행되는 단계별 예시적인 UI를 나타내는 도면이다.
선수의 이름이 음성 입력으로 획득되면, 프로세서(150)는 도 5a와 같이 UI의 객체(520)에 해당하는 선수의 사진을 디스플레이(510)에 표시할 수 있다.
프로세서(150)는 사용자의 시선 정보를 획득하고, 도 5b와 같이 시선 정보(530)에 대응하는 제1 객체(520)인 선수의 사진을 활성화 할 수 있다. 또한, 프로세서(150)는 제1 객체의 타입에 기반하여 입력 방식을 제스처 입력으로 결정할 수 있다.
프로세서(150)는 객체를 이동시키는 제스처 입력(540)의 기능을 제1 객체(520)에 대해 실행하여, 도 5c와 같이 제1 객체(520)인 선수의 사진을 이동시킬 수 있다.
도 6a 내지 도 6c는 일 실시 예에 따른 음성 입력에 대응하는 기능이 수행되는 단계별 예시적인 UI를 나타내는 도면이다.
메시지가 수신되면, 프로세서(150)는 도 6a와 같이 UI의 객체(620)에 해당하는 메시지 발신자의 사진을 디스플레이(610)에 표시할 수 있다.
프로세서(150)는 사용자의 시선 정보를 획득하고, 도 6b와 같이 시선 정보(630)에 대응하는 제1 객체(620)인 메시지 발신자의 사진을 활성화 할 수 있다. 또한, 프로세서(150)는 제1 객체(620)의 타입에 기반하여 입력 방식을 음성 입력으로 결정할 수 있다.
프로세서(150)는 수신된 메시지를 표시하는 음성 입력(640)의 기능을 제1 객체에 대해 실행하여, 도 6c와 같이 수신된 메시지(650)를 표시할 수 있다.
이하에서는 도 7a 내지 도8을 참조하면 전술한 발명이 구현될 수 있는 장치에 대해 설명한다.
도 7a는 일 실시 예에 따른 HMD(head mounted diplay)와 HMD에 결합되는 전자 장치의 후면을 나타내는 도면이고, 도 7b는 일 실시 예에 따른 HMD에 결합되는 전자 장치의 전면을 나타내는 도면이다.
본 발명은 도 7a 및 도 7b의 HMD(720)와 모바일 전자 장치(710) 모두를 포함하는 전자 장치(700)로 구현될 수 있고, HMD(720)에 결합되는 모바일 전자 장치(710)로 구현될 수 있다.
HMD(720)는 카메라(721) 및 커넥터(722)를 포함할 수 있고, 모바일 전자 장치(710)는 카메라(711), 마이크(712), 디스플레이(713), 커넥터(714) 및 프로세서(미도시)를 포함할 수 있다.
HMD(720)의 카메라(110)는 도 1의 제1 카메라(111)에 대응될 수 있다.
모바일 전자 장치(710)의 카메라(711), 마이크(712), 디스플레이(713) 및 프로세서는 도 1의 제2 카메라(112), 마이크(120), 디스플레이(130) 및 프로세서(150)에 대응될 수 있다.
HMD(720)의 커넥터(722)가 모바일 전자 장치(710)의 커넥터(714)에 삽입됨으로써, HMD(720)와 모바일 전자 장치(710)가 결합될 수 있으며, 커넥터(714, 722)를 통해 HMD(720)와 모바일 전자 장치(710)가 기능적으로 연결될 수 있다.
도 8은 일 실시 예에 따른 디스플레이(130) 장치를 나타내는 도면이다.
도 8을 참조하면, 디스플레이 장치는 카메라(810), 마이크(820), 디스플레이(830) 및 프로세서(미도시)를 포함할 수 있다. 디스플레이 장치의 마이크(820), 디스플레이(830) 및 프로세서는 각각 도 1의 마이크(120), 디스플레이(130) 및 프로세서(150)에 대응될 수 있다.
그러나 디스플레이 장치의 카메라(110)는 사용자의 시선 및 제스처 모두를 촬영할 수 있으므로, 도 1의 제1 카메라(111) 및 제2 카메라(112)를 포함하는 카메라(110)에 대응될 수 있다.
한편, 본 발명은 예시한 전자 장치, HMD에 결합되는 모바일 전자 장치 및 디스플레이 장치 이외의 장치에서도 구현될 수 있다.
예를 들어, 본 발명이 차량에서 구현되면 HUD(head up display)가 디스플레이에 해당하고, 차량 내에 카메라, 마이크 및 프로세서가 구비될 수 있다. 본 발명이 차량에서 구현되면, 조작중인 핸들을 계속 잡고 있는 상태에서 HUD의 주행거리, 온도 또는 순간 연비 등을 나타내는 모드 전환, 음악, 라디오 또는 영상 등의 컨텐츠 제어, 차량 상태 문제발생 알림 및 관련 정보 확인을 운전 중에 수행할 수 있다.
도 9는 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치를 나타낸다.
도 9를 참조하면, 다양한 실시 예에서의 전자 장치(901), 제1 전자 장치(902), 제2 전자 장치(904) 또는 서버(906)가 네트워크(962) 또는 근거리 통신(964)을 통하여 서로 연결될 수 있다. 전자 장치(901)는 버스(910), 프로세서(920), 메모리(930), 입출력 인터페이스(950), 디스플레이(960), 및 통신 인터페이스(970)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(901)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.
프로세서(920), 메모리(930) 및 디스플레이(960)는 각각 도 1의 프로세서(150), 메모리(140) 및 디스플레이(130)에 해당할 수 있다.
버스(910)는, 예를 들면, 구성요소들(910-970)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(920)는, 중앙처리장치(Central Processing Unit (CPU)), 어플리케이션 프로세서(Application Processor (AP)), 또는 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(920)는, 예를 들면, 전자 장치(901)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(930)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(930)는, 예를 들면, 전자 장치(901)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(930)는 소프트웨어 및/또는 프로그램(940)을 저장할 수 있다. 프로그램(940)은, 예를 들면, 커널(941), 미들웨어(943), 어플리케이션 프로그래밍 인터페이스(Application Programming Interface (API))(945), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(947) 등을 포함할 수 있다. 커널(941), 미들웨어(943), 또는 API(945)의 적어도 일부는, 운영 시스템(Operating System (OS))으로 지칭될 수 있다.
커널(941)은, 예를 들면, 다른 프로그램들(예: 미들웨어(943), API(945), 또는 어플리케이션 프로그램(947))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(910), 프로세서(920), 또는 메모리(930) 등)을 제어 또는 관리할 수 있다. 또한, 커널(941)은 미들웨어(943), API(945), 또는 어플리케이션 프로그램(947)에서 전자 장치(901)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(943)는, 예를 들면, API(945) 또는 어플리케이션 프로그램(947)이 커널(941)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어(943)는 어플리케이션 프로그램(947)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(943)는 어플리케이션 프로그램(947) 중 적어도 하나에 전자 장치(901)의 시스템 리소스(예: 버스(910), 프로세서(920), 또는 메모리(930) 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어(943)는 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링 또는 로드 밸런싱 등을 수행할 수 있다.
API(945)는, 예를 들면, 어플리케이션(947)이 커널(941) 또는 미들웨어(943)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(950)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(901)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(950)는 전자 장치(901)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(960)는, 예를 들면, 액정 디스플레이(Liquid Crystal Display (LCD)), 발광 다이오드(Light-Emitting Diode (LED)) 디스플레이, 유기 발광 다이오드(Organic LED (OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems, MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(960)는, 예를 들면, 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(960)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스(970)는, 예를 들면, 전자 장치(901)와 외부 장치(예: 제1 전자 장치(902), 제2 전자 장치(904), 또는 서버(906)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(970)는 무선 통신 또는 유선 통신을 통해서 네트워크(962)에 연결되어 외부 장치(예: 제2 전자 장치(904) 또는 서버(906))와 통신할 수 있다.
무선 통신은, 예를 들면 셀룰러 통신 프로토콜로서, 예를 들면 LTE(Long-Term Evolution), LTE-A(LTE-Advanced), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 중 적어도 하나를 사용할 수 있다. 또한 무선 통신은, 예를 들면, 근거리 통신(964)을 포함할 수 있다. 근거리 통신(964)는, 예를 들면, Wi-Fi(Wireless Fidelity), Bluetooth, NFC(Near Field Communication), MST(magnetic stripe transmission), 또는 GNSS 중 적어도 하나를 포함할 수 있다.
MST는 전자기 신호를 이용하여 전송 데이터에 따라 펄스를 생성하고, 상기 펄스는 자기장 신호를 발생시킬 수 있다. 전자 장치(901)는 상기 자기장 신호를 POS(point of sales)에 전송하고, POS는 MST 리더(MST reader)를 이용하여 상기 자기장 신호는 검출하고, 검출된 자기장 신호를 전기 신호로 변환함으로써 상기 데이터를 복원할 수 있다.
GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo(the European global satellite-based navigation system) 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard-232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(962)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 전자 장치(902) 및 제2 전자 장치(904) 각각은 전자 장치(901)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버(906)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예에 따르면, 전자 장치(901)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904), 또는 서버(906))에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(901)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(901)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904), 또는 서버(906))에게 요청할 수 있다. 다른 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(901)로 전달할 수 있다. 전자 장치(901)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 10는 다양한 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도 10를 참조하면, 전자 장치(1001)는, 예를 들면, 도 9에 도시된 전자 장치(901)의 전체 또는 일부를 포함할 수 있다. 전자 장치(1001)는 하나 이상의 프로세서(예: AP)(1010), 통신 모듈(1020), 가입자 식별 모듈(1024), 메모리(1030), 센서 모듈(1040), 입력 장치(1050), 디스플레이(1060), 인터페이스(1070), 오디오 모듈(1080), 카메라 모듈(1091), 전력 관리 모듈(1095), 배터리(1096), 인디케이터(1097), 및 모터(1098)를 포함할 수 있다.
프로세서(1010), 메모리(1030), 디스플레이(1060), 마이크(1088) 및 카메라 모듈(1091)는 각각 도 1의 프로세서(150), 메모리(140), 디스플레이(130), 마이크(120) 및 카메라(110)에 해당할 수 있다.
프로세서(1010)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(1010)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(1010)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(1010)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(1010)는 도 10에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(1021))를 포함할 수도 있다. 프로세서(1010)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈(1020)은, 도 9의 통신 인터페이스(970)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(1020)은, 예를 들면, 셀룰러 모듈(1021), Wi-Fi 모듈(1022), 블루투스 모듈(1023), GNSS 모듈(1024)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(1025), MST 모듈(1026), 및 RF(radio frequency) 모듈(1027)을 포함할 수 있다.
셀룰러 모듈(1021)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1021)은 가입자 식별 모듈(예: SIM 카드)(1029)를 이용하여 통신 네트워크 내에서 전자 장치(1001)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1021)은 프로세서(1010)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1021)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다.
Wi-Fi 모듈(1022), 블루투스 모듈(1023), GNSS 모듈(1024), NFC 모듈(1025), 또는 MST 모듈(1026) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(1021), Wi-Fi 모듈(1022), 블루투스 모듈(1023), GNSS 모듈(1024), NFC 모듈(1025), 또는 MST 모듈(1026) 중 적어도 일부(예: 두 개 이상)는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(1027)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(1027)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(1021), Wi-Fi 모듈(1022), 블루투스 모듈(1023), GNSS 모듈(1024), NFC 모듈(1025), MST 모듈(1026) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(1029)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID (integrated circuit card identifier)) 또는 가입자 정보(예: IMSI (international mobile subscriber identity))를 포함할 수 있다.
메모리(1030)(예: 메모리(930))는, 예를 들면, 내장 메모리(1032) 또는 외장 메모리(1034)를 포함할 수 있다. 내장 메모리(1032)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비-휘발성(non-volatile) 메모리 (예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), 마스크(mask) ROM, 플래시(flash) ROM, 플래시 메모리(예: 낸드플래시(NAND flash) 또는 노아플래시(NOR flash) 등), 하드 드라이브, 또는 SSD(solid state drive) 중 적어도 하나를 포함할 수 있다.
외장 메모리(1034)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(MultiMediaCard), 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(1034)는 다양한 인터페이스를 통하여 전자 장치(1001)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
보안 모듈(1036)은 메모리(1030)보다 상대적으로 보안 레벨이 높은 저장 공간을 포함하는 모듈로써, 안전한 데이터 저장 및 보호된 실행 환경을 보장해주는 회로일 수 있다. 보안 모듈(1036)은 별도의 회로로 구현될 수 있으며, 별도의 프로세서를 포함할 수 있다. 보안 모듈(1036)은, 예를 들면, 탈착 가능한 스마트 칩, SD(secure digital) 카드 내에 존재하거나, 또는 전자 장치(1001)의 고정 칩 내에 내장된 내장형 보안 요소(embedded secure element(eSE))를 포함할 수 있다. 또한, 보안 모듈(1036)은 전자 장치(1001)의 운영 체제(OS)와 다른 운영 체제로 구동될 수 있다. 예를 들면, 보안 모듈(1036)은 JCOP(java card open platform) 운영 체제를 기반으로 동작할 수 있다.
센서 모듈(1040)은, 예를 들면, 물리량을 계측하거나 전자 장치(1001)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(1040)은, 예를 들면, 제스처 센서(1040A), 자이로 센서(1040B), 기압 센서(1040C), 마그네틱 센서(1040D), 가속도 센서(1040E), 그립 센서(1040F), 근접 센서(1040G), 컬러 센서(1040H)(예: RGB 센서), 생체 센서(1040I), 온/습도 센서(1040J), 조도 센서(1040K), 또는 UV(ultra violet) 센서(1040M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(1040)은, 예를 들면, 후각 센서(E-nose sensor), EMG(electromyography) 센서, EEG(electroencephalogram) 센서, ECG(electrocardiogram) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(1040)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1001)는 프로세서(1010)의 일부로서 또는 별도로, 센서 모듈(1040)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(1010)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(1040)을 제어할 수 있다.
입력 장치(1050)는, 예를 들면, 터치 패널(touch panel)(1052), (디지털) 펜 센서(pen sensor)(1054), 키(key)(1056), 또는 초음파(ultrasonic) 입력 장치(1058)를 포함할 수 있다. 터치 패널(1052)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(1052)은 제어 회로를 더 포함할 수도 있다. 터치 패널(1052)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(1054)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 시트(sheet)를 포함할 수 있다. 키(1056)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(1058)는 마이크(예: 마이크(1088))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(1060)(예: 디스플레이(960))는 패널(1062), 홀로그램 장치(1064), 또는 프로젝터(1066)을 포함할 수 있다. 패널(1062)은, 도 9의 디스플레이(960)과 동일 또는 유사한 구성을 포함할 수 있다. 패널(1062)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(1062)은 터치 패널(1052)과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치(1064)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(1066)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(1001)의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이(1060)는 패널(1062), 홀로그램 장치(1064), 또는 프로젝터(1066)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(1070)는, 예를 들면, HDMI(1072), USB(1074), 광 인터페이스(optical interface)(1076), 또는 D-sub(D-subminiature)(1078)을 포함할 수 있다. 인터페이스(1070)는, 예를 들면, 도 9에 도시된 통신 인터페이스(970)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(1070)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD 카드/MMC 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(1080)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(1080)의 적어도 일부 구성요소는, 예를 들면, 도 9에 도시된 입출력 인터페이스(950)에 포함될 수 있다. 오디오 모듈(1080)은, 예를 들면, 스피커(1082), 리시버(1084), 이어폰(1086), 또는 마이크(1088) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(1091)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 제논 램프(xenon lamp))를 포함할 수 있다.
전력 관리 모듈(1095)은, 예를 들면, 전자 장치(1001)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(1095)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(1096)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(1096)은, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(1097)는 전자 장치(1001) 혹은 그 일부(예: 프로세서(1010))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(1098)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치(1001)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(Digital Multimedia Broadcasting), DVB(Digital Video Broadcasting), 또는 미디어플로(MediaFLOTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 11은 다양한 실시 예에 따른 프로그램 모듈의 블록도를 나타낸다.
한 실시 예에 따르면, 프로그램 모듈(1110)(예: 프로그램(940))은 전자 장치(예: 전자 장치(901))에 관련된 자원을 제어하는 운영 체제(OS) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(947))을 포함할 수 있다. 운영 체제는, 예를 들면, Android, iOS, Windows, Symbian, 또는 Tizen 등이 될 수 있다.
프로그램 모듈(1110)은 커널(1120), 미들웨어(1130), API(1160), 및/또는 어플리케이션(1170)을 포함할 수 있다. 프로그램 모듈(1110)의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904), 서버(906) 등)로부터 다운로드 가능하다.
커널(1120)(예: 커널(941))은, 예를 들면, 시스템 리소스 매니저(1121) 또는 디바이스 드라이버(1123)를 포함할 수 있다. 시스템 리소스 매니저(1121)는 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(1121)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버(1123)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, Wi-Fi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어(1130)는, 예를 들면, 어플리케이션(1170)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(1170)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(1160)을 통해 다양한 기능들을 어플리케이션(1170)으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(1130)(예: 미들웨어(943))은 런타임 라이브러리(1135), 어플리케이션 매니저(application manager)(1141), 윈도우 매니저(window manager)(1142), 멀티미디어 매니저(multimedia manager)(1143), 리소스 매니저(resource manager)(1144), 파워 매니저(power manager)(1145), 데이터베이스 매니저(database manager)(1146), 패키지 매니저(package manager)(1147), 연결 매니저(connectivity manager)(1148), 통지 매니저(notification manager)(1149), 위치 매니저(location manager)(1150), 그래픽 매니저(graphic manager)(1151), 보안 매니저(security manager)(1152), 또는 결제 매니저(1154) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(1135)는, 예를 들면, 어플리케이션(1170)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(1135)는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저(1141)는, 예를 들면, 어플리케이션(1170) 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(1142)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(1143)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(1144)는 어플리케이션(1170) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저(1145)는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(1146)은 어플리케이션(1170) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(1147)은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저(1148)은, 예를 들면, Wi-Fi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(1149)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(1150)은 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(1151)은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(1152)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(예: 전자 장치(901))가 전화 기능을 포함한 경우, 미들웨어(1130)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.
미들웨어(1130)는 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어(1130)는 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어(1130)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API(1160)(예: API(945))은, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, Android 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(1170)(예: 어플리케이션 프로그램(947))은, 예를 들면, 홈(1171), 다이얼러(1172), SMS/MMS(1173), IM(instant message)(1174), 브라우저(1175), 카메라(1176), 알람(1177), 컨택트(1178), 음성 다이얼(1179), 이메일(1180), 달력(1181), 미디어 플레이어(1182), 앨범(1183), 또는 시계(1184), 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션(1170)은 전자 장치(예: 전자 장치(901))와 외부 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의상, "정보 교환 어플리케이션")을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스 등)를 관리(예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시 예에 따르면, 어플리케이션(1170)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(1170)은 외부 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904)), 및 서버(906)) 로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(1170)은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시 예에 따른 프로그램 모듈(1110)의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시 예에 따르면, 프로그램 모듈(1110)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈(1110)의 적어도 일부는, 예를 들면, 프로세서(예: 프로세서(1010))에 의해 구현(implement)(예: 실행)될 수 있다. 프로그램 모듈(1110)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(920))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(930)이 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    제1 카메라 및 제2 카메라;
    마이크;
    디스플레이; 및
    상기 제1 카메라, 제2 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이에 복수의 객체를 포함하는 UI(user interface)를 표시하고,
    상기 제1 카메라로부터 사용자의 시선 정보를 획득하고,
    상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고,
    상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고,
    상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하도록 설정된, 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 기 설정된 시간 이상 유지되면, 상기 제1 객체를 활성화하도록 설정된, 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하고,
    상기 결정된 방식의 입력이 획득되는 동안 상기 제1 객체의 활성화 상태를 유지하도록 설정된, 전자 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 제1 객체의 활성화 상태가 유지되는 동안, 상기 시선이 상기 복수의 객체 중 상기 제1 객체와 다른 제2 객체를 향하고,
    상기 입력이 상기 제2 객체에 적용 가능한 입력인 경우, 상기 입력에 대응하는 기능을 상기 제2 객체에 대해 실행하도록 설정된, 전자 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 제스처 입력 및 상기 음성 입력 중 적어도 하나에 더 기반하여 상기 입력 방식을 결정하도록 설정된, 전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 결정된 방식의 입력이 상기 제스처 입력이고, 상기 제스처 입력의 제스처가 상기 시선을 지나는 경우, 상기 제스처 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 전자 장치.
  8. 제1 카메라 및 마이크를 포함하는 HMD(head mounted display)에 결합되는 모바일 전자 장치에 있어서,
    제2 카메라;
    디스플레이; 및
    상기 제1 카메라 및 상기 마이크와 기능적으로 연결되고, 상기 제2 카메라 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이에 복수의 객체를 포함하는 UI를 표시하고,
    상기 제1 카메라로부터 사용자의 시선 정보를 획득하고,
    상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고,
    상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고,
    상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 모바일 전자 장치.
  9. 제8 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하도록 설정된, 모바일 전자 장치.
  10. 제8 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 기 설정된 시간 이상 유지되면, 상기 제1 객체를 활성화하도록 설정된, 모바일 전자 장치.
  11. 제8 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하고,
    상기 결정된 방식의 입력이 획득되는 동안 상기 제1 객체의 활성화 상태를 유지하도록 설정된, 모바일 전자 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 제1 객체의 활성화 상태가 유지되는 동안, 상기 시선이 상기 복수의 객체 중 상기 제1 객체와 다른 제2 객체를 향하고,
    상기 입력이 상기 제2 객체에 적용 가능한 입력인 경우, 상기 입력에 대응하는 기능을 상기 제2 객체에 대해 실행하도록 설정된, 모바일 전자 장치.
  13. 제8 항에 있어서,
    상기 프로세서는,
    상기 제스처 입력 및 상기 음성 입력 중 적어도 하나에 더 기반하여 상기 입력 방식을 결정하도록 설정된, 모바일 전자 장치.
  14. 제8 항에 있어서,
    상기 프로세서는,
    상기 결정된 방식의 입력이 상기 제스처 입력이고, 상기 제스처 입력의 제스처가 상기 시선을 지나는 경우, 상기 제스처 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 모바일 전자 장치.
  15. 디스플레이 장치에 있어서,
    카메라;
    마이크;
    디스플레이; 및
    상기 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이에 복수의 객체를 포함하는 UI를 표시하고,
    상기 카메라로부터 사용자의 시선 정보를 획득하고,
    상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고,
    상기 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고,
    상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 디스플레이 장치.
  16. 제15 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하도록 설정된, 디스플레이 장치.
  17. 제15 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 기 설정된 시간 이상 유지되면, 상기 제1 객체를 활성화하도록 설정된, 디스플레이 장치.
  18. 제15 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하고,
    상기 결정된 방식의 입력이 획득되는 동안 상기 제1 객체의 활성화 상태를 유지하도록 설정된, 디스플레이 장치.
  19. 제18 항에 있어서,
    상기 프로세서는,
    상기 제1 객체의 활성화 상태가 유지되는 동안, 상기 시선이 상기 복수의 객체 중 상기 제1 객체와 다른 제2 객체를 향하고,
    상기 입력이 상기 제2 객체에 적용 가능한 입력인 경우, 상기 입력에 대응하는 기능을 상기 제2 객체에 대해 실행하도록 설정된, 디스플레이 장치.
  20. 제15 항에 있어서,
    상기 프로세서는,
    상기 제스처 입력 및 상기 음성 입력 중 적어도 하나에 더 기반하여 상기 입력 방식을 결정하도록 설정된, 디스플레이 장치.
KR1020160173893A 2016-12-19 2016-12-19 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치 KR20180071092A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160173893A KR20180071092A (ko) 2016-12-19 2016-12-19 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
PCT/KR2017/014912 WO2018117560A1 (ko) 2016-12-19 2017-12-18 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
US16/465,239 US10962785B2 (en) 2016-12-19 2017-12-18 Electronic device, mobile electronic device, and display device, which are controlled on basis of user gaze and input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160173893A KR20180071092A (ko) 2016-12-19 2016-12-19 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR20180071092A true KR20180071092A (ko) 2018-06-27

Family

ID=62626810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160173893A KR20180071092A (ko) 2016-12-19 2016-12-19 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치

Country Status (3)

Country Link
US (1) US10962785B2 (ko)
KR (1) KR20180071092A (ko)
WO (1) WO2018117560A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245298A1 (ko) 2018-06-20 2019-12-26 주식회사 엘지화학 고체산화물 연료전지용 연결재, 이의 제조방법 및 이를 포함하는 고체산화물 연료전지
WO2020101048A1 (ko) * 2018-11-12 2020-05-22 엘지전자 주식회사 전자 제어 장치 및 그것을 포함하는 차량
WO2021029582A1 (en) * 2019-08-13 2021-02-18 Samsung Electronics Co., Ltd. Co-reference understanding electronic apparatus and controlling method thereof
WO2023027459A1 (ko) * 2021-08-23 2023-03-02 삼성전자 주식회사 증강현실 객체를 표시하는 웨어러블 전자 장치와 이의 동작 방법
US11941315B2 (en) 2021-08-23 2024-03-26 Samsung Electronics Co., Ltd. Wearable electronic device for displaying augmented reality object and method for operating the same
WO2024080709A1 (ko) * 2022-10-14 2024-04-18 삼성전자주식회사 음성 신호에 기반하여 실행가능한 객체를 제어하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3648479B1 (en) * 2018-11-02 2023-09-27 Ningbo Geely Automobile Research & Development Co. Ltd. Audio communication in a vehicle
JP7402322B2 (ja) * 2020-05-15 2023-12-20 株式会社Ｎｔｔドコモ 情報処理システム
CN115300897A (zh) * 2022-07-29 2022-11-08 小派科技（上海）有限责任公司 分离式虚拟系统的空间定位方法、虚拟系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
KR102095765B1 (ko) 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20140073730A (ko) 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
KR20150023151A (ko) * 2013-08-23 2015-03-05 삼성전자주식회사 전자 장치 및 이의 어플리케이션 실행 방법
KR20150087909A (ko) 2014-01-23 2015-07-31 한국전자통신연구원 멀티 모달리티 제어 방법 및 시스템
KR20160001465A (ko) 2014-06-27 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US10317992B2 (en) * 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US10276158B2 (en) * 2014-10-31 2019-04-30 At&T Intellectual Property I, L.P. System and method for initiating multi-modal speech recognition using a long-touch gesture
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
KR101657947B1 (ko) * 2015-04-30 2016-09-26 해성옵틱스(주) 오디오 비디오 브리징 시스템이 적용된 차량의 메뉴 제어 장치 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245298A1 (ko) 2018-06-20 2019-12-26 주식회사 엘지화학 고체산화물 연료전지용 연결재, 이의 제조방법 및 이를 포함하는 고체산화물 연료전지
WO2020101048A1 (ko) * 2018-11-12 2020-05-22 엘지전자 주식회사 전자 제어 장치 및 그것을 포함하는 차량
WO2021029582A1 (en) * 2019-08-13 2021-02-18 Samsung Electronics Co., Ltd. Co-reference understanding electronic apparatus and controlling method thereof
US11468123B2 (en) 2019-08-13 2022-10-11 Samsung Electronics Co., Ltd. Co-reference understanding electronic apparatus and controlling method thereof
WO2023027459A1 (ko) * 2021-08-23 2023-03-02 삼성전자 주식회사 증강현실 객체를 표시하는 웨어러블 전자 장치와 이의 동작 방법
US11941315B2 (en) 2021-08-23 2024-03-26 Samsung Electronics Co., Ltd. Wearable electronic device for displaying augmented reality object and method for operating the same
WO2024080709A1 (ko) * 2022-10-14 2024-04-18 삼성전자주식회사 음성 신호에 기반하여 실행가능한 객체를 제어하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Also Published As

Publication number Publication date
US10962785B2 (en) 2021-03-30
WO2018117560A1 (ko) 2018-06-28
US20190324279A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
US10962785B2 (en) Electronic device, mobile electronic device, and display device, which are controlled on basis of user gaze and input
KR102324074B1 (ko) 사운드 출력 제어 방법 및 전자 장치
KR20170086814A (ko) 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
KR20160105242A (ko) 스크린 미러링 서비스 제공장치 및 방법
KR20170046958A (ko) 전자 장치 및 그의 음성 인식을 이용한 기능 실행 방법
KR20170083439A (ko) 전자 장치의 센서 동작 방법 및 장치
KR20170009069A (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
KR102416549B1 (ko) 어플리케이션을 관리하는 방법 및 그를 위한 전자 장치
KR20160114930A (ko) 모듈 인식 방법 및 이를 수행하는 전자 장치
KR20160129607A (ko) 전자 장치의 근거리 무선 통신 방법 및 이를 사용하는 전자 장치
KR20170061473A (ko) 알림을 제공하기 위한 방법 및 그 전자 장치
KR20160101600A (ko) 스크린 미러링 서비스 제공방법 및 장치
KR20170060480A (ko) 전자 장치 및 그 제어 방법
KR20170035079A (ko) 전자 장치 및 촬영 방법
KR102458444B1 (ko) 전자 장치 및 그 동작 방법
KR102574132B1 (ko) 음원 재생 시간을 동기화하는 전자 장치 및 시스템
KR20180078576A (ko) 이미지에서 전자 장치의 흔들림 영향을 보정하기 위한 방법 및 장치
KR20170098106A (ko) 환경 설정 방법 및 장치
US20210278955A1 (en) Notification information display method and device
KR20170066050A (ko) 객체 알림 방법 및 이를 지원하는 전자 장치
US10931322B2 (en) Electronic device and operation method therefor
KR20160147432A (ko) 디스플레이의 서로 다른 영역을 독립적으로 제어하는 전자 장치 및 방법
KR20170136385A (ko) 정보 처리 시스템 및 이에 포함되는 전자 장치
KR20160031217A (ko) 제어 방법 및 그 방법을 처리하는 전자장치
KR20180073188A (ko) 전자장치 및 이를 활용한 웹 페이지 표시 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal