KR20190138968A

KR20190138968A - An electronic device for receiving an user input via heart rate sensor

Info

Publication number: KR20190138968A
Application number: KR1020180065369A
Authority: KR
Inventors: 크제민스키 미할; 피잘코브스키 아담; 추드닉 파벨
Original assignee: 삼성전자주식회사
Priority date: 2018-06-07
Filing date: 2018-06-07
Publication date: 2019-12-17
Also published as: WO2019235846A1; KR102582687B1

Abstract

An electronic device according to various embodiments of the present disclosure may identify an external object moving on a second surface by using a sensor disposed on the second surface that is different from a first surface on which a display is disposed, such as an HR sensor. In response to the movement of the identified external object, the electronic device can execute a function of changing the expression of a user interface, multimedia content, and the like. The electronic device can select a function to perform in response to the movement of the external object from among a plurality of functions based on the moving direction of the external object, a distance on the external object and the sensor, and the like. It is possible to prevent a part of a display from being occluded while controlling the electronic device.

Description

Electronic device and method for receiving user input through heart rate sensor {AN ELECTRONIC DEVICE FOR RECEIVING AN USER INPUT VIA HEART RATE SENSOR}

후술되는 다양한 실시예들은 전자 장치의 하우징에서 디스플레이가 노출되는 제1 면과 구별되는 제2 면을 통해 외부로 노출되는 센서(예를 들어, 심박수(HR, Heart Rate) 센서)를 이용하여 사용자 입력을 수신하기 위한 전자 장치(electronic device) 및 그의 방법에 관한 것이다.Various embodiments to be described below are user inputs using a sensor (eg, a heart rate (HR) sensor) that is exposed to the outside through a second surface that is distinct from the first surface to which the display is exposed in the housing of the electronic device. An electronic device and a method thereof for receiving a.

스마트폰(smartphone), 태블릿 PC(tablet personal computer), 스마트 워치(smart watch)와 같은 전자 장치(electronic device)는 디스플레이 상에서 외부 객체(예를 들어, 사용자의 손가락 또는 스타일러스 등)의 움직임을 탐지하는 터치 센서를 포함할 수 있다. 터치 센서는 사용자로 하여금 디스플레이 상에 표시되는 객체(예를 들어, 아이콘, 문자 등)를 직관적으로 제어하게 할 수 있다. 전자 장치(electronic device)는 용적 맥파(photoplethysmogram)를 측정하는 HR(Heart Rate) 센서를 포함할 수 있다.Electronic devices, such as smartphones, tablet personal computers, and smart watches, detect the movement of external objects (eg, a user's finger or stylus) on the display. It may include a touch sensor. The touch sensor may allow a user to intuitively control an object (eg, icon, text, etc.) displayed on the display. An electronic device may include a HR (Heart Rate) sensor measuring a volume of photoplethysmogram.

사용자가 전자 장치의 디스플레이를 터치할 때에, 디스플레이의 일부분이 입력 수단에 의해 가려질 수 있다(occluded). 스마트 폰 또는 스마트 워치와 같은 전자 장치의 디스플레이는 상대적으로 작은 크기를 가지므로, 전자 장치를 제어하는 동안 디스플레이의 일부분이 가려지는 것은 사용자에게 불편함을 야기할 수 있다. When the user touches the display of the electronic device, a portion of the display may be occluded by the input means. Since the display of an electronic device, such as a smart phone or smart watch, has a relatively small size, obscuring a portion of the display while controlling the electronic device may cause inconvenience to the user.

본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The technical problem to be achieved in this document is not limited to the technical problem mentioned above, and other technical problems not mentioned above may be clearly understood by those skilled in the art from the following description. There will be.

다양한 실시예들에 따르면, 전자 장치(electronic device)에 있어서, 하우징(housing), 명령어들을 저장하는 메모리, 상기 하우징의 제1 면의 적어도 일부를 통해 노출되는 디스플레이, 상기 하우징의 제1 면과 구별되는 상기 하우징의 제2 면의 적어도 일부를 통해 노출되는 센서 및 상기 디스플레이 및 상기 센서와 작동적으로 결합되는 프로세서를 포함하고, 상기 프로세서는, 상기 명령어들을 실행하는 동안, 멀티미디어 콘텐트를 표시하고, 상기 멀티미디어 콘텐트를 표시하는 동안, 상기 센서를 이용하여 외부 객체로부터의 입력을 검출하고, 상기 입력을 검출하는 동안, 상기 센서를 통해 획득된 데이터의 패턴을 식별하고, 상기 식별된 패턴에 기초하여, 상기 외부 객체의 이동 방향을 식별하고, 상기 식별된 이동 방향에 기초하여, 상기 멀티미디어의 콘텐트의 표시를 변경하는 전자 장치가 제공될 수 있다.According to various embodiments, an electronic device, comprising: a housing, a memory for storing instructions, a display exposed through at least a portion of the first side of the housing, and distinct from the first side of the housing And a processor operatively coupled with the display and the sensor, the sensor being exposed through at least a portion of the second side of the housing, wherein the processor displays multimedia content while executing the instructions, While displaying multimedia content, the sensor detects an input from an external object, while detecting the input, identifies a pattern of data obtained through the sensor, and based on the identified pattern, Identify a direction of movement of an external object, and based on the identified direction of movement, the content of the multimedia An electronic device for changing the display of may be provided.

다양한 실시예들에 따르면, 전자 장치에 의해 수행되는 방법에 있어서, 상기 전자 장치의 디스플레이를 통해, 멀티미디어 콘텐트를 표시하는 동작, 상기 디스플레이가 배치된 상기 전자 장치의 제1 면과 구별되는 제2 면에 배치된 센서를 통해, 외부 객체로부터 입력을 검출하는 동작, 상기 입력을 검출하는 동안, 상기 센서를 통해 획득된 데이터의 패턴을 식별하는 동작, 상기 식별된 패턴에 기초하여, 상기 외부 객체의 이동 방향을 식별하는 동작 및 상기 식별된 이동 방향에 기초하여, 상기 멀티미디어 콘텐트의 표시를 변경하는 동작을 포함하는 방법이 제공될 수 있다.According to various embodiments of the present disclosure, a method performed by an electronic device may include displaying multimedia content through a display of the electronic device, and a second surface that is distinguished from a first surface of the electronic device on which the display is disposed. Detecting an input from an external object via a sensor disposed in the sensor, identifying a pattern of data obtained through the sensor while detecting the input, and moving the external object based on the identified pattern A method may be provided that includes identifying a direction and changing a display of the multimedia content based on the identified movement direction.

다양한 실시예들에 따르면, 전자 장치에 있어서, 하우징(housing)의 제1 면의 적어도 일부를 통해 노출되는 디스플레이, 상기 하우징의 상기 제1 면의 반대인 상기 하우징의 제2 면의 적어도 일부를 통해 노출되는 센서 - 상기 센서는 광을 방출하도록 설정된 광 송신기 및 상기 광에 의해 반사된 광을 수신하도록 설정된 광 수신기를 포함함 - 및 프로세서를 포함하고, 상기 프로세서는, 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 제공하는 동안, 상기 센서를 이용하여 외부 객체의 움직임을 식별하고, 상기 센서를 이용하여 상기 외부 객체가 상기 센서로부터 제1 거리만큼 이격된 상태에서 제1 방향으로 움직임을 식별하는 것에 대응하여, 상기 사용자 인터페이스를 통해 이용할 수 있는 복수의 기능들 중 제1 기능을 상기 사용자 인터페이스를 표시하는 동안 제공하고, 상기 사용자 인터페이스를 표시하는 동안 상기 외부 객체와 상기 센서와의 거리가 상기 제1 거리로부터 제2 거리로 변경됨을 상기 센서를 이용하여 식별하고, 상기 제2 거리로의 변경을 식별하는 것에 대응하여, 상기 복수의 기능들 중 상기 제1 기능과 구별되는 제2 기능을 상기 사용자 인터페이스를 표시하는 동안 제공하는 전자 장치가 제공될 수 있다.According to various embodiments, in an electronic device, a display exposed through at least a portion of a first side of a housing, through at least a portion of a second side of the housing opposite the first side of the housing A sensor to be exposed, the sensor including an optical transmitter configured to emit light and an optical receiver set to receive light reflected by the light, and the processor providing a user interface and providing the user interface with the user. While providing an interface, the sensor may be used to identify movement of an external object and the sensor may be used to identify movement in a first direction with the external object spaced apart from the sensor by a first distance. A first function among a plurality of functions available through the user interface; Providing during display, and identifying with the sensor that the distance between the external object and the sensor is changed from the first distance to the second distance while displaying the user interface, and changing the second distance. In response to the identification, an electronic device providing a second function distinguished from the first function among the plurality of functions while displaying the user interface may be provided.

다양한 실시예들에 따른 전자 장치(electronic device) 및 그의 방법은, 사용자로 하여금 전자 장치에서 디스플레이가 배치된 제1 면과 구별되는 제2 면에 배치된 HR 센서를 이용하여 전자 장치를 제어하게 만듦으로써, 사용자가 디스플레이의 적어도 일부분을 가리지 않으면서 전자 장치를 제어하게 할 수 있다.An electronic device and its method according to various embodiments allow a user to control the electronic device using an HR sensor disposed on a second side of the electronic device that is distinct from the first side on which the display is disposed. This allows the user to control the electronic device without covering at least a portion of the display.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. Effects obtained in the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned above may be clearly understood by those skilled in the art from the following description. will be.

도 1은 다양한 실시예들에 따른 전자 장치의 기능적 구성의 예를 도시한 도면이다.
도 2a 내지 2c는 다양한 실시예에서 외부 객체의 움직임을 광학적으로 탐지하기 위한 센서의 배치를 설명하기 위한 도면이다.
도 3은 다양한 실시예들에 따른 전자 장치가 수행하는 동작의 예를 도시한 흐름도이다.
도 4는 일 실시예에 따른 전자 장치의 하우징 상에서 센서의 배치를 도시한 도면이다.
도 5는 다양한 실시예들에 따른 전자 장치가 센서에서 출력되는 데이터로부터 센서 상에 존재하는 외부 객체의 움직임을 식별하는 동작의 예를 도시한 흐름도이다.
도 6a 내지 6c는 일 실시예에 따른 전자 장치의 센서에서 출력되는 데이터의 패턴을 이용하여 외부 객체의 이동 방향을 식별하는 동작을 설명하기 위한 예시적인 도면이다.
도 7a 내지 7b는 다양한 실시예들에 따른 전자 장치가 도 6a 내지 6b 각각에서 외부 객체의 움직임에 대응하여 멀티미디어 콘텐트의 표시를 변경하는 예를 설명하기 위한 도면이다.
도 8은 다양한 실시예들에 따른 전자 장치가 센서의 출력 값을 샘플링하거나 분할하는 동작을 설명하기 위한 도면이다.
도 9는 다양한 실시예들에 따른 전자 장치가 복수의 광 수신기를 포함하는 센서로부터 획득된 데이터에 대응하여 수행하는 동작을 도시한 흐름도이다.
도 10a 내지 10b는 다양한 실시예들에 따른 전자 장치가 센서에서 출력되는 데이터의 패턴을 이용하여 외부 객체가 복수의 광 수신기들을 통과한 순서를 식별하는 동작을 설명하기 위한 도면이다.
도 11은 다양한 실시예들에 따른 전자 장치가 외부 객체로부터 식별한 2차원 움직임에 기초하여 수행하는 기능의 예를 설명하기 위한 도면이다.
도 12는 다양한 실시예들에 따른 전자 장치가 외부 객체 및 센서 상의 거리를 이용하여, 외부 객체의 움직임에 대응하여 수행할 기능을 선택하는 동작을 설명하기 위한 흐름도이다.
도 13은 다양한 실시예들에 따른 전자 장치가 센서의 출력 값의 피크 값에 기초하여, 외부 객체의 움직임에 대응하여 수행할 기능을 선택하는 동작을 설명하기 위한 도면이다.
도 14는 다양한 실시예들에 따른 전자 장치가 외부 객체 및 센서 사이의 거리에 대응하여 사용자에게 제공할 기능을 변경하는 동작을 설명하기 위한 흐름도이다.
도 15a 내지 15b는 다양한 실시예들에 따른 전자 장치가 센서로부터 서로 다른 거리만큼 이격된 외부 객체의 이동 경로들에 대응하여 하나 이상의 기능을 사용자에게 제공하는 예를 설명하기 위한 도면이다.
도 16은 다양한 실시예들에 따른 전자 장치가, 사용자의 심박수를 측정하는 HR 센서의 활성화 여부에 따라, 디스플레이를 통해 입력되는 제스쳐에 따라 수행할 기능을 변경하는 동작을 설명하기 위한 흐름도이다.
도 17은 다양한 실시예들에 따른 전자 장치가 HR 센서의 활성화 여부에 따라 터치 센서 및 HR 센서를 이용하여 사용자 인터페이스를 제어하는 동작을 설명하기 위한 도면이다.
도 18은 다양한 실시예들에 따른 전자 장치가 HR 센서 상에서 외부 객체의 움직임에 대응하여 애플리케이션들 중 어느 하나를 선택하는 동작을 설명하기 위한 도면이다.
도 19는 다양한 실시예들에 따른 제1 전자 장치가 센서에서 식별된 외부 객체의 움직임에 대응하여 제2 전자 장치를 제어하는 동작을 설명하기 위한 흐름도이다.
도 20은 다양한 실시예들에 따른 제1 전자 장치의 센서를 이용하여 제2 전자 장치를 제어하는 동작을 설명하기 위한 도면이다.
도 21은 다양한 실시예에 따른 전자 장치의 하우징에서 디스플레이 및 센서의 배치를 설명하기 위한 도면이다.
도 22는 다양한 실시예들에 따른 전자 장치가 사용자의 시선에 대응하여 수행하는 동작의 예를 도시한 도면이다.1 is a diagram illustrating a functional configuration of an electronic device according to various embodiments of the present disclosure.
2A to 2C are diagrams for describing an arrangement of a sensor for optically detecting a movement of an external object in various embodiments.
3 is a flowchart illustrating an example of an operation performed by an electronic device according to various embodiments of the present disclosure.
4 is a diagram illustrating an arrangement of a sensor on a housing of an electronic device according to an exemplary embodiment.
5 is a flowchart illustrating an example of an operation of identifying, by an electronic device, a movement of an external object present on a sensor from data output from the sensor, according to various embodiments of the present disclosure.
6A to 6C are exemplary diagrams for describing an operation of identifying a moving direction of an external object by using a pattern of data output from a sensor of an electronic device, according to an exemplary embodiment.
7A to 7B are diagrams for describing an example in which the electronic device changes a display of multimedia content in response to the movement of an external object in each of FIGS. 6A through 6B according to various embodiments.
8 is a diagram illustrating an operation of sampling or dividing an output value of a sensor by an electronic device according to various embodiments of the present disclosure.
9 is a flowchart illustrating an operation performed by an electronic device in response to data obtained from a sensor including a plurality of optical receivers.
10A to 10B are diagrams for describing an operation of identifying an order in which an external object passes through a plurality of optical receivers using a pattern of data output from a sensor according to various embodiments of the present disclosure.
11 is a diagram illustrating an example of a function performed by an electronic device based on a two-dimensional movement identified by an external object, according to various embodiments of the present disclosure.
12 is a flowchart illustrating an operation in which an electronic device selects a function to perform in response to a movement of an external object by using a distance on the external object and a sensor, according to various embodiments of the present disclosure.
FIG. 13 is a diagram illustrating an operation of selecting, by a electronic device, a function to be performed in response to a movement of an external object based on a peak value of an output value of a sensor according to various embodiments of the present disclosure.
14 is a flowchart illustrating an operation of changing, by an electronic device, a function to be provided to a user in response to a distance between an external object and a sensor.
15A to 15B illustrate an example in which an electronic device provides one or more functions to a user in response to movement paths of an external object spaced apart from each other by a different distance from a sensor.
FIG. 16 is a flowchart illustrating an operation of changing, by an electronic device, a function to be performed according to a gesture input through a display according to whether an HR sensor measuring a heart rate of a user is activated.
FIG. 17 is a diagram illustrating an operation in which an electronic device controls a user interface using a touch sensor and an HR sensor according to whether an HR sensor is activated.
FIG. 18 is a diagram illustrating an operation in which an electronic device selects one of applications corresponding to a movement of an external object on an HR sensor according to various embodiments of the present disclosure.
19 is a flowchart illustrating an operation of controlling, by a first electronic device, a second electronic device in response to a movement of an external object identified by a sensor, according to various embodiments of the present disclosure.
20 is a diagram illustrating an operation of controlling a second electronic device using a sensor of a first electronic device according to various embodiments of the present disclosure.
21 is a diagram illustrating an arrangement of a display and a sensor in a housing of an electronic device according to various embodiments of the present disclosure.
22 is a diagram illustrating an example of an operation performed by the electronic device according to the user's eyes according to various embodiments of the present disclosure.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be practiced in various forms. Accordingly, the embodiments are not limited to the specific disclosure, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but such terms should be interpreted only for the purpose of distinguishing one component from another component. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being "connected" to another component, it should be understood that there may be a direct connection or connection to that other component, but there may be other components in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. As used herein, the terms "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, but includes one or more other features or numbers, It is to be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined herein. Do not.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. Like reference numerals in the drawings denote like elements.

도 1은 다양한 실시예들에 따른 전자 장치(100)의 기능적 구성의 예를 도시한 도면이다. 전자 장치(100)는 스마트 폰, PDA(Personal Digital Assistance), 스마트 패드와 같은 태블릿 PC(Personal Computer), 데스크톱 PC, 랩톱 PC 일 수 있다. 다양한 실시예들에 따르면, 전자 장치(100)는 다른 전자 장치의 일부로써 포함될 수 있는 임베디드(embedded) PC이거나, 스마트 워치와 같은 웨어러블 장치(wearable device)일 수 있다. 설명의 편의를 위하여, 전자 장치(100)의 일부 컴포넌트의 도시가 생략될 수 있다.1 is a diagram illustrating a functional configuration of an electronic device 100 according to various embodiments of the present disclosure. The electronic device 100 may be a smart phone, a personal digital assistant (PDA), a tablet PC such as a smart pad, a desktop PC, or a laptop PC. According to various embodiments, the electronic device 100 may be an embedded PC that may be included as part of another electronic device or a wearable device such as a smart watch. For convenience of description, illustration of some components of the electronic device 100 may be omitted.

도 1을 참고하면, 전자 장치(100)는 프로세서(110), 메모리(120), 디스플레이(130), 센서(140)를 포함할 수 있다. 상술한 전자 장치(100)의 컴포넌트들은 하우징(미도시)의 내부 또는 하우징의 표면상에 결합되거나 또는 배치될 수 있다. 프로세서(110), 메모리(120), 디스플레이(130) 및 센서(140)들은 통신 버스(미도시)에 의해 작동적으로 연결될 수 있다.Referring to FIG. 1, the electronic device 100 may include a processor 110, a memory 120, a display 130, and a sensor 140. The components of the electronic device 100 described above may be coupled to or disposed on a surface of the housing or inside the housing (not shown). The processor 110, the memory 120, the display 130, and the sensors 140 may be operatively connected by a communication bus (not shown).

프로세서(110)는 적어도 하나의 명령어(예를 들어, 복수의 명령어들의 집합인 소프트웨어)를 실행함으로써, 전자 장치(100)에 포함된 적어도 하나의 컴포넌트(예를 들어, 센서(140) 또는 디스플레이(130))를 제어할 수 있다. 또는, 프로세서(110)는 적어도 하나의 명령어를 실행함으로써, 다양한 데이터를 처리하거나 연산을 수행할 수 있다.The processor 110 executes at least one instruction (eg, software that is a set of a plurality of instructions), thereby executing at least one component (eg, the sensor 140 or the display ( 130) can be controlled. Alternatively, the processor 110 may process various data or perform an operation by executing at least one instruction.

메모리(120)는 전자 장치(100)의 적어도 하나의 컴포넌트(예를 들어, 프로세서(110) 또는 센서(140))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 메모리(120)에 저장되는 데이터는, 예를 들어, 프로세서(110)에 의해 실행되는 소프트웨어, 센서(140)에서 출력되는 데이터 또는 디스플레이(130)로 출력되는 데이터 등을 포함할 수 있다. 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.The memory 120 may store various data used by at least one component (eg, the processor 110 or the sensor 140) of the electronic device 100. The data stored in the memory 120 may include, for example, software executed by the processor 110, data output from the sensor 140, data output to the display 130, or the like. The memory 120 may be a volatile memory or a nonvolatile memory.

디스플레이(130)는 전자 장치(100)의 하우징의 어느 한 면에 배치될 수 있다. 전자 장치(100)의 사용자에게 정보(예를 들어, 멀티미디어 콘텐트)를 시각적으로 제공하기 위하여, 디스플레이(130)는 상기 한 면에서 전자 장치(100)의 외부로 노출될 수 있다. 다양한 실시예들에 따르면, 디스플레이(130)는 터치 스크린일 수 있다. 이 경우, 디스플레이(130)는 디스플레이(130) 상에서 호버링 되거나 디스플레이(130)에 접촉되는 입력 수단(예를 들어, 사용자의 손가락, 스타일러스 등)을 탐지할 수 있다. 디스플레이(130)는 입력 수단을 탐지한 것에 대응하여, 입력 수단의 디스플레이(130) 내의(within) 위치를 프로세서(110) 또는 메모리(120)로 전달할 수 있다.The display 130 may be disposed on either side of the housing of the electronic device 100. In order to visually provide information (eg, multimedia content) to a user of the electronic device 100, the display 130 may be exposed to the outside of the electronic device 100 on one side thereof. According to various embodiments, the display 130 may be a touch screen. In this case, the display 130 may detect an input means (eg, a user's finger, stylus, etc.) hovered over or in contact with the display 130. The display 130 may transmit a position within the display 130 of the input means to the processor 110 or the memory 120 in response to detecting the input means.

다양한 실시예들에 따르면, 전자 장치(100)는 상술한 입력 수단과 같은 외부 객체의 움직임을 탐지하는 광학적 수단인 센서(140)를 포함할 수 있다. 센서(140)는, 전자 장치(100)의 하우징에서 디스플레이(130)가 배치된 어느 한 면과 구별되는(distinct from) 하우징의 다른 한 면에 배치될 수 있다. 센서(140)의 적어도 일부는 하우징의 상기 다른 한 면에서 전자 장치(100)의 외부로 노출될 수 있다. 이 경우, 센서(140)는, 디스플레이(130)가 배치된 어느 한 면과 구별되는 상기 다른 한 면에서의 입력 수단의 움직임을 탐지할 수 있다. 바꾸어 말하면, 센서(140)에서 출력되는 데이터는 입력 수단의 움직임과 관련될 수 있다(associated with).According to various embodiments of the present disclosure, the electronic device 100 may include a sensor 140 that is an optical means for detecting a movement of an external object such as the input means described above. The sensor 140 may be disposed on the other side of the housing that is distinct from one side on which the display 130 is disposed in the housing of the electronic device 100. At least a portion of the sensor 140 may be exposed to the outside of the electronic device 100 on the other side of the housing. In this case, the sensor 140 may detect the movement of the input means on the other side which is distinguished from one side on which the display 130 is disposed. In other words, the data output from the sensor 140 may be associated with the movement of the input means.

도 1을 참고하면, 센서(140)는 외부 객체를 향해 광을 방출(emit)하는 광 송신기(141)를 포함할 수 있다. 센서(140)는, 방출된 광이 상기 외부 객체에 의해 반사된 경우, 반사된 광을 수신하는 광 수신기(142)를 포함할 수 있다. 광 수신기(142)가 수신하는 광의 파장은 광 송신기(141)가 방출하는 광의 파장에 대응할 수 있다. 예를 들어, 광 송신기(141) 및 광 수신기(142) 각각은 적외선 파장 대역의 파장을 가지는 광을 송신하고 수신할 수 있다.Referring to FIG. 1, the sensor 140 may include an optical transmitter 141 that emits light toward an external object. The sensor 140 may include an optical receiver 142 that receives the reflected light when the emitted light is reflected by the external object. The wavelength of the light received by the optical receiver 142 may correspond to the wavelength of the light emitted by the optical transmitter 141. For example, each of the optical transmitter 141 and the optical receiver 142 may transmit and receive light having a wavelength in the infrared wavelength band.

센서(140)에서 출력되는 데이터는 광 수신기(142)에서 출력되는 데이터를 포함할 수 있다. 광 수신기(142)에서 출력되는 데이터는 반사된 광의 세기에 따라 달라질 수 있다. 사용자의 손가락이 센서(140)에 접촉되는 경우, 광 수신기(142)는 사용자의 손가락에서 반사되는 광을 수신할 수 있다. 이 경우, 손가락에 의해 광 수신기(142)로부터 반사되는 광의 세기는 손가락에 포함된 혈관의 혈류량에 따라 달라질 수 있다. 프로세서(110)는 센서(140)에서 출력되는 데이터를 이용하여, 광 수신기(142)로 반사되는 광의 세기의 시간에 따른 변화를 식별할 수 있다. 상기 혈류량은 사용자의 심장 박동율(heart beat rate)에 따라 주기적으로 변화할 수 있다. 따라서, 프로세서(110)는 식별되는 광의 세기의 시간에 따른 변화로부터, 사용자의 심박수(heart rate)를 식별할 수 있다. 이 경우, 센서(140)는 HR 센서일 수 있다.The data output from the sensor 140 may include data output from the optical receiver 142. Data output from the optical receiver 142 may vary according to the intensity of the reflected light. When the user's finger contacts the sensor 140, the optical receiver 142 may receive light reflected from the user's finger. In this case, the intensity of light reflected from the optical receiver 142 by the finger may vary depending on the blood flow of blood vessels included in the finger. The processor 110 may use the data output from the sensor 140 to identify a change over time of the intensity of light reflected by the optical receiver 142. The blood flow rate may change periodically according to the heart beat rate of the user. Thus, the processor 110 may identify the heart rate of the user from the change over time of the intensity of the light being identified. In this case, the sensor 140 may be an HR sensor.

프로세서(110)는 센서(140)에서 출력되는 데이터를 이용하여, 센서(140)에 인접한 외부 객체의 움직임을 식별할 수 있다. 예를 들어, 프로세서(110)는 외부 객체가 단순히 센서(140)를 두드리는(tap) 움직임뿐만 아니라, 외부 객체가 센서(140) 상에서 미끄러지는(sliding) 움직임도 식별할 수 있다. 외부 객체가 센서(140) 상에서 미끄러지는(sliding) 경우, 프로세서(110)가 식별하는 외부 객체의 움직임은, 외부 객체가 센서(140) 상에서 미끄러진 방향을 포함할 수 있다. 외부 객체가 센서(140)와 이격된 센서(140)와 인접한 공간에서 움직이는 경우, 프로세서(110)가 식별하는 외부 객체의 움직임은 외부 객체 및 센서(140) 사이의 거리를 포함할 수 있다.The processor 110 may identify a movement of an external object adjacent to the sensor 140 using the data output from the sensor 140. For example, the processor 110 may identify not only the movement of the external object tapping the sensor 140, but also the movement of the external object sliding on the sensor 140. When the external object slides on the sensor 140, the movement of the external object identified by the processor 110 may include a direction in which the external object slides on the sensor 140. When the external object moves in a space adjacent to the sensor 140 spaced apart from the sensor 140, the movement of the external object identified by the processor 110 may include a distance between the external object and the sensor 140.

프로세서(110)가 식별한 외부 객체의 움직임은, 프로세서(110)에서 실행 중인 소프트웨어의 다양한 파라미터를 변경하는데 활용될 수 있다. 예를 들어, 프로세서(110)가 식별한 외부 객체의 움직임은, 디스플레이(130)에서 출력되는 멀티미디어 콘텐트의 표시를 변경하는데 활용될 수 있다. 또 다른 예로, 프로세서(110)가 식별한 외부 객체의 움직임은, 디스플레이(130)의 밝기, 전자 장치(100)의 스피커(미도시)의 음량을 변경하는데 활용될 수 있다.The movement of the external object identified by the processor 110 may be utilized to change various parameters of software running on the processor 110. For example, the movement of the external object identified by the processor 110 may be used to change the display of the multimedia content output from the display 130. As another example, the movement of the external object identified by the processor 110 may be used to change the brightness of the display 130 and the volume of the speaker (not shown) of the electronic device 100.

상술한 바와 같이, 센서(140)는, 디스플레이(130)가 배치된 어느 한 면과 구별되는 상기 다른 한 면에 배치될 수 있다. 이 경우, 전자 장치(100)는 터치 스크린인 디스플레이(130)를 이용하여 디스플레이(130)가 배치된 제1 면 상의 제1 외부 객체의 움직임을 탐지할 뿐만 아니라, 센서(140)를 이용하여 센서(140)가 배치된 제2 면 상의 제2 외부 객체의 움직임을 동시에 탐지할 수 있다.As described above, the sensor 140 may be disposed on the other surface which is distinguished from any one surface on which the display 130 is disposed. In this case, the electronic device 100 not only detects the movement of the first external object on the first surface on which the display 130 is disposed by using the display 130, which is a touch screen, but also uses the sensor 140. The movement of the second external object on the second surface on which the 140 is disposed may be detected simultaneously.

도 2a 내지 2c는 다양한 실시예에서 외부 객체의 움직임을 광학적으로 탐지하기 위한 센서(140)의 배치를 설명하기 위한 도면이다.2A to 2C are diagrams for describing an arrangement of a sensor 140 for optically detecting a movement of an external object in various embodiments.

도 2a 내지 2c를 참고하면, 센서(140)는 외부 객체를 향해 광을 방출하는 광 송신기(141) 및 외부 객체로부터 상기 방출된 광에 의해 반사된 광을 수신하는 적어도 하나의 광 수신기(142)를 포함할 수 있다. 센서(140)에 포함된 광 수신기(142)의 개수는 센서(140)에 의해 식별하고자 하는 이동 방향의 개수와 관련될 수 있다(a number of light receiver 142 included in the sensor 140 may be associated with a number of movement direction to be identified by the sensor 140).2A-2C, sensor 140 includes optical transmitter 141 for emitting light toward an external object and at least one optical receiver 142 for receiving light reflected by the emitted light from an external object. It may include. The number of light receivers 142 included in the sensor 140 may be associated with the number of movement directions to be identified by the sensor 140 (a number of light receiver 142 included in the sensor 140 may be associated with a number of movement direction to be identified by the sensor 140).

도 2a를 참고하면, 센서(140)는 광 송신기(141)에 대응하는 한 개의 광 수신기(142)를 포함할 수 있다. 센서(300)에 의해 식별될 수 있는 이동 방향은, 광 송신기(141) 및 광 수신기(142)를 연결하는 축(210)에 대하여, (1) 외부 객체가 축(210)을 따라 광 송신기(141)에서 광 수신기(142)로 움직이는 제1 이동 방향, (2) 외부 객체가 축(210)을 따라 광 수신기(142)에서 광 송신기(141)로 움직이는 제2 이동 방향 및 (3) 축(210)과 평행하지 않은 이동 방향들을 포함하는 제3 이동 방향(즉, 제1 이동 방향 및 제2 이동 방향을 제외한 나머지 이동 방향)(a third movement direction including any direction do not parallel to axis 210(i.e. any direction without the first movement direction and the second movement direction))을 포함할 수 있다. 예를 들어, 제3 이동 방향은 광 수신기(142) 상을 외부 객체가 축(210)과 수직으로 통과하는 방향을 포함할 수 있다. 즉, 센서(140)에 의해 식별할 수 있는 이동 방향의 개수는 적어도 3개일 수 있다.Referring to FIG. 2A, the sensor 140 may include one optical receiver 142 corresponding to the optical transmitter 141. The direction of movement that can be identified by the sensor 300 is relative to the axis 210 connecting the optical transmitter 141 and the optical receiver 142 to (1) an external object along the axis 210. A first direction of movement from 141 to the optical receiver 142, (2) a second direction of movement from the optical receiver 142 to the optical transmitter 141 along the axis 210 and (3) an axis ( A third movement direction including any direction do not parallel to axis 210 (ie any including movement directions that are not parallel to 210). direction without the first movement direction and the second movement direction)). For example, the third movement direction may include a direction in which an external object passes perpendicular to the axis 210 on the optical receiver 142. That is, the number of movement directions that can be identified by the sensor 140 may be at least three.

바꾸어 말하면, 센서(140)에서 출력되는 데이터는, 외부 객체가 상술한 3개의 이동 방향 중 어느 방향을 따라 이동하는지에 따라 다른 패턴을 가질 수 있다. 센서(140)에서 출력되는 데이터가 외부 객체의 이동 방향에 따라 어떤 패턴을 가지는 지는 후술한다.In other words, the data output from the sensor 140 may have a different pattern depending on which of the three moving directions described above moves the external object. Which pattern the data output from the sensor 140 has according to the moving direction of the external object will be described later.

도 2b를 참고하면, 센서(140)는 광 송신기(141)에 대응하는 두 개의 광 수신기(142-1, 142-2)를 포함할 수 있다. 광 송신기(141) 및 두 개의 광 수신기(142-1, 142-2)의 중심점을 연결하는 축(220) 및 두 개의 광 수신기(142-1, 142-2)를 연결하는 축(230)은 서로 수직일 수 있다. 이 경우, 센서(140)에 의해 식별할 수 있는 이동 방향은, (1) 외부 객체가 축(220)을 따라 광 송신기(141)에서 광 수신기(142-1, 142-2)의 중심점을 향하여 움직이는 제4 이동 방향, (2) 외부 객체가 축(220)을 따라 광 수신기(142-1, 142-2)의 중심점에서 광 송신기(141)를 향하여 움직이는 제5 이동 방향, (3) 외부 객체가 축(230)을 따라 광 수신기(142-1)에서 광 수신기(142-2)를 향하여 움직이는 제6 이동 방향 및 (4) 외부 객체가 축(230)을 따라 광 수신기(142-2)에서 광 수신기(142-1)를 향하여 움직이는 제7 이동 방향을 포함할 수 있다. 즉, 센서(140)에 의해 식별할 수 있는 이동 방향의 개수는 적어도 4개일 수 있다.2B, the sensor 140 may include two optical receivers 142-1 and 142-2 corresponding to the optical transmitter 141. The shaft 220 connecting the center points of the optical transmitter 141 and the two optical receivers 142-1 and 142-2 and the shaft 230 connecting the two optical receivers 142-1 and 142-2 are May be perpendicular to each other. In this case, the direction of movement that can be identified by the sensor 140 is (1) an external object is directed along the axis 220 from the optical transmitter 141 toward the center of the optical receivers 142-1, 142-2. Fourth moving direction of movement, (2) fifth moving direction of moving external object along axis 220 towards optical transmitter 141 at the center of optical receivers 142-1 and 142-2, (3) external object A sixth movement direction and (4) an external object moving from the optical receiver 142-1 to the optical receiver 142-2 along the axis 230 and from the optical receiver 142-2 along the axis 230. It may include a seventh movement direction moving toward the optical receiver 142-1. That is, the number of movement directions that can be identified by the sensor 140 may be at least four.

도 2c는 두 개의 광 수신기(142-1, 142-2)를 포함하는 센서(140)의 또 다른 일 실시예를 도시한 도면이다. 도 2c를 참고하면, 광 송신기(140) 및 광 수신기(142-1)를 연결하는 축(210) 및 두 개의 광 수신기(142-1, 142-2)를 연결하는 축(230)은 서로 수직일 수 있다. 이 경우, 센서(140)는 축(230)을 따라 움직이는 두 개의 이동 방향 및 축(210)을 따라 움직이는 두 개의 이동 방향을 포함하는 네 개의 이동 방향을 식별할 수 있다.FIG. 2C illustrates another embodiment of a sensor 140 that includes two optical receivers 142-1 and 142-2. Referring to FIG. 2C, the shaft 210 connecting the optical transmitter 140 and the optical receiver 142-1 and the shaft 230 connecting the two optical receivers 142-1 and 142-2 are perpendicular to each other. Can be. In this case, the sensor 140 may identify four moving directions including two moving directions moving along the axis 230 and two moving directions moving along the axis 210.

도 2b 및 2c의 실시예에서, 센서(140)에서 출력되는 데이터는, 외부 객체가 상술한 4개의 이동 방향 중 어느 방향을 따라 이동하는지에 따라 다른 패턴을 가질 수 있다. 도 2b 또는 2c의 센서(140)에서 출력되는 데이터는 광 수신기(142-1, 142-2) 각각에서 출력되는 데이터를 독립적으로 포함하거나, 광 수신기(142-1, 142-2) 각각에서 출력되는 데이터를 결합하여 생성된 데이터를 포함할 수 있다.2B and 2C, the data output from the sensor 140 may have a different pattern depending on which of the four moving directions described above moves. Data output from the sensor 140 of FIG. 2B or 2C independently includes data output from each of the optical receivers 142-1 and 142-2, or outputs from each of the optical receivers 142-1 and 142-2. It can include the data generated by combining the data.

도 3은 다양한 실시예들에 따른 전자 장치가 수행하는 동작의 예를 도시한 흐름도이다. 도 3에서 설명하는 동작들은 도 1의 전자 장치(100), 도 1의 프로세서(110) 및 도 1의 센서(140)에 의해 수행될 수 있다.3 is a flowchart illustrating an example of an operation performed by an electronic device according to various embodiments of the present disclosure. 3 may be performed by the electronic device 100 of FIG. 1, the processor 110 of FIG. 1, and the sensor 140 of FIG. 1.

동작(310)에서, 전자 장치는 디스플레이를 통해 표시되는 멀티미디어 콘텐트에 대응하여 외부 객체의 움직임을 광학적으로 탐지하는 센서를 활성화할 수 있다. 전자 장치에 의해 활성화되는 센서는 도 1의 센서(140)에 대응할 수 있다. 센서는 디스플레이의 적어도 일부를 포함하는 전자 장치의 하우징의 제1 면(예를 들어, 전자 장치의 전면(front face))과 구별되는 제2 면(예를 들어, 전자 장치의 후면(rear face))에 배치될 수 있다. 예를 들어, 디스플레이를 통해 표시되는 멀티미디어 콘텐트가 비디오 데이터를 포함하고, 상기 비디오 데이터가 디스플레이의 전체 영역(entire area of the display)을 이용하여 표시되는 경우, 전자 장치는 상기 제2 면에 배치된 센서를 활성화할 수 있다.In operation 310, the electronic device may activate a sensor that optically detects movement of an external object in response to the multimedia content displayed on the display. The sensor activated by the electronic device may correspond to the sensor 140 of FIG. 1. The sensor may have a second face (eg, a rear face of the electronic device) that is distinct from a first face (eg, a front face of the electronic device) of the housing of the electronic device that includes at least a portion of the display. ) May be disposed. For example, if the multimedia content displayed through the display includes video data, and the video data is displayed using the entire area of the display, the electronic device may be disposed on the second surface. The sensor can be activated.

동작(320)에서, 전자 장치는 센서 상에서 외부 객체가 움직이는지 여부를 판단할 수 있다. 상기 외부 객체는 제2 면 상에서 움직이는 사용자의 신체 부위(예를 들어, 손가락)를 포함할 수 있다. 전자 장치는 센서로부터 출력되는 데이터의 패턴에 기초하여, 외부 객체가 움직이는지 여부를 판단할 수 있다. 바꾸어 말하면, 멀티미디어 콘텐트가 표시되는 동안, 전자 장치는 센서를 이용하여 제2 면 상에서 움직이는 외부 객체로부터의 입력을 검출할 수 있다. 도 3을 참고하면, 외부 객체가 센서 상에서 움직이지 않는 경우, 전자 장치는 센서로부터 출력되는 데이터를 모니터링하는 동작을 반복할 수 있다.In operation 320, the electronic device may determine whether an external object moves on the sensor. The external object may include a body part (eg, a finger) of a user moving on a second surface. The electronic device may determine whether the external object moves based on the pattern of data output from the sensor. In other words, while the multimedia content is displayed, the electronic device may detect an input from an external object moving on the second surface using a sensor. Referring to FIG. 3, when the external object does not move on the sensor, the electronic device may repeat an operation of monitoring data output from the sensor.

외부 객체가 센서 상에서 움직이는 경우, 동작(330)에서, 전자 장치는, 센서가 외부 객체를 광학적으로 탐지하여 생성된 데이터를 식별할 수 있다. 즉, 외부 객체로부터의 입력이 검출된 동안 전자 장치는 센서를 통해 획득된 데이터를 식별할 수 있다. 전자 장치는 센서에서 출력된 모든 데이터 중에서, 외부 객체의 움직임에 대응하는 데이터만을 추출할 수 있다. 예를 들어, 센서가 활성화된 이후 미리 설정된 주기(예를 들어, 10 밀리초(milliseconds)마다 센서에 포함된 광 수신기(예를 들어, 도 1의 광 수신기(142))의 출력 값을 데이터로써 출력하는 경우, 전자 장치는 출력되는 데이터 중에서,타임 윈도우(time window) 내의 광 수신기의 출력 값 만을 식별할 수 있다. 상기 타임 윈도우는 외부 객체의 움직임이 탐지된 시간을 포함하는 지정된 크기의 시간 구간일 수 있다.When the external object moves on the sensor, in operation 330, the electronic device may identify data generated by the sensor optically detecting the external object. That is, while the input from the external object is detected, the electronic device may identify data acquired through the sensor. The electronic device may extract only data corresponding to the movement of the external object, from all data output from the sensor. For example, after the sensor is activated, the output value of the optical receiver (eg, the optical receiver 142 of FIG. 1) included in the sensor is set as data every preset period (eg, 10 milliseconds). When outputting, the electronic device may identify only an output value of an optical receiver in a time window among the output data, wherein the time window includes a time interval having a predetermined size including a time at which movement of an external object is detected. Can be.

도 3을 참고하면, 동작(340)에서, 전자 장치는 식별된 데이터의 패턴에 따라, 외부 객체의 움직임을 식별할 수 있다. 전자 장치가 식별하는 외부 객체의 움직임은 센서 상의 3차원 공간에서 외부 객체의 3차원 움직임을 포함할 수 있다. 전자 장치가 식별하는 외부 객체의 움직임은 센서 상에서 외부 객체의 이동 방향, 외부 객체가 센서 또는 센서가 배치된 전자 장치의 하우징과 이루는 거리, 외부 객체의 이동 속도 중 적어도 하나를 포함할 수 있다. 외부 객체의 움직임을 식별하기 위하여, 전자 장치는 식별된 데이터의 패턴을 지정된 데이터의 패턴과 비교할 수 있다. 또는, 전자 장치는 식별된 데이터의 패턴에서 유의미한 특징(예를 들어, 광 수신기의 출력 값 중에서 식별된 극 값(extreme value) 또는 피크 값(peak value))을 이용하여 외부 객체의 움직임을 식별할 수 있다. 전자 장치가 외부 객체의 움직임을 식별하는 상세한 동작은 후술한다.Referring to FIG. 3, in operation 340, the electronic device may identify a movement of an external object according to a pattern of identified data. The movement of the external object identified by the electronic device may include the three-dimensional movement of the external object in the three-dimensional space on the sensor. The movement of the external object identified by the electronic device may include at least one of a moving direction of the external object on the sensor, a distance between the external object and the housing of the sensor or the electronic device in which the sensor is disposed, and a moving speed of the external object. In order to identify the movement of the external object, the electronic device may compare the pattern of the identified data with the pattern of the designated data. Alternatively, the electronic device may identify a movement of the external object by using a significant feature (eg, an extreme value or a peak value identified among the output values of the optical receiver) in the pattern of the identified data. Can be. Detailed operations of identifying the movement of the external object by the electronic device will be described later.

도 3을 참고하면, 동작(350)에서, 전자 장치는 식별된 외부 객체의 움직임에 따라 멀티미디어 콘텐트의 표시를 변경할 수 있다. 즉, 전자 장치는 식별된 센서 상에서 외부 객체의 이동 방향, 외부 객체가 센서 또는 센서가 배치된 전자 장치의 하우징과 이루는 거리, 외부 객체의 이동 속도 중 적어도 하나에 대응하여 멀티미디어 콘텐트의 표시를 변경할 수 있다.Referring to FIG. 3, in operation 350, the electronic device may change the display of the multimedia content according to the movement of the identified external object. That is, the electronic device may change the display of the multimedia content in response to at least one of a moving direction of the external object on the identified sensor, a distance between the external object and the housing of the sensor or the electronic device on which the sensor is disposed, and a moving speed of the external object. have.

예를 들어, 멀티미디어 콘텐트에 포함된 비디오 데이터가 전자 장치의 제1 면에 배치된 디스플레이의 전체 영역을 이용하여 표시되고, 사용자가 제2 면에 배치된 센서 상에서 손가락을 움직이는 경우, 전자 장치는 손가락의 움직임에 따라 비디오 데이터의 재생 속도를 조절하거나, 비디오 데이터의 재생 시간(playback time)을 변경할 수 있다. 따라서, 사용자는 디스플레이를 터치하지 않고 전자 장치를 제어할 수 있다. 바꾸어 말하면, 사용자는 디스플레이를 가리지 않고 전자 장치를 제어할 수 있다.For example, if video data included in the multimedia content is displayed using the entire area of the display disposed on the first side of the electronic device, and the user moves a finger on the sensor disposed on the second side, the electronic device may move the finger. The playback speed of the video data may be adjusted or the playback time of the video data may be changed according to the movement of the video data. Thus, the user can control the electronic device without touching the display. In other words, the user can control the electronic device without covering the display.

도 4는 일 실시예에 따른 전자 장치의 하우징(400) 상에서 센서(140)의 배치를 도시한 도면이다. 이하에서는 스마트 폰과 같이 사용자가 용이하게 휴대할 수 있도록 설계된 하우징(400)에서, 센서(140)의 배치를 설명한다. 센서(140)는 외부 객체의 움직임을 광학적으로 탐지하는 컴포넌트일 수 있다. 외부 객체의 움직임을 광학적으로 탐지하기 위하여, 센서(140)는 광 송신기(141) 및 광 수신기(142)를 포함할 수 있다.4 is a diagram illustrating an arrangement of a sensor 140 on a housing 400 of an electronic device according to an embodiment. Hereinafter, the arrangement of the sensor 140 in the housing 400 designed to be easily carried by a user, such as a smart phone, will be described. The sensor 140 may be a component that optically detects movement of an external object. In order to optically detect the movement of the external object, the sensor 140 may include an optical transmitter 141 and an optical receiver 142.

센서(140)가 디스플레이가 배치된 어느 한 면과 구별되는 다른 한 면에 배치되는 경우, 상기 다른 한 면은 디스플레이가 배치된 면의 반대쪽 면일 수 있다. 이 경우, 디스플레이가 배치된 상기 어느 한 면을 하우징(400)의 전면(front face)이라 하고, 센서(140)가 배치된 상기 반대쪽 면을 하우징(400)의 후면(rear face)이라 한다.When sensor 140 is disposed on one side that is distinct from one side on which the display is disposed, the other side may be the opposite side to the side on which the display is disposed. In this case, one of the surfaces on which the display is disposed is called a front face of the housing 400, and the opposite surface on which the sensor 140 is disposed is called a rear face of the housing 400.

디스플레이를 제외한 컴포넌트들 중 적어도 일부가 센서(140)가 배치된 면(즉, 후면)을 통해 외부로 노출될 수 있다. 도 4를 참고하면, 후면 카메라(rear face camera)(420), 지문 리더기(fingerprint reader)(430) 및 플래시 LED(flash LED)(440)의 적어도 일부가 센서(140)가 배치된 면을 통해 외부로 노출될 수 있다. 후면을 통해 외부로 노출되는 컴포넌트의 종류 및 개수는 도 4의 실시예에 제한되지 않으며, 디스플레이 및 전면 사이의 면적 비율에 따라 보다 많은 컴포넌트들이 하우징(400)의 후면을 통해 외부로 노출될 수 있다.At least some of the components other than the display may be exposed to the outside through a surface (ie, a rear surface) on which the sensor 140 is disposed. Referring to FIG. 4, at least a portion of a rear face camera 420, a fingerprint reader 430, and a flash LED 440 may be disposed through a surface on which a sensor 140 is disposed. May be exposed to the outside. The type and number of components exposed to the outside through the rear surface are not limited to the embodiment of FIG. 4, and more components may be exposed to the outside through the rear surface of the housing 400 according to the area ratio between the display and the front surface. .

도 4를 참고하면, 사용자가 전자 장치의 디스플레이가 가려지지 않도록 어느 한 손(410)으로 전자 장치의 하우징(400)을 잡는 경우, 센서(140) 및 손(410)의 손바닥은 서로 마주보도록 배치될 수 있다. 이 경우, 센서(140)는 후면과 인접한 외부 객체인 손(410)의 움직임, 보다 구체적으로 손(410)에 포함된 손가락들 중 적어도 하나의 움직임을 식별할 수 있다. 전자 장치는 그립 센서(grip sensor)(미도시)를 이용하여, 손(410)이 하우징(400)을 잡았는지 여부를 식별할 수 있다. 그립 센서에 의해 하우징(400)을 잡은 손(410)이 식별되는 경우, 전자 장치는 센서(140)를 활성화하여 손(410)에 포함된 손가락들 중 적어도 하나의 움직임을 식별할 수 있다. 따라서, 전자 장치는 식별된 손(410)의 움직임을 이용하여 디스플레이에 표시되는 멀티미디어 콘텐트를 제어할 수 있다.Referring to FIG. 4, when the user holds the housing 400 of the electronic device with one hand 410 so that the display of the electronic device is not covered, the sensor 140 and the palms of the hand 410 are disposed to face each other. Can be. In this case, the sensor 140 may identify the movement of the hand 410, which is an external object adjacent to the rear surface, and more specifically, the movement of at least one of the fingers included in the hand 410. The electronic device may use a grip sensor (not shown) to identify whether the hand 410 grasps the housing 400. When the hand 410 holding the housing 400 is identified by the grip sensor, the electronic device may activate the sensor 140 to identify the movement of at least one of the fingers included in the hand 410. Accordingly, the electronic device may control the multimedia content displayed on the display by using the identified movement of the hand 410.

사용자는 하우징(400)을 잡고 있지 않은 다른 손을 사용하지 않으면서, 하우징(400)을 잡고 있는 손(410) 만으로 전자 장치를 제어할 수 있다. 도 4를 참고하면, 사용자는 손(410)의 검지 손가락을, 센서(140) 상에서 경로(450)를 따라 움직일 수 있다. 전자 장치는 센서(140)에서 획득된 데이터를 이용하여, 손(410)의 검지 손가락의 움직임을 식별할 수 있다.The user may control the electronic device using only the hand 410 holding the housing 400 without using another hand not holding the housing 400. Referring to FIG. 4, the user may move the index finger of the hand 410 along the path 450 on the sensor 140. The electronic device may identify the movement of the index finger of the hand 410 using the data acquired by the sensor 140.

바꾸어 말하면, 전자 장치는 경로(450)를 식별할 수 있다. 보다 구체적으로, 전자 장치는 손(410)의 검지 손가락의 센서(140) 상에서의 이동 방향, 손(410)의 검지 손가락 및 센서(140) 사이의 거리(또는 손(410)의 검지 손가락 및 후면 사이의 거리) 및 손(410)의 검지 손가락이 센서(140) 상에서 움직인 속도 중 적어도 하나를 식별할 수 있다. 전자 장치가 식별한 손(410)의 검지 손가락의 움직임(즉, 상기 경로(450), 상기 이동 방향, 상기 거리 및 상기 속도 중 적어도 하나)은 전자 장치를 제어하는데 이용될 수 있다. 결국, 사용자가 하우징(400)을 잡고 있는 손(410) 만으로 전자 장치를 제어하는 경우, 사용자는 디스플레이의 적어도 일부를 가리지 않으면서 전자 장치를 제어할 수 있다. 사용자가 하우징(400)을 잡고 있는 손(410) 만으로 전자 장치를 제어하는 동안, 전자 장치는 센서(140)에서 출력되는 데이터를 이용하여 손(410)의 움직임을 식별할 수 있다.In other words, the electronic device may identify the path 450. More specifically, the electronic device may include a direction in which the index finger of the hand 410 moves on the sensor 140, a distance between the index finger of the hand 410 and the sensor 140 (or the index finger and the back of the hand 410). Distance) and the speed at which the index finger of the hand 410 moves on the sensor 140. The movement of the index finger of the hand 410 (ie, at least one of the path 450, the moving direction, the distance, and the speed) identified by the electronic device may be used to control the electronic device. As a result, when the user controls the electronic device using only the hand 410 holding the housing 400, the user may control the electronic device without covering at least a portion of the display. While the user controls the electronic device using only the hand 410 holding the housing 400, the electronic device may identify the movement of the hand 410 using data output from the sensor 140.

도 5는 다양한 실시예들에 따른 전자 장치가 센서에서 출력되는 데이터로부터 센서 상에 존재하는 외부 객체의 움직임을 식별하는 동작의 예를 도시한 흐름도이다. 도 5에서 설명하는 동작들은 도 1의 전자 장치(100), 도 1의 프로세서(110) 및 도 1의 센서(140)에 의해 수행될 수 있다. 도 5에서 설명하는 동작들은 도 3의 동작(330) 내지 동작(340)과 관련될 수 있다. 도 5에서 설명하는 동작들은 도 2a의 센서(140)를 포함하는 전자 장치에 의해 수행될 수 있다.5 is a flowchart illustrating an example of an operation of identifying, by an electronic device, a movement of an external object present on a sensor from data output from the sensor, according to various embodiments of the present disclosure. 5 may be performed by the electronic device 100 of FIG. 1, the processor 110 of FIG. 1, and the sensor 140 of FIG. 1. 5 may be related to operations 330 to 340 of FIG. 3. Operations described in FIG. 5 may be performed by an electronic device including the sensor 140 of FIG. 2A.

동작(510)에서, 전자 장치는 외부 객체의 움직임에 대응하여, 센서에서 출력된 데이터에서, 센서의 광 수신기(예를 들어, 도 1의 광 수신기(142))의 출력 값을 식별할 수 있다. 센서는 미리 설정된 주기마다 광 수신기의 출력 값을 프로세서로 전달할 수 있다. 광 수신기의 출력 값은 광 수신기에서 측정된 광의 세기, 즉, 외부 객체로부터 반사된 광의 세기와 관련될 수 있다.In operation 510, the electronic device may identify an output value of the optical receiver (eg, the optical receiver 142 of FIG. 1) of the sensor, from the data output from the sensor, in response to the movement of the external object. . The sensor may transmit the output value of the optical receiver to the processor at predetermined intervals. The output value of the optical receiver may be related to the intensity of light measured at the optical receiver, that is, the intensity of light reflected from an external object.

동작(520)에서, 전자 장치는 식별된 광 수신기의 출력 값에 타임 윈도우를 적용할 수 있다. 타임 윈도우는 지정된 크기를 가질 수 있다. 예를 들어, 타임 윈도우의 지정된 크기는 200 밀리초일 수 있다. 따라서, 전자 장치는, 센서가 활성된 이후 상기 주기마다 반복적으로 전달된 광 수신기의 출력 값들 중에서, 타임 윈도우 내의 적어도 하나의 출력 값을 샘플링할 수 있다. 센서가 10 밀리초마다 광 수신기의 출력 값을 출력하는 경우, 200 밀리초의 크기를 가지는 타임 윈도우에 의해 20개의 출력 값들이 샘플링 될 수 있다.In operation 520, the electronic device may apply a time window to the output value of the identified optical receiver. The time window may have a specified size. For example, the specified size of the time window may be 200 milliseconds. Therefore, the electronic device may sample at least one output value in the time window among the output values of the optical receiver repeatedly transmitted every cycle after the sensor is activated. When the sensor outputs the output value of the optical receiver every 10 milliseconds, 20 output values may be sampled by a time window having a size of 200 milliseconds.

동작(530)에서, 전자 장치는 타임 윈도우 내의 출력 값에 포함된 피크 값이 지정된 임계치 이상인지 식별할 수 있다. 타임 윈도우 내의 출력 값이 복수 개인 경우, 전자 장치는 출력 값들의 시간에 따른 변화로부터, 타임 윈도우 내의 출력 값의 극 값(extreme value) 또는 피크 값(peak value)을 식별할 수 있다. 상기 임계치는 센서 상에서 외부 객체의 움직임에 대응하여 센서의 광 수신기에서 출력되는 상기 출력 값으로부터 경험적으로(heuristically) 식별될 수 있다.In operation 530, the electronic device may identify whether a peak value included in an output value in the time window is greater than or equal to a specified threshold. When there are a plurality of output values in the time window, the electronic device may identify an extreme value or a peak value of the output values in the time window from the change of the output values over time. The threshold may be identified heuristically from the output value output from the optical receiver of the sensor in response to the movement of an external object on the sensor.

몇몇 실시예에 따르면, 전자 장치는 타임 윈도우 내의 출력 값에 포함된 피크 값이 지정된 범위에 포함되는지 식별할 수 있다. 상기 범위는, 외부 객체 및 센서 상의 거리의 변화에 따른 상기 출력 값의 극 값 또는 피크 값의 변화로부터 경험적으로(heuristically) 결정될 수 있다.According to some embodiments, the electronic device may identify whether a peak value included in an output value in the time window is included in a specified range. The range may be determined heuristically from a change in the extreme or peak value of the output value with a change in distance on the external object and sensor.

타임 윈도우 내의 출력 값에 포함된 피크 값이 상기 임계치 미만인 경우, 동작(540)에서, 전자 장치는 지정된 시간 차이만큼 쉬프트된 타임 윈도우(time window being shifted by predetermined time difference)를 식별된 광 수신기의 출력 값에 적용할 수 있다. 예를 들어, 상기 시간 차이는 50 밀리초일 수 있다. 바꾸어 말하면, 전자 장치는, 센서가 활성된 이후 상기 주기마다 반복적으로 전달된 광 수신기의 출력 값들 중에서, 이전에 샘플링된 시간 구간과 구별되는 시간 구간에 포함된 출력 값을 하나 이상 식별할 수 있다. 쉬프트된 타임 윈도우에 의해 추출된 출력 값들에 대하여, 전자 장치는 동작(530)을 다시 수행할 수 있다.If the peak value included in the output value within the time window is less than the threshold, in operation 540, the electronic device outputs the identified time window being shifted by a predetermined time difference. Can be applied to values. For example, the time difference may be 50 milliseconds. In other words, the electronic device may identify one or more output values included in a time interval distinguished from a previously sampled time interval among the output values of the optical receiver repeatedly transmitted for each period after the sensor is activated. For output values extracted by the shifted time window, the electronic device may perform operation 530 again.

타임 윈도우 내의 출력 값에 포함된 피크 값이 상기 임계치 이상인 경우, 동작(550)에서, 전자 장치는 상기 피크 값이 타임 윈도우의 중심(center of the time window)에 존재하는지 판단할 수 있다. 바꾸어 말하면, 전자 장치는 타임 윈도우의 중심에 대응하는 시점에서의 광 수신기의 출력 값이 피크 값에 대응하는지 판단할 수 있다. 피크 값이 타임 윈도우의 중심에 존재하지 않는 경우, 전자 장치는 동작(540)을 수행함으로써, 타임 윈도우를 쉬프트할 수 있다.If the peak value included in the output value in the time window is greater than or equal to the threshold, in operation 550, the electronic device may determine whether the peak value exists in the center of the time window. In other words, the electronic device may determine whether the output value of the optical receiver at the time point corresponding to the center of the time window corresponds to the peak value. If the peak value does not exist in the center of the time window, the electronic device may shift the time window by performing operation 540.

출력 값이 임계치 이상이더라도, 출력 값이 피크 값이 아닌 경우(예를 들어, 전자 장치가 바닥에 놓여있고, 센서가 바닥에 닿아있는 경우, 출력 값은 전자 장치가 바닥에 놓여있는 동안 계속 임계치 이상일 수 있다), 전자 장치는 동작(540)에 기초하여 피크 값을 식별하거나 타임 윈도우를 쉬프트할 수 있다.Even if the output value is above the threshold, if the output value is not the peak value (for example, if the electronic device is on the floor and the sensor is on the floor, the output value will continue to be above the threshold while the electronic device is on the floor). The electronic device may identify the peak value or shift the time window based on operation 540.

도 5를 참고하면, 동작(530) 내지 동작(550)은, 센서가 활성된 이후 지정된 주기마다 반복적으로 전달된 광 수신기의 출력 값들 중에서, 임계치 이상의 피크 값을 포함하고, 상기 피크 값을 중심으로 하는 시간 구간(즉, 타임 윈도우의 크기) 내의 복수의 출력 값들이 추출될 때까지 반복될 수 있다. 타임 윈도우에 의해 광 수신기의 출력 값들 중 일부가 추출되는 동작은 후술한다.Referring to FIG. 5, operations 530 to 550 include peak values above a threshold value among output values of an optical receiver repeatedly transmitted every designated period after the sensor is activated, and are mainly focused on the peak values. It may be repeated until a plurality of output values in the time interval (that is, the size of the time window) is extracted. An operation of extracting some of the output values of the optical receiver by the time window will be described later.

피크 값이 타임 윈도우의 중심에 존재하는 경우, 동작(560)에서, 전자 장치는 타임 윈도우 내의 출력 값들을 피크 값에 대응하는 시점을 경계로 그룹핑할 수 있다. 바꾸어 말하면, 전자 장치는 타임 윈도우 내의 출력 값들을, 피크 값에 대응하는 시점 이전에 생성된 출력 값 및 피크 값에 대응하는 시점 이후에 생성된 출력 값으로 분류할 수 있다. 피크 값이 타임 윈도우의 중심에 존재하므로, 타임 윈도우에서 피크 값에 대응하는 시점에 의해 분할되는 2개의 시간 구간들의 길이는 서로 동일할 수 있다. 더 나아가서, 각각의 시간 구간에 포함된 출력 값의 개수는 서로 동일할 수 있다. 타임 윈도우 내의 출력 값들을 피크 값에 대응하는 시점을 경계로 그룹핑하여, 전자 장치는 피크 값에 대응하는 시점을 경계로 하는 출력 값의 집합들을 식별할 수 있다. 상기 출력 값의 집합들 각각은 상기 2개의 시간 구간들 각각에 대응할 수 있다.When the peak value exists at the center of the time window, in operation 560, the electronic device may group the output values in the time window at a boundary corresponding to the peak value. In other words, the electronic device may classify the output values in the time window into output values generated before the time point corresponding to the peak value and output values generated after the time point corresponding to the peak value. Since the peak value exists at the center of the time window, the lengths of the two time intervals divided by the time point corresponding to the peak value in the time window may be the same. Furthermore, the number of output values included in each time interval may be the same. By grouping the output values in the time window by the boundary corresponding to the peak value, the electronic device may identify sets of output values bounded by the viewpoint corresponding to the peak value. Each of the sets of output values may correspond to each of the two time intervals.

동작(570)에서, 전자 장치는 그룹핑된 출력 값의 집합들 각각에서, 출력 값의 특징을 식별할 수 있다. 전자 장치가 식별하는 출력 값의 특징은, 예를 들어, 집합들 각각에서 출력 값의 최소값, 집합들 각각에 대응하는 2차 다항식의 2차 계수(second degree coefficient of polynomial functions of second degree corresponding each of the sets), 집합들 각각에서 출력 값의 변화율 중 적어도 하나를 포함할 수 있다.In operation 570, the electronic device may identify the characteristic of the output value in each of the grouped sets of output values. The characteristic of the output value identified by the electronic device is, for example, the minimum value of the output value in each of the sets, the second degree coefficient of polynomial functions of second degree corresponding to each of the sets. the sets), and at least one of a rate of change of the output value in each of the sets.

동작(580)에서, 전자 장치는 식별된 집합들 각각의 특징을 이용하여, 외부 객체의 센서 상의 움직임 또는 이동 방향을 식별할 수 있다. 예를 들어, 집합들 각각에서 출력 값의 최소값, 집합들 각각에 대응하는 2차 다항식의 2차 계수 및 집합들 각각에서 출력 값의 변화율 중 적어도 하나를 비교함으로써, 전자 장치는 센서 상에서 외부 객체의 이동 방향을 식별할 수 있다. 식별된 외부 객체의 움직임 또는 이동 방향은 전자 장치의 작동에 필요한 파라미터, 사용자 인터페이스 또는 멀티미디어 콘텐트의 표시를 변경하는데 활용될 수 있다. 예를 들어, 전자 장치는 도 3의 동작(350)을 참고하여, 외부 객체의 움직임 또는 이동 방향을 식별한 것에 대응하여 멀티미디어 콘텐트의 표시를 변경할 수 있다.In operation 580, the electronic device may identify a direction of movement or movement on the sensor of the external object by using a feature of each of the identified sets. For example, by comparing at least one of the minimum value of the output value in each of the sets, the second order polynomial of the quadratic polynomial corresponding to each of the sets, and the rate of change of the output value in each of the sets, the electronic device determines the The direction of movement can be identified. The movement or direction of movement of the identified external object may be utilized to change the display of parameters, user interface, or multimedia content necessary for the operation of the electronic device. For example, with reference to operation 350 of FIG. 3, the electronic device may change the display of the multimedia content in response to identifying the movement or movement direction of the external object.

도 6a 내지 6c는 일 실시예에 따른 전자 장치의 센서(140)에서 출력되는 데이터의 패턴을 이용하여 외부 객체(610)의 이동 방향을 식별하는 동작을 설명하기 위한 예시적인 도면이다. 도 6a 내지 6c에서 설명할 동작은 도 5의 동작(570) 내지 동작(580)과 관련될 수 있다. 도 6a 내지 6c의 전자 장치는 도 1의 전자 장치(100)에 대응할 수 있다. 도 6a 내지 6c의 센서(140)는 도 2a의 센서(140)에 대응할 수 있다. 하우징(400)에서 디스플레이가 배치된 제1 면과 구별되는 제2 면 상의 외부 객체(610)의 움직임을 광학적으로 탐지하기 위하여, 센서(140)는 광 송신기(141) 및 광 수신기(142)를 포함할 수 있다. 센서(140)에서 출력되는 데이터는 광 수신기(142)에서 출력되는 값을 포함할 수 있다. 광 수신기(142)에서 출력되는 값은 광 수신기(142)에서 수신되는 광의 세기에 따라 달라질 수 있다.6A to 6C are exemplary diagrams for describing an operation of identifying a moving direction of an external object 610 using a pattern of data output from a sensor 140 of an electronic device, according to an exemplary embodiment. Operations described in FIGS. 6A through 6C may be related to operations 570 through 580 of FIG. 5. 6A to 6C may correspond to the electronic device 100 of FIG. 1. The sensors 140 of FIGS. 6A-6C may correspond to the sensors 140 of FIG. 2A. In order to optically detect the movement of the external object 610 on the second side, which is distinct from the first side on which the display is disposed in the housing 400, the sensor 140 uses the optical transmitter 141 and the optical receiver 142. It may include. The data output from the sensor 140 may include a value output from the optical receiver 142. The value output from the optical receiver 142 may vary depending on the intensity of light received by the optical receiver 142.

도 6a를 참고하면, 외부 객체(610)가 광 수신기(142)에서 광 송신기(141)를 향하는 방향(611), 즉, 도 2a의 제2 이동 방향을 따라 움직이는 상황이 도시된다. 시점 t0에서, 외부 객체(610)는 광 수신기(142)를 중심으로 광 송신기(141)의 반대쪽에 존재할 수 있다. 외부 객체(610)는 방향(611)을 따라 광 수신기(142) 및 광 송신기(141) 위를 차례대로 통과할 수 있다. 시점 t0 이후의 시점 t1에서, 외부 객체(610)는 광 송신기(141)를 중심으로 광 수신기(142)의 반대쪽에 존재할 수 있다.Referring to FIG. 6A, a situation in which the external object 610 moves along the direction 611 of the optical receiver 142 toward the optical transmitter 141, that is, the second movement direction of FIG. 2A is illustrated. At time t0, the external object 610 may be on the opposite side of the optical transmitter 141 about the optical receiver 142. The external object 610 may sequentially pass over the optical receiver 142 and the optical transmitter 141 along the direction 611. At a time point t1 after the time point t0, the external object 610 may exist on the opposite side of the optical receiver 142 about the light transmitter 141.

도 6a를 참고하면, 외부 객체(610)가 방향(611)을 따라 이동하는 경우, 센서(140)로부터 획득된 데이터를 시각화한 그래프(621)가 도시된다. 그래프(621)를 참고하면, 센서(140)가 외부 객체(610)에 의해 덮이지 않은 경우(예를 들어, 시점 t0 이전 또는 시점 t1 이후), 센서(140)의 출력 값은 특정 값(예를 들어, 40000)에 대응할 수 있다. 시점 t0이후, 외부 객체(610)가 센서(140)의 광 수신기(142)를 향하여 접근함에 따라, 센서(140)의 출력 값은 상기 특정 값 미만인 최소 값(예를 들어, 30000)으로 감소될 수 있다. 센서(140)의 출력 값이 최소 값에 대응하는 시점을 t_m이라 한다. 외부 객체(610)가 t_m 이후에도 계속 움직이는 경우, 센서(140)의 출력 값은 최소 값에서 상기 특정 값을 초과하는 최대 값(예를 들어, 300000)까지 증가할 수 있다. 센서(140)의 출력 값이 최대 값에 대응하는 시점을 t_M이라 한다. 시점 t_M에서의 출력 값, 즉, 출력 값의 최대 값은 외부 객체(610) 및 센서(140) 사이의 최단 거리, 또는, 광 수신기(142) 및 외부 객체(610)가 움직인 경로 사이의 수직 거리에 따라 달라질 수 있다.Referring to FIG. 6A, when the external object 610 moves along the direction 611, a graph 621 visualizing data acquired from the sensor 140 is shown. Referring to the graph 621, when the sensor 140 is not covered by the external object 610 (eg, before the time t0 or after the time t1), the output value of the sensor 140 may be a specific value (eg For example, 40000). After time t0, as the external object 610 approaches toward the optical receiver 142 of the sensor 140, the output value of the sensor 140 is reduced to a minimum value (eg, 30000) that is less than the specific value. Can be. A time point at which the output value of the sensor 140 corresponds to the minimum value is referred to as t _m . When the external object 610 continues to move after t _m , the output value of the sensor 140 may increase from the minimum value to the maximum value (eg, 300000) exceeding the specific value. A time point at which the output value of the sensor 140 corresponds to the maximum value is referred to as t _M. The output value at time t _M , that is, the maximum value of the output value is the shortest distance between the external object 610 and the sensor 140, or between the path of the optical receiver 142 and the external object 610. It can vary depending on the vertical distance.

전자 장치는 센서(140)의 출력 값 중에서 시점 t_M을 포함하고 시점 t_M에 인접한 시점들에 대응하는 출력 값들을 샘플링할 수 있다. 예를 들어, 전자 장치는 센서(140)의 출력 값이 최대 값에 대응하는 시점 t_M에 기초하여, 센서(140)의 출력 값들에 지정된 크기를 가지는 타임 윈도우(time window)(630)를 적용할 수 있다. 도 6a를 참고하면, 타임 윈도우(630)는 시점 t_M을 중심으로 하는 시간 구간이고, 출력 값이 외부 객체(610)의 움직임에 의해 변경되는 모든 시점을 포함하는 길이를 가지는 시간 구간일 수 있다. 전자 장치는 모든 시점의 출력 값을 분석하는 대신, 타임 윈도우(630) 내의 출력 값을 분석하여 외부 객체(610)의 움직임을 식별할 수 있다.The electronic device may sample output values corresponding to the viewpoints including the viewpoint t _M and adjacent to the viewpoint t _M among the output values of the sensor 140. For example, the electronic device applies a time window 630 having a size assigned to the output values of the sensor 140 based on the time point t _M at which the output value of the sensor 140 corresponds to the maximum value. can do. Referring to FIG. 6A, the time window 630 may be a time section centering on a time point t _M , and may be a time section having a length including all viewpoints whose output values are changed by the movement of the external object 610. . Instead of analyzing output values of all viewpoints, the electronic device may analyze the output values in the time window 630 to identify the movement of the external object 610.

타임 윈도우(630)의 길이는, 예를 들어, 200 밀리 초(milliseconds)일 수 있다. 센서(140)가 10 밀리 초 간격으로 출력 값을 생성하는 경우, 전자 장치(630)는 센서(140)의 출력 값들 중에서 타임 윈도우(630) 내의 시간에서 생성된 20개의 출력 값을 샘플링할 수 있다. 전자 장치는 타임 윈도우(630)를 시간 상에서 50 밀리 초씩 쉬프트하면서, 타임 윈도우(630) 내의 출력 값의 최대 값 또는 피크 값이 지정된 임계치(예를 들어, 300000)를 초과하는지 판단할 수 있다. 전자 장치가 타임 윈도우(630)를 쉬프트하면서 출력 값을 샘플링하는 상세한 동작은 후술한다.The length of time window 630 may be, for example, 200 milliseconds. When the sensor 140 generates output values at intervals of 10 milliseconds, the electronic device 630 may sample 20 output values generated at the time in the time window 630 among the output values of the sensor 140. . The electronic device may shift the time window 630 by 50 milliseconds in time, and determine whether a maximum value or peak value of an output value in the time window 630 exceeds a specified threshold (eg, 300000). A detailed operation of sampling an output value while the electronic device shifts the time window 630 will be described later.

전자 장치는 센서(140)의 출력 값에 대응하는 2차 다항식을 식별할 수 있다. 식별된 2차 다항식의 2차 계수에 기초하여, 전자 장치는 외부 객체(610)의 방향(611)을 식별할 수 있다. 보다 구체적으로, 전자 장치는 타임 윈도우(630) 내의 출력 값들을 시점 t_M을 중심으로 두 개의 집합으로 구분할 수 있다. 출력 값들의 집합들 각각에 대응하는 2차 다항식의 2차 계수를 비교함으로써(by comparing second degree coefficient of polynomial functions of second degree corresponding each of the sets of the output values), 전자 장치는 외부 객체(610)의 방향(611)을 식별할 수 있다.The electronic device may identify a quadratic polynomial corresponding to the output value of the sensor 140. Based on the quadratic coefficients of the identified second polynomial, the electronic device may identify the direction 611 of the external object 610. More specifically, the electronic device may divide the output values in the time window 630 into two sets around the time point t _M. By comparing the second coefficients of the second polynomial corresponding to each of the sets of output values (by comparing second degree coefficient of polynomial functions of second degree corresponding each of the sets of the output values), the electronic device determines the external object 610. Direction 611 may be identified.

도 6a를 참고하면, 전자 장치는 타임 윈도우(630) 내의 출력 값들을, (1) 최대 값에 대응하는 시점 t_M 이전의 시간 구간(631)에 포함되는 출력 값들 및 (2) 시점 t_M 이후의 시간 구간(632)에 포함되는 출력 값들로 구분할 수 있다. 그래프(621)를 참고하면, 출력 값들은 시간 구간(631)에서 출력 값이 최소가 되는 시점 t_m을 전후로 증가할 수 있다. 출력 값들은 시간 구간(632)에서 시간이 지남에 따라 점진적으로 감소될 수 있다.Referring to FIG. 6A, the electronic device may output output values in the time window 630, (1) output values included in the time interval 631 before the time point t _M corresponding to the maximum value, and (2) after the time t _M. The output values included in the time interval 632 may be classified. Referring to the graph 621, the output values may increase back and forth at a time point t _m at which the output value becomes minimum in the time interval 631. The output values may be gradually reduced over time in time interval 632.

전자 장치는 시간 구간(631)에 포함된 출력 값들 및 시간 구간(632)에 포함된 출력 값들 각각에 대응하는 2차 다항식의 2차 계수를 식별할 수 있다. 그래프(621)를 참고하면, 출력 값들이 시간 구간(631)에서 증가하는 정도가, 출력 값들이 시간 구간(632)에서 감소하는 정도보다 클 수 있다. 따라서, 시간 구간(631)에 포함된 출력 값들에 대응하는 2차 다항식의 2차 계수가 시간 구간(632)에 포함된 출력 값들에 대응하는 2차 다항식의 2차 계수보다 클 수 있다. 예를 들어, 2차 계수들의 차이는 5 이상일 수 있다.The electronic device may identify output coefficients included in the time interval 631 and quadratic coefficients of the quadratic polynomial corresponding to each of the output values included in the time interval 632. Referring to the graph 621, the extent to which the output values increase in the time interval 631 may be greater than the extent to which the output values decrease in the time interval 632. Thus, the quadratic coefficient of the quadratic polynomial corresponding to the output values included in the time interval 631 may be larger than the quadratic coefficient of the quadratic polynomial corresponding to the output values included in the time interval 632. For example, the difference between the quadratic coefficients may be five or more.

요약하면, 센서(140)의 출력 값이 최대가 되는 시점 t_M에 의해 구분되는 두 개의 출력 값들의 집합들에 대하여(with respect to two sets of output values separated by moment t_M maximizing output value of sensor 410), 전자 장치는 두 개의 집합들 각각에 대응하는 2차 다항식의 2차 계수들을 식별할 수 있다. 시점 t_M 이전의 출력 값들의 집합에서 식별된 2차 계수가 시점 t_M 이후의 출력 값들의 집합에서 식별된 2차 계수보다 지정된 임계치 이상 큰 경우, 전자 장치는, 외부 객체(410)가 광 수신기(142)에서 광 송신기(141)를 향하는 방향(611)(예를 들어, 도 2a의 제2 이동 방향)을 따라 이동하였다고 결정할 수 있다(The electronic apparatus 400 may determine that the external object 410 moves toward the direction 431(i.e, second movement direction in Fig 2a) towards the light transmitter 411 from the light receiver 412).In summary, with respect to a set of two output values separated by the time t _M, the output value of the sensor 140 is a maximum (with respect to two sets of output values separated by moment t _M maximizing output value of sensor 410 The electronic device may identify quadratic coefficients of the quadratic polynomial corresponding to each of the two sets. If the secondary coefficient identified in the set of output values before time t _M is greater than the specified threshold above the secondary coefficient identified in the set of output values after time t _M , the electronic device determines that the external object 410 is an optical receiver. The electronic apparatus 400 may determine that the external object 410 moves toward the at 142 (for example, the second movement direction of FIG. 2A) toward the optical transmitter 141. direction 431 (ie, second movement direction in Fig 2a) towards the light transmitter 411 from the light receiver 412).

다른 일 실시예에 따르면, 전자 장치는 시간 구간(631) 및 시간 구간(632) 각각에서 식별된 2차 다항식의 2차 계수들을 비교하는 대신, 시간 구간(631) 및 시간 구간(632) 각각에서 식별된 최소 값들을 비교함으로써, 외부 객체(610)의 움직임을 식별할 수 있다. 그래프(621)를 참고하면, 외부 객체(410)가 방향(611)(예를 들어, 도 2a의 제2 이동 방향)을 따라 움직인 경우, 센서(140)의 출력 값이 최소 값에 대응하는 시점 t_m은 시간 구간(631)에 포함될 수 있다. 즉, 출력 값을 최소화하는 시점 t_m이 출력 값을 최대화 하는 시점 t_M 보다 빠를 수 있다. 예를 들어, 출력 값의 최소 값이 30000이고 출력 값의 최대 값이 300000 이상인 경우, 시간 구간(631)에서의 출력 값의 최소 값(즉, 시점 t_m에서의 출력 값) 및 시간 구간(632)에서의 출력 값의 최소 값의 차이는 수 천 단위(order of few thousand) 이상일 수 있다.According to another embodiment, instead of comparing the quadratic coefficients of the quadratic polynomial identified in each of the time interval 631 and the time interval 632, the electronic device in each of the time interval 631 and the time interval 632. By comparing the identified minimum values, the movement of the external object 610 can be identified. Referring to the graph 621, when the external object 410 moves along the direction 611 (eg, the second moving direction of FIG. 2A), the output value of the sensor 140 corresponds to the minimum value. The time point t _m may be included in the time interval 631. That is, the time point t _m for minimizing the output value may be faster than the time point t _M for maximizing the output value. For example, if the minimum value of the output value is 30000 and the maximum value of the output value is 300000 or more, the minimum value of the output value in the time interval 631 (that is, the output value at the time point t _m ) and the time interval 632. The difference in the minimum value of the output value at) may be more than an order of few thousand.

센서(140)의 출력 값이 최대가 되는 시점 t_M에 의해 구분되는 두 개의 출력 값들의 집합들에 대하여, 전자 장치는 집합들 각각에 포함된 출력 값들의 최소 값들을 식별할 수 있다. 시점 t_M 이전의 출력 값들의 집합에서 식별된 최소 값이 시점 t_M 이후의 출력 값들의 집합에서 식별된 최소 값 보다 지정된 임계치 이상 작은 경우, 전자 장치는, 외부 객체(410)가 광 수신기(142)에서 광 송신기(141)를 향하는 방향(611)(예를 들어, 도 2a의 제2 이동 방향)을 따라 움직였다고 결정할 수 있다.The electronic device may identify minimum values of output values included in each of the sets, for the sets of two output values separated by the time point t _M when the output value of the sensor 140 becomes the maximum. If the minimum value identified in the set of output values before time t _M is less than the specified threshold than the minimum value identified in the set of output values after time t _M , the electronic device determines that the external object 410 is configured to receive an optical receiver 142. ) May move along the direction 611 (eg, the second movement direction of FIG. 2A) toward the optical transmitter 141.

도 6b를 참고하면, 외부 객체(610)가 광 송신기(141)에서 광 수신기(142)를 향하는 방향(612), 즉, 도 2a의 제1 이동 방향을 따라 움직이는 상황이 도시된다. 시점 t0에서, 외부 객체(610)는 광 송신기(141)를 중심으로 광 수신기(142)의 반대쪽에 존재할 수 있다. 외부 객체(610)는 방향(612)을 따라 광 송신기(141) 및 광 수신기(142)를 차례대로 통과할 수 있다. 시점 t0 이후의 시점 t1에서, 외부 객체(610)는 광 수신기(142)를 중심으로 광 송신기(141)의 반대쪽에 존재할 수 있다.Referring to FIG. 6B, a situation in which the external object 610 moves along the direction 612 of the optical transmitter 141 toward the optical receiver 142, that is, the first moving direction of FIG. 2A is illustrated. At time t0, the external object 610 may be on the opposite side of the optical receiver 142 about the optical transmitter 141. The external object 610 may pass through the optical transmitter 141 and the optical receiver 142 in sequence along the direction 612. At a time point t1 after the time point t0, the external object 610 may exist on the opposite side of the light transmitter 141 around the light receiver 142.

도 6b를 참고하면, 외부 객체(610)가 방향(612)을 따라 이동하는 경우, 센서(140)로부터 획득된 데이터를 시각화한 그래프(622)가 도시된다. 그래프(622)를 참고하면, 센서(140)의 출력 값은 외부 객체(610)의 이동에 대응하여 시점 t_M에서 최대 값까지 증가한 다음, 시점 t_M 이후의 시점 t_m에서 최소 값을 가질 수 있다.Referring to FIG. 6B, when the external object 610 moves along the direction 612, a graph 622 visualizing data obtained from the sensor 140 is shown. Referring to the graph 622, the output value of the sensor 140 may increase from the time point t _M to the maximum value in response to the movement of the external object 610, and then may have a minimum value at the time point t _m after the time point t _M. have.

도 6a에서 설명한 바와 유사하게, 전자 장치는 시점 t_M을 포함하는 타임 윈도우(640)를 이용하여 센서(140)의 출력 값들 중 일부를 추출할 수 있다. 타임 윈도우(640)는 지정된 길이를 가지고 시점 t_M을 중심으로 하는 시간 구간일 수 있다. 전자 장치는 타임 윈도우(640) 내의 출력 값들을 시점 t_M을 중심으로 하는 두 개의 시간 구간(641, 642)으로 구분한 다음, 구분된 시간 구간(641,642) 각각에 대응하는 2차 다항식의 2차 계수 또는 구분된 시간 구간(641,642) 각각의 출력 값의 최소 값을 이용하여, 외부 객체(610)가 이동한 방향(612)을 식별할 수 있다.Similar to that described with reference to FIG. 6A, the electronic device may extract some of the output values of the sensor 140 using the time window 640 including the time point t _M. The time window 640 may be a time interval centering on the time point t _M having a specified length. The electronic device divides the output values in the time window 640 into two time intervals 641 and 642 around the time point t _M , and then quadratic the second order of the second polynomial corresponding to each of the divided time intervals 641 and 642. The direction 612 of the movement of the external object 610 may be identified using the minimum value of the output value of each of the coefficients or the divided time intervals 641 and 642.

보다 구체적으로, 그래프(622)를 참고하면, 출력 값들이 시간 구간(642)에서 감소하는 정도가, 출력 값들이 시간 구간(641)에서 증가하는 정도보다 클 수 있다. 따라서, 시간 구간(642)에 포함된 출력 값들에 대응하는 2차 다항식의 2차 계수가 시간 구간(641)에 포함된 출력 값들에 대응하는 2차 다항식의 2차 계수보다 클 수 있다. 예를 들어, 2차 계수들의 차이는 5 이상일 수 있다. 센서(140)의 출력 값이 최대가 되는 시점 t_M에 의해 구분되는 두 개의 시간 구간(641, 642)에 대하여, 시점 t_M 이후의 시간 구간(642)에 포함된 출력 값들로부터 식별된 2차 계수가 시점 t_M 이전의 시간 구간(641)에 포함된 출력 값들로부터 식별된 2차 계수 보다 지정된 임계치 이상 큰 경우, 전자 장치는, 외부 객체(610)가 광 송신기(141)에서 광 수신기(142)를 향하는 방향(612)(즉, 도 2a의 제1 이동 방향)을 따라 이동하였다고 결정할 수 있다.More specifically, referring to the graph 622, the extent to which the output values decrease in the time interval 642 may be greater than the extent to which the output values increase in the time interval 641. Thus, the quadratic coefficient of the quadratic polynomial corresponding to the output values included in the time interval 642 may be larger than the quadratic coefficient of the quadratic polynomial corresponding to the output values included in the time interval 641. For example, the difference between the quadratic coefficients may be five or more. For the two time intervals 641, 642 separated by the time point t _M at which the output value of the sensor 140 is maximum, the secondary identified from the output values included in the time interval 642 after the time point t _M. If the coefficient is greater than or equal to a specified threshold than the secondary coefficient identified from the output values contained in the time interval 641 before time t _M , then the electronic device determines that the external object 610 is connected to the optical receiver 142 at the optical transmitter 141. It may be determined that the vehicle has moved along the direction 612 (ie, the first moving direction of FIG. 2A) toward.

또는, 그래프(622)를 참고하면, 외부 객체(610)가 방향(612)을 따라 움직인 경우, 센서(140)의 출력 값이 최소 값에 대응하는 시점 t_m은 시간 구간(642)에 포함될 수 있다. 즉, 출력 값을 최대화하는 시점 t_M이 출력 값을 최소화하는 시점 t_m 보다 빠를 수 있다. 센서(140)의 출력 값이 최대가 되는 시점 t_M에 의해 구분되는 두 개의 출력 값들의 집합에 대하여, 시점 t_M 이후의 출력 값들의 집합에서 식별된 최소 값이 시점 t_M 이전의 출력 값들의 집합에서 식별된 최소 값 보다 지정된 임계치 이상 작은 경우, 전자 장치는, 외부 객체(610)가 광 송신기(141)에서 광 수신기(142)를 향하는 방향(612)(예를 들어, 도 2a의 제1 이동 방향)을 따라 이동하였다고 결정할 수 있다.Alternatively, referring to the graph 622, when the external object 610 moves along the direction 612, the time point t _m at which the output value of the sensor 140 corresponds to the minimum value is included in the time interval 642. Can be. That is, the time point t _M maximizing the output value may be earlier than the time point t _m maximizing the output value. With respect to a set of two output values, the output value of the sensor 140 is the maximum is divided by the time t _M is, of the minimum value of the time t _M before the output value of the identified set of output values after the time t _M If the electronic device is less than a specified threshold less than the minimum value identified in the set, the electronic device may direct the external object 610 from the optical transmitter 141 toward the optical receiver 142 (eg, the first in FIG. 2A). It can be determined that the movement along the direction of movement).

도 6a 내지 6b를 참고하면, 전자 장치는, 외부 객체(610)가 광 송신기(141) 및 광 수신기(142)를 차례대로 통과하는 방향(예를 들어, 도 2a의 제1 이동 방향) 및 광 수신기(142) 및 광 송신기(141)를 차례대로 통과하는 방향(예를 들어, 도 2a의 제2 이동 방향) 중 어느 이동 방향을 따라 이동하였는지를 식별할 수 있다. 바꾸어 말하면, 전자 장치는, 외부 객체(610)가 이동한 방향을, 광 송신기(141) 및 광 수신기(142)를 연결하는 축 상에서 서로 반대인 두 개의 이동 방향 중에서 선택할 수 있다.6A to 6B, the electronic device may include a direction in which the external object 610 passes through the optical transmitter 141 and the optical receiver 142 (eg, the first moving direction of FIG. 2A) and the light. It is possible to identify which of the moving directions of the direction of passing through the receiver 142 and the optical transmitter 141 (eg, the second moving direction of FIG. 2A). In other words, the electronic device may select a direction in which the external object 610 moves from two moving directions opposite to each other on the axis connecting the optical transmitter 141 and the optical receiver 142.

도 6c를 참고하면, 외부 객체(610)가 도 6a의 방향(611) 및 도 6b의 방향(612)을 제외한 방향(613), 예를 들어, 도 2a의 제3 이동 방향을 따라 움직이는 상황이 도시된다. 예를 들어, 외부 객체(610)가 움직인 방향(613)은, 광 송신기(141) 및 광 수신기(142)를 연결하는 축과 수직일 수 있다. 외부 객체(610)는 방향(613)을 따라 광 수신기(142) 위를 통과할 수 있다.Referring to FIG. 6C, a situation in which the external object 610 moves along a direction 613 except for the direction 611 of FIG. 6A and the direction 612 of FIG. 6B, for example, the third movement direction of FIG. 2A Shown. For example, the direction 613 in which the external object 610 moves may be perpendicular to the axis connecting the optical transmitter 141 and the optical receiver 142. The external object 610 may pass over the optical receiver 142 along the direction 613.

도 6c를 참고하면, 외부 객체(610)가 방향(613)을 따라 이동하는 경우, 센서(140)로부터 획득된 데이터를 시각화한 그래프(623)가 도시된다. 그래프(623)를 참고하면, 센서(140)의 출력 값은 외부 객체(610)의 이동에 대응하여 시점 t_M에서 최대 값까지 증가한 다음, 다시 감소될 수 있다.Referring to FIG. 6C, when the external object 610 moves along the direction 613, a graph 623 visualizing data acquired from the sensor 140 is shown. Referring to the graph 623, the output value of the sensor 140 may increase to a maximum value at a time point t _M in response to the movement of the external object 610, and then decrease again.

도 6a 내지 6b에서 설명한 바와 유사하게, 전자 장치는 시점 t_M을 포함하는 타임 윈도우(650)를 이용하여 센서(140)의 출력 값들 중 일부를 추출할 수 있다. 타임 윈도우(650)는 시점 t_M을 포함하는 시간 구간이고, 지정된 길이를 가질 수 있다. 전자 장치는 타임 윈도우(650) 내의 출력 값들을, 최대 출력 값에 대응하는 시점 t_M 이전의 출력 값 및 최대 출력 값에 대응하는 시점 t_M 이후의 출력 값으로 분류할 수 있다. 그래프(623)를 참고하면, 타임 윈도우(650) 내의 출력 값들은 시점 t_M을 경계로 가지는 두 개의 시간 구간(651, 652)에 기초하여 분류될 수 있다. 전자 장치는 (1) 시점 t_M을 경계로 분류된 출력 값의 집합들 각각에 대응하는 2차 다항식의 2차 계수 또는 (2) 시점 t_M을 경계로 분류된 출력 값의 집합들 각각의 최소 값을 이용하여, 외부 객체(610)가 이동한 방향(613)을 식별할 수 있다.6A to 6B, the electronic device may extract some of the output values of the sensor 140 using the time window 650 including the time point t _M. The time window 650 is a time interval including a time point t _M and may have a specified length. The electronic device may classify the output values in the time window 650 into an output value before time t _M corresponding to the maximum output value and an output value after time t _M corresponding to the maximum output value. Referring to the graph 623, output values in the time window 650 may be classified based on two time intervals 651 and 652 bounded by the time point t _M. The electronic device may include (1) a quadratic coefficient of a quadratic polynomial corresponding to each of the sets of output values classified at the boundary of time t _M or (2) the minimum of each of the sets of output values classified at the boundary of time t _M. The direction 613 in which the external object 610 has moved may be identified using the value.

보다 구체적으로, 그래프(623)를 참고하면, 외부 객체(610)가 방향(611) 또는 방향(612)을 따라 이동하는 경우와 달리, 출력 값들이 시간 구간(651)에서 증가하는 정도 및 출력 값들이 시간 구간(652)에서 감소하는 정도가 거의 비슷할 수 있다. 따라서, 시간 구간(651)에 포함된 출력 값들에 대응하는 2차 다항식의 2차 계수 및 시간 구간(652)에 포함된 출력 값들에 대응하는 2차 다항식의 2차 계수의 차이는 상대적으로 작을 수 있다. 바꾸어 말하면, 외부 객체(610)가 방향(611) 또는 방향(612)을 제외한 방향으로 이동하는 경우, 출력 값들은 시점 t_M을 경계로 대칭적으로 분포될 수 있다. 반대로, 외부 객체(610)가 방향(611) 또는 방향(612)으로 이동하는 경우, 출력 값들은 시점 t_M을 경계로 비대칭적으로 분포될 수 있다.More specifically, referring to the graph 623, unlike the case where the external object 610 moves along the direction 611 or the direction 612, the degree to which the output values increase in the time interval 651 and the output value May decrease in time interval 652 to about the same. Thus, the difference between the quadratic coefficient of the quadratic polynomial corresponding to the output values included in the time interval 651 and the quadratic coefficient of the quadratic polynomial corresponding to the output values included in the time interval 652 may be relatively small. have. In other words, when the external object 610 moves in a direction other than the direction 611 or the direction 612, the output values may be symmetrically distributed around the time point t _M. Conversely, when the external object 610 moves in the direction 611 or the direction 612, the output values may be distributed asymmetrically with respect to the time point t _M.

타임 윈도우(650) 내의 시점 t_M을 경계로 하는 시간 구간(651, 652)에 대하여, 시점 t_M 이전의 시간 구간(651)에 포함된 출력 값들로부터 식별된 2차 계수 및 시점 t_M 이후의 시간 구간(652)에 포함된 출력 값들로부터 식별된 2차 계수의 차이가 지정된 임계치 미만인 경우, 전자 장치는, 외부 객체(610)가 광 수신기(142) 상에서 광 송신기(141) 및 광 수신기(142)를 연결하는 축과 평행하지 않은 방향(613)을 따라 이동하였다고 결정할 수 있다.For a period of time (651, 652) for a time t _M in the time window 650 as a boundary, the time t _M before the time interval 651, since the output of the second coefficient and the time t _M identifies from the values contained in the If the difference of the secondary coefficients identified from the output values included in the time interval 652 is less than the specified threshold, the electronic device determines that the external object 610 is on the optical receiver 142 on the optical transmitter 141 and the optical receiver 142. Can be determined to move along a direction 613 that is not parallel to the connecting axis.

또는, 그래프(623)를 참고하면, 외부 객체(610)가 방향(613)을 따라 움직인 경우, 시간 구간(651)에 포함된 출력 값들의 최소 값 및 시간 구간(652)에 포함된 출력 값들의 최소 값의 차이는 상대적으로 작을 수 있다. 센서(140)의 출력 값이 최대가 되는 시점 t_M에 의해 구분되는 두 개의 출력 값들의 집합에 대하여, 집합 들 각각에서 식별된 최소 값들의 차이가 지정된 임계치 미만인 경우, 전자 장치는, 외부 객체(610)가 광 수신기(142) 상에서 광 송신기(141) 및 광 수신기(142)를 연결하는 축과 평행하지 않은 방향(613)을 따라 이동하였다고 결정할 수 있다.Alternatively, referring to the graph 623, when the external object 610 moves along the direction 613, the minimum value of the output values included in the time interval 651 and the output value included in the time interval 652. The difference in their minimum values can be relatively small. For a set of two output values distinguished by the time t _M at which the output value of the sensor 140 becomes maximum, if the difference between the minimum values identified in each of the sets is less than a specified threshold, the electronic device determines that the external object ( It can be determined that 610 has moved along the direction 613 that is not parallel to the axis connecting the optical transmitter 141 and the optical receiver 142 on the optical receiver 142.

요약하면, 센서(140)가 한 개의 광 수신기(142)를 포함하는 실시예에 따르면, 외부 객체(610)가 광 송신기(141) 및 광 수신기(142)를 연결하는 축을 따라 움직이는 경우, 센서(140)로부터 획득되는 데이터의 패턴은 (1) 외부 객체(610)가 광 송신기(141)에서 광 수신기(142)를 향하여 움직이는지 또는 (2) 외부 객체(610)가 광 수신기(142)에서 광 송신기(141)를 향하여 움직이는지에 따라 다른 패턴을 가질 수 있다. 하지만, 외부 객체(610)가 움직인 방향(613)이 광 송신기(141) 및 광 수신기(142)를 연결하는 축과 평행하지 않은 경우(예를 들어, 방향(613)이 상기 축과 수직인 경우), 외부 객체(610)가 광 수신기(142)의 좌측에서 광 수신기(142)를 향하여 접근할 때(예를 들어, 방향(613))의 패턴 및 (2) 외부 객체(610)가 광 수신기(142)의 우측에서 광 수신기(142)를 향하여 접근할 때(예를 들어, 방향(613)의 반대 방향)의 패턴은 서로 유사할 수 있다.In summary, according to an embodiment in which the sensor 140 includes one optical receiver 142, when the external object 610 moves along an axis connecting the optical transmitter 141 and the optical receiver 142, the sensor ( The pattern of data obtained from 140 is determined by (1) whether the external object 610 is moving towards the optical receiver 142 in the optical transmitter 141 or (2) when the external object 610 is optical in the optical receiver 142. It may have a different pattern depending on whether it is moving towards the transmitter 141. However, when the direction 613 in which the external object 610 moves is not parallel to the axis connecting the optical transmitter 141 and the optical receiver 142 (eg, the direction 613 is perpendicular to the axis). Case), when the external object 610 approaches the optical receiver 142 from the left side of the optical receiver 142 (e.g., direction 613) and (2) the external object 610 When approaching toward the optical receiver 142 from the right side of the receiver 142 (eg, opposite the direction 613), the patterns may be similar to each other.

센서(140)로부터 획득되는 데이터의 패턴이 광 송신기(141) 및 광 수신기(142)를 연결하는 축 상에서의 외부 객체(610)의 이동 방향에 따라 다름을 이용하여, 전자 장치는 외부 객체(610)의 이동 방향에 대응하여 멀티미디어 콘텐트의 표시를 변경할 수 있다.By using the pattern of data obtained from the sensor 140 depends on the direction of movement of the external object 610 on the axis connecting the optical transmitter 141 and the optical receiver 142, the electronic device may use the external object 610. The display of the multimedia content may be changed in correspondence with the moving direction.

도 7a 내지 7b는 다양한 실시예들에 따른 전자 장치가 도 6a 내지 6b 각각에서 외부 객체(610)의 움직임에 대응하여 멀티미디어 콘텐트의 표시를 변경하는 예를 설명하기 위한 도면이다. 도 7a 내지 7b를 참고하면, 전자 장치의 하우징(400)의 서로 다른 면들(즉, 디스플레이(130)를 포함하는 제1 면 및 센서(140)를 포함하는 제2 면) 각각의 일부가 도시된다.7A to 7B are diagrams for describing an example in which an electronic device changes a display of multimedia content in response to the movement of an external object 610 in each of FIGS. 6A through 6B. 7A-7B, portions of each of the different sides of the housing 400 of the electronic device (ie, the first side including the display 130 and the second side including the sensor 140) are shown. .

이하에서는 전자 장치가 센서(140) 상에서 외부 객체(610)의 움직임에 대응하여 스피커(미도시)의 음량을 조절한다고 가정한다. 전자 장치가 센서(140) 상에서 외부 객체(610)의 움직임에 대응하여 실행하는 기능은 음량 조절에 제한되지 않는다.Hereinafter, it is assumed that the electronic device adjusts the volume of the speaker (not shown) in response to the movement of the external object 610 on the sensor 140. The function that the electronic device executes in response to the movement of the external object 610 on the sensor 140 is not limited to volume control.

도 7a는 도 6a의 방향(611)을 따라 움직이는 외부 객체(610)의 움직임에 대응하여 디스플레이(130) 상에 출력되는 멀티미디어 콘텐트 또는 인터페이스(720)의 표시가 변경되는 동작을 도시한 도면이다. 외부 객체(610)가 방향(611)을 따라 움직이는 경우, 전자 장치는 도 6a에서 설명한 동작에 따라 외부 객체(610)가 방향(611)을 따라 움직인 것으로 결정할 수 있다.FIG. 7A illustrates an operation of changing the display of the multimedia content or the interface 720 output on the display 130 in response to the movement of the external object 610 moving along the direction 611 of FIG. 6A. When the external object 610 moves along the direction 611, the electronic device may determine that the external object 610 moves along the direction 611 according to the operation described with reference to FIG. 6A.

이 경우, 전자 장치는 스피커의 음량을 증가시킬 수 있다. 스피커의 음량을 증가시키는 것에 대응하여, 전자 장치는 디스플레이(130) 상에 스피커의 음량을 시각적으로 표시하는 인터페이스(720)를 출력할 수 있다. 인터페이스(720)는 스피커의 음량의 전체 범위에서 스피커의 현재 음량의 위치를 나타내는 인디케이터(730)를 포함할 수 있다(The interface 720 may includes an indicator 730 for indicating a position current volume of speaker in an entire range of volume of speaker). 인터페이스(720) 내에 그려진 직사각형 형태의 프로그레스 바(progress bar) 내에서 움직임으로써, 인디케이터(730)는 스피커의 음량의 전체 범위에서 스피커의 현재 음량의 위치를 나타낼 수 있다.In this case, the electronic device may increase the volume of the speaker. In response to increasing the volume of the speaker, the electronic device may output an interface 720 that visually displays the volume of the speaker on the display 130. The interface 720 may include an indicator 730 for indicating a position current volume of speaker in an entire range of volume of speaker). By moving within a rectangular progress bar drawn in interface 720, indicator 730 can indicate the location of the speaker's current volume over the entire range of the speaker's volume.

스피커의 음량을 증가시킴에 따라, 프로그레스 바에서 인디케이터(730)의 위치가 변경될 수 있다. 전자 장치는 식별되는 외부 객체(610)의 움직임에 대응하여 실시간으로 스피커의 음량을 조절할 수 있다. 더 나아가서, 전자 장치는 스피커의 음량을 조절함과 동시에 인터페이스(720) 상에서 인디케이터(730)의 위치를 실시간으로 조절할 수 있다. 이 경우, 전자 장치의 사용자는 외부 객체(610)(예를 들어, 상기 사용자의 손가락)를 이용하여 스피커의 음량을 조절한 결과를 인터페이스(720)로부터 실시간으로 관찰할 수 있다. 인디케이터(730)가 움직이는 정도(741) 또는 스피커의 음량이 증가되는 정도는, 외부 객체(610)가 센서(140) 상에서 움직이는 속도에 따라 달라질 수 있다.As the volume of the speaker is increased, the position of the indicator 730 in the progress bar may change. The electronic device may adjust the volume of the speaker in real time in response to the movement of the identified external object 610. Furthermore, the electronic device may adjust the position of the indicator 730 on the interface 720 in real time while adjusting the volume of the speaker. In this case, the user of the electronic device may observe the result of adjusting the volume of the speaker using the external object 610 (eg, the user's finger) from the interface 720 in real time. The extent to which the indicator 730 moves 741 or the volume of the speaker may vary depending on the speed at which the external object 610 moves on the sensor 140.

도 7b는 도 6b의 방향(612)을 따라 움직이는 외부 객체(610)의 움직임에 대응하여 디스플레이(130) 상에 출력되는 멀티미디어 콘텐트 또는 인터페이스(720)의 표시가 변경되는 동작을 도시한 도면이다. 외부 객체(610)가 방향(612)을 따라 움직이는 경우, 전자 장치는 도 6b에서 설명한 동작에 따라 외부 객체(610)가 방향(612)을 따라 움직인 것으로 결정할 수 있다.FIG. 7B is a view illustrating an operation of changing the display of the multimedia content or the interface 720 output on the display 130 in response to the movement of the external object 610 moving along the direction 612 of FIG. 6B. When the external object 610 moves along the direction 612, the electronic device may determine that the external object 610 moves along the direction 612 according to the operation described with reference to FIG. 6B.

이 경우, 방향(612)이 스피커의 음량을 증가시키는 방향(611)과 반대이므로, 전자 장치는 스피커의 음량을 감소시킬 수 있다. 스피커의 음량을 감소시키는 것에 대응하여, 전자 장치는 디스플레이(130) 상에 스피커의 음량을 시각적으로 표시하는 인터페이스(720)를 출력할 수 있다. 인터페이스(720) 상에서 인디케이터(730)의 위치는 감소되는 스피커의 음량에 대응하여 변경될 수 있다. 인디케이터(730)가 움직이는 정도(742) 또는 스피커의 음량이 증가되는 정도는, 외부 객체(610)가 센서(140) 상에서 움직이는 속도에 따라 달라질 수 있다.In this case, since the direction 612 is opposite to the direction 611 of increasing the volume of the speaker, the electronic device may decrease the volume of the speaker. In response to reducing the volume of the speaker, the electronic device may output an interface 720 that visually displays the volume of the speaker on the display 130. The position of the indicator 730 on the interface 720 may change in response to the volume of the speaker being reduced. The extent to which the indicator 730 moves 742 or the volume of the speaker may vary depending on the speed at which the external object 610 moves on the sensor 140.

요약하면, 광 송신기 및 광 수신기 사이를 연결하는 축에서의 서로 반대인 두 이동 방향 각각에 대하여(예를 들어, 도 2a의 제1 이동 방향 및 제2 이동 방향), 전자 장치는 상기 두 이동 방향 각각에 두 개의 상보적인 기능들 각각을 대응할 수 있다(In summary, with respect to two opposite directions within the axis connecting the light transmitter and the light receiver(e.g, the first movement direction and the second movement direction in Fig.2a), the electronic device may matches each of two opposite directions and each of two complementary functions). 예를 들어, 상보적인 기능은 음량 증가 및 음량 감소뿐만 아니라, 실행 취소(undo) 및 실행 반복(redo), 화면 밝기 증가 및 화면 밝기 감소, 웹 브라우저의 뒤로 기능 및 앞으로 기능, 게임과 같은 애플리케이션에서 표시되는 3차원 객체의 투시도 전환(change in perspective view of 3D object being displayed in applications such as game application), 전면 카메라 및 후면 카메라 사이의 전환 등을 포함할 수 있다.In summary, for each of the two opposite directions of movement in the axis connecting the optical transmitter and the optical receiver (e.g., the first and second movement directions of FIG. 2A), the electronic device may In summary, with respect to two opposite directions within the axis connecting the light transmitter and the light receiver (eg, the first movement direction and the second movement direction in Fig. 2a). ), the electronic device may matches each of two opposite directions and each of two complementary functions). For example, complementary features include not only volume up and down, but also undo and redo, screen brightness up and screen down, web browser back and forward features, and games such as games. Change in perspective view of 3D object being displayed in applications such as game application, switching between front camera and rear camera, and the like.

상술한 바와 같이, 외부 객체(610)의 움직임을 식별하기 위하여, 전자 장치는 센서(140)에서 출력되는 데이터를 타임 윈도우를 이용하여 샘플링하거나 또는 분할할 수 있다(segment).As described above, in order to identify the movement of the external object 610, the electronic device may sample or segment data output from the sensor 140 using a time window.

도 8은 다양한 실시예들에 따른 전자 장치가 센서의 출력 값을 샘플링하거나 분할하는 동작을 설명하기 위한 도면이다. 도 8에서 설명하는 동작은 도 5의 동작(530) 내지 동작(550)과 관련될 수 있다.8 is a diagram illustrating an operation of sampling or dividing an output value of a sensor by an electronic device according to various embodiments of the present disclosure. 8 may be related to operations 530 to 550 of FIG. 5.

도 8을 참고하면, 전자 장치가 획득한 센서의 출력 값 및 시간을 대응한 그래프(800)가 도시된다. 그래프(800)를 참고하면, 전자 장치가 센서의 출력 값 중에서 식별한 피크 값(810)이 도시된다. 피크 값(810)에 대응하는 시점을 t_M이라 한다. 타임 윈도우는 시간을 따라 순차적으로 쉬프트될 수 있다. 타임 윈도우가 쉬프트될 때마다, 전자 장치는 이용하여 센서의 출력 값들에서 쉬프트된 타임 윈도우에 포함된 출력 값을 식별할 수 있다. 식별된 출력 값 중에서, 전자 장치는 극 값 또는 피크 값(810)을 식별할 수 있다. 극 값 또는 피크 값(810)이 쉬프트된 타임 윈도우에 포함된 출력 값 중에 없거나, 쉬프트된 타임 윈도우에서 식별된 극 값 또는 피크 값(810)이 지정된 임계치 미만인 경우, 전자 장치는 식별된 출력 값에 대응하여 어떠한 기능도 수행하지 않을 수 있다.Referring to FIG. 8, a graph 800 corresponding to an output value and a time of a sensor acquired by an electronic device is shown. Referring to the graph 800, the peak value 810 identified by the electronic device among the output values of the sensor is shown. The time point corresponding to the peak value 810 is called t _M. The time window may be shifted sequentially over time. Each time the time window is shifted, the electronic device may identify an output value included in the shifted time window from the output values of the sensor. Among the identified output values, the electronic device can identify the extreme value or the peak value 810. If the pole value or peak value 810 is not among the output values included in the shifted time window, or if the pole value or peak value 810 identified in the shifted time window is less than the specified threshold, then the electronic device determines the identified output value. Correspondingly, no function can be performed.

도 8을 참고하면, 예시적인 제1 타임 윈도우(820) 및 제2 타임 윈도우(830)가 도시된다. 타임 윈도우가 시간을 따라 순차적으로 쉬프트되므로, 제1 타임 윈도우(820)가 제2 타임 윈도우(830) 보다 먼저 센서의 출력 값들에 적용될 수 있다. 피크 값(810)이 제1 타임 윈도우(820)에 포함된 출력 값들 중에 존재하므로, 도 5의 동작(530)을 참고하여, 전자 장치는 피크 값(810)을 지정된 임계치와 비교할 수 있다.Referring to FIG. 8, an exemplary first time window 820 and a second time window 830 are shown. Since the time window is shifted sequentially over time, the first time window 820 may be applied to output values of the sensor before the second time window 830. Since the peak value 810 exists among the output values included in the first time window 820, with reference to operation 530 of FIG. 5, the electronic device may compare the peak value 810 with a specified threshold.

피크 값(810)이 임계치 미만인 경우, 도 5의 동작(540)을 참고하여, 전자 장치는 제1 타임 윈도우(820)를 지정된 시간 차이만큼 쉬프트할 수 있다. 피크 값(810)이 임계치 이상인 경우, 제1 타임 윈도우(820)에 대응하는 시간 구간에서 피크 값(810)에 대응하는 시점 t_M의 위치에 기초하여, 전자 장치는 제1 타임 윈도우(820)를 쉬프트할 지 여부를 결정할 수 있다. 보다 구체적으로, 도 5의 동작(550)을 참고하여, 전자 장치는 제1 타임 윈도우(820)의 중심 및 시점 t_M이 대응하는지 판단할 수 있다. 제1 타임 윈도우(820)의 중심 및 시점 t_M이 대응하지 않거나, 또는, 제1 타임 윈도우(820)의 중심 및 시점 t_M의 시간 차이가 지정된 임계치 이상인 경우, 도 5의 동작(540)을 참고하여, 전자 장치는 제1 타임 윈도우(820)를 지정된 시간 차이만큼 쉬프트할 수 있다.When the peak value 810 is less than the threshold value, referring to operation 540 of FIG. 5, the electronic device may shift the first time window 820 by a predetermined time difference. When the peak value 810 is greater than or equal to the threshold value, the electronic device may determine the first time window 820 based on the position of the time point t _M corresponding to the peak value 810 in the time interval corresponding to the first time window 820. It may be determined whether to shift the. More specifically, referring to operation 550 of FIG. 5, the electronic device may determine whether the center and the view point t _M of the first time window 820 correspond. If the center and the view point t _M of the first time window 820 do not correspond to each other, or the time difference between the center and the view point t _M of the first time window 820 is greater than or equal to a specified threshold, the operation 540 of FIG. 5 is performed. For reference, the electronic device may shift the first time window 820 by a predetermined time difference.

도 8을 참고하면, 제1 타임 윈도우(820)의 중심 및 시점 t_M이 대응하지 않으므로, 전자 장치는 제1 타임 윈도우(820)를 쉬프트할 수 있다. 타임 윈도우가 시간을 따라 순차적으로 쉬프트되므로, 전자 장치는 제1 타임 윈도우(820) 이후의 타임 윈도우인 제2 타임 윈도우(830)(the second time window 830 which is a time window later than the first time window 820)를 출력 값에 적용할 수 있다.Referring to FIG. 8, since the center and the view point t _M of the first time window 820 do not correspond, the electronic device may shift the first time window 820. Since the time window is shifted sequentially over time, the electronic device may include a second time window 830 which is a time window later than the first time window. 820 may be applied to the output value.

전자 장치는 제2 타임 윈도우(830)에 의해 분할된 출력 값들에 대하여, 도 5의 동작(530) 내지 동작(550)을 다시 수행할 수 있다. 제2 타임 윈도우(830)에 의해 분할된 출력 값들 중에서 식별된 피크 값(810)이 지정된 임계치 이상이고, 제2 타임 윈도우(830)의 중심 및 시점 t_M이 서로 대응하므로, 전자 장치는 분할된 출력 값들에 대응하여 수행할 기능을 식별할 수 있다. 전자 장치는 분할된 출력 값들을 이용하여 센서 상에서 외부 객체의 움직임 또는 이동 방향(예를 들어, 도 6a 내지 6c의 이동 방향(611, 612, 613))을 식별할 수 있다. 전자 장치는 식별된 외부 객체의 움직임 또는 이동 방향에 대응하는 기능을 식별할 수 있다. 전자 장치는 식별된 기능을 수행하는 동안, 수행되는 기능에 대응하여 사용자 인터페이스(예를 들어, 도 7a 내지 7b의 인터페이스(720)) 또는 멀티미디어 콘텐트의 표시를 변경할 수 있다.The electronic device may perform operations 530 to 550 of FIG. 5 again with respect to the output values divided by the second time window 830. Since the peak value 810 identified among the output values divided by the second time window 830 is greater than or equal to a specified threshold value, and the center and the time point t _M of the second time window 830 correspond to each other, the electronic device divides it. It may identify a function to perform in response to the output values. The electronic device may identify the movement or the movement direction (eg, the movement directions 611, 612, and 613 of FIGS. 6A through 6C) of the external object on the sensor using the divided output values. The electronic device may identify a function corresponding to the movement or movement direction of the identified external object. While performing the identified function, the electronic device may change the display of the user interface (eg, the interface 720 of FIGS. 7A to 7B) or the multimedia content in response to the performed function.

전자 장치가 식별하는 외부 객체의 이동 방향은 도 6a 내지 6c의 이동 방향(611, 612, 613)에 제한되지 않는다. 전자 장치가 복수 개의 광 수신기를 포함하는 경우, 전자 장치가 식별할 수 있는 이동 방향의 개수는 증가될 수 있다.The moving direction of the external object identified by the electronic device is not limited to the moving directions 611, 612, and 613 of FIGS. 6A to 6C. When the electronic device includes a plurality of optical receivers, the number of moving directions that the electronic device can identify may increase.

도 9는 다양한 실시예들에 따른 전자 장치가 복수의 광 수신기를 포함하는 센서로부터 획득된 데이터에 대응하여 수행하는 동작을 도시한 흐름도이다. 도 9에서 설명하는 동작들은 도 1의 전자 장치(100), 도 1의 프로세서(110) 및 도 1의 센서(140)에 의해 수행될 수 있다. 도 9에서 설명하는 동작들은 도 3의 동작(330) 내지 동작(340)과 관련될 수 있다. 도 9에서 설명하는 동작들은 도 5의 동작(570) 내지 동작(580)과 관련될 수 있다. 도 9에서 설명하는 동작들은 도 2b 또는 도 2c의 센서(140)를 포함하는 전자 장치에 의해 수행될 수 있다.9 is a flowchart illustrating an operation performed by an electronic device in response to data obtained from a sensor including a plurality of optical receivers. 9 may be performed by the electronic device 100 of FIG. 1, the processor 110 of FIG. 1, and the sensor 140 of FIG. 1. Operations described in FIG. 9 may be related to operations 330 to 340 of FIG. 3. Operations described in FIG. 9 may be related to operations 570 through 580 of FIG. 5. Operations described in FIG. 9 may be performed by an electronic device including the sensor 140 of FIG. 2B or 2C.

동작(910)에서, 도 5의 동작(560)을 참조하여, 전자 장치는 타임 윈도우 내의 출력 값들을 피크 값에 대응하는 시점을 경계로 그룹핑할 수 있다. 상기 타임 윈도우는 도 5의 동작(530) 내지 동작(550)에 의해 반복적으로 쉬프팅된 타임 윈도우일 수 있다. 따라서, 타임 윈도우 내의 출력 값들은, 타임 윈도우의 중심에 존재하는 피크 값에 대응하는 시점을 경계로 하는 두 개의 시간 구간(예를 들어, 도 6a의 시간 구간(631, 632)) 각각에 대응하는 두 개의 출력 값의 집합으로 분류되거나 또는 그룹핑될 수 있다.In operation 910, with reference to operation 560 of FIG. 5, the electronic device may group output values in a time window at a boundary corresponding to a time point corresponding to a peak value. The time window may be a time window repeatedly shifted by operations 530 to 550 of FIG. 5. Thus, the output values in the time window correspond to each of two time intervals (eg, time intervals 631 and 632 of FIG. 6A) bounded by a time point corresponding to a peak value present in the center of the time window. It can be classified or grouped into two sets of output values.

동작(920)에서, 전자 장치는 그룹핑된 출력 값의 집합들 각각에서, 출력 값의 특징을 식별할 수 있다. 전자 장치가 식별하는 출력 값의 특징은, 예를 들어, 집합들 각각에서 출력 값의 최소값, 집합들 각각에 대응하는 2차 다항식의 2차 계수, 집합들 각각에서 출력 값의 변화율 중 적어도 하나를 포함할 수 있다. 동작(920)은 도 5의 동작(570)을 참조하여 수행될 수 있다.In operation 920, the electronic device may identify a feature of the output value in each of the grouped sets of output values. The characteristic of the output value identified by the electronic device is, for example, at least one of a minimum value of the output value in each of the sets, a second order coefficient of the quadratic polynomial corresponding to each of the sets, and a rate of change of the output value in each of the sets. It may include. Operation 920 may be performed with reference to operation 570 of FIG. 5.

동작(930)에서, 전자 장치는 출력 값의 집합들 각각에서 식별된 특징을 비교하여, 식별된 특징들의 차이가 지정된 임계치 이상인지 판단할 수 있다. 예를 들어, 전자 장치가 두 개의 출력 값의 집합들 각각의 특징으로써, 집합들 각각에 대응하는 2차 다항식의 2차 계수를 식별할 수 있다. 도 6a 내지 6c에서 설명한 바를 참고하면, 전자 장치는 2차 계수들의 차이를 지정된 임계치와 비교할 수 있다. 또 다른 예에서, 전자 장치가 두 개의 출력 값의 집합들 각각의 특징으로써, 집합들 각각의 최소 값을 식별할 수 있다. 이 경우, 전자 장치는 식별된 최소 값들의 차이를 지정된 임계치와 비교할 수 있다. 또 다른 예에서, 전자 장치는 상기 집합들 각각에서 출력 값의 변화율을 식별할 수 있다. 이 경우, 전자 장치는 식별된 변화율들의 차이를 지정된 임계치와 비교할 수 있다.In operation 930, the electronic device may compare the identified features in each of the sets of output values to determine whether the difference between the identified features is greater than or equal to a specified threshold. For example, the electronic device may identify the second order coefficient of the quadratic polynomial corresponding to each of the sets as a feature of each of the two sets of output values. Referring to FIGS. 6A through 6C, the electronic device may compare the difference between the secondary coefficients with a specified threshold. In another example, the electronic device may identify the minimum value of each of the sets as a feature of each of the sets of two output values. In this case, the electronic device may compare the difference between the identified minimum values with a specified threshold. In another example, the electronic device may identify a rate of change of an output value in each of the sets. In this case, the electronic device may compare the difference of the identified rate of change with a specified threshold.

상술한 2차 계수들의 차이, 최소 값들의 차이 또는 변화율들의 차이가 각각에 대응하는 임계치 이상이라는 것은, 출력 값들이 피크 값에 대응하는 시점을 중심으로 비대칭적으로 분포함을 의미할 수 있다.The difference between the above-described second order coefficients, the difference between the minimum values, or the change rates may be equal to or greater than a threshold corresponding to each of the output values asymmetrically with respect to the time point corresponding to the peak value.

식별된 특징들의 차이가 지정된 임계치 이상인 경우, 동작(940)에서, 전자 장치는 센서에 포함된 광 송신기(예를 들어, 도 2b 내지 2c의 광 송신기(141)) 및 광 수신기들을 연결하는 축(예를 들어, 도 2b의 축(220) 또는 도 2c의 축(210)) 상에서 외부 객체의 이동 방향을 식별할 수 있다. 바꾸어 말하면, 출력 값들이 피크 값에 대응하는 시점을 중심으로 비대칭적으로 분포하는 경우, 전자 장치는 외부 객체의 이동 방향을, 광 송신기에서 광 수신기로 움직이는 이동 방향 또는 광 수신기에서 광 송신기로 움직이는 이동 방향 중에서 식별할 수 있다. 예를 들어, 도 2b를 참고하면, 전자 장치는, 외부 객체가 광 송신기(141)에서 광 수신기들(142-1, 142-2)을 향하여 움직이는지 여부 및 외부 객체가 광 수신기들(142-1, 142-2)에서 광 송신기(141)를 향하여 움직이는지 여부 중 적어도 하나를 결정할 수 있다. 전자 장치가 광 송신기에서 광 수신기로 움직이는 이동 방향 또는 광 수신기에서 광 송신기로 움직이는 이동 방향 중 어느 하나를 외부 객체의 이동 방향으로 결정하는 동작은, 도 6a 내지 6b에서 설명한 동작을 참조하여 수행될 수 있다.If the difference in the identified features is greater than or equal to a specified threshold, then at operation 940, the electronic device is configured to connect an optical transmitter (eg, optical transmitter 141 of FIGS. 2B-2C) and an axis connecting the optical receivers included in the sensor. For example, the moving direction of the external object may be identified on the axis 220 of FIG. 2B or the axis 210 of FIG. 2C. In other words, when the output values are distributed asymmetrically about the point of time corresponding to the peak value, the electronic device moves the direction of movement of the external object from the optical transmitter to the optical receiver or from the optical receiver to the optical transmitter. Can be identified among the directions. For example, referring to FIG. 2B, the electronic device may determine whether an external object moves from the optical transmitter 141 toward the optical receivers 142-1 and 142-2 and whether the external object moves to the optical receivers 142-. At 1, 142-2, at least one of whether to move toward the optical transmitter 141 may be determined. The operation of determining whether the electronic device moves from the optical transmitter to the optical receiver or from the optical receiver to the optical transmitter as the movement direction of the external object may be performed with reference to the operations described with reference to FIGS. 6A to 6B. have.

식별된 특징들의 차이가 지정된 임계치 미만인 경우, 동작(950)에서, 전자 장치는 센서에 포함된 광 수신기들을 연결하는 축(예를 들어, 도 2b 또는 도 2c의 축(230)) 상에서 외부 객체의 이동 방향을 식별할 수 있다. 바꾸어 말하면, 출력 값들이 피크 값에 대응하는 시점을 중심으로 대칭적으로 분포하는 경우, 전자 장치는 외부 객체가 광 수신기들을 통과한 순서를 식별할 수 있다. 외부 객체가 광 송신기 및 광 수신기들을 연결하는 축과 수직으로 이동하면서 광 수신기들 위를 통과하는 경우, 광 수신기들 각각의 출력 값은 도 6c의 그래프(623)와 유사하게 대칭적으로 분포될 수 있다. 전자 장치는 광 수신기들 각각의 출력 값들 각각을 비교하여, 외부 객체가 광 수신기들을 통과한 순서를 식별할 수 있다.If the difference in the identified features is less than the specified threshold, in operation 950, the electronic device determines the location of the external object on the axis (eg, axis 230 of FIG. 2B or 2C) connecting the optical receivers included in the sensor. The direction of movement can be identified. In other words, when the output values are symmetrically distributed about a time point corresponding to the peak value, the electronic device may identify the order in which the external object passed through the optical receivers. When an external object passes over the optical receivers while moving perpendicularly to the axis connecting the optical transmitter and optical receivers, the output values of each of the optical receivers can be symmetrically distributed similar to the graph 623 of FIG. 6C. have. The electronic device may compare each of the output values of each of the optical receivers to identify the order in which the external object passed through the optical receivers.

도 10a 내지 10b는 다양한 실시예들에 따른 전자 장치가 센서(140)에서 출력되는 데이터의 패턴을 이용하여 외부 객체(1010)가 복수의 광 수신기들(142-1, 142-2)을 통과한 순서를 식별하는 동작을 설명하기 위한 도면이다. 센서(140)에 포함된 복수의 광 수신기들(142-1, 142-2) 및 광 송신기(141)는, 도 2b 또는 도 2c의 센서(140)의 구조를 참조하여, 전자 장치의 하우징(400)에서 디스플레이를 노출하지 않는 어느 한 면을 통하여 외부로 노출될 수 있다. 복수의 광 수신기들(142-1, 142-2) 각각에서 출력되는 값은 광 수신기들(142-1, 142-2) 각각에서 수신되는 광의 세기에 따라 달라질 수 있다.10A through 10B illustrate an example in which an external object 1010 passes through a plurality of optical receivers 142-1 and 142-2 by using a pattern of data output from the sensor 140 by an electronic device according to various embodiments. It is a figure for explaining the operation | movement which identifies a sequence. The plurality of optical receivers 142-1 and 142-2 and the optical transmitter 141 included in the sensor 140 may refer to the structure of the sensor 140 of FIG. 2B or 2C, and may include a housing ( 400 may be exposed to the outside through any one surface that does not expose the display. The value output from each of the plurality of optical receivers 142-1 and 142-2 may vary according to the intensity of light received from each of the optical receivers 142-1 and 142-2.

외부 객체(1010)가 광 송신기(141)에서 복수의 광 수신기(142-1, 142-2)를 향하여 움직일 때에, 센서(140)에서 출력되는 데이터의 패턴은 도 6b에서 설명한 바와 유사할 수 있다. 예를 들어, 광 수신기들(142-1, 142-2) 각각의 출력 값은 도 6b의 그래프(622)와 유사하게 분포될 수 있다. 또한, 광 수신기들(142-1, 142-2) 각각의 출력 값들에서 식별되는 피크 값들은 서로 대응하는 시점 상에 존재할 수 있다. 마찬가지로, 외부 객체(1010)가 복수의 광 수신기(142-1, 142-2)에서 광 송신기(141)를 향하여 움직일 때에, 센서(140)에서 출력되는 데이터의 패턴은 도 6a에서 설명한 바와 유사할 수 있다. 따라서, 전자 장치가 광 송신기(141) 및 복수의 광 수신기(142-1, 142-2) 사이에서 움직이는 외부 객체(1010)의 움직임을 식별하는 동작은 도 6a 또는 도 6b에서 설명한 바를 참조하여 수행될 수 있다.When the external object 1010 moves from the optical transmitter 141 toward the plurality of optical receivers 142-1 and 142-2, the pattern of data output from the sensor 140 may be similar to that described with reference to FIG. 6B. . For example, the output values of each of the optical receivers 142-1, 142-2 may be distributed similarly to the graph 622 of FIG. 6B. In addition, the peak values identified in the output values of each of the optical receivers 142-1 and 142-2 may exist on time points corresponding to each other. Similarly, when the external object 1010 moves toward the optical transmitter 141 in the plurality of optical receivers 142-1 and 142-2, the pattern of data output from the sensor 140 may be similar to that described in FIG. 6A. Can be. Therefore, the operation of identifying the movement of the external object 1010 moving between the optical transmitter 141 and the plurality of optical receivers 142-1 and 142-2 is performed by referring to FIG. 6A or 6B. Can be.

도 10a를 참고하면, 외부 객체(1010)는 하우징(400)의 어느 한 면의 중심에 가깝게 배치된 광 수신기(142-2)에서 하우징(400)의 어느 한 면의 중심으로부터 상대적으로 멀리 배치된 광 수신기(142-1)를 향하는 방향(1011)을 따라 움직일 수 있다. 그래프(1021)는 외부 객체(1010)의 움직임에 따른 광 수신기들(142-1, 142-2)의 출력 값을 시각화한 것이다. 전자 장치는 센서(140)로부터 획득된 데이터로부터 광 수신기들(142-1, 142-2)의 출력 값을 식별할 수 있다.Referring to FIG. 10A, the external object 1010 is disposed relatively far from the center of one side of the housing 400 in the optical receiver 142-2 disposed close to the center of either side of the housing 400. It may move along the direction 1011 toward the optical receiver 142-1. The graph 1021 visualizes output values of the optical receivers 142-1 and 142-2 according to the movement of the external object 1010. The electronic device may identify output values of the optical receivers 142-1 and 142-2 from the data obtained from the sensor 140.

그래프(1021)를 참고하면, 광 수신기들(142-1, 142-2)의 출력 값 각각은 도 6c의 센서(140)의 출력 값과 유사하게 변경됨을 알 수 있다. 따라서, 광 수신기들(142-1, 142-2) 각각의 출력 값들은 피크 값에 대응하는 시점을 중심으로 대칭적으로 분포할 수 있다. 이 경우, 도 9의 동작(910) 내지 동작(920)을 참고하면, 광 수신기들(142-1, 142-2) 중 어느 하나의 출력 값들로부터, 전자 장치는 피크 값에 대응하는 시점을 경계로 그룹핑된 출력 값의 집합들 각각의 특징들을 비교하여, 특징들의 차이가 임계치 미만임을 식별할 수 있다. 이 경우, 전자 장치는 도 9의 동작(950)을 참고하여, 외부 객체(1010)가 광 수신기들(142-1, 142-2)을 연결하는 축 상에서의 이동 방향을 식별할 수 있다.Referring to the graph 1021, it can be seen that the output values of the optical receivers 142-1 and 142-2 are changed to be similar to the output values of the sensor 140 of FIG. 6C. Therefore, output values of each of the optical receivers 142-1 and 142-2 may be symmetrically distributed about a time point corresponding to the peak value. In this case, referring to operations 910 to 920 of FIG. 9, from the output values of any one of the optical receivers 142-1 and 142-2, the electronic device delimits a time point corresponding to the peak value. Comparing the features of each of the sets of output values grouped with may identify that the difference in features is below a threshold. In this case, the electronic device may refer to operation 950 of FIG. 9, and identify a moving direction on an axis through which the external object 1010 connects the optical receivers 142-1 and 142-2.

보다 구체적으로, 전자 장치는 광 수신기들(142-1, 142-2) 각각의 출력 값들의 시간 차이를 이용하여 상기 이동 방향을 식별할 수 있다. 도 10을 참고하면, 외부 객체(1010)가 광 수신기들(142-1, 142-2) 각각을 통과하는 시점이 서로 다르므로, 광 수신기들(142-1, 142-2)의 출력 값들 각각이 최대가 되는 시점 또는 광 수신기들(142-1, 142-2) 각각에서 출력 값들의 피크 값에 대응하는 시점(t_SL, t_SR)은 서로 다를 수 있다. 외부 객체(1010)가 방향(1011)을 따라 움직이는 경우, 외부 객체(1010)가 광 수신기(142-2)를 통과하는 시점이 외부 객체(1010)가 광 수신기(142-1)를 통과하는 시점 보다 빠르므로, 광 수신기(142-2)의 출력 값이 최대가 되는 시점(t_SR)은 광 수신기(142-1)의 출력 값이 최대가 되는 시점(t_SL) 보다 빠를 수 있다.More specifically, the electronic device may identify the moving direction by using the time difference between the output values of each of the optical receivers 142-1 and 142-2. Referring to FIG. 10, since the external object 1010 passes through each of the optical receivers 142-1 and 142-2, the output values of the optical receivers 142-1 and 142-2 are different. The maximum time point or the time points t _SL and t _SR corresponding to peak values of output values at the optical receivers 142-1 and 142-2 may be different from each other. When the external object 1010 moves along the direction 1011, the time when the external object 1010 passes through the optical receiver 142-2 is the time when the external object 1010 passes through the optical receiver 142-1. Since it is faster, the time point t _SR at which the output value of the optical receiver 142-2 is maximum may be faster than the time point t _SL at which the output value of the optical receiver 142-1 is maximum.

결국, 전자 장치는 광 수신기들(142-1, 142-2) 각각의 피크 값에 대응하는 시점(예를 들어, t_SR 및 t_SL)을 식별한 다음, 외부 객체(1010)가 광 수신기들(142-1, 142-2)을 통과한 순서를 식별된 시점의 순서로 결정할 수 있다. 도 10a를 참고하면, 광 수신기(142-2)의 출력 값이 최대가 되는 시점(t_SR)은 광 수신기(142-1)의 출력 값이 최대가 되는 시점(t_SL) 보다 빠르므로, 전자 장치는 외부 객체(1010)가 광 수신기(142-2)에서 광 수신기(142-1)로 이동한 것으로 결정할 수 있다.As a result, the electronic device identifies a time point (eg, t _SR and t _SL ) corresponding to the peak value of each of the optical receivers 142-1 and 142-2, and then the external object 1010 detects the optical receivers. The order of passing through 142-1 and 142-2 may be determined in the order of the identified time points. Referring to FIG. 10A, the time t _SR at which the output value of the optical receiver 142-2 is maximum is faster than the time t _SL at which the output value of the optical receiver 142-1 is maximum. The device may determine that the external object 1010 has moved from the optical receiver 142-2 to the optical receiver 142-1.

도 10b를 참고하면, 외부 객체(1010)는 하우징(400)의 중심으로부터 상대적으로 멀리 배치된 광 수신기(142-1)에서 하우징(400)의 중심에 상대적으로 가깝게 배치된 광 수신기(142-2)를 향하는 방향(1012)을 따라 움직일 수 있다. 그래프(1022)는 외부 객체(1010)의 움직임에 따른 광 수신기들(142-1, 142-2)의 출력 값을 시각화한 것이다.Referring to FIG. 10B, the external object 1010 is disposed in the optical receiver 142-1, which is disposed relatively far from the center of the housing 400, and is positioned relatively close to the center of the housing 400. May move along a direction 1012 towards (). The graph 1022 is a visualization of output values of the optical receivers 142-1 and 142-2 according to the movement of the external object 1010.

그래프(1022)를 참고하면, 광 수신기들(142-1, 142-2)의 출력 값 각각은 도 6c의 센서(140)의 출력 값과 유사하게 변경됨을 알 수 있다. 즉, 광 수신기들(142-1, 142-2)의 출력 값 각각은 (1) 출력 값이 변화하는 정도가, 출력 값이 최대가 되는 시점을 전후로 서로 유사하며, (2) 출력 값이 최대가 되는 시점을 경계로 구분되는 두 개의 시간 구간들에 대하여, 시간 구간들 각각의 출력 값의 최소 값의 차이가 서로 유사할 수 있다. 즉, 광 수신기들(142-1, 142-2) 각각의 출력 값들은 피크 값에 대응하는 시점을 중심으로 대칭적으로 분포할 수 있다. 이 경우, 피크 값에 대응하는 시점을 경계로 그룹핑된 출력 값의 집합들 각각의 특징들의 차이가 임계치 미만이므로, 전자 장치는 도 9의 동작(950)을 참고하여, 외부 객체(1010)가 광 수신기들(142-1, 142-2)을 연결하는 축 상에서의 이동 방향을 식별할 수 있다.Referring to the graph 1022, it can be seen that the output values of the optical receivers 142-1 and 142-2 are changed similarly to the output values of the sensor 140 of FIG. 6C. That is, each of the output values of the optical receivers 142-1 and 142-2 is similar to each other before and after the point where the output value changes, at which point the output value is maximum, and (2) the output value is maximum. For the two time intervals separated by the boundary of the time point, the difference between the minimum value of the output value of each of the time intervals may be similar to each other. That is, output values of each of the optical receivers 142-1 and 142-2 may be symmetrically distributed about a time point corresponding to the peak value. In this case, since the difference between the characteristics of each of the sets of output values grouped at the time point corresponding to the peak value is less than the threshold value, the electronic device may refer to operation 950 of FIG. 9, so that the external object 1010 may receive light. The direction of movement on the axis connecting the receivers 142-1 and 142-2 can be identified.

도 10a에서 설명한 바와 유사하게, 외부 객체(1010)가 광 수신기들(142-1, 142-2) 각각을 통과하는 시점이 서로 다르므로, 광 수신기들(142-1, 142-2)의 출력 값들 각각이 최대가 되는 시점(t_SL, t_SR)은 서로 다를 수 있다. 도 10b를 참고하면, 외부 객체(1010)가 광 수신기(142-1)를 통과하는 시점이 외부 객체(1010)가 광 수신기(142-2)를 통과하는 시점 보다 빠르므로, 광 수신기(142-1)의 출력 값이 최대가 되는 시점(t_SL)은 광 수신기(142-2)의 출력 값이 최대가 되는 시점(t_SR) 보다 빠를 수 있다. 따라서, 전자 장치는 광 수신기(142-1)의 출력 값이 최대가 되는 시점(t_SL) 및 광 수신기(142-2)의 출력 값이 최대가 되는 시점(t_SR)을 비교하여, 외부 객체(1010)가 광 수신기(142-1)에서 광 수신기(142-2)를 향하여 이동한 것으로 결정할 수 있다.Similar to that described with reference to FIG. 10A, since the external object 1010 passes through each of the optical receivers 142-1 and 142-2, the output of the optical receivers 142-1 and 142-2 is different. The time points t _SL and t _SR where each of the values become the maximum may be different. Referring to FIG. 10B, since the time point at which the external object 1010 passes through the optical receiver 142-1 is faster than the time point at which the external object 1010 passes through the optical receiver 142-2, the optical receiver 142-. The time t _SL at which the output value of 1) becomes maximum may be earlier than the time t _SR at which the output value of the optical receiver 142-2 is maximized. Therefore, the electronic device compares a time point t _SL at which the output value of the optical receiver 142-1 is maximum and a time point t _SR at which the output value of the optical receiver 142-2 is maximum, and thus, the external object. 1010 may determine that the optical receiver 142-1 has moved toward the optical receiver 142-2.

요약하면, 광 수신기들(142-1, 142-2)의 출력 값들 각각이 최대가 되는 시점(t_SL, t_SR)의 시간 상 순서는 광 수신기들(142-1, 142-2)을 연결하는 축 상에서 외부 객체(1010)의 이동 방향에 따라 달라질 수 있다. 광 수신기들(142-1, 142-2) 중 어느 하나의 출력 값들에 대하여, 출력 값이 최대가 되는 시점에 의해 구분 되는 (1) 두 개의 시간 구간들 각각의 출력 값의 최소 값의 차이 또는 (2) 두 개의 시간 구간들 각각에 대응하는 2차 다항식의 2차 계수의 차이가 대응하는 임계치 미만인 경우, 전자 장치는, 외부 객체(1010)가 광 수신기들(142-1, 142-2)을 연결하는 축 상에서 이동하였다고 결정할 수 있다. 이 경우, 전자 장치는 광 수신기들(142-1, 142-2) 각각의 최대 출력 값에 대응하는 시점(t_SL, t_SR)을 비교하여, 광 수신기들(142-1, 142-2)을 연결하는 축 상에서 외부 객체(1010)의 이동 방향을 결정할 수 있다.In summary, the chronological order of the times t _SL , t _SR at which the output values of the optical receivers 142-1, 142-2 become the maximum connects the optical receivers 142-1, 142-2. It may vary according to the moving direction of the external object 1010 on the axis. For the output values of any one of the optical receivers 142-1, 142-2, (1) the difference between the minimum value of the output value of each of the two time intervals separated by the point of time when the output value is maximum, or (2) When the difference between the quadratic coefficients of the quadratic polynomial corresponding to each of the two time intervals is less than the corresponding threshold, the electronic device determines that the external object 1010 is the optical receivers 142-1 and 142-2. We can determine that we have moved on the connecting axis. In this case, the electronic device compares the time points t _SL and t _SR corresponding to the maximum output values of each of the optical receivers 142-1 and 142-2, and thus the optical receivers 142-1 and 142-2. The direction of movement of the external object 1010 may be determined on the axis connecting.

예를 들어, 광 수신기(142-2)의 최대 출력 값에 대응하는 시점(t_SR)이 광 수신기(142-1)의 최대 출력 값에 대응하는 시점(t_SL) 보다 빠른 경우, 전자 장치는, 외부 객체(1010)가 광 수신기(142-2)에서 광 수신기(142-1)를 향하여 이동하였다고 결정할 수 있다. 또 다른 예로써, 광 수신기(142-2)의 최대 출력 값에 대응하는 시점(t_SR)이 광 수신기(142-1)의 최대 출력 값에 대응하는 시점(t_SL) 보다 느린 경우, 전자 장치는, 외부 객체(1010)가 광 수신기(142-1)에서 광 수신기(142-2)를 향하여 이동하였다고 결정할 수 있다.For example, when the time point t _SR corresponding to the maximum output value of the optical receiver 142-2 is earlier than the time point t _SL corresponding to the maximum output value of the optical receiver 142-1, the electronic device The external object 1010 may determine that the optical object 142-2 has moved toward the optical receiver 142-1. As another example, when the time point t _SR corresponding to the maximum output value of the optical receiver 142-2 is slower than the time point t _SL corresponding to the maximum output value of the optical receiver 142-1, the electronic device May determine that the external object 1010 has moved from the optical receiver 142-1 towards the optical receiver 142-2.

결국, 전자 장치는 센서(140)에서 출력되는 데이터의 패턴에 기초하여, 센서(140)상의 공간에서 움직이는 외부 객체(1010)의 움직임을 식별할 수 있다. 도 6a 내지 6c 및 도 10a 내지 10b를 참고하면, 전자 장치는 센서(140)가 배치된 평면(즉, 센서(140)가 노출된 하우징(400)의 어느 한 면)과 평행한 평면 상에서 외부 객체(1010)의 2차원 움직임을 식별할 수 있다.As a result, the electronic device may identify the movement of the external object 1010 moving in the space on the sensor 140 based on the pattern of data output from the sensor 140. 6A to 6C and 10A to 10B, the electronic device may be an external object on a plane parallel to a plane on which the sensor 140 is disposed (ie, one surface of the housing 400 to which the sensor 140 is exposed). The two-dimensional movement of 1010 can be identified.

도 11은 다양한 실시예들에 따른 전자 장치가 외부 객체로부터 식별한 2차원 움직임에 기초하여 수행하는 기능의 예를 설명하기 위한 도면이다. 도 11의 전자 장치는 도 2b 내지 2c, 도 10a 내지 10b의 전자 장치와 관련될 수 있다. 센서(140)는 복수의 광 수신기들(142-1, 142-2)을 포함할 수 있다. 센서(140)는 전자 장치의 하우징(400)에서, 디스플레이가 노출된 제1 면과 구별되는 제2 면을 통해 외부로 노출될 수 있다.11 is a diagram illustrating an example of a function performed by an electronic device based on a two-dimensional movement identified by an external object, according to various embodiments of the present disclosure. The electronic device of FIG. 11 may be related to the electronic device of FIGS. 2B to 2C and 10A to 10B. The sensor 140 may include a plurality of optical receivers 142-1 and 142-2. The sensor 140 may be exposed to the outside through a second surface that is distinct from the first surface on which the display is exposed in the housing 400 of the electronic device.

전자 장치는 도 3, 도 5 및 도 9의 동작에 기초하여 하우징(400)의 제2 면 상의 외부 객체의 움직임을 식별할 수 있다. 외부 객체가 하우징(400)의 제2 면, 보다 구체적으로, 센서(140) 상에서 움직이는 경우, 전자 장치는 도 3의 동작(330) 또는 도 5의 동작(510)에 기초하여 센서(140)의 데이터를 획득할 수 있다. 획득된 센서(140)의 데이터는 광 수신기들(142-1, 142-2) 각각의 출력 값을 포함할 수 있다.The electronic device may identify a movement of an external object on the second surface of the housing 400 based on the operations of FIGS. 3, 5, and 9. When the external object moves on the second side of the housing 400, more specifically, on the sensor 140, the electronic device may move the sensor 140 based on operation 330 of FIG. 3 or operation 510 of FIG. 5. Data can be obtained. The obtained data of the sensor 140 may include an output value of each of the optical receivers 142-1 and 142-2.

전자 장치는 도 3의 동작(340)에 기초하여 센서(140)의 데이터의 패턴에 따라 외부 객체의 움직임을 식별할 수 있다. 보다 구체적으로, 전자 장치는 광 수신기들(142-1, 142-2) 각각의 출력 값에 대하여, 도 5의 동작(530) 내지 동작(550)을 수행함으로써, 광 수신기들(142-1, 142-2) 각각에서 피크 값을 중심으로 하는 타임 윈도우들을 식별할 수 있다. 전자 장치는 광 수신기들(142-1, 142-2) 중 적어도 하나의 출력 값들에 대하여, 도 9의 동작(910)에 기초하여, 식별된 타임 윈도우 내의 출력 값들을 두 개의 집합으로 그룹핑할 수 있다. 즉, 광 수신기들(142-1, 142-2) 중 적어도 하나의 출력 값들은 피크 값에 대응하는 시점을 경계로 분할될 수 있다. 전자 장치는 도 9의 동작(920) 내지 동작(930)에 기초하여, 분할된 출력 값들의 특징을 비교할 수 있다. 분할된 출력 값들의 특징을 비교한 것에 대응하여, 전자 장치는 도 9의 동작(940) 및 동작(950) 중 적어도 하나를 수행할 수 있다.The electronic device may identify the movement of the external object based on the pattern of data of the sensor 140 based on the operation 340 of FIG. 3. More specifically, the electronic device performs operations 530 to 550 of FIG. 5 with respect to an output value of each of the optical receivers 142-1 and 142-2. 142-2) in each of the time windows centered on the peak value may be identified. The electronic device may group the output values in the identified time window into two sets for the output values of at least one of the optical receivers 142-1 and 142-2, based on operation 910 of FIG. 9. have. That is, output values of at least one of the optical receivers 142-1 and 142-2 may be divided by a boundary corresponding to a time point corresponding to the peak value. The electronic device may compare features of the divided output values based on operations 920 to 930 of FIG. 9. In response to comparing the characteristics of the divided output values, the electronic device may perform at least one of operations 940 and 950 of FIG. 9.

도 11을 참고하면, 하우징(400)에서 센서(140)가 노출된 제2 면 위의 공간이 x축(1110) 및 y축(1120)에 기초하여 구분될 수 있다. x축(1110)은 광 수신기들(142-1, 142-2) 사이를 연결하는 축이고, y축(1120)은 광 송신기(141) 및 광 수신기들(142-1, 142-2)을 연결하는 축일 수 있다. 분할된 출력 값들의 특징들을 비교하여(예를 들어, 출력 값들의 집합들 각각에 대응하는 2차 다항식의 2차 계수들을 비교하거나, 출력 값들의 집합들 각각에서 식별된 최소 출력 값들을 비교하여), 전자 장치는, 외부 객체가 x축(1110) 또는 y축(1120) 중 어느 축을 따라 이동하였는지를 식별할 수 있다.Referring to FIG. 11, a space on a second surface of the housing 400 where the sensor 140 is exposed may be divided based on the x-axis 1110 and the y-axis 1120. The x axis 1110 is an axis connecting the optical receivers 142-1 and 142-2, and the y axis 1120 is an optical transmitter 141 and the optical receivers 142-1 and 142-2. It can be an axis. By comparing the features of the divided output values (eg, by comparing the quadratic coefficients of the quadratic polynomial corresponding to each of the sets of output values, or by comparing the minimum output values identified in each of the sets of output values). The electronic device may identify which axis of the x-axis 1110 or y-axis 1120 has moved along.

2차 계수들의 차이 또는 최소 출력 값들의 차이가 대응하는 지정된 임계치 미만인 경우, 바꾸어 말하면, 출력 값들의 분포가 피크 값에 대응하는 시점을 중심으로 대칭인 경우, 전자 장치는 외부 객체가 x축(1110)을 따라 이동하였다고 결정할 수 있다. 이 경우, 전자 장치는 도 9의 동작(950)에 기초하여, x축(1110) 상에서 외부 객체의 이동 방향(도 11의 경우, +x 방향 또는 -x 방향)을 식별할 수 있다.If the difference between the quadratic coefficients or the difference between the minimum output values is less than the corresponding specified threshold, in other words, if the distribution of the output values is symmetric about the point of time corresponding to the peak value, then the electronic device determines that the external object is the x-axis 1110 You can determine that you have moved along). In this case, the electronic device may identify the moving direction (in the case of FIG. 11, the + x direction or the -x direction) on the x axis 1110 based on the operation 950 of FIG. 9.

2차 계수들의 차이 또는 최소 출력 값들의 차이가 대응하는 지정된 임계치 이상인 경우, 바꾸어 말하면, 출력 값들의 분포가 피크 값에 대응하는 시점을 중심으로 비대칭인 경우, 전자 장치는 외부 객체가 y축(1120)을 따라 이동하였다고 결정할 수 있다. 이 경우, 전자 장치는 도 9의 동작(940)에 기초하여, y축(1120) 상에서 외부 객체의 이동 방향(도 11의 경우, +y 방향 또는 -y 방향)을 식별할 수 있다.If the difference between the quadratic coefficients or the difference between the minimum output values is greater than or equal to the corresponding specified threshold, in other words, if the distribution of output values is asymmetric about the point of time corresponding to the peak value, then the electronic device determines that the external object is on the y-axis (1120). You can determine that you have moved along). In this case, the electronic device may identify the moving direction (in the case of FIG. 11, the + y direction or the −y direction) of the external object on the y axis 1120 based on the operation 940 of FIG. 9.

결국, 일 실시예에 따른 전자 장치는 도 11의 +x 방향, -x 방향, +y 방향 및 -y 방향 중 어느 하나와 대응하는 외부 객체의 이동 방향을 식별할 수 있다. 전자 장치는 식별된 이동 방향에 대응하는 축에 기초하여 복수의 기능 중 어떤 기능을 수행할지를 결정할 수 있다. 상기 기능은 도 3의 동작(350)의 멀티미디어 콘텐트의 표시를 변경하는 기능을 포함할 수 있다. 도 11을 참고하면, 전자 장치는 x축(1110)을 따라 이동하는 외부 객체에 대응하여 전자 장치에 포함된 스피커의 음량을 조절하는 기능을 수행할 수 있고, y축(1120)을 따라 이동하는 외부 객체에 대응하여 전자 장치에 포함된 디스플레이의 밝기를 조절하는 기능을 수행할 수 있다.As a result, the electronic device according to an embodiment may identify a moving direction of an external object corresponding to any one of the + x direction, the -x direction, the + y direction, and the -y direction of FIG. 11. The electronic device may determine which of a plurality of functions to perform based on an axis corresponding to the identified movement direction. The function may include a function of changing the display of the multimedia content of operation 350 of FIG. 3. Referring to FIG. 11, the electronic device may perform a function of adjusting a volume of a speaker included in the electronic device in response to an external object moving along the x-axis 1110 and moving along the y-axis 1120. The brightness of the display included in the electronic device may be adjusted in response to the external object.

예를 들어, 외부 객체가 센서(140) 상에서 +x 방향으로 이동하는 경우, 전자 장치는 외부 객체의 이동 방향에 대응하여 스피커의 음량을 증가시킬 수 있다. 외부 객체가 센서(140) 상에서 -x 방향으로 이동하는 경우, 전자 장치는 외부 객체의 이동 방향에 대응하여 스피커의 음량을 감소시킬 수 있다. 외부 객체가 센서(140) 상에서 +y 방향으로 이동하는 경우, 전자 장치는 외부 객체의 이동 방향에 대응하여 디스플레이의 밝기를 증가시킬 수 있다. 외부 객체가 센서(140) 상에서 -y 방향으로 이동하는 경우, 전자 장치는 외부 객체의 이동 방향에 대응하여 디스플레이의 밝기를 증가시킬 수 있다.For example, when the external object moves in the + x direction on the sensor 140, the electronic device may increase the volume of the speaker in response to the moving direction of the external object. When the external object moves in the -x direction on the sensor 140, the electronic device may reduce the volume of the speaker in response to the moving direction of the external object. When the external object moves in the + y direction on the sensor 140, the electronic device may increase the brightness of the display corresponding to the moving direction of the external object. When the external object moves in the -y direction on the sensor 140, the electronic device may increase the brightness of the display corresponding to the moving direction of the external object.

상술한 기능 외에도, 전자 장치가 x축(1110) 또는 y축(1120)을 따라 이동하는 외부 객체에 대응하여 수행하는 기능은, 전자 장치에서 실행되는 애플리케이션, 센서(140) 또는 디스플레이 상에서 수행되는 사용자의 제스쳐, 전자 장치에 포함된 스위치 중 적어도 하나에 기초하여 변경될 수 있다. 전자 장치가 센서(140) 상에서 움직이는 외부 객체에 대응하여 수행하는 기능을 변경하는 동작은 후술한다.In addition to the above-described functions, a function performed by the electronic device in response to an external object moving along the x-axis 1110 or y-axis 1120 may be performed by an application running on the electronic device, a sensor 140, or a user running on the display. Gesture may be changed based on at least one of the switches included in the electronic device. An operation of changing a function performed by the electronic device in response to an external object moving on the sensor 140 will be described later.

상술한 바와 같이, 전자 장치는 센서(140) 상의 공간에서 외부 객체의 움직임을 x축(1110) 및 y축(1120)에 기초하여 식별할 수 있다. 더 나아가서, 전자 장치는 센서(140) 상의 공간 상에서 외부 객체의 3차원 움직임을 식별할 수 있다. 바꾸어 말하면, 센서(140) 상의 3차원 공간상에서 움직이는 외부 객체의 움직임이 전자 장치에 의해 3차원으로 식별될 수 있다(A movement of the external object 1010 in a three-dimension space on the sensor 140 may be identified by the electronic device three-dimensionally). 예를 들어, 전자 장치는 상기 x축(1110) 및 y축(1120)을 포함하는 평면 상의 외부 객체의 이동 방향뿐만 아니라, 외부 객체가 센서(140) 또는 센서(140)가 배치된 평면과 이루는 거리, 즉, 상기 x축(1110) 및 y축(1120) 전부와 수직인 z축에서 외부 객체 및 센서(140) 사이의 거리도 식별할 수 있다.As described above, the electronic device may identify the movement of the external object in the space on the sensor 140 based on the x-axis 1110 and the y-axis 1120. Furthermore, the electronic device may identify a three-dimensional movement of the external object in the space on the sensor 140. In other words, the movement of the external object 1010 in a three-dimension space on the sensor 140 may be identified by the electronic device three-dimensionally). For example, in the electronic device, not only the moving direction of the external object on the plane including the x-axis 1110 and the y-axis 1120, but the external object forms the sensor 140 or the plane on which the sensor 140 is disposed. The distance, that is, the distance between the external object and the sensor 140 in the z-axis perpendicular to all of the x-axis 1110 and the y-axis 1120 may also be identified.

도 12는 다양한 실시예들에 따른 전자 장치가 외부 객체 및 센서 상의 거리를 이용하여, 외부 객체의 움직임에 대응하여 수행할 기능을 선택하는 동작을 설명하기 위한 흐름도이다. 도 12에서 설명하는 동작들은 도 1의 전자 장치(100), 도 1의 프로세서(110) 및 도 1의 센서(140)에 의해 수행될 수 있다. 도 12에서 설명하는 동작들은 도 3의 동작(330) 내지 동작(350)과 관련될 수 있다. 도 12에서 설명하는 동작들 중 전부 또는 일부는 도 5에서 설명된 동작들을 참조하여 수행될 수 있다.12 is a flowchart illustrating an operation in which an electronic device selects a function to perform in response to a movement of an external object by using a distance on the external object and a sensor, according to various embodiments of the present disclosure. Operations described in FIG. 12 may be performed by the electronic device 100 of FIG. 1, the processor 110 of FIG. 1, and the sensor 140 of FIG. 1. Operations described in FIG. 12 may be related to operations 330 to 350 of FIG. 3. All or some of the operations described in FIG. 12 may be performed with reference to the operations described in FIG. 5.

동작(1210), 동작(1220), 동작(1230), 동작(1240) 및 동작(1250) 각각은 도 5의 동작(510), 동작(520), 동작(530), 동작(540) 및 동작(550)을 참조하여 수행될 수 있다. 결국, 전자 장치는 외부 객체의 움직임에 대응하여 식별된 광 수신기의 출력 값에 대응하여, 출력 값의 피크 값에 대응하는 시점을 중심으로 하는 타임 윈도우를 식별할 수 있다.Operation 1210, operation 1220, operation 1230, operation 1240, and operation 1250 are each operation 510, operation 520, operation 530, operation 540, and operation of FIG. 5. Reference may be made to 550. As a result, the electronic device may identify a time window centering on a time point corresponding to the peak value of the output value, in response to the output value of the optical receiver identified in response to the movement of the external object.

동작(1260)에서, 전자 장치는 광 수신기의 출력 값의 피크 값을 지정된 범위와 비교할 수 있다. 상기 범위는, 외부 객체가 센서 상을 접촉하여 이동한 경우(예를 들어, 사용자가 손가락으로 센서를 문지른 경우)에서 광 수신기의 출력 값의 피크 값을 포함할 수 있다. 또는, 상기 범위는, 외부 객체가 센서 상에서 지정된 거리만큼 떨어져 이동한 경우에서 광 수신기의 출력 값의 피크 값을 포함할 수 있다. 즉, 상기 범위는 외부 객체 및 센서 상의 거리 및 피크 값 사이의 관계에 기초하여 결정될 수 있다.In operation 1260, the electronic device may compare the peak value of the output value of the optical receiver with a specified range. The range may include the peak value of the output value of the optical receiver when an external object is moved in contact with the sensor (eg, when the user rubs the sensor with a finger). Alternatively, the range may include a peak value of an output value of the optical receiver when the external object moves by a predetermined distance on the sensor. That is, the range may be determined based on the relationship between the distance and the peak value on the external object and the sensor.

동작(1270)에서, 피크 값이 지정된 범위에 포함되는지 여부에 대응하여, 전자 장치는 외부 객체의 이동 방향에 따라 수행할 기능을 식별할 수 있다. 범위가 외부 객체 및 센서 상의 거리 및 피크 값 사이의 관계에 기초하여 결정되므로, 동작(1270)에 의해 식별되는 기능은 외부 객체 및 센서 상의 거리와 관련될(associated with) 수 있다.In operation 1270, the electronic device may identify a function to perform according to the moving direction of the external object, in response to whether the peak value is included in the specified range. Since the range is determined based on the relationship between the distance on the external object and the sensor and the peak value, the function identified by operation 1270 may be associated with the distance on the external object and the sensor.

결국, 전자 장치의 디스플레이를 포함하는 제1 면과 구별되는 제2 면 상에 배치된 센서를 이용하여, 사용자는 전자 장치를 제어하는 다양한 기능을 실행할 수 있다. 사용자는 센서 상에서 손가락을 자유롭게 이동할 수 있다. 전자 장치는 손가락의 이동에 대응하여, 손가락 및 센서 사이의 거리, 제2 면과 평행한 평면에서 손가락의 이동 방향을 식별할 수 있다. 식별되는 거리 및 이동 방향에 대응하여, 전자 장치는 복수의 기능 중 어느 하나를 선택적으로 실행할 수 있다.As a result, the user may execute various functions for controlling the electronic device by using a sensor disposed on a second surface that is distinct from the first surface including the display of the electronic device. The user can freely move his or her finger on the sensor. The electronic device may identify a distance between the finger and the sensor and a direction of movement of the finger in a plane parallel to the second surface in response to the movement of the finger. In response to the identified distance and the moving direction, the electronic device may selectively execute any one of a plurality of functions.

도 13은 다양한 실시예들에 따른 전자 장치가 센서(140)의 출력 값의 피크 값에 기초하여, 외부 객체의 움직임에 대응하여 수행할 기능을 선택하는 동작을 설명하기 위한 도면이다. 도 13에서 설명할 동작은 도 12의 동작(1260) 내지 동작(1270)과 관련될 수 있다. 도 13의 전자 장치는 도 1의 전자 장치(100)에 대응할 수 있다. 도 13의 센서(140)는 도 2a 내지 2c의 센서(140)에 대응할 수 있다. 센서(140)는 하우징(400)에서 디스플레이가 배치된 제1 면과 구별되는 제2 면 상에 배치될 수 있다. 제2 면 상에서 움직이는 외부 객체의 움직임을 광학적으로 탐지하기 위하여, 센서(140)는 광 송신기(141) 및 적어도 하나의 광 수신기(142)를 포함할 수 있다. 센서(140)에서 출력되는 데이터는 적어도 하나의 광 수신기(142)의 출력 값을 포함할 수 있다. 적어도 하나의 광 수신기(142)의 출력 값은 광 수신기(142)에서 수신되는 광의 세기에 비례할 수 있다.FIG. 13 is a diagram for describing an operation of selecting, by a electronic device, a function to be performed in response to a movement of an external object, based on a peak value of an output value of the sensor 140, according to various embodiments. 13 may be related to operations 1260 to 1270 of FIG. 12. The electronic device of FIG. 13 may correspond to the electronic device 100 of FIG. 1. The sensor 140 of FIG. 13 may correspond to the sensor 140 of FIGS. 2A to 2C. The sensor 140 may be disposed on a second side of the housing 400 that is distinct from the first side on which the display is disposed. The sensor 140 may include an optical transmitter 141 and at least one optical receiver 142 to optically detect movement of an external object moving on the second surface. Data output from the sensor 140 may include an output value of at least one optical receiver 142. The output value of the at least one optical receiver 142 may be proportional to the intensity of the light received at the optical receiver 142.

도 13을 참고하면, 외부 객체가 센서(140) 상에서 서로 다른 제1 경로(1321) 및 제2 경로(1322) 중 어느 하나를 따라 움직이는 상황이 도시된다. 제1 경로(1321) 및 제2 경로(1322)는 광 송신기(141)에서 광 수신기(142)를 향하는 경로로써, 서로 평행하다고 가정한다. 제1 경로(1321) 및 제2 경로(1322)들이 센서(140) 또는 하우징(400)의 제2 면과 이루는 거리는 서로 다를 수 있다. 도 13을 참고하면, 제1 경로(1321) 및 제2 면 사이의 거리가 제2 경로(1322) 및 제2 면 사이의 거리보다 적다고 가정한다.Referring to FIG. 13, a situation in which an external object moves along one of different first paths 1321 and second paths 1322 on the sensor 140 is illustrated. The first path 1321 and the second path 1322 are paths from the optical transmitter 141 to the optical receiver 142 and are assumed to be parallel to each other. The distance between the first path 1321 and the second path 1322 and the second surface of the sensor 140 or the housing 400 may be different from each other. Referring to FIG. 13, it is assumed that the distance between the first path 1321 and the second surface is less than the distance between the second path 1322 and the second surface.

도 13을 참고하면, 외부 객체가 제1 경로(1321) 및 제2 경로(1322) 각각을 따라 이동하는 경우, 센서(140)로부터 획득된 데이터를 시각화한 그래프(1330)가 도시된다. 그래프(1330)를 참고하면, 외부 객체가 제1 경로(1321)를 따라 이동한 경우, 전자 장치는 광 수신기(142)의 출력 값으로부터 피크 값 P₁을 식별할 수 있다. 외부 객체가 제2 경로(1322)를 따라 이동한 경우, 전자 장치는 광 수신기(142)의 출력 값으로부터 피크 값 P₂를 식별할 수 있다.Referring to FIG. 13, when an external object moves along each of the first path 1321 and the second path 1322, a graph 1330 visualizing data obtained from the sensor 140 is shown. Referring to the graph 1330, when the external object moves along the first path 1321, the electronic device may identify the peak value P ₁ from the output value of the optical receiver 142. When the external object moves along the second path 1322, the electronic device may identify the peak value P ₂ from the output value of the optical receiver 142.

전자 장치는 식별된 피크 값을 지정된 범위(1340)와 비교할 수 있다. 상기 범위(1340)는 제2 면으로부터 지정된 거리 이상 이격된 외부 객체의 움직임으로부터 식별된 피크 값을 포함하고, 상기 거리 미만 이격된 외부 객체의 움직임으로부터 식별된 피크 값을 제외하도록 결정될 수 있다. 전자 장치는 범위(1340) 및 피크 값을 비교한 결과에 대응하여 외부 객체의 이동 방향에 따라 수행할 기능을 다르게 결정할 수 있다.The electronic device may compare the identified peak value with the specified range 1340. The range 1340 may be determined to include a peak value identified from the movement of the external object spaced above the specified distance from the second surface and to exclude the identified peak value from the movement of the external object spaced below the distance. The electronic device may differently determine a function to be performed according to the moving direction of the external object in response to a result of comparing the range 1340 and the peak value.

외부 객체가 제1 경로(1321)를 따라 이동한 경우, 피크 값 P₁은 범위(1340)에 포함되지 않을 수 있다. 이 경우, 전자 장치는 외부 객체의 이동 방향(예를 들어, 도 11의 x축(1110) 또는 y축(1120) 상의 이동 방향)에 대응하여 제1 기능(예를 들어, 디스플레이의 밝기 조절)을 수행할 수 있다. 외부 객체가 제2 경로(1322)를 따라 이동한 경우, 피크 값 P₂는 범위(1340)에 포함될 수 있다. 이 경우, 전자 장치는 외부 객체의 이동 방향에 대응하여, 상기 제1 기능과 구별되는 제2 기능(예를 들어, 스피커의 음량 조절)을 수행할 수 있다.When the external object moves along the first path 1321, the peak value P ₁ may not be included in the range 1340. In this case, the electronic device may correspond to a first function (for example, brightness adjustment of the display) in response to a moving direction of the external object (for example, a moving direction on the x-axis 1110 or y-axis 1120 of FIG. 11). Can be performed. When the external object moves along the second path 1322, the peak value P ₂ may be included in the range 1340. In this case, the electronic device may perform a second function (for example, volume control of the speaker) that is distinguished from the first function in response to the moving direction of the external object.

도 14는 다양한 실시예들에 따른 전자 장치가 외부 객체 및 센서 사이의 거리에 대응하여 사용자에게 제공할 기능을 변경하는 동작을 설명하기 위한 흐름도이다. 도 14에서 설명한 동작들은 도 1의 전자 장치(100), 도 1의 프로세서(110) 및 도 1의 센서(140)에 의해 수행될 수 있다. 도 14에서 설명하는 동작들은 도 3 또는 도 5의 동작들과 관련될 수 있다. 도 14에서 설명하는 동작들은 도 2a 내지 2c의 센서(140)를 포함하는 전자 장치에 의해 수행될 수 있다.14 is a flowchart illustrating an operation of changing, by an electronic device, a function to be provided to a user in response to a distance between an external object and a sensor. Operations described in FIG. 14 may be performed by the electronic device 100 of FIG. 1, the processor 110 of FIG. 1, and the sensor 140 of FIG. 1. The operations described in FIG. 14 may be related to the operations of FIG. 3 or 5. Operations described in FIG. 14 may be performed by an electronic device including the sensor 140 of FIGS. 2A through 2C.

동작(1410)에서, 전자 장치는 사용자 인터페이스를 사용자에게 제공할 수 있다. 예를 들어, 전자 장치는 애플리케이션에 의해 생성된 사용자 인터페이스를 디스플레이 상에 출력할 수 있다. 상기 사용자 인터페이스는 멀티미디어 콘텐트를 포함할 수 있다. 상기 멀티미디어 콘텐트가 비디오 데이터 및 오디오 데이터가 결합된 콘텐트인 경우, 전자 장치는 디스플레이를 이용하여 상기 비디오 데이터를, 스피커를 이용하여 상기 오디오 데이터를 사용자에게 제공할 수 있다.In operation 1410, the electronic device may provide a user interface to the user. For example, the electronic device may output a user interface generated by the application on the display. The user interface may include multimedia content. When the multimedia content is a combination of video data and audio data, the electronic device may provide the video data to a user using a display and the audio data to a user using a speaker.

동작(1420)에서, 전자 장치는 센서를 이용하여 외부 객체의 움직임을 식별할 수 있다. 상기 센서는 전자 장치의 하우징에서 디스플레이에 의해 점유된 제1 면과 구별되는 제2 면 상에 배치될 수 있다. 센서는 외부 객체의 움직임을 광학적으로 탐지하기 위하여, 광 송신기 및 적어도 하나의 광 수신기를 포함할 수 있다. 전자 장치는 센서에서 출력되는 데이터(보다 구체적으로, 광 수신기의 출력 값)로부터, 외부 객체의 움직임을 식별할 수 있다. 전자 장치는 도 5, 도 9 및 도 12의 동작들에 기초하여, 센서 상의 공간에서 외부 객체의 3차원적 움직임(three-dimensional movement of the external object in space above the sensor)을 식별할 수 있다.In operation 1420, the electronic device may identify a movement of an external object using a sensor. The sensor may be disposed on a second side that is distinct from the first side occupied by the display in the housing of the electronic device. The sensor may include an optical transmitter and at least one optical receiver to optically detect movement of an external object. The electronic device may identify the movement of the external object from the data output from the sensor (more specifically, the output value of the optical receiver). The electronic device may identify a three-dimensional movement of the external object in space above the sensor based on the operations of FIGS. 5, 9, and 12.

동작(1430)에서, 전자 장치는 외부 객체 및 센서 사이의 거리를 식별할 수 있다. 더 나아가서, 전자 장치는 외부 객체가 센서로부터 지정된 제1 거리만큼 이격되어 이동하는지 여부를 식별할 수 있다. 예를 들어, 상기 지정된 제1 거리는 도 13의 범위(1340)에 대응하는 거리일 수 있다. 이 경우, 전자 장치는 도 12의 동작(1260)에 기초하여, 외부 객체가 센서로부터 지정된 제1 거리만큼 이격되어 이동하는지 여부를 식별할 수 있다.In operation 1430, the electronic device may identify a distance between the external object and the sensor. Furthermore, the electronic device may identify whether the external object moves apart from the sensor by a predetermined first distance. For example, the designated first distance may be a distance corresponding to the range 1340 of FIG. 13. In this case, the electronic device may identify whether the external object moves apart from the sensor by a predetermined first distance based on the operation 1260 of FIG. 12.

사용자 인터페이스가 제공되는 동안, 외부 객체가 센서로부터 지정된 제1 거리만큼 이격되어 이동하는 경우, 동작(1440)에서, 전자 장치는 외부 객체의 움직임에 대응하여 제1 기능을 사용자에게 제공할 수 있다.When the external object moves while being spaced apart from the sensor by the first distance while the user interface is provided, in operation 1440, the electronic device may provide the first function to the user in response to the movement of the external object.

외부 객체가 센서로부터 지정된 제1 거리만큼 이격되어 이동하지 않는 경우, 동작(1450)에서, 전자 장치는 외부 객체가 센서로부터 제1 거리와 구별되는 제2 거리만큼 이격되어 이동하는지 여부를 식별할 수 있다. 상기 제2 거리는 도 13의 범위(1340)에 대응하지 않는 거리일 수 있다.If the external object does not move away from the sensor by a specified first distance, in operation 1450, the electronic device may identify whether the external object moves away from the sensor by a second distance that is distinct from the first distance. have. The second distance may be a distance that does not correspond to the range 1340 of FIG. 13.

사용자 인터페이스가 제공되는 동안, 외부 객체가 센서로부터 제2 거리만큼 이격되어 이동하는 경우, 동작(1460)에서, 전자 장치는 외부 객체의 움직임에 대응하여 제1 기능과 구별되는 제2 기능을 사용자에게 제공할 수 있다.While the user interface is provided, when the external object moves away from the sensor by a second distance, in operation 1460, the electronic device provides the user with a second function that is distinguished from the first function in response to the movement of the external object. Can provide.

도 14의 동작(1470)을 참고하면, 전자 장치는 사용자 인터페이스의 제공이 중단되지 않는 동안, 센서를 이용하여 외부 객체의 움직임을 계속적으로 식별할 수 있다. 따라서, 외부 객체 및 센서 사이의 거리가 제1 거리에서 제2 거리로 변경되는 것에 대응하여, 전자 장치는 외부 객체의 움직임에 대응하여 사용자에게 제공할 기능을 제1 기능에서 제2 기능으로 변경할 수 있다. 반대로, 외부 객체 및 센서 사이의 거리가 제2 거리에서 제1 거리로 변경되는 것에 대응하여, 전자 장치는 외부 객체의 움직임에 대응하여 사용자에게 제공할 기능을 제2 기능에서 제1 기능으로 변경할 수 있다.Referring to operation 1470 of FIG. 14, while the provision of the user interface is not stopped, the electronic device may continuously identify the movement of the external object using the sensor. Accordingly, in response to the distance between the external object and the sensor changing from the first distance to the second distance, the electronic device may change a function to be provided to the user from the first function to the second function in response to the movement of the external object. have. On the contrary, in response to the distance between the external object and the sensor changing from the second distance to the first distance, the electronic device may change the function to be provided to the user from the second function to the first function in response to the movement of the external object. have.

도 15a 내지 15b는 다양한 실시예들에 따른 전자 장치가 센서(140)로부터 서로 다른 거리만큼 이격된 외부 객체의 이동 경로들에 대응하여 하나 이상의 기능을 사용자에게 제공하는 예를 설명하기 위한 도면이다. 도 15a 내지 15b를 참고하면, 센서(140)는 전자 장치의 하우징(400)에서, 디스플레이(130)가 노출된 전면의 반대쪽 면인 후면을 통해 외부로 노출될 수 있다. 광 송신기 및 적어도 하나의 광 수신기가 센서(140)에서 배치된 구조는 도 2a 내지 2c와 관련될 수 있다.15A to 15B illustrate an example in which an electronic device provides one or more functions to a user in response to movement paths of an external object spaced apart from each other by a different distance from the sensor 140 according to various embodiments of the present disclosure. 15A to 15B, the sensor 140 may be exposed to the outside through the rear surface of the housing 400 of the electronic device, which is the opposite surface of the front surface where the display 130 is exposed. The structure in which the optical transmitter and at least one optical receiver are disposed in the sensor 140 may be related to FIGS. 2A-2C.

사용자는, 센서(140) 상에서 손가락 등의 외부 객체를 움직임으로써, 디스플레이(130)를 가리지 않으면서 전자 장치를 제어하는 기능을 실행할 수 있다. 도 15a 내지 15b를 참고하면, 외부 객체가 센서(140) 상에서 움직인 제1 이동 경로(1510) 및 제2 이동 경로(1520)가 도시된다. 제1 이동 경로(1510) 및 제2 이동 경로(1520)는 센서(140) 상을 통과하는 이동 경로이고, 후면과 평행한 평면 상에서 동일한 방향(예를 들어, 광 송신기에서 광 수신기로 향하는 방향)을 가지는 것으로 가정한다. 추가적으로, 제1 이동 경로(1510) 및 센서(140) 사이의 거리는 제2 이동 경로(1520) 및 센서(140) 사이의 거리 보다 작다고 가정한다. The user may execute a function of controlling the electronic device without covering the display 130 by moving an external object such as a finger on the sensor 140. 15A through 15B, a first movement path 1510 and a second movement path 1520 in which an external object moves on the sensor 140 are illustrated. The first travel path 1510 and the second travel path 1520 are the travel paths passing over the sensor 140 and are in the same direction on the plane parallel to the rear surface (for example, the direction from the optical transmitter to the optical receiver). Assume that we have In addition, it is assumed that the distance between the first movement path 1510 and the sensor 140 is smaller than the distance between the second movement path 1520 and the sensor 140.

전자 장치는 도 14의 동작에 기초하여 외부 객체의 이동 경로 및 센서 사이의 거리를 식별할 수 있다. 이 경우, 전자 장치는, 식별된 거리에 따라, 복수의 기능 중에서 외부 객체의 움직임에 대응하여 수행할 기능을 다르게 선택할 수 있다. 예를 들어, 외부 객체가 제1 이동 경로(1510)를 따라 움직인 경우, 전자 장치는 외부 객체의 움직임에 대응하여 디스플레이(130)의 밝기를 변경하는 기능을 수행할 수 있다. 외부 객체가 센서로부터 보다 멀리 떨어진 제2 이동 경로(1520)를 따라 움직인 경우, 전자 장치는 외부 객체의 움직임에 대응하여 스피커의 음량을 변경하는 기능을 수행할 수 있다.The electronic device may identify a distance between the movement path of the external object and the sensor based on the operation of FIG. 14. In this case, the electronic device may differently select a function to be performed corresponding to the movement of the external object from among the plurality of functions according to the identified distance. For example, when the external object moves along the first movement path 1510, the electronic device may change a brightness of the display 130 in response to the movement of the external object. When the external object moves along the second movement path 1520 farther from the sensor, the electronic device may change a volume of the speaker in response to the movement of the external object.

도 15a를 참고하면, 외부 객체가 제1 이동 경로(1510)를 따라 움직이는 경우, 디스플레이(130)의 밝기를 변경하는 기능의 수행에 대응하여, 디스플레이(130)의 밝기를 조절하기 위한 인터페이스(1530)가 디스플레이(130)를 통해 사용자에게 출력될 수 있다. 전자 장치는, 인터페이스(1530)내에 출력되는 인디케이터의 위치를 이용하여, 디스플레이(130)의 밝기의 변화를 사용자에게 나타낼 수 있다. 유사하게, 외부 객체가 제2 이동 경로(1520)를 따라 움직이는 경우, 스피커의 음량을 변경하는 기능의 수행에 대응하여, 스피커의 음량을 조절하기 위한 인터페이스(1540)가 디스플레이(130)를 통해 사용자에게 출력될 수 있다. 전자 장치는, 인터페이스(1540)내에 출력되는 인디케이터의 위치를 이용하여, 스피커의 음량의 변화를 사용자에게 나타낼 수 있다.Referring to FIG. 15A, when an external object moves along the first movement path 1510, an interface 1530 for adjusting the brightness of the display 130 in response to performing a function of changing the brightness of the display 130. ) May be output to the user through the display 130. The electronic device may indicate a change in brightness of the display 130 to the user by using the position of the indicator output in the interface 1530. Similarly, when the external object moves along the second movement path 1520, in response to performing a function of changing the volume of the speaker, an interface 1540 for adjusting the volume of the speaker is displayed through the display 130. Can be output to The electronic device may indicate a change in the volume of the speaker to the user by using the position of the indicator output in the interface 1540.

도 15b를 참고하면, 사용자는 센서(140) 상에서 외부 객체(예를 들어, 손가락)를 움직여 디스플레이(130)에 표시된 멀티미디어 콘텐트를 탐색할 수 있다. 전자 장치는 인디케이터를 이용하여 전체 멀티미디어 콘텐트 에서 출력되는 현재 멀티미디어 콘텐트의 위치를 나타낼 수 있다. 사용자가 센서(140) 상에서 외부 객체를 움직여 멀티미디어 콘텐트를 탐색함에 따라, 멀티미디어 콘텐트의 재생 시간이 변경될 수 있다. 멀티미디어 콘텐트의 재생 시간이 변경되는 동안, 인디케이터의 위치가, 변경되는 멀티미디어 콘텐트의 재생 시간 또는 센서(140) 상에서 움직이는 외부 객체에 대응하여 변경될 수 있다.Referring to FIG. 15B, a user may search for multimedia content displayed on the display 130 by moving an external object (eg, a finger) on the sensor 140. The electronic device may indicate the location of the current multimedia content output from the entire multimedia content using the indicator. As a user searches for multimedia content by moving an external object on the sensor 140, the playing time of the multimedia content may be changed. While the playing time of the multimedia content is changed, the position of the indicator may be changed corresponding to the playing time of the changed multimedia content or an external object moving on the sensor 140.

사용자는 센서(140) 및 외부 객체(예를 들어, 손가락)의 거리를 변경하여, 멀티미디어 콘텐트의 재생 시간이 외부 객체의 움직임에 따라 변경되는 정도를 조절할 수 있다. 바꾸어 말하면, 인디케이터가 외부 객체의 움직임에 따라 이동하는 거리는, 센서(140) 및 외부 객체의 거리에 따라 달라질 수 있다.The user may change the distance between the sensor 140 and the external object (eg, a finger) to adjust the degree to which the playing time of the multimedia content is changed according to the movement of the external object. In other words, the distance that the indicator moves according to the movement of the external object may vary depending on the distance between the sensor 140 and the external object.

도 15b를 참고하면, 외부 객체가 센서(140)로부터 상대적으로 가까운 제1 이동 경로(1510)를 움직인 경우, 인디케이터는 제1 위치(1550)에서 제2 위치(1551)로 이동할 수 있다. 외부 객체가 센서(140)로부터 상대적으로 멀리 떨어진 제2 이동 경로(1520)를 따라 움직인 경우, 인디케이터는 현재 위치인 제1 위치(1550)에서 제3 위치(1552)로 이동할 수 있다. 외부 객체의 움직임에 따른 인디케이터의 거리가 센서(140) 및 외부 객체의 거리에 비례하도록 설정된 경우, 제1 위치(1550) 및 제3 위치(1552) 사이의 거리가 제1 위치(1550) 및 제2 위치(1551) 사이의 거리보다 길 수 있다.Referring to FIG. 15B, when the external object moves the first movement path 1510 relatively close to the sensor 140, the indicator may move from the first position 1550 to the second position 1551. When the external object moves along the second movement path 1520 relatively far from the sensor 140, the indicator may move from the first position 1550, which is the current position, to the third position 1552. When the distance of the indicator according to the movement of the external object is set to be proportional to the distance between the sensor 140 and the external object, the distance between the first position 1550 and the third position 1552 is the first position 1550 and the first position. It may be longer than the distance between two positions 1551.

도 15a 내지 15b를 참고하면, 외부 객체가 센서(140) 상에서 동일한 이동 경로를 따라 움직이더라도, 전자 장치가 외부 객체의 움직임에 대응하여 수행하는 기능은 달라질 수 있다. 전자 장치가 외부 객체의 움직임에 대응하여 수행하는 기능은 다양한 파라미터에 따라 달라질 수 있다. 상기 파라미터는, 전자 장치에서 실행되는 애플리케이션 또는 운영 체제의 설정 값, 디스플레이(130) 상에서 수행되는 사용자의 제스쳐, 전자 장치의 특정 키 또는 버튼, 센서(140) 상에서 수행되는 사용자의 제스쳐에 따라 달라질 수 있다.15A to 15B, even though the external object moves along the same movement path on the sensor 140, the function performed by the electronic device in response to the movement of the external object may vary. The function performed by the electronic device in response to the movement of the external object may vary according to various parameters. The parameter may vary according to a setting value of an application or an operating system executed in the electronic device, a user's gesture performed on the display 130, a specific key or button of the electronic device, or a user's gesture performed on the sensor 140. have.

전자 장치가 터치 스크린을 디스플레이(130)로써 포함하는 경우, 전자 장치는 센서(140)를 통해 식별되는 후면 상의 외부 객체의 움직임뿐만 아니라, 디스플레이(130)를 통해 식별되는 전면 상의 외부 객체의 움직임도 식별할 수 있다. 상기 후면 상의 외부 객체 및 상기 전면 상의 외부 객체는 서로 구별될 수 있다. 예를 들어, 전자 장치는 센서(140) 상의 공간에서 움직이는 손의 검지 손가락의 움직임뿐만 아니라, 디스플레이 상에서 움직이는 사용자의 손가락 또는 스타일러스(미도시)의 움직임을 동시에 식별할 수 있다. 전자 장치가 전면 및 후면 각각에서 동시에 탐지한 복수의 움직임(상기 검지 손가락의 움직임 및 상기 스타일러스의 움직임)은 독립적으로 처리될 수 있다. 또는, 전자 장치가 전면 및 후면 각각에서 동시에 탐지한 복수의 움직임은 상호 의존적으로 처리될 수 있다(the multiple movements being detected simultaneously in each of front face and rear face of the electronic device may be processed dependent to each other).When the electronic device includes the touch screen as the display 130, the electronic device not only moves the external object on the rear face identified through the sensor 140 but also moves the external object on the front face identified through the display 130. Can be identified. The external object on the back side and the external object on the front side may be distinguished from each other. For example, the electronic device may simultaneously identify not only the movement of the index finger of the hand moving in the space on the sensor 140 but also the movement of the user's finger or stylus (not shown) moving on the display. A plurality of movements (movement of the index finger and movement of the stylus) simultaneously detected by the electronic device on the front and rear surfaces may be independently processed. Alternatively, the multiple movements being detected simultaneously in each of front face and rear face of the electronic device may be processed dependent to each other ).

도 16은 다양한 실시예들에 따른 전자 장치가, 사용자의 심박수를 측정하는 HR 센서의 활성화 여부에 따라, 디스플레이를 통해 입력되는 제스쳐에 따라 수행할 기능을 변경하는 동작을 설명하기 위한 흐름도이다. 도 16의 전자 장치 및 HR 센서 각각은 도 1의 전자 장치(100) 및 센서(140)에 대응할 수 있다. 도 16의 디스플레이는 터치 센서를 포함할 수 있고, 도 1의 디스플레이(130)에 대응할 수 있다.FIG. 16 is a flowchart illustrating an operation of changing, by an electronic device, a function to be performed according to a gesture input through a display according to whether an HR sensor measuring a heart rate of a user is activated. Each of the electronic device and the HR sensor of FIG. 16 may correspond to the electronic device 100 and the sensor 140 of FIG. 1. The display of FIG. 16 may include a touch sensor and may correspond to the display 130 of FIG. 1.

동작(1610)에서, 전자 장치는 터치 스크린인 디스플레이를 통해 출력되는 사용자 인터페이스에 대응하는 프로파일을 식별할 수 있다. 상기 프로파일은 사용자 인터페이스의 실행과 관련된 설정 값의 집합으로써, HR 센서의 작동 여부, HR 센서를 통해 외부 객체의 움직임을 식별할지 여부, HR 센서를 통해 탐지된 외부 객체의 움직임에 대응하여 수행할 기능과 관련된 설정 값을 포함할 수 있다. 사용자는 사용자 인터페이스를 통해 상기 프로파일의 설정 값을 변경할 수 있다.In operation 1610, the electronic device may identify a profile corresponding to the user interface output through the display, which is a touch screen. The profile is a set of settings related to the execution of the user interface, and is a function to perform in response to the operation of the HR sensor, whether to identify the movement of the external object through the HR sensor, and the movement of the external object detected by the HR sensor. It may include a setting value associated with. The user may change a setting value of the profile through a user interface.

동작(1620)에서, 전자 장치는 식별된 프로파일에 대응하여 HR 센서를 활성화할 수 있다. 예를 들어, 프로파일에 포함된 HR 센서의 작동 여부가 표시된 설정 값에 대응하여, 전자 장치는 HR 센서를 활성화할 수 있다. HR 센서가 활성화된 다음, 전자 장치는 HR 센서로부터 출력되는 데이터, 예를 들어, HR 센서에 포함된 광 수신기의 출력 값을 계속적으로 모니터링할 수 있다.In operation 1620, the electronic device may activate the HR sensor in response to the identified profile. For example, the electronic device may activate the HR sensor in response to a setting value indicating whether the HR sensor included in the profile is operated. After the HR sensor is activated, the electronic device may continuously monitor data output from the HR sensor, for example, an output value of an optical receiver included in the HR sensor.

동작(1630)에서, 전자 장치는 사용자 인터페이스에 대응하는 프로파일이 HR 센서를 이용하여 외부 객체의 움직임을 수신하도록 설정되었는지 여부를 식별할 수 있다. 사용자 인터페이스가 출력되는 동안, HR 센서를 이용하여 외부 객체의 움직임을 수신할지 여부는 사용자의 입력에 따라 변경될 수 있다. 사용자의 입력에 따라 갱신되는 프로파일에 기초하여, 전자 장치는 HR 센서를 이용하여 외부 객체의 움직임을 수신할지 여부를 결정할 수 있다.In operation 1630, the electronic device may identify whether a profile corresponding to the user interface is set to receive the movement of the external object using the HR sensor. While the user interface is output, whether to receive the movement of the external object using the HR sensor may change according to the user's input. Based on the profile updated according to the user's input, the electronic device may determine whether to receive the movement of the external object using the HR sensor.

프로파일이 HR 센서를 이용하여 외부 객체의 움직임을 수신하도록 설정된 경우, 동작(1640)에서, 전자 장치는 HR 센서를 통하여 외부 객체의 움직임을 수신하는 것에 대응하여 디스플레이의 터치 센서를 이용해 수행할 기능을 변경할지 여부를 식별할 수 있다. 예를 들어, 전자 장치는 프로파일 또는 사용자의 선택에 따라 디스플레이의 터치 센서를 이용해 수행할 기능을 변경할지 여부를 식별할 수 있다.If the profile is set to receive the movement of the external object using the HR sensor, in operation 1640, the electronic device performs a function to perform the touch sensor of the display in response to receiving the movement of the external object through the HR sensor. You can identify whether to change. For example, the electronic device may identify whether to change a function to be performed using a touch sensor of the display according to a profile or a user's selection.

HR 센서를 통하여 외부 객체의 움직임을 수신하는 것에 대응하여 디스플레이의 터치 센서를 이용해 수행할 기능을 변경하는 경우, 동작(1650)에서, 전자 장치는 프로파일 또는 사용자의 선택에 따라 터치 센서를 이용해 수행할 기능을 변경할 수 있다. 동작(1660)에서, 전자 장치는 터치 센서 및 HR 센서를 이용하여 사용자 인터페이스를 제어하거나 조절할 수 있다. 결국, 사용자가 터치 센서를 이용해 수행할 수 있는 기능은 HR 센서의 활성화 여부에 따라 달라질 수 있다.When changing a function to be performed using the touch sensor of the display in response to receiving the movement of an external object through the HR sensor, in operation 1650, the electronic device may perform the touch sensor according to the profile or the user's selection. You can change the function. In operation 1660, the electronic device may control or adjust the user interface using the touch sensor and the HR sensor. As a result, a function that a user can perform using the touch sensor may vary depending on whether the HR sensor is activated.

도 17은 다양한 실시예들에 따른 전자 장치가 HR 센서(140-1)의 활성화 여부에 따라 터치 센서 및 HR 센서를 이용하여 사용자 인터페이스를 제어하는 동작을 설명하기 위한 도면이다. 도 17의 전자 장치, HR 센서(140-1) 및 디스플레이(130) 각각은 도 1의 전자 장치, 센서(140) 및 디스플레이(130)와 관련될 수 있다. 도 17의 전자 장치는 도 16의 동작을 수행할 수 있다.FIG. 17 is a diagram illustrating an operation in which an electronic device controls a user interface using a touch sensor and an HR sensor according to whether the HR sensor 140-1 is activated. Each of the electronic device, the HR sensor 140-1, and the display 130 of FIG. 17 may be associated with the electronic device, the sensor 140, and the display 130 of FIG. 1. The electronic device of FIG. 17 may perform the operation of FIG. 16.

도 17을 참고하면, 전자 장치의 디스플레이(130)는 하우징(400)의 제1 면을 통해 외부로 노출되고, HR 센서(140-1)는 하우징(400)의 제2 면을 통해 외부로 노출될 수 있다. 제2 면은 제1 면의 반대쪽에 존재할 수 있다. 전자 장치를 잡는 손(1710)이 디스플레이(130)를 가리지 않도록, 사용자는 도 17에 도시된 바와 같이, 손(1710)의 손바닥이 하우징(400)의 제2 면을 향하도록 전자 장치를 잡을 수 있다.Referring to FIG. 17, the display 130 of the electronic device is exposed to the outside through the first surface of the housing 400, and the HR sensor 140-1 is exposed to the outside through the second surface of the housing 400. Can be. The second face may be on the opposite side of the first face. To prevent the hand 1710 holding the electronic device from covering the display 130, the user can hold the electronic device with the palm of the hand 1710 facing the second side of the housing 400, as shown in FIG. 17. have.

전자 장치는 HR 센서(140-1)를 이용하여 전자 장치를 잡은 손(1710)의 손가락의 움직임을 탐지할 수 있다. 사용자는 디스플레이(130)를 통해 출력되는 사용자 인터페이스를 제어하여, HR 센서(140-1)를 이용하여 손(1710)의 손가락의 움직임을 탐지할지 여부를 변경할 수 있다. 도 17을 참고하면, 디스플레이(130)를 통해 출력되는 사용자 인터페이스의 일 예가 도시된다. 예를 들어, 사용자는 디스플레이(130) 상의 버튼(1730)을 터치함으로써, HR 센서(140-1)를 이용하여 손(1710)의 손가락의 움직임을 탐지할지 여부를 변경할 수 있다.The electronic device may detect a movement of a finger of the hand 1710 holding the electronic device using the HR sensor 140-1. The user may control whether to detect the movement of the finger of the hand 1710 by using the HR sensor 140-1 by controlling the user interface output through the display 130. Referring to FIG. 17, an example of a user interface output through the display 130 is illustrated. For example, the user may change whether to detect the movement of the finger of the hand 1710 using the HR sensor 140-1 by touching the button 1730 on the display 130.

사용자가 버튼(1730)을 터치하여 HR 센서(140-1)가 상기 손가락의 움직임을 탐지하도록 활성화된 경우, 전자 장치는 HR 센서(140-1) 상에서 경로(1720)를 따라 움직이는 손(1710)의 손가락의 움직임을 식별할 수 있다. 전자 장치는 식별된 손(1710)의 손가락의 움직임에 대응하여, 디스플레이(130) 상에 출력되는 사용자 인터페이스를 제어할 수 있다.When the user touches the button 1730 and the HR sensor 140-1 is activated to detect the movement of the finger, the electronic device moves the hand 1710 along the path 1720 on the HR sensor 140-1. The movement of the finger can be identified. The electronic device may control a user interface output on the display 130 in response to the movement of the finger of the identified hand 1710.

더 나아가서, 사용자가 버튼(1730)을 터치하여 HR 센서(140-1)가 상기 손가락의 움직임을 탐지하도록 활성화된 경우, 전자 장치는 디스플레이(130)에 포함된 터치 센서를 통해 수신된 움직임에 대응하여 수행할 기능을 변경할 수 있다. 도 17을 참고하면, 전자 장치를 잡은 손(1710)과 구별되는 다른 손(미도시)의 손가락이 디스플레이(130) 상에서 경로(1740)를 따라 움직일 수 있다. 전자 장치가 디스플레이(130)를 통해 식별한 손가락의 경로(1740)에 대응하여 수행할 기능은, HR 센서(140-1)가 상기 손가락의 움직임을 탐지하도록 활성화되었는지 여부에 따라 달라질 수 있다.Furthermore, when the user touches the button 1730 and the HR sensor 140-1 is activated to detect the movement of the finger, the electronic device responds to the movement received through the touch sensor included in the display 130. You can change the function to perform. Referring to FIG. 17, a finger of another hand (not shown), which is distinguished from the hand 1710 holding the electronic device, may move along the path 1740 on the display 130. The function to be performed in response to the path 1740 of the finger identified by the electronic device through the display 130 may vary depending on whether the HR sensor 140-1 is activated to detect the movement of the finger.

예를 들어, 워드프로세서 애플리케이션이 전자 장치에서 실행되는 경우, 문서를 편집하기 위한 사용자 인터페이스가 디스플레이(130) 상에 출력될 수 있다. HR 센서(140-1)가 활성화되지 않은 경우, 전자 장치는 디스플레이(130)를 통해 식별한 손가락의 경로(1740)에 대응하여 문서를 스크롤할 수 있다. HR 센서(140-1)의 활성화 여부는 상기 버튼(1730)뿐만 아니라, 워드프로세서 애플리케이션 및 HR 센서(140-1)의 상호작용을 조절하는 운영 체제의 설정 값, HR 센서(140-1)를 활성화시키는 HR 센서(140-1) 상의 지정된 제스쳐(예를 들어, HR 센서(140-1)를 탭하는 동작)에 의해 변경될 수 있다.For example, when a word processing application is run on an electronic device, a user interface for editing a document may be output on the display 130. When the HR sensor 140-1 is not activated, the electronic device may scroll the document in response to the path 1740 of the finger identified through the display 130. Whether the HR sensor 140-1 is activated is not only the button 1730, but also a setting value of the operating system that controls the interaction of the word processor application and the HR sensor 140-1, the HR sensor 140-1. It may be changed by a designated gesture (eg, tapping HR sensor 140-1) on HR sensor 140-1 to activate.

반면에, HR 센서(140-1)가 활성화되어 손(1710)의 손가락의 움직임을 식별하는 경우, 전자 장치는 디스플레이(130)를 통해 식별한 손가락의 경로(1740)에 대응하여, 디스플레이(130) 상에 표시된 문서의 전체 또는 일부를 선택할 수 있다. 이 경우, 전자 장치는 HR 센서(140-1)를 통해 식별된 손(1710)의 손가락의 경로(1720)에 대응하여 문서를 스크롤할 수 있다. 즉, 전자 장치는 HR 센서(140-1)의 활성화에 대응하여, 터치 센서에 대응하는 기능을, 문서를 스크롤링하는 제1 기능에서 문서의 일부분을 선택하는 제2 기능으로 변경할 수 있다.On the other hand, when the HR sensor 140-1 is activated to identify the movement of the finger of the hand 1710, the electronic device corresponds to the path 1740 of the finger identified through the display 130 and displays the display 130. You can select all or part of the document displayed on the screen. In this case, the electronic device may scroll the document in response to the path 1720 of the finger of the hand 1710 identified through the HR sensor 140-1. That is, in response to the activation of the HR sensor 140-1, the electronic device may change a function corresponding to the touch sensor from a first function of scrolling a document to a second function of selecting a part of the document.

도 18은 다양한 실시예들에 따른 전자 장치가 HR 센서(140-1) 상에서 외부 객체의 움직임에 대응하여 애플리케이션들 중 어느 하나를 선택하는 동작을 설명하기 위한 도면이다. 도 18의 전자 장치, HR 센서(140-1) 및 디스플레이(130) 각각은 도 1의 전자 장치(100), 센서(140) 및 디스플레이(130)와 관련될 수 있다. 도 18의 전자 장치는 도 16의 동작을 수행할 수 있다.FIG. 18 is a diagram illustrating an operation in which an electronic device selects one of applications in response to a movement of an external object on an HR sensor 140-1 according to various embodiments. Each of the electronic device, the HR sensor 140-1, and the display 130 of FIG. 18 may be related to the electronic device 100, the sensor 140, and the display 130 of FIG. 1. The electronic device of FIG. 18 may perform the operation of FIG. 16.

도 18을 참고하면, 사용자가 전자 장치를 제어함으로써, 애플리케이션들 중 어느 하나를 선택할 수 있는 사용자 인터페이스가 디스플레이(130) 상에 출력된 것으로 가정한다. 도 18을 참고하면, 사용자 인터페이스는 복수의 애플리케이션의 스택을 시각적으로 표현할 수 있다. 상기 사용자 인터페이스가 HR 센서(140-1)를 이용한 외부 객체 인식을 지원하는 것으로 가정한다. 이 경우, 사용자 인터페이스의 출력에 대응하여, 전자 장치는 HR 센서(140-1)를 활성화할 수 있다. 전자 장치는 활성화된 HR 센서(140-1)의 데이터를 모니터링하여, HR 센서(140-1) 상에서 움직이는 외부 객체를 식별할 수 있다.Referring to FIG. 18, it is assumed that a user interface for selecting one of applications is output on the display 130 by controlling the electronic device. Referring to FIG. 18, the user interface may visually represent a stack of a plurality of applications. It is assumed that the user interface supports external object recognition using the HR sensor 140-1. In this case, in response to the output of the user interface, the electronic device may activate the HR sensor 140-1. The electronic device may monitor data of the activated HR sensor 140-1 to identify an external object moving on the HR sensor 140-1.

사용자는 전자 장치의 하우징(400)에서 디스플레이(130)와 반대쪽에 배치된 HR 센서(140-1)를 이용하여, 디스플레이(130) 상에 출력된 사용자 인터페이스를 제어할 수 있다. 예를 들어, 사용자가 하우징(400)을 붙잡은 손의 손가락을 HR 센서(140-1) 상의 경로(1810)를 따라 움직이는 경우, 전자 장치는 손가락의 경로(1810)에 대응하는 경로(1820)를 따라 복수의 애플리케이션의 스택을 스크롤할 수 있다. 사용자가 상기 손가락을 경로(1810)와 반대 방향인 경로(1830)를 따라 움직이는 경우, 전자 장치는 상기 경로(1820)와 반대 방향인 경로(1840)를 따라 복수의 애플리케이션의 스택을 스크롤할 수 있다. 결국, 디스플레이(130)를 터치하지 않으면서, 사용자는 디스플레이(130)에 표시된 복수의 애플리케이션의 스택을 탐색할 수 있다.The user may control the user interface output on the display 130 by using the HR sensor 140-1 disposed opposite to the display 130 in the housing 400 of the electronic device. For example, when a user moves a finger of a hand holding the housing 400 along a path 1810 on the HR sensor 140-1, the electronic device may determine a path 1820 corresponding to the path 1810 of the finger. This allows you to scroll through stacks of multiple applications. When the user moves the finger along the path 1830 in the opposite direction to the path 1810, the electronic device may scroll a stack of a plurality of applications along the path 1840 in the opposite direction to the path 1820. . As a result, without touching the display 130, the user can navigate the stack of the plurality of applications displayed on the display 130.

사용자는 복수의 애플리케이션의 스택을 탐색한 다음, 실행하고자 하는 특정 애플리케이션(예를 들어, 도 18의 App2)을 선택하는 제스쳐를 수행할 수 있다. 상기 특정 애플리케이션을 선택하는 제스쳐는 디스플레이(130)에서 특정 애플리케이션이 표시된 영역을 탭(tap)하는 제스쳐일 수 있다.The user may search the stack of the plurality of applications and then perform a gesture of selecting a specific application (for example, App2 of FIG. 18) to be executed. The gesture for selecting the specific application may be a gesture for tapping an area where the specific application is displayed on the display 130.

다양한 실시예들에 따르면, 사용자는 디스플레이(130)를 터치하는 대신에, HR 센서(140-1)를 탭(tap)하여 특정 애플리케이션을 선택할 수 있다. 이 경우, 디스플레이를 가리지 않으면서, 사용자는 복수의 애플리케이션의 스택을 탐지하는 것을 마무리할 수 있다(finalize exploring a stack of a plurality of applications). 예를 들어, 사용자가 HR 센서(140-1)를 탭하는 경우, 전자 장치는 디스플레이(130)에 표시된 복수의 애플리케이션의 스택에서 가장 상위의 애플리케이션(도 18을 참고하면, App1)(an application in highest position in a stack of a plurality of application being outputted on a display 130)을 선택할 수 있다. 또는, 사용자가 HR 센서(140-1)를 탭하는 경우, 전자 장치는 복수의 애플리케이션 중에서 디스플레이(130)에서 가장 넓은 영역에 표시된 애플리케이션(도 18을 참고하면, App2)을 선택할 수 있다.According to various embodiments, instead of touching the display 130, the user may tap the HR sensor 140-1 to select a specific application. In this case, without covering the display, the user can finalize detecting a stack of a plurality of applications. For example, when the user taps the HR sensor 140-1, the electronic device may display an application in the top of the stack of the plurality of applications displayed on the display 130 (Referring to FIG. 18, App1) (an application in You can choose the highest position in a stack of a plurality of application being outputted on a display 130. Alternatively, when the user taps the HR sensor 140-1, the electronic device may select an application displayed on the widest area of the display 130 among the plurality of applications (Referring to FIG. 18, App2).

전자 장치는, 상술한 특정 애플리케이션을 선택하는 제스쳐의 입력에 대응하여, 선택된 애플리케이션을 실행할 수 있다. 이 경우, 전자 장치는 복수의 애플리케이션의 스택을 디스플레이(130) 상에 표시하는 것을 중단할 수 있다. 스택의 표시의 중단에 대응하여, 전자 장치는 선택된 애플리케이션에서 생성된 사용자 인터페이스를 디스플레이(130)의 적어도 일부분에 출력할 수 있다.상기 스택에 포함된 복수의 애플리케이션 각각은 HR 센서(140-1)와 관련된 서로 다른 프로파일을 가질 수 있다. 사용자가 상술한 바와 같이 HR 센서(140-1)를 이용하여 복수의 애플리케이션의 스택을 탐색한 다음, 디스플레이(130) 상에 표시된 특정 애플리케이션을 선택하는 경우, 전자 장치는 선택된 특정 애플리케이션을 실행할 수 있다. 즉, 디스플레이(130)에 출력되는 사용자 인터페이스가 특정 애플리케이션에 의해 생성된 다른 사용자 인터페이스로 전환될 수 있다.The electronic device may execute the selected application in response to the input of the gesture for selecting the specific application described above. In this case, the electronic device may stop displaying the stack of the plurality of applications on the display 130. In response to the interruption of the display of the stack, the electronic device may output a user interface generated in the selected application to at least a portion of the display 130. Each of the plurality of applications included in the stack includes an HR sensor 140-1. It can have different profiles associated with it. As described above, when the user searches the stack of the plurality of applications using the HR sensor 140-1 and then selects a specific application displayed on the display 130, the electronic device may execute the selected specific application. . That is, the user interface output on the display 130 may be switched to another user interface generated by a specific application.

이 경우, 전자 장치는 도 16의 동작에 기초하여 HR 센서(140-1) 또는 터치 센서에 대응하는 기능을 변경할 수 있다. 보다 구체적으로, 전자 장치는 특정 애플리케이션에 대응하는 프로파일로부터, (1) 특정 애플리케이션이 HR 센서(140-1)를 이용한 외부 객체의 인식을 지원하는지 여부, (2) HR 센서(140-1) 상의 외부 객체의 움직임에 대응하여 수행할 기능(예를 들어, 외부 객체의 이동 방향, 외부 객체 및 센서와의 거리 별로 다른 기능이 할당될 수 있음) 및 (3) HR 센서(140-1)를 이용하여 외부 객체의 움직임을 탐지하는 동안, 터치 센서 상의 제스쳐에 대응하여 수행할 기능 중 적어도 하나를 식별할 수 있다. 전자 장치는 프로파일을 식별한 결과에 대응하여, HR 센서(140-1)를 활성화하거나, 터치 센서에 할당된 기능을 변경할 수 있다.In this case, the electronic device may change a function corresponding to the HR sensor 140-1 or the touch sensor based on the operation of FIG. 16. More specifically, the electronic device may determine, from a profile corresponding to a specific application, whether (1) the specific application supports recognition of an external object using the HR sensor 140-1, (2) on the HR sensor 140-1. Functions to be performed in response to the movement of the external object (for example, different functions may be assigned according to the moving direction of the external object, distance to the external object and the sensor), and (3) using the HR sensor 140-1. By detecting the movement of the external object, at least one of the functions to be performed in response to the gesture on the touch sensor can be identified. The electronic device may activate the HR sensor 140-1 or change a function assigned to the touch sensor in response to the result of identifying the profile.

상술한 바와 같이, 다양한 실시예들에 따른 전자 장치는 디스플레이(130)를 가리지 않는 외부 객체의 움직임을 전자 장치에 포함된 HR 센서(140-1)를 이용하여 식별할 수 있다. 상기 HR 센서(140-1) 상의 움직임은 HR 센서(140-1)가 결합된 전자 장치뿐만 아니라, 상기 전자 장치와 유선 네트워크 또는 무선 네트워크를 통해 연결된 다른 전자 장치의 제어에 이용될 수 있다.As described above, the electronic device according to various embodiments may identify the movement of an external object that does not cover the display 130 using the HR sensor 140-1 included in the electronic device. The movement on the HR sensor 140-1 may be used to control not only the electronic device to which the HR sensor 140-1 is coupled, but also other electronic devices connected to the electronic device through a wired network or a wireless network.

도 19는 다양한 실시예들에 따른 제1 전자 장치가 센서에서 식별된 외부 객체의 움직임에 대응하여 제2 전자 장치를 제어하는 동작을 설명하기 위한 흐름도이다. 도 19의 제1 전자 장치 및 제1 전자 장치의 센서 각각은 도 1의 전자 장치(100) 및 센서(140)에 대응할 수 있다. 제1 전자 장치의 센서는 제1 전자 장치의 하우징에서 디스플레이가 노출된 제1 면과 구별되는 제2 면을 통해 외부로 노출될 수 있다.19 is a flowchart illustrating an operation of controlling, by a first electronic device, a second electronic device in response to a movement of an external object identified by a sensor, according to various embodiments of the present disclosure. Each of the first electronic device and the sensors of the first electronic device of FIG. 19 may correspond to the electronic device 100 and the sensor 140 of FIG. 1. The sensor of the first electronic device may be exposed to the outside through a second surface distinct from the first surface on which the display is exposed in the housing of the first electronic device.

제1 전자 장치 및 제2 전자 장치 각각은 서로 독립적으로 작동할 수 있고, 유선 네트워크 또는 무선 네트워크를 통해 서로 연결될 수 있다. 상기 무선 네트워크는, 예를 들어, WiFi, Bluetooth 또는 NFC(Near Field Communication)에 기초한 네트워크일 수 있다. 이하에서는 제1 전자 장치 및 제2 전자 장치가 유선 네트워크 또는 무선 네트워크를 통해 서로 연결되었다 가정한다.Each of the first electronic device and the second electronic device may operate independently of each other, and may be connected to each other through a wired network or a wireless network. The wireless network may be, for example, a network based on WiFi, Bluetooth, or Near Field Communication (NFC). Hereinafter, it is assumed that the first electronic device and the second electronic device are connected to each other through a wired network or a wireless network.

동작(1910)에서, 제1 전자 장치는, 제1 전자 장치에 연결된 제2 전자 장치에 대응하여, 상기 제2 면 상의 외부 객체의 움직임을 탐지하는 센서를 활성화할 수 있다. 예를 들어, 제2 전자 장치가 상기 센서를 활성화하라는 메시지를 제1 전자 장치에게 전달하는 경우, 제1 전자 장치는 상기 센서를 활성화할 수 있다. 제1 전자 장치는 제2 전자 장치를 제어하기 위한 애플리케이션을 저장할 수 있다. 제1 전자 장치가 상기 애플리케이션을 실행하는 경우, 제1 전자 장치는 도 16에서 설명된 동작들에 기초하여 상기 센서를 활성화할 수 있다.In operation 1910, the first electronic device may activate a sensor that detects a movement of an external object on the second surface in response to the second electronic device connected to the first electronic device. For example, when the second electronic device transmits a message for activating the sensor to the first electronic device, the first electronic device may activate the sensor. The first electronic device may store an application for controlling the second electronic device. When the first electronic device executes the application, the first electronic device may activate the sensor based on the operations described in FIG. 16.

동작(1920)에서, 제1 전자 장치는, 센서에서 출력되는 데이터에 기초하여, 외부 객체가 센서 상에서 움직이는지 여부를 판단할 수 있다. 외부 객체가 센서 상에서 움직이는 경우, 동작(1930)에서, 제1 전자 장치는 센서에서 외부 객체를 광학적으로 탐지하여 생성된 데이터를 식별할 수 있다. 동작(1940)에서, 제1 전자 장치는 식별된 데이터의 패턴에 따라 외부 객체의 움직임을 식별할 수 있다. 예를 들어, 제1 전자 장치는 식별된 데이터에 대하여, 도 5에서 설명된 동작들을 수행함으로써, 외부 객체의 움직임을 식별할 수 있다. 제1 전자 장치는 센서 상에서 외부 객체의 이동 방향, 센서 및 외부 객체 사이의 거리 등을 식별할 수 있다.In operation 1920, the first electronic device may determine whether the external object moves on the sensor based on the data output from the sensor. When the external object moves on the sensor, in operation 1930, the first electronic device may identify data generated by optically detecting the external object in the sensor. In operation 1940, the first electronic device may identify a movement of the external object according to the pattern of the identified data. For example, the first electronic device may identify the movement of the external object by performing the operations described with reference to FIG. 5 with respect to the identified data. The first electronic device may identify a moving direction of the external object, a distance between the sensor and the external object, and the like on the sensor.

동작(1950)에서, 제1 전자 장치는 식별된 외부 객체의 움직임에 따라 제2 전자 장치를 제어할 수 있다. 제1 전자 장치는 식별된 외부 객체의 움직임 및 상기 움직임에 대응하는 명령 중 적어도 하나를 제2 전자 장치로 전송할 수 있다. 제2 전자 장치를 제어하는 동안, 제1 전자 장치는 상기 외부 객체의 움직임에 대한 피드백 또는 제2 전자 장치의 제어와 관련된 정보를 사용자에게 제공할 수 있다.In operation 1950, the first electronic device may control the second electronic device according to the movement of the identified external object. The first electronic device may transmit at least one of a movement of the identified external object and a command corresponding to the movement to the second electronic device. While controlling the second electronic device, the first electronic device may provide feedback to the movement of the external object or information related to the control of the second electronic device to the user.

도 20은 다양한 실시예들에 따른 제1 전자 장치의 센서(140)를 이용하여 제2 전자 장치(2000)를 제어하는 동작을 설명하기 위한 도면이다. 도 20의 제1 전자 장치 및 제2 전자 장치(2000) 각각은 도 19의 제1 전자 장치 및 제2 전자 장치에 대응할 수 있다.20 is a diagram for describing an operation of controlling the second electronic device 2000 using the sensor 140 of the first electronic device according to various embodiments. Each of the first electronic device and the second electronic device 2000 of FIG. 20 may correspond to the first electronic device and the second electronic device of FIG. 19.

도 20을 참고하면, 제1 전자 장치의 센서(140)는 제1 전자 장치의 하우징(400)에서 디스플레이를 포함하는 전면(front face)의 반대쪽 면인 후면(rear face)을 통해 외부로 노출될 수 있다. 후면 상의 외부 객체의 움직임을 광학적으로 탐지하기 위하여, 센서(140)는 광 송신기(141) 및 광 수신기들(142-1, 142-2)을 포함할 수 있다. 광 송신기(141) 및 광 수신기들(142-1, 142-2)은 도 2b 내지 2c에 기초하여 배치될 수 있다.Referring to FIG. 20, the sensor 140 of the first electronic device may be exposed to the outside through a rear face, which is an opposite surface of the front face including the display, in the housing 400 of the first electronic device. have. In order to optically detect movement of an external object on the rear surface, the sensor 140 may include an optical transmitter 141 and optical receivers 142-1 and 142-2. The optical transmitter 141 and the optical receivers 142-1 and 142-2 may be arranged based on FIGS. 2B to 2C.

도 20을 참고하면, 제2 전자 장치(2000)는 제1 전자 장치 등 다른 전자 장치와 유선 네트워크 또는 무선 네트워크를 통해 연결될 수 있는 전자 장치이다. 제2 전자 장치(2000)는 스마트 홈 장치 또는 사물 인터넷(IoT, Internet of Things) 장치일 수 있다. 도 20을 참고하면, 제2 전자 장치(2000)는 네트워크로 영상을 전송할 수 있고, 원격 제어에 의해 위치 및 화각(angle of view)을 조절할 수 있는 감시 장치라 가정한다.Referring to FIG. 20, the second electronic device 2000 is an electronic device that may be connected to another electronic device such as the first electronic device through a wired network or a wireless network. The second electronic device 2000 may be a smart home device or an Internet of Things (IoT) device. Referring to FIG. 20, it is assumed that the second electronic device 2000 is a monitoring device capable of transmitting an image to a network and adjusting a position and an angle of view by remote control.

제1 전자 장치는 사용자의 명령 또는 지정된 프로파일에 기초하여 제2 전자 장치(2000)와 연결될 수 있다. 제1 전자 장치 및 제2 전자 장치(2000) 사이의 연결에 대응하여, 제1 전자 장치는 제2 전자 장치(2000)를 원격 제어하기 위한 애플리케이션을 실행할 수 있다. 실행되는 애플리케이션의 프로파일에 대응하여, 제1 전자 장치는 센서(140)를 활성화할 수 있다. 상기 애플리케이션은 제1 전자 장치의 디스플레이를 이용하여 사용자 인터페이스를 사용자에게 제공할 수 있다.The first electronic device may be connected to the second electronic device 2000 based on a user's command or a specified profile. In response to the connection between the first electronic device and the second electronic device 2000, the first electronic device may execute an application for remotely controlling the second electronic device 2000. In response to the profile of the executed application, the first electronic device may activate the sensor 140. The application may provide a user interface to a user by using a display of the first electronic device.

센서(140)가 활성화된 경우, 사용자는 제1 전자 장치를 이용해 제2 전자 장치(2000)를 원격 제어하는 동안, 사용자 인터페이스가 출력되는 제1 전자 장치의 디스플레이를 가리지 않으면서 사용자 인터페이스 또는 제2 전자 장치(2000)를 제어할 수 있다. 도 20을 참고하면, 사용자는 센서(140) 상에서 다양한 경로들(2010, 2011, 2040, 2041)을 따라 외부 객체(예를 들어, 제1 전자 장치를 잡은 손의 손가락)를 움직임으로써, 사용자 인터페이스 또는 제2 전자 장치(2000)를 제어할 수 있다. 경로들(2040, 2041)은 센서(140)로부터 거리(2030)만큼 이격된 경로일 수 있다. 경로들(2010, 2011)은 센서(140)의 표면 상의 경로일 수 있다.When the sensor 140 is activated, while the user remotely controls the second electronic device 2000 using the first electronic device, the user interface or the second device does not cover the display of the first electronic device on which the user interface is output. The electronic device 2000 may be controlled. Referring to FIG. 20, a user interface moves an external object (eg, a finger of a hand holding a first electronic device) along various paths 2010, 2011, 2040, and 2041 on the sensor 140. Alternatively, the second electronic device 2000 may be controlled. The paths 2040 and 2041 may be paths spaced apart from the sensor 140 by a distance 2030. The paths 2010, 2011 can be paths on the surface of the sensor 140.

외부 객체가 경로들(2010, 2011) 중 어느 하나를 따라 움직이는 경우, 제1 전자 장치는 외부 객체 및 센서(140) 사이의 거리가 지정된 임계치(예를 들어, 상기 거리(2030)) 미만임을 식별할 수 있다. 상기 거리가 임계치 미만인 경우, 제1 전자 장치는 외부 객체의 움직임에 대응하여 제2 전자 장치(2000)에 포함된 카메라의 화각을 조절할 수 있다. 도 20을 참고하면, 외부 객체가 경로(2010)를 따라 움직이는 경우, 제1 전자 장치는 제2 전자 장치(2000)의 카메라의 화각을 방향(2020)을 따라 변경할 수 있다. 외부 객체가 경로(2011)를 따라 움직이는 경우, 제2 전자 장치(2000)의 카메라의 화각이 방향(2021)을 움직이도록, 제1 전자 장치는 제2 전자 장치(2000)를 제어할 수 있다.When the external object moves along any of the paths 2010, 2011, the first electronic device identifies that the distance between the external object and the sensor 140 is less than a specified threshold (eg, the distance 2030). can do. When the distance is less than the threshold, the first electronic device may adjust the angle of view of the camera included in the second electronic device 2000 in response to the movement of the external object. Referring to FIG. 20, when the external object moves along the path 2010, the first electronic device may change the angle of view of the camera of the second electronic device 2000 along the direction 2020. When the external object moves along the path 2011, the first electronic device may control the second electronic device 2000 such that the angle of view of the camera of the second electronic device 2000 moves in the direction 2021.

외부 객체가 경로들(2040, 2041) 중 어느 하나를 따라 움직이는 경우, 제1 전자 장치는 외부 객체 및 센서(140) 사이의 거리가 지정된 임계치(예를 들어, 상기 거리(2030)) 이상임을 식별할 수 있다. 상기 거리가 임계치 이상인 경우, 제1 전자 장치는 외부 객체의 움직임에 대응하여 제2 전자 장치(2000)의 위치를 조절할 수 있다. 도 20을 참고하면, 외부 객체가 경로(2040)를 따라 움직이는 경우, 제1 전자 장치는 제2 전자 장치가 방향(2050)을 따라 움직이도록 제어할 수 있다. 외부 객체가 경로(2041)를 따라 움직이는 경우, 제1 전자 장치는 제2 전자 장치가 방향(2051)을 따라 움직이도록 제어할 수 있다.When the external object moves along one of the paths 2040, 2041, the first electronic device identifies that the distance between the external object and the sensor 140 is above a specified threshold (eg, the distance 2030). can do. When the distance is greater than or equal to the threshold, the first electronic device may adjust the position of the second electronic device 2000 in response to the movement of the external object. Referring to FIG. 20, when the external object moves along the path 2040, the first electronic device may control the second electronic device to move along the direction 2050. When the external object moves along the path 2041, the first electronic device may control the second electronic device to move along the direction 2051.

이상 외부 객체의 움직임을 광학적으로 탐지하는 센서(140)가 하우징(400)에서 디스플레이가 배치된 전면과 구별되는 후면에 배치된 실시예들을 설명하였다. 다양한 실시예들에 따르면, 하우징(400)에서 센서(140)의 위치는 전자 장치의 종류 또는 하우징(400)의 형태에 따라 달라질 수 있다.As described above, the embodiments in which the sensor 140 optically detects the movement of the external object are disposed on the rear surface of the housing 400 are distinguished from the front surface on which the display is disposed. According to various embodiments, the position of the sensor 140 in the housing 400 may vary depending on the type of electronic device or the shape of the housing 400.

도 21은 다양한 실시예에 따른 전자 장치(100)의 하우징(2100)에서 디스플레이(130) 및 센서(140)의 배치(arrangement)를 설명하기 위한 도면이다. 도 21의 전자 장치(100), 디스플레이(130) 및 센서(140) 각각은 도 1의 전자 장치(100), 디스플레이(130) 및 센서(140)에 대응할 수 있다.FIG. 21 is a diagram illustrating an arrangement of the display 130 and the sensor 140 in the housing 2100 of the electronic device 100 according to various embodiments. Each of the electronic device 100, the display 130, and the sensor 140 of FIG. 21 may correspond to the electronic device 100, the display 130, and the sensor 140 of FIG. 1.

도 21을 참고하면, 전자 장치(100)가 사용자의 손목에 부착되는 스마트 워치와 관련된 경우, 전자 장치(100)는 도 4의 하우징(400)과 다른 형태의 하우징(2100)을 포함할 수 있다. 이 경우, 센서(140)는 하우징(2100)에서 디스플레이(130)를 노출하는 제1 면과 구별되는 제2 면으로써, 제1 면과 수직인 제2 면을 통해 외부로 노출될 수 있다.Referring to FIG. 21, when the electronic device 100 is associated with a smart watch attached to a user's wrist, the electronic device 100 may include a housing 2100 that is different from the housing 400 of FIG. 4. . In this case, the sensor 140 is a second surface that is distinct from the first surface exposing the display 130 in the housing 2100, and may be exposed to the outside through a second surface perpendicular to the first surface.

상술한 바와 같이, 전자 장치(100)는 센서(140) 상의 외부 객체의 움직임에 대응하여 사용자 인터페이스를 제어할 수 있다. 사용자는 센서(140) 상에서 경로들(2111, 2112) 중 어느 하나를 따라 외부 객체(예를 들어, 손가락)를 움직임으로써, 센서(140)를 통해 사용자 인터페이스를 제어하거나, 전자 장치(100)의 특정 기능을 실행할 수 있다.As described above, the electronic device 100 may control the user interface in response to the movement of the external object on the sensor 140. The user controls the user interface through the sensor 140 or moves the electronic device 100 by moving an external object (eg, a finger) along one of the paths 2111 and 2112 on the sensor 140. You can execute certain functions.

도 21을 참고하면, 디스플레이(130) 상에 표시된 메신저 실행 버튼(2122)을 터치하는 대신에, 사용자가 센서(140) 상에서 경로(2111)를 따라 손가락을 움직임으로써, 사용자는 메신저를 실행할 수 있다. 마찬가지로, 디스플레이(130) 상에 표시된 날씨 애플리케이션 실행 버튼(2121)을 터치하는 대신에, 사용자는 경로(2111)와 반대 방향인 경로(2112)를 따라 손가락을 움직임으로써, 사용자는 날씨 애플리케이션을 실행할 수 있다. 따라서, 사용자는 디스플레이(130)를 가리지 않으면서 전자 장치(100)를 제어할 수 있다.Referring to FIG. 21, instead of touching the messenger execution button 2122 displayed on the display 130, the user may execute a messenger by moving a finger along the path 2111 on the sensor 140. . Similarly, instead of touching the weather application launch button 2121 displayed on the display 130, the user can run the weather application by moving a finger along the path 2112, which is the opposite direction to the path 2111. have. Accordingly, the user may control the electronic device 100 without covering the display 130.

상술한 바와 같이, 다양한 실시예들에 따른 전자 장치는 디스플레이(130)에 포함된 터치 센서를 이용하여 전자 장치의 제1 면 상에 접촉되는 손가락의 움직임 및 센서(140)를 이용하여 상기 제1 면과 구별되는 제2 면 상에 존재하는 손가락의 움직임을 탐지할 수 있다. 일 실시예에 따른 전자 장치는 상술한 제1 면 및 제2 면 상에 존재하는 손가락의 움직임 외에 다른 종류의 사용자의 움직임을 탐지하고, 탐지된 사용자의 움직임에 대응하여 멀티미디어 콘텐트의 표시를 변경할 수 있다.As described above, the electronic device according to various embodiments of the present disclosure uses a sensor 140 and a movement of a finger contacted on the first surface of the electronic device using the touch sensor included in the display 130. The movement of the finger present on the second side, which is distinct from the side, can be detected. According to an embodiment, the electronic device may detect a movement of a user other than the movement of a finger present on the first and second surfaces and change the display of the multimedia content in response to the detected movement of the user. have.

도 22는 다양한 실시예들에 따른 전자 장치가 사용자의 시선에 대응하여 수행하는 동작의 예를 도시한 도면이다. 전자 장치는 하우징(400)의 제1 면을 통해 외부로 노출되는 디스플레이(130) 및 상기 제1 면과 구별되는 제2 면을 통해 외부로 노출되는 센서(140)를 포함할 수 있다.22 is a diagram illustrating an example of an operation performed by the electronic device according to the user's eyes according to various embodiments of the present disclosure. The electronic device may include a display 130 exposed to the outside through the first surface of the housing 400 and a sensor 140 exposed to the outside through a second surface distinct from the first surface.

전자 장치가 상기 디스플레이(130) 및 센서(140)를 이용하여 수행하는 동작은 도 1 내지 도 20에서 설명한 동작과 관련될 수 있다. 예를 들어, 전자 장치는 센서(140)를 이용하여, 제2 면 상에서 사용자의 신체의 일부분의 움직임(예를 들어, 경로(2210)를 따라 움직이는 사용자의 제1 손가락의 움직임)을 탐지할 수 있다. 또한, 전자 장치는 디스플레이(130)에 접촉된 사용자의 신체의 일부분의 움직임(예를 들어, 상기 제1 손가락과 구별되는 사용자의 제2 손가락의 움직임)을 탐지할 수 있다.Operations performed by the electronic device using the display 130 and the sensor 140 may be related to the operations described with reference to FIGS. 1 to 20. For example, the electronic device may use the sensor 140 to detect movement of a portion of the user's body (eg, movement of the user's first finger moving along the path 2210) on the second surface. have. In addition, the electronic device may detect a movement of a portion of the body of the user who is in contact with the display 130 (for example, the movement of the second finger of the user, which is distinguished from the first finger).

더 나아가서, 전자 장치는 사용자의 시선의 움직임(예를 들어, 경로(2220)를 따라 움직이는 사용자의 시선)을 탐지할 수 있다. 사용자의 시선을 모니터링하기 위하여, 전자 장치는 제1 면을 통해 외부로 노출되는 카메라(미도시)를 이용하여, 사용자의 안구를 계속적으로 촬영할 수 있다. 사용자의 안구와 관련된 특징, 예를 들어, 홍채의 위치 등에 기초하여, 전자 장치는 사용자의 시선이 움직이는 경로(2220)를 식별할 수 있다.Furthermore, the electronic device may detect the movement of the user's gaze (for example, the gaze of the user moving along the path 2220). In order to monitor the gaze of the user, the electronic device may continuously photograph the eyeball of the user by using a camera (not shown) exposed to the outside through the first surface. Based on a feature related to the eye of the user, for example, the position of the iris, the electronic device may identify a path 2220 in which the user's eyes move.

결국, 전자 장치는 상기 제1 손가락의 움직임, 상기 제2 손가락의 움직임 및 시선의 움직임 중 적어도 하나 또는 적어도 일부의 조합에 기초하여, 사용자 인터페이스 또는 멀티미디어 콘텐트의 표시를 변경할 수 있다. 예를 들어, 전자 장치는 상기 제1 손가락의 움직임에 대응하여 전자 장치의 스피커의 음량을 조절하고, 상기 시선의 움직임에 대응하여 디스플레이(130) 상에 표시되는 멀티미디어 콘텐트를 스크롤할 수 있다. 따라서, 사용자는 디스플레이(130)를 가리지 않으면서 스피커의 음량을 조절하는 기능 및 멀티미디어 콘텐트를 스크롤하는 기능을 수행할 수 있다.As a result, the electronic device may change the display of the user interface or the multimedia content based on a combination of at least one or at least some of the movement of the first finger, the movement of the second finger, and the movement of the gaze. For example, the electronic device may adjust the volume of the speaker of the electronic device in response to the movement of the first finger, and scroll the multimedia content displayed on the display 130 in response to the movement of the gaze. Accordingly, the user may perform a function of adjusting the volume of the speaker and scrolling multimedia content without covering the display 130.

요약하면, 다양한 실시예들에 따른 전자 장치는 HR 센서와 같이 디스플레이가 배치된 제1 면과 구별되는 제2 면 상에 배치된 센서를 이용하여 제2 면 상에서 움직이는 외부 객체를 식별할 수 있다. 식별되는 외부 객체의 움직임에 대응하여, 전자 장치는 사용자 인터페이스, 멀티미디어 콘텐트 등의 표시를 변경하는 기능을 실행할 수 있다. 전자 장치는 외부 객체의 이동 방향, 외부 객체 및 센서 상의 거리 등에 기초하여, 외부 객체의 움직임에 대응하여 수행할 기능을 복수의 기능 중에서 선택할 수 있다.In summary, the electronic device according to various embodiments may identify an external object moving on the second surface by using a sensor disposed on a second surface that is distinct from the first surface on which the display is disposed, such as an HR sensor. In response to the movement of the identified external object, the electronic device may execute a function of changing a display of a user interface, multimedia content, and the like. The electronic device may select a function to be performed in response to the movement of the external object from among a plurality of functions based on the moving direction of the external object, the distance on the external object and the sensor, and the like.

본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다. Methods according to the embodiments described in the claims or the specification of the present disclosure may be implemented in the form of hardware, software, or a combination of hardware and software.

소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다. When implemented in software, a computer-readable storage medium for storing one or more programs (software modules) may be provided. One or more programs stored in a computer readable storage medium are configured for execution by one or more processors in an electronic device. One or more programs include instructions that cause an electronic device to execute methods in accordance with embodiments described in the claims or specifications of this disclosure.

이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다. Such programs (software modules, software) may include random access memory, non-volatile memory including flash memory, read only memory (ROM), and electrically erasable programmable ROM. (EEPROM: electrically erasable programmable read only memory), magnetic disc storage device, compact disc ROM (CD-ROM), digital versatile discs (DVDs) or other forms It can be stored in an optical storage device, a magnetic cassette. Or, it may be stored in a memory composed of some or all of these combinations. In addition, each configuration memory may be included in plural.

또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다. The program may also be implemented via a communication network, such as the Internet, an intranet, a local area network (LAN), a wide LAN (WLAN), or a storage area network (SAN), or a combination thereof. It may be stored in an attachable storage device that is accessible. Such a storage device may be connected to a device that performs an embodiment of the present disclosure through an external port. In addition, a separate storage device on a communication network may be connected to a device that performs an embodiment of the present disclosure.

상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다. In the specific embodiments of the present disclosure described above, the components included in the disclosure are expressed in the singular or plural number according to the specific embodiments presented. However, the singular or plural expressions are selected to suit the circumstances presented for convenience of description, and the present disclosure is not limited to the singular or plural elements, and the singular or plural elements may be used in the singular or the singular. Even expressed components may be composed of a plurality.

한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다. Meanwhile, in the detailed description of the present disclosure, specific embodiments have been described. However, various modifications may be possible without departing from the scope of the present disclosure. Therefore, the scope of the present disclosure should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.

Claims

In an electronic device,
A housing;
Memory for storing instructions;
A display exposed through at least a portion of the first side of the housing;
A sensor exposed through at least a portion of a second side of the housing that is distinct from the first side of the housing; And
A processor operatively coupled with the display and the sensor
Including,
The processor, while executing the instructions,
Display multimedia content,
While displaying the multimedia content, the sensor detects input from an external object,
While detecting the input, identify a pattern of data obtained through the sensor,
Based on the identified pattern, identifying a moving direction of the external object,
And change the display of the multimedia content based on the identified movement direction.

The method of claim 1,
The sensor,
An optical transmitter emitting light toward the external object; And
An optical receiver to receive the reflected light when the emitted light is reflected by the external object
Electronic device comprising a.

The method of claim 2,
The processor,
Based on the identified pattern, identifying the direction of movement on the axis connecting the optical transmitter and the optical receiver of the external object.

The method of claim 2,
The processor,
From the pattern of data, identify a pattern of intensity of the reflected light measured at the optical receiver,
The pattern of the intensity of the reflected light is divided into two time intervals based on a time point at which the intensity of the reflected light has a peak value,
The electronic device identifies a moving direction of the external object by comparing the rate of change of the intensity of the reflected light with each of the divided time intervals.

The method of claim 2,
The sensor,
And an electronic device configured to identify a heart rate of the user from light reflected by the external object in response to contact between the external object, which is a user's finger, and the sensor.

The method of claim 2,
The sensor,
A second optical receiver receiving light reflected by the external object, wherein a first axis connecting the optical receiver and the optical transmitter is perpendicular to a second axis connecting the optical receiver and the second optical receiver;
An electronic device further comprising.

The method of claim 6,
The processor,
An electronic device for identifying a degree of movement of the external object along the first axis and a degree of movement of the external object along the second axis based on a pattern of data obtained by each of the optical receiver and the second optical receiver. .

The method of claim 7, wherein
The processor,
Changing the display of the multimedia content based on a first function corresponding to the first axis when the degree of movement of the external object along the first axis is greater than or equal to the degree of movement along the second axis,
And change the display of the multimedia content based on a second function corresponding to the second axis when the degree of movement of the external object along the first axis is less than the degree of movement along the second axis.

The method of claim 1,
The processor,
Based on a peak value of the identified pattern, identifying a distance between the external object and the second surface,
If the identified distance is greater than or equal to a specified distance, change the display of the multimedia content based on a first function and the moving direction among a plurality of functions related to the multimedia content,
And when the identified distance is less than the designated distance, changing the display of the multimedia content based on a second function distinguished from the first function and the moving direction.

The method of claim 1,
The display,
In response to a contact between the display and a second external object distinguished from the external object corresponding to the sensor, transferring a position within the display of the second external object to the processor,
The processor,
And in response to detecting an input from the external object using the sensor, changing an function to be performed in response to the position of the second external object transmitted from the display.

In the method performed by an electronic device,
Displaying multimedia content through a display of the electronic device;
Detecting an input from an external object through a sensor disposed on a second surface distinct from the first surface of the electronic device on which the display is disposed;
Identifying a pattern of data acquired through the sensor while detecting the input;
Identifying a moving direction of the external object based on the identified pattern; And
Changing the display of the multimedia content based on the identified movement direction
How to include.

The method of claim 11,
The operation of identifying the moving direction is
Connecting the optical transmitter and the optical receiver based on a pattern of data that is changed as light emitted by the optical transmitter included in the sensor is reflected from the external object and transmitted to the optical receiver included in the sensor Identifying the direction of movement on the axis.

The method of claim 11,
The operation of identifying the moving direction is
Identifying a peak value of the data from the pattern of data;
Dividing the pattern of data about a time point corresponding to the identified peak value; And
Comparing each pattern of the divided data to identify a moving direction of the external object
How to include.

The method of claim 11,
Changing the display of the multimedia content,
Based on the pattern of identified data, identifying a distance between the foreign object and the second surface;
Based on the identified distance, identifying a function to use to change the display of the multimedia content based on the direction of movement; And
Changing the display of the multimedia content based on the identified function
How to include.

The method of claim 11,
Changing the display of the multimedia content,
Acquiring a position in the display of the second external object in response to a contact between the display and a second external object distinguished from the external object corresponding to the sensor; And
In response to detecting an input from the external object, changing a function to be performed corresponding to the acquired position of the second external object, wherein the changed function corresponds to the position of the second external object; Used to change the display-, including the method.

In an electronic device,
A display exposed through at least a portion of the first face of the housing;
A sensor exposed through at least a portion of a second side of the housing opposite the first side of the housing, the sensor comprising an optical transmitter configured to receive light and an optical receiver set to receive light reflected by the light Includes-; And
Includes a processor,
The processor,
Provide a user interface,
While providing the user interface, using the sensor to identify the movement of the external object,
In response to identifying the movement in the first direction while the external object is spaced apart from the sensor by a first distance using the sensor, the first function may be configured to include a first function among the plurality of functions available through the user interface. While displaying the user interface,
Using the sensor to identify that the distance between the external object and the sensor is changed from the first distance to the second distance while displaying the user interface,
In response to identifying the change to the second distance, providing a second function that is distinct from the first one of the plurality of functions while displaying the user interface.

The method of claim 16,
The processor,
The light emitted from the optical transmitter of the sensor is reflected by the external object and input to the optical receiver to detect movement of the external object in the first direction based on a pattern of data of the sensor generated. Electronic devices.

The method of claim 16,
The processor,
From the pattern of data of the sensor, identify a pattern of intensity of the reflected light measured at the optical receiver,
Divide the pattern of the intensity of the reflected light into two time intervals based on a time point at which the intensity of the reflected light has a peak value,
The electronic device detects the movement of the external object in the first direction by comparing the rate of change of the intensity of the reflected light with each of the divided time intervals.

The method of claim 16,
The processor,
In response to identifying a movement in a first direction in a state where the external object is spaced apart from the sensor by the first distance using the sensor, a function to perform in response to a second external object touching the display. Changing electronic devices.

The method of claim 16,
The sensor,
A second optical receiver configured to receive light reflected by the light emitted from the optical transmitter, the second optical receiver disposed on the second face perpendicular to the optical transmitter and the optical receiver,
An electronic device further comprising.