KR20210120382A - 원격 입력 장치의 제스처 인식 방법 및 그 전자 장치 - Google Patents

원격 입력 장치의 제스처 인식 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20210120382A
KR20210120382A KR1020200037026A KR20200037026A KR20210120382A KR 20210120382 A KR20210120382 A KR 20210120382A KR 1020200037026 A KR1020200037026 A KR 1020200037026A KR 20200037026 A KR20200037026 A KR 20200037026A KR 20210120382 A KR20210120382 A KR 20210120382A
Authority
KR
South Korea
Prior art keywords
electronic pen
electronic device
gesture
sensor data
changing
Prior art date
Application number
KR1020200037026A
Other languages
English (en)
Inventor
정인형
김상헌
최현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200037026A priority Critical patent/KR20210120382A/ko
Priority to PCT/KR2021/002903 priority patent/WO2021194132A1/ko
Publication of KR20210120382A publication Critical patent/KR20210120382A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치에 있어서, 디스플레이; 명령어들이 저장되는 메모리; 근거리 통신을 지원하는 통신 회로; 및 상기 디스플레이, 상기 메모리, 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시: 상기 전자 장치로부터 전자 펜의 탈착 이벤트를 감지하고, 상기 탈착 이벤트 감지에 응답하여 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하고, 상기 근거리 통신 연결을 통해 상기 전자 펜에 의해 감지되고 상기 전자 펜의 제스처를 나타내는 제1 센서 데이터를 상기 전자 펜으로부터 수신하고, 상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 지정된 조건을 만족하지 못하는 경우 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하고, 상기 적어도 하나의 파라미터 변경 후 상기 전자 펜에 의해 감지되는 제2 센서 데이터를 상기 전자 펜으로부터 수신하고, 상기 제2 센서 데이터를 이용하여 상기 전자 펜의 상기 제스처를 인식하고, 상기 인식된 제스처에 기반하여 상기 전자 장치의 기능을 제어하도록 구성된 전자 장치가 개시된다. 이 외에도 본 문서를 통해 파악되는 다양한 실시 예들이 가능하다.

Description

원격 입력 장치의 제스처 인식 방법 및 그 전자 장치{ELECTRONIC DEVICE AND METHOD FOR RECOGNIZING GESTURE OF REMOTE INPUT DEVICE}
본 문서에 개시되는 다양한 실시 예들은 전자 펜의 모션에 기반한 제스처를 인식하는 방법 및 그 전자 장치에 관한 것이다.
전자 장치(예: 스마트폰)와 무선 연결된 전자 펜(예: 스타일러스 펜)은 호환 가능한 근거리 무선 통신 규격(예: Bluetooth/Wi-Fi)에 따라 전자 장치에 접속될 수 있다. 여기서, 근거리 무선 통신 규격에 따라서 전자 장치와 전자 펜이 연결될 수 있는 무선 통신 거리는 달라질 수 있다. 일 실시 예로서, 블루투스 통신 규격과 호환하는 전자 펜은 10m 이내의 무선 통신 거리를 제공할 수 있다. 일 실시 예로서, 와이파이(Wi-Fi) 통신 규격과 호환하는 전자 펜은 100m 이내의 무선 통신 거리를 제공할 수 있다. 전자 펜은 통신 성능에 따라 호환 가능한 무선 통신 규격으로부터 적어도 하나의 무선 통신 규격을 결정하고, 전자 장치와 무선으로 연결될 수 있다.
전자 장치는 전자 펜의 탈착 상태에 대응하여 원격(예: air action 모드)을 기본 제공할 수 있다. 전자 장치는 전자 펜으로부터 버튼 입력과 함께 모션 센서 데이터(예: 가속도 센서 데이터, 자이로 센서 데이터 및, 지자계 센서 데이터)를 수신할 수 있다. 전자 장치는 전자 펜으로부터 수신된 모션 센서 데이터에 대응하여 전자 펜의 적어도 하나의 방향 모션을 결정할 수 있다. 전자 장치는 결정된 방향 모션에 대응하는 적어도 하나의 어플리케이션 동작(예: 볼륨 증가/감소)을 실행할 수 있는 원격 인터랙션을 제공할 수 있다.
전자 장치는 원격 모션 명령어 인터랙션(예: Air Action 모드)을 통해 특정 어플리케이션에서의 원격 제어 입력(예: 제스처 인식)을 수신할 수 있다. 다만, 종래의 경우 전자 펜이 빠른 속도로 움직이게 되면 제스처 인식률이 저하되는 문제가 있었다. 전자 펜으로부터 수신되는 모션에 대한 센서 데이터의 양이나 전달 간격은 일정하게 정해져 있기 때문에, 빠른 속도로 전자 펜이 움직이게 되면 수신되는 센서 데이터가 충분하지 않아 전자 장치는 제스처를 정확하게 인식하기 어려웠다.
본 문서에 개시된 다양한 실시 예들은, 전자 장치로부터 탈착된 전자 펜에 대한 원격 인터랙션(예: air gesture) 방법에 관한 것으로서 전자 펜의 빠른 모션으로 인하여 전자 펜의 제스처 인식이 어려운 경우, 제스처 인식에 이용되는 다양한 파라미터의 값을 조절하여 전자 펜으로부터 수신되는 센서 데이터를 조정할 수 있는 전자 장치를 제공할 수 있다.
일 실시 예에 따른 전자 장치는, 디스플레이, 명령어들이 저장되는 메모리, 근거리 통신을 지원하는 통신 회로, 및 상기 디스플레이, 상기 메모리, 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시: 상기 전자 장치로부터 전자 펜의 탈착 이벤트를 감지하고, 상기 탈착 이벤트 감지에 응답하여 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하고, 상기 근거리 통신 연결을 통해 상기 전자 펜에 의해 감지되고 상기 전자 펜의 제스처를 나타내는 제1 센서 데이터를 상기 전자 펜으로부터 수신하고, 상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 지정된 조건을 만족하지 못하는 경우, 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하고, 상기 적어도 하나의 파라미터 변경 후, 상기 전자 펜에 의해 감지되는 제2 센서 데이터를 상기 전자 펜으로부터 수신하고, 상기 제2 센서 데이터를 이용하여 상기 전자 펜의 상기 제스처를 인식하고, 상기 인식된 제스처에 기반하여 상기 전자 장치의 기능을 제어할 수 있다.
일 실시 예에 따른 전자 장치의 전자 펜의 제스처를 인식하는 방법은, 상기 전자 장치로부터 상기 전자 펜의 탈착 이벤트를 감지하는 동작, 상기 탈착 이벤트 감지에 응답하여, 상기 전자 장치의 통신 회로가 상기 전자 펜과 근거리 통신 연결을 수립하도록 제어하는 동작, 상기 근거리 통신 연결을 통해 상기 전자 펜에 의해 감지되고 상기 전자 펜의 제스처를 나타내는 제1 센서 데이터를 상기 전자 펜으로부터 수신하는 동작, 상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 지정된 조건을 만족하지 못하는 경우 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하는 동작, 상기 적어도 하나의 파라미터 변경 후, 상기 전자 펜에 의해 감지되는 제2 센서 데이터를 상기 전자 펜으로부터 수신하는 동작, 상기 제2 센서 데이터를 이용하여 상기 전자 펜의 상기 제스처를 인식하는 동작, 및 상기 인식된 제스처에 기반하여 상기 전자 장치의 기능을 제어하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치는, 디스플레이, 명령어들이 저장되는 메모리, 근거리 통신을 지원하는 통신 회로, 및 상기 디스플레이, 상기 메모리, 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시: 전자 펜과 연관된 어플리케이션을 실행하고, 상기 어플리케이션 실행에 응답하여 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하고, 상기 어플리케이션이 화이트 리스트에 포함되어 있는지 확인하고, 상기 어플리케이션이 상기 화이트 리스트에 포함되어 있는 경우 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하고, 상기 적어도 하나의 파라미터 변경 후 상기 전자 펜에 의해 감지되는 센서 데이터를 상기 전자 펜으로부터 수신하고, 상기 센서 데이터를 이용하여 상기 전자 펜의 제스처를 인식하고, 상기 인식된 제스처에 기반하여 상기 어플리케이션의 기능을 제어할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따르면, 전자 펜으로부터 수신된 센서 데이터에 기반한 전자 펜의 제스처 인식이 지정된 조건을 만족하지 못하는 경우, 전자 장치가 전자 펜 또는 전자 펜의 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행함으로써 제스처 인식에 실패한 경우라도 다시 제스처를 인식하기 위하여 신속한 조치를 취할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따르면, 전자 펜 또는 전자 펜의 통신 연결과 연관된 파라미터를 적절히 변경함으로써, 제스처 인식의 정확성을 높여 사용자 의도대로 제스처가 인식되고 이에 대응되는 어플리케이션의 기능이 실행되도록 제어할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따르면, 실행된 어플리케이션이 화이트 리스트에 포함되어 있는지 여부를 확인하여 전자 펜 또는 전자 펜의 통신 연결과 연관된 파라미터를 변경함으로써 어플리케이션에 따라 제스처 인식 보정 여부를 결정할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 전자 펜의 제스처와 이를 인식하는 전자 장치를 설명하는 예시도이다.
도 2는 일 실시 예에 따른 전자 펜을 포함하는 전자 장치의 사시도이다.
도 3은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 4는 일 실시 예에 따른 전자 펜을 도시하는 블록도이다.
도 5는 일 실시 예에 따른 전자 장치 및 전자 펜의 구성을 도시하는 도면이다.
도 6은 일 실시 예에 따른 전자 장치의 외부에 전자 펜이 부착되는 것을 나타내는 도면이다.
도 7은 일 실시 예에 따른 전자 장치와 전자 펜(예: 스타일러스) 간의 통신 연결 동작을 나타내는 흐름도이다.
도 8a는 일 실시 예에 따른 애드벌타이징 채널 PDU(advertising channel PDU)를 나타내는 도면이다.
도 8b는 일 실시 예에 따른 애드벌타이징 PDU 페이로드(advertising PDU payload)를 나타내는 도면이다.
도 8c는 일 실시 예에 따른 애드벌타이징 패킷(advertising packet)을 나타내는 도면이다.
도 9는 일 실시 예에 따른 전자 장치에서 전자 펜의 제스처를 인식하는 방법을 설명하는 흐름도이다.
도 10은 일 실시 예에 따른 전자 장치의 스와이프 제스처 디텍터에서 파라미터를 이용하여 스코어링을 수행하는 방법을 설명하는 예시도이다.
도 11은 일 실시 예에 따른 전자 장치의 서클 제스처 디텍터에서 파라미터를 이용하여 스코어링을 수행하는 방법을 설명하는 예시도이다.
도 12는 일 실시 예에 따른 전자 장치에서 전자 펜의 제스처를 인식하는 방법에서 동작 950을 설명하는 흐름도이다.
도 13은 일 실시 예에 따른 전자 장치에서 전자 펜의 제스처를 인식하는 방법에서 동작 950을 설명하는 흐름도이다.
도 14a는 일 실시 예에 따른 전자 장치에서 전자 펜의 제스처를 인식하는 방법에서 페이로드(payload) 변경 전 센서 데이터 수신 동작을 설명하는 예시도이다.
도 14b는 일 실시 예에 따른 전자 장치에서 전자 펜의 제스처를 인식하는 방법에서 페이로드(payload) 변경 후 센서 데이터 수신 동작을 설명하는 예시도이다.
도 15는 일 실시 예에 따른 전자 장치에서 전자 펜의 제스처를 인식하는 방법에서 페이로드(payload)를 설명하는 모식도이다.
도 16은 일 실시 예에 따른 전자 장치에서 전자 펜의 제스처를 인식하는 방법에서 동작 950을 설명하는 흐름도이다.
도 17은 일 실시 예에 따른 전자 장치에서 전자 펜의 제스처를 인식하는 방법에서 동작 950을 설명하는 흐름도이다.
도 18은 일 실시 예에 따른 전자 장치에서 파라미터 변경 후 수신되는 제2 센서 데이터를 설명하는 예시도이다.
도 19는 일 실시 예에 따른 전자 장치에서 어플리케이션 설정에 따른 전자 펜의 제스처를 인식하는 방법을 설명하는 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 첨부된 도면을 참조하여 본 문서에 개시된 다양한 실시 예들이 설명된다. 설명의 편의를 위하여 도면에 도시된 구성요소들은 그 크기가 과장 또는 축소될 수 있으며, 본 발명이 반드시 도시된 바에 의해 한정되는 것은 아니다.
도 1은 일 실시 예에 따른 전자 펜(201)의 제스처와 이를 인식하는 전자 장치(101)를 설명하는 예시도이다.
도 1을 참조하면, 사용자는 전자 장치(101)(예: 스마트폰)의 어플리케이션(예: 카메라 어플리케이션)을 실행시키고 어플리케이션의 기능을 원격으로 제어하기 위하여 전자 펜(201)(예: 전자 장치)을 움직일 수 있다. 일 실시 예에 따르면, 전자 펜(201)은 전자 펜(201)의 일 측에 위치한 버튼(201b)이 눌려진 후, 상(up), 하(down), 좌(left), 우(right)의 방향으로 선형으로 움직일 수 있고(예: 스와이프 제스처(swipe gesture)) 시계 방향(clockwise) 또는 반시계 방향(counter clockwise)으로 원을 그리며 움직일 수도(예: 서클 제스처(circle gesture)) 있다. 일 실시 예에 따르면, 전자 펜(201)은 전자 펜(201)의 일 측에 위치한 버튼(201b)이 눌려진 채로, 상측, 하측, 좌측, 또는 우측으로 움직이거나, 시계 방향 또는 반시계 방향으로 움직일 수 있다.
도 1을 참조하면, 일 실시 예에 따른 전자 장치(101)와 전자 펜(201)은 저전력 블루투스 통신(bluetooth low energy, BLE)을 이용하여 통신 연결될 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 전자 펜(201)의 움직임에 관한 센서 데이터를 전자 펜(201)으로부터 수신할 수 있으며 수신된 데이터를 이용하여 전자 펜(201)의 제스처를 인식하고 인식된 제스처에 대응하는 어플리케이션의 기능을 제어할 수 있다. 상기의 동작을 통하여 사용자는 전자 장치(101)의 어플리케이션의 기능을 원격으로 제어할 수 있다.
도 1을 참조하여 예를 들면, 전자 장치(101)의 카메라 어플리케이션이 실행된 상태에서 전자 장치(101)가 전자 펜(201)의 상측(up) 스와이프 제스처를 인식하면 셀프 카메라 촬영 기능을 실행하고, 하측(down) 스와이프 제스처를 인식하면 전자 장치(101)는 와이드 카메라 촬영 기능을 실행하고, 우측(right)이나 좌측(left) 스와이프 제스처를 인식하면 카메라 모드를 전환하고, 시계 방향(clockwise) 서클 제스처를 인식하면 줌인 기능을 실행하고, 반시계 방향(counter clockwise) 서클 제스처를 인식하면 줌아웃 기능을 실행할 수 있다.
도 2는 일 실시 예에 따른 전자 펜(201)을 포함하는 전자 장치(101)의 사시도이다. 일 실시 예에 따르면, 본 문서에서의 전자 펜(201)은 도 3의 전자 장치(101)가 아닌 도 3의 입력 장치(150)에 대응될 수 있다.
도 2를 참조하면, 일 실시 예에 따른 전자 장치(101)는, 도 3에 도시된 구성을 포함할 수 있으며 전자 펜(201)이 삽입될 수 있는 구조를 포함할 수 있다. 전자 장치(101)는 하우징(210)을 포함하며 하우징(210)의 일 부분, 예를 들면, 측면(210a)의 일 부분에는 홀(211)을 포함할 수 있다. 전자 장치(101)는 홀(211)과 연결된 수납 공간인 제1 내부 공간(212)을 포함할 수 있으며, 전자 펜(201)은 제1 내부 공간(212) 내에 삽입될 수 있다. 도시된 실시 예에 따르면, 전자 펜(201)은 전자 펜(201)을 전자 장치(101)의 제1 내부 공간(212)으로부터 꺼내기 용이하도록, 일 단부에 눌림 가능한 제1 버튼(201b)을 포함할 수 있다. 상기 제1 버튼(201b)이 눌리면, 제1 버튼(201b)과 연계 구성된 반발 메커니즘(예를 들어, 적어도 하나의 탄성 부재(예: 스프링)에 의한 반발 메커니즘)이 작동하여, 제1 내부 공간(212)으로부터 전자 펜(201)이 탈착될 수 있다.
도 3은 다양한 실시 예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(101))의 블록도이다.
도 3을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 전자 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 4는 일 실시 예에 따른 전자 펜(201)(예: 도 1의 전자 펜(201), 도 2의 전자 펜(201))을 도시하는 블록도이다.
도 4를 참조하면, 일 실시 예에 따른 전자 펜(201)은, 프로세서(220), 메모리(230), 공진 회로(287), 충전 회로(288), 배터리(289), 통신 회로(290), 안테나(297), 트리거 회로(298), 및 센서(299)를 포함할 수 있다. 어떤 실시 예에서는, 전자 펜(201)의 프로세서(220), 공진 회로(287)의 적어도 일부 및/또는 통신 회로(290)의 적어도 일부는 인쇄회로기판 상에 또는 칩 형태로 구성될 수 있다. 프로세서(220), 공진 회로(287), 통신 회로(290) 중 하나 이상은 메모리(230), 충전 회로(288), 배터리(289), 안테나(297), 트리거 회로(298) 및/또는 센서(299)와 전기적으로 연결될 수 있다.
일 실시 예에 따른 프로세서(220)는, 커스터마이즈드(customized) 하드웨어 모듈 또는 소프트웨어(예를 들어, 어플리케이션 프로그램)를 실행하도록 구성된 제너릭(generic) 프로세서를 포함할 수 있다. 프로세서(220)는, 전자 펜(201)에 구비된 다양한 센서들, 데이터 측정 모듈, 입출력 인터페이스, 전자 펜(201)의 상태 또는 환경을 관리하는 모듈 또는 통신 모듈 중 적어도 하나를 포함하는 하드웨어적인 구성 요소(기능) 또는 소프트웨어적인 요소(프로그램)를 포함할 수 있다. 프로세서(220)는 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 버튼(예: 버튼(201b))의 눌림 상태를 나타내는 정보, 센서(299)에 의하여 획득된 센싱 정보, 및/또는 센싱 정보에 기반하여 계산된 정보(예: 전자 펜(201)의 위치와 연관된 정보)를, 통신 회로(290)를 통하여 전자 장치(101)로 송신하도록 설정될 수 있다.
일 실시 예에 따른 공진 회로(287)는, 전자 장치(101)의 디지타이저(예: 표시 장치(160))로부터 발생되는 전자기장 신호에 기반하여 공진될 수 있으며 공진에 의하여 전자기 공명 방식(electro-magnetic resonance, EMR) 입력 신호를 방사할 수 있다. 전자 장치(101)는, 전자기 공명 방식 입력 신호를 이용하여 전자 장치(101) 상의 전자 펜(201)의 위치를 확인할 수 있다. 예를 들어, 전자 장치(101)는 디지타이저 내의 복수 개의 채널들(예: 복수 개의 루프 코일들) 각각에서, 전자기 공명 방식 입력 신호에 의하여 발생되는 유도 기전력(예: 출력 전류)의 크기에 기반하여, 전자 펜(201)의 위치를 확인할 수 있다. 한편, 상술한 바에서는, 전자 장치(101) 및 전자 펜(201)이 EMR 방식에 기반하여 동작하는 것과 같이 설명되었지만, 이는 단순히 예시적인 것으로, 전자 장치(101)는 ECR(electrically coupled resonance) 방식에 기반하여 전기장에 기반한 신호를 발생시킬 수도 있다. 전자 펜(201)의 공진 회로는, 전기장에 의하여 공진될 수 있다. 전자 장치(101)는, 전자 펜(201)에서의 공진에 의한 복수 개의 채널들(예: 전극들)에서의 전위를 확인할 수 있으며, 전위에 기반하여 전자 펜(201)의 위치를 확인할 수도 있다. 전자 펜(201)은, AES(active electrostatic) 방식으로 구현될 수도 있으며, 그 구현 종류에는 제한이 없다. 아울러, 전자 장치(101)는 터치 패널의 적어도 하나의 전극과 연관된 커패시턴스(셀프 커패시턴스 또는 뮤추얼 커패시턴스)의 변경에 기반하여 전자 펜(201)을 검출할 수도 있다. 이 경우, 전자 펜(201)에는 공진 회로가 포함되지 않을 수도 있다.
일 실시 예에 따른 메모리(230)는, 전자 펜(201)의 동작에 관련된 정보를 저장할 수 있다. 예를 들어, 상기 정보는 전자 장치(101)와의 통신을 위한 정보 및 전자 펜(201)의 입력 동작에 관련된 주파수 정보를 포함할 수 있다. 일 실시 예에 따른 메모리(230)는 센서(299)의 센싱 데이터로부터 전자 펜(201)의 위치에 대한 정보(예: 좌표 정보, 및/또는 변위 정보)를 계산하기 위한 프로그램(또는, 어플리케이션, 알고리즘, 또는 처리 루프)을 저장할 수도 있다. 메모리(230)는, 통신 회로(290)의 통신 스택을 저장할 수도 있다. 구현에 따라, 통신 회로(290) 및/또는 프로세서(220)는 전용 메모리를 포함할 수도 있다.
일 실시 예에 따른 공진 회로(287)는, 코일(coil)(또는, 인덕터(inductor)) 및/또는 커패시터(capacitor)를 포함할 수 있다. 공진 회로(287)는 입력되는 전기장 및/또는 자기장(예: 전자 장치(101)의 디지타이저로부터 발생되는 전기장 및/또는 자기장)에 기반하여 공진할 수 있다. 전자 펜(201)이 EMR 방식에 의하여 신호를 전송하는 경우, 전자 펜(201)은 전자 장치(101)의 유도성 패널(inductive panel)로부터 발생되는 전자기장(electromagnetic field)에 기반하여, 공진 주파수를 포함하는 신호를 생성할 수 있다. 전자 펜(201)이 AES 방식에 의하여 신호를 전송하는 경우, 전자 펜(201)은 전자 장치(101)와 용량 결합(capacity coupling)을 이용하여 신호를 생성할 수 있다. 전자 펜(201)이 ECR 방식에 의하여 신호를 전송하는 경우, 전자 펜(201)은 전자 장치의 용량성(capacitive) 장치로부터 발생되는 전기장(electric field)에 기반하여 공진 주파수를 포함하는 신호를 생성할 수 있다. 일 실시 예에 따르면, 공진 회로(287)는 사용자의 조작 상태에 따라 전자기장의 세기 또는 주파수를 변경시키는데 이용될 수 있다. 예를 들어, 공진 회로(287)는 호버링 입력, 드로잉 입력, 버튼 입력 또는 이레이징 입력을 인식하기 위한 다양한 주파수를 제공할 수 있다. 예를 들어, 공진 회로(287)는 복수 개의 커패시터의 연결 조합에 따라 다양한 공진 주파수를 제공할 수 있거나, 또는 가변 인덕터, 및/또는 가변 커패시터에 기반하여 다양한 공진 주파수를 제공할 수도 있다.
일 실시 예에 따른 충전 회로(288)는 스위칭 회로에 기반하여 공진 회로(287)와 연결된 경우, 공진 회로(287)에서 발생되는 공진 신호를 직류 신호로 정류하여 배터리(289)에 제공할 수 있다. 일 실시 예에 따르면, 전자 펜(201)은 충전 회로(288)에서 감지되는 직류 신호의 전압 레벨을 이용하여, 상기 장치(101)에 전자 펜(201)이 삽입되었는지 여부를 확인할 수 있다. 또는, 전자 펜(201)은 충전 회로(288)에서 확인되는 버스트(burst) 신호에 대응하는 패턴을 확인하여, 전자 펜(201)이 삽입되었는지 여부를 확인할 수도 있다.
일 실시 예에 따른 배터리(289)는 전자 펜(201)의 동작에 요구되는 전력을 저장하도록 구성될 수 있다. 배터리(289)는, 예를 들어, 리튬-이온 배터리, 또는 캐패시터를 포함할 수 있으며, 충전식 또는 교환식일 수 있다. 일 실시 예에 따르면, 배터리(289)는 충전 회로(288)로부터 제공받은 전력(예를 들어, 직류 신호(직류 전력))을 이용하여 충전될 수 있다.
일 실시 예에 따른 통신 회로(290)는, 전자 펜(201)과 전자 장치(101)의 통신 모듈(190) 간의 무선 통신 기능을 수행하도록 구성될 수 있다. 일 실시 예에 따르면, 통신 회로(290)는 근거리 통신 방식을 이용하여 전자 펜(201)의 상태 정보, 입력 정보, 및/또는 위치와 연관된 정보를 전자 장치(101)로 전송할 수 있다. 예를 들어, 통신 회로(290)는 트리거 회로(298)를 통해 획득한 전자 펜(201)의 방향 정보(예: 모션 센서 데이터), 마이크로 폰을 통해 입력된 음성 정보 또는 배터리(289)의 잔량 정보를 전자 장치(101)로 전송할 수 있다. 예를 들어, 통신 회로(290)는 센서(299)로부터 획득된 센싱 데이터, 및/또는 센싱 데이터에 기반하여 확인된 전자 펜(201)의 위치와 연관된 정보를 전자 장치(101)로 송신할 수 있다. 예를 들어, 통신 회로(290)는, 전자 펜(201)에 구비된 버튼(예: 도 1의 버튼(201b))의 상태에 대한 정보를 전자 장치(101)로 송신할 수 있다. 일 예로, 근거리 통신 방식은 블루투스, BLE(bluetooth low energy), NFC, Wi-Fi direct 중 적어도 하나를 포함할 수 있으나, 그 종류에는 제한이 없다.
일 실시 예에 따른 안테나(297)는 신호 또는 전력을 외부(예를 들어, 도 1의 전자 장치(101))로 송신하거나 외부로부터 수신하는데 이용될 수 있다. 일 실시 예에 따르면, 전자 펜(201)은 복수의 안테나(297)들을 포함할 수 있고, 이들 중에, 통신 방식에 적합한 적어도 하나의 안테나(297)를 선택할 수 있다. 상기 선택된 적어도 하나의 안테나(297)를 통하여, 통신 회로(290)는 신호 또는 전력을 외부 전자 장치와 교환할 수 있다.
일 실시 예에 따른 트리거 회로(298)는 적어도 하나의 버튼 또는 센서 회로를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 전자 펜(201)의 버튼의 입력 방식(예를 들어, 터치 또는 눌림) 또는 종류(예를 들어, EMR 버튼 또는 BLE 버튼)를 확인할 수 있다. 일 실시 예에 따르면, 트리거 회로(298)는 버튼의 입력 신호 또는 센서(299)를 통한 신호를 이용하여 전자 장치(101)로 트리거 신호를 전송할 수 있다.
일 실시 예에 따른 센서(299)는, 가속도 센서(accelerometer), 자이로 센서(gyro sensor), 및/또는 지자계 센서(geomagnetic sensor)를 포함할 수 있다. 가속도 센서는, 전자 펜(201)의 선형 움직임 및/또는 전자 펜(201)의 3축에 대한 가속도에 대한 정보를 센싱할 수 있다. 자이로 센서는 전자 펜(201)의 회전과 관련된 정보를 센싱할 수 있다. 지자계 센서는 전자 펜(201)의 절대 좌표계 내에서의 향하는 방향에 대한 정보를 센싱할 수 있다. 일 실시 예에 따르면, 센서(299)는 움직임을 측정하기 위한 센서뿐만 아니라, 전자 펜(201)의 내부의 작동 상태 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있는 센서, 예를 들어, 배터리 잔량 감지 센서, 압력 센서, 광 센서, 온도 센서, 생체 센서 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 센서(299)로부터 획득한 정보를 통신 회로(290)를 통하여 전자 장치(101)로 송신할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 센서(299)로부터 획득한 정보에 기반하여 전자 펜(201)의 위치와 연관된 정보(예: 전자 펜(201)의 좌표 및/또는 전자 펜(201)의 변위)를 통신 회로(290)를 통하여 전자 장치(101)로 송신할 수도 있다.
도 5는 다양한 일 실시 예에 따른 전자 장치(101)(예: 도 3의 전자 장치(101)) 및 전자 펜(201)(예: 도 4의 전자 펜(201))의 구성을 도시하는 도면이다.
도 5를 참조하면, 일 실시 예에 따른 전자 장치(101)는 펜 컨트롤러(410)를 포함할 수 있다.
펜 컨트롤러(410)는 적어도 하나의 코일(411, 412)을 포함할 수 있다. 펜 컨트롤러(410)는 적어도 하나의 코일(411, 412)을 통하여 전자 펜(201)에 충전용 전력을 제공할 수 있다. 적어도 하나의 코일(411,412)은 전자 펜(201)이 전자 장치(101)의 수납 공간(예: 도 2의 제1 내부 공간(212))으로 삽입된 경우, 전자 펜(201)의 코일(421)과 물리적으로 인접하는 위치에 배치될 수 있으나 배치 위치에는 제한이 없다. 한편, 수납 공간으로의 삽입은 단순히 예시적인 것으로, 전자 장치(101)는 수납 공간 이외에도, 전자 펜(201)이 장착(또는, 부착)될 수 있는 영역(또는, 공간)을 포함할 수도 있으며, 이 경우 전자 펜(201)은 해당 영역(또는, 공간)에 탈착(attach) 또는 부착(detach) 될 수 있다. 본 개시에서 전자 펜(201)이 수납 공간 내 위치한 경우의 동작은, 다른 실시 예에서 장착 영역(또는, 공간)에 부착된 경우에 수행될 수도 있다. 펜 컨트롤러(410)의 적어도 일부의 기능은 프로세서(120)에 의하여 수행될 수 있거나 또는 펜 컨트롤러(410) 및 프로세서(120)가 통합되어 적어도 일부의 기능을 수행하도록 구현될 수도 있다. 본 개시에서 펜 컨트롤러(410)가 특정 동작을 수행하는 표현은 프로세서(예: 도 3의 프로세서(120) 또는 도 4의 프로세서(220))에 의하여 수행되거나, 또는 프로세서(예: 도 3의 프로세서(120) 또는 도 4의 프로세서(220))로부터 독립적인 제어 회로에 의하여 수행됨을 의미할 수 있다. 펜 컨트롤러(410)는, 적어도 하나의 코일(411, 412) 이외에도 제어 회로(예를 들어, 프로세서로부터 독립적인 제어 회로)(미도시), 인버터(미도시), 및/또는 증폭기(미도시)를 포함할 수 있다. 상술한 바와 같이, 펜 컨트롤러(410)는 제어 회로를 포함하지 않을 수도 있으며, 이 경우에는 프로세서(예: 도 3의 프로세서(120) 또는 도 4의 프로세서(220))의 제어에 따라 적어도 하나의 코일(411, 412)에 충전을 위한 신호를 제공할 수 있다.
일 실시 예에 따라서, 펜 컨트롤러(410)는 적어도 하나의 코일(411, 412)을 통하여 패턴을 가지는 신호를 제공할 수도 있다. 패턴은 전자 펜(201)의 제어를 위하여 전자 펜(201)과 미리 공유된 것으로, 예를 들어 충전 개시 지시 패턴, 충전 종료 지시 패턴, 검출 패턴을 포함할 수 있으며, 그 종류에는 제한이 없다. 충전 신호 또는 제어를 위한 패턴을 가지는 신호를 제공하기 위한 코일(411, 412)은 2개로 도시되었지만 이는 단순히 예시적인 것으로, 그 숫자에는 제한이 없다.
일 실시 예에 따라서, 전자 펜(201)의 공진회로(420)(예: 도 4의 공진 회로(287))는 코일(421), 적어도 하나의 커패시터(422, 423), 및/또는 스위치(424)를 포함할 수 있다. 스위치(424)가 오프 상태인 경우에는 코일(421) 및 커패시터(422)가 공진 회로를 구성할 수 있으며, 스위치(424)가 온 상태인 경우에는 코일(421)과 커패시터들(422, 423)이 공진 회로를 구성할 수 있다. 이에 따라, 스위치(424)의 온/오프 상태에 따라 공진 회로(420)의 공진 주파수가 변경될 수 있다. 예를 들어, 전자 장치(101)는 전자 펜(201)으로부터의 신호의 주파수에 기반하여 스위치(424)의 온/오프 상태를 확인할 수 있다. 예를 들어, 전자 펜(201)의 버튼(201b)이 눌림/릴리즈되는 경우 스위치(424)가 온/오프될 수 있으며, 전자 장치(101)는 전자 펜(201)의 버튼(201b)의 눌림 여부를 디지타이저를 통하여 확인되는 수신 신호의 주파수에 기반하여 확인할 수 있다.
일 실시 예에 따라서, 적어도 하나의 정류기(431, 435)는, 공진 회로(420)로부터 출력되는 교류 파형의 신호(VPEN)를 정류하여 출력할 수 있다. 충전 스위치 컨트롤러(SWchg ctrl)(432)는 정류기(431)로부터 출력되는 정류된 신호(VM)를 수신할 수 있다. 정류된 신호(VM)에 기반하여, 충전 스위치 컨트롤러(432)는 공진 회로(420)에서 발생되는 신호가 충전용 신호인지 또는 위치 검출을 위한 신호인지 여부를 확인할 수 있다. 예를 들어, 충전 스위치 컨트롤러(432)는 정류된 신호(VM)의 전압의 크기에 기반하여 공진 회로(420)에서 발생되는 신호가 충전용 신호인지 또는 위치 검출을 위한 신호인지 여부를 확인할 수 있다. 또는, 충전 스위치 컨트롤러(432)는 정류된 신호(VM)의 파형에 기반하여 충전 개시용 패턴을 가지는 신호가 입력되는지 여부를 확인할 수도 있다.
일 실시 예에 따라서, 충전용 신호인 것으로 확인되면 충전 스위치 컨트롤러(432)는 충전 스위치(SWchg)(436)를 온 상태로 제어할 수 있다. 또는, 충전 개시용 패턴을 가지는 신호가 검출되면, 충전 스위치 컨트롤러(432)는 충전 스위치(SWchg)(436)를 온 상태로 제어할 수 있다. 충전 스위치 컨트롤러(432)는 충전 개시 신호(chg_on)를 충전 스위치(436)로 전달할 수 있다. 이 경우, 정류된 신호(VIN)가 충전 스위치(436)를 통하여 배터리(battery)(437)(예: 도 4 배터리(289))로 전달될 수 있다. 배터리(437)는 수신한 정류된 신호(VIN)를 이용하여 충전될 수 있다. 과전압 보호 회로(over-voltage protection circuit: OVP)(433)는 배터리 전압(VBAT)을 확인할 수 있으며, 배터리 전압이 과전압 임계치를 초과하면 충전 스위치(436)를 오프 상태로 제어할 수 있다.
일 실시 예에 따라서, 로드 스위치 컨트롤러(SWL ctrl)(434)는 배터리 전압이 동작 전압 임계치를 초과하는 것으로 확인되면, 로드 스위치(SWL)(438)를 온 상태로 제어할 수 있다. 로드 스위치(438)가 온 상태가 되면, 배터리(437)로부터의 전력이 BLE 통신 회로 및 컨트롤러(BLE + controller)(439)(예: 도 4의 통신 회로(290) 및 프로세서(220))로 전달될 수 있다. BLE 통신 회로 및 컨트롤러(439)는 수신한 전력을 이용하여 동작할 수 있다. 버튼 제어 회로(button control)(440)는 전자 펜(201)과 전자 장치(101)와의 거리가 임계 거리보다 큰 경우, 버튼(예: 버튼(201b))의 입력에 대한 정보를 BLE 통신 회로 및 컨트롤러(439)로 전달할 수 있다. BLE 통신 회로 및 컨트롤러(439)는 수신한 버튼 입력에 대한 정보를 안테나(441)(예: 도 4의 안테나(297))를 통하여 전자 장치(101)로 송신할 수 있다. 센서 회로(450)(예: 도 4의 센서(299))는 자이로 센서(451) 및/또는 가속도 센서(452)를 포함할 수 있다. 자이로 센서(451) 및/또는 가속도 센서(452)에 의하여 획득된 센싱 데이터는 BLE 통신 회로 및 컨트롤러(439)로 전달될 수 있다. BLE 통신 회로 및 컨트롤러(439)는, 수신한 센싱 데이터를 포함하는 통신 신호를 안테나(441)를 통하여 전자 장치(101)로 송신할 수 있다. 또는, BLE 통신 회로 및 컨트롤러(439)는 수신한 센싱 데이터에 기반하여 확인된 전자 펜(201)의 위치와 연관된 정보(예: 전자 펜(201)의 좌표 및/또는 변위)를 확인할 수 있다. BLE 통신 회로 및 컨트롤러(439)는 확인된 전자 펜(201)의 위치와 연관된 정보를 안테나(441)를 통하여 전자 장치(101)로 송신할 수 있다. 일 실시 예에 따라서, BLE 통신 회로 및 컨트롤러(439)는 전자 펜(201)이 전자 장치(101)로부터 탈착된 경우, 가속도 센서(452)를 활성화할 수 있다. BLE 통신 회로 및 컨트롤러(439)는 버튼(예: 버튼(201b))이 눌러지는 경우, 자이로 센서(451)를 활성화시킬 수 있다. 한편, 활성화 시점은 단순히 예시적인 것으로, 센서 별 활성화 시점에는 제한이 없다. 아울러, 센서 회로(450)는 지자계 센서(미도시)를 더 포함할 수도 있다. 일 실시 예로서, 가속도 센서(452)만이 활성화된 경우, 전자 펜(201)은 전자 장치(101)로 가속도 센서(452)에 의하여 측정된 가속도 정보를 제공할 수 있으며, 전자 장치(101)는 펜 신호에 기반하여 확인된 전자 펜(201)의 위치와 가속도 정보에 기반하여 동작할 수도 있다.
도 6은 일 실시 예에 따른 전자 장치(600)(예: 도 3의 전자 장치(101))의 외부에 원격 입력 장치(500)(예: 도 4의 전자 펜(201))이 부착되는 것을 나타내는 도면이다.
도 6을 참조하면, 전자 장치(600)는 마스터 장치(master device)로서 원격 입력 장치(500, 이하 '전자 펜(500)'이라 함)와 통신 연결될 수 있다. 전자 장치(600)는 전자 펜(500)의 탈착 동작(예: detached 상태)에 기초하여, 전자 펜(500)에 대한 복수의 원격 인터랙션을 제공할 수 있다. 이때, 전자 장치(600)는 전자 펜(500)로부터 트리거 입력(예: 버튼(201b) 입력 신호)을 수신할 수 있다. 전자 장치(600)는 수신된 트리거 입력(예: 버튼(201b) 입력 신호)에 대응하여 움직임 추적 또는 모션 명령 실행을 위한 원격 인터랙션을 제공할 수 있다.
전자 장치(600)는 디스플레이(650)를 통해서 전면에 화상을 표시하고, 센서(예: 도 3의 센서 모듈(176), 카메라 모듈(180))로부터의 센서 신호를 이용하여 전자 펜(500)의 원격 제어 입력을 인지할 수 있다. 전자 장치(600)의 센서(예: 도 3의 센서 모듈(176))는 전자 장치(600)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서(예: 도 3의 센서 모듈(176))는 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
전자 장치(600)는 제1 무선 충전 코일(605), 충전 회로(620), 전력관리 회로(625)(예: 도 3의 전력 관리 모듈(188)), 배터리(630)(예: 도 3의 배터리(189)), 프로세서(640)(예: 도 3의 프로세서(120)), 메모리(645)(예: 도 3의 메모리(130)), 디스플레이(650)(예: 도 3의 표시 장치(160)), 무선 통신 회로(660)(예: 도 3의 무선 통신 모듈(192)), 안테나(665)(예: 도 3의 안테나 모듈(197)), 자석(670), 유선 통신 회로(665)(예: 도 3의 유선 통신 모듈(194)), 및 케이블 연결 유닛(680)(예: 도 3의 연결 단자(178))을 포함할 수 있다.
전력관리 회로(625)(예: 도 3의 전력 관리 모듈(188))는 충전 회로(620), 배터리(630), 및 프로세서(640)와 연결될 수 있다. 전력관리 회로(625)는 전자 장치(600)에 공급되는 전력을 관리할 수 있다. 일 실시 예로서, 전력관리 회로(625)는 PMIC(power management integrated circuit)의 일부로서 구현될 수 있다.
배터리(630)(예: 도 3의 배터리(189))는 전자 장치(600)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예로서, 배터리(630)는 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
무선 통신 회로(660)(예: 도 3의 무선 통신 모듈(192))는 전자 장치(600)와 외부 장치(예: 전자 펜(500)), 다른 전자 장치, 및 서버(예: 도 3의 서버(108)) 간의 무선 통신 채널의 수립, 및 수립된 무선 통신 채널을 통한 통신 수행을 지원할 수 있다. 무선 통신 회로(660)(예: 도 3의 무선 통신 모듈(192))는 프로세서(640)(예: 도 3의 프로세서(120))와 독립적으로 운영될 수 있다. 무선 통신 회로(660)(예: 도 3의 무선 통신 모듈(192))는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다.
유선 통신 회로(675)(예: 도 3의 유선 통신 모듈(194))는 전자 장치(600)와 외부 디스플레이 장치, 다른 전자 장치, 및 서버(예: 도 3의 서버(108)) 간의 직접(예: 유선) 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 유선 통신 회로(675)(예: 도 3의 유선 통신 모듈(194))는 프로세서(640)(예: 도 3의 프로세서(120))와 독립적으로 운영될 수 있다. 유선 통신 회로(675)(예: 도 3의 유선 통신 모듈(194))는 직접(예: 유선) 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다.
메모리(645)(예: 도 3의 메모리(130))는 전자 장치(600)의 적어도 하나의 구성요소(예: 프로세서(640))에 의해 사용되는 다양한 데이터(예: 센서 데이터)를 저장할 수 있다. 데이터는 예를 들어, 소프트웨어(예: 도 3의 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(645)(예: 도 3의 메모리(130))는 휘발성 메모리(예: 도 3의 휘발성 메모리(132) 또는 비휘발성 메모리(134))를 포함할 수 있다.
안테나(665)(예: 도 3의 안테나 모듈(197))는 신호 또는 전력을 외부(예: 전자 펜(500), 외부 전자 장치)로 송신하거나, 또는 외부로부터의 신호 또는 전력을 수신할 수 있다. 일 실시 예에 따르면, 안테나(665)(예: 도 3의 안테나 모듈(197))는 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나(665)(예: 도 3의 안테나 모듈(197))는 복수의 안테나들을 포함할 수 있다. 이런 경우, 통신 네트워크(예: 도 3의 제1 네트워크(198) 및/또는 제2 네트워크(199))에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가 선택될 수 있다.
디스플레이(650)(예: 도 3의 표시 장치(160))는 전자 장치(600)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이(650)(예: 도 3의 표시 장치(160))는 예를 들면, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이(650)(예: 도 3의 표시 장치(160))는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
전자 펜(500)은 제2 무선 충전 코일(505), 충전 회로(555)(예: 도 4의 충전회로(288)), 배터리(530)(예: 도 4의 배터리(289)), 입력 회로(560)(예: 도 4의 트리거 회로(298)), 센서 회로(550)(예: 도 4의 센서(299), 도 5의 센서 회로(450)), 통신 회로(575)(예: 도 4의 통신 회로(290)), 안테나(565)(예: 도 4의 안테나(297), 도 5의 안테나(441)), 및 자석(570)을 포함할 수 있다.
전자 장치(600)에 포함된 자석(670)과 전자 펜(500)에 포함된 자석(570)을 이용하여 전자 장치(600)의 외부에 전자 펜(500)이 부착될 수 있다. 전자 장치(600)의 하우징은 비전도성 영역을 포함하며, 비전도성 영역을 사이에 두고 전자 펜(500)이 부착될 수 있다. 전자 펜(500)은 전자 장치(600)의 외부에서 부착/탈착될 수 있으며, 전자 장치(600)는 전자 펜(500)의 부착 및 탈착 상태를 인식할 수 있다.
일 실시 예로서, 페라이트 코어(610)에 코일(615)이 감겨져 전자 장치(600)의 제1 무선 충전 코일(605)을 구성할 수 있다. 일 실시 예로서, 페라이트 코어(510)에 코일(515)(예: 도 5의 코일(421))이 감겨져 전자 펜(500)의 제2 무선 충전 코일(505)을 구성할 수 있다. 전자 장치(600)는 하우징 내부의 자석(670) 및 제1 무선 충전 코일(605)을 이용하여 전자 펜(500)의 부착/탈착 상태를 감지할 수 있다.
전자 장치(600)의 제1 무선 충전 코일(605)과 전자 펜(500)의 제2 무선 충전 코일(505) 간에 자기장 신호가 발생할 수 있다. 제1 무선 충전 코일(605)과 제2 무선 충전 코일(505) 간의 자기장 신호의 변화에 기초하여, 전자 장치(600)는 전자 펜(500)의 부착/탈착 상태를 감지할 수 있다. 일 실시 예로서, 전자 펜(500)이 전자 장치(600)에서 탈착되면, 전자 장치(600)의 제1 무선 충전 코일(605)과 전자 펜(500)의 제2 무선 충전 코일(505) 간의 정합 상태가 변경될 수 있다. 전자 장치(600)는 상기 정합 상태 변화에 기반한 유도 자기장의 생성을 통해 임계 전압 이상의 전기 신호를 수신할 수 있다. 전자 장치(600)는 충전 회로(620) 및 프로세서(640)를 통해 제1 무선 충전 코일(605)에 의해 생성되는 전기 신호를 수신하고 수신된 전기 신호에 기초하여 전자 펜(500)의 탈착 상태를 결정할 수 있다. 전자 장치(600)는 제1 무선 충전 코일(605)을 통해서 임계 전압 이상의 전기 신호가 발생하는 경우, 전자 펜(500)이 부착(또는 수납)된 상태로 인식할 수 있다.
전자 펜(500)이 부착(또는 수납)된 상태에서, 전자 장치(600)와 전자 펜(500)은 정합된 제1 무선 충전 코일(605) 및 제2 무선 충전 코일(505)을 통해서 충전 전력 및 데이터를 포함한 통신 신호를 지속적으로 송수신할 수 있다. 한편, 전자 장치(600)는 제1 무선 충전 코일(605)을 통해서 임계 전압 이상의 전기 신호가 수신되지 않는 경우, 전자 펜(500)이 탈착(또는 이탈)된 상태로 인식할 수 있다.
전자 장치(600)의 제1 무선 충전 코일(605)과 전자 펜(500)의 제2 무선 충전 코일(505)은 제1 자석(670) 및 제2 자석(570)에 의해 정합 위치에 부착될 수 있다. 전자 장치(600)는 전자 펜(500)(예: 원격 입력 장치)에 대한 부착(attach) 동작을 감지할 수 있다. 전자 장치(600)는 제1 무선 충전 코일(605)을 이용하여 전자 펜(500)의 충전 동작을 실행할 수 있다.
전자 장치(600)는 정합 위치의 제1 무선 충전 코일(605)에서 생성되는 유도 자기장을 통해 전자 펜(500)과 배터리들(630, 530)의 전력을 공유할 수 있다. 전자 장치(600)는 메모리(645)를 통해 전자 펜(500)의 원격 제어 활성화 정보, 및 원격 제어 입력(버튼 입력, 제스처 입력)에 대응하는 실행 명령어를 저장/로딩할 수 있다.
도 7은 일 실시 예에 따른 전자 장치(600)와 전자 펜(500) 간의 통신 연결 동작을 나타내는 흐름도이다. 도 8a는 일 실시 예에 따른 애드벌타이징 채널 PDU(advertising channel PDU)를 나타내는 도면이고, 도 8b는 일 실시 예에 따른 애드벌타이징 PDU 페이로드(advertising PDU payload)를 나타내는 도면이고, 도 8c는 일 실시 예에 따른 애드벌타이징 패킷(advertising packet)을 나타내는 도면이다.
도 7 및 도 8a 내지 도 8c를 참조하면, 전자 장치(600)는 자기장의 변화를 통해 전자 펜(500)의 탈착 동작을 감지할 경우, 제2 통신(예: BLE통신) 즉, 제2 통신 연결 상태를 스탠바이(stand-by) 상태에서 연결(connected) 상태로 활성화할 수 있다.
일 실시 예로서, 전자 장치(600)는 스탠바이(stand-by) 상태(710)에서 전자 펜(500)의 탈착(detached)을 감지할 수 있다(720). 전자 장치(600)는 제1 무선 충전 코일(605, 도 6 참조)을 통해 전자 펜(500)의 분리 동작을 감지할 수 있다. 전자 장치(600)는 전자 펜(500)의 분리 동작이 감지되는 경우, 안테나(665, 도 6 참조) 및 무선 통신 회로(660, 도 6 참조)를 통해서 BLE 스캐닝(BLE scanning) 동작을 실행할 수 있다.
730 동작에서, 전자 펜(500)은 ADV_IND 메시지를 전자 장치(600)로 전송하여, 전자 장치(600)와 전자 펜(500)의 통신 연결을 개시할 수 있다.
740 동작에서, 전자 장치(600)는 수신된 ADV_IND 메시지에 대한 응답으로 CONNECT_REQ 메시지를 전자 펜(500)으로 전송하여, 전자 장치(600)와 전자 펜(500)의 연결을 요청할 수 있다.
750 동작에서, 전자 펜(500)은 수신된 CONNECT_REQ 메시지에 대한 응답으로 BLE 연결 완료(BLE connection complete) 메시지를 전자 장치(600)로 전송할 수 있다.
760 동작에서, 전자 펜(500)은 데이터 채널(data channel) PDU#1을 전자 장치(600)로 전송할 수 있다.
770 동작에서, 전자 장치(600)는 데이터 채널(data channel) PDU#2를 전자 펜(500)으로 전송할 수 있다. 이를 통해, 전자 장치(600)와 전자 펜(500) 간에 통신 연결이 이루어질 수 있다.
780 동작에서, 전자 장치(600)는 제2 통신(예: BLE통신) 즉, 제2 통신 연결 상태를 스탠바이(stand-by) 상태에서 연결(connected) 상태로 활성화할 수 있다.
790 동작에서 전자 펜(500)은 인터랙션을 수행할 수 있다.
일 실시 예로서, 전자 장치(600)는 전자 펜(500)으로부터 BLE 애드벌타이징(BLE advertising) 신호를 수신할 수 있다. BLE 애드벌타이징 신호(또는, 애드벌타이징 채널 PDU(800, advertising channel PDU))는 도 8a에 도시된 바와 같이, 헤더(810, header) 및 애드벌타이징 PDU 페이로드(820, advertising PDU payload)를 포함할 수 있다.
도 8b에 도시된 바와 같이, 애드벌타이징 PDU 페이로드(820)는 AdvA(821, Advertising Address)와 AdvData(822, Advertising Data)를 포함할 수 있다.
도 8c에 도시된 바와 같이, AdvData(822)는 애드벌타이징 패킷(advertising packet)(830) 형태로 구성될 수 있다. 애드벌타이징 패킷(830)을 살펴보면, 애드벌타이징 장치의 플래그 데이터(flag data), 제조사 데이터(manufacturer data) 정보를 포함할 수 있다. 제조사 데이터에는 컴퍼니 식별자(company ID), 버전(version), 서비스 식별자(service ID), 서비스 특성 데이터(service specific data) 정보를 포함할 수 있다. 서비스 식별자를 통해 원격 입력 장치의 서비스 식별자(예: 원격 입력 장치, 손목시계형 웨어러블 장치, 무선 이어폰 장치 등)를 정의할 수 있다. 서비스 특성 데이터(service specific data) 정보(예: 원격 입력 장치의 모션 센서 정보, 웨어러블 장치의 심박 센서 정보 및 착용 감지 센서 정보)를 통해 원격 입력 장치의 서비스 필요 정보를 추가할 수 있다.
일 실시 예로서, 전자 장치(600)로부터 전자 펜(500)이 탈착(분리)될 경우, 전자 장치(600)는 전자 펜(500)으로부터 BLE 애드벌타이징 신호를 수신할 수 있다. 전자 장치(600)는 수신된 BLE 애드벌타이징 신호에 기초하여 전자 펜(500)과 통신을 연결할 수 있다. 여기서, 전자 장치(600)는 수신된 BLE 애드벌타이징 신호의 서비스 식별자에 기초하여 전자 펜(500)을 식별할 수 있다. 전자 장치(600)는 BLE 애드벌타이징 신호의 서비스 특정 데이터 정보를 통해 전자 펜(500)의 모션 센서 정보를 추출할 수 있다. 전자 장치(600)는 전자 펜(500)과의 통신 연결 상태에서 전자 펜(500)의 입력 이벤트에 대응하여 모션 센서 데이터를 포함한 데이터 PDU을 수신할 수 있다. 이때, 애드벌타이징 PDU는 통신 연결 전에만 수신이 가능할 수 있다.
도 9는 일 실시 예에 따른 전자 장치(600)에서 전자 펜(500)의 제스처를 인식하는 방법을 설명하는 흐름도이다.
도 9의 동작은 도 6의 전자 장치(600)에 의해 수행될 수 있다. 도 9를 참조하면, 일 실시 예에 따른 전자 장치(600)의 프로세서(640)는 전자 장치(600)로부터 전자 펜(500)의 탈착 이벤트를 감지하는 동작(910), 무선 통신 회로(660)(또는, 통신 회로)가 전자 펜(500)과 근거리 통신 연결을 수립하도록 제어하는 동작(920), 근거리 통신 연결을 통해 전자 펜(500)에 의해 감지되고 전자 펜(500)의 제스처를 나타내는 제1 센서 데이터를 수신하는 동작(930), 제1 센서 데이터에 기반한 전자 펜(500)의 제스처 인식이 지정된 조건을 만족하는지 판단하는 동작(940), 전자 펜(500) 또는 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하는 동작(950), 전자 펜(500)에 의해 감지되는 제2 센서 데이터를 전자 펜(500)으로부터 수신하는 동작(960), 제2 센서 데이터를 이용하여 전자 펜(500)의 제스처를 인식하는 동작(970), 및 인식된 제스처에 기반하여 어플리케이션의 기능을 제어하는 동작(980)을 수행할 수 있다.
일 실시 예에 따른 프로세서(640)는, 동작 910에서 전자 장치(600)로부터 전자 펜(500)의 탈착 이벤트를 감지할 수 있다. 일 실시 예에 따르면, 전자 장치(600)에 포함된 자석(670)과 전자 펜(500)에 포함된 자석(570)을 이용하여 전자 장치(600)로부터 전자 펜(500)이 부착 또는 탈착될 수 있으며, 프로세서(640)는 하우징 내부의 자석(670) 및 제1 무선 충전 코일(605)을 이용하여 전자 펜(500)의 부착 및/또는 탈착 상태를 인식할 수 있다. 예를 들면, 제1 무선 충전 코일(605)과 제2 무선 충전 코일(505) 간의 자기장 신호의 변화에 기초하여, 전자 장치(600)는 전자 펜(500)의 부착 및/또는 탈착 상태를 감지할 수 있다.
일 실시 예에 따른 프로세서(640)는, 동작 920에서 상기 탈착 이벤트 감지에 응답하여 통신 회로가 전자 펜(500)과 근거리 통신 연결을 수립하도록 제어할 수 있다. 전자 장치(600)와 전자 펜(500) 사이의 근거리 통신 방식은 블루투스(Bluetooth), 저전력 블루투스(Bluetooth low energy, BLE), NFC, Wi-Fi direct 중 적어도 하나를 포함할 수 있으며 그 종류에는 제한이 없다. 일 실시 예에 따르면, 전자 펜(500)과 전자 장치(600) 사이의 통신 연결은 전자 펜(500)이 전자 장치(600)로부터 탈착되는 경우 수립될 수 있고, 일 실시 예에 따르면 전자 장치(600)에서 전자 펜(500)과 연관된 어플리케이션이 실행되는 경우에 수립될 수도 있다.
일 실시 예에 따르면, 전자 펜(500)과 연관된 어플리케이션은 어플리케이션의 적어도 하나의 기능이 전자 펜(500)의 제스처에 맵핑되어 실행되도록 설정된 어플리케이션일 수 있다. 일 실시 예에 따르면, 전자 펜(500)과 연관된 어플리케이션은 전자 장치(600)에서 인식된 전자 펜(500)의 제스처에 대응되는 기능을 수행하도록 미리 설정된 어플리케이션일 수 있으며, 예를 들면 카메라(camera) 어플리케이션, 뮤직(music) 어플리케이션, 갤러리(gallery) 어플리케이션, 노트(note) 어플리케이션, 및 인터넷(internet) 어플리케이션을 포함할 수 있다.
일 실시 예에 따른 프로세서(640)는, 동작 930에서 근거리 통신 연결을 통해 전자 펜(500)에 의해 감지되고 전자 펜(500)의 제스처를 나타내는 제1 센서 데이터를 수신할 수 있다. 일 실시 예에 따르면, 프로세서(640)는 무선 통신 회로(660)를 통하여 전자 펜(500)의 일 측에 위치한 버튼(예: 도 1의 버튼(201b))의 눌림 상태를 나타내는 정보를 전자 펜(500)으로부터 수신할 수 있으며, 프로세서(640)는 전자 펜(500) 버튼의 눌림 상태를 나타내는 정보를 수신한 경우, 이를 전자 펜(500)의 제스처를 인식하기 위한 개시 이벤트로 인식할 수 있다. 전자 펜(500)의 버튼은 물리 키(key), 터치 키(key), 모션 키(key), 압력 키(key), 및 키리스(keyless) 방식 중 적어도 하나의 방식으로 구현될 수 있으며 구현 형태에는 제한이 없다.
전자 펜(500)에 의해 감지되는 센서 데이터(예: 제1 센서 데이터, 제2 센서 데이터)는 전자 펜(500)의 센서 회로(550)(예: 도 4의 센서(299))에 포함된 자이로 센서(451), 가속도 센서(452), 또는 지자계 센서로부터 획득한 모션에 대한 센싱 데이터로서, 전자 펜(500)의 위치에 관한 정보를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(600)는 무선 통신 회로(660)를 통하여 자이로 센서(451), 가속도 센서(452), 또는 지자계 센서로부터 획득한 센서 데이터를 수신 받을 수 있다.
제1 센서 데이터는 전자 펜(500) 또는 근거리 통신 연결과 연관된 파라미터를 변경하기 위한 동작이 수행되기 이전에 전자 펜(500)으로부터 수신된 전자 펜(500)의 위치 정보에 관한 데이터이고, 제2 센서 데이터는 전자 펜(500) 또는 근거리 통신 연결과 연관된 파라미터를 변경하기 위한 동작이 수행된 이후에 전자 펜(500)으로부터 수신된 전자 펜(500)의 위치 정보에 관한 데이터일 수 있다. 일 실시 예에 따르면, 프로세서(640)는 수신된 제1 센서 데이터 및 제2 센서 데이터의 적어도 일부에 기반하여 전자 펜(500)의 위치에 관한 정보(예: 전자 펜(500)의 좌표 및/또는 변위)를 연산하고 전자 펜(500)의 제스처를 인식할 수 있다.
전자 장치(600)가 인식하는 전자 펜(500)의 제스처는, 전자 펜(500)이 움직이는 일련의 동작을 추적한 데이터를 몇 가지의 패턴으로 분류한 것으로서, 예를 들면 스와이프(swipe) 제스처, 서클(circle) 제스처, 및 쉐이크(shake) 제스처를 포함할 수 있다. 스와이프(swipe) 제스처는 상측(up) 스와이프 제스처, 하측(down) 스와이프 제스처, 좌측(left) 스와이프 제스처, 및 우측(right) 스와이프 제스처를 포함할 수 있으며, 서클(circle) 제스처는 시계 방향(clockwise) 서클 제스처와 반시계 방향(counter clockwise) 서클 제스처를 포함할 수 있다.
다시 도 9를 참조하면, 일 실시 예에 따른 프로세서(640)는 동작 940에서 제1 센서 데이터에 기반한 전자 펜(500)의 제스처 인식이 지정된 조건을 만족하는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 제스처 인식이 지정된 조건을 만족하는지 여부는 전자 장치(600)가 수신한 제1 센서 데이터에 기반하여 전자 펜(500)의 움직임을 하나의 제스처로 판단할 수 있는지 여부일 수 있다.
일 실시 예에 따르면, 프로세서(640)는 전자 펜(500)으로부터 수신한 센서 데이터(예: 제1 센서 데이터)에 기반하여 전자 펜(500)의 움직임을 기 설정된 복수개의 제스처 중 하나의 제스처로 판단할 수 있다. 일 실시 예에 따르면, 프로세서(640)는 제스처를 인식하기 위하여 제스처 검출을 위한 제스처 디텍터(gesture detector)를 실행할 수 있으며, 제스처 디텍터는 스와이프 제스처 디텍터 (swipe gesture detector)와 서클 제스처 디텍터(circle gesture detector)를 포함할 수 있고, 필요에 따라 쉐이크 제스처 디텍터(shake gesture detector)를 더 포함할 수 있다. 스와이프(swipe) 제스처 디텍터는 상측(up) 스와이프 제스처, 하측(down) 스와이프 제스처, 좌측(left) 스와이프 제스처, 및 우측(right) 스와이프 제스처를 인식할 수 있으며, 서클(circle) 제스처 디텍터는 시계 방향(clockwise) 서클 제스처와 반시계 방향(counter clockwise) 서클 제스처를 인식할 수 있고, 쉐이크(shake) 제스처 디텍터는 좌우로 흔드는 쉐이크 제스처를 인식할 수 있다. 이하 제스처 디텍터에서의 제스처 인식 동작에 관하여 자세히 설명한다.
전자 펜(500)의 버튼이 눌러 짐에 따라 전자 펜(500)의 센서 데이터가 전자 장치(600)로 전송되면, 프로세서(640)는 수신된 센서 데이터를 스와이프 제스처 디텍터, 서클 제스처 디텍터, 및 쉐이크 제스처 디텍터에 전달하고, 디텍터에 속한 제스처들(예: 상측/하측/좌측/우측 스와이프 제스처, 시계 방향/반시계 방향 서클 제스처, 쉐이크 제스처) 각각의 점수를 계산(scoring)하여 판단 기준을 만족하는 제스처를 제스처 후보군으로 수집할 수 있다. 일 실시 예에 따르면, 제스처 디텍터는 파라미터를 이용한 스코어링 방식을 통하여 제스처 후보군을 수집할 수 있다. 상술한 제스처 후보군을 수집하는 과정은 전자 펜(500)의 버튼 눌림이 해제(release)되어 전자 펜(500)으로부터 센서 데이터 수신이 중지될 때까지(또는, 수신된 센서 데이터로부터 확인된 움직임이 일정 범위 내에 유지할 때까지) 수행될 수 있다. 프로세서(640)는 수집된 제스처 후보군들을 비교하여, 실행 중인 어플리케이션의 기능이 맵핑되어 있는 제스처 중 가장 적절한 제스처를 전자 펜(500)의 제스처로 결정할 수 있고, 이를 통해 제스처를 인식할 수 있다. 일 실시 예에 따르면, 프로세서(640)는 제스처 후보군 별 스코어링 결과에 기반하여 제스처 후보군들 중 하나의 제스처를 선택할 수 있다. 예를 들면, 프로세서(640)는 스코어링 결과가 가장 양호한 제스처를 선택할 수 있으며, 선택된 제스처가 전체 진행 거리의 50% 이상을 점유하는 경우에 전자 펜(500)의 제스처로 인식되도록 설정할 수도 있다. 이에 따라, 프로세서(640)는 인식된 제스처에 맵핑된 기능을 실행하기 위한 명령을 어플리케이션에 전달할 수 있다.
일 실시 예에 따르면, 프로세서(640)가 제스처 인식에 실패한 경우, 예를 들면 디텍터에서 산출된 제스처 후보군이 없거나 제스처 후보군이 있더라도 현재 실행 중인 어플리케이션에서 기능이 맵핑되어 있지 않은 경우, 전자 장치(600)는 지속적으로 전자 펜(500)으로부터 센서 데이터를 수신할 수 있다. 일 실시 예에 따른 프로세서(640)는 전자 펜(500)으로부터 수신된 센서 데이터가 시계열적으로 누적됨에 따라 누적된 센서 데이터 중 적어도 일부에 기반하여 제스처를 인식할 수 있다. 이하 도 10 및 도 11을 이용하여 제스처 디텍터에서 파라미터를 이용하여 스코어링을 수행하는 동작을 설명한다.
도 10은 일 실시 예에 따른 전자 장치의 스와이프 제스처 디텍터에서 파라미터를 이용하여 스코어링을 수행하는 방법을 설명하는 예시도이다.
아래의 표 1은 일 실시 예에 따른 스와이프 제스처 디텍터에서 파라미터 별 스코어링 방식과 판단 기준을 나타낸다.
한정 사항 a: 직각 방향으로 1회 이동 간 허용 범위
b: 진행 방향 최소 이동 거리
c: 시작점으로부터 직각 방향으로 최대 허용 범위
d: 제스처로 판정되기 위한 최소 거리
NOK 1. 1회 이동에 직각 방향으로 a보다 크게 움직인 경우 (다만, 진행 방향 이동 거리가 더 큰 경우에는 OK로 간주)2. 진행 방향으로 b보다 적게 이동한 경우
3. 직각 방향으로 시작점 대비 c 이상 떨어진 경우 (다만, 진행 방향 이동 거리가 더 큰 경우에는 OK로 간주)
critical 역방향으로 이동
OK 1. 방향 정상 이동
2. NOK 조건 1, 3의 예외 상황
판단 기준 1. critical이 4개 이하 and NOK가 10개 이하
2. 동일한 방향으로의 OK 개수가 2개 이상 or 동일한 방향으로의 이동 거리가 d 이상
표 1을 참조하여 도 10의 스와이프 제스처 스코어링 방식을 설명하면, 프로세서(640)(또는 스와이프 제스처 디텍터)는 전자 펜(500)의 버튼(201b)이 눌려진 상태에서 이동되는 동안(예: 도 10의 기준 좌표(0,0)에서부터 END 좌표(1006)까지) 전자 펜(500)으로부터 수신된 센서 데이터에 기반하여 좌표 정보를 생성할 수 있고, 생성된 각 좌표 별 스코어링을 수행할 수 있다.
도 10을 참조하면, 프로세서(640)(또는 스와이프 제스처 디텍터)는 전자 펜(500)으로부터 수신된 센서 데이터에 기반하여 제1 좌표(1001), 제2 좌표(1002), 제3 좌표(1003), 제4 좌표(1004), 제5 좌표(1005), 및 제6 좌표(1006)를 생성할 수 있다. 프로세서(640)는 제1 좌표(1001)가 기준 좌표(0,0)를 기준으로 우측 방향으로 b 이상 진행하고 직각 방향으로 a 미만을 진행한 것을 확인할 수 있고, NOK의 1 번 조건 및 2번 조건을 불만족하며 OK의 조건을 만족하는 것을 확인할 수 있다. 이에 따라, 프로세서(640)는 제1 좌표(1001)에 대하여 OK의 1 증가 스코어링을 수행할 수 있다. 프로세서(640)는 제2 좌표(1002)가 제1 좌표(1001)를 기준으로 우측 방향으로 b 이상 진행하고 직각 방향으로 a 이상을 진행한 것을 확인할 수 있고, NOK의 1번 조건이 만족되면서 동시에 NOK의 1의 예외 상황(진행 방향 이동 거리가 직각 방향 이동 거리보다 큰 경우)이 만족됨을 확인할 수 있다. 이에 따라, 프로세서(640)는 제 2 좌표(1002)에 대하여 OK의 1 증가 스코어링을 수행할 수 있다. 상술한 동작을 통하여, 프로세서(640)는 제3 좌표(1003), 제4 좌표(1004), 제5 좌표(1005), 및 제6 좌표(1006)에 NOK, OK, critical 각각의 1 증가 스코어링을 수행할 수 있다. 특히, 프로세서(640)는 제4 좌표(1004)를 기준으로 제5 좌표(1005)의 x축 방향의 변위는 좌측 방향임을 확인할 수 있으며, 역방향 이동에 대응하는 critical의 1 증가 스코어링이 수행될 수 있다. 프로세서(640)는 critical의 점수가 임계치인 4 이하이며 NOK의 점수가 임계치인 10개 이하임을 확인할 수 있고 우측 방향으로의 이동 거리가 d 이상임을 확인할 수 있다. 판단 기준의 조건이 모두 만족됨에 기반하여, 프로세서(640)는 전자 펜(500)의 제스처가 우측 방향의 스와이프 제스처임을 확인할 수 있고, 확인된 제스처를 제스처 후보군으로 수집할 수 있다.
도 11은 일 실시 예에 따른 전자 장치의 서클 제스처 디텍터에서 파라미터를 이용하여 스코어링을 수행하는 방법을 설명하는 예시도이다.
아래의 표 2는 일 실시 예에 따른 서클 제스처 디텍터에서 파라미터 별 스코어링 방식과 판단 기준을 나타낸다.
한정 사항 a: 시작점/중심점/종료점이 이루는 각도
w: 제스처의 너비
h: 제스처의 높이
NOK 인접하는 3개의 좌표가 일직선을 구성하는 경우
Critical 반대 방향으로 회전(인접하는 3개의 좌표가 이루는 각도가 반대 방향)
OK 진행방향으로 정상 이동
판단 기준 1. Critical이 3개 이하 and NOK가 5개 이하
2. 동일한 방향으로의 OK 개수가 6개 이상
3. w/h가 0.35 이상 or h/w가 0.35 이상
4. a<90도
표 2를 참조하여 도 11의 서클 제스처 스코어링 방식을 설명하면, 프로세서(640)(또는 서클 제스처 디텍터)는 전자 펜(500)의 버튼(201b)이 눌려진 상태에서 이동되는 동안(예: 도 11의 기준 좌표(0,0)에서부터 END 좌표(1111)까지) 전자 펜(500)으로부터 수신된 센서 데이터에 기반하여 좌표 정보를 생성할 수 있고, 생성된 각 좌표 별 스코어링을 수행할 수 있다.
도 11을 참조하면, 프로세서(640)(또는 서클 제스처 디텍터)는 전자 펜(500)으로부터 수신된 센서 데이터에 기반하여 제1 좌표(1101), 제2 좌표(1102), 제3 좌표(1103), 제4 좌표(1104), 제5 좌표(1105), 제6 좌표(1106), 제7 좌표(1107), 제8 좌표(1108), 제9 좌표(1109), 제10 좌표(1110), 및 제11 좌표(1111)를 생성할 수 있다. 프로세서(640)는 기준 좌표(0,0), 제1 좌표(1101), 및 제2 좌표(1102)가 이루는 각도가 반시계 방향을 이루는 것을 확인할 수 있으며, OK 파라미터가 만족되므로 제2 좌표(1102)에 OK의 1 증가의 스코어링을 수행할 수 있다. 프로세서(640)는 제2 좌표(1102), 제3 좌표(1103), 및 제4 좌표(1104)가 이루는 각도가 직선임을 확인할 수 있으며 제4 좌표(1104)에 NOK의 1 증가의 스코어링을 수행할 수 있다. 프로세서(640)는 제5 좌표(1105), 제6 좌표(1106), 및 제7 좌표(1107)가 이루는 각도가 시계 방향에 대응됨을 확인할 수 있으며, 제7 좌표(1107)에 critical의 1 증가의 스코어링을 수행할 수 있다. 프로세서(640)는 상기의 방식으로 제11 좌표(1111)까지 순차적으로 스코어링을 수행할 수 있으며, 누적 스코어링 결과로 OK(8), NOK(1), critical(1)의 값을 확인할 수 있다.
표 2의 판단 기준을 참조하면, 도 11에서 상기 누적 스코어링 결과 값(OK(8), NOK(1), critical(1))이 판단 기준 1과 판단 기준 2를 만족하는 것을 알 수 있다. 프로세서(640)는 좌표들 전체의 x축 방향의 최대 편차인 w 값과 y축 방향의 최대 편차인 h 값을 연산할 수 있고, w/h 또는 h/w가 0.35 이상인지 연산하여 판단 기준 3의 만족 여부를 확인할 수 있다. 프로세서(640)는 시작점인 기준 좌표(0,0), 중간 지점인 제6 좌표(1106), 및 종료 지점인 제11 좌표(1111)가 이루는 각도인 a 값을 연산할 수 있고, 이에 따라 판단 기준 4의 만족 여부를 확인할 수 있다. 상기의 동작을 거쳐 판단 기준 1 내지 4 가 모두 만족되는 경우, 프로세서(640)는 OK 방향에 따라 반시계 방향의 서클 제스처임을 확인할 수 있고 확인된 반시계 방향 서클 제스처를 제스처 후보군으로 수집할 수 있다.
한편, 상술한 표 1 및 표 2의 조건은 예시적인 것으로 변형 가능하며, 프로세서(640)는 전자 장치(600)의 상태 또는 사용자에 따라 상이한 스코어링 방식 및 판단 조건을 적용할 수 있다. 예를 들어, 전자 장치(600)가 정지 상태, 걷는 상태, 또는 뛰는 상태에 있는 경우에 대하여 각각 상이한 스코어링 방식 및 판단 조건을 적용할 수 있다. 일 실시 예에 따르면, 프로세서(640)는 사용자별 제스처 습관에 기반하여 스코어링 방식 및 판단 조건을 조정할 수도 있으며 추후 조정된 스코어링 방식 및 판단 조건을 적용할 수 있다.
상술한 스와이프 제스처 디텍터에서의 스코어링 방식과 서클 제스처 디텍터에서의 스코어링 방식뿐만 아니라, 쉐이크 제스처 디텍터에서도 쉐이크 제스처를 판단하기 위한 스코어링 수행 방법이 존재할 수 있으며, 쉐이크 제스처를 인식하기 위하여 다양한 스코어링 방식이 적용될 수 있다.
일 실시 예에 따르면, 프로세서(640)는 상술한 스코어링 방식으로 수집된 제스처 후보군을 비교하여 가장 적절한 제스처를 전자 펜(500)의 제스처로 인식할 수 있고, 이에 따라 도 9의 동작 940에서 제스처 인식의 지정된 조건이 만족됨을 판단(940-예)할 수 있다. 도 9의 동작 940에서 제스처 인식의 지정된 조건을 만족하는 경우(940-예), 프로세서(640)는 인식된 제스처에 기반하여 어플리케이션의 기능을 제어할 수 있고 지속해서 전자 펜(500)으로부터 센서 데이터를 수신할 수도 있다.
다시 도 9를 참조하면, 프로세서(640)가 동작 940에서 제스처 인식이 지정된 조건을 만족하지 못하는 경우(940-아니오), 즉 제스처 후보군이 없거나 제스처 후보군들 중 적절한 제스처를 선택할 수 없어 제스처 인식에 실패한 경우, 일 실시 예에 따른 프로세서(640)는 동작 950에서 전자 펜(500) 또는 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행할 수 있다. 일 실시 예에 따르면, 전자 펜(500)과 연관된 파라미터는 데이터 출력 빈도(output data rate, ODR)를 포함할 수 있으며, 근거리 통신 연결 파라미터는 페이로드(payload), 커넥션 인터벌(connection interval), 및 슬레이브 레이턴시(slave latency) 중 적어도 하나를 포함할 수 있다. 이하 도 12 내지 도 17을 이용하여 전자 펜(500) 또는 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 설명한다.
도 12는 일 실시 예에 따른 전자 장치에서 전자 펜(500)의 제스처를 인식하는 방법에서 동작 950을 설명하는 흐름도이다.
도 12를 참조하면, 일 실시 예에 따른 프로세서(640)는 전자 펜(500)과 연관된 파라미터(예: 데이터 출력 빈도)를 변경하기 위하여, 전자 펜(500)으로 데이터 출력 빈도(output data rate, ODR)를 제1 비율에서 제2 비율로 변경하는 명령을 전송하는 동작(1210) 및 변경된 데이터 출력 빈도에 따른 센서 데이터를 수신하는 동작(1220)을 수행할 수 있다. 일 실시 예에 따르면 제2 비율은 제1 비율보다 높을 수 있으며, 제1 센서 데이터는 제1 비율의 데이터 출력 빈도를 가지고 제2 센서 데이터는 제2 비율의 데이터 출력 빈도를 가질 수 있다.
데이터 출력 빈도(output data rate, ODR)는 전자 펜(500)의 센서(예: 도 4의 센서(299))에서 센서 데이터를 출력하는 빈도로서 전자 펜(500)의 움직임 정보에 관한 데이터를 샘플링하는 속도일 수 있다. 전자 펜(500)이 기 설정된 데이터 출력 빈도 값의 변경 없이 데이터를 출력한다면, 전자 펜(500)의 움직임이 매우 빠른 경우 즉 전자 펜(500)의 센서에서 출력되는 신호가 급격하게 변화하는 경우, 사전에 설정된 ODR 값이 상대적으로 낮을 수 있다. 따라서 센서 데이터는 센서에서 출력되는 신호의 변화를 충분히 반영하지 못할 수 있고 결국 전자 장치(600)에서 전자 펜(500)의 움직임을 감지하는 감도의 저하를 초래할 수 있다. 반대로 전자 펜(500)의 움직임이 매우 느린 경우 즉 전자 펜(500)의 센서에서 출력되는 신호가 완만하게 변화하는 경우, 사전에 설정된 ODR 값이 상대적으로 높을 수 있다. 따라서 센서에서 출력되는 신호의 변화가 천천히 발생하고 있음에도 불구하고 불필요하게 많은 센서 데이터를 출력하게 되므로 전력이 낭비될 수 있다.
일 실시 예에 따르면, 프로세서(640)는 동작 940에서 제스처 인식에 실패한 경우 데이터 출력 빈도 값을 동적으로 변경할 수 있다. 일 실시 예에 따르면, 프로세서(640)는 수신된 센서 데이터에 기반하여 신호의 변화율과 스코어링 결과에 따라 데이터 출력 빈도를 조절할 수 있다. 예를 들면, 프로세서(640)는 스코어링을 연산하기에 신호 변화율이 낮은 경우(즉, 전자 펜(500)의 움직임이 상대적으로 느린 경우) ODR 값을 감소시키고, 스코어링을 연산하기에 신호 변화율이 높은 경우(즉, 전자 펜(500)의 움직임이 상대적으로 빠른 경우) ODR 값을 증가시키는 방식으로 ODR 값을 제어할 수 있다. 이하 전자 펜(500)에서 ODR 값을 제어하는 방법을 설명한다.
일 실시 예에 따르면, 전자 펜(500)의 센서(예: 가속도 센서)는 파워 다운 모드, 초 저전력 모드, 저전력 모드, 정상 모드, 및 고성능 모드의 다섯 가지 작동 모드 중 하나의 작동 모드로 작동할 수 있으며 설정된 비트 값에 따라 선택된 동작 모드가 상이할 수 있다. 예를 들면, 모드 비트 값이 '0'으로 설정된 경우 모든 ODR 값(예: 12.5 Hz ~ 6.66 kHz)에 대해 고성능 모드가 유효할 수 있다. 모드 비트 값이 '1'로 설정된 경우 저전력 모드 및 정상 모드를 활성화할 수 있으며, 저전력 모드는 1.6 Hz, 12.5 Hz, 26 Hz, 52 Hz 등의 ODR 값에서 사용할 수 있고 일반 모드는 104 Hz, 208 Hz 등의 ODR 값에서 사용할 수 있다.
일 실시 예에 따르면, 전자 펜(500)의 센서(예: 자이로 센서)는 파워 다운 모드, 저전력 모드, 정상 모드, 및 고성능 모드의 네 가지 작동 모드 중 하나의 작동 모드로 작동할 수 있으며 설정된 비트 값에 따라 선택된 동작 모드가 상이할 수 있다. 예를 들면, 모드 비트 값이 '0'으로 설정된 경우 모든 ODR 값(예: 12.5 Hz ~ 6.66 kHz)에 대해 고성능 모드가 유효할 수 있다. 모드 비트 값이 '1'로 설정된 경우 저전력 모드 및 정상 모드를 활성화할 수 있으며, 저전력 모드는 12.5 Hz, 26 Hz, 52 Hz 등의 ODR 값에서 사용할 수 있고 일반 모드는 104 Hz, 208 Hz 등의 ODR 값에서 사용할 수 있다.
도 13은 일 실시 예에 따른 전자 장치에서 전자 펜(500)의 제스처를 인식하는 방법에서 동작 950을 설명하는 흐름도이다.
도 13을 참조하면, 일 실시 예에 따른 프로세서(640)는 근거리 통신 연결(예: BLE)과 연관된 파라미터(예: 페이로드)를 변경하기 위하여, 페이로드(payload)를 제1 용량에서 제2 용량으로 변경하는 동작(1310) 및 변경된 페이로드(payload)에 따른 센서 데이터를 수신하는 동작(1320)을 수행할 수 있다. 일 실시 예에 따르면 제2 용량은 제1 용량보다 클 수 있으며, 제1 센서 데이터는 제1 용량의 페이로드를 가지고 제2 센서 데이터는 제2 용량의 페이로드를 가질 수 있다. 이에 따라, 프로세서(640)는 '1 페이로드 당 1 센서 데이터 전송'에서 '1 페이로드 당 n 센서 데이터 전송'으로 변경하도록 통신 연결을 제어할 수 있다.
도 14a는 일 실시 예에 따른 전자 장치에서 전자 펜(500)의 제스처를 인식하는 방법에서 페이로드(payload) 변경 전 센서 데이터 수신 동작을 설명하는 예시도이고, 도 14b는 일 실시 예에 따른 전자 장치에서 전자 펜(500)의 제스처를 인식하는 방법에서 페이로드(payload) 변경 후 센서 데이터 수신 동작을 설명하는 예시도이다.
도 14a에서 그래프(1410a)는 페이로드(payload) 변경 전 시간에 따라 수신되는 일련의 센서 데이터(P1, P2, P3, P4, P5, P6)를 시간 t축에 나타낸 것이고, 좌표(1420a)는 수신된 센서 데이터를 위치 좌표(d1, d2, d3, d4, d5, d6)로 변환한 모습을 전자 장치(600)에 출력한 것이다. 도 14b에서 그래프(1410b)는 페이로드(payload) 변경 후 시간에 따라 수신되는 일련의 센서 데이터(P1, P2, P3, P4, P5, P6)를 시간 t축에 나타낸 것이고, 좌표(1420b)는 수신된 센서 데이터를 위치 좌표(d1a와 d1b, d2a와 d2b, d3a와 d3b, d4a와 d4b, d5a와 d5b, d6a와 d6b)로 변환한 모습을 전자 장치(600)에 출력한 것이다.
일 실시 예에 따르면, 도 13의 동작 1310에서 페이로드 크기가 제1 용량에서 제2 용량으로 변경됨에 따라, 도 14a의 하나의 페이로드 당 하나의 위치 좌표에 대한 센서 데이터만 수신하던 것에서, 도 14b의 하나의 페이로드 당 두 개의 위치 좌표에 대한 센서 데이터를 수신하는 것으로 변경(예: 도 13의 동작 1320)할 수 있다. 일 실시 예에 따르면, 프로세서(640)는 전자 장치(600)와 전자 펜(500) 사이의 통신 연결(예: BLE)에서 페이로드 크기를 변경(예: 도 13의 1310 동작)함으로써 한번에 많은 센서 데이터를 수신(예: 도 13의 1320 동작)할 수 있으며, 결국 제스처 인식율을 개선할 수 있다. 이하 도 15를 이용하여 페이로드에 관하여 자세히 설명한다.
도 15는 일 실시 예에 따른 전자 장치에서 전자 펜(500)의 제스처를 인식하는 방법에서 페이로드(payload)를 설명하는 모식도이다. 전자 펜(500)은 센서 데이터를 블루투스 패킷(Bluetooth packet) 형태로 전자 장치(600)로 주기적으로 전송할 수 있으며, 도 15는 페이로드를 설명하기 위해 블루투스 패킷(Bluetooth packet) 포맷을 나타내는 도면이다.
도 15를 참조하면 블루투스 패킷(1500)은 패킷의 유효여부를 판단하기 위한 액세스 코드(access code, 1510), 헤더(header, 1520)(예: 도 8의 810), 및 페이로드(payload, 1530)(예: 도 8의 820)를 포함할 수 있다. 액세스 코드(1510)는 패킷의 유효성 판단에 이용될 수 있고, 헤더(1520)는 MAC(media access control) 주소, 및 패킷 타입을 포함할 수 있다. 페이로드(1530)는 전송되는 데이터(예: 센서 데이터)를 포함할 수 있으며 전송되는 패킷의 종류에 따라 크기가 변경될 수 있다. 전자 장치(600)로 전송되는 센서 데이터는 블루투스 패킷(1500)의 페이로드(1530)에 포함될 수 있다. 페이로드(1530)는 페이로드 길이(payload length, 1531), 애드벌타이징 데이터 타입(advertising data type, 1532), 플래그 밸류(flags values, 1533), 애드벌타이징 데이터 길이(advertising data length, 1534), 애드벌타이징 데이터 타입(advertising data type, 1535), 및 제조사 특성 데이터(manufacturer specific data, 1536)를 포함할 수 있으며, 전자 펜(500)의 센서 데이터 전부 또는 일부는 제조사 특성 데이터(1536)에 포함될 수 있다. 제조사 특성 데이터(1536)는 컴퍼니 식별자(company ID, 1536a), 버전(version, 1536b), 서비스 식별자(service ID, 1536c), 및 서비스 특성 데이터(service specific data, 1536d)를 포함할 수 있다. 전자 펜(500)의 센서 데이터 전부 또는 일부는 서비스 특성 데이터(1536d)에 포함될 수 있다. 서비스 특성 데이터(1536d)는 장치 타입(device type, 1536da), 장치 상태(device status, 1536db), 블루투스 장치 주소(Bluetooth device address, 1536dc), 및 추가 정보(additional information, 1536dd)를 포함할 수 있다.
도 16 및 도 17은 일 실시 예에 따른 전자 장치에서 전자 펜(500)의 제스처를 인식하는 방법에서 동작 950을 설명하는 흐름도이다. 일 실시 예에 따른 프로세서(640)는 동작 950에서 근거리 통신 연결(예: BLE)과 연관된 파라미터 중 전자 장치(600)와 전자 펜(500) 사이 통신 주기를 나타내는 커넥션 파라미터를 변경할 수 있다.
일 실시 예에 따르면, 전자 장치(600)와 전자 펜(500) 사이 근거리 통신 연결은 BLE(Bluetooth low energy) 통신 기술을 사용할 수 있으며, BLE 통신에서 연결을 요청하고 관리하는 장치를 마스터(master)라 칭하고 마스터의 연결 요청을 받아들이고 마스터의 연결 관리에 따르는 장치를 슬레이브(slave)라 칭할 수 있다. 일반적으로 장치들 중 상대적으로 보유 전력이 적거나 전력 소모가 적어야 하는 장치가 슬레이브 역할을 할 수 있다. 마스터 장치(예: 전자 장치(600))와 슬레이브 장치(예: 전자 펜(500)) 사이 시간 당 데이터 교환 량이 적은 경우 전력 소모가 감소하는 반면 신속한 데이터 교환이 어려워질 수 있고, 반대로 시간 당 데이터 교환 량이 많은 경우 전력 소모가 증가하는 반면 신속한 데이터 교환이 용이할 수 있다.
일 실시 예에 따르면, 프로세서(640)는 상황에 따라 BLE 통신의 커넥션 인터벌(connection interval) 및/또는 슬레이브 레이턴시(slave latency)를 동적으로 조정하여 제스처 오인식을 개선할 수 있다. 일 실시 예에 따르면, 두 개의 장치(예: 전자 펜(500)과 전자 장치(600)) 사이 데이터 통신(connection event)이 주기적으로 이루어지는 과정에서, 커넥션 인터벌은 각 통신의 시작 시점 사이의 간격을 의미할 수 있다. 예를 들면, 커넥션 인터벌은 약 7.5 ms ~ 4 s 사이의 값을 가질 수 있으며 배터리 소모와 연관될 수 있다. 상기 커넥션 인터벌의 값은 일 예시이며, 이에 한정하지 않는다. 일 실시 예에 따르면, 슬레이브 레이턴시는 슬레이브 장치(예: 전자 펜(500))가 주기적으로 이루어지는 데이터 통신(connection event)에 응답하지 않더라도 연결해제 되지 않는 횟수에 관한 데이터일 수 있다. 프로세서(640)는 BLE 로 연결된 두 장치들(예: 전자 장치(600), 전자 펜(500)) 간의 커넥션 파라미터 값들을 동적으로 변경함으로써 데이터 통신 주기를 변경할 수 있고, 연결된 장치들이 상황 변화에 즉각적으로 반응하도록 하여 사용자가 지연 없는 사용 시나리오를 경험하도록 할 수 있다.
도 16을 참조하면, 일 실시 예에 따른 프로세서(640)는 커넥션 파라미터 중 커넥션 인터벌(connection interval)을 변경하기 위하여, 커넥션 인터벌을 제1 간격에서 제2 간격으로 변경하기 위한 명령을 전자 펜(500)으로 전송하는 동작(1610), 전자 펜(500)으로부터 응답을 수신하는 동작(1620), 및 변경된 커넥션 인터벌에 따른 센서 데이터를 수신하는 동작(1630)을 수행할 수 있다. 일 실시 예에 따르면 제2 간격은 제1 간격보다 짧을 수 있으며, 제1 센서 데이터 수신에서의 통신은 제1 간격의 커넥션 인터벌을 가지고 수행될 수 있고, 제2 센서 데이터 수신에서의 통신은 제2 간격의 커넥션 인터벌을 가지고 수행될 수 있다.
프로세서(640)는 동작 1610에서 커넥션 인터벌을 변경하기 위하여 해당 값들을 커넥션 인터벌 변경 요청 메시지에 포함하여 무선 통신 회로(660)를 통해 전자 펜(500)으로 전송할 수 있다. 일 실시 예에 따르면, 프로세서(640)는 전자 펜(500)과 미리 통신 연결된 채널을 통해 커넥션 인터벌 변경 요청 메시지를 전자 펜(500)으로 전송할 수 있다. 프로세서(640)는 동작 1620에서 커넥션 인터벌 변경 요청 메시지에 대응하는 응답 메시지를 전자 펜(500)으로부터 수신할 수 있으며, 이에 따라 동작 1630에서 변경된 커넥션 인터벌에 따른 센서 데이터를 수신할 수 있다.
도 17을 참조하면, 일 실시 예에 따른 프로세서(640)는 커넥션 파라미터 중 슬레이브 레이턴시(slave latency)를 변경하기 위하여, 슬레이브 레이턴시를 제1 길이에서 제2 길이로 변경하기 위한 명령을 전자 펜(500)으로 전송하는 동작(1710), 전자 펜(500)으로부터 응답을 수신하는 동작(1720), 및 변경된 슬레이브 레이턴시에 따른 센서 데이터를 수신하는 동작(1730)을 수행할 수 있다. 일 실시 예에 따르면 제2 길이는 제1 길이보다 짧을 수 있으며, 제1 센서 데이터 수신에서의 통신은 제1 길이의 슬레이브 레이턴시를 가지고 수행될 수 있고, 제2 센서 데이터 수신에서의 통신은 제2 길이의 슬레이브 레이턴시를 가지고 수행될 수 있다.
프로세서(640)는 동작 1710에서 슬레이브 레이턴시를 변경하기 위하여 해당 값들을 슬레이브 레이턴시 변경 요청 메시지에 포함하여 무선 통신 회로(660)를 통해 전자 펜(500)으로 전송할 수 있다. 일 실시 예에 따르면, 프로세서(640)는 전자 펜(500)과 미리 통신 연결된 채널을 통해 슬레이브 레이턴시 변경 요청 메시지를 전자 펜(500)으로 전송할 수 있다. 프로세서(640)는 동작 1720에서 슬레이브 레이턴시 변경 요청 메시지에 대응하는 응답 메시지를 전자 펜(500)으로부터 수신할 수 있으며, 이에 따라 동작 1730에서 변경된 슬레이브 레이턴시에 따른 센서 데이터를 수신할 수 있다.
일 실시 예에 따르면, 도 16과 도 17에서 커넥션 인터벌 변경 요청 메세지와 슬레이브 레이턴시 변경 요청 메세지는 커넥션 파라미터 변경 요청 메세지로서 하나의 메시지에 포함되어 전자 펜(500)으로 전송될 수 있다. 일 실시 예에 따르면, 프로세서(640)는 전자 장치(600)와 전자 펜(500) 사이의 통신 연결(예: BLE)에서 커넥션 파라미터 값들을 변경함으로써 데이터 송수신 주기를 조절할 수 있으며, 결국 제스처 인식율을 개선할 수 있다.
일 실시 예에 따르면, 프로세서(640)는 사용자의 전자 펜(500) 사용 패턴을 분석 및 학습하여 제스처 별 스코어링이 비정상 패턴에 해당하는지 여부를 판단할 수 있고, 이에 따라 전자 펜(500) 또는 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작(950)을 수행할 수 있다. 예를 들면, 사용자가 평소 빠른 속도로 시계 방향 서클 제스처를 수행한다면 프로세서(640)는 관련 데이터를 저장하여 학습할 수 있다. 만약 학습된 패턴과 달리 사용자가 느린 속도로 시계 방향 서클 제스처를 수행하는 경우 프로세서(640)는 이를 비정상 패턴으로 판단할 수 있고, 제스처 인식율을 개선하기 위한 동작(예: 도 9의 950)을 수행할 수 있다. 즉 프로세서(640)가 수신된 센터 데이터로부터 비정상 패턴을 감지하게 되면, 상술한 데이터 출력 빈도, 페이로드, 커넥션 인터벌, 및 슬레이브 레이턴시 중 적어도 하나를 변경하기 위한 동작을 수행(950)할 수 있다.
다시 도 9를 참조하면, 일 실시 예에 따른 프로세서(640)는 동작 960에서 전자 펜(500)에 의해 감지되는 제2 센서 데이터를 전자 펜(500)으로부터 수신할 수 있다. 제2 센서 데이터는, 동작 950을 통하여 전자 펜(500) 또는 근거리 통신 연결과 연관된 파라미터(예: 데이터 출력 빈도, 페이로드, 커넥션 인터벌, 슬레이브 레이턴시)가 변경된 후 수신되는 센서 데이터로서, 제1 센서 데이터에 비하여 많은 양의 데이터를 포함할 수 있다.
도 18은 일 실시 예에 따른 전자 장치(600)에서 파라미터 변경 후 수신되는 제2 센서 데이터를 설명하는 예시도이다. 도 18을 참조하면, 전자 펜(500) 또는 근거리 통신 연결과 연관된 파라미터가 변경되기 전에는, 시계 방향 서클 제스처가 수행될 때(1810) 전자 장치(600)는 서클 제스처를 인식 하기 위해 필요한 데이터양보다 적은 양의 센서 데이터를 전송 받을 수 있지만(1820), 전자 펜(500) 또는 근거리 통신 연결과 연관된 파라미터가 변경된 후에는, 시계 방향 서클 제스처가 수행될 때(1830) 서클 제스처를 인식하기 위해 필요한 데이터양과 같거나 그보다 많은 양의 센서 데이터를 전송 받을 수 있다(1840). 상기 도 18에서 전자 펜(500) 또는 근거리 통신 연결과 연관된 파라미터를 변경함으로써, 전자 장치(600)는 전자 펜(500)의 시계 방향 서클 제스처를 용이하게 인식할 수 있다.
다시 도 9를 참조하면, 일 실시 예에 따른 프로세서(640)는 동작 970에서 제2 센서 데이터를 이용하여 전자 펜(500)의 제스처를 인식할 수 있다. 동작 970에서 전자 펜(500)의 제스처를 인식하는 방법은, 상술한 동작 940에서 제스처 인식이 지정된 조건을 만족하는지 판단하기 위하여 제스처 별 스코어링을 수행하는 방식과 동일할 수 있다. 동작 940에서는 제1 센서 데이터를 이용하여 전자 펜(500)의 제스처를 인식하는 반면, 동작 970에서는 더 많은 양의 데이터를 포함한 제2 센서 데이터를 이용하여 전자 펜(500)의 제스처를 인식할 수 있으므로, 프로세서(640)는 제스처 인식율을 높일 수 있다.
일 실시 예에 따른 프로세서(640)는 동작 980에서 상기 인식된 제스처에 기반하여 전자 장치(600)(또는 전자 장치(600)의 어플리케이션)의 기능을 제어할 수 있다. 프로세서(640)는 인식된 제스처에 맵핑된 기능을 직접 수행하거나 제스처에 맵핑된 기능을 수행하기 위하여 제스처와 연관된 어플리케이션으로 명령을 전달할 수 있다. 예를 들면, 카메라 어플리케이션이 실행되고 있는 상태에서 프로세서(640)가 전자 펜(500)의 시계 방향 서클 제스처를 인식하면, 시계 방향 서클 제스처에 맵핑된 줌인 기능을 실행하기 위한 명령을 카메라 어플리케이션으로 전달할 수 있다.
도 19는 일 실시 예에 따른 전자 장치(600)에서 어플리케이션 설정에 따른 전자 펜(500)의 제스처를 인식하는 방법을 설명하는 흐름도이다.
도 19의 동작은 도 6의 전자 장치(600)에 의해 수행될 수 있다. 도 19를 참조하면, 프로세서(640)는 전자 펜(500)과 연관된 어플리케이션을 실행하는 동작(1910), 통신 회로가 전자 펜(500)과 근거리 통신 연결을 수립하도록 제어하는 동작(1920), 어플리케이션이 화이트 리스트에 포함되는지 판단하는 동작(1930), 어플리케이션이 화이트 리스트에 포함된 경우 전자 펜(500) 또는 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하는 동작(1940), 전자 펜(500)에 의해 감지되는 센서 데이터를 전자 펜으로부터 수신하는 동작(1950), 센서 데이터를 이용하여 전자 펜의 제스처를 인식하는 동작(1960), 및 인식된 제스처에 기반하여 어플리케이션의 기능을 제어하는 동작(1970)을 수행할 수 있다.
동작 1920은 도 9의 동작 920에 대응될 수 있고, 동작 1940은 도 9의 동작 950에 대응될 수 있고, 동작 1950은 도 9의 동작 960에 대응될 수 있고, 동작 1960은 도 9의 동작 970에 대응될 수 있고, 동작 1970은 도 9의 동작 980에 대응될 수 있으므로, 이하 동작 1930에 관하여 자세히 설명한다.
일 실시 예에 따른 프로세서(640)는 동작 1930에서, 실행된 어플리케이션이 화이트 리스트에 포함되어 있는지 여부에 따라 전자 펜(500) 또는 근거리 통신 연결과 연관된 파라미터(예: 데이터 출력 빈도, 페이로드, 커넥션 인터벌, 슬레이브 레이턴시)를 변경하기 위한 동작의 수행 여부를 결정할 수 있다. 상기 화이트 리스트는 전자 펜(500) 또는 근거리 통신 연결과 연관된 파라미터를 변경하기 위한 동작을 수행하도록 미리 설정된 어플리케이션의 리스트이고, 미리 설정된 어플리케이션은 면을 형성하는 제스처에 대응하여 기능을 수행하도록 설정된 어플리케이션일 수 있다. 상기 면을 형성하는 제스처는 원 제스처(예: 시계 방향 서클 제스처, 반시계 방향 서클 제스처), 사각형 제스처, 및 삼각형 제스처 중 적어도 하나를 포함할 수 있다. 예를 들면, 동작 1910에서 면을 형성하는 제스처에 대응하여 기능을 수행하도록 설정된 어플리케이션이 실행된 경우, 프로세서(640)는 동작 1930에서 어플리케이션의 설정을 확인하고 제스처 인식율을 높이기 위한 보정 동작으로써 동작 1940을 수행할 수 있다.
상술한 바와 같이, 일 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 6의 전자 장치(600))의 전자 펜(예: 도 1의 전자 펜(201) 또는 도 6의 전자 펜(500))의 제스처를 인식하는 방법은, 상기 전자 장치로부터 상기 전자 펜의 탈착 이벤트를 감지하는 동작, 상기 탈착 이벤트 감지에 응답하여 상기 전자 장치의 통신 회로가 상기 전자 펜과 근거리 통신 연결을 수립하도록 제어하는 동작, 상기 근거리 통신 연결을 통해, 상기 전자 펜에 의해 감지되고 상기 전자 펜의 제스처를 나타내는 제1 센서 데이터를 상기 전자 펜으로부터 수신하는 동작, 상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 지정된 조건을 만족하지 못하는 경우, 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하는 동작, 상기 적어도 하나의 파라미터 변경 후 상기 전자 펜에 의해 감지되는 제2 센서 데이터를 상기 전자 펜으로부터 수신하는 동작, 상기 제2 센서 데이터를 이용하여 상기 전자 펜의 상기 제스처를 인식하는 동작, 및 상기 인식된 제스처에 기반하여 상기 전자 장치의 기능을 제어하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 실패한 경우 수행될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 전자 펜으로 데이터 출력 빈도(output data rate, ODR)를 제1 비율에서 상기 제1 비율보다 높은 제2 비율로 변경하는 명령을 전송하는 동작을 포함하고, 상기 제1 센서 데이터는 상기 제1 비율의 데이터 출력 빈도로 출력되고, 상기 제2 센서 데이터는 상기 제2 비율의 데이터 출력 빈도로 출력될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결을 통해 송수신되는 데이터 용량인 페이로드(payload)를 제1 용량에서 상기 제1 용량보다 큰 제2 용량으로 변경하는 동작을 포함하고, 상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 용량의 페이로드를 가지고 수신되고, 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 용량의 페이로드를 가지고 수신될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결을 통해 데이터가 전송되는 간격(interval)을 나타내는 커넥션 인터벌(connection interval)을 제1 간격에서 상기 제1 간격보다 짧은 제2 간격으로 변경하기 위한 명령을 전송하는 동작을 포함하고, 상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 간격의 커넥션 인터벌로 수신되고 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 간격의 커넥션 인터벌로 수신될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결의 슬레이브 레이턴시(slave latency)를 제1 길이에서 상기 제1 길이보다 짧은 제2 길이로 변경하기 위한 명령을 전송하는 동작을 포함하고, 상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 길이의 슬레이브 레이턴시를 가지고 수신되고 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 길이의 슬레이브 레이턴시를 가지고 수신될 수 있다.
일 실시 예에 따르면, 전자 장치의 전자 펜의 제스처를 인식하는 방법은 상기 전자 펜과 연관된 어플리케이션을 실행하는 동작, 및 상기 어플리케이션 실행에 응답하여 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하는 동작을 포함할 수 있다.
상술한 바와 같이, 일 실시 예에 따른 전자 장치는, 디스플레이, 명령어들이 저장되는 메모리, 근거리 통신을 지원하는 통신 회로, 및 상기 디스플레이, 상기 메모리, 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시: 전자 펜과 연관된 어플리케이션을 실행하고, 상기 어플리케이션 실행에 응답하여 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하고, 상기 어플리케이션이 화이트 리스트에 포함되어 있는지 확인하고, 상기 어플리케이션이 상기 화이트 리스트에 포함되어 있는 경우 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하고, 상기 적어도 하나의 파라미터 변경 후 상기 전자 펜에 의해 감지되는 센서 데이터를 상기 전자 펜으로부터 수신하고, 상기 센서 데이터를 이용하여 상기 전자 펜의 제스처를 인식하고, 상기 인식된 제스처에 기반하여 상기 어플리케이션의 기능을 제어할 수 있다.
일 실시 예에 따르면, 상기 화이트 리스트는, 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하도록 미리 설정된 어플리케이션의 리스트일 수 있다.
일 실시 예에 따르면, 상기 미리 설정된 어플리케이션은, 면을 형성하는 제스처에 대응하여 기능을 수행하도록 설정된 어플리케이션이고, 상기 면을 형성하는 제스처는 원 제스처, 사각형 제스처, 및 삼각형 제스처 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는, 상기 전자 펜을 수용할 수 있는 수용 공간을 더 포함하고, 상기 전자 펜이 상기 수용 공간으로부터 탈착되는지 여부를 감지할 수 있는 센서를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 통신 회로는, 근거리 무선 통신 기술인 저전력 블루투스(Bluetooth low energy, BLE)를 이용할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정일 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째", "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    명령어들이 저장되는 메모리;
    근거리 통신을 지원하는 통신 회로; 및
    상기 디스플레이, 상기 메모리, 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시:
    상기 전자 장치로부터 전자 펜의 탈착 이벤트를 감지하고,
    상기 탈착 이벤트 감지에 응답하여, 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하고,
    상기 근거리 통신 연결을 통해, 상기 전자 펜에 의해 감지되고 상기 전자 펜의 제스처를 나타내는 제1 센서 데이터를 상기 전자 펜으로부터 수신하고,
    상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 지정된 조건을 만족하지 못하는 경우, 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하고,
    상기 적어도 하나의 파라미터 변경 후, 상기 전자 펜에 의해 감지되는 제2 센서 데이터를 상기 전자 펜으로부터 수신하고,
    상기 제2 센서 데이터를 이용하여 상기 전자 펜의 상기 제스처를 인식하고,
    상기 인식된 제스처에 기반하여 상기 전자 장치의 기능을 제어하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 실패한 경우 수행되는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 전자 펜으로 데이터 출력 빈도(output data rate, ODR)를 제1 비율에서 상기 제1 비율보다 높은 제2 비율로 변경하는 명령을 전송하는 동작을 포함하고,
    상기 제1 센서 데이터는 상기 제1 비율의 데이터 출력 빈도로 출력되고, 상기 제2 센서 데이터는 상기 제2 비율의 데이터 출력 빈도로 출력되는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결을 통해 송수신되는 데이터 용량인 페이로드(payload)를 제1 용량에서 상기 제1 용량보다 큰 제2 용량으로 변경하는 동작을 포함하고,
    상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 용량의 페이로드를 가지고 수신되고, 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 용량의 페이로드를 가지고 수신되는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결을 통해 데이터가 전송되는 간격(interval)을 나타내는 커넥션 인터벌(connection interval)을 제1 간격에서 상기 제1 간격보다 짧은 제2 간격으로 변경하기 위한 명령을 전송하는 동작을 포함하고,
    상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 간격의 커넥션 인터벌로 수신되고, 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 간격의 커넥션 인터벌로 수신되는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결의 슬레이브 레이턴시(slave latency)를 제1 길이에서 상기 제1 길이보다 짧은 제2 길이로 변경하기 위한 명령을 전송하는 동작을 포함하고,
    상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 길이의 슬레이브 레이턴시를 가지고 수신되고, 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 길이의 슬레이브 레이턴시를 가지고 수신되는, 전자 장치.
  7. 청구항 1에 있어서,
    상기 프로세서는,
    상기 전자 펜과 연관된 어플리케이션을 실행하고,
    상기 어플리케이션 실행에 응답하여, 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 제1 센서 데이터 또는 상기 제2 센서 데이터는, 상기 전자 펜의 가속도 센서, 자이로 센서 및 지자계 센서 중 적어도 하나로부터 획득되는 전자 장치.
  9. 전자 장치의 전자 펜의 제스처를 인식하는 방법에 있어서,
    상기 전자 장치로부터 상기 전자 펜의 탈착 이벤트를 감지하는 동작;
    상기 탈착 이벤트 감지에 응답하여, 상기 전자 장치의 통신 회로가 상기 전자 펜과 근거리 통신 연결을 수립하도록 제어하는 동작;
    상기 근거리 통신 연결을 통해, 상기 전자 펜에 의해 감지되고 상기 전자 펜의 제스처를 나타내는 제1 센서 데이터를 상기 전자 펜으로부터 수신하는 동작;
    상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 지정된 조건을 만족하지 못하는 경우, 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하는 동작;
    상기 적어도 하나의 파라미터 변경 후, 상기 전자 펜에 의해 감지되는 제2 센서 데이터를 상기 전자 펜으로부터 수신하는 동작;
    상기 제2 센서 데이터를 이용하여 상기 전자 펜의 상기 제스처를 인식하는 동작; 및
    상기 인식된 제스처에 기반하여 상기 전자 장치의 기능을 제어하는 동작을 포함하는 방법.
  10. 청구항 9에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 제1 센서 데이터에 기반한 상기 전자 펜의 제스처 인식이 실패한 경우 수행되는 방법.
  11. 청구항 9에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 전자 펜으로 데이터 출력 빈도(output data rate, ODR)를 제1 비율에서 상기 제1 비율보다 높은 제2 비율로 변경하는 명령을 전송하는 동작을 포함하고,
    상기 제1 센서 데이터는 상기 제1 비율의 데이터 출력 빈도로 출력되고, 상기 제2 센서 데이터는 상기 제2 비율의 데이터 출력 빈도로 출력되는 방법.
  12. 청구항 9에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결을 통해 송수신되는 데이터 용량인 페이로드(payload)를 제1 용량에서 상기 제1 용량보다 큰 제2 용량으로 변경하는 동작을 포함하고,
    상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 용량의 페이로드를 가지고 수신되고, 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 용량의 페이로드를 가지고 수신되는 방법.
  13. 청구항 9에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결을 통해 데이터가 전송되는 간격(interval)을 나타내는 커넥션 인터벌(connection interval)을 제1 간격에서 상기 제1 간격보다 짧은 제2 간격으로 변경하기 위한 명령을 전송하는 동작을 포함하고,
    상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 간격의 커넥션 인터벌로 수신되고, 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 간격의 커넥션 인터벌로 수신되는 방법.
  14. 청구항 9에 있어서,
    상기 적어도 하나의 파라미터를 변경하기 위한 동작은, 상기 근거리 통신 연결의 슬레이브 레이턴시(slave latency)를 제1 길이에서 상기 제1 길이보다 짧은 제2 길이로 변경하기 위한 명령을 전송하는 동작을 포함하고,
    상기 제1 센서 데이터는 상기 통신 회로를 통해 상기 제1 길이의 슬레이브 레이턴시를 가지고 수신되고, 상기 제2 센서 데이터는 상기 통신 회로를 통해 상기 제2 길이의 슬레이브 레이턴시를 가지고 수신되는 방법.
  15. 청구항 9에 있어서,
    상기 전자 펜과 연관된 어플리케이션을 실행하는 동작, 및
    상기 어플리케이션 실행에 응답하여, 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하는 동작을 포함하는 방법.
  16. 전자 장치에 있어서,
    디스플레이;
    명령어들이 저장되는 메모리;
    근거리 통신을 지원하는 통신 회로; 및
    상기 디스플레이, 상기 메모리, 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시:
    전자 펜과 연관된 어플리케이션을 실행하고,
    상기 어플리케이션 실행에 응답하여, 상기 통신 회로가 상기 전자 펜과 상기 근거리 통신 연결을 수립하도록 제어하고,
    상기 어플리케이션이 화이트 리스트에 포함되어 있는지 확인하고,
    상기 어플리케이션이 상기 화이트 리스트에 포함되어 있는 경우, 상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하고,
    상기 적어도 하나의 파라미터 변경 후, 상기 전자 펜에 의해 감지되는 센서 데이터를 상기 전자 펜으로부터 수신하고,
    상기 센서 데이터를 이용하여 상기 전자 펜의 제스처를 인식하고,
    상기 인식된 제스처에 기반하여 상기 어플리케이션의 기능을 제어하는, 전자 장치.
  17. 청구항 16에 있어서,
    상기 화이트 리스트는,
    상기 전자 펜 또는 상기 근거리 통신 연결과 연관된 적어도 하나의 파라미터를 변경하기 위한 동작을 수행하도록 미리 설정된 어플리케이션의 리스트인 전자 장치.
  18. 청구항 17에 있어서,
    상기 미리 설정된 어플리케이션은, 면을 형성하는 제스처에 대응하여 기능을 수행하도록 설정된 어플리케이션이고,
    상기 면을 형성하는 제스처는 원 제스처, 사각형 제스처, 및 삼각형 제스처 중 적어도 하나를 포함하는 전자 장치.
  19. 청구항 16에 있어서,
    상기 전자 장치는,
    상기 전자 펜을 수용할 수 있는 수용 공간을 더 포함하고,
    상기 전자 펜이 상기 수용 공간으로부터 탈착되는지 여부를 감지할 수 있는 센서를 더 포함하는 전자 장치.
  20. 청구항 16에 있어서,
    상기 통신 회로는, 근거리 무선 통신 기술인 저전력 블루투스(Bluetooth low energy, BLE)를 이용하는 전자 장치.

KR1020200037026A 2020-03-26 2020-03-26 원격 입력 장치의 제스처 인식 방법 및 그 전자 장치 KR20210120382A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200037026A KR20210120382A (ko) 2020-03-26 2020-03-26 원격 입력 장치의 제스처 인식 방법 및 그 전자 장치
PCT/KR2021/002903 WO2021194132A1 (ko) 2020-03-26 2021-03-09 원격 입력 장치의 제스처 인식 방법 및 그 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200037026A KR20210120382A (ko) 2020-03-26 2020-03-26 원격 입력 장치의 제스처 인식 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR20210120382A true KR20210120382A (ko) 2021-10-07

Family

ID=77892352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200037026A KR20210120382A (ko) 2020-03-26 2020-03-26 원격 입력 장치의 제스처 인식 방법 및 그 전자 장치

Country Status (2)

Country Link
KR (1) KR20210120382A (ko)
WO (1) WO2021194132A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458357B2 (en) * 2009-06-29 2013-06-04 Qualcomm Incorporated Technique for setting network communication parameters
US9965104B2 (en) * 2011-01-19 2018-05-08 Synaptics Incorporated Device and method for interference avoidance in an input device
JP6230754B2 (ja) * 2015-04-20 2017-11-15 株式会社ワコム アクティブスタイラス及びセンサコントローラを用いた方法、センサコントローラ、アクティブスタイラス、及びシステム
KR102318808B1 (ko) * 2017-05-26 2021-10-28 삼성전자주식회사 여러 종류의 전자 펜을 사용하기 위한 방법 및 그 전자 장치
KR102459727B1 (ko) * 2018-07-27 2022-10-27 삼성전자주식회사 전자 펜을 이용하여 동작 모드를 제어하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
WO2021194132A1 (ko) 2021-09-30

Similar Documents

Publication Publication Date Title
CN113178900B (zh) 无线充电系统、芯片和无线充电电路
EP3771971B1 (en) Electronic device for identifying gesture performed by stylus pen and method for operating the same
US11889581B2 (en) Electronic device sharing peripheral device with external electronic device and method thereof
US12001619B2 (en) Electronic device for performing correction for stylus, and operation method therefor
CN118074353A (zh) 用于控制与输入设备的通信连接的电子设备及其控制方法
US11490223B2 (en) Method and electronic device for providing notification based on distance of remote input device
US11301061B2 (en) Electronic device identifying gesture with stylus pen and method for operating the same
KR20210109916A (ko) 무선 충전 장치 및 방법
KR20210101718A (ko) 무선 충전 방법 및 이를 지원하는 전자 장치
KR20210115796A (ko) 원격 인터렉션 제어 방법 및 전자 장치
KR102477853B1 (ko) 디스플레이를 통해 외부 장치의 배터리의 충전을 제공하기 위해 어포던스를 표시하는 전자 장치 및 방법
US11861081B2 (en) Stylus pen, electronic device for recognizing stylus pen, and method for operating same
KR20200058986A (ko) 변압기 코일에 기반한 유무선 충전 방법 및 장치
US11874978B2 (en) Electronic device for recognizing stylus pen and method of operating the same
KR20210120382A (ko) 원격 입력 장치의 제스처 인식 방법 및 그 전자 장치
KR20210157722A (ko) 무선으로 전력을 수신하는 전자 장치 및 그 동작 방법
EP4170866A1 (en) Electronic device for wireless power transmission and operating method thereof
KR20220149295A (ko) 무선 충전 방식을 제어하는 방법 및 그 장치
KR20230114663A (ko) 전자 장치 및 전자 펜 알림 및 연결 방법
KR20220170212A (ko) 전자 장치 및 전자 장치에서 입력 오류를 보정하는 방법
KR20230023277A (ko) 전자 장치 및 그 전자 펜의 입력 제어 방법
KR20210144428A (ko) 전자 펜을 부착하기 위한 전자 장치
KR20210110980A (ko) 무선 통신을 제어하는 전자 장치 및 전자 장치의 동작 방법
KR20220136725A (ko) 외부 전력원의 연결을 확인하는 전자 장치 및 이의 동작 방법