KR20210088401A - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
KR20210088401A
KR20210088401A KR1020200046962A KR20200046962A KR20210088401A KR 20210088401 A KR20210088401 A KR 20210088401A KR 1020200046962 A KR1020200046962 A KR 1020200046962A KR 20200046962 A KR20200046962 A KR 20200046962A KR 20210088401 A KR20210088401 A KR 20210088401A
Authority
KR
South Korea
Prior art keywords
pattern
signal
user
processor
electronic device
Prior art date
Application number
KR1020200046962A
Other languages
English (en)
Inventor
진경신
김동욱
김민섭
김재용
송현아
채성호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2021/000012 priority Critical patent/WO2021141332A1/ko
Publication of KR20210088401A publication Critical patent/KR20210088401A/ko
Priority to US17/398,667 priority patent/US20210365232A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3209—Monitoring remote activity, e.g. over telephone lines or network connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 전자장치에 있어서, 인터페이스부; 센서; 및 상기 센서를 통해 감지되는 신호의 패턴이, 외부장치를 이용한 사용자 이벤트를 나타내는 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하고, 상기 복수의 참조패턴은 상기 외부장치를 이용한 사용자 이벤트를 발생시키는 사용자성향에 따라 상기 참조패턴의 특성이 서로 다르며, 상기 참조패턴에 대응하는 상기 신호에 기초하여, 상기 인터페이스부를 통하여 상기 외부장치 간 상기 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행하는 프로세서를 포함할 수 있다.

Description

전자장치 및 그 제어방법{ELECTRONIC APPARATUS AND THE METHOD THEREOF}
본 발명은 전자장치 간을 연결하여 컨텐트를 송/수신하는 전자장치 및 그 제어방법에 관한 것이다.
최근 전자장치 간을 연결하여 컨텐트 송/수신 등 다양한 기능이 증가함에 따라, 보다 쉽고 간편하게 전자장치 간을 연결할 수 있는 기술들이 발전되어 왔다.
전자장치 간을 연결하는 기술로써, 물리적으로 양 전자장치를 서로 접촉하는 등 간단하고 직관적인 방법이 구현될 수 있다. 이 경우, 센서가 감지하는 신호는 물리적 접촉을 하는 장치나 사용자에 따라 달라질 수 있다.
다만, 전자장치가 센서를 통해 감지되는 신호가 장치 간을 연결하고자 하는 유효한 신호인지 여부를 판단할 수 있는 모델이 고정되어 있는 경우, 장치나 사용자에 따라 다양한 접촉 양태에 따른 고정된 모델을 벗어나는 신호를 인식하기 어려울 수 있다. 따라서, 다양한 접촉 양태에 따라서도 신호가 전자장치 간을 연결하는 유효한 신호인지 여부를 식별할 수 있도록 하는 기술이 요구된다.
본 발명의 목적은 장치 간 인식률을 보다 효율적으로 높일 수 있는 전자장치 및 그 제어방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 전자장치에 있어서, 인터페이스부; 센서; 및 상기 센서를 통해 감지되는 신호의 패턴이, 외부장치를 이용한 사용자 이벤트를 나타내는 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하고, 상기 복수의 참조패턴은 상기 외부장치를 이용한 사용자 이벤트를 발생시키는 사용자성향에 따라 상기 참조패턴의 특성이 서로 다르며, 상기 참조패턴에 대응하는 상기 신호에 기초하여, 상기 인터페이스부를 통하여 상기 외부장치 간 상기 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 서로 다른 복수의 참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별할 수 있다.
상기 프로세서는, 상기 신호의 패턴과, 상기 각 모델의 참조패턴의 특성을 정규화한 값 간의 유사도에 기초하여, 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별할 수 있다.
상기 프로세서는, 상기 신호의 패턴에 대응하는 상기 참조패턴이 없는 경우, 상기 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 추가할 수 있다.
상기 프로세서는, 서버로부터 상기 모델의 정보를 수신하고, 상기 수신된 모델의 정보에 기초하여 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별할 수 있다.
상기 프로세서는, 복수의 외부장치 별로 마련된 상기 복수의 참조패턴에 기초하여, 상기 복수의 외부장치 중 상기 신호의 패턴에 대응하는 상기 외부장치를 식별하고, 상기 식별된 외부장치에 대응하는 상기 컨텐트의 전송 동작을 수행할 수 있다.
상기 프로세서는, 복수의 사용자 별로 마련된 상기 복수의 참조패턴에 기초하여, 상기 복수의 사용자 중 상기 신호의 패턴에 대응하는 사용자를 식별하고, 상기 식별된 사용자에 대응하는 상기 컨텐트의 전송 동작을 수행할 수 있다.
상기 신호는 제1신호이고, 상기 참조패턴은 제1참조패턴이고, 상기 프로세서는, 상기 센서를 통해 감지되는 제2신호의 패턴이, 노이즈를 나타내는 서로 다른 복수의 제2참조패턴 중 어느 하나에 대응하는지 여부를 식별하고, 상기 제2참조패턴에 대응하는 것으로 식별된 상기 제2신호는 상기 사용자 이벤트에 대응하지 않는 것으로 식별할 수 있다.
상기 프로세서는, 상기 서로 다른 복수의 제2참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여, 상기 제2신호의 패턴이 상기 제2참조패턴에 대응하는지 여부를 식별할 수 있다.
상기 프로세서는, 상기 제2신호의 패턴에 대응하는 상기 제2참조패턴이 없는 경우, 상기 제2신호의 패턴에 대응하는 새로운 제2참조패턴의 모델을 추가할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 센서를 통해 감지되는 신호의 패턴이, 외부장치를 이용한 사용자 이벤트를 나타내고, 상기 외부장치를 이용한 사용자 이벤트를 발생시키는 사용자성향에 따라 특성이 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계; 및 상기 참조패턴에 대응하는 상기 신호에 기초하여, 인터페이스부를 통하여 상기 외부장치 간 상기 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행하는 단계를 포함할 수 있다.
상기 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계는, 상기 서로 다른 복수의 참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계를 포함할 수 있다.
상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계는, 상기 신호의 패턴과, 상기 각 모델의 참조패턴의 특성을 정규화한 값 간의 유사도에 기초하여, 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계를 포함할 수 있다.
상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계는, 상기 신호의 패턴에 대응하는 상기 참조패턴이 없는 경우, 상기 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 추가하는 단계를 포함할 수 있다.
상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계는, 서버로부터 상기 모델의 정보를 수신하고, 상기 수신된 모델의 정보에 기초하여 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계를 포함할 수 있다.
상기 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계는, 복수의 외부장치 별로 마련된 상기 복수의 참조패턴에 기초하여, 상기 복수의 외부장치 중 상기 신호의 패턴에 대응하는 상기 외부장치를 식별하는 단계를 포함하고, 상기 컨텐트의 전송 동작을 수행하는 단계는, 상기 식별된 외부장치에 대응하는 상기 컨텐트의 전송 동작을 수행하는 단계를 포함할 수 있다.
상기 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계는, 복수의 사용자 별로 마련된 상기 복수의 참조패턴에 기초하여, 상기 복수의 사용자 중 상기 신호의 패턴에 대응하는 사용자를 식별하고, 상기 컨텐트의 전송 동작을 수행하는 단계는, 상기 식별된 사용자에 대응하는 상기 컨텐트의 전송 동작을 수행하는 단계를 포함할 수 있다.
상기 신호는 제1신호이고, 상기 참조패턴은 제1참조패턴이고, 상기 센서를 통해 감지되는 제2신호의 패턴이, 노이즈를 나타내는 복수의 제2참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계; 및 상기 제2참조패턴에 대응하는 것으로 식별된 상기 제2신호는 상기 사용자 이벤트에 대응하지 않는 것으로 식별하는 단계를 더 포함할 수 있다.
상기 제2신호의 패턴이 상기 제2참조패턴에 대응하는지 여부를 식별하는 단계는, 상기 서로 다른 복수의 제2참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여, 상기 제2신호의 패턴이 상기 제2참조패턴에 대응하는지 여부를 식별하는 단계를 포함할 수 있다.
컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은, 센서를 통해 감지되는 신호의 패턴이, 외부장치를 이용한 사용자 이벤트를 나타내고, 상기 외부장치를 이용한 사용자 이벤트를 발생시키는 사용자성향에 따라 특성이 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계; 및 상기 참조패턴에 대응하는 상기 신호에 기초하여, 인터페이스부를 통하여 상기 외부장치 간 상기 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 감지된 신호를 다양한 상황이 반영된 모델에 기초하여 신호를 더욱 정교하게 식별할 수 있으며, 사용자 이벤트의 인식에 대한 신뢰도가 향상될 수 있다.
도 1은 본 발명의 일 실시예에 의한 전자장치의 동작 모습을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 신호의 패턴을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사용자성향에 따른 전자장치의 동작모습을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 본 발명의 일 실시예에 의한 전자장치의 동작 모습을 도시한 도면이다.
도 1에서는 전자장치(100)와 외부장치(200)가 도시되어 있다. 이 때, 전자장치(100)와 외부장치(200)는 영상을 표시할 수 있는 디스플레이장치로 구현될 수 있다. 일 예로, 전자장치(100)와 외부장치(200)는 TV, 컴퓨터, 스마트 폰, 태블릿, 휴대용 미디어 플레이어, 웨어러블 디바이스, 비디오 월, 전자액자 등을 포함할 수 있다.
도 1에 도시된 바에 따르면, 사용자(300)는 전자장치(100)와 외부장치(200)간을 연결하는 사용자 이벤트로써, 외부장치(200)를 전자장치(100)에 갖다 대는 탭 동작을 할 수 있다. 따라서, 탭 동작은 두 장치를 연결하는 간단하고 직관적인 방법이 될 수 있다. 다만, 탭 동작은 구현 가능한 여러 동작 중 하나일 뿐이며, 제스처나 터치, 음성인식 등 다양하게 적용될 수 있다. 본 발명의 일 실시예에 따르면, 두 장치를 연결하는 것은 결국 서로 컨텐트를 송/수신하기 위한 것으로, 탭 동작은 컨텐트의 전송 명령에 대응하는 사용자 이벤트를 의미한다.
본 발명의 일 실시예에 따르면, 전자장치(100)에 탭 동작 등 사용자 이벤트가 발생하여 센서(170)가 이를 감지하면, 전자장치(100)는 외부장치(200)를 식별하기 위해 다양한 기술을 이용할 수 있다. 예컨대, 전자장치(100)는 저전력 통신 기술 중 하나인 BLE 기술을 통해 주변 장치의 신호를 찾을 수 있다. 전자장치(100)가 발견한 주변 장치에 사용자 이벤트 발생 여부를 확인하는 정보를 외부장치(200)에 전달하면, 동일한 사용자 이벤트를 감지한 외부장치(200)는 이를 확인하는 정보를 다시 전자장치(100)에 전달할 수 있다. 결국, 프로세서(180)는 센서(170)를 통해 획득한 정보가 외부장치(200)가 센서를 통해 획득한 정보에 대응하는지 여부에 기초하여 사용자 이벤트에 대응하는 외부장치(200)를 식별할 수 있다. 이렇게 전자장치(100)가 외부장치(200)를 식별한 경우, 전자장치(100)는 외부장치(200)로 컨텐트를 송신하거나 외부장치(200)로부터 컨텐트를 수신할 수 있다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 2에 도시된 바와 같이, 전자장치(100)는 인터페이스부(110)를 포함할 수 있다. 인터페이스부(110)는 유선 인터페이스부(111)를 포함할 수 있다. 유선 인터페이스부(111)는 지상파/위성방송 등 방송표준에 따른 방송신호를 수신할 수 있는 안테나가 연결되거나, 케이블 방송표준에 따른 방송신호를 수신할 수 있는 케이블이 연결될 수 있는 커넥터 또는 포트를 포함한다. 다른 예로서, 전자장치(100)는 방송신호를 수신할 수 있는 안테나를 내장할 수도 있다. 유선 인터페이스부(111)는 HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART 등과 같이, 비디오 및/또는 오디오 전송표준에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 USB 포트 등과 같은 범용 데이터 전송표준에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 광 전송표준에 따라 광케이블이 연결될 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 외부 마이크 또는 마이크를 구비한 외부 오디오기기가 연결되며, 오디오기기로부터 오디오 신호를 수신 또는 입력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 헤드셋, 이어폰, 외부 스피커 등과 같은 오디오기기가 연결되며, 오디오기기로 오디오 신호를 전송 또는 출력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 이더넷 등과 같은 네트워크 전송표준에 따른 커넥터 또는 포트를 포함할 수 있다. 예컨대, 유선 인터페이스부(111)는 라우터 또는 게이트웨이에 유선 접속된 랜카드 등으로 구현될 수 있다.
유선 인터페이스부(111)는 상기 커넥터 또는 포트를 통해 셋탑박스, 광학미디어 재생장치와 같은 외부기기, 또는 외부 디스플레이장치나, 스피커, 서버 등과 1:1 또는 1:N(N은 자연수) 방식으로 유선 접속됨으로써, 해당 외부기기로부터 비디오/오디오 신호를 수신하거나 또는 해당 외부기기에 비디오/오디오 신호를 송신한다. 유선 인터페이스부(111)는, 비디오/오디오 신호를 각각 별개로 전송하는 커넥터 또는 포트를 포함할 수도 있다.
그리고, 본 실시예에 따르면 유선 인터페이스부(111)는 전자장치(100)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 전자장치(100)의 커넥터에 착탈될 수도 있다.
인터페이스부(110)는 무선 인터페이스부(112)를 포함할 수 있다. 무선 인터페이스부(112)는 전자장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 무선 인터페이스부(112)는 통신방식으로 RF(radio frequency), 지그비(Zigbee), 블루투스(bluetooth), 와이파이(Wi-Fi), UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등 무선통신을 사용할 수 있다. 무선 인터페이스부(112)는 와이파이(Wi-Fi) 방식에 따라서 AP와 무선통신을 수행하는 무선통신모듈이나, 블루투스 등과 같은 1대 1 다이렉트 무선통신을 수행하는 무선통신모듈 등으로 구현될 수 있다. 무선 인터페이스부(112)는 네트워크 상의 서버와 무선 통신함으로써, 서버와의 사이에 데이터 패킷을 송수신할 수 있다. 무선 인터페이스부(112)는 적외선 통신표준에 따라 IR(Infrared) 신호를 송신 및/또는 수신할 수 있는 IR송신부 및/또는 IR수신부를 포함할 수 있다. 무선 인터페이스부(112)는 IR송신부 및/또는 IR수신부를 통해 리모컨 또는 다른 외부기기로부터 리모컨신호를 수신 또는 입력하거나, 다른 외부기기로 리모컨신호를 전송 또는 출력할 수 있다. 다른 예로서, 전자장치(100)는 와이파이(Wi-Fi), 블루투스(bluetooth) 등 다른 방식의 무선 인터페이스부(112)를 통해 리모컨 또는 다른 외부기기와 리모컨신호를 송수신할 수 있다.
전자장치(100)는 인터페이스부(110)를 통해 수신하는 비디오/오디오신호가 방송신호인 경우, 수신된 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 더 포함할 수 있다.
전자장치(100)는 디스플레이부(120)를 포함할 수 있다. 디스플레이부(120)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(120)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 디스플레이부(120)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다.
전자장치(100)는 사용자입력부(130)를 포함할 수 있다. 사용자입력부(130)는 사용자의 입력을 수행하기 위해 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(130)는 전자장치(100)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예컨대, 전자장치(100)의 기계적 또는 전자적 버튼부, 전자장치(100)와 분리된 리모트 컨트롤러, 전자장치(100)와 연결된 외부기기에서의 입력부, 터치패드, 디스플레이부(120)에 설치된 터치스크린 등이 있다.
전자장치(100)는 저장부(140)를 포함할 수 있다. 저장부(140)는 디지털화된 데이터를 저장한다. 저장부(140)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(180)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.
전자장치(100)는 마이크로폰(150)을 포함할 수 있다. 마이크로폰(150)은 사용자 음성을 비롯한 외부 환경의 소리를 수집한다. 마이크로폰(150)은 수집된 소리의 신호를 프로세서(180)에 전달한다. 전자장치(100)는 사용자 음성을 수집하는 마이크로폰(150)을 구비하거나, 또는 인터페이스부(110)를 통해 마이크로폰을 가진 리모트 컨트롤러, 스마트폰 등의 외부장치로부터 음성신호를 수신할 수 있다. 외부장치에 리모트 컨트롤러 어플리케이션을 설치하여 전자장치(100)를 제어하거나 음성 인식 등의 기능을 수행할 수도 있다. 이와 같은 어플리케이션이 설치된 외부장치의 경우, 사용자 음성을 수신할 수 있으며, 외부장치는 전자장치(100)와 Wi-Fi/BT 또는 적외선 등을 이용하여 데이터 송수신 및 제어가 가능한 바, 상기 통신 방식을 구현할 수 있는 복수의 인터페이스부(110)가 전자장치(100) 내에 존재할 수 있다.
전자장치(100)는 스피커(160)를 포함할 수 있다. 스피커(160)는 프로세서(180)에 의해 처리되는 오디오 데이터를 소리로 출력한다. 스피커(160)는 어느 한 오디오 채널의 오디오 데이터에 대응하게 마련된 단위 스피커를 포함하며, 복수 오디오 채널의 오디오 데이터에 각기 대응하도록 복수의 단위 스피커를 포함할 수 있다. 다른 실시예로서, 스피커(160)는 전자장치(100)와 분리되어 마련될 수 있으며, 이 경우 전자장치(100)는 오디오 데이터를 인터페이스부(110)를 통하여 스피커(160)로 전달할 수 있다.
전자장치(100)는 센서(170)를 포함할 수 있다. 센서(170)는, 전자장치(100)의 상태 또는 전자장치(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(180)로 전달할 수 있다. 센서(170)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다. 프로세서(180)는 전자장치(100)와 외부장치(200)간의 탭으로 정의된 센싱값을 저장부(140)에 저장할 수 있다. 추후, 사용자 이벤트가 감지되는 경우, 프로세서(180)는 감지된 센싱값이 저장된 센싱값에 대응하는지 여부에 기초하여 사용자 이벤트의 발생 여부를 식별할 수 있다.
전자장치(100)는 프로세서(180)를 포함할 수 있다. 프로세서(180)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(180)는 전자장치(100)가 디스플레이장치로 구현되는 경우에 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
프로세서(180)는 마이크로폰(150) 등에 의해 사용자 음성에 대한 음성신호를 획득하면, 음성신호를 음성데이터로 변환할 수 있다. 이 때, 음성데이터는 음성신호를 텍스트 데이터로 변환하는 STT(Speech-to-Text) 처리 과정을 통해 얻어진 텍스트 데이터일 수 있다. 프로세서(180)는 음성데이터가 나타내는 커맨드를 식별하고, 식별된 커맨드에 따라서 동작을 수행한다. 음성데이터 처리 과정과, 커맨드 식별 및 수행 과정은, 전자장치(100)에서 모두 실행될 수도 있다. 그러나, 이 경우에 전자장치(100)에 필요한 시스템 부하 및 소요 저장용량이 상대적으로 커지게 되므로, 적어도 일부의 과정은 네트워크를 통해 전자장치(100)와 통신 가능하게 접속되는 적어도 하나의 서버에 의해 수행될 수 있다.
본 발명에 따른 프로세서(180)는 전자장치(100)와 같은 기기(Machine)가 읽을 수 있는 저장 매체(Storage Medium)에 저장된 소프트웨어의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 전자장치(100)와 같은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(Non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(예컨대, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
한편, 프로세서(180)는 외부장치를 이용한 사용자 이벤트가 발생하여 센서를 통해 감지되는 신호의 패턴이, 사용자 이벤트를 발생시키는 사용자성향에 따라 특성이 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하고, 참조패턴에 대응하는 신호에 기초하여, 인터페이스부를 통하여 외부장치 간 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
일 예로, 프로세서(180)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 저장부(140) 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 저장부(140) 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.
일 예로, 본 발명에 따른 전자장치(100)의 제어방법은 컴퓨터 프로그램 제품 (Computer Program Product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은, 앞서 설명한, 프로세서(180)에 의해 실행되는 소프트웨어의 명령어들을 포함할 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예컨대, CD-ROM)의 형태로 배포되거나, 또는 어플리케이션 스토어(예컨대, 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예컨대, 스마트폰들) 간에 직접, 온라인으로 배포(예컨대, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
프로세서(180)는 센서(170)를 통해 감지되는 신호의 패턴이, 사용자 이벤트를 발생시키는 사용자성향에 따라 특성이 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별할 수 있다(S310).
도 1에 도시된 바와 같이, 사용자(300)가 외부장치(200)를 전자장치(100)에 갖다 대는 탭 동작을 하는 경우, 전자장치(100)는 센서(170)를 통해 신호를 감지할 수 있다. 이 때, 감지되는 신호는 물리적 접촉을 하는 외부장치(200)나 사용자(300)에 따라 달라질 수 있다. 예컨대, 외부장치(200)의 재질이나 무게, 케이스가 씌워진 외부장치(200)의 경우 케이스의 재질, 사용자(300)의 힘의 강도, 탭 동작의 속도, 탭 동작의 횟수, 탭 동작을 수행할 때 사용자(300) 별로 가지는 성향 등에 따라 신호의 패턴이 달라질 수 있다. 신호의 패턴은 신호가 가지는 특성을 의미하고, 신호의 크기, 주파수, 파형 등을 의미할 수 있다. 그리고, 본 발명에서는 상기 예시와 같이 신호의 패턴을 다르게 발생시키는 다양한 인자들을 통틀어서 사용자성향이라고 칭한다.
따라서 이와 같이 감지되는 신호의 패턴이 사용자성향에 따라 달라지는 경우에도, 프로세서(180)는 해당 신호가 사용자 이벤트에 대응하는 신호인지 여부를 식별한다. 프로세서(180)는 사용자 이벤트에 대응하는 신호의 패턴을 참조패턴과 비교하여 이를 식별할 수 있다. 이 때, 참조패턴은 사용자 이벤트에 대응하는 신호의 패턴인지 판단하는 기준이 되는 패턴을 의미한다. 즉, 프로세서(180)는 감지되는 신호의 패턴이 사용자 이벤트를 나타내는 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별할 수 있다.
다만, 참조패턴이 정해져 있는 경우, 사용자성향에 따라 달라지는 신호의 패턴을 인식하기에 어려움이 존재한다. 따라서, 감지되는 신호의 패턴이 사용자성향에 따라 달라지더라도, 신호가 전자장치 간을 연결하는 유효한 신호인지 여부를 식별할 수 있도록 사용자성향에 따라 특성이 서로 다른 참조패턴이 요구된다.
복수의 참조패턴은 앞서 설명한 바와 같이, 외부장치(200) 혹은 사용자(300)와 관련된 다양한 인자, 즉, 사용자성향에 따라 특성이 서로 다르다. 복수의 참조패턴은 저장부(140)에 미리 저장되어 제공되거나, 서버 등 외부로부터 인터페이스부(110)를 통해 수신할 수 있다. 또한, 참조패턴은 감지되는 복수의 신호의 패턴을 통해 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 학습될 수 있다. 이 경우, 유효한 사용자 탭 동작에 의해 발생하는 신호의 패턴을 인식하기 위해서도 참조패턴이 학습될 수 있을 뿐만 아니라, 추후 설명하는 노이즈에 대응하는 신호를 식별하기 위한 참조패턴도 사용자성향에 따라 학습될 수 있다. 학습된 복수의 참조패턴은 저장부(140)에 미리 저장되거나, 혹은 프로세서(180)가 학습을 수행하여 생성된 새로운 참조패턴을 저장부(140)에 저장할 수도 있다.
프로세서(180)는 복수의 참조패턴 중 하나에 대응하는 신호에 기초하여, 인터페이스부(110)를 통하여 외부장치(200) 간 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행할 수 있다(S320). 컨텐트는 사진, 비디오 데이터, 오디오 데이터 등 이용할 수 있는 모든 컨텐트를 포함한다. 또한, 컨텐트의 전송 동작은 외부장치(200)로 전송하거나 외부장치(200)로부터 수신하는 것을 포함하며, 어느 하나에 한정되는 것은 아니다.
본 발명의 일 실시예에 따르면, 사용자성향에 따라 서로 다른 신호의 패턴이 감지되는 경우에도, 이를 반영한 복수의 참조패턴과 비교하여 식별할 수 있으므로, 사용자 이벤트의 인식률을 높일 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자성향에 따른 전자장치의 동작모습을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 신호의 패턴을 도시한 도면이다.
도 4에는 제1외부장치(410)를 이용하는 제1사용자(310) 및 제2외부장치(420)를 이용하는 제2사용자(320)가 탭 동작을 수행하는 모습이 도시되어 있다. 도 5에는 도 4의 제1외부장치(410)를 이용한 제1사용자(310)의 탭 동작에 의해 발생한 신호의 패턴(511), 제2외부장치(420)를 이용한 제2사용자(320)의 탭 동작에 의해 발생한 신호의 패턴(512)과 이들 패턴(511, 512)에 대응하는 참조패턴(521, 522) 및 노이즈 신호의 패턴(530)이 도시되어 있다. 도 5에서 각 신호의 패턴은 시간에 따른 세기로 나타나 있으나, 신호의 패턴은 이에 한정되어 나타낼 수 있는 것은 아니다.
앞서 설명한 바와 같이, 신호의 패턴은 사용자성향에 따라 다른 특성을 가질 수 있다. 본 발명의 일 실시예에 따르면, 제1사용자(310)는 성인으로, 케이스가 씌워지지 않은 제1외부장치(410)를 이용하여 전자장치(100)에 탭 동작을 1회 수행한다고 가정해본다. 그리고, 제2사용자(320)는 어린 아이로, 케이스가 씌워진 제2외부장치(420)를 이용하여 전자장치(100)에 탭 동작을 2회 수행한다고 가정해본다.
탭 동작의 강도는 사용자 별로 다를 수 있다. 예컨대, 제1사용자가 제2사용자보다 힘이 강하다고 가정하였을 때, 제1사용자의 탭 동작은 제2사용자의 탭 동작보다 강도가 셀 것이다. 또한, 탭 동작의 강도는 제1외부장치(410)와 제2외부장치(420)의 재질에 따라서 달라질 수 있다. 예컨대, 제1외부장치(410)는 케이스가 씌워지지 않은 경우로서, 전자장치(100)와 물리적으로 접촉할 때 장치 간의 외부 표면이 그대로 접촉할 수 있다. 반면, 제2외부장치(420)는 고무재질로 된 케이스가 씌워진 경우로서, 이 경우, 고무재질의 특성상 제2외부장치(420)의 외부 표면보다 연한 재질로 구성되어, 제1외부장치(410)와 같이 장치를 그대로 접촉하는 경우보다 강도가 낮을 수 있다. 이와 같이, 탭 동작의 강도 등은 사용자 별로 다를 수 있고, 외부장치 별로 다를 수 있으며 다양한 경우가 존재할 수 있다.
따라서, 도 5에서 제1사용자(410)에 의해 발생한 신호의 패턴(511)은 제2사용자(420)에 의해 발생한 신호의 패턴(512)보다 세기가 크고, 제1사용자(410)는 탭 동작을 1회 수행하여 신호의 패턴(511)은 하나의 피크만을 가진다. 제2사용자(420)에 의해 발생한 신호의 패턴(512)은 패턴(511)보다 세기는 작으나, 탭 동작이 2회 발생하여 두 개의 작은 피크를 가진다. 이 때, 제2사용자(420)의 탭 동작은 의도적으로 2회 발생한 것일 수도 있고, 제2사용자(420)의 탭 동작의 경향이 1회를 치면서 미약하게 다른 1회를 발생시킬 수도 있으며, 본 도면은 이와 같이 잔향을 구별하여 도시하기 위해 과장하여 표시한 것일 수 있다. 이와 같이, 신호의 패턴은 사용자의 탭 동작의 경향에 따라서도 다를 수 있다.
프로세서(180)는 센서(170)를 통해 감지한 신호의 패턴을 복수의 참조패턴 중 하나와 대응하는지 여부를 식별할 수 있다. 앞서 설명한 바와 같이, 참조패턴은 다양한 경로를 통해 획득할 수 있고, 제1사용자(410)와 제2사용자(420)의 신호의 패턴(511, 512)에 각각 대응하는 참조패턴(521, 522)은 이미 획득된 것으로 가정한다. 참조패턴(521, 522)은 각 신호의 패턴(511, 512)의 모습과 완전히 동일한 것은 아니고, 예컨대, 신호의 패턴을 정규화(Normalization)한 형태를 가진다. 다만, 본 발명의 일 실시예에서는 각 사용자의 신호의 패턴과 참조 패턴을 정규화한 형태의 신호를 비교하여 사용자 이벤트 여부를 인식하도록 동작하지만, 다른 실시예에서, 예컨대 각 사용자에 대응하는 참조 패턴을 인공지능에 의해 학습하는 경우, 사용자의 탭 동작의 발생 빈도가 증가하여 학습 데이터가 충분히 축적되면, 신호를 정규화하지 않고도 사용자의 신호의 패턴과 참조 패턴의 신호를 직접 비교하도록 동작하는 것도 가능하다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 사용자성향에 따라 서로 다른 참조패턴을 이용함으로써, 다양한 상황에서도 사용자 이벤트 발생 여부를 식별하여 사용자 이벤트의 인식률을 높일 수 있다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 본 발명의 일 실시예에 따른 프로세서(180)는, 서로 다른 복수의 참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여 신호의 패턴이 참조패턴에 대응하는지 여부를 식별할 수 있다. 각 모델은, 신호의 패턴이 참조패턴에 대응하는지 여부를 식별하는 데 이용되는 파라미터가 해당 참조패턴을 정규화한 값(이하, '정규화 값'이라 함)에 대응하도록 설정된다. 즉, 특정 참조패턴의 정규화 값에 대응하도록 파라미터가 설정된 모델을 이용하여, 해당 정규화 값을 가지는 신호의 패턴을 인식할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 센서(170)를 통해 사용자성향에 따라 다르게 발생한 복수의 신호의 패턴(신호의 패턴 1, 신호의 패턴 2, ??, 신호의 패턴 n)을 구분하여 감지할 수 있다(S610). 프로세서(180)는 감지된 신호의 패턴의 특성을 식별하고, 예상되는 복수의 신호 패턴의 특성에 따라 분류된 복수의 정규화 값에 대응하도록 학습된 복수의 모델(모델 1, 모델 2, ??, 모델 k)에 기초하여 감지된 신호의 패턴을 인식할 수 있다. 모델을 학습하는 과정은 전자장치(100)의 설계나 제조단계에서 이루어지며, 학습된 모델의 데이터 혹은 정보는 저장부(140)에 미리 저장되거나, 인터페이스부(110)를 통해 서버로부터 수신할 수 있으며, 이들의 조합도 가능하는 등 어느 하나에 한정되는 것은 아니다. 다른 예로서, 프로세서(180)는 감지되는 신호의 패턴을 직접 학습하여 이에 대응하는 새로운 모델을 생성할 수도 있다. 이에 대해서는 아래에서 보다 상세히 설명한다.
프로세서(180)는 사용자에 의해 탭 동작(S630)이 발생한 경우, 미리 마련되거나, 외부로부터 수신된 혹은 직접 학습된 복수의 모델에 기초하여 센서(170)를 통해 감지된 신호의 패턴이 참조패턴에 대응하는지 여부를 식별할 수 있다(S640). 이 때, 보다 상세하게는, 프로세서(180)는 신호의 패턴이 참조패턴에 대응하는지 여부를 감지된 신호의 패턴과, 각 모델의 참조패턴의 정규화 값 간의 유사도에 기초하여 식별할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 학습된 복수의 모델에 기초하여 신호의 패턴을 더욱 정교하게 식별할 수 있으며, 이에 따라 사용자 이벤트의 인식에 대한 신뢰도가 향상될 수 있다.
도 7은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 센서(170)를 통해 감지된 센서 데이터(710), 즉, 신호의 패턴으로부터 특징을 추출(feature extraction)할 수 있다(720). 일례로, 추출되는 특징은, 센서(170)의 x, y, z 축에서 감지된 충격량에 대해 함수를 적용하여 다음과 같이 추출될 수 있다.
Feature Type: abs(diff_x), abs(diff_y), abs(diff_z), f_diff_norm
프로세서(180)는 추출된 특징에 대한 정규화를 수행하고(730), 예컨대, 감지된 신호의 충격량의 정규화 값과, 예상되는 충격량에 대응하도록 파라미터가 학습 설정된 각 모델의 참조패턴의 정규화 값 간의 유사도를 판단할 수 있다(740). 이에 따라, 프로세서(180)는, 다양한 탭 동작으로부터 발생한 신호의 패턴에 관해 학습된 복수의 모델 중에서, 감지된 탭 동작과 유사한 어느 하나의 모델을 이용하여 감지된 탭 동작의 사용자 이벤트를 식별할 수 있게 된다.
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 8에 도시된 전자장치(100)는, 미리 마련된 모델을 이용하거나 혹은 외부로부터 모델을 수신하는 경우 외에, 감지된 신호를 직접 학습하여 새로운 모델을 생성하고, 생성된 모델을 기기 내에서 업데이트한다.
본 실시예의 모델은 저장부(140)에 디폴트로 마련되어 미리 저장되거나, 혹은 외부로부터 수신하여 저장될 수 있다, 본 실시예의 모델은, 일례로서, 탭 동작을 식별하는 제1모델(810)과 노이즈를 식별하는 제2모델(820)을 포함할 수 있다. 이 때, 두 가지 모델(810, 820)은 항상 함께 이용될 필요는 없고, 제2모델(820)은 선택적으로 구비될 수 있으며, 어느 하나에 한정될 필요는 없다. 제2모델(820)이 구비되는 경우에는, 제1모델(810)을 이용하여 감지된 신호가 탭 동작인지 여부를 확인하는 것에 더하여, 감지된 신호가 노이즈에 대응하는 신호인지 여부까지를 추가적으로 확인할 수 있어서, 하나의 제1모델(810)만을 이용하는 경우에 대비하여 신뢰성이 보다 향상된다.
프로세서(180)는, 센서(170)를 통해 감지되는 신호의 패턴에 대응하는 참조패턴이 제1모델(810)에 있는 경우(도 8의 Pass), 감지된 신호는 사용자 이벤트에 대응하는 신호로 판단하고, 제1모델(810)에 없는 경우, 사용자 이벤트에 대응하지 않는 것으로 판단할 수 있다. 이 때, 프로세서(180)는, 감지된 신호를 노이즈에 대응하는 신호라고 판단할 수 있다. 혹은, 프로세서(180)는, 감지되는 신호의 패턴에 대응하는 참조패턴이 제1모델(810)에 없는 경우(도 8의 Fail), 다시 제2모델(820)에 있는지 여부를 확인하여 감지된 신호가 노이즈에 대응하는 신호인지 여부를 판단할 수 있다. 다른 예로서, 프로세서(180)는, 제1모델(810)과, 제2모델(820) 중 제2모델(820)을 먼저 적용할 수 있다. 예컨대, 프로세서(180)는 감지되는 신호가 제2모델(820)에 대응하면, 노이즈인 것으로 판단할 수 있다. 이 때, 프로세서(180)는 감지되는 신호가 사용자 이벤트가 아닌 것으로 판단하고, 더 이상 제1모델(810)을 이용한 판단 동작을 수행하지 않을 수 있다. 이와 같이, 프로세서(180)는 제1모델(810)과, 제2모델(820)을 이용하여 다양한 형태로 감지된 신호에 대한 사용자 이벤트 여부의 판단 동작을 수행할 수 있다. 프로세서(180)는 센서(170)가 감지하는 센싱값이 임계값을 초과하는지 여부를 통해 판단하거나, 도 5에 도시된 바와 같이 감지되는 파형을 통해 판단할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 감지된 신호의 패턴에 대응하는 참조패턴이 제1모델(810)에 없는 경우, 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 추가할 수 있다. 이와 같은 업데이트 과정을 통해 사용자 탭 모델(User Tap Model, 830)을 획득할 수 있다. 사용자 탭 모델(830)은 감지된 신호의 패턴에 대응하는 참조패턴을 식별하기 위해 이용될 수 있다.
본 발명의 다른 실시예에 따르면, 프로세서(180)는 감지된 신호의 패턴에 대응하는 참조패턴이 제1모델(810)에 없는 경우, 감지된 신호에 대한 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호인지 여부를 확인할 수 있다. 추가정보는, 예컨대, 프로세서(110)가 인터페이스부(110)를 통해 사용자 이벤트를 의미하는 사용자 입력을 수신하거나, 외부장치를 인식할 수 있는 정보 등을 수신함으로써 획득할 수 있다. 프로세서(180)가 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호임을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 사용자 탭 모델(830)에 추가할 수 있다. 혹은, 프로세서(180)가 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호가 아님을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하지 않을 수 있다. 이에 따라, 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호인지를 명확하게 확인하여, 신뢰도를 향상시킬 수 있다.
본 발명의 또 다른 실시예에 따르면, 프로세서(180)는, 감지되는 신호의 패턴에 대응하는 참조패턴이 제1모델(810)에 없는 경우, 다시 제2모델(820)에 대응하는지 여부를 확인하여 감지된 신호가 노이즈에 대응하는 신호인지 여부를 판단할 수 있다. 프로세서(180)는, 감지된 신호가 노이즈에 대응하는 신호임을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하지 않을 수 있다. 혹은, 프로세서(180)는, 감지된 신호가 노이즈에 대응하는 신호가 아님을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 사용자 탭 모델(830)에 추가할 수 있다. 이에 따라, 감지된 신호가 제1모델(810)에 대응하지 않는 경우, 노이즈에 대응하는 신호인지 확인한 후 모델을 업데이트 함으로써 신뢰도를 더욱 향상시킬 수 있다.
혹은, 프로세서(180)는, 감지된 신호가 노이즈에 대응하는 신호가 아님을 식별한 경우, 감지된 신호에 대한 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호인지 여부를 확인할 수 있다. 프로세서(180)가 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호임을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 사용자 탭 모델(830)에 추가할 수 있다.
혹은, 프로세서(180)가 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호가 아님을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하지 않을 수 있다. 이 경우, 프로세서(180)는 추가 정보를 이용하여 감지된 신호가 노이즈에 대응하는 신호인지 여부를 식별할 수 있다. 프로세서(180)는 감지된 신호가 노이즈에 대응하는 신호임을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 사용자 노이즈 모델(840)에 추가할 수 있다. 사용자 노이즈 모델(840)은 감지된 신호가 노이즈에 대응하는 신호인지 여부를 식별하기 위해 이용될 수 있다. 본 발명의 일 실시예에 따르면, 업데이트 과정을 통해 기본적으로 제공된 모델을 계속 학습시켜 점진적으로 사용자의 니즈에 충족하는 모델을 획득할 수 있고, 이를 통해 장치 간 인식률을 보다 높일 수 있다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 9에 도시된 전자장치(100)는, 미리 마련된 모델을 이용하거나 혹은 외부로부터 모델을 수신하여 이용하고, 모델을 서버(910)에서 업데이트 하는 모습을 도시한다.
본 실시예의 모델은, 일례로서, 탭 동작을 식별하는 제3모델(920)과 노이즈를 식별하는 제4모델(930)을 포함할 수 있다. 이 때, 제4모델(930)은 선택적으로 구비될 수 있음은 도 8의 실시예와 마찬가지이다.
도 9에서는, 프로세서(180)는 인터페이스부(110)를 통해 서버(910)로부터 모델의 정보를 수신하고, 수신된 모델의 정보에 기초하여 신호의 패턴이 참조패턴에 대응하는지 여부를 식별할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 감지된 신호의 패턴에 대응하는 참조패턴이 제3모델(920)에 있는 경우, 사용자 이벤트에 대응하는 동작을 수행할 수 있다. 프로세서(180)는 감지된 신호의 패턴에 대응하는 참조패턴이 제3모델(920)에 없는 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 제3모델(920)에 추가하도록 인터페이스부(110)를 통해 서버(910)로 전송할 수 있다.
본 발명의 다른 실시예에 따르면, 프로세서(180)는 감지된 신호의 패턴에 대응하는 참조패턴이 제3모델(920)에 없는 경우, 감지된 신호에 대한 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호인지 여부를 확인할 수 있다. 프로세서(180)가 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호임을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 제3모델(920)에 추가하도록 인터페이스부(110)를 통해 서버(910)로 전송할 수 있다. 혹은, 프로세서(180)가 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호가 아님을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하지 않을 수 있다. 이는 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호로부터 발생한 신호인지 명확하게 확인하여, 신뢰도 향상에 그 목적이 있다.
본 발명의 또 다른 실시예에 따르면, 프로세서(180)는, 감지되는 신호가 제3모델(920)에 없는 경우, 다시 제4모델(930)에 대응하는지 여부를 확인하여 감지된 신호가 노이즈에 대응하는 신호인지 여부를 판단할 수 있다. 프로세서(180)는, 감지된 신호가 노이즈에 대응하는 신호임을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하지 않을 수 있다. 혹은, 프로세서(180)는, 감지된 신호가 노이즈에 대응하는 신호가 아님을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 제3모델(920)에 추가하도록 인터페이스부(110)를 통해 서버(910)로 전송할 수 있다. 이는 감지된 신호가 제3모델(920)에 대응하지 않는 경우, 노이즈에 대응하는 신호인지 확인한 후 모델을 업데이트 함으로써 신뢰도 향상에 그 목적이 있다.
혹은, 프로세서(180)는, 감지된 신호가 노이즈에 대응하는 신호가 아님을 식별한 경우, 감지된 신호에 대한 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호인지 여부를 확인할 수 있다. 프로세서(180)가 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호임을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 제3모델(920)에 추가하도록 인터페이스부(110)를 통해 서버(910)로 전송할 수 있다.
혹은, 프로세서(180)가 추가 정보를 이용하여 감지된 신호가 사용자 이벤트에 대응하는 새로운 패턴의 신호가 아님을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하지 않을 수 있다. 이 경우, 프로세서(180)는 추가 정보를 이용하여 감지된 신호가 노이즈에 대응하는 신호인지 여부를 식별할 수 있다. 프로세서(180)는 감지된 신호가 노이즈에 대응하는 신호임을 식별한 경우, 감지된 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 생성하여 제4모델(930)에 추가하도록 인터페이스부(110)를 통해 서버(910)로 전송할 수 있다.
본 발명의 일 실시예에 따르면, 전자장치가 아닌 서버를 통해서도 학습된 모델을 이용 및 업데이트할 수 있어 사용자 이용의 편리함 및 프로세서의 한계를 극복할 수 있다.
도 10은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 도면에서는 복수의 모델이 사용자 별 및/또는 외부장치 별로 존재하는 경우의 전자장치(100)의 동작 흐름도를 도시한다. 앞선 실시예와 같이, 사용자가 외부장치를 이용하여 전자장치(100)에 탭 동작을 하면(S1010), 센서(170)는 신호를 감지할 수 있다(S1020).
사용자 이벤트에 대응하는 신호를 식별한 경우, 그 다음 단계로 전자장치(100)는 해당 사용자 이벤트를 발생시킨 외부장치를 식별하여 전자장치(100)와 사용자 이벤트를 발생시킨 외부장치를 연결한다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 복수의 모델로서 사용자 별 및/또는 외부장치 별로 이에 대응하는 복수의 참조패턴을 학습시킨 모델을 이용할 수 있다. 예컨대, 도 10에 도시된 바와 같이, 복수의 학습된 모델은 사용자 별(사용자 1, 사용자 2, 사용자 3,??)로 존재할 수 있으며, 외부장치 별(외부장치 1, 외부장치 2, 외부장치 3,??)로 존재할 수 있다. 프로세서(180)가 전자장치(100)와 외부장치를 연결하는 과정에서 감지한 신호의 패턴과 연결된 사용자나 외부장치의 정보를 대응하여 저장부(140)에 저장할 수 있고, 이 과정을 계속 반복하면서 복수의 모델을 생성할 수 있다. 다만, 이는 일 실시예에 지나지 않으며, 앞서 도 6에서 설명한 방법에 의해 학습된 모델을 획득할 수 있다.
따라서, 프로세서(180)는 복수의 사용자 별 및/또는 외부장치 별로 학습되어 마련된 복수의 모델의 참조패턴에 기초하여, 보다 높은 신뢰성으로 사용자 이벤트를 식별할 수 있다. 프로세서(180)는 감지된 신호의 패턴과 사용자 별 및/또는 외부장치 별로 마련된 복수의 모델의 참조패턴을 비교하여, 감지된 신호의 패턴과 가장 유사한 참조패턴을 가지는 어느 하나의 모델을 식별할 수 있다(S1030). 만약 유사한 참조패턴을 가지는 모델이 존재하는 경우(S1030의 Yes), 프로세서(180)는 식별된 모델에 대응하는 사용자 혹은 외부장치에 관한 사용자 이벤트가 발생한 것으로 판단한다. 이어, 프로세서(180)는 주변 사용자 혹은 외부장치를 스캔할 수 있다(S1040). 프로세서(180)는 앞서 설명한 이미지센싱 등을 이용하여 주변 사용자를 스캔할 수 있다. 프로세서(180)는 외부장치를 스캔 하는 경우, 인터페이스부(110)를 통해, 예컨대, BLE 신호를 브로드캐스트(broadcast) 방식으로 외부장치로 전송하고, 이에 응답하는 신호를 외부장치로부터 수신하여 수신한 신호에 포함된 외부장치의 식별번호 등을 분석하여 연결 가능한 외부 장치를 결정할 수 있다. 스캔된 사용자 혹은 외부장치의 정보와, 식별된 모델에 대응하여 저장된 사용자 및/또는 외부장치의 정보를 비교하여 대응하는 외부장치(200)와 전자장치(100)를 연결하고(S1050), 장치 간 컨텐트의 전송 동작을 수행할 수 있다.
한편, 본 발명의 다른 실시예에서는, 전자장치(100)의 프로세서(180)가 전자장치(100)와 외부장치를 연결하는 과정에서 감지한 신호의 패턴과 연결된 사용자나 외부장치의 정보를 대응시킨 정보를 저장부(140)에 저장하고 있는 경우에는, 외부장치의 스캔 동작을 생략하고 바로 연결동작을 수행할 수도 있다. 만약, 감지된 신호와 유사한 참조패턴 신호에 대응하는 외부기기의 식별정보가 저장부(140)에 기 저장되어 있다면, 프로세서(180)는 브로드캐스팅 스캔을 이용하여 사용자 이벤트 발생 여부의 확인을 위한 정보를 송수신하는 동작을 생략하고, 저장된 외부기기의 식별정보를 이용하여 외부기기와의 연결 동작을 바로 수행할 수도 있다. 이에 따라, 장치간 연결 속도가 추가로 개선될 수 있다.
그러나, 유사한 참조패턴을 가지는 모델이 존재하지 않는 경우(S1030의 No), 프로세서(180)는 감지된 신호에 대응하는 사용자 이벤트가 발생하지 않은 것으로 판단하고, 후속 동작을 수행하지 않을 수 있다. 다른 실시예로서, 유사한 참조패턴을 가지는 모델이 존재하지 않더라도, 프로세서(180)는 주변 사용자 혹은 외부장치를 스캔할 수 있고(S1040), 스캔된 사용자 혹은 외부장치의 정보와, 감지된 신호 간의 관련성, 사용자의 의도 등에 관한 추가 정보 등에 기초하여 사용자 이벤트를 발생시킨 외부장치와 연결할 수 있다(S1050).
본 발명의 일 실시예에 따르면, 사용자 별 및/또는 외부장치 별로 학습된 모델을 마련하여, 사용자나 외부장치를 인식하는 속도가 빨라질 수 있으며, 장치 간 연결의 정확도 및 신뢰도를 높일 수 있다.
100: 전자장치
110: 인터페이스부
120: 디스플레이부
130: 사용자입력부
140: 저장부
150: 마이크로폰
160: 스피커
170: 센서
180: 프로세서

Claims (20)

  1. 전자장치에 있어서,
    인터페이스부;
    센서; 및
    상기 센서를 통해 감지되는 신호의 패턴이, 외부장치를 이용한 사용자 이벤트를 나타내는 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하고, 상기 복수의 참조패턴은 상기 외부장치를 이용한 사용자 이벤트를 발생시키는 사용자성향에 따라 상기 참조패턴의 특성이 서로 다르며,
    상기 참조패턴에 대응하는 상기 신호에 기초하여, 상기 인터페이스부를 통하여 상기 외부장치 간 상기 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행하는 프로세서를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 서로 다른 복수의 참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 전자장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 신호의 패턴과, 상기 각 모델의 참조패턴의 특성을 정규화한 값 간의 유사도에 기초하여, 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 전자장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 신호의 패턴에 대응하는 상기 참조패턴이 없는 경우, 상기 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 추가하는 전자장치.
  5. 제2항에 있어서,
    상기 프로세서는, 서버로부터 상기 모델의 정보를 수신하고, 상기 수신된 모델의 정보에 기초하여 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 전자장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    복수의 외부장치 별로 마련된 상기 복수의 참조패턴에 기초하여, 상기 복수의 외부장치 중 상기 신호의 패턴에 대응하는 상기 외부장치를 식별하고,
    상기 식별된 외부장치에 대응하는 상기 컨텐트의 전송 동작을 수행하는 전자장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    복수의 사용자 별로 마련된 상기 복수의 참조패턴에 기초하여, 상기 복수의 사용자 중 상기 신호의 패턴에 대응하는 사용자를 식별하고,
    상기 식별된 사용자에 대응하는 상기 컨텐트의 전송 동작을 수행하는 전자장치.
  8. 제1항에 있어서,
    상기 신호는 제1신호이고, 상기 참조패턴은 제1참조패턴이고,
    상기 프로세서는,
    상기 센서를 통해 감지되는 제2신호의 패턴이, 노이즈를 나타내는 서로 다른 복수의 제2참조패턴 중 어느 하나에 대응하는지 여부를 식별하고,
    상기 제2참조패턴에 대응하는 것으로 식별된 상기 제2신호는 상기 사용자 이벤트에 대응하지 않는 것으로 식별하는 전자장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 서로 다른 복수의 제2참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여, 상기 제2신호의 패턴이 상기 제2참조패턴에 대응하는지 여부를 식별하는 전자장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    상기 제2신호의 패턴에 대응하는 상기 제2참조패턴이 없는 경우, 상기 제2신호의 패턴에 대응하는 새로운 제2참조패턴의 모델을 추가하는 전자장치.
  11. 전자장치의 제어방법에 있어서,
    센서를 통해 감지되는 신호의 패턴이, 외부장치를 이용한 사용자 이벤트를 나타내고, 상기 외부장치를 이용한 사용자 이벤트를 발생시키는 사용자성향에 따라 특성이 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계; 및
    상기 참조패턴에 대응하는 상기 신호에 기초하여, 인터페이스부를 통하여 상기 외부장치 간 상기 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행하는 단계를 포함하는 전자장치의 제어방법.
  12. 제11항에 있어서,
    상기 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계는,
    상기 서로 다른 복수의 참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계를 포함하는 전자장치의 제어방법.
  13. 제11항에 있어서,
    상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계는,
    상기 신호의 패턴과, 상기 각 모델의 참조패턴의 특성을 정규화한 값 간의 유사도에 기초하여, 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계를 포함하는 전자장치의 제어방법.
  14. 제11항에 있어서,
    상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계는,
    상기 신호의 패턴에 대응하는 상기 참조패턴이 없는 경우, 상기 신호의 패턴에 대응하는 새로운 참조패턴의 모델을 추가하는 단계를 포함하는 전자장치의 제어방법.
  15. 제11항에 있어서,
    상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계는,
    서버로부터 상기 모델의 정보를 수신하고, 상기 수신된 모델의 정보에 기초하여 상기 신호의 패턴이 상기 참조패턴에 대응하는지 여부를 식별하는 단계를 포함하는 전자장치의 제어방법.
  16. 제11항에 있어서,
    상기 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계는, 복수의 외부장치 별로 마련된 상기 복수의 참조패턴에 기초하여, 상기 복수의 외부장치 중 상기 신호의 패턴에 대응하는 상기 외부장치를 식별하는 단계를 포함하고,
    상기 컨텐트의 전송 동작을 수행하는 단계는, 상기 식별된 외부장치에 대응하는 상기 컨텐트의 전송 동작을 수행하는 단계를 포함하는 전자장치의 제어방법.
  17. 제11항에 있어서,
    상기 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계는, 복수의 사용자 별로 마련된 상기 복수의 참조패턴에 기초하여, 상기 복수의 사용자 중 상기 신호의 패턴에 대응하는 사용자를 식별하고,
    상기 컨텐트의 전송 동작을 수행하는 단계는, 상기 식별된 사용자에 대응하는 상기 컨텐트의 전송 동작을 수행하는 단계를 포함하는 전자장치의 제어방법.
  18. 제11항에 있어서,
    상기 신호는 제1신호이고, 상기 참조패턴은 제1참조패턴이고,
    상기 센서를 통해 감지되는 제2신호의 패턴이, 노이즈를 나타내는 복수의 제2참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계; 및
    상기 제2참조패턴에 대응하는 것으로 식별된 상기 제2신호는 상기 사용자 이벤트에 대응하지 않는 것으로 식별하는 단계를 더 포함하는 전자장치의 제어방법.
  19. 제11항에 있어서,
    상기 제2신호의 패턴이 상기 제2참조패턴에 대응하는지 여부를 식별하는 단계는,
    상기 서로 다른 복수의 제2참조패턴의 특성을 식별하도록 학습된 복수의 모델에 기초하여, 상기 제2신호의 패턴이 상기 제2참조패턴에 대응하는지 여부를 식별하는 단계를 포함하는 전자장치의 제어방법.
  20. 컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은,
    센서를 통해 감지되는 신호의 패턴이, 외부장치를 이용한 사용자 이벤트를 나타내고, 상기 외부장치를 이용한 사용자 이벤트를 발생시키는 사용자성향에 따라 특성이 서로 다른 복수의 참조패턴 중 어느 하나에 대응하는지 여부를 식별하는 단계; 및
    상기 참조패턴에 대응하는 상기 신호에 기초하여, 인터페이스부를 통하여 상기 외부장치 간 상기 사용자 이벤트에 대응하는 컨텐트의 전송 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.
KR1020200046962A 2020-01-06 2020-04-17 전자장치 및 그 제어방법 KR20210088401A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2021/000012 WO2021141332A1 (ko) 2020-01-06 2021-01-04 전자장치 및 그 제어방법
US17/398,667 US20210365232A1 (en) 2020-01-06 2021-08-10 Electronic apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062957390P 2020-01-06 2020-01-06
US62/957,390 2020-01-06

Publications (1)

Publication Number Publication Date
KR20210088401A true KR20210088401A (ko) 2021-07-14

Family

ID=76862879

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200046962A KR20210088401A (ko) 2020-01-06 2020-04-17 전자장치 및 그 제어방법
KR1020200046484A KR20210088400A (ko) 2020-01-06 2020-04-17 전자장치 및 그 제어방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020200046484A KR20210088400A (ko) 2020-01-06 2020-04-17 전자장치 및 그 제어방법

Country Status (2)

Country Link
US (1) US20210365232A1 (ko)
KR (2) KR20210088401A (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482403B2 (en) * 2007-12-12 2013-07-09 Sony Corporation Interacting with devices based on physical device-to-device contact
WO2009105115A2 (en) * 2008-02-22 2009-08-27 T-Mobile Usa, Inc. Data exchange initiated by tapping devices
US8756657B2 (en) * 2009-09-29 2014-06-17 Ebay Inc. Mobile or user device authentication and tracking
US20110076941A1 (en) * 2009-09-30 2011-03-31 Ebay Inc. Near field communication and network data/product transfer
US11356429B2 (en) * 2013-07-23 2022-06-07 Blancco Technology Group IP Oy Systems and methods for device data transfer
US9232343B2 (en) * 2013-12-09 2016-01-05 Xerox Corporation Placing commands through close proximity communication tapping patterns
KR102627518B1 (ko) * 2016-09-02 2024-01-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
US10271190B2 (en) * 2017-05-01 2019-04-23 Qualcomm Incorporated Low energy beacon configuration on tap

Also Published As

Publication number Publication date
KR20210088400A (ko) 2021-07-14
US20210365232A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US9544633B2 (en) Display device and operating method thereof
EP3160151B1 (en) Video display device and operation method therefor
US11568875B2 (en) Artificial intelligence apparatus and method for recognizing plurality of wake-up words
CN112735388B (zh) 网络模型训练方法、语音识别处理方法及相关设备
US20210134302A1 (en) Electronic apparatus and method thereof
KR20200043128A (ko) 전자장치 및 그 제어방법
KR20210088401A (ko) 전자장치 및 그 제어방법
EP4174850A1 (en) Electronic device for voice recognition, and control method therefor
WO2021091063A1 (ko) 전자장치 및 그 제어방법
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법
WO2021141332A1 (ko) 전자장치 및 그 제어방법
KR20220033325A (ko) 음성 인식을 위한 전자장치 및 그 제어방법
KR20210071664A (ko) 전자장치 및 그 제어방법
KR20220015306A (ko) 전자장치 및 그 제어방법
US20220028380A1 (en) Display device
WO2021141330A1 (ko) 전자장치 및 그 제어방법
US20220165298A1 (en) Electronic apparatus and control method thereof
KR20200092480A (ko) Em 신호의 특징을 등록하여 외부 장치를 식별하는 방법 및 상기 방법을 적용한 전자 장치
KR20210087653A (ko) 전자장치 및 그 제어방법
KR20220071591A (ko) 전자장치 및 그 제어방법
US20230153419A1 (en) Display apparatus and operation method thereof
US20220165263A1 (en) Electronic apparatus and method of controlling the same
KR20220164222A (ko) 전자장치 및 그 제어방법
KR20220083199A (ko) 전자장치 및 그 제어방법
US20230164856A1 (en) Electronic device and control method therefor

Legal Events

Date Code Title Description
A201 Request for examination