WO2021033814A1 - 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템 - Google Patents

레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템 Download PDF

Info

Publication number
WO2021033814A1
WO2021033814A1 PCT/KR2019/010703 KR2019010703W WO2021033814A1 WO 2021033814 A1 WO2021033814 A1 WO 2021033814A1 KR 2019010703 W KR2019010703 W KR 2019010703W WO 2021033814 A1 WO2021033814 A1 WO 2021033814A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
user
area
gesture recognition
control signal
Prior art date
Application number
PCT/KR2019/010703
Other languages
English (en)
French (fr)
Inventor
김형민
김한준
박종희
윤재준
이효련
Original Assignee
주식회사 에이치랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치랩 filed Critical 주식회사 에이치랩
Priority to PCT/KR2019/010703 priority Critical patent/WO2021033814A1/ko
Publication of WO2021033814A1 publication Critical patent/WO2021033814A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the technical field relates to radar-based gesture recognition, and relates to a system that recognizes a user's gesture in a non-wearable manner and provides various services according to the recognized gesture.
  • Radar-based gesture recognition is being spotlighted as a technology capable of detecting and recognizing a user's hand gesture in real time in various environments and controlling a device through a hand gesture.
  • radar-based gesture recognition is more accurate than optical gesture recognition, can be implemented in a small size, and is advantageous in terms of cost.
  • radar-based gesture recognition has a relatively small amount of data to be processed compared to gesture recognition through an image, and has an advantage in protecting personal information.
  • the method of detecting hand motion or arm motion through a wearable device tends to limit the user interface/user experience (UI/UX) and services that can be provided.
  • UI/UX user interface/user experience
  • a gesture recognition service system includes a device and a server for providing a gesture recognition service equipped with a radar sensor, and the device for providing the gesture recognition service detects a user's gesture in a preset radar recognition area. Generates a control signal corresponding to the detected user's gesture and a radar sensor, and includes user interface setting information of the echo device equipped with the radar sensor, location information of the echo device, and information on applications running on the echo device. And a processor configured to determine a control mode based on at least one of information about the echo device and an external device connected through a network and generate a control signal corresponding to the control mode, and perform an operation corresponding to the user gesture. It includes a control signal transmission unit for transmitting the control signal to the execution unit.
  • the preset radar recognition area may be variably adjusted according to the control mode.
  • the processor checks the control mode and controls the determined continuous motion detected within the preset time among a plurality of control languages. Any one control language corresponding to the mode can be selected.
  • An apparatus for providing a gesture recognition service may further include a communication unit for transmitting and receiving data to and from a server or a cloud system, and the communication unit includes information on the detected user's gesture and a result of executing an operation corresponding to the user gesture. And at least one of information on a user's feedback on a result of executing an operation corresponding to the user gesture may be transmitted to the server or the cloud system.
  • the processor determines the control mode as an internal control mode when the setting information of the user interface is a gesture recognition activation state and the setting of the echo device is a state in which gesture control by a user is permitted, and the control signal transmitting unit transmits the control signal. It can be transmitted to the execution unit of the echo device.
  • the eco device is a mobile terminal, and the processor determines one of a home service area, a residential area, a public service area, a vehicle interior area, and a user-designated area based on the location information of the mobile terminal, and the determined area Checks the gesture recognition service provided in, and determines the control mode based on the identified gesture recognition service area, and the control signal transmission unit of the external device providing the gesture recognition service based on the location information of the mobile terminal The control signal may be transmitted to the execution unit.
  • the eco device is a device installed in any one of a home service area, a residential area, a public service area, a vehicle interior area, and a user preset area, and the processor controls the control according to a preset control mode when a user gesture is recognized. Can generate signals.
  • a method for providing a gesture recognition service performed by a device including at least one processor includes the steps of detecting a user's gesture in a preset radar recognition area, and corresponding to the detected user's gesture.
  • a control signal is generated, but the user interface setting information of the device equipped with the radar sensor, the location information of the device equipped with the radar sensor, information about the application running on the device, and an external device connected to the device through a network Determining a control mode based on at least one of the related information, generating a control signal corresponding to the control mode, and transmitting the control signal to an execution unit that performs an operation corresponding to the user gesture.
  • Various services can be provided through radar-based non-wearable gesture recognition.
  • a new UI/UX User Interface/User Experience
  • service may be provided through a gesture recognition service based on a user location.
  • FIG. 1 is a diagram illustrating a radar-based non-wearable gesture recognition service system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of an apparatus for providing a gesture recognition service shown in FIG. 1.
  • FIG. 3 is a diagram for describing various examples of application of a device for providing a gesture recognition service.
  • FIG. 4 is a flowchart illustrating a method for providing a gesture recognition service according to an embodiment.
  • FIG. 5 is a diagram for explaining a control mode of a device for providing a gesture recognition service according to an embodiment.
  • FIG. 6 is an exemplary diagram illustrating a gesture recognition area of a device for providing a gesture recognition service according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an example of a location-based gesture recognition service according to an embodiment.
  • FIG. 1 is a diagram illustrating a radar-based non-wearable gesture recognition service system according to an embodiment of the present invention.
  • a radar-based non-wearable gesture recognition service system includes a device 120 and a server/cloud 130 for providing a gesture recognition service.
  • the device 120 for providing a gesture recognition service may recognize a gesture of the user 110 in the gesture recognition area 211 of the radar sensor 121.
  • the gesture recognition area 211 may be an area that detects movement of a hand or arm of the user 110. Accordingly, from the user's point of view, the gesture recognition area 211 may be recognized as a space 111 in which a hand or arm is moved.
  • the gesture recognition area 211 may be a space larger or smaller than the space 111 in which a hand or arm is moved. However, in the present specification, for convenience of description, the gesture recognition area 211 will be described with the same concept as the space 111 in which a hand or arm is moved.
  • the server/cloud 130 may be a cloud system connected to the device 120 through a network or a server system for providing a service.
  • the device 120 may transmit all data collected for gesture recognition to the server/cloud 130.
  • the server/cloud 130 may improve gesture recognition performance through machine learning based on data collected from the device 120.
  • the learning process for gesture recognition is a process of transmitting radar sensor setting information for optimization of a radar sensor to the device 120, receiving a setting completion signal from the device 120, and receiving data for learning from the device 120. This may include a process of performing and determining a parameter of a learning model.
  • the optimization of the radar sensor may include adjusting a data slice, adjusting a frame sequence of a chip signal, adjusting a sample rate for analog digital conversion, and the like.
  • the process of determining the parameters of the learning model may include adjusting the sampling data quantity, the sampling data interval, and the optimization algorithm.
  • server/cloud 130 may receive a control signal from the device 120 and transmit the control signal to another device that performs an operation according to the control signal.
  • the apparatus 120 for providing a gesture recognition service may be various types of devices equipped with a radar sensor.
  • the device 120 may be a smartphone, a television, a computer, a car, a door phone, or a game controller that provides UX/UI based on gesture recognition.
  • the device 120 may be configured to be connected to a smart phone through a connector such as USB.
  • FIG. 2 is a diagram illustrating a configuration example of an apparatus for providing a gesture recognition service shown in FIG. 1.
  • the device 120 may include a radar sensor 121, a processor 123, and a control signal transmission unit 125, and may further include a communication unit 127 for transmitting and receiving data.
  • the device 120 may be a smart device, and although not shown in FIG. 2, it may further include a GPS sensor, a touch display, a geomagnetic sensor, etc. for acquiring location information provided in the smart device.
  • the radar sensor 121 detects a user's gesture in a preset radar recognition area.
  • the radar sensor 121 may be a sensor for radar-based motion recognition such as an Impulse-Radio Ultra Wideband (IR-UWB) radar sensor and a Frequency Modulated Continuous Wave (FMCW) radar sensor.
  • IR-UWB Impulse-Radio Ultra Wideband
  • FMCW Frequency Modulated Continuous Wave
  • the radar sensor 121 By using the radar sensor 121, it is possible to perform ultra-precise motion recognition that recognizes a finger gesture at a short distance, and has an advantage of avoiding an issue of invading personal privacy compared to image-based motion recognition.
  • Gestures of a user detectable through the radar sensor 121 include a fixed expression, a single motion, and a continuous motion in which single motions are followed.
  • the'fixed expression' may be, for example, expressing a specific shape with a finger.
  • expressing numbers with fingers can be classified as'fixed expressions'.
  • The'single motion' may be, for example, opening a finger while holding a fist or moving a hand to the left or right.
  • the'continuous motion' may be a motion of clenching and opening a fist after moving a hand to the left or right.
  • the processor 123 generates a control signal corresponding to the detected user's gesture.
  • a'control signal' refers to a command or data for performing an operation corresponding to a user's gesture as a result of recognizing the gesture.
  • the'control signal' may be an execution command of a specific application.
  • the'control signal' may be a command that'the correct password has been entered and unlock the door lock' by the hand motion.
  • the device 120 equipped with the radar sensor 121 is referred to as an'Echo Device', and receives a'control signal' from the device 120 equipped with the radar sensor 121 to respond to user gestures.
  • An external device that performs a corresponding operation will be referred to as an'external device'.
  • a vehicle equipped with a radar sensor can be classified as an eco device.
  • a home network system that performs an operation according to a recognized gesture after receiving a control signal from a smartphone equipped with a radar sensor through a network, it may be referred to as an external device.
  • the processor 123 includes user interface setting information of an echo device equipped with a radar sensor, location information of the echo device, information about an application running on the echo device, and information about an external device connected to the echo device through a network. It may be configured to determine a control mode based on at least one and generate a control signal corresponding to the control mode.
  • the user interface setting information of the echo device may include whether gesture recognition is activated or deactivated.
  • the processor 123 may determine the control mode as an internal control mode when the user interface setting information is a gesture recognition activation state and the echo device setting is a user's gesture control allowed state.
  • detection of a gesture in the internal control mode may be recognized as an input signal for executing an application, locking and releasing a screen, and manipulating a running application.
  • the control signal transmission unit 125 transmits the control signal to an execution unit (not shown) that performs an operation corresponding to a user gesture.
  • the execution unit may be at least one of software and hardware inside the echo device, and may be an external device, specific software installed in an external device, or hardware installed in an external device.
  • the execution unit may be an apparatus for adjusting the volume of the audio output.
  • the execution unit may be a power supply device of the air purifier.
  • the processor 123 checks the control mode and determines the continuous motion detected within the preset time among a plurality of control languages. Any one control language corresponding to the control mode can be selected.
  • the user's gesture can be made of a continuous motion, and the continuous motion recognition is recognized as a language through continuous motion recognition, but each individual unit is recognized according to the association between individual unit motions, location information, and connected external devices. Can be recognized by language.
  • the communication unit 127 transmits and receives data to and from a server or a cloud system.
  • the communication method through the communication unit 127 includes all types of communication such as short-range and broadband communication networks.
  • the communication unit 127 provides information on a user's gesture detected under the control of the processor 123, a result of executing an operation corresponding to the user gesture, and a user's feedback on a result of executing an operation corresponding to the user gesture. At least one of the information on may be transmitted to the server or the cloud system.
  • FIG. 3 is a diagram for describing various examples of application of a device for providing a gesture recognition service.
  • the eco device is a device that can be connected to the smart device 120-4 through a smart phone 121-1, a game controller 120-2, a door phone 120-3, and a connector ( 121-1).
  • the eco device may be a mobile terminal such as the smartphone 121-1.
  • the processor 123 of FIG. 2 determines any one of the home service area, the residential area, the public service area, the vehicle interior area, and the area pre-designated by the user based on the location information of the mobile terminal, and provides it in the determined area.
  • the gesture recognition service to be performed may be checked, and the control mode may be determined based on the identified gesture recognition service area.
  • control signal transmission unit 123 of FIG. 2 may transmit the control signal to an execution unit of an external device that provides the gesture recognition service based on location information of the mobile terminal.
  • the eco device is a device installed in any one of a home service area, a residential area, a public service area, a vehicle interior area, and a user-designated area.
  • the control signal may be generated according to a preset control mode.
  • FIG. 4 is a flowchart illustrating a method for providing a gesture recognition service according to an embodiment.
  • the method shown in FIG. 4 may be performed by the device 120 of FIG. 2.
  • a method for providing a gesture recognition service may be performed by an apparatus including at least one processor.
  • step 410 the device detects a user's gesture in a preset radar recognition area.
  • step 420 the device generates a control signal corresponding to the detected user's gesture.
  • the device includes user interface setting information of the device equipped with the radar sensor, location information of the device equipped with the radar sensor, information about an application running on the device, and information about an external device connected to the device through a network.
  • a control mode may be determined based on at least one of the control modes, and a control signal corresponding to the control mode may be generated.
  • step 430 the device transmits the control signal to an execution unit that performs an operation corresponding to a user gesture.
  • step 440 the apparatus performs an operation corresponding to the gesture.
  • FIG. 5 is a diagram for explaining a control mode of a device for providing a gesture recognition service according to an embodiment.
  • the method shown in FIG. 5 may be performed by the device 120 of FIG. 2.
  • step 510 the apparatus checks whether the echo device control mode is in the mode.
  • Whether the device is in the echo device control mode may be a case in which gesture recognition of the device is activated or the recognized gesture is an operation for controlling an internal device.
  • the external device control mode may be determined.
  • the apparatus when it is set to control an external device through an application currently running in the eco device, the apparatus may operate in a mode for controlling both the eco device and the external device.
  • the apparatus may include data for controlling the communication unit to transmit a control signal to an external device through a network and controlling temperature control in the external device.
  • the eco device does not necessarily determine the control mode by the flow shown in FIG. That is, when the device is not interlocked with the external device from the initial installation stage, the flowchart illustrated in FIG. 5 may not be applied. For example, when a radar sensor is mounted on a door phone and is set to recognize only a gesture corresponding to a password, the flowchart of FIG. 5 is not applied.
  • step 510 determines in step 520 as the external device control mode, generates a control signal according to the recognized gesture, and then transmits the control signal to the external device in step 530.
  • step 510 if the eco device control mode is used, the apparatus determines whether location information interworking is required in step 540.
  • a user's gesture may be recognized as an action requiring a location information link service, or a device setting may be a case where a location information-based service is activated.
  • step 550 the device generates a control signal corresponding to a user gesture and transmits the control signal to the execution unit.
  • the device checks the location information in step 560 and generates a location-based control signal in step 570.
  • the location-based control signal refers to a control signal that provides different services according to a location, a place, and a specific space.
  • the same hand movement of the user may be recognized as a different input command depending on the location or location.
  • step 580 the device transmits a control signal to the execution unit to control the execution unit to perform an operation corresponding to the user's gesture.
  • FIG. 6 is an exemplary diagram illustrating a gesture recognition area of a device for providing a gesture recognition service according to an exemplary embodiment.
  • a preset radar recognition area may be variably adjusted according to a control mode.
  • the processor 123 of FIG. 2 may set the recognition area as the proximity area 211 when operating in the control mode of the eco device.
  • the processor 123 may set the recognition area as the enlarged proximity area 211-1 in the case of operating in the control mode of the external device and in the case of simple control of the device.
  • the simple control of the device is, for example, when the smartphone is in a state to recognize unlocking from the locked state, when the vehicle is parked, recognizes the driver's approach, and performs the door opening function by recognizing the user's gesture. I can.
  • the adjustment of the recognition area may be adjusted by adjusting the output voltage level of the radar sensor or ignoring a gesture recognized in an area other than the corresponding recognition area.
  • the recognition area may be set to a more distant area than the enlarged proximity area 211-1.
  • the device 120 may operate in a control mode suitable for the proximity area 211, the enlarged proximity area 211-1, and the remote area.
  • the processor 123 may adjust the recognition area for a part that needs to be recognized among movements of a finger, a hand, and a body through the setting of the radar sensor 121.
  • the recognition area is set as the proximity area 211, or when the movement of the body is recognized, the recognition area is enlarged or enlarged. It is possible to set a far more extended area than the adjacent area 211-1.
  • FIG. 7 is a diagram illustrating an example of a location-based gesture recognition service according to an embodiment.
  • the location-based gesture recognition service may include at least one of a home service area 710, a residential service area 720, and a non-residential service area 730.
  • the devices 120-1, 120-2, 120-3, and 120-4 installed in each area may be eco devices equipped with a radar sensor, respectively. Therefore, data collected from the devices 120-1, 120-2, 120-3, and 120-4 installed in each area may be transmitted to the server/cloud 130.
  • the user can recognize the gesture through the mobile terminal 120 or directly through the devices 120-1, 120-2, 120-3, and 120-4 installed in each area. There is also.
  • the gesture recognition of the mobile terminal 120 is deactivated, and the gesture recognition area 211-7 of the eco device 120-4 installed in the vehicle )
  • recognizing the gesture it is possible to generate a control signal such as door opening or start jamming, and an operation according to the control signal may be performed.
  • the location-based gesture recognition service may include a specific place, for example, a movie theater, an exhibition hall, and an exhibition hall.
  • the location-based gesture recognition service may include an interior area of the vehicle 740, and may provide a location-based service in consideration of location information according to the movement of the vehicle 740.
  • the location-based service includes generating a control signal for transmitting a different command according to the location even with the same hand movement of the user.
  • gestures and control signals of a user for transmitting other commands depending on location may be expressed as'control languages' defined as continuous motions.
  • the user's continuous hand movement in the home service area may be used as a means for controlling various devices installed in the home service area.
  • the device 120-1 installed in the residential service area 720 may be set to recognize the same continuous hand motion of the user as an elevator control, a service related to a parking lot, and the like.
  • any one area there may be an area in which a plurality of echo devices 120-2 and 120-3 are installed.
  • various gesture recognition services can be provided in a space that is divided for each device.
  • the apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the devices and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It can be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications executed on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as a parallel processor.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device.
  • Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave.
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템을 개시한다. 제스처 인식 서비스를 제공하기 위한 장치는 기 설정된 레이더 인식 영역에서 사용자의 제스처를 검출하는 레이더 센서와, 검출된 사용자의 제스처에 대응하는 제어 신호를 생성하되, 레이더 센서가 장착된 에코 디바이스의 유저 인터페이스 설정 정보에 따라 제어 모드를 결정하고, 제어 모드에 대응하는 제어 신호를 생성하도록 구성된 프로세서를 포함한다.

Description

레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템
기술분야는 레이더 기반 제스처 인식에 관한 것으로서, 비 웨어러블 방식으로 사용자의 제스처를 인식하고 인식된 제스처에 따른 다양한 서비스를 제공하는 시스템에 관한 것이다.
레이더 기반의 제스처 인식은 다양한 환경에서 실시간으로 사용자의 핸드 제스처를 검출 및 인식하고, 핸드 제스처를 통해 디바이스를 제어할 수 있는 기술로 각광 받고 있다.
레이더 기반의 제스처 인식은 광학 방식의 제스처 인식에 비해 정확하며 소형으로 구현가능하고 비용면에서 유리한 것으로 알려져 있다. 또한, 레이더 기반의 제스처 인식은 영상을 통한 제스처 인식에 비해 처리해야할 데이터 양이 상대적으로 적고, 개인 정보 보호에 유리한 면이 있다.
최근 스마트워치 및 스마트 글래스와 같은 웨어러블 디바이스의 보급이 확대됨에 따라, 웨어러블 디바이스의 유저 인터페이스로 손동작 인식이 각광 받고 있다.
다만, 웨어러블 디바이스를 통해 손동작이나 팔의 움직임을 감지하는 방식은 제공 가능한 UI/UX(User Interface/User Experience) 및 서비스가 제한되는 경향이 있다.
레이더 기반 비 웨어러블 방식의 제스처 인식을 통해 다양한 서비스를 제공할 수 있는 서비스 시스템을 제공하고자 한다.
또한, 사용자 위치 기반의 제스처 인식 서비스를 통해 새로운 UI/UX(User Interface/User Experience) 및 서비스를 제공하고자 한다.
또한, 클라우드 시스템 및 서버를 통해 제스처 인식과 관련된 데이터를 수집하고, 기계 학습을 통해 제스처 인식 서비스 성능을 향상 시킬 수 있는 시스템을 제공하고자 한다.
일 실시예에 따른 제스처 인식 서비스 시스템은 레이더 센서가 장착된 제스처 인식 서비스를 제공하기 위한 장치 및 서버를 포함하고, 상기 제스처 인식 서비스를 제공하기 위한 장치는 기 설정된 레이더 인식 영역에서 사용자의 제스처를 검출하는 레이더 센서와, 검출된 사용자의 제스처에 대응하는 제어 신호를 생성하되, 상기 레이더 센서가 장착된 에코 디바이스의 유저 인터페이스 설정 정보, 상기 에코 디바이스의 위치 정보, 상기 에코 디바이스에서 실행 중인 어플리케이션에 관한 정보 및 상기 에코 디바이스와 네트워크를 통해 연결된 외부 디바이스에 관한 정보 중 적어도 어느 하나에 기초하여 제어 모드를 결정하고, 상기 제어 모드에 대응하는 제어 신호를 생성하도록 구성된 프로세서 및 상기 사용자 제스처에 대응하는 동작을 수행하는 실행부로 상기 제어 신호를 전달하는 제어 신호 전달부를 포함한다.
상기 기 설정된 레이더 인식 영역은 상기 제어 모드에 따라 가변적으로 조정될 수 있다.
상기 프로세서는 상기 검출된 사용자의 제스처가 기 설정된 시간 내에 검출되는 연속된 동작으로 인식되면, 상기 제어 모드를 확인하고, 상기 기 설정된 시간 내에 검출되는 연속된 동작을 복수의 제어 언어들 중 상기 결정된 제어 모드에 대응하는 어느 하나의 제어 언어를 선택할 수 있다.
제스처 인식 서비스를 제공하기 위한 장치는 서버 또는 클라우드 시스템과 데이터를 송수신하는 통신부를 더 포함할 수 있고, 상기 통신부는 상기 검출된 사용자의 제스처에 대한 정보, 상기 사용자 제스처에 대응하는 동작을 실행한 결과 및 상기 사용자 제스처에 대응하는 동작을 실행한 결과에 대한 사용자의 피드백에 대한 정보 중 적어도 어느 하나를 상기 서버 또는 클라우드 시스템으로 전송할 수 있다.
상기 프로세서는 상기 유저 인터페이스의 설정 정보가 제스처 인식 활성화 상태이고 상기 에코 디바이스의 설정이 사용자의 제스처 제어가 허용된 상태이면 상기 제어 모드를 내부 제어 모드로 결정하고, 상기 제어 신호 전달부는 상기 제어 신호를 상기 에코 디바이스의 실행부로 전달할 수 있다.
상기 에코 디바이스는 모바일 단말이고, 상기 프로세서는 상기 모바일 단말의 위치 정보에 기초하여 홈 서비스 영역, 주거지 영역, 공공 서비스 영역 차량 내부 영역 및 사용자가 기 지정한 영역 중 어느 하나의 영역을 결정하고, 결정된 영역에서 제공되는 제스처 인식 서비스를 확인하고, 확인된 제스처 인식 서비스 영역에 기초하여 상기 제어 모드를 결정하고, 상기 제어 신호 전달부는 상기 모바일 단말의 위치 정보에 기초하여 상기 제스처 인식 서비스를 제공하는 외부 디바이스의 수행부에게 상기 제어 신호를 전달할 수 있다.
상기 에코 디바이스는 홈 서비스 영역, 주거지 영역, 공공 서비스 영역, 차량 내부 영역 및 사용자가 기 지정한 영역 중 어느 하나의 영역에 설치된 디바이스이고, 상기 프로세서는 사용자 제스처가 인식되면 기 설정된 제어 모드에 따라 상기 제어 신호를 생성할 수 있다.
적어도 하나의 프로세서를 포함하는 장치에 의해 수행되는 제스처 인식 서비스를 제공하기 위한 일 실시예에 따른 방법은, 기 설정된 레이더 인식 영역에서 사용자의 제스처를 검출하는 단계와, 검출된 사용자의 제스처에 대응하는 제어 신호를 생성하되, 상기 레이더 센서가 장착된 디바이스의 유저 인터페이스 설정 정보, 상기 레이더 센서가 장착된 디바이스의 위치 정보, 상기 디바이스에서 실행 중인 어플리케이션에 관한 정보 및 상기 디바이스와 네트워크를 통해 연결된 외부 장치에 관한 정보 중 적어도 어느 하나에 기초하여 제어 모드를 결정하고, 상기 제어 모드에 대응하는 제어 신호를 생성하는 단계 및 상기 사용자 제스처에 대응하는 동작을 수행하는 실행부로 상기 제어 신호를 전달하는 단계를 포함한다.
레이더 기반 비 웨어러블 방식의 제스처 인식을 통해 다양한 서비스를 제공할 수 있다.
또한, 사용자 위치 기반의 제스처 인식 서비스를 통해 새로운 UI/UX(User Interface/User Experience) 및 서비스를 제공할 수 있다.
또한, 클라우드 시스템 및 서버를 통해 제스처 인식과 관련된 데이터를 수집하고, 기계 학습을 통해 제스처 인식 서비스 성능을 향상 시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템을 나타내는 도면이다.
도 2는 도 1에 도시된 제스처 인식 서비스를 제공하기 위한 장치의 구성예를 나타내는 도면이다.
도 3은 제스처 인식 서비스를 제공하기 위한 장치의 다양한 적용 예를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 제스처 인식 서비스를 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 제스처 인식 서비스를 제공하기 위한 장치의 제어 모드를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 제스처 인식 서비스를 제공하기 위한 장치의 제스처 인식 영역을 설명하기 위한 예시도이다.
도 7은 일 실시예에 따른 위치 기반 제스처 인식 서비스의 예를 설명하기 위한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템을 나타내는 도면이다.
도 1을 참조하면, 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템은 제스처 인식 서비스를 제공하기 위한 장치(120) 및 서버/클라우드(130)을 포함한다.
제스처 인식 서비스를 제공하기 위한 장치(120)는 레이더 센서(121)의 제스처 인식 영역(211)에서 사용자(110)의 제스처를 인식할 수 있다.
이때, 제스처 인식 영역(211)은 사용자(110)의 손 또는 팔의 움직임을 감지하는 영역일 수 있다. 따라서, 사용자 입장에서 제스처 인식 영역(211)은 손 또는 팔을 움직임이는 공간(111)으로 인식할 수 있다.
제스처 인식 영역(211)은 손 또는 팔을 움직임이는 공간(111) 보다 크거나 작은 공간일 수 있다. 다만, 본 명세서에서 설명의 편의를 위해 제스처 인식 영역(211)은 손 또는 팔을 움직임이는 공간(111)과 동일한 개념으로 설명하기로 한다.
서버/클라우드(130)는 네트워크를 통해 장치(120)와 연결되는 클라우드 시스템 또는 서비스를 제공하기 위한 서버 시스템일 수 있다.
장치(120)는 제스처 인식을 위해 수집되는 모든 데이터를 서버/클라우드(130)로 전송할 수 있다.
서버/클라우드(130)는 장치(120)로부터 수집되는 데이터에 기초하여 기계 학습을 통해 제스처 인식 성능을 개선할 수 있다.
제스처 인식을 위한 학습 과정은 레이더 센서의 최적화를 위한 레이더 센서 설정 정보를 장치(120)로 전송하고, 장치(120)로부터 설정 완료 신호를 수신하는 과정, 학습을 위한 데이터를 장치(120)로부터 수신하는 과정, 학습 모델의 파라미터를 결정하는 과정을 포함할 수 있다.
이때, 레이더 센서의 최적화는 데이터 슬라이스의 조정, 칩 시그널의 Frame Sequence 조정, 아날로그 디지털 컨버팅을 위한 샘플 레이트 조정 등을 포함할 수 있다.
학습 모델의 파라미터를 결정하는 과정은 Sampling data quantity, Sampling data interval 조정, 최적화 알고리즘 조정 등을 포함할 수 있다.
또한, 서버/클라우드(130)는 장치(120)로부터 제어 신호를 수신하고, 제어 신호에 따른 동작을 수행하는 다른 장치로 제어 신호를 전달할 수 도 있다.
한편, 제스처 인식 서비스를 제공하기 위한 장치(120)는 레이더 센서가 장착된 다양한 형태의 디바이스 일 수 있다. 예를 들어, 장치(120)는 제스처 인식 기반의 UX/UI를 제공하는 스마트폰, 텔레비전, 컴퓨터, 자동차, 도어 폰, 게임 컨트롤러 일 수 있다. 또한, 장치(120)는 USB 등의 커넥터를 통해 스마트 폰과 연결되는 형태로 구성될 수 도 있다.
도 2는 도 1에 도시된 제스처 인식 서비스를 제공하기 위한 장치의 구성예를 나타내는 도면이다.
도 2를 참조하면, 장치(120)는 레이더 센서(121), 프로세서(123) 및 제어 신호 전달부(125)를 포함할 수 있고, 데이터 송수신을 위한 통신부(127)를 더 포함할 수 있다. 또한, 장치(120)는 스마트 디바이스일 수 있고, 도 2에 도시 되지는 않았지만 스마트 디바이스에 기본적으로 구비되는 위치 정보를 획득하기 위한 GPS 센서, 터치 디스플레이, 지자기 센서 등을 더 포함할 수 있다.
레이더 센서(121)는 기 설정된 레이더 인식 영역에서 사용자의 제스처를 검출한다.
레이더 센서(121)는 IR-UWB(Impulse-Radio Ultra Wideband) 레이더 센서 및 FMCW(Frequency Modulated Continuous Wave) 레이더 센서와 같은 레이더 기반의 모션 인식을 위한 센서일 수 있다.
레이더 센서(121)를 이용함으로써, 근거리에서 손가락 제스처를 인지하는 초정밀 모션 인식이 가능하고, 영상 기반의 모션 인식 대비 개인의 프라이버시 침해 이슈를 회피할 수 있는 장점이 있다.
레이더 센서(121)를 통해 검출 가능한 사용자의 제스처는 고정된 표현, 단일 동작, 단일 동작들이 이어지는 연속된 동작을 포함한다. 여기서, '고정된 표현'은 예를 들어 손가락으로 특정 모양을 표현하는 것일 수 있다. 예를 들어, 손가락으로 숫자를 표현하는 것은 '고정된 표현'으로 분류될 수 있다. '단일 동작'은 예를 들어 주먹을 쥔 상태에서 손가락을 펴는 것, 손을 좌측이나 우측으로 움직이는 동작일 수 있다. 그리고, '연속된 동작'은 손을 좌측이나 우측으로 움직인 후 주먹을 쥐었다 펴는 동작일 수 있다.
프로세서(123)는 검출된 사용자의 제스처에 대응하는 제어 신호를 생성한다.
본 명세서에서 '제어 신호'는 제스처를 인식한 결과로 사용자의 제스처에 대응하는 동작을 수행시키기 위한 명령 내지 데이터를 의미한다.
예를 들어, 사용자의 손가락 동작이 어떤 움직임인지를 인식한 결과 해당 움직임이 특정 어플리케이션을 실행시키기 위한 동작인 경우, '제어 신호'는 특정 어플리케이션의 실행 명령일 수 있다.
또 다른 예로, 사용자의 손 동작이 현관에 설치된 도어 락을 해제하는 기 설정된 비밀번호에 해당하는 경우 '제어 신호'는 손 동작에 의해 '정확한 비밀번호가 입력되었고 도어 락을 해제하라'는 명령일 수 있다.
본 명세서에서 레이더 센서(121)가 장착된 장치(120)는 '에코 디바이스(Echo Device)'라 칭하고, 레이더 센서(121)가 장착된 장치(120)로부터 '제어 신호'를 전달 받아 사용자 제스처에 대응하는 동작을 수행하는 외부 장치는 '외부 디바이스'라 칭하기로 한다.
예를 들어, 레이더 센서가 장착된 차량의 경우 에코 디바이스로 구분할 수 있다. 또한, 레이더 센서가 장착된 스마트폰으로부터 네트워크를 통해 제어 신호를 수신한 후 인식된 제스처에 따른 동작을 수행하는 홈네트워크 시스템의 경우 외부 디바이스라 칭할 수 있다.
프로세서(123)는 레이더 센서가 장착된 에코 디바이스의 유저 인터페이스 설정 정보, 상기 에코 디바이스의 위치 정보, 상기 에코 디바이스에서 실행 중인 어플리케이션에 관한 정보 및 상기 에코 디바이스와 네트워크를 통해 연결된 외부 디바이스에 관한 정보 중 적어도 어느 하나에 기초하여 제어 모드를 결정하고, 상기 제어 모드에 대응하는 제어 신호를 생성하도록 구성된(configured to) 것일 수 있다.
이때, 에코 디바이스의 유저 인터페이스 설정 정보는 제스처 인식의 활성화 및 비 활성화 여부를 포함할 수 있다.
프로세서(123)는 유저 인터페이스의 설정 정보가 제스처 인식 활성화 상태이고 상기 에코 디바이스의 설정이 사용자의 제스처 제어가 허용된 상태이면 상기 제어 모드를 내부 제어 모드로 결정할 수 있다.
예를 들어, 내부 제어 모드에서 제스처의 검출은 어플리케이션의 실행, 화면 잠금 및 해제, 실행 중인 어플리케이션의 조작을 위한 입력 신호로 인식될 수 있다.
제어 신호 전달부(125)는 사용자 제스처에 대응하는 동작을 수행하는 실행부(도시되지 않음)로 상기 제어 신호를 전달한다.
이때, 실행부는 에코 디바이스 내부의 소프트웨어 및 하드웨어 중 적어도 어느 하나일 수 있고, 외부 디바이스 또는 외부 디바이스에 설치된 특정 소프트웨어 또는 외부 디바이스에 설치된 하드웨어 일 수 있다.
예를 들어, '제어 신호'가 에코 디바이스의 볼륨을 높이는 명령인 경우 실행부는 오디오 출력의 볼륨 조정 장치일 수 있다. 또한, '제어 신호'가 외부 디바이스인 홈 네트워크 시스템의 공기 청정기의 온(On)에 해당하는 경우 실행부는 공기 청정기의 전원 장치일 수 있다.
프로세서(123)는 검출된 사용자의 제스처가 기 설정된 시간 내에 검출되는 연속된 동작으로 인식되면, 상기 제어 모드를 확인하고, 상기 기 설정된 시간 내에 검출되는 연속된 동작을 복수의 제어 언어들 중 상기 결정된 제어 모드에 대응하는 어느 하나의 제어 언어를 선택할 수 있다.
여기서, 사용자의 제스처는 연속된 동작으로 이루어 질 수 있고, 연속된 동작 인식은 연속된 동작 인식을 통한 언어로 인식하되, 각 개별 단위 동작들 간의 연관성, 위치 정보, 연결된 외부 디바이스에 따라 각각의 다른 언어로 인식될 수 있다.
통신부(127)는 서버 또는 클라우드 시스템과 데이터를 송수신한다.
통신부(127)를 통한 통신 방식은 근거리, 광대역 통신망 등 모든 방식의 통신을 포함한다.
통신부(127)는 프로세서(123)의 제어에 따라 검출된 사용자의 제스처에 대한 정보, 상기 사용자 제스처에 대응하는 동작을 실행한 결과 및 상기 사용자 제스처에 대응하는 동작을 실행한 결과에 대한 사용자의 피드백에 대한 정보 중 적어도 어느 하나를 상기 서버 또는 클라우드 시스템으로 전송할 수 있다.
도 3은 제스처 인식 서비스를 제공하기 위한 장치의 다양한 적용 예를 설명하기 위한 도면이다.
도 3을 참조하면, 에코 디바이스는 스마트폰(121-1), 게임 컨트롤러(120-2), 도어 폰(120-3), 및 커넥터를 통해 스마트 디바이스(120-4)와 연결될 수 있는 장치(121-1)일 수 있다.
예를 들어, 에코 디바이스는 스마트폰(121-1)과 같은 모바일 단말일 수 있다.
이때, 도 2의 프로세서(123)는 모바일 단말의 위치 정보에 기초하여 홈 서비스 영역, 주거지 영역, 공공 서비스 영역 차량 내부 영역 및 사용자가 기 지정한 영역 중 어느 하나의 영역을 결정하고, 결정된 영역에서 제공되는 제스처 인식 서비스를 확인하고, 확인된 제스처 인식 서비스 영역에 기초하여 상기 제어 모드를 결정할 수 있다.
이때, 도 2의 제어 신호 전달부(123)는 모바일 단말의 위치 정보에 기초하여 상기 제스처 인식 서비스를 제공하는 외부 디바이스의 수행부에게 상기 제어 신호를 전달할 수 있다.
만일, 제어 모드가 내부 디바이스 제어 모드인 경우 에코 디바이스는 홈 서비스 영역, 주거지 영역, 공공 서비스 영역, 차량 내부 영역 및 사용자가 기 지정한 영역 중 어느 하나의 영역에 설치된 디바이스이고, 상기 프로세서는 사용자 제스처가 인식되면 기 설정된 제어 모드에 따라 상기 제어 신호를 생성할 수 있다.
도 4는 일 실시예에 따른 제스처 인식 서비스를 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 4에 도시된 방법은 도 2의 장치(120)에 의해 수행될 수 있다.
따라서, 일 실시예에 따른 제스처 인식 서비스를 제공하기 위한 방법은 적어도 하나의 프로세서를 포함하는 장치에 의해 수행될 수 있다.
410단계에서 장치는 기 설정된 레이더 인식 영역에서 사용자의 제스처를 검출한다.
420단계에서 장치는 검출된 사용자의 제스처에 대응하는 제어 신호를 생성한다.
이때, 장치는 상기 레이더 센서가 장착된 디바이스의 유저 인터페이스 설정 정보, 상기 레이더 센서가 장착된 디바이스의 위치 정보, 상기 디바이스에서 실행 중인 어플리케이션에 관한 정보 및 상기 디바이스와 네트워크를 통해 연결된 외부 장치에 관한 정보 중 적어도 어느 하나에 기초하여 제어 모드를 결정하고, 상기 제어 모드에 대응하는 제어 신호를 생성할 수 있다.
430단계에서 장치는 용자 제스처에 대응하는 동작을 수행하는 실행부로 상기 제어 신호를 전달한다.
제어 신호가 에코 디바이스의 제어에 관한 것이면, 440단계에서 장치는 제스처에 대응하는 동작을 수행한다.
도 5는 일 실시예에 따른 제스처 인식 서비스를 제공하기 위한 장치의 제어 모드를 설명하기 위한 도면이다.
도 5에 도시된 방법은 도 2의 장치(120)에 의해 수행될 수 있다.
도 5를 참조하면, 사용자의 제스처가 검출되면 510 단계에서 장치는 에코 디바이스 제어 모드 인지를 확인한다.
에코 디바이스 제어 모드인지 여부는 장치의 제스처 인식이 활성화 되어 있거나 인식된 제스처가 내부 디바이스 제어를 위한 동작인 경우일 수 있다.
또한, 장치의 제스처 인식은 활성화 되어 있으나 디바이스 설정이 외부 디바이스 제어 모드로 설정되어 있는 경우와 사용자의 제스처가 외부 디바이스 제어를 위한 동작인 경우 외부 디바이스 제어 모드로 결정될 수 있다.
또한, 현재 에코 디바이스에서 실행 중인 어플리케이션을 통해 외부 디바이스를 제어하도록 설정된 경우, 장치는 에코 디바이스와 외부 디바이스를 모두 제어하기 위한 모드로 동작할 수 있다.
예를 들어, 현재 에코 디바이스에서 실행중인 어플리케이션이 홈 네크워크에 연결된 온도 조절 어플리케이션인 경우, 사용자의 제스처는 온도 조절에 관한 것일 수 있다. 이때, 장치는 제어 신호를 네트워크를 통해 외부 디바이스로 전송하도록 통신부를 제어하는 것과 외부 디바이스에서 온도 조절을 하도록 제어하는 데이터를 포함할 수 있다.
한편, 에코 디바이스라고 해서 반드시 도 5에 도시된 흐름으로 제어 모드를 판단하는 것은 아니다. 즉, 장치의 최초 설치 단계에서부터 외부 디바이스와 연동되지 않는 경우 도 5에 도시된 흐름도가 적용되지 않을 수 있다. 예를 들어, 도어 폰에 레이더 센서가 장착되어 있고 단순히 비밀 번호에 해당하는 제스처 만을 인식하도록 설정된 경우 도 5의 흐름도는 적용되지 않는다.
510 단계의 판단 결과 에코 디바이스 제어 모드가 아닌 경우, 520 단계에서 장치는 외부 디바이스 제어 모드로 판단하고 인식되는 제스처에 따른 제어 신호를 생성한 후, 530단계에서 제어 신호를 외부 디바이스에게 전달할 수 있다.
510 단계의 판단 결과 에코 디바이스 제어 모드인 경우 장치는 540 단계에서 위치 정보 연동이 필요한지 여부를 판단한다.
위치 정보 연동이 필요한 경우는 사용자의 제스처가 위치 정보 연동 서비스가 필요한 동작으로 인식된 경우 또는 디바이스의 설정이 위치 정보 기반 서비스가 활성화 되어 있는 경우일 수 있다.
위치 정보 연동이 필요 없는 경우 550 단계에서 장치는 사용자 제스처에 대응하는 제어 신호를 생성하고, 수행부로 제어 신호를 전달한다.
위치 정보 연동이 필요한 경우, 장치는 560 단계에서 위치 정보를 확인하고 570 단계에서 위치 기반 제어 신호를 생성한다.
이때 위치 기반 제어 신호는 위치, 장소, 특정 공간에 따라 서로 다른 서비스를 제공하는 제어 신호를 의미한다.
예를 들어, 사용자의 동일한 손동작도 위치에 따라, 장소에 따라 다른 입력 명령으로 인식될 수 있다.
580 단계에서 장치는 제어 신호를 수행부로 전달함으로써, 사용자의 제스처에 대응하는 동작이 수행되도록 수행부를 제어한다.
도 6은 일 실시예에 따른 제스처 인식 서비스를 제공하기 위한 장치의 제스처 인식 영역을 설명하기 위한 예시도이다.
도 6을 참조하면, 기 설정된 레이더 인식 영역은 제어 모드에 따라 가변적으로 조정될 수 있다.
도 2의 프로세서(123)는 에코 디바이스의 제어 모드로 동작하는 경우 인식 영역을 근접 영역(211)으로 설정할 수 있다.
또한, 프로세서(123)는 외부 디바이스의 제어 모드로 동작하는 경우와 디바이스의 단순 제어인 경우 인식 영역을 확대된 근접 영역(211-1)로 설정할 수 있다.
디바이스의 단순 제어는 예를 들어, 스마트폰이 잠김 상태에서 해제를 인식하기 위한 상태인 경우, 자동차가 주차된 상태에서 운전자의 접근을 인식하고 사용자의 제스처를 인식하여 도어 열림 기능을 수행하는 경우일 수 있다.
인식 영역의 조정은 레이더 센서의 출력 전압 레벨을 조정하거나, 해당 인식 영역 이외의 영역에서 인식되는 제스처를 무시하는 방식으로 조정될 수 있다.
한편, 레이더 센서의 출력에 따라 인식 영역은 확대된 근접 영역(211-1) 보다 더 원거리 영역으로 설정될 수 도 있다.
이때, 장치(120)는 근접 영역(211), 확대된 근접 영역(211-1) 및 원거리 영역에 적합한 제어 모드로 동작할 수 있다.
한편, 프로세서(123)는 레이더 센서(121)의 설정을 통해 손가락(finger), 손(hand), 몸(body)의 움직임 중 인식이 필요한 부분을 위해 인식 영역을 조정할 수 도 있다. 예를 들어, 손가락(finger)의 움직임을 인식하기 위해서는 인식 영역을 근접 영역(211)으로 설정하거나, 몸(body)의 움직임을 인식하는 경우 인식 영역을 확대된 근접 영역(211-1) 또는 확대된 근접 영역(211-1) 보다 더 확장된 원거리 영역을 설정할 수 있다.
도 7은 일 실시예에 따른 위치 기반 제스처 인식 서비스의 예를 설명하기 위한 도면이다.
도 7을 참조하면, 위치 기반 제스처 인식 서비스는 홈 서비스 영역(710), 주거지 서비스 영역(720) 및 비 주거지 서비스 영역(730) 중 적어도 어느 하나를 포함할 수 있다.
각 영역에 설치된 장치들(120-1, 120-2, 120-3, 120-4)은 각각 레이더 센서가 장착된 에코 디바이스일 수 있다. 다라서, 각 영역에 설치된 장치들(120-1, 120-2, 120-3, 120-4)로부터 수집된 데이터들은 서버/클라우드(130)로 전송될 수 있다.
또한, 각 영역에서 사용자는 모바일 단말(120)을 통해 제스처를 인식 시키거나 각 영역에 설치된 장치들(120-1, 120-2, 120-3, 120-4)을 통해 직접 제스처를 인식 시킬 수 도 있다.
예를 들어, 사용자(110)가 차량이 주차된 영역(740)으로 진입하면 모바일 단말(120)의 제스처 인식은 비활성화 되고, 차량에 설치된 에코 디바이스(120-4)의 제스처 인식 영역(211-7)에서 제스처를 인식함으로써, 도어 열림 또는 시동 걸림 등의 제어 신호를 생성하고, 제어 신호에 따른 동작이 수행될 수 있다.
또한, 위치 기반 제스처 인식 서비스는 특정 장소, 예를 들어 영화관, 박람회장, 전시회장을 포함할 수 도 있다.
또한, 위치 기반 제스처 인식 서비스는 자동차(740) 내부 영역을 포함할 수 있고, 자동차(740)의 이동에 따른 위치 정보를 고려하여 위치 기반 서비스를 제공할 수 있다.
이때, 위치 기반 서비스는 사용자의 동일한 손동작이라도 위치에 따라 다른 명령을 전달하기 위한 제어 신호를 생성하는 것을 포함한다. 본 명세서에서 위치에 따란 다른 명령을 전달하기 위한 사용자의 제스처 및 제어 신호는 연속된 동작으로 정의되는 '제어 언어들'이라고 표현될 수 있다.
예를 들어 홈 서비스 영역에서 사용자의 연속된 손동작은 홈 서비스 영역에 설치된 각종 장치들을 제어하기 위한 수단으로 사용될 수 있다.
또한, 사용자의 동일한 연속된 손동작을 주거지 서비스 영역(720)에 설치된 장치(120-1)는 엘리베이터 제어, 주차장과 관련된 서비스 등으로 인식하도록 설정될 수 있다.
한편, 어느 하나의 영역에는 복수의 에코 디바이스들(120-2, 120-3)이 설치된 영역이 있을 수 있다. 이때, 사용자의 동작 인식은 에코 디바이스 별로 인식 가능한 공간이 구분되어 있으므로, 디바이스별 구분된 공간에서 다양한 제스처 인식 서비스의 제공이 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

  1. 제스처 인식 서비스를 제공하기 위한 장치에 있어서,
    기 설정된 레이더 인식 영역에서 사용자의 제스처를 검출하는 레이더 센서;
    검출된 사용자의 제스처에 대응하는 제어 신호를 생성하되, 상기 레이더 센서가 장착된 에코 디바이스의 유저 인터페이스 설정 정보, 상기 에코 디바이스의 위치 정보, 상기 에코 디바이스에서 실행 중인 어플리케이션에 관한 정보 및 상기 에코 디바이스와 네트워크를 통해 연결된 외부 디바이스에 관한 정보 중 적어도 어느 하나에 기초하여 제어 모드를 결정하고, 상기 제어 모드에 대응하는 제어 신호를 생성하도록 구성된 프로세서; 및
    상기 사용자 제스처에 대응하는 동작을 수행하는 실행부로 상기 제어 신호를 전달하는 제어 신호 전달부를 포함하는
    제스처 인식 서비스를 제공하기 위한 장치.
  2. 제1항에 있어서,
    상기 기 설정된 레이더 인식 영역은 상기 제어 모드에 따라 가변적으로 조정되는
    제스처 인식 서비스를 제공하기 위한 장치.
  3. 제1항에 있어서,
    상기 프로세서는 상기 검출된 사용자의 제스처가 기 설정된 시간 내에 검출되는 연속된 동작으로 인식되면, 상기 제어 모드를 확인하고, 상기 기 설정된 시간 내에 검출되는 연속된 동작을 복수의 제어 언어들 중 상기 결정된 제어 모드에 대응하는 어느 하나의 제어 언어를 선택하는
    제스처 인식 서비스를 제공하기 위한 장치.
  4. 제1항에 있어서,
    서버 또는 클라우드 시스템과 데이터를 송수신하는 통신부를 더 포함하고,
    상기 통신부는 상기 검출된 사용자의 제스처에 대한 정보, 상기 사용자 제스처에 대응하는 동작을 실행한 결과 및 상기 사용자 제스처에 대응하는 동작을 실행한 결과에 대한 사용자의 피드백에 대한 정보 중 적어도 어느 하나를 상기 서버 또는 클라우드 시스템으로 전송하는
    제스처 인식 서비스를 제공하기 위한 장치.
  5. 제1항에 있어서,
    상기 프로세서는 상기 유저 인터페이스의 설정 정보가 제스처 인식 활성화 상태이고 상기 에코 디바이스의 설정이 사용자의 제스처 제어가 허용된 상태이면 상기 제어 모드를 내부 제어 모드로 결정하고,
    상기 제어 신호 전달부는 상기 제어 신호를 상기 에코 디바이스의 실행부로 전달하는
    제스처 인식 서비스를 제공하기 위한 장치.
  6. 제1항에 있어서,
    상기 에코 디바이스는 모바일 단말이고,
    상기 프로세서는 상기 모바일 단말의 위치 정보에 기초하여 홈 서비스 영역, 주거지 영역, 공공 서비스 영역 차량 내부 영역 및 사용자가 기 지정한 영역 중 어느 하나의 영역을 결정하고, 결정된 영역에서 제공되는 제스처 인식 서비스를 확인하고, 확인된 제스처 인식 서비스 영역에 기초하여 상기 제어 모드를 결정하고,
    상기 제어 신호 전달부는 상기 모바일 단말의 위치 정보에 기초하여 상기 제스처 인식 서비스를 제공하는 외부 디바이스의 수행부에게 상기 제어 신호를 전달하는
    제스처 인식 서비스를 제공하기 위한 장치.
  7. 제1항에 있어서,
    상기 에코 디바이스는 홈 서비스 영역, 주거지 영역, 공공 서비스 영역, 차량 내부 영역 및 사용자가 기 지정한 영역 중 어느 하나의 영역에 설치된 디바이스이고,
    상기 프로세서는 사용자 제스처가 인식되면 기 설정된 제어 모드에 따라 상기 제어 신호를 생성하는
    제스처 인식 서비스를 제공하기 위한 장치.
  8. 제1항에 있어서,
    상기 에코 디바이스 및 외부 디바이스는 각각 스마트폰, 텔레비전, 컴퓨터, 자동차, 도어 폰, 게임 컨트롤러 및 홈네크워크 시스템 중 어느 하나인
    제스처 인식 서비스를 제공하기 위한 장치.
  9. 적어도 하나의 프로세서를 포함하는 장치에 의해 수행되는 제스처 인식 서비스를 제공하기 위한 방법에 있어서,
    기 설정된 레이더 인식 영역에서 사용자의 제스처를 검출하는 단계;
    검출된 사용자의 제스처에 대응하는 제어 신호를 생성하되, 상기 레이더 센서가 장착된 디바이스의 유저 인터페이스 설정 정보, 상기 레이더 센서가 장착된 디바이스의 위치 정보, 상기 디바이스에서 실행 중인 어플리케이션에 관한 정보 및 상기 디바이스와 네트워크를 통해 연결된 외부 장치에 관한 정보 중 적어도 어느 하나에 기초하여 제어 모드를 결정하고, 상기 제어 모드에 대응하는 제어 신호를 생성하는 단계; 및
    상기 사용자 제스처에 대응하는 동작을 수행하는 실행부로 상기 제어 신호를 전달하는 단계를 포함하는
    제스처 인식 서비스를 제공하기 위한 장치.
  10. 제9항에 있어서,
    상기 기 설정된 레이더 인식 영역은 상기 제어 모드에 따라 가변적으로 조정되는
    제스처 인식 서비스를 제공하기 위한 방법.
  11. 제9항에 있어서,
    상기 제어 신호를 전달하는 단계는,
    상기 검출된 사용자의 제스처가 기 설정된 시간 내에 검출되는 연속된 동작으로 인식되면, 상기 제어 모드를 확인하고, 상기 기 설정된 시간 내에 검출되는 연속된 동작을 복수의 제어 언어들 중 상기 결정된 제어 모드에 대응하는 어느 하나의 제어 언어를 선택하고, 상기 선택된 제어 언어에 기초하여 상기 제어 신호를 전달하기 위한 수행부를 선택하는 것을 포함하는
    제스처 인식 서비스를 제공하기 위한 방법.
PCT/KR2019/010703 2019-08-22 2019-08-22 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템 WO2021033814A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/010703 WO2021033814A1 (ko) 2019-08-22 2019-08-22 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/010703 WO2021033814A1 (ko) 2019-08-22 2019-08-22 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템

Publications (1)

Publication Number Publication Date
WO2021033814A1 true WO2021033814A1 (ko) 2021-02-25

Family

ID=74660474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010703 WO2021033814A1 (ko) 2019-08-22 2019-08-22 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템

Country Status (1)

Country Link
WO (1) WO2021033814A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116244A1 (zh) * 2021-12-24 2023-06-29 芜湖美的厨卫电器制造有限公司 控制设备、热水器系统及其控制方法和装置、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150139235A (ko) * 2014-06-03 2015-12-11 엘지전자 주식회사 전자 기기 및 그 제어 방법
KR20180015162A (ko) * 2015-05-31 2018-02-12 센스4캐어 사람 활동을 원격 모니터링하는 시스템
KR20180082322A (ko) * 2017-01-09 2018-07-18 인피니온 테크놀로지스 아게 원격 디바이스를 위한 제스처 검출의 시스템 및 방법
KR20190085168A (ko) * 2014-10-02 2019-07-17 구글 엘엘씨 비-가시선 레이더-기반 제스처 인식

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150139235A (ko) * 2014-06-03 2015-12-11 엘지전자 주식회사 전자 기기 및 그 제어 방법
KR20190085168A (ko) * 2014-10-02 2019-07-17 구글 엘엘씨 비-가시선 레이더-기반 제스처 인식
KR20180015162A (ko) * 2015-05-31 2018-02-12 센스4캐어 사람 활동을 원격 모니터링하는 시스템
KR20180082322A (ko) * 2017-01-09 2018-07-18 인피니온 테크놀로지스 아게 원격 디바이스를 위한 제스처 검출의 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116244A1 (zh) * 2021-12-24 2023-06-29 芜湖美的厨卫电器制造有限公司 控制设备、热水器系统及其控制方法和装置、存储介质

Similar Documents

Publication Publication Date Title
WO2019189965A1 (ko) 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
WO2017188801A1 (ko) 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
WO2019221451A1 (en) Method and an electronic device connecting plurality of electronic devices to server through hub
WO2016036115A1 (ko) 재등록을 관리하는 전자 장치 및 방법
WO2019143071A1 (en) Electronic device for controlling a plurality of applications
WO2015026099A1 (ko) 디스플레이 장치가 화면을 디스플레이 하는 방법 및 그 디스플레이 장치
WO2015174729A1 (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
WO2020067785A1 (ko) 사물의 위치 및 방향을 기반으로 기능을 제어하는 전자 장치 및 방법
WO2018018816A1 (zh) 远程控制方法、远程控制装置和终端
WO2013042815A1 (ko) 스마트 단말을 이용한 안드로이드 플랫폼 기반의 애플리케이션 실행 단말 제어방법, 그리고 스마트 단말을 이용한 안드로이드 플랫폼 기반의 애플리케이션 실행 단말 제어 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
EP3342144A1 (en) Method for locking and unlocking touchscreen-equipped mobile device and mobile device
WO2020226207A1 (ko) 위성운용 서비스 관리 시스템, 위성운용 서비스 관리 장치 및 위성운용 서비스 관리 방법
WO2014178693A1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
WO2017054599A1 (zh) 一种家电设备控制方法和装置
WO2018080228A1 (ko) 번역을 위한 서버 및 번역 방법
WO2020262808A1 (ko) 영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치
WO2021112273A1 (ko) 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치
WO2021033814A1 (ko) 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템
WO2014003510A1 (ko) 토폴로지를 이용하여 데이터를 공유하는 장치 및 방법
WO2021157918A1 (ko) 안전 서비스를 제공하는 전자 장치 및 그 방법
WO2021020859A1 (ko) 외장형 운영체제 구동 장치 및 그 방법
WO2014208984A1 (en) Apparatus and method for providing a security environment
WO2015108282A1 (ko) 전자 장치의 광고 방법 및 그 전자 장치
WO2019151734A1 (ko) 카메라 구동 방식 변경 기반의 음성 및 얼굴 인식 장치 및 방법
WO2021246795A1 (ko) 제스처를 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942583

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27/06/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19942583

Country of ref document: EP

Kind code of ref document: A1