WO2020036235A1 - Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치 - Google Patents

Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치 Download PDF

Info

Publication number
WO2020036235A1
WO2020036235A1 PCT/KR2018/009239 KR2018009239W WO2020036235A1 WO 2020036235 A1 WO2020036235 A1 WO 2020036235A1 KR 2018009239 W KR2018009239 W KR 2018009239W WO 2020036235 A1 WO2020036235 A1 WO 2020036235A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
movement
pointer
recognized
generating
Prior art date
Application number
PCT/KR2018/009239
Other languages
English (en)
French (fr)
Inventor
정규민
Original Assignee
정규민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정규민 filed Critical 정규민
Priority to PCT/KR2018/009239 priority Critical patent/WO2020036235A1/ko
Publication of WO2020036235A1 publication Critical patent/WO2020036235A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the present invention relates to object recognition and its data processing. More particularly, object data processing method for recognizing an object using an RGB camera sensor and processing, data processing, and displaying result values according to the object data of the recognized object And an apparatus.
  • IR infrared
  • RGB RGB
  • the infrared (IR) camera sensor still has a problem of low utilization compared to the unit price.
  • one object of the present invention is not only having high cost ratio and various applications, but also recognizing an object using an RGB sensor attached or embedded in an existing terminal or the like without newly providing the object. It is to propose a method of processing data.
  • Another object of the present invention is to propose a method of controlling the device by recognizing an object from the input sensor data received from the sensor and extracting and processing data of the recognized object in the various devices equipped with the RGB sensor. .
  • Another object of the present invention is to provide a computer program or an apparatus for object recognition and data processing method using the above-described RGB sensor.
  • Object recognition and its data processing method for solving the above problems, the method comprising the steps of receiving camera sensing data; Recognizing an object from the received camera sensing data and generating first object data; Mapping a current position of the pointer with the generated first object data; Generating second object data based on an angle change according to the movement of the recognized object; And controlling the movement of the pointer at the current position based on the second object data.
  • Object recognition and data processing method characterized in that it further comprises the step of detecting the movement of the recognized object.
  • the third object data generated according to the movement of the recognized object if there is a change in the angle, the movement of the pointer based on the second object data It characterized in that to control.
  • the first object data instead of the second object data Determine the presence or absence of the angle change on the basis of and characterized in that for controlling the movement of the pointer on the basis.
  • Object recognition and data processing method the step of receiving the feedback data according to the pointer movement control, and if the function icon is located at the corresponding position from the received feedback data of the recognized object And controlling the movement of the pointer by generating control data for selecting the function icon from the object data and performing a function of the selected function icon.
  • the data communication module for receiving the camera sensing data;
  • An object recognition and extraction module that recognizes an object from the received camera sensing data and extracts object data;
  • Generates first object motion control data from the extracted object data maps the generated first object motion control data and a current position of a pointer, and based on a change in angle according to the movement of the recognized object, a second object.
  • a service control module which generates motion control data and controls movement of the pointer at the current location.
  • a computer-readable recording medium is characterized in that it comprises a program for object recognition and data processing according to at least one of claims 1 to 6.
  • the present invention it is possible to propose a method of recognizing an object using an RGB sensor attached to or embedded in a terminal and processing data of the recognized object, as well as having a high cost ratio and enabling various applications, and without having a new device. It has an effect.
  • FIG. 1 is a schematic diagram of an object recognition / data processing system using an RGB sensor according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an object recognition / data processing apparatus using an RGB sensor according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an object recognition / data processing method using an RGB sensor according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of controlling a pointer operation based on object data processing through object recognition and movement tracking of a recognized object using an RGB sensor according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a method of recognizing a human hand gesture through the RGB camera sensor 120 according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an operation control method corresponding to a hand gesture of a person recognized by the RGB camera sensor 120 of FIG. 5.
  • FIG. 7 to 9 are diagrams for explaining a posture correction method of a person through the RGB camera sensor 120 according to an embodiment of the present invention.
  • ... unit described in the specification means a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software.
  • “a” or “an”, “one”, and the like shall be, in the context of describing the present invention, both singular and plural unless the context clearly dictates otherwise or is clearly contradicted by the context. It can be used as a meaning including.
  • the device is not only expensive, and various applications are possible, and the device is recognized by processing the data of the recognized object by recognizing an object using an RGB sensor attached or embedded in an existing terminal without necessarily purchasing a new one.
  • Various embodiments of controlling will be described.
  • a computer program or an apparatus for object recognition and data processing method utilizing the above-described RGB sensor will be described.
  • FIG. 1 is a schematic diagram of an object recognition and its data processing system according to an embodiment of the present invention.
  • the object recognition / data processing system includes at least one RGB camera sensor 120, at least one terminal 130, and a service server 140.
  • the present invention is not limited thereto, and the object recognition / data processing system may be implemented by further including one or more components according to an implementation example.
  • communication or data communication (hereinafter, data communication) between components belonging to the object recognition / data processing is performed through a wired / wireless communication network.
  • the communication protocols between the respective components of the object recognition / data processing system of FIG. 1 may not all be the same, the present invention is not necessarily limited thereto, and a communication protocol for enabling data communication with each other is sufficient.
  • the RGB camera sensor 120 obtains image sensing data about the object 110.
  • the acquired image sensing data may be for all or part of the object 110.
  • the present invention is not limited thereto, and a plurality of RGB camera sensors may be provided.
  • the RGB camera sensor is taken as an example, but is not necessarily limited thereto.
  • the plurality of camera sensors need not all be the same property, type, and the like.
  • the terminal 130 receives image sensing data about the object 110 obtained through the RGB camera sensor 120 and transmits the image sensing data to the service server 140. It is sufficient to perform at least one function of generating, transmitting and receiving data related to the object recognition and processing, and may include all related devices that can be understood as a device capable of performing data communication with the service server 140. have.
  • the terminal 130 receives image sensing data about the object 110 acquired by the RGB camera sensor 120 and performs processing such as necessary conversion before transmission. And transmit to 140.
  • the terminal 130 may download and install software such as a service application and a program provided by the service server 140 in advance.
  • the terminal 130 may include an associated application program interface (API) or embedded software (Embeded Software).
  • API application program interface
  • Embeded Software embedded software
  • the terminal 130 may transmit or receive data or a signal (including the same) to the service server 140 by itself, and transmit data or a signal to the service server 140 through the pre-installed application. You can send or receive.
  • the data or signal transmitted or received to the service server 140 may be related to the content of an application previously installed in the terminal for processing object data according to an embodiment of the present invention, but is not limited thereto. It is not.
  • the terminal 130 may include a terminal device, a terminal, a mobile station (MS), a mobile subscriber station (MSS), a subscriber station (SS), an advanced mobile station (AMS), a wireless terminal (WT), and an MTC.
  • a terminal device a terminal, a mobile station (MS), a mobile subscriber station (MSS), a subscriber station (SS), an advanced mobile station (AMS), a wireless terminal (WT), and an MTC.
  • M2M machine-type communication
  • M2M machine-to-machine
  • D2D device-to-device
  • terminal in the present invention should be interpreted as a concept including all devices capable of transmitting data or signals that are currently developed and commercialized or will be developed in addition to the above examples.
  • FIG. 1 For convenience, one terminal is shown in FIG. 1, but the present invention is not limited thereto, and when the term “only terminal” is defined herein, the term “single terminal” is mainly used in the singular but means a plurality of terminals as necessary. It can also be used and can be understood through interpretation of the context.
  • the terminal 130 may be any device capable of performing data communication with each other through the service server 140 and the service server 140 through their communication network.
  • the service server 140 refers to an entity capable of performing data communication with at least one other device through a wired / wireless communication network, and includes data for object recognition / data processing (including control data). ) Creates, provides, stores, etc. at least one function.
  • the service server 140 may be plural and further include one or more servers such as a client server for the object recognition / data processing.
  • the service server 140 according to the present invention includes a database (DB) for collecting, processing, and storing data / big data necessary for the object recognition / data processing, such as data regarding the terminal 130. It can be internal or external.
  • the service server 140 may include a cloud server, an IP multimedia subsystem (IMS) server, a telephony application server, an instant messaging server, a media gateway control function (MGCF) server, and a messaging gateway (MSG). At least one of a server, a call session control function (CSCF) server, and the like may be provided as an example.
  • IMS IP multimedia subsystem
  • MGCF media gateway control function
  • MSG messaging gateway
  • the terminal 130 and / or the service server 140 may be implemented as a device that refers to an entity capable of data communication, such as a personal computer (PC), a notebook computer, a tablet personal computer (Tablet PC), and the like.
  • PC personal computer
  • Tablet PC tablet personal computer
  • the wired / wireless communication network supports data of various types of data communication such as text, digital image, digital image, and digital voice information in addition to image sensing data between the terminal 130 and the service server 140.
  • the wired / wireless communication network may be an IP (Internet Protocol) network that supports large-capacity data communication through an Internet Protocol (IP) or an All IP network integrating different IP networks.
  • IP Internet Protocol
  • the wired / wireless communication network may include a wired network, a wireless broadband network, a mobile communication network including WCDMA, a high speed downlink packet access (HSDPA) network, and a long term evolution (LTE) network, LTE advanced. It may be formed by one or a combination of at least one of a mobile communication network, a satellite communication network and a Wi-Fi network including (LTE-A).
  • the terminal 130 or a separate terminal may be For display and other devices therefor.
  • the RGB camera sensor 120 may be attached or embedded from the time of manufacture as one component of the terminal 130.
  • the terminal 130 or other device may include a device to which an RGB camera sensor is attached, such as a smartphone or a PC.
  • the terminal 130 or the other device may be attached to or around the display for the PC.
  • the present invention is not necessarily limited thereto.
  • FIG. 2 is a block diagram illustrating an object recognition / data processing apparatus using an RGB sensor according to an embodiment of the present invention
  • FIG. 3 illustrates an object recognition / data processing method using an RGB sensor according to an embodiment of the present invention
  • 4 is a flowchart illustrating a method of controlling a pointer operation based on object data processing through object recognition and motion tracking of a recognized object using an RGB sensor according to an embodiment of the present invention. It is a flowchart shown.
  • the apparatus for processing object data may correspond to, for example, all or part of the service server 140 of FIG. 1.
  • the object data processing apparatus includes a data communication module 201, an object recognition and extraction module 202, an object data processing module 203, a graphic processing module 204, a service data processing module 205, and a service control module. 206.
  • the object data processing apparatus may further include a database 207 for temporarily storing data obtained through the terminal 130 or obtained by processing the same, which is inside or inside the object data processing apparatus. It may be implemented externally, the number may be one or more.
  • the object recognition / data processing method of the digital apparatus of FIG. 3 and an object through object recognition and motion tracking of the recognized object using an RGB sensor It demonstrates together, demonstrating the method of controlling another apparatus based on data processing.
  • a display is taken as an example, and the control will be described using an example of controlling the operation of a pointer on the display and performing an operation accordingly.
  • the present invention is not limited by the exemplary embodiment, and the operation may be used to select specific function data such as movement of the pointer, icons through the pointer, items, and the like.
  • the object recognition / data processing method will be described below.
  • a process of capturing an object through the RGB camera sensor 120 and acquiring image data sensed through the RGB camera sensor 120 will be referred to a known technology and related technology, which will be omitted.
  • the terminal 130 will be described as an embodiment for receiving the image sensing data of the object through the RGB camera sensor 120 for convenience and transfer to the service server 140 without special processing.
  • the RGB camera sensor 120 may transfer image sensing data of an object directly to the service server 140 without passing through the terminal 130.
  • An object recognition and a data processing method may include camera sensing data, recognize an object from the received camera sensing data, generate first object data, and generate the first object data.
  • the current position of the pointer may be mapped, second object data may be generated based on an angle change according to the movement of the recognized object, and the movement of the pointer of the current position may be controlled based on the second object data.
  • the third object data is generated according to the movement of the recognized object, and if there is a change in the angle, the movement of the pointer is controlled based on the second object data, and the fourth object data according to the movement of the recognized object. While generating the angle change, if there is no change in the angle, it is possible to determine whether the angle change based on the first object data, not the second object data, and control the movement of the pointer based on the change.
  • the data communication module 201 receives image sensing data of the object 110 photographed by the RGB camera sensor 120 through the terminal 130 (S301).
  • the data communication module 201 may transmit the received image sensing data to the service control module 206, and the service control module 206 first determines a service mode for processing the transferred image sensing data. It may be (S302).
  • the pointer mode shown in FIGS. 4 to 6 and the posture correction mode shown in FIGS. 7 to 9 include all modes available for recognizing the object and serving the data through the recognized object data.
  • the object recognition and extraction module 202 recognizes an object from the image sensing data received according to the service mode determined according to the service mode determination of step S302, and extracts data of the recognized object (S303).
  • the object (or point of interest (POI) corresponding to the pointer mode) is recognized from the received image sensing data, and the data of the recognized object is extracted.
  • the object is a person
  • the hand becomes an object or region of interest (POI) corresponding to the pointer mode, and object data of the hand is extracted.
  • the object or region of interest (POI) corresponding to the posture correction mode is recognized from the received image sensing data, and the data of the recognized object is extracted.
  • the object is a human
  • an object corresponding to a body part related to posture correction among a human skeleton and a human skeleton becomes an object or region of interest (POI) corresponding to the posture correction mode, and extracts object data thereof. .
  • the object data processing module 203 generates semantic data of the object from the data of the recognized object extracted through the object recognition and extraction module 202 as described above (S304).
  • the semantic data of an object includes, for example, data of an object extracted according to the service mode described above and a mapping data of the object data and a pointer such as pointer movement and pointer selection as actual meaning.
  • the mapping data includes coordinates, positions, and the like within the extracted object data, such as the size of the display 600 to which the RGB camera sensor 120 is attached and the items 610, 620, 630, and 640 displayed on the screen.
  • the service data processing module 205 generates operation control data based on the object semantic data of the object data processing module 203 (S305), and performs an operation using pointer data mapped with object data according to object recognition. Lose or control for the operation.
  • the service control module 206 controls the operation result display for the operation made and / or the result of the operation control based on the generated operation control data (S306).
  • the graphic processing module 204 performs graphic processing on graphic data or service data linked to the operation result display control.
  • the service control module 206 may be involved in all of the above-described processes or a part of the processes.
  • this describes a detailed process of object recognition / and data processing for the pointer mode.
  • the recognized object is mapped with the generated pointer (S402).
  • the motion data of the tracked object is extracted from the database 207 (S404), the extracted motion tracked surface, and the mapped pointer motion based on the extracted motion data.
  • S405 To control (S405),
  • FIG. 5 is a view illustrating a method of recognizing a hand gesture of a person through the RGB camera sensor 120 according to an embodiment of the present invention
  • FIG. 6 is a view illustrating the RGB camera sensor 120 of FIG.
  • the camera 120 is an example of being attached to the display as shown in FIG.
  • a person (object) 110 performs a hand gesture at a predetermined distance d.
  • the RGB camera sensor 120 captures the image data by capturing it.
  • the RGB camera sensor 120 continuously acquires image data as long as it does not satisfy a specific condition continuously or periodically.
  • the specific condition may be regarded as a case in which the movement of a person is not detected or the person performs a predetermined predetermined motion, but is not necessarily limited thereto.
  • a person moves his hand from the bottom (first move 512) to the top (second or last move 514).
  • the person is an object and the area of interest can be seen by hand.
  • objects and areas of interest are used separately. For details, such as identifying a region of interest from an object, refer to a known technology and description thereof will be omitted.
  • the service server 140 recognizes a region of interest, that is, an object, and extracts related data from the image data acquired through the RGB camera sensor 120. At this time, the service server 140 extracts the object data for the next movement 514 based on the first movement 512 of the hand.
  • the service server 140 may determine object movement by comparing object data of each extracted movement.
  • the service server 140 checks the degree of movement in relation to the second movement 514 based on the first movement 512 as a reference according to the determination result.
  • the object data about the movement of the hand may be acquired based on the angle ⁇ between the first movement 512 and the second movement 514.
  • the object data about the movement of the hand is determined from a correlation between a predefined angle and the degree of movement of the hand. This may be determined, for example, from at least one of the sex, age, characteristics of the person, size of the display, distance of the person from the camera sensor, or any combination of the above conditions.
  • the service server 140 gives a preset condition to determine the result of the motion according to the user's movement degree from the angle according to the hand's movement and provides the result, the user may determine which hand movement therefrom. You can also determine whether you want to control the degree.
  • the service server 140 generates first result object data based on the first motion 512, and processes the object data when the second motion 514 has an angle ⁇ from the first motion 512. Generate second result object data.
  • the service server 140 may transmit a control signal from the generated first and second result object data so that the movement of the pointer of the display moves in parallel as shown in FIG. 6.
  • the service server 140 may map the first movement 512 to a reference position or a pointer of the first position 612.
  • the service server 140 When the second motion 514 is detected, the service server 140 generates the second result object data based on the motion charge of the first motion 512 and the second motion 514, that is, the angle value ⁇ . do.
  • the service server 140 controls the movement of the pointer based on the generated second result object data. That is, the pointer 612 in the first position is controlled to move to the second position 614.
  • the service server 140 controls the movement of the pointer by generating an operation control signal corresponding to the movement of the pointer according to the movement of the hand, and always considers the movement of the hand as the initial movement, that is, the reference, as well as the movement of the previous hand. Can be judged. For example, when the current hand movement is horizontal, that is, the angle value ⁇ , the service server 140 may not control the movement of the pointer according to the movement. Accordingly, in this case, the angle value ⁇ may be calculated by comparing the current movement from the initial position, and the third position 616 may be calculated by considering the position of the previous movement.
  • the service server 140 may catch the up, down, left, and right movements of the human hand and calculate the result object data to control the movement of the pointer.
  • the service server 140 does not only control the operation of the pointer according to the movement of the hand, but the movement from the feedback according to the movement of the pointer 618 to the corresponding position corresponds to the function icon or items 622 to 628. If so, it is possible to determine the selection of the corresponding icon from the movement of the hand, and control to perform the function.
  • the movement of the hand for selecting the corresponding icon may be based on a user's setting or a preset bar.
  • the hand may be mapped to an operation such as holding or extending a hand at a corresponding position.
  • the service server 140 uses the RGB-depth camera to generate the result object data from the movement of the user's hand based on the distance between the user and the camera sensor, and generates a pointer motion control signal corresponding thereto. It can also control the operation of.
  • the service server 140 may utilize a separate preset mapping table, for example, data on the correlation of the pointer motion control according to the movement of the hand, which may vary depending on various environmental factors or physical elements of the person.
  • a separate preset mapping table for example, data on the correlation of the pointer motion control according to the movement of the hand, which may vary depending on various environmental factors or physical elements of the person.
  • an artificial intelligence module (not shown) to perform pointer motion control according to the user's intention according to the movement of the hand.
  • the artificial intelligence module a means developed by a known technology or a future technology is used, and a detailed description thereof will be omitted.
  • the service server 140 may determine and use which mapping table to apply according to the movement of the user's hand based on the size of the RGB camera sensor 120 and the terminal 130.
  • the operation of the pointer is controlled according to the ratio (reduction). It is necessary to do
  • the service server 140 determines that the service server 140 is a meaningful movement by tracking the movement of the hand from the reference position (convenience 612), the service server 140 generates the result object data or performs the movement of the pointer according to the movement of the hand tracked in real time. You can also control it. In this case, the service server 140 may further consider the degree of movement of the hand, for example, the movement speed, etc. in addition to the movement angle.
  • FIG. 7 to 9 are diagrams for explaining a posture correction method of a person through the RGB camera sensor 120 according to an embodiment of the present invention.
  • the service server 140 may obtain pose data of a user (object) for a predetermined time period / aperiod from the RGB camera sensor 120 as shown in FIG. 7.
  • the service server 140 generates standard pose data of an object facing the display in consideration of a distance, a direction, or the like, which is stored in advance or currently between the camera sensor 120 and the object.
  • the reference pose data of the object may use data stored in advance, or may be calculated and determined by the service server 140 from pose data obtained from the RGB camera sensor 120.
  • the service server 140 compares the pose data of the object obtained from the determined reference pose data (FIG. 9A) to determine the posture of the object, that is, the user, and the graphic data for correcting the posture (FIG. 9B). ) Or (c)) to induce posture correction.
  • the service server 140 may provide graphic data for correcting the posture, and may also provide information on the degree of distortion of the posture, the distortion duration, the change of the posture during the duration from the reference pose.
  • Such posture correction can perform not only sitting posture, but also posture correction according to line posture and object movement, motion detection of object, horizontal confirmation, etc. It is sufficient to have appropriate reference or standard pose data or generate and use it.
  • FIG. 8 further utilizes at least one or more camera sensors 812, 814, and 816 in addition to the RGB camera sensor 120 to further improve the accuracy of posture correction and to determine the movement or posture of the object at various angles. It is an example.
  • the service server 140 may generate reference pose data compared to standard pose data of the front, rear, and side surfaces of the object from the pose data acquired through each camera sensor, and provide the reference pose data as posture correction data.
  • an object recognition and a data processing method include receiving camera sensing data, recognizing an object from the received camera sensing data, and generating first object data to generate the first object data. Mapping a current position of the pointer to a pointer, generating second object data based on an angle change according to the movement of the recognized object, controlling movement of the pointer of the current position based on the second object data, Generate third object data according to the movement of the recognized object, and if there is a change in angle, control the movement of the pointer based on the second object data, and generate fourth object data according to the movement of the recognized object. If there is no change in the angle, it is determined whether there is an angle change based on the first object data and not the second object data.
  • the second object data is generated by further considering the movement speed in addition to the angle change.
  • Computer-readable media that store executable computer code for carrying out the various methods of the present invention include, but are not limited to, magnetic storage media (eg, ROM, floppy disk, hard disk, etc.), optical reading media (eg, CD-ROM, DVD, etc.). Storage media).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 카메라 센싱 데이터를 수신하는 단계; 수신된 카메라 센싱 데이터로부터 객체를 인식하고 제1 객체 데이터를 생성하는 단계; 상기 생성된 제1 객체 데이터와 포인터의 현재 위치를 맵핑하는 단계; 상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 데이터를 생성하는 단계; 및 상기 제2 객체 데이터에 기초하여 상기 현재 위치의 포인터의 움직임을 제어하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.

Description

RGB 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치
본 발명은 객체 인식 및 그 데이터 처리에 관한 것으로, 보다 상세하게는 RGB 카메라 센서를 활용하여 객체를 인식하고 인식된 객체의 객체 데이터에 따른 동작, 데이터 처리, 결과값 표시 등을 위한 객체 데이터 처리 방법 및 장치에 관한 것이다.
객체 인식과 관련하여 많은 기술들이 개발되고 있다. 이러한 객체 인식은 주로 센서 기술에 의존하는데 그러한 센서들 중 적외선(IR) 카메라 센서, RGB 센서가 많이 이용되고 있다.
최근 이러한 센서 기술을 활용하여 다양한 환경이나 상황에서 객체 인식 기술을 접목하려는 시도가 이루어지고 있다. 다만, 상기 센서 기술의 발전에도 불구하고 여전히 적외선(IR) 카메라 센서는 단가 대비 활용도가 떨어지는 문제가 있다.
상기한 종래 문제점을 해소하기 위하여, 본 발명의 일 과제는, 가성비가 높고 다양한 활용이 가능할뿐만 아니라 새롭게 구비하지 않고도 기존에 단말 등에 부착되거나 임베디드된 RGB 센서를 활용한 객체를 인식하고 인식된 객체의 데이터를 처리하는 방법을 제안하는데 있다.
본 발명의 다른 과제는, 이와 같이 RGB 센서가 부착된 다양한 기기에서 상기 센서로부터 수신되는 입력 센서 데이터로부터 객체를 인식하고 인식된 객체의 데이터를 추출하여 처리함으로써 상기 기기를 제어하는 방법을 제안하는데 있다.
본 발명의 또 다른 과제는, 상기한 RGB 센서를 활용한 객체 인식 및 그 데이터 처리 방법을 위한 컴퓨터 프로그램 내지 장치를 제공하는 데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 카메라 센싱 데이터를 수신하는 단계; 수신된 카메라 센싱 데이터로부터 객체를 인식하고 제1 객체 데이터를 생성하는 단계; 상기 생성된 제1 객체 데이터와 포인터의 현재 위치를 맵핑하는 단계; 상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 데이터를 생성하는 단계; 및 상기 제2 객체 데이터에 기초하여 상기 현재 위치의 포인터의 움직임을 제어하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 상기 인식된 객체의 움직임을 디텍트하는 단계;를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 상기 인식된 객체의 움직임에 따른 제3 객체 데이터를 생성하되, 상기 각도 변화가 있으면, 상기 제2 객체 데이터를 기준으로 포인터의 움직임을 제어하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 상기 인식된 객체의 움직임에 따른 제4 객체 데이터를 생성하되, 상기 각도 변화가 없으면, 상기 제2 객체 데이터가 아닌 제1 객체 데이터를 기준으로 각도 변화 유무를 판단하고 그를 기준으로 포인터의 움직임을 제어하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 데이터를 생성하는 단계에서, 상기 각도 변화 외에 움직임 속도를 더 고려하여 상기 제2 객체 데이터를 생성하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 상기 포인터 움직임 제어에 따른 피드백 데이터를 수신하는 단계와, 상기 수신한 피드백 데이터로부터 해당 위치에서 기능 아이콘이 위치하면 상기 인식된 객체의 객체 데이터로부터 상기 기능 아이콘의 선택 및 선택된 기능 아이콘의 기능 수행을 위한 제어 데이터를 생성하여 포인터의 움직임을 제어하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 장치는, 카메라 센싱 데이터를 수신하는 데이터 통신 모듈; 수신된 카메라 센싱 데이터로부터 객체를 인식하고 객체 데이터를 추출하는 객체 인식 및 추출 모듈; 상기 추출된 객체 데이터로부터 제1 객체 동작 제어 데이터를 생성하고, 상기 생성된 제1 객체 동작 제어 데이터와 포인터의 현재 위치를 맵핑하고, 상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 동작 제어 데이터를 생성하여, 상기 현재 위치의 포인터의 움직임을 제어하는 서비스 제어 모듈;을 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체는, 제1항 내지 제6항 중 적어도 하나 이상의 청구항에 의한 객체 인식 및 그 데이터 처리를 위한 프로그램을 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.
첫째, 본 발명에 따르면, 가성비가 높고 다양한 활용이 가능할뿐만 아니라 새롭게 구비하지 않고도 기존에 단말 등에 부착되거나 임베디드된 RGB 센서를 활용한 객체를 인식하고 인식된 객체의 데이터를 처리하는 방법을 제안할 수 있는 효과가 있다.
둘째, 본 발명에 따르면, 이와 같이 RGB 센서가 부착된 다양한 기기에서 상기 센서로부터 수신되는 입력 센서 데이터로부터 객체를 인식하고 인식된 객체의 데이터를 추출하여 처리함으로써 상기 기기를 제어하는 방법을 제안할 수 있는 효과가 있다.
셋째, 본 발명에 따르면, 상기한 RGB 센서를 활용한 객체 인식 및 그 데이터 처리 방법을 위한 컴퓨터 프로그램 내지 장치를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 RGB 센서를 이용한 객체 인식/데이터 처리 시스템의 개략도이다.
도 2는 본 발명의 일실시예에 따른 RGB 센서를 이용한 객체 인식/데이터 처리 장치의 구성 블록도이다.
도 3은 본 발명의 일실시예에 따른 RGB 센서를 이용한 객체 인식/데이터 처리 방법을 설명하기 위해 도시한 순서도이다.
도 4는 본 발명의 일실시예에 따른 RGB 센서를 이용하여 객체 인식 및 인식된 개체의 움직임 추적을 통한 객체 데이터 처리에 기초하여 포인터 동작을 제어하는 방법을 설명하기 위해 도시한 순서도이다.
도 5는 본 발명의 일실시예에 따라 RGB 카메라 센서(120)를 통해 사람의 손동작을 인식하는 방법을 설명하기 위해 도시한 도면이다.
도 6은 상기 도 5의 RGB 카메라 센서(120)를 통해 인식한 사람의 손동작에 대응되는 동작 제어 방법을 설명하기 위해 도시한 도면이다.
도 7 내지 9는 본 발명의 일실시예에 따라 RGB 카메라 센서(120)를 통하여 사람의 자세 교정 방법을 설명하기 위해 도시한 도면이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
본 명세서에서는 본 발명에 따라 가성비가 높고 다양한 활용이 가능할뿐만 아니라 반드시 새로 별도로 구매하지 않고도 기존 단말 등에 부착되거나 임베디드되어 있는 RGB 센서를 활용하여 객체를 인식하고 인식된 객체의 데이터를 처리함으로써 상기 기기를 제어하는 다양한 실시예들을 설명한다. 또한, 본 명세서에서는 관련하여, 상기한 RGB 센서를 활용한 객체 인식 및 그 데이터 처리 방법을 위한 컴퓨터 프로그램 내지 장치에 대해서도 설명한다.
도 1은 본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 시스템의 개략도이다.
도 1을 참조하면, 객체 인식/데이터 처리 시스템은, 적어도 하나의 RGB 카메라 센서(120), 적어도 하나의 단말(130)과 서비스 서버(140)를 포함하여 구성된다. 다만, 본 발명은 이에 의해 한정되는 것은 아니며, 상기 객체 인식/데이터 처리 시스템은 구현 예에 따라, 하나 또는 그 이상의 구성요소를 더 포함하여 구현될 수도 있다. 한편, 상기 객체 인식/데이터 처리에 속한 구성들 간의 통신 내지 데이터 커뮤니케이션(이하 데이터 커뮤니케이션)은 유/무선 통신 네트워크를 통하여 이루어진다. 또한, 도 1의 객체 인식/데이터 처리 시스템의 각 구성요소 간의 통신 프로토콜은 모두 동일하지 않을 수 있으나 본 발명이 반드시 이에 한정되는 것은 아니며, 상호 간에 데이터 커뮤니케이션이 가능하도록 하는 통신 프로토콜이면 족하다.
상기 RGB 카메라 센서(120)는, 객체(110)에 대한 이미지 센싱 데이터를 획득한다. 여기서, 획득되는 이미지 센싱 데이터는 상기 객체(110)의 전부 또는 일부에 대한 것일 수 있다. 한편, 도 1에서는 비록 하나의 RGB 카메라 센서만을 도시하였으나, 본 발명은 이에 한정되지 않으며, 복수 개일 수 있다. 한편, 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위하여, RGB 카메라 센서를 예로 하였으나, 반드시 이에 한정되는 것은 아니다. 게다가, 상기에서 복수의 카메라 센서(또는 이미지 센서)는 모두 동일한 속성, 타입 등일 필요는 없다.
상기 단말(130)은, RGB 카메라 센서(120)를 통해 획득한 객체(110)에 대한 이미지 센싱 데이터를 수신하여 상기 서비스 서버(140)로 전송한다. 상기 객체 인식 및 처리 처리와 관련된 데이터를 생성, 송수신 등 중 적어도 하나의 기능을 수행하면 족하며, 상기 서비스 서버(140)와 데이터 커뮤니케이션을 수행할 수 있는 장치로 이해할 수 있는 관련된 모든 장치가 포함될 수 있다.
상기 단말(130)은 본 발명과 관련하여, 필요에 따라 상기 RGB 카메라 센서(120)에서 획득한 객체(110)에 대한 이미지 센싱 데이터를 수신하여 전송 전에 필요한 변환 등 가공을 수행한 후 상기 서비스 서버(140)로 전송할 수도 있다.
한편, 상기 단말(130)은 예를 들어, 상기 서비스 서버(140)에서 제공하는 서비스 어플리케이션, 프로그램과 같은 소프트웨어를 미리 다운로드 받아 설치할 수도 있다. 여기서, 상기 단말(130)은 그와 관련된 API(Application Program Interface) 또는 임베디드 소프트웨어(Embeded Software)를 포함할 수 있다. 다시 말해, 이하에서 설명되는 본 발명에 따른 객체 데이터 처리 방법은, 상기 단말(130)에 미리 설치된 API 또는 임베디드 소프트웨어를 포함하는 어플리케이션을 통해 이루어지는 것을 일실시예로 한다. 다만, 본 발명은 이에 한정되는 것은 아니다.
한편, 상기 단말(130)은 자체적으로 상기 서비스 서버(140)로 데이터 또는 (그를 포함한) 신호를 전송하거나 수신할 수 있으며, 상기 기 설치된 어플리케이션 등을 통하여 상기 서비스 서버(140)로 데이터 또는 신호를 전송하거나 수신할 수 있다.
이 때, 상기 서비스 서버(140)로 전송되거나 수신되는 데이터 또는 신호는, 본 발명의 일실시예에 따라 객체 데이터 처리를 위한 상기 단말에 기 설치된 어플리케이션의 컨텐츠와 관련될 수 있으나, 반드시 이에 한정되는 것은 아니다.
한편, 상기 단말(130)로는, 단말 장치, 터미널(Terminal), MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D 장치(Device-to-Device) 장치 중 적어도 하나를 일실시예로 할 수 있다.
물론, 어디까지나 이는 예시에 불과할 뿐이며, 본 발명에서의 단말은 상술한 예시들 이외에도 현재 개발되어 상용화되었거나 또는 향후 개발될 데이터 또는 신호 전송이 가능한 모든 장치를 포함하는 개념으로 해석되어야 한다.
편의상 도 1에서 하나의 단말이 도시되었으나, 본 발명은 역시 이에 한정되는 것은 아니며, 본 명세서에서 단지 ‘단말’이라고만 정의하는 경우에는 단수의 의미로 주로 사용하나 필요에 따라 복수 개의 단말을 의미로 사용될 수도 있으며 이는 문맥의 해석을 통해 이해할 수 있을 것이다.
예를 들어, 상기 단말(130)이 복수 개인 경우, 반드시 동일한 타입, 종류, 장치 등이거나 동일한 통신 네트워크를 사용하지 않아도 상관없다. 즉, 상기 단말(130)은 각자의 통신 네트워크를 통하여 상기 서비스 서버(140) 및 상기 서비스 서버(140)를 통하여 상호 간에 데이터 커뮤니케이션을 수행할 수 있는 장치이면 족한다.
다음으로, 상기 서비스 서버(140)는 유/무선 통신 네트워크를 통하여 적어도 하나 이상의 다른 장치와 데이터 커뮤니케이션을 수행할 수 있는 개체(entity)를 의미하며, 객체 인식/데이터 처리를 위한 데이터(제어 데이터 포함)를 생성, 제공, 저장 등 중 적어도 하나의 기능을 수행한다.
본 명세서에서 상기 서비스 서버(140)는 복수 개일 수 있으며 상기 객체 인식/데이터 처리를 위하여 클라이언트 서버 등 하나 또는 그 이상의 서버들을 더 포함할 수도 있다. 한편, 본 발명에 따른 서비스 서버(140)는 단말(130)에 관한 데이터 등 상기 객체 인식/데이터 처리를 위하여 필요한 데이터/빅데이터를 수집, 처리, 저장 등을 수행하는 데이터베이스(DB: database)를 내장 또는 외장할 수 있다.
상기 서비스 서버(140)는, 클라우드(Cloud) 서버, IMS(IP Multimedia Subsystem) 서버, 텔레포니 어플리케이션(Telephony Application) 서버, IM(Instant Messaging) 서버, MGCF(Media Gateway Control Function) 서버, MSG(Messaging Gateway) 서버, CSCF(Call Session Control Function) 서버 등 중 적어도 하나를 일실시예로 할 수 있다.
한편, 상기 단말(130) 또는/및 서비스 서버(140)는 PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer) 등 데이터 커뮤니케이션이 가능한 개체를 지칭하는 장치로 구현될 수도 있다.
한편, 유/무선 통신 네트워크는 상기 단말(130) 및 상기 서비스 서버(140) 간의 이미지 센싱 데이터 외에 관련된 텍스트(Text), 디지털 이미지, 디지털 영상, 디지털 음성 정보 등 다양한 종류의 데이터 커뮤니케이션을 지원하는 데이터 통신망을 의미하며, 그 종류에는 특별히 제한되지 않는다.
예를 들어, 상기 유/무선 통신 네트워크는, 인터넷 프로토콜(IP)을 통하여 대용량 데이터 커뮤니케이션을 지원하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망일 수 있다.
또한, 상기 유/무선 통신 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동 통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동 통신망, LTE advanced(LTE-A)를 포함하는 이동 통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나이거나 또는 이들 중 적어도 하나 이상의 결합에 의하여 형성될 수도 있다.
한편, 도 1에서 상기 RGB 카메라 센서(120)는 단말(130)과 전혀 별개의 구성요소로 도시하였으나 본 발명은 반드시 이에 한정되는 것은 아니며 전술한 바와 같이, 상기 단말(130) 또는 별도의 단말이나 그를 위한 디스플레이, 기타 기기상에 부착될 수 있다. 또는, 상기 RGB 카메라 센서(120)는, 상기 단말(130)의 일구성요소로서 제조시부터 부착 또는 임베디드된 것일 수도 있다. 이러한 의미로, 단말(130)이나 기타 기기는 스마트폰, PC 등과 같은 RGB 카메라 센서가 부착된 기기를 포함할 수 있으며, 상기에서 PC의 경우 그를 위한 디스플레이상 또는 그 주변에 부착된 것일 수도 있다. 다만, 전술한 바와 같이, 본 발명은 반드시 그에 한정되는 것은 아니다.
도 2는 본 발명의 일실시예에 따른 RGB 센서를 이용한 객체 인식/데이터 처리 장치의 구성 블록도이고, 도 3은 본 발명의 일실시예에 따른 RGB 센서를 이용한 객체 인식/데이터 처리 방법을 설명하기 위해 도시한 순서도이고, 도 4는 본 발명의 일실시예에 따른 RGB 센서를 이용하여 객체 인식 및 인식된 개체의 움직임 추적을 통한 객체 데이터 처리에 기초하여 포인터 동작을 제어하는 방법을 설명하기 위해 도시한 순서도이다.
도 2에서, 상기 객체 데이터 처리 장치는 예컨대, 전술한 도 1의 서비스 서버(140) 전체 또는 그 일부에 해당할 수 있다.
상기 객체 데이터 처리 장치는, 데이터 통신 모듈(201), 객체 인식 및 추출 모듈(202), 객체 데이터 처리 모듈(203), 그래픽 처리 모듈(204), 서비스 데이터 처리 모듈(205), 및 서비스 제어 모듈(206)을 포함하여 구성된다. 여기서, 상기 객체 데이터 처리 장치는, 상기 단말(130)을 통해 획득된 또는 그를 가공하여 획득한 데이터 등을 일시 저장하는 데이터베이스(207)를 더 포함할 수 있으며, 이는 상기 객체 데이터 처리 장치의 내부 또는 외부에 구현될 수 있고, 그 수는 하나 또는 그 이상일 수 있다.
이하에서는 상기 도 2의 상기 객체 인식/데이터 처리 장치의 각 구성요소에 대해 도 3의 디지털 장치에서의 객체 인식/데이터 처리 방법 및 RGB 센서를 이용하여 객체 인식 및 인식된 개체의 움직임 추적을 통한 객체 데이터 처리에 기초하여 다른 기기를 제어하는 방법을 설명하면서 함께 설명한다.
상기 다른 기기로 예를 들어, 디스플레이를 예로 하고, 그 제어라 함은 상기 디스플레이 상의 포인터(pointer)의 동작 제어 및 그에 따른 동작 수행을 일실시예로 하여 설명한다.
다만, 본 발명이 이러한 일실시예에 의해 제한되지 않으며, 상기 동작 수행에는 포인터의 이동, 포인터를 통한 아이콘, 아이템 등 특정 기능 데이터를 선택, 그에 따른 동작까지도 포함하는 의미로 사용될 수 있다.
도 3을 참조하여, 객체 인식/데이터 처리 방법을 설명하면, 다음과 같다. 여기서, 편의상 RGB 카메라 센서(120)를 통해 객체의 촬영 및 그를 통해 센싱되는 이미지 데이터의 획득 과정에 대해서는 공지 기술 및 관련하여 향후 개발되는 기술을 참조하며, 여기서 관련 상세 설명은 생략한다.
또한, 상기 단말(130)은 편의상 상기 RGB 카메라 센서(120)를 통한 객체의 이미지 센싱 데이터를 수신하여 특별한 가공없이 상기 서비스 서버(140)로 전달하는 것을 일실시예로 하여 설명한다. 비록 도시되진 않았으나, 상기 RGB 카메라 센서(120)는 객체의 이미지 센싱 데이터를 상기 단말(130)을 거치지 않고 직접 상기 서비스 서버(140)로 전달할 수도 있다.
본 발명의 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 카메라 센싱 데이터를 수신하고, 수신된 카메라 센싱 데이터로부터 객체를 인식하고 제1 객체 데이터를 생성하여, 상기 생성된 제1 객체 데이터와 포인터의 현재 위치를 맵핑하고, 상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 데이터를 생성하며, 상기 제2 객체 데이터에 기초하여 상기 현재 위치의 포인터의 움직임을 제어할 수 있다. 여기서, 상기 인식된 객체의 움직임에 따른 제3 객체 데이터를 생성하되, 상기 각도 변화가 있으면, 상기 제2 객체 데이터를 기준으로 포인터의 움직임을 제어, 상기 인식된 객체의 움직임에 따른 제4 객체 데이터를 생성하되, 상기 각도 변화가 없으면, 상기 제2 객체 데이터가 아닌 제1 객체 데이터를 기준으로 각도 변화 유무를 판단하고 그를 기준으로 포인터의 움직임을 제어할 수 있다.
데이터 통신 모듈(201)은 상기 단말(130)을 통하여 RGB 카메라 센서(120)에 의해 촬영된 객체(110)의 이미지 센싱 데이터를 수신한다(S301).
상기 데이터 통신 모듈(201)은 상기 수신한 이미지 센싱 데이터를 상기 서비스 제어 모듈(206)로 전달할 수 있으며, 상기 서비스 제어 모듈(206)은 상기 전달된 이미지 센싱 데이터의 처리를 위하여 서비스 모드를 먼저 판단할 수 있다(S302).
상기에서 서비스 모드라 함은, 도 4 내지 6에 도시된 포인터 모드, 도 7 내지 9에 도시된 자세 교정 모드 등 객체를 인식하고, 인식된 객체의 데이터를 통하여 서비스 가능한 모든 모드를 포함한다.
상기 객체 인식 및 추출 모듈(202)은 상기 S302 단계의 서비스 모드 판단에 따라 판단된 서비스 모드에 따라 수신된 이미지 센싱 데이터로부터 객체를 인식하고, 인식된 객체의 데이터를 추출한다(S303).
여기서, 상기에서 판단된 서비스 모드가 포인터 모드인 경우에는, 수신된 이미지 센싱 데이터로부터 포인터 모드에 대응되는 객체(또는 관심영역(POI: Point of Interest))을 인식하고, 인식된 객체의 데이터를 추출하는데 여기서, 예를 들어, 객체가 사람이면, 손이 포인터 모드에 대응되는 객체 또는 관심영역(POI)이 되고, 상기 손에 대한 객체 데이터를 추출한다.
반면, 상기에서 판단된 서비스 모드가 자세 교정 모드인 경우에는, 수신된 이미지 센싱 데이터로부터 자세 교정 모드에 대응되는 객체 또는 관심영역(POI)을 인식하고, 인식된 객체의 데이터를 추출하는데 여기서, 예를 들어, 객체가 사람이면, 사람의 골격과 사람의 골격 중 자세 교정과 관련된 신체 부위에 해당하는 객체가 자세 교정 모드에 대응되는 객체 또는 관심영역(POI)이 되고, 그에 대한 객체 데이터를 추출한다.
객체 데이터 처리 모듈(203)은 이렇게 객체 인식 및 추출 모듈(202)을 통해 추출된 인식된 객체의 데이터로부터 그 객체의 의미 데이터를 생성한다(S304). 여기서, 객체의 의미 데이터라 함은, 예를 들어, 전술한 서비스 모드에 따라 추출된 객체의 데이터와 실제 의미로서, 포인터 이동, 포인터 선택 등과 같은 포인터와 상기 객체 데이터의 맵핑 데이터를 포함한다.
상기 맵핑 데이터는 예컨대, 도 6과 같이 상기 RGB 카메라 센서(120)가 부착된 디스플레이(600)의 크기와 그 화면상에 출력된 아이템들(610,620,630,640) 등과 같은 좌표, 위치와 상기 추출된 객체 데이터 내 움직임 추적 데이터를 맵핑한 데이터를 나타낸다. 이에 관해서는 도 5 내지 6에서 보다 상세하게 설명한다.
서비스 데이터 처리 모듈(205)는 상기 객체 데이터 처리 모듈(203)의 객체 의미 데이터에 기초하여 동작 제어 데이터를 생성하여(S305), 객체 인식에 따른 객체 데이터와 매핑된 포인터 데이터를 이용하여 동작이 이루어지거나 상기 동작을 위한 제어한다.
서비스 제어 모듈(206)은 생성된 동작 제어 데이터에 기초하여 이루어진 동작 및/또는 동작 제어의 결과에 대한 동작 결과 표시를 제어한다(S306). 그래픽 처리 모듈(204)은 상기 동작 결과 표시 제어와 연동된 그래픽 데이터 내지 서비스 데이터에 관한 그래픽 처리를 수행한다.
전술한 모든 과정 또는 그 일부의 과정에 대해 상기 서비스 제어 모듈(206)은 관여할 수 있다.
도 4를 참조하면, 이는 포인터 모드에 대한 객체 인식/및 데이터 처리의 상세 프로세스를 설명하면, 다음과 같다.
포인터 모드에서 객체(손)가 인식되면(S401), 상기 인식된 객체와 생성된 포인터를 맵핑한다(S402).
객체 움직임이 있으면, 그를 추적하고(S403), 추적한 객체의 움직임 데이터를 상기 데이터베이스(207)로부터 추출하여(S404), 추출된 움직임 추적한 면, 추출된 움직임 데이터에 기반하여 상기 맵핑된 포인터 움직임 제어한다(S405),
이후 상기 맵핑된 포인터 움직임에 따라 동작이 되고 나면, 그 결과를 표시한다(S406).
단말를 위한 /객체 데이터 처리 모듈(203), 그래픽 처리 모듈(204), 서비스 데이터 처리 모듈(205), 및 서비스 제어 모듈(206)
도 5는 본 발명의 일실시예에 따라 RGB 카메라 센서(120)를 통해 사람의 손동작을 인식하는 방법을 설명하기 위해 도시한 도면이고, 도 6은 상기 도 5의 RGB 카메라 센서(120)를 통해 인식한 사람의 손동작에 대응되는 동작 제어 방법을 설명하기 위해 도시한 도면이다.
이하 도 5 내지 6은 전술한 도 3의 서비스 모드 판단 결과 포인터의 동작 제어 모드인 경우에 대응된다. 여기서, 상기 카메라(120)는 상기 도 6과 같이 디스플레이상에 부착된 경우를 예로 한다.
도 5를 참조하면, 일정 거리(d)를 두고 사람(객체)(110)가 손동작을 하고 있는 것을 가정한다.
RGB 카메라 센서(120)는 요청에 의해 또는 설정에 따라 사람의 움직임이 감지되면, 그를 촬영하여 이미지 데이터를 획득한다. 상기 RGB 카메라 센서(120)는 주기 또는 비주기로 계속하여 특정 조건을 만족하지 않는한 계속하여 이미지 데이터를 획득한다. 여기서, 특정 조건이라 함은 사람의 움직임이 감지되지 않거나 사람이 미리 약속된 특정 동작을 하는 경우로 볼 수 있으나, 반드시 이에 한정되는 것은 아니다.
편의상 사람이 손을 아래(최초 움직임,512)에서 위(두번째 또는 마지막 움직임,514)로 움직였다고 하자. 사람은 객체이고, 관심영역은 손으로 볼 수 있다. 다만, 특단의 사정이 없는 한 여기서는 객체와 관심영역을 별도로 구분하지 않고 사용한다. 객체로부터 관심영역을 식별하는 등의 내용은 공지 기술을 참조하고 별도 설명은 생략한다.
서비스 서버(140)는 상기 RGB 카메라 센서(120)를 통해 획득되는 이미지 데이터로부터 관심영역 즉, 객체를 인식하고 관련 데이터를 추출한다. 이때, 서비스 서버(140)는 손의 최초 움직임(512)를 기준으로 하여 다음 움직임(514)에 대한 객체 데이터를 추출한다.
서비스 서버(140)는 상기 추출된 각 움직임에 대한 객체 데이터를 대조하여 움직임 여부를 판단할 수 있다.
서비스 서버(140)는 상기 판단 결과에 따라 상기 제1 움직임(512)을 레퍼런스로 잡고 상기 제2 움직임(514)과의 관계에서 움직임의 정도를 확인한다. 이를 위해, 본 발명에서는 상기 제1 움직임(512)와 제2 움직임(514) 사이의 각도(θ)에 기초하여 손의 움직임에 대한 객체 데이터를 획득할 수 있다.
상기 손의 움직임에 대한 객체 데이터는, 미리 정의된 각도와 손의 움직임 정도 사이의 상관관계로부터 결정되는 것을 일실시예로 한다. 이는 예컨대, 사람의 성별, 연령, 특성 등과 디스플레이의 크기, 사람과 카메라 센서의 거리 등 중 적어도 하나 또는 상기 조건들의 어떤 조합으로부터 결정될 수 있다. 또는 역으로 서비스 서버(140)에서 미리 설정된 조건을 부여하여 손의 움직임에 따른 각도로부터 사용자의 움직임 정도에 따른 동작의 결과를 결정하고 그에 관한 결과를 제공하면, 사용자가 이로부터 손의 움직임을 어느 정도로 제어할 지를 판단할 수도 있다.
서비스 서버(140)는 제1 움직임(512)을 기준으로 제1 결과 객체 데이터를 생성하고, 상기 제1 움직임(512)로부터 제2 움직임(514) 각도(θ)를 가지면, 객체 데이터를 처리하여 제2 결과 객체 데이터를 생성한다. 상기 서비스 서버(140)는 상기 생성된 제1 및 제2 결과 객체 데이터로부터 도 6과 같이, 상기 디스플레이의 포인터의 움직임이 대등하여 움직이도록 제어 신호를 전송할 수 있다.
도 5와 6을 참조하면, 서비스 서버(140)는 제1 움직임(512)을 기준 위치 또는 제1 위치(612)의 포인터에 맵핑할 수 있다.
서비스 서버(140)는 이후 제2 움직임(514)이 감지되면, 제1 움직임(512)과 제2 움직임(514)의 움직임 차지 즉, 각도값(θ)에 기초하여 제2 결과 객체 데이터를 생성한다. 그리고 상기 서비스 서버(140)는 상기 생성한 제2 결과 객체 데이터에 기초하여 포인터의 움직임을 제어한다. 즉, 제1 위치의 포인터(612)가 제2 위치(614)로 움직이도록 제어한다.
서비스 서버(140)는 손의 움직임에 따라 대응되는 포인터의 움직임에 관한 동작 제어 신호를 생성하여 상기 포인터의 움직임을 제어하되, 항상 손의 움직임을 이전 손의 움직임뿐만 아니라 최초 움직임 즉, 기준을 고려하여 판단할 수 있다. 예컨대, 서비스 서버(140)는 이전 움직임과 대비할 때, 현재의 손의 움직임이 수평 즉, 각도값(θ)인 경우에는, 움직임에 따른 포인터의 동작을 제어할 수 없게 된다. 따라서, 이와 같은 경우에는 최초 위치로부터 상기 현재 움직임을 비교하여 각도값(θ)을 산출하고, 이를 이전 움직임의 위치까지 고려하여 제3의 위치(616)를 산출해 낼 수 있다.
이러한 방식으로 서비스 서버(140)는 사람의 손의 상하좌우 움직임을 모두 캐치해 내고 결과 객체 데이터를 산출하여 포인터의 움직임을 제어할 수 있다.
한편, 서비스 서버(140)는 단지 손의 움직임에 따른 포인터의 동작만을 제어하는 것이 아니라, 포인터의 움직임(618)에 따른 피드백으로부터 해당 위치로의 움직임이 기능 아이콘이나 아이템(622 내지 628)에 대응되면, 손의 움직임으로부터 대응되는 아이콘의 선택을 결정할 수 있고, 그 기능이 수행되도록 제어할 수도 있다. 예컨대, 상기 대응 아이콘의 선택 결정을 위한 손의 움직임은 사용자의 설정 또는 미리 설정된 바에 따를 수 있는데, 편의상 해당 위치에서 손을 쥐거나 펴는 등의 동작으로 맵핑할 수 있다.
또는, 서비스 서버(140)는 RGB-depth 카메라를 이용하여, 사용자와 카메라 센서 사이의 거리를 기준으로 사용자의 손의 앞뒤 움직임으로부터 결과 객체 데이터를 생성하고 그에 대응되는 포인터 동작 제어 신호를 생성하여 포인터의 동작을 제어할 수도 있다.
한편, 서비스 서버(140)는 별도의 미리 설정된 맵핑 테이블 예컨대, 손의 움직임에 따른 포인터 동작 제어의 상관관계에 대한 데이터를 활용할 수도 있으나, 이는 다양한 환경적인 요소나 사람의 신체적인 요소에 의해 상이할 수 있는바, 인공지능 모듈(미도시)을 통한 학습을 통하여 이를 수정, 보완해 손의 움직임에 따른 사용자의 의도에 부합하는 포인터 동작 제어를 수행할 수 있다. 상기 인공지능 모듈과 관련하여서는 기 공지된 기술 내지 향후 미래 기술에 의해 개발되는 수단을 활용하는바, 이에 대한 별도 상세 설명은 생략한다.
서비스 서버(140)는 RGB 카메라 센서(120)와 단말(130)의 크기 등에 기초하여 사용자의 손의 움직임에 따라 어떤 맵핑 테이블을 적용할 지 결정하여 이용할 수도 있다.
예컨대, 단말(디스플레이)의 크기가 큰 경우에 손의 움직임은 상기 단말의 모든 영역을 다 커버하기 어려우므로, 상대적으로 상기 손의 움직임 비율(증축)에 따라 포인터의 움직임을 결정하는 것이 필요하다. 반대로, 단말의 크기가 작은 경우에는 손의 움직임 대비 단말에서의 포인터의 움직임이 너무 크면, 상기 포인터의 동작 제어에 어려움이 있을 수 있는바, 이 경우에도 비율(감축)에 따라 포인터의 동작 제어를 하는 것이 필요하다.
한편, 서비스 서버(140)는 기준 위치(편의상 612)로부터 손의 움직임을 트래킹하여 유의미한 움직임으로 판단되면, 이에 기초하여 결과 객체 데이터를 생성하거나 실시간으로 트래킹되는 손의 움직임에 따라 포인터의 움직임 동작을 제어할 수도 있다. 이때, 상기 서비스 서버(140)는 손의 움직임의 정도 예를 들어, 움직임 각도 이외에도 움직임 속도 등을 팩터로 더 고려할 수 있다.
도 7 내지 9는 본 발명의 일실시예에 따라 RGB 카메라 센서(120)를 통하여 사람의 자세 교정 방법을 설명하기 위해 도시한 도면이다.
이하는 전술한 도 3의 서비스 모드 판단 결과 자세 교정 모드인 경우에 대응된다. 도 7 이하에서는 사용자가 예를 들어, PC 모니터(단말) 앞에 앉아 있는 경우로 가정하자. 다만, 본 발명은 이에 한정되지 않음을 미리 밝혀 둔다.
서비스 서버(140)는 도 7과 같이 RGB 카메라 센서(120)로부터 주기/비주기로 미리 정한 시간 동안의 사용자(객체)의 포즈 데이터를 획득할 수 있다. 여기서, 상기 서비스 서버(140)는 미리 저장된 또는 현재 카메라 센서(120)와 객체 사이의 거리, 방향 등을 고려하여 디스플레이를 바라보는 객체의 기준 포즈 데이터(standard pose data)를 생성한다. 이러한 객체의 기준 포즈 데이터는 미리 저장된 데이터를 활용할 수도 있고, 상기 RGB 카메라 센서(120)로부터 획득되는 포즈 데이터로부터 서비스 서버(140)에서 산출하여 결정할 수도 있다.
서비스 서버(140)는 이렇게 결정된 기준 포즈 데이터(도 9의 (a))로부터 획득된 객체의 포즈 데이터를 비교하여 객체 즉, 사용자의 자세를 판단하여 자세 교정을 위한 그래픽 데이터(도 9의 (b) 또는 (c))를 제공하여 자세 교정을 유도할 수 있다.
한편, 서비스 서버(140)는 상기 자세 교정을 위한 그래픽 데이터를 제공하면서, 기준 포즈로부터 자세의 뒤틀림 정도, 뒤틀림 지속 시간, 상기 지속 시간 동안의 자세의 변화 등에 대한 정보도 함께 제공할 수 있다.
이러한 자세 교정은 비단 앉은 자세뿐만 아니라 선 자세와 객체의 움직임에 따른 자세 교정이나 사물의 움직임 디텍트, 수평 확인 등을 수행할 수 있는데 이는 적절한 기준 또는 표준 포즈 데이터가 있거나 이를 생성하여 이용하면 족하다.
그 밖에, 도 8에서는 자세 교정의 정확도를 더욱 높이고 다양한 각도에서의 객체의 움직임이나 자세를 판단하기 위하여 RGB 카메라 센서(120) 이외에 적어도 하나 이상의 카메라 센서들(812, 814, 816)을 더 활용하는 예시이다.
상기 서비스 서버(140)는 각 카메라 센서를 통해 획득되는 포즈 데이터로부터 객체의 전면, 후면, 및 측면에 대한 표준 포즈 데이터 대비 참조 포즈 데이터를 생성하여 자세 교정 데이터로 제공할 수 있다.
본 발명의 다른 일실시예에 따른 객체 인식 및 그 데이터 처리 방법은, 카메라 센싱 데이터를 수신하고, 수신된 카메라 센싱 데이터로부터 객체를 인식하고 제1 객체 데이터를 생성하여, 상기 생성된 제1 객체 데이터와 포인터의 현재 위치를 맵핑하고, 상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 데이터를 생성하며, 상기 제2 객체 데이터에 기초하여 상기 현재 위치의 포인터의 움직임을 제어하고, 상기 인식된 객체의 움직임에 따른 제3 객체 데이터를 생성하되, 상기 각도 변화가 있으면, 상기 제2 객체 데이터를 기준으로 포인터의 움직임을 제어, 상기 인식된 객체의 움직임에 따른 제4 객체 데이터를 생성하되, 상기 각도 변화가 없으면, 상기 제2 객체 데이터가 아닌 제1 객체 데이터를 기준으로 각도 변화 유무를 판단하고 그를 기준으로 포인터의 움직임을 제어하고, 상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 데이터를 생성하는 단계에서, 상기 각도 변화 외에 움직임 속도를 더 고려하여 상기 제2 객체 데이터를 생성하여, 상기 포인터 움직임 제어에 따른 피드백 데이터를 수신하는 단계와, 상기 수신한 피드백 데이터로부터 해당 위치에서 기능 아이콘이 위치하면 상기 인식된 객체의 객체 데이터로부터 상기 기능 아이콘의 선택 및 선택된 기능 아이콘의 기능 수행을 위한 제어 데이터를 생성하여 포인터의 움직임을 제어하고, 상기 생성되는 제1 내지 제4 객체 데이터 중 적어도 하나는, 미리 정의된 각도와 손의 움직임 정도 사이의 상관관계로부터 결정되고, 상기 상관 관계는 사람의 성별, 연령, 및 특성과 디스플레이의 크기, 사람과 카메라 센서의 거리 중 적어도 하나 또는 상기 조건들의 어떤 조합으로부터 결정하는 것을 특징으로 한다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
본원 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 카메라 센싱 데이터를 수신하는 단계;
    수신된 카메라 센싱 데이터로부터 객체를 인식하고 제1 객체 데이터를 생성하는 단계;
    상기 생성된 제1 객체 데이터와 포인터의 현재 위치를 맵핑하는 단계;
    상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 데이터를 생성하는 단계; 및
    상기 제2 객체 데이터에 기초하여 상기 현재 위치의 포인터의 움직임을 제어하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 객체 인식 및 그 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 인식된 객체의 움직임을 디텍트하는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 객체 인식 및 그 데이터 처리 방법.
  3. 제2항에 있어서,
    상기 인식된 객체의 움직임에 따른 제3 객체 데이터를 생성하되, 상기 각도 변화가 있으면, 상기 제2 객체 데이터를 기준으로 포인터의 움직임을 제어하는 것을 특징으로 하는 객체 인식 및 그 데이터 처리 방법.
  4. 제2항에 있어서,
    상기 인식된 객체의 움직임에 따른 제4 객체 데이터를 생성하되, 상기 각도 변화가 없으면, 상기 제2 객체 데이터가 아닌 제1 객체 데이터를 기준으로 각도 변화 유무를 판단하고 그를 기준으로 포인터의 움직임을 제어하는 것을 특징으로 하는 객체 인식 및 그 데이터 처리 방법.
  5. 제1항에 있어서,
    상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 데이터를 생성하는 단계에서,
    상기 각도 변화 외에 움직임 속도를 더 고려하여 상기 제2 객체 데이터를 생성하는 것을 특징으로 하는 객체 인식 및 그 데이터 처리 방법.
  6. 제1항에 있어서,
    상기 포인터 움직임 제어에 따른 피드백 데이터를 수신하는 단계와,
    상기 수신한 피드백 데이터로부터 해당 위치에서 기능 아이콘이 위치하면 상기 인식된 객체의 객체 데이터로부터 상기 기능 아이콘의 선택 및 선택된 기능 아이콘의 기능 수행을 위한 제어 데이터를 생성하여 포인터의 움직임을 제어하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 객체 인식 및 그 데이터 처리 방법.
  7. 카메라 센싱 데이터를 수신하는 데이터 통신 모듈;
    수신된 카메라 센싱 데이터로부터 객체를 인식하고 객체 데이터를 추출하는 객체 인식 및 추출 모듈;
    상기 추출된 객체 데이터로부터 제1 객체 동작 제어 데이터를 생성하고, 상기 생성된 제1 객체 동작 제어 데이터와 포인터의 현재 위치를 맵핑하고, 상기 인식된 객체의 움직임에 따른 각도 변화에 기초하여 제2 객체 동작 제어 데이터를 생성하여, 상기 현재 위치의 포인터의 움직임을 제어하는 서비스 제어 모듈;
    를 포함하는 것을 특징으로 하는 객체 인식 및 그 데이터 처리 장치.
  8. 제1항 내지 제6항 중 적어도 하나 이상의 청구항에 의한 객체 인식 및 그 데이터 처리를 위한 프로그램이 포함된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2018/009239 2018-08-13 2018-08-13 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치 WO2020036235A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/009239 WO2020036235A1 (ko) 2018-08-13 2018-08-13 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/009239 WO2020036235A1 (ko) 2018-08-13 2018-08-13 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2020036235A1 true WO2020036235A1 (ko) 2020-02-20

Family

ID=69525519

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/009239 WO2020036235A1 (ko) 2018-08-13 2018-08-13 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2020036235A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464040B1 (ko) * 2002-12-16 2005-01-03 엘지전자 주식회사 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법
KR20130001176A (ko) * 2011-06-23 2013-01-03 오메크 인터렉티브, 리미티드 근접 범위 움직임 추적 시스템 및 방법
US20140104168A1 (en) * 2012-10-12 2014-04-17 Microsoft Corporation Touchless input
US20150302576A1 (en) * 2013-01-23 2015-10-22 Leap Motion, Inc. Retraction Based Three-Dimensional Tracking of Object Movements
KR20160097410A (ko) * 2015-02-06 2016-08-18 이강우 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464040B1 (ko) * 2002-12-16 2005-01-03 엘지전자 주식회사 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법
KR20130001176A (ko) * 2011-06-23 2013-01-03 오메크 인터렉티브, 리미티드 근접 범위 움직임 추적 시스템 및 방법
US20140104168A1 (en) * 2012-10-12 2014-04-17 Microsoft Corporation Touchless input
US20150302576A1 (en) * 2013-01-23 2015-10-22 Leap Motion, Inc. Retraction Based Three-Dimensional Tracking of Object Movements
KR20160097410A (ko) * 2015-02-06 2016-08-18 이강우 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치

Similar Documents

Publication Publication Date Title
WO2013115541A1 (ko) 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
WO2015122616A1 (en) Photographing method of an electronic device and the electronic device thereof
WO2013180320A1 (ko) 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체
WO2015009066A1 (en) Method for operating conversation service based on messenger, user interface and electronic device using the same
WO2014088146A1 (ko) Ｓｎｓ를 이용한 사물통신 시스템, 방법 및 그 사물통신 서버
WO2015016430A1 (en) Mobile device and method of controlling therefor
WO2014107084A1 (en) Apparatus and method for providing a near field communication function in a portable terminal
WO2014065495A1 (en) Method for providing contents and a digital device for the same
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
CN112306799A (zh) 异常信息获取方法、终端设备及可读存储介质
WO2013039297A2 (en) Method and system for searching for object in network
WO2019160274A1 (en) Electronic device and method for providing location information of user in emergency
WO2016104873A1 (en) Digital device and method of controlling therefor
WO2020036235A1 (ko) Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치
CN113326012A (zh) 处理方法、移动终端及存储介质
WO2015093754A1 (ko) 전자 장치에서 연결 정보를 공유하는 방법 및 장치
CN112543248A (zh) 隔空操作方法、终端及存储介质
CN109711850B (zh) 一种安全支付方法、设备及计算机可读存储介质
WO2020235740A1 (ko) 이미지 기반 실내 측위 서비스 시스템 및 방법
WO2018169364A1 (ko) 긴급 호를 제공하는 전자 장치 및 방법, 그리고 이를 위한 서버
WO2019164326A1 (ko) 실시간 콘텐트 데이터를 공유하는 전자 장치
WO2019135543A1 (ko) 전자장치 및 그 제어방법
WO2020050432A1 (ko) 이동 단말기
WO2021251761A1 (ko) 아바타 로봇을 이용한 비대면 범용원격플랫폼 제공 시스템
CN106454194B (zh) 一种基于vr设备的视频方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18930240

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 09.07.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18930240

Country of ref document: EP

Kind code of ref document: A1