KR20240040168A - Method and System for Continuous and Steady Recognizing the Primary User - Google Patents

Method and System for Continuous and Steady Recognizing the Primary User Download PDF

Info

Publication number
KR20240040168A
KR20240040168A KR1020220118529A KR20220118529A KR20240040168A KR 20240040168 A KR20240040168 A KR 20240040168A KR 1020220118529 A KR1020220118529 A KR 1020220118529A KR 20220118529 A KR20220118529 A KR 20220118529A KR 20240040168 A KR20240040168 A KR 20240040168A
Authority
KR
South Korea
Prior art keywords
recognition
main user
user
learning
initial
Prior art date
Application number
KR1020220118529A
Other languages
Korean (ko)
Inventor
이상민
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020220118529A priority Critical patent/KR20240040168A/en
Publication of KR20240040168A publication Critical patent/KR20240040168A/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase

Abstract

주사용자를 연속적이고 꾸준하게 인식하는 방법 및 시스템이 제시된다. 본 발명에서 제안하는 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하는 방법은 특정 사용자가 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징에 관한 최초 학습을 수행하는 단계, 상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행하는 단계, 상기 최초 인식 시에 주사용자에 관한 부가적인 특징을 추출하여 2차 학습을 수행하는 단계 및 상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행하는 단계를 포함한다.A method and system for continuously and steadily recognizing main users is presented. The method proposed in the present invention for a device to continuously and steadily recognize the main user without a specific auxiliary device is to collect data to recognize whether the specific user is the main user when a specific user exists within the recognition range, and to determine the main user's characteristics. performing initial learning about the main user, performing initial recognition of the main user using the initial learning results, performing secondary learning by extracting additional features about the main user during the initial recognition, and It includes the step of continuously performing main user recognition according to the main user's movement speed using the secondary learning results.

Description

주사용자를 연속적이고 꾸준하게 인식하는 방법 및 시스템{Method and System for Continuous and Steady Recognizing the Primary User} {Method and System for Continuous and Steady Recognizing the Primary User}

본 발명은 특정한 보조기기 없이 기기(예를 들어, 이동체, 로봇)가 주사용자를 연속적이고 꾸준하게 인식하는 방법 및 시스템에 관한 것이다. The present invention relates to a method and system in which a device (e.g., a moving object, a robot) continuously and steadily recognizes the primary user without a specific auxiliary device.

인구의 고령화 또는 시대적 흐름에 따라 독거 가정의 수는 계속해서 증가하고 있다. 또한, 앞으로도 지속적으로 늘어날 것으로 예상된다. 이는 하나의 사회 문제로서 대두되고 있으며, 독거인들의 생활을 보조 및 지원하기 위한 하나의 해결 방안으로 함께 생활하는 로봇이 제시되었다. 독거인과 함께 생활하며 물리적 또는 정서적 지원과 같은 서비스를 제공하는 로봇을 만들기 위해서는 높은 신뢰도를 갖는 인지 기능이 반드시 필요하다. The number of families living alone continues to increase due to the aging of the population or the trends of the times. Additionally, it is expected to continue to increase in the future. This is emerging as a social problem, and robots that live together have been proposed as a solution to assist and support the lives of people living alone. In order to create a robot that lives with people living alone and provides services such as physical or emotional support, highly reliable cognitive functions are essential.

이러한 인지 기능을 바탕으로 로봇은 사람에게 사용자, 환경, 상황을 고려하여 가장 적합한 서비스를 제때에 제공하게 된다. 그 중, 행동 인식 기술은 사람의 현재 의도적, 무의식적 행동 및 상태를 인지하는 기술에 관한 것으로, 사람의 상태 및 의도를 파악하는 데에 단서로 사용될 수 있는 정보를 추출한다. 이를 기반으로 사용자의 의도나 상황에 맞는 적절한 서비스를 로봇이 제공할 수 있다. Based on these cognitive functions, the robot provides people with the most appropriate service at the right time, taking into account the user, environment, and situation. Among them, behavior recognition technology is about technology that recognizes a person's current intentional and unconscious behavior and state, and extracts information that can be used as a clue to identify a person's state and intention. Based on this, the robot can provide appropriate services tailored to the user's intention or situation.

이 때, 가정 내의 로봇이 사람에게 적절한 휴먼케어 서비스를 제공하기 위해서는 일반적인 대상에 대해서 높은 성능(범용성)도 요구되기는 하지만, 그보다는 주사용자(로봇의 주인), 그리고 주환경에 특화된 인식 능력이 요구된다. 이를 로봇의 적응력이라고 한다. 사람의 행동은 일반적인 경향성과 개인 고유의 특성을 모두 포함하고 있다. 이 중, 개인 고유의 특성은 직접 그 사람을 분석해야만 알 수 있다. 현장에서 직접 획득한 사용자의 고유 특성을 인식 기술에 반영해야, 개개인의 행위 의도를 보다 정확하게 파악할 수 있다. 또한, 사용자 개인에 적합한 대응, 또는 지원을 제공하는 것이 가능해진다. At this time, in order for a robot in the home to provide appropriate human care services to people, high performance (versatility) is required for general objects, but rather, recognition abilities specialized for the main user (the owner of the robot) and the surrounding environment are required. do. This is called the robot’s adaptability. Human behavior includes both general tendencies and individual characteristics. Among these, an individual's unique characteristics can only be known by analyzing the person directly. The user's unique characteristics acquired directly in the field must be reflected in the recognition technology to more accurately identify individual behavioral intentions. Additionally, it becomes possible to provide appropriate response or support to each user.

로봇 시스템의 행동 인식 기술에서 사용할 수 있는 데이터 중에서 가장 신뢰할 수 있는 데이터는 시각 기반 데이터이다. 행동 인식용 시각 기반 데이터는 크게 세 가지가 있다. 데이터 자체의 복잡성 순서로 나열해보면, RGB 데이터, 깊이 영상, Skeleton 데이터이다. RGB 데이터는 사람의 시야와 가장 비슷하고, 색을 기반으로 한 많은 정보를 포함하고 있다. 깊이 영상은 센서로부터 물체까지의 거리를 시각화한 데이터로, 물체의 경계를 구별할 때에 큰 역할을 하는 경우가 많다. 또한, Skeleton 데이터는 사람의 형체들 중 정해진 관절 지점들만을 찾아 연결한 형태의 데이터로 가장 단순하지만, 사람의 모션에 대한 정보로 자주 사용된다. Among the data available in behavioral recognition technology for robotic systems, the most reliable data is vision-based data. There are three main types of vision-based data for action recognition. In order of complexity of the data itself, it is RGB data, depth image, and skeleton data. RGB data is most similar to human vision and contains a lot of color-based information. Depth images are data that visualize the distance from the sensor to the object, and often play a large role in distinguishing the boundaries of objects. In addition, Skeleton data is the simplest form of data that finds and connects only designated joint points among the human figure, but is often used as information about human motion.

종래에는 이런 데이터들을 대량으로 수집한 후, 사람이 직접 분석해 행동을 구별해내는 특징을 찾아내는 방식, 또는 시스템이 대량의 데이터로부터 자동으로 특징을 찾아 구별하는 기계학습 방식을 사용한다. 그러나 행동을 구별하는데 사용되는 특징은 기 수집된 데이터에 크게 의존한다. 이 때, 데이터는 주로 일반적인 사람을 대상으로 대량으로 수집되므로 일반적인 특징은 추출해낼 수 있지만, 사용자 개인의 특징은 전혀 반영될 수 없다는 단점이 있다. 예를 들어, 다리를 절거나, 허리가 굽은 사람이 사용할 경우, 일반적인 특징과는 거리가 멀어 인식 성능이 크게 떨어질 여지가 있다. 이와 같은 사용자 개인의 특징은 개개인에 따라서 크게 다르며, 또한 사용자 개인의 데이터를 대량으로 수집하는 것 역시 매우 어렵다. 따라서, 데이터에 기반하지만, 개개인의 특징에 맞게 적응할 수 있는 로봇 시스템의 고안이 요구된다. 즉, 로봇은 주사용자의 특징을 학습하여 주사용자의 의도에 대한 상호작용의 완성도를 높이고 주사용자의 니즈에 맞는 반응을 보임으로써 주사용자에게 만족도가 높은 맞춤형 상호작용을 하는 것이 필요하다.Conventionally, after collecting a large amount of such data, a person directly analyzes it to find characteristics that distinguish behavior, or a machine learning method is used in which the system automatically finds and distinguishes characteristics from large amounts of data. However, the characteristics used to distinguish behavior are highly dependent on the data already collected. At this time, since the data is collected in large quantities mainly from general people, general characteristics can be extracted, but there is a disadvantage that the user's individual characteristics cannot be reflected at all. For example, if a person with a limp or a bent back uses it, recognition performance may be greatly reduced because the features are far from normal. These characteristics of individual users vary greatly from person to person, and it is also very difficult to collect large amounts of individual user data. Therefore, there is a need to design a robot system that is data-based but can adapt to individual characteristics. In other words, it is necessary for the robot to learn the main user's characteristics to improve the completeness of the interaction in response to the main user's intentions and to provide customized interactions with high satisfaction to the main user by responding to the main user's needs.

한국 등록특허 제10-2022318호 (2019.09.10)Korean Patent No. 10-2022318 (2019.09.10)

본 발명이 이루고자 하는 기술적 과제는 가정에서 사용하거나 같은 소수의 사람들이 존재하는 경우, 로봇 등과 같은 기기가 주사용자의 1차특징(얼굴, 음성) 인식을 바탕으로 주사용자를 인식하고, 이후 주사용자의 2차특징(입었던 옷, 머리카락 스타일, 가방, 악세서리, 몸짓, 손짓 등)을 인식 파라미터로 학습하여 주사용자와 매칭시킴으로써 소수의 주변인 속에서 주사용자를 연속적이고 꾸준하게 인식하는 방법 및 시스템을 제공하는데 있다. The technical problem to be achieved by the present invention is that when used at home or when a small number of people are present, a device such as a robot recognizes the main user based on recognition of the main user's primary characteristics (face, voice), and then recognizes the main user. It provides a method and system that continuously and steadily recognizes the main user among a small number of people by learning the secondary characteristics (clothes worn, hair style, bag, accessories, gestures, hand gestures, etc.) as recognition parameters and matching them with the main user. there is.

기기가 동작하는 기능은 3가지 수준을 기반으로 동작을 하게 된다. 3가지 수준은 '가인식'수준, '참인식'수준, '절대인식'수준으로 나뉜다. 주사용자를 인식하는 수준을 2차특징을 바탕으로 인식한 수준을 '가인식'수준으로 정의하고, 1차특징을 바탕으로 인식한 수준을 '참인식'수준으로 정의하고, 명령어코드에 의해 동작하는 수준을 '절대인식'수준으로 정의한다. The functions of the device operate based on three levels. The three levels are divided into ‘provisional recognition’ level, ‘true recognition’ level, and ‘absolute recognition’ level. The level of recognition of the main user based on secondary characteristics is defined as the 'provisional recognition' level, and the level of recognition based on primary characteristics is defined as the 'true recognition' level, and is operated by command code. The level of recognition is defined as the ‘absolute recognition’ level.

기기는 각 인식수준에서 동작하는 기능들이 별도로 정해져 있다. '가인식'수준에서, 기기는 주사용자와 여러가지 서비스적인 형태의 상호작용이 가능하다. 예를 들어 "이리와"같은 음성인식을 통한 반응, 쓰다듬기 같은 접촉센서를 자극하는 것에 대한 반응 등 여러가지 자극에 대한 반응과 지속적인 얼굴인식, 음성인식, 2차특징 인식 같은 인식학습 기능이 가능하다. '참인식'수준에서, 기기는 '가인식'수준의 모든 반응을 수행하며, 이에 덧붙여서 주사용자의 기기에 대한 셧다운 명령, 모드변환 명령 수행이 가능하다. 셧다운은 기기의 동작을 중지시키는 명령이고, 모드 변환 명령은 기기의 동작모드를 변경하는 명령이다. 기기는 범용모드, 주간모드, 야간모드, 생활지원모드, 보안모드, 훈련모드, 충전모드 등과 같이 특수하게 지정된 동작을 수행하는 모드를 가진다. 기기는 각각의 모드에서는 모드에 따라 미리 정해진 기능들을 수행한다. 모드 변환은 변환 명령에 의해 수동으로 변환될 수 있으며, 미리 정해진 규칙에 따라 모드변환이 되기도 한다. 예를 들면 하루 중에서 일정시간대에는 주간모드, 또 다른 시간대에서는 야간모드로 동작한다. 또한 주간모드이면서 보안모드로도 동작하고, 주간모드이면서 훈련모드로 동작하는 등 모드가 중첩되어 동작할 수도 있다. 모드에 따라 동작하는 것을 규정하는 이유는 기기가 시간에 따라, 훈련필요 여부에 따라, 보안기능필요에 따라 등과 같이 여러가지 환경에 따라 특화된 기능을 수행함으로써 신뢰성 높은 동작을 함으로써 주사용자의 만족도를 높이기 위함이다. '절대인식' 수준에서, 기기는 '참인식'수준의 모든 기능을 수행하며, 이에 덧붙여 기기의 초기화, 기기의 펌웨어 업그레이드 등과 같이 동작에 가장 기초적이고 치명적인 기능이 가능하다. '절대인식' 수준으로 진입하기 위해서는 기기는 미리 정해진 명령어코드가 데이터통신 혹은 음성인식을 통하여 입력되고 인식되어야 한다.The device has separate functions that operate at each recognition level. At the 'perception' level, the device is capable of interacting with the primary user in various service-like forms. For example, responses to various stimuli such as responses through voice recognition such as "come here", responses to stimulating touch sensors such as stroking, and recognition learning functions such as continuous face recognition, voice recognition, and secondary feature recognition are possible. . At the 'true recognition' level, the device performs all reactions at the 'provisional recognition' level, and in addition, it is possible to execute shutdown commands and mode conversion commands for the main user's device. A shutdown is a command that stops the operation of a device, and a mode conversion command is a command that changes the operating mode of a device. The device has modes that perform specially designated operations, such as general purpose mode, day mode, night mode, life support mode, security mode, training mode, charging mode, etc. In each mode, the device performs predetermined functions depending on the mode. Mode conversion can be done manually by a conversion command, and mode conversion can also be done according to predetermined rules. For example, it operates in day mode during certain times of the day and in night mode during other times of the day. In addition, the modes may overlap, such as operating in day mode and security mode, and operating in day mode and training mode. The reason for specifying operation according to the mode is to increase the satisfaction of the main user by enabling the device to operate with high reliability by performing specialized functions according to various environments such as time, training need, security function need, etc. am. At the 'absolute recognition' level, the device performs all functions at the 'true recognition' level, and in addition, the most basic and critical functions for operation, such as device initialization and device firmware upgrade, are possible. In order to enter the 'absolute recognition' level, the device must input and recognize a predetermined command code through data communication or voice recognition.

일 측면에 있어서, 본 발명에서 제안하는 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하는 방법은 특정 사용자가 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징(1차특징)에 관한 최초 학습을 수행하는 단계, 상기 최초 학습 결과를 이용하여 주사용자에 대한 '최초 인식'을 수행하는 단계, 상기 '최초 인식' 시에 주사용자에 관한 부가적인 특징(2차특징)을 추출하여 2차 학습을 수행하는 단계 및 상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행하는 단계를 포함한다. In one aspect, the method in which a device continuously and steadily recognizes the main user without a specific auxiliary device proposed in the present invention collects data to recognize whether the specific user is the main user when a specific user exists within the recognition range. A step of performing initial learning about the main user's characteristics (primary characteristics), a step of performing 'initial recognition' of the main user using the initial learning result, and addition of the main user during the 'initial recognition' It includes extracting primary features (secondary features) and performing secondary learning, and continuously performing primary user recognition according to the primary user's movement speed using the secondary learning results.

본 발명의 실시예에 따르면, 주사용자가 인식 범위 내에 존재하는지 판단하고, 상기 주사용자가 인식 범위 내에 존재하지 않을 경우, 주사용자의 부재로 인해 주사용자 인식이 일정 기간 동안 단절된 후 다시 주사용자 등장할 경우 다시 상기 주사용자에 대한 '최초 인식'을 수행하는 단계부터 반복할 수 있다. 혹은 학습되고 매칭된 2차특징을 통해 주사용자에 대한 '가인식'을 수행할 수 있다. '가인식' 수준에서 지속적인 학습을 통해 '얼굴인식' 혹은 '음성인식'이 수행되어 주사용자임을 재확인하게 되면 기기는 '참인식'수준으로 변환된다.According to an embodiment of the present invention, it is determined whether the main user exists within the recognition range, and if the main user does not exist within the recognition range, main user recognition is interrupted for a certain period of time due to the absence of the main user, and then the main user appears again. In this case, the step of performing 'initial recognition' for the main user can be repeated. Alternatively, 'provisional recognition' of the primary user can be performed through learned and matched secondary features. When 'face recognition' or 'voice recognition' is performed through continuous learning at the 'provisional recognition' level and the main user is reconfirmed, the device is converted to the 'true recognition' level.

상기 특정 사용자가 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징에 관한 최초 학습을 수행하는 단계는 특정 사용자에 대한 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 위한 학습을 수행하고, 주사용자가 미리 정해 놓은 명령어 및 명령어코드를 인식하는 상기 명령어인식 및 명령어코드인식을 '절대인식'으로 분류하여 학습하고, 상기 얼굴인식 및 음성인식을 '참인식'으로 분류하여 학습한다. When the specific user exists within the recognition range, the step of collecting data to recognize whether the specific user is the main user and performing initial learning on the main user characteristics includes facial recognition, voice recognition, and command recognition for the specific user. , learning for command code recognition is performed, the command recognition and command code recognition, which recognizes commands and command codes predetermined by the main user, are classified and learned as 'absolute recognition', and the face recognition and voice recognition are ' Learn by classifying it as ‘true recognition’.

상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행하는 단계는 상기 최초 학습 결과에 따라 분류된 '절대인식' 및 '참인식'을 이용하여 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 수행하는 최초 인식을 통해 상기 특정 사용자가 주사용자라는 것을 인식한다. The step of performing the initial recognition of the main user using the initial learning results includes face recognition, voice recognition, command recognition, and command code recognition using 'absolute recognition' and 'true recognition' classified according to the initial learning results. It is recognized that the specific user is the main user through initial recognition.

상기 최초 인식 시에 주사용자에 관한 부가적인 특징을 추출하여 2차 학습을 수행하는 단계는 주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 지니고 있는 가방 등을 포함하는 주사용자에 관한 부가적인 특징(2차특징)을 추출하고, 상기 부가적인 특징을 인식하는 것을 '가인식'으로 분류하여 2차 학습을 수행한다. The step of performing secondary learning by extracting additional features about the main user during the initial recognition includes the main user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and carrying. Additional features (secondary features) about the main user, including the bag present, are extracted, and recognition of the additional features is classified as 'provisional recognition' to perform secondary learning.

상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행하는 단계는 상기 2차 학습 결과에 따라 분류된 가인식을 이용하여 주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 지니고 있는 가방 등을 포함하는 주사용자에 관한 부가적인 특징 인식을 수행하고, 이후, 연속적으로 주사용자 인식을 수행하여 주사용자의 얼굴 또는 음성이 인식되면 '참인식' 수준으로 전환되고, 주사용자가 미리 정해 놓은 명령어 및 명령어코드가 인식되면 '절대인식' 수준으로 전환된다. The step of continuously performing main user recognition according to the main user's movement speed using the secondary learning results includes the primary user's clothing, hair color, hairstyle, Recognition of additional characteristics of the main user, including hand gestures, gestures, gait, physical characteristics, accessories worn, bags carried, etc., is then continuously performed to recognize the main user's face or voice. When this is recognized, it switches to the 'true recognition' level, and when the command and command code predetermined by the main user is recognized, it switches to the 'absolute recognition' level.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템은 특정 사용자가 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징에 관한 최초 학습을 수행하고, 인식부를 통한 최초 인식 시에 주사용자에 관한 부가적인 특징을 추출하여 2차 학습을 수행하는 학습부 및 상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행하고, 상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행하는 인식부를 포함한다. In another aspect, the system for continuously and steadily recognizing the main user without a specific auxiliary device proposed in the present invention is for recognizing whether the specific user is the main user when a specific user exists within the recognition range. A learning unit that collects data and performs initial learning on the main user's characteristics, extracts additional characteristics about the main user during initial recognition through the recognition unit and performs secondary learning, and uses the initial learning results to identify the main user It includes a recognition unit that performs initial recognition and continuously performs main user recognition according to the main user's movement speed using the secondary learning results.

본 발명의 실시예들에 따른 주사용자를 연속적이고 꾸준하게 인식하는 방법 및 시스템을 통해 가정에서 사용하거나 같은 소수의 사람들이 존재하는 경우, 얼굴인식, 음성인식을 바탕으로 주사용자를 인식하고, 이후 주사용자의 입었던 옷, 머리카락 스타일, 가방, 악세서리, 몸짓, 손짓 등을 인식 파라미터로 학습하여 주사용자와 매칭시킴으로써 소수의 주변인 속에서 주사용자를 연속적이고 꾸준하게 인식할 수 있다. Through the method and system for continuously and steadily recognizing the main user according to embodiments of the present invention, when used at home or when a small number of people exist, the main user is recognized based on face recognition and voice recognition, and thereafter the main user is recognized. By learning the user's clothes, hair style, bag, accessories, gestures, hand gestures, etc. as recognition parameters and matching them with the main user, the main user can be continuously and steadily recognized among a small number of people around.

기기는 주사용자에 대한 인식수준을 '가인식', '참인식', '절대인식'과 같은 수준으로 구분하여 각 수준에 따라 미리 한정된 기능을 수행한다.The device divides the recognition level of the primary user into levels such as 'provisional recognition', 'true recognition', and 'absolute recognition' and performs pre-defined functions according to each level.

도 1은 본 발명의 일 실시예에 따른 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하는 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 주사용자를 연속적이고 꾸준하게 인식하는 과정을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템의 구성을 나타내는 도면이다.Figure 1 is a flowchart illustrating a method for a device to continuously and steadily recognize a primary user without a specific auxiliary device according to an embodiment of the present invention.
Figure 2 is an exemplary diagram illustrating a process of continuously and steadily recognizing a primary user according to an embodiment of the present invention.
Figure 3 is a diagram showing the configuration of a system for a device to continuously and steadily recognize the main user without a specific auxiliary device according to an embodiment of the present invention.

종래기술에서의 얼굴인식은 기기(예를 들어, 이동체, 로봇)가 사용자의 얼굴을 볼 때만 얼굴인식을 수행한다. 또한, 종래기술에서의 음성인식은 기기가 사용자의 음성이 있을 때만 음성인식을 수행한다. 다시 말해, 연속적이지 않다. In the prior art, face recognition is performed only when a device (e.g., moving object, robot) sees the user's face. Additionally, voice recognition in the prior art only performs voice recognition when the device hears the user's voice. In other words, it is not continuous.

종래기술에서의 연속적인 얼굴인식 또는 음성인식의 경우, 얼굴인식을 한 후 해당 사용자에 대한 연속적인 인식(다시 말해, 추적)을 수행한다. 시간적 단절이 있고 난 후, 다시 인식을 하려면 얼굴인식 또는 음성인식이 먼저 되어야 연속적인 인식이 가능하다.In the case of continuous face recognition or voice recognition in the prior art, continuous recognition (in other words, tracking) of the user is performed after face recognition. After a temporal disconnection, continuous recognition is possible only when face recognition or voice recognition is performed again.

따라서 본 발명에서는 가정에서 사용하거나 같은 소수의 사람들이 존재하는 경우, 특정인 인식을 위한 1차특징인식이라 할 수 있는 얼굴인식, 음성인식을 바탕으로 주사용자를 인식하고, 이후 주사용자의 2차특징이라고 할 수 있는 주사용자의 입었던 옷, 머리카락 스타일, 가방, 악세서리, 몸짓, 손짓 등을 인식 파라미터로 학습하여 주사용자와 매칭시킴으로써 소수의 주변인 속에서 주사용자를 연속적이고 꾸준하게 인식하고자 한다. Therefore, in the present invention, when used at home or when there are a small number of people, the main user is recognized based on face recognition and voice recognition, which can be considered primary feature recognition for specific person recognition, and then the main user's secondary features are used. By learning the clothes worn by the main user, hair style, bag, accessories, gestures, hand gestures, etc. as recognition parameters and matching them with the main user, we aim to continuously and steadily recognize the main user among a small number of people around him.

본 발명의 실시예에 따르면, 기기가 인식하는 사용자들이 소수일 경우, 소수의 인원 중에서 주사용자와 같은 특정 사용자의 경우, 1년 기간을 볼 때 자주 입는 옷, 가방, 악세서리 등이 한정되어 있으므로, 얼굴인식 없이 그 옷(또는 가방, 악세서리)을 인식하면 같은 사람일 가능성이 매우 높다. 만약 약간의 에러가 발생하더라도 옷(또는 가방, 악세서리)을 통해 특정 사용자를 주사용자로 인식하고 연속 추적을 수행하면서 기회가 될 때 음성인식, 얼굴인식을 통해 주사용자로 확정 지을 수 있다. 본 발명에서는 인식의 수준을 가인식, 참인식, 절대인식의 3단계로 분류하여 수행한다. 기기가 인식을 수행한 결과인 3단계의 결과에 따라 주사용자와 상호작용하는 기능이 미리 정해진 바와 같이 제한을 가짐으로써 주사용자의 의지에 더 적합하고, 해킹 사전 방지 등 더 안정적인 상태가 된다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다. According to an embodiment of the present invention, when there are a small number of users recognized by the device, in the case of a specific user such as a main user among the small number of people, the clothes, bags, accessories, etc. that are frequently worn over a one-year period are limited, If you recognize the clothes (or bag, or accessory) without face recognition, there is a very high chance that it is the same person. Even if a slight error occurs, a specific user can be recognized as the primary user through clothes (or bags, or accessories), continuous tracking is performed, and when the opportunity arises, the user can be confirmed as the primary user through voice recognition and face recognition. In the present invention, the level of recognition is classified into three levels: provisional recognition, true recognition, and absolute recognition. According to the results of step 3, which is the result of the device's recognition, the functions that interact with the main user are limited as predetermined, making it more suitable for the will of the main user and becoming more stable, such as preventing hacking in advance. Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 따른 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하는 방법을 설명하기 위한 흐름도이다. Figure 1 is a flowchart illustrating a method for a device to continuously and steadily recognize a primary user without a specific auxiliary device according to an embodiment of the present invention.

제안하는 주사용자를 연속적이고 꾸준하게 인식하는 방법은 특정 사용자가 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징(1차특징)에 관한 최초 학습을 수행하는 단계(110), 상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행하는 단계(120), 상기 최초 인식 시에 주사용자에 관한 부가적인 특징(2차특징)을 추출하여 2차 학습을 수행하는 단계(130), 상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행하는 단계(140)를 포함한다. The proposed method for continuously and steadily recognizing the main user is to collect data to recognize whether a specific user is the main user when a specific user exists within the recognition range, and to initially learn about the main user characteristics (primary characteristics). Performing step 110, performing initial recognition of the main user using the initial learning result (120), extracting additional features (secondary features) about the main user during the initial recognition It includes a step of performing learning (130) and a step of continuously performing main user recognition according to the movement speed of the main user using the secondary learning result (140).

단계(110)에서, 특정 사용자가 기기(예를 들어, 이동체, 로봇)의 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징에 관한 최초 학습을 수행한다. In step 110, when a specific user exists within the recognition range of a device (e.g., a moving object, a robot), data to recognize whether the specific user is the main user is collected and initial learning about the main user characteristics is performed. Perform.

본 발명의 실시예에 따르면, 특정 사용자에 대한 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 위한 학습을 수행한다. According to an embodiment of the present invention, learning is performed for face recognition, voice recognition, command recognition, and command code recognition for a specific user.

주사용자가 미리 정해 놓은 명령어 및 명령어코드를 인식하는 상기 명령어인식 및 명령어코드인식을 절대인식으로 분류하여 학습한다. The command recognition and command code recognition, which recognizes commands and command codes predetermined by the main user, are classified and learned as absolute recognition.

이러한 명령어인식 및 명령어코드인식의 절대인식은 음성인식의 참인식보다 상위적 권한(다시 말해, 중요도)을 가질 수 있다. Absolute recognition of such command recognition and command code recognition may have higher authority (in other words, importance) than true recognition of voice recognition.

단계(120)에서, 상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행한다. In step 120, initial recognition of the main user is performed using the initial learning result.

본 발명의 실시예에 따르면, 상기 최초 학습 결과에 따라 분류된 절대인식 및 참인식을 이용하여 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 수행하는 최초 인식을 통해 상기 특정 사용자가 주사용자라는 것을 인식한다. According to an embodiment of the present invention, the specific user is identified as the main user through initial recognition by performing face recognition, voice recognition, command recognition, and command code recognition using absolute recognition and true recognition classified according to the initial learning result. recognize that

명령어인식 및 명령어코드인식의 절대인식의 경우, 인식되는 순간의 특정 사용자의 얼굴 또는 음성을 주사용자의 얼굴, 음성으로 간주한다. In the case of absolute recognition of command recognition and command code recognition, the face or voice of a specific user at the moment of recognition is regarded as the face or voice of the main user.

단계(130)에서, 상기 최초 인식 시에 주사용자에 관한 부가적인 특징(2차특징)을 추출하여 2차 학습을 수행한다. In step 130, upon initial recognition, additional features (secondary features) about the primary user are extracted and secondary learning is performed.

본 발명의 실시예에 따르면, 주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 지니고 있는 가방 등을 포함하는 주사용자에 관한 부가적인 특징(2차특징)을 추출하고, 상기 부가적인 특징(2차특징)을 인식하는 것을 가인식으로 분류하여 2차 학습을 수행한다. According to an embodiment of the present invention, additional characteristics about the main user, including the main user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and bag carried (2) Secondary features) are extracted, and secondary learning is performed by classifying recognition of the additional features (secondary features) as provisional recognition.

단계(140)에서, 상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행한다. In step 140, main user recognition is continuously performed according to the main user's movement speed using the secondary learning result.

본 발명의 실시예에 따르면, 상기 2차 학습 결과에 따라 분류된 가인식을 이용하여 주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 지니고 있는 가방 등을 포함하는 주사용자에 관한 부가적인 특징 인식을 수행한다. According to an embodiment of the present invention, the primary user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and items of clothing are identified using cognitive recognition classified according to the secondary learning results. Perform additional feature recognition about the main user, including bags, etc.

부가적인 특징(2차특징)이 존재하는 판단하여(141), 부가적인 특징(2차특징)이 존재하는 경우, 2차특징을 추출하여 지속적인 2차학습을 수행한다. 반면에, 부가적인 특징(2차특징)이 존재하지 않는 경우, 주사용자가 인식 범위 내에 존재하는지 판단한다. It is determined that additional features (secondary features) exist (141), and if additional features (secondary features) exist, the secondary features are extracted and continuous secondary learning is performed. On the other hand, if there are no additional features (secondary features), it is determined whether the main user exists within the recognition range.

이후, 연속적으로 주사용자 인식을 수행하여 주사용자의 얼굴 또는 음성이 인식되면 참인식을 수행하고, 주사용자가 미리 정해 놓은 명령어 및 명령어코드가 인식되는 절대인식을 수행할 수 있다. Thereafter, main user recognition is continuously performed, and true recognition is performed when the main user's face or voice is recognized, and absolute recognition is performed in which commands and command codes predetermined by the main user are recognized.

상기 연속적으로 주사용자 인식을 수행하는 단계는 얼굴인식, 음성인식, 명령어인식, 명령어코드인식이 우선(다시 말해, 필수)될 필요 없이 옷차림, 머리색깔 등 주사용자에 관한 부가적인 특징 중 적어도 하나라도 확인이 되면 해당 특정 사용자를 주사용자로 인식한다. 다만, 얼굴인식, 음성인식을 통한 인식은 참인식으로, 그 외 다른 것으로 인식한 경우는 가인식으로 분류한다. 가인식의 경우, 연속 인식하는 동안 기회가 되어 얼굴인식, 음성인식이 가능하게 되면 참인식으로 인식단계를 상향한다. 또는 명령어인식 또는 명령어코드인식을 통해 절대인식으로 인식단계가 상향될 수도 있다. In the step of continuously performing main user recognition, facial recognition, voice recognition, command recognition, and command code recognition do not need to be prioritized (in other words, required), and at least one of the additional characteristics of the main user, such as clothing and hair color, is selected. Once confirmed, the specific user is recognized as the primary user. However, recognition through face recognition or voice recognition is classified as true recognition, and recognition through other methods is classified as provisional recognition. In the case of provisional recognition, if face recognition or voice recognition becomes possible during continuous recognition, the recognition level is upgraded to true recognition. Alternatively, the recognition level may be upgraded to absolute recognition through command recognition or command code recognition.

이후, 단계(150)에서 주사용자가 기기(예를 들어, 이동체, 로봇)의 인식 범위 내에 존재하는지 판단할 수 있다. Thereafter, in step 150, it may be determined whether the main user exists within the recognition range of the device (eg, moving object, robot).

주사용자가 인식 범위 내에 존재하는 경우 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행할 수 있다. If the main user is within the recognition range, main user recognition can be performed continuously according to the main user's movement speed.

반면에, 주사용자가 인식 범위 내에 존재하지 않는 경우 주사용자의 부재로 인해 주사용자 인식이 일정 기간 동안 단절된 후 재등장할 경우(160), 단계(161)에서 다시 주사용자 기기(예를 들어, 이동체, 로봇)의 인식 범위 내에 존재하는지 판단할 수 있다. On the other hand, if the main user does not exist within the recognition range and the main user recognition is interrupted for a certain period of time due to the absence of the main user and then reappears (160), the main user device (e.g., It is possible to determine whether a moving object (or robot) exists within the recognition range.

또는 학습되고 매칭된 2차특징을 통해 주사용자에 대한 가인식을 수행할 수 있다. 가인식 수준에서 지속적인 학습을 통해 얼굴인식 또는 음성인식이 수행되어 주사용자임을 재확인하게 되면 기기는 참인식 수준으로 변환된다. Alternatively, provisional recognition of the primary user can be performed through learned and matched secondary features. When face recognition or voice recognition is performed through continuous learning at the provisional recognition level and the main user is reconfirmed, the device is converted to the true recognition level.

주사용자가 등장할 경우 다시 상기 주사용자에 대한 최초 인식을 수행하는 단계(120)부터 반복 수행할 수 있다. 단계(120)에서 기기와 사전에 커플링된 별도의 기기(예를 들어, 블루투수, 전자파발생기 등)를 가지고 있는 특정 사용자(사람, 물체)를 주사용자로 인식하고 절대인식을 수행할 수 있다. 이후 절대인식된 주사용자에 대하여 단계(130)부터 반복 수행할 수 있다. When the main user appears, the process can be repeated from step 120 of performing the initial recognition of the main user again. In step 120, a specific user (person, object) who has a separate device (e.g., blue pitcher, electromagnetic wave generator, etc.) previously coupled to the device is recognized as the main user and absolute recognition can be performed. . Afterwards, the process can be repeated starting from step 130 for the absolutely recognized main user.

도 2는 본 발명의 일 실시예에 따른 주사용자를 연속적이고 꾸준하게 인식하는 과정을 설명하기 위한 예시도이다. Figure 2 is an exemplary diagram illustrating a process of continuously and steadily recognizing a primary user according to an embodiment of the present invention.

도 2는 특정 사용자를 연속적이고 지속적으로 따라다니는 로봇 등에 제안하는 인식 방법을 적용하여 주사용자를 연속적이고 꾸준하게 인식하는 과정을 설명하기 위한 예시이다. Figure 2 is an example to explain the process of continuously and steadily recognizing the main user by applying the proposed recognition method to a robot that continuously and continuously follows a specific user.

종래기술에서는 주사용자 인식을 위하여 주사용자의 얼굴이나 음성 데이터가 기기에 입력되어야 기기는 미리 학습된 주사용자로 인식한다. 만약 주사용자가 얼굴을 보여주지 않거나 발성을 하지 않으면 인식이 되지 않는다. 주사용자가 이동을 하거나 돌아서거나 말을 안하고 있는 경우에 사용자 인식을 못하거나 인식 가능성이 매우 낮다. 또한 시간이 지난 후, 다음 기회에도 최초에 얼굴인식 혹은 음성인식이 되지 않으면 옷차림, 뒷모습 등으로 특정 사용자를 인식하지 못한다.In the prior art, in order to recognize the main user, the main user's face or voice data must be input to the device so that the device recognizes the main user as a previously learned main user. If the primary user does not show his face or make a sound, it is not recognized. If the main user moves, turns, or does not speak, the user may not be recognized or the possibility of recognition is very low. Additionally, if face recognition or voice recognition does not occur at the first opportunity after some time has passed, a specific user cannot be recognized based on clothing, back view, etc.

따라서, 본 발명에서는 가정에서 사용하거나 같은 소수의 사람들이 존재하는 경우, 기기가 특정 사용자의 얼굴인식, 음성인식을 바탕으로 주사용자를 인식하게 되면 그 때 입었던 옷, 머리카락 스타일, 가방, 악세서리, 몸짓, 손짓 등을 인식 파라미터로 학습하여 주사용자와 매칭시킨다. 이와 같이 제안하는 방법은 소수의 주변인 속에서 주사용자를 인식하기 위한 기술로 활용 가능하다. Therefore, in the present invention, when used at home or when a small number of people are present, when the device recognizes the main user based on face recognition and voice recognition of a specific user, the clothes, hair style, bag, accessories, and gestures worn at the time are recorded. , hand gestures, etc. are learned as recognition parameters and matched with the main user. This proposed method can be used as a technology to recognize main users among a small number of people around them.

도 2(a)와 같이, 기기(220)가 얼굴인식(211), 음성인식 혹은 특정 명령어(214)를 통하여 주사용자(210)를 인식하게 되면, 현재의 주사용자가 지니고 있는 특징들 예를 들어 머리스타일(213), 옷(212) 등을 빠르게 신규 학습하여 얼굴인식 또는 음성인식 없이도 신규 학습한 특징들만으로 주사용자를 연속적으로 인식하는 할 수 있다. 이 정보들을 가지고 현재 주사용자에 대한 정보량을 늘려서 향후 주사용자에 대한 인식율을 높임으로서 시간적인 단절이 있는 환경에서도 주사용자에 대한 지속적이고 연속적인 인식율을 높일 수 있다. As shown in FIG. 2(a), when the device 220 recognizes the main user 210 through face recognition 211, voice recognition, or a specific command 214, it lists examples of characteristics possessed by the current main user. For example, by rapidly learning new hairstyles (213), clothes (212), etc., the main user can be continuously recognized using only newly learned features without facial recognition or voice recognition. By using this information to increase the amount of information about the current main user and increase the recognition rate for future main users, it is possible to increase the continuous and continuous recognition rate for main users even in an environment where there is a temporal gap.

도 2(b)와 같이, 주사용자(210)를 장기간 볼 때 주사용자가 자주 입는 옷(215), 가방, 악세서리 등이 한정되어 있으므로, 얼굴인식 없이 자주 입는 옷(215)을 인식하면 같은 사람일 가능성이 매우 높다. 만약 약간의 에러가 발생하더라도 자주 입는 옷(215)을 통해 특정 사용자를 주사용자로 인식하고 연속 추적을 수행하면서 기회가 될 때 음성인식, 얼굴인식을 통해 주사용자로 확정 지을 수 있다. As shown in Figure 2(b), when looking at the main user 210 for a long period of time, the clothes 215, bags, accessories, etc. frequently worn by the main user are limited, so if the clothes 215 frequently worn without face recognition are recognized, the same person can be identified. It is very likely. Even if a slight error occurs, a specific user can be recognized as the main user through frequently worn clothes 215, continuous tracking is performed, and when the opportunity arises, the user can be confirmed as the main user through voice recognition and face recognition.

또한, 기기(220)와 사전에 커플링된 또 다른 기기(예를 들어, 블루투스 기기 등)를 가지고 있는 경우, 해당 기기를 가진 사용자 또는 해당 기기를 주사용자로 인식할 수도 있다. 즉, 주사용자는 사람이기도 하고 다른 기기일 수도 있다. 이때 기존 사용자는 과거사용자로 구분되고, 현재 커플링기기를 가진 사용자가 주사용자가 될 수 있디. 주사용자가 변경될 경우 기기(220)는 변경된 주사용자에 대한 학습을 계속 진행한다. Additionally, if there is another device (for example, a Bluetooth device, etc.) previously coupled to the device 220, the user with the device or the device may be recognized as the main user. In other words, the primary user can be a person or another device. At this time, existing users are classified as past users, and users with current coupling devices can become primary users. If the main user changes, the device 220 continues learning about the changed main user.

도 3은 본 발명의 일 실시예에 따른 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템의 구성을 나타내는 도면이다.Figure 3 is a diagram showing the configuration of a system for a device to continuously and steadily recognize the main user without a specific auxiliary device according to an embodiment of the present invention.

본 실시예에 따른 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)은 프로세서(310), 버스(320), 네트워크 인터페이스(330), 메모리(340) 및 데이터베이스(350)를 포함할 수 있다. 메모리(340)는 운영체제(341) 및 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하기 위한 루틴(342)을 포함할 수 있다. 프로세서(310)는 학습부(311) 및 인식부(312)를 포함할 수 있다. 다른 실시예들에서 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)은 도 8의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.The system 300 for continuously and steadily recognizing the main user according to this embodiment may include a processor 310, a bus 320, a network interface 330, a memory 340, and a database 350. The memory 340 may include an operating system 341 and a routine 342 for the device to continuously and steadily recognize the main user without a specific auxiliary device. The processor 310 may include a learning unit 311 and a recognition unit 312. In other embodiments, the system 300 for continuously and steadily recognizing a primary user may include more components than those of FIG. 8 . However, there is no need to clearly show most prior art components. For example, the system 300 for continuously and steadily recognizing the primary user may include other components such as a display or transceiver.

메모리(340)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(340)에는 운영체제(341)와 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식하기 위한 루틴(342)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(340)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(330)를 통해 메모리(340)에 로딩될 수도 있다. The memory 340 is a computer-readable recording medium and may include a non-permanent mass storage device such as random access memory (RAM), read only memory (ROM), and a disk drive. Additionally, the memory 340 may store an operating system 341 and a program code for a routine 342 that allows the device to continuously and steadily recognize the main user without a specific auxiliary device. These software components may be loaded from a computer-readable recording medium separate from the memory 340 using a drive mechanism (not shown). Such separate computer-readable recording media may include computer-readable recording media (not shown) such as floppy drives, disks, tapes, DVD/CD-ROM drives, and memory cards. In another embodiment, software components may be loaded into the memory 340 through the network interface 330 rather than a computer-readable recording medium.

버스(320)는 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(320)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.The bus 320 may enable communication and data transmission between components of the system 300 for continuous and steady recognition of the main user. Bus 320 may be configured using a high-speed serial bus, parallel bus, storage area network (SAN), and/or other suitable communication technology.

네트워크 인터페이스(330)는 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(330)는 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.The network interface 330 may be a computer hardware component for connecting the system 300 for continuous and steady recognition of the main user to a computer network. The network interface 330 can connect the system 300 for continuous and steady recognition of the main user to a computer network through a wireless or wired connection.

데이터베이스(350)는 특정한 보조기기 없이 기기가 주사용자를 연속적이고 꾸준하게 인식을 위해 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 1에서는 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)의 내부에 데이터베이스(350)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.The database 350 can serve to store and maintain all information necessary for the device to continuously and steadily recognize the main user without a specific auxiliary device. In Figure 1, it is shown that a database 350 is built and included inside the system 300 for continuously and steadily recognizing the main user, but it is not limited to this and may be omitted depending on the system implementation method or environment, etc. It is also possible for all or part of the database to exist as an external database built on another, separate system.

프로세서(310)는 기본적인 산술, 로직 및 주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(340) 또는 네트워크 인터페이스(330)에 의해, 그리고 버스(320)를 통해 프로세서(310)로 제공될 수 있다. 프로세서(310)는 학습부(311) 및 인식부(312)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(340)와 같은 기록 장치에 저장될 수 있다.The processor 310 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations of the system 300 for continuously and steadily recognizing the main user. Commands may be provided to processor 310 by memory 340 or network interface 330 and via bus 320. The processor 310 may be configured to execute program codes for the learning unit 311 and the recognition unit 312. These program codes may be stored in a recording device such as memory 340.

학습부(311) 및 인식부(312)는 도 1의 단계들(110~160)을 수행하기 위해 구성될 수 있다.The learning unit 311 and the recognition unit 312 may be configured to perform steps 110 to 160 of FIG. 1 .

주사용자를 연속적이고 꾸준하게 인식하기 위한 시스템(300)은 학습부(311) 및 인식부(312)를 포함할 수 있다.The system 300 for continuously and steadily recognizing the main user may include a learning unit 311 and a recognition unit 312.

본 발명의 실시예에 따른 학습부(311)는 특정 사용자가 기기(예를 들어, 이동체, 로봇)의 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징(1차특징)에 관한 최초 학습을 수행한다. When a specific user exists within the recognition range of a device (e.g., a moving object, a robot), the learning unit 311 according to an embodiment of the present invention collects and provides data to recognize whether the specific user is the main user. Perform initial learning on user characteristics (primary characteristics).

본 발명의 실시예에 따른 학습부(311)는 특정 사용자에 대한 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 위한 학습을 수행한다. The learning unit 311 according to an embodiment of the present invention performs learning for face recognition, voice recognition, command recognition, and command code recognition for a specific user.

주사용자가 미리 정해 놓은 명령어 및 명령어코드를 인식하는 상기 명령어인식 및 명령어코드인식을 절대인식으로 분류하여 학습한다. The command recognition and command code recognition, which recognizes commands and command codes predetermined by the main user, are classified and learned as absolute recognition.

이러한 명령어인식 및 명령어코드인식의 절대인식은 음성인식의 참인식보다 상위적 권한(다시 말해, 중요도)을 가질 수 있다. Absolute recognition of such command recognition and command code recognition may have higher authority (in other words, importance) than true recognition of voice recognition.

본 발명의 실시예에 따른 인식부(312)는 상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행한다. The recognition unit 312 according to an embodiment of the present invention performs initial recognition of the main user using the initial learning result.

본 발명의 실시예에 따른 인식부(312)는 최초 학습 결과에 따라 분류된 절대인식 및 참인식을 이용하여 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 수행하는 최초 인식을 통해 상기 특정 사용자가 주사용자라는 것을 인식한다. The recognition unit 312 according to an embodiment of the present invention performs face recognition, voice recognition, command recognition, and command code recognition using absolute recognition and true recognition classified according to the initial learning result, through initial recognition of the specific user. Recognize that is the main user.

명령어인식 및 명령어코드인식의 절대인식의 경우, 인식되는 순간의 특정 사용자의 얼굴 또는 음성을 주사용자의 얼굴, 음성으로 간주한다. In the case of absolute recognition of command recognition and command code recognition, the face or voice of a specific user at the moment of recognition is regarded as the face or voice of the main user.

본 발명의 실시예에 따른 학습부(311)는 상기 최초 인식 시에 주사용자에 관한 부가적인 특징(2차특징)을 추출하여 2차 학습을 수행한다. The learning unit 311 according to an embodiment of the present invention extracts additional features (secondary features) about the primary user during the initial recognition and performs secondary learning.

본 발명의 실시예에 따르면, 주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 지니고 있는 가방 등을 포함하는 주사용자에 관한 부가적인 특징(2차특징)을 추출하고, 상기 부가적인 특징(2차특징)을 인식하는 것을 가인식으로 분류하여 2차 학습을 수행한다.According to an embodiment of the present invention, additional characteristics about the main user, including the main user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and bag carried (2) Secondary features) are extracted, and secondary learning is performed by classifying recognition of the additional features (secondary features) as provisional recognition.

본 발명의 실시예에 따른 인식부(312)는 상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행한다. The recognition unit 312 according to an embodiment of the present invention continuously performs primary user recognition according to the primary user's movement speed using the secondary learning result.

본 발명의 실시예에 따르면, 상기 2차 학습 결과에 따라 분류된 가인식을 이용하여 주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 지니고 있는 가방 등을 포함하는 주사용자에 관한 부가적인 특징 인식을 수행한다. 이후, 연속적으로 주사용자 인식을 수행하여 주사용자의 얼굴 또는 음성이 인식되면 참인식을 수행하고, 주사용자가 미리 정해 놓은 명령어 및 명령어코드가 인식되는 절대인식을 수행할 수 있다. According to an embodiment of the present invention, the primary user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and items of clothing are identified using cognitive recognition classified according to the secondary learning results. Perform additional feature recognition about the main user, including bags, etc. Thereafter, main user recognition is continuously performed, and true recognition is performed when the main user's face or voice is recognized, and absolute recognition is performed in which commands and command codes predetermined by the main user are recognized.

상기 연속적으로 주사용자 인식을 수행하는 단계는 얼굴인식, 음성인식, 명령어인식, 명령어코드인식이 우선(다시 말해, 필수)될 필요 없이 옷차림, 머리색깔 등 주사용자에 관한 부가적인 특징 중 적어도 하나라도 확인이 되면 해당 특정 사용자를 주사용자로 인식한다. 다만, 얼굴인식, 음성인식을 통한 인식은 참인식으로, 그 외 다른 것으로 인식한 경우는 가인식으로 분류한다. 가인식의 경우, 연속 인식하는 동안 기회가 되어 얼굴인식, 음성인식이 가능하게 되면 참인식으로 인식단계를 상향한다. 또는 명령어인식 또는 명령어코드인식을 통해 절대인식으로 인식단계가 상향될 수도 있다.In the step of continuously performing main user recognition, facial recognition, voice recognition, command recognition, and command code recognition do not need to be prioritized (in other words, required), and at least one of the additional characteristics of the main user, such as clothing and hair color, is selected. Once confirmed, the specific user is recognized as the primary user. However, recognition through face recognition or voice recognition is classified as true recognition, and recognition through other methods is classified as provisional recognition. In the case of provisional recognition, if face recognition or voice recognition becomes possible during continuous recognition, the recognition level is upgraded to true recognition. Alternatively, the recognition level may be upgraded to absolute recognition through command recognition or command code recognition.

이후, 본 발명의 실시예에 따른 인식부(312)는 주사용자가 기기(예를 들어, 이동체, 로봇)의 인식 범위 내에 존재하는지 판단할 수 있다. Thereafter, the recognition unit 312 according to an embodiment of the present invention may determine whether the primary user exists within the recognition range of the device (eg, moving object, robot).

주사용자가 인식 범위 내에 존재하는 경우 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행할 수 있다. If the main user is within the recognition range, main user recognition can be performed continuously according to the main user's movement speed.

반면에, 주사용자가 인식 범위 내에 존재하지 않는 경우 주사용자의 부재로 인해 주사용자 인식이 일정 기간 동안 단절된 후 단계에서 다시 주사용자 기기(예를 들어, 이동체, 로봇)의 인식 범위 내에 존재하는지 판단할 수 있다. On the other hand, if the main user does not exist within the recognition range, recognition of the main user is cut off for a certain period of time due to the absence of the main user, and then it is determined whether the main user device (e.g., moving object, robot) is within the recognition range again. can do.

또는 학습되고 매칭된 2차특징을 통해 주사용자에 대한 가인식을 수행할 수 있다. 가인식 수준에서 지속적인 학습을 통해 얼굴인식 또는 음성인식이 수행되어 주사용자임을 재확인하게 되면 기기는 참인식 수준으로 변환된다.Alternatively, provisional recognition of the primary user can be performed through learned and matched secondary features. When face recognition or voice recognition is performed through continuous learning at the provisional recognition level and the main user is reconfirmed, the device is converted to the true recognition level.

주사용자 등장할 경우 다시 상기 주사용자에 대한 최초 인식을 수행하는 단계부터 반복 수행할 수 있다. 이때, 기기와 사전에 커플링된 별도의 기기(예를 들어, 블루투수, 전자파발생기 등)를 가지고 있는 특정 사용자(사람, 물체)를 주사용자로 인식하고 절대인식을 수행할 수 있다. 이후 절대인식된 주사용자에 관한 부가적인 특징을 추출하여 2차 학습을 수행하는 단계부터 반복 수행할 수 있다. When the main user appears, the process can be repeated from the initial recognition of the main user. At this time, a specific user (person, object) who has a separate device (e.g., blue pitcher, electromagnetic wave generator, etc.) previously coupled to the device can be recognized as the main user and absolute recognition can be performed. Afterwards, additional features related to the absolutely recognized primary user can be extracted and secondary learning can be performed repeatedly.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied in . Software may be distributed over networked computer systems and thus stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.

Claims (10)

특정 사용자가 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징(1차특징)에 관한 최초 학습을 수행하는 단계;
상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행하는 단계;
상기 최초 인식 시에 주사용자에 관한 부가적인 특징(2차특징)을 추출하여 2차 학습을 수행하는 단계; 및
상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행하는 단계
를 포함하는 주사용자 인식 방법. When a specific user exists within the recognition range, collecting data to recognize whether the specific user is the main user and performing initial learning on main user characteristics (primary characteristics);
Performing initial recognition of the main user using the initial learning result;
performing secondary learning by extracting additional features (secondary features) about the main user during the initial recognition; and
Continuously performing main user recognition according to the main user's movement speed using the secondary learning results
A main user recognition method including. 제1항에 있어서,
상기 주사용자가 인식 범위 내에 존재하는지 판단하고, 상기 주사용자가 인식 범위 내에 존재하지 않을 경우, 주사용자의 부재로 인해 주사용자 인식이 일정 기간 동안 단절된 후 다시 주사용자 등장할 경우 다시 상기 주사용자에 대한 최초 인식을 수행하는 단계부터 반복하는
주사용자 인식 방법. According to paragraph 1,
It is determined whether the main user exists within the recognition range, and if the main user does not exist within the recognition range, main user recognition is cut off for a certain period of time due to the absence of the main user, and then when the main user appears again, the main user is reactivated. Repeat from the initial recognition step to
Main user recognition method. 제1항에 있어서,
상기 특정 사용자가 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징(1차특징)에 관한 최초 학습을 수행하는 단계는,
특정 사용자에 대한 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 위한 학습을 수행하고,
주사용자가 미리 정해 놓은 명령어 및 명령어코드를 인식하는 상기 명령어인식 및 명령어코드인식을 절대인식으로 분류하여 학습하고,
상기 얼굴인식 및 음성인식을 참인식으로 분류하여 학습하는
주사용자 인식 방법. According to paragraph 1,
When the specific user exists within the recognition range, the step of collecting data to recognize whether the specific user is the main user and performing initial learning on the main user characteristics (primary characteristics) is,
Performs learning for face recognition, voice recognition, command recognition, and command code recognition for specific users,
Classify and learn the command recognition and command code recognition, which recognizes commands and command codes predetermined by the main user, into absolute recognition,
The face recognition and voice recognition are classified and learned as true recognition.
Main user recognition method. 제1항에 있어서,
상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행하는 단계는,
상기 최초 학습 결과에 따라 분류된 절대인식 및 참인식을 이용하여 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 수행하는 최초 인식을 통해 상기 특정 사용자가 주사용자라는 것을 인식하는
주사용자 인식 방법. According to paragraph 1,
The step of performing initial recognition of the main user using the initial learning results is,
Recognizing that the specific user is the primary user through initial recognition that performs face recognition, voice recognition, command recognition, and command code recognition using absolute recognition and true recognition classified according to the initial learning results.
Main user recognition method. 제1항에 있어서,
상기 최초 인식 시에 주사용자에 관한 부가적인 특징(2차특징)을 추출하여 2차 학습을 수행하는 단계는,
주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 가방을 포함하는 주사용자에 관한 부가적인 특징(2차특징)을 추출하고, 상기 부가적인 특징을 인식하는 것을 가인식으로 분류하여 2차 학습을 수행하는
주사용자 인식 방법. According to paragraph 1,
The step of performing secondary learning by extracting additional features (secondary features) about the main user during the initial recognition,
Extract additional features (secondary features) about the main user, including the main user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and bag, and extract the additional features. Classifies recognition as false recognition and performs secondary learning.
Main user recognition method. 제1항에 있어서,
상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행하는 단계는,
상기 2차 학습 결과에 따라 분류된 가인식을 이용하여 주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 가방을 포함하는 주사용자에 관한 부가적인 특징 인식을 수행하고,
이후, 연속적으로 주사용자 인식을 수행하여 주사용자의 얼굴 또는 음성이 인식되면 참인식을 수행하고,
주사용자가 미리 정해 놓은 명령어 및 명령어코드가 인식되는 절대인식을 수행하는
주사용자 인식 방법. According to paragraph 1,
The step of continuously performing main user recognition according to the main user's movement speed using the secondary learning results,
Using the cognitive recognition classified according to the above secondary learning results, additional information about the main user including the main user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and bag is provided. perform feature recognition,
Afterwards, main user recognition is performed continuously, and true recognition is performed when the main user's face or voice is recognized.
Performs absolute recognition in which commands and command codes predetermined by the main user are recognized.
Main user recognition method. 특정 사용자가 인식 범위 내에 존재할 경우, 상기 특정 사용자가 주사용자인지 여부를 인식하기 위한 데이터를 수집하여 주사용자 특징(1차특징)에 관한 최초 학습을 수행하고, 인식부를 통한 최초 인식 시에 주사용자에 관한 부가적인 특징(2차특징)을 추출하여 2차 학습을 수행하는 학습부; 및
상기 최초 학습 결과를 이용하여 주사용자에 대한 최초 인식을 수행하고, 상기 2차 학습 결과를 이용하여 주사용자의 움직임 속도에 따라 연속적으로 주사용자 인식을 수행하는 인식부
를 포함하는 주사용자 인식 시스템. If a specific user exists within the recognition range, data to recognize whether the specific user is the primary user is collected, initial learning on the primary user characteristics (primary characteristics) is performed, and upon initial recognition through the recognition unit, the primary user is identified. A learning unit that extracts additional features (secondary features) and performs secondary learning; and
A recognition unit that performs initial recognition of the main user using the initial learning result and continuously performs main user recognition according to the movement speed of the main user using the secondary learning result.
A main user recognition system including. 제7항에 있어서,
상기 인식부는,
상기 주사용자가 인식 범위 내에 존재하는지 판단하고, 상기 주사용자가 인식 범위 내에 존재하지 않을 경우, 주사용자의 부재로 인해 주사용자 인식이 일정 기간 동안 단절된 후 다시 주사용자 등장할 경우 다시 상기 주사용자에 대한 최초 인식을 수행하는 단계부터 반복하는
주사용자 인식 시스템. In clause 7,
The recognition unit,
It is determined whether the main user exists within the recognition range, and if the main user does not exist within the recognition range, main user recognition is cut off for a certain period of time due to the absence of the main user, and then when the main user appears again, the main user is reactivated. Repeat from the initial recognition step to
Main user recognition system. 제7항에 있어서,
상기 학습부는,
특정 사용자에 대한 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 위한 학습을 수행하고,
주사용자가 미리 정해 놓은 명령어 및 명령어코드를 인식하는 상기 명령어인식 및 명령어코드인식을 절대인식으로 분류하여 학습하고,
상기 얼굴인식 및 음성인식을 참인식으로 분류하여 학습하며,
주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 가방을 포함하는 주사용자에 관한 부가적인 특징(2차특징)을 추출하고, 상기 부가적인 특징(2차특징)을 인식하는 것을 가인식으로 분류하여 2차 학습을 수행하는
주사용자 인식 시스템. In clause 7,
The learning department,
Performs learning for face recognition, voice recognition, command recognition, and command code recognition for specific users,
The command recognition and command code recognition, which recognizes commands and command codes predetermined by the main user, are classified and learned as absolute recognition,
The face recognition and voice recognition are classified and learned as true recognition,
Extract additional features (secondary features) about the main user, including the main user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and bag, and extract the additional features. Performing secondary learning by classifying recognition of (secondary features) as false recognition
Main user recognition system. 제7항에 있어서,
상기 인식부는,
상기 최초 학습 결과에 따라 분류된 절대인식 및 참인식을 이용하여 얼굴인식, 음성인식, 명령어인식, 명령어코드인식을 수행하는 최초 인식을 통해 상기 특정 사용자가 주사용자라는 것을 인식하고,
상기 2차 학습 결과에 따라 분류된 가인식을 이용하여 주사용자의 옷차림, 머리색깔, 머리스타일, 손짓, 몸짓, 걸음걸이, 신체적특징, 착용하고 있는 악세서리, 가방을 포함하는 주사용자에 관한 부가적인 특징(2차특징) 인식을 수행하고,
이후, 연속적으로 주사용자 인식을 수행하여 주사용자의 얼굴 또는 음성이 인식되면 참인식을 수행하고,
주사용자가 미리 정해 놓은 명령어 및 명령어코드가 인식되는 절대인식을 수행하는
주사용자 인식 시스템. In clause 7,
The recognition unit,
Recognize that the specific user is the main user through initial recognition that performs face recognition, voice recognition, command recognition, and command code recognition using absolute recognition and true recognition classified according to the initial learning result,
Using the cognitive recognition classified according to the above secondary learning results, additional information about the main user including the main user's clothing, hair color, hairstyle, hand gestures, gestures, gait, physical characteristics, accessories worn, and bag is provided. Perform feature (secondary feature) recognition,
Afterwards, main user recognition is performed continuously, and true recognition is performed when the main user's face or voice is recognized.
Performs absolute recognition in which commands and command codes predetermined by the main user are recognized.
Main user recognition system.
KR1020220118529A 2022-09-20 2022-09-20 Method and System for Continuous and Steady Recognizing the Primary User KR20240040168A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220118529A KR20240040168A (en) 2022-09-20 2022-09-20 Method and System for Continuous and Steady Recognizing the Primary User

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220118529A KR20240040168A (en) 2022-09-20 2022-09-20 Method and System for Continuous and Steady Recognizing the Primary User

Publications (1)

Publication Number Publication Date
KR20240040168A true KR20240040168A (en) 2024-03-28

Family

ID=90483023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220118529A KR20240040168A (en) 2022-09-20 2022-09-20 Method and System for Continuous and Steady Recognizing the Primary User

Country Status (1)

Country Link
KR (1) KR20240040168A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022318B1 (en) 2012-01-11 2019-09-18 삼성전자 주식회사 Method and apparatus for performing user function by voice recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022318B1 (en) 2012-01-11 2019-09-18 삼성전자 주식회사 Method and apparatus for performing user function by voice recognition

Similar Documents

Publication Publication Date Title
CN108369808B (en) Electronic device and method for controlling the same
Duric et al. Integrating perceptual and cognitive modeling for adaptive and intelligent human-computer interaction
US10679618B2 (en) Electronic device and controlling method thereof
CN109176535B (en) Interaction method and system based on intelligent robot
KR102036955B1 (en) Method for recognizing subtle facial expression using deep learning based analysis of micro facial dynamics and apparatus therefor
Filko et al. Emotion recognition system by a neural network based facial expression analysis
US20200133211A1 (en) Electronic device and method for controlling electronic device thereof
EP3523709B1 (en) Electronic device and controlling method thereof
US20240095143A1 (en) Electronic device and method for controlling same
Gupta et al. A fault-tolerant early classification approach for human activities using multivariate time series
US10816800B2 (en) Electronic device and method of controlling the same
US11468886B2 (en) Artificial intelligence apparatus for performing voice control using voice extraction filter and method for the same
CN111325349B (en) Clothes dispatching device
WO2021218432A1 (en) Method and apparatus for interpreting picture book, electronic device and smart robot
Cooper et al. Social robotic application to support active and healthy ageing
US20210092219A1 (en) Apparatus and control method for recommending do-not-disturb mode based on context-awareness
KR20200039365A (en) Electronic device and Method for controlling the electronic devic thereof
KR102292240B1 (en) Remote scalp and hair management system based on mobile, and Scalp and hair care server for the same
KR20200080418A (en) Terminla and operating method thereof
Irfan et al. Multi-modal open world user identification
US11146597B2 (en) Filtering media data in an internet of things (IoT) computing environment
Sukthankar et al. An introduction to plan, activity, and intent recognition
Bettini et al. Explainable activity recognition over interpretable models
KR20240040168A (en) Method and System for Continuous and Steady Recognizing the Primary User
US20210137311A1 (en) Artificial intelligence device and operating method thereof