KR102327578B1

KR102327578B1 - Apparatus and method for providing object and environment information using wearable device

Info

Publication number: KR102327578B1
Application number: KR1020200033119A
Authority: KR
Inventors: 강민구; 조대용; 김성규; 김익재
Original assignee: 한국과학기술연구원
Priority date: 2020-03-18
Filing date: 2020-03-18
Publication date: 2021-11-17
Also published as: KR20210116934A

Abstract

본 발명은 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법에 관한 것이다. 본 발명의 장치는, 카메라로부터 사용자의 시선 방향으로의 복수개의 객체가 포함된 외부 환경에 대한 영상 및 사용자의 동공의 위치에 대한 정보를 수신하여 처리하는 객체 및 상황 정보 제공장치에 있어서, 상기 동공의 위치에 대한 정보를 통해 사용자의 시선에 따른 응시 정보를 추정하는 응시 정보 추정부; 상기 외부 환경에 대한 영상 중, 사전에 정해진 기준에 따라 정의된 관심 영역 내의 객체 정보를 검출하는 객체 정보 검출부; 상기 응시 정보를 매개변수로 하여 상기 객체의 중요도를 계산하는 객체 중요도 분석부; 상기 외부 환경에 대한 영상, 상기 응시 정보, 상기 객체 정보, 및 사용자 입력 정보를 매개변수로 하여 사용자의 시지각 행동을 분류하는 시지각 행동 분석부; 상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 저장하는 객체 및 상황 정보 저장부; 및 상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 사용자에게 제공하는 객체 및 상황 정보 제공부를 포함할 수 있다.The present invention relates to an apparatus and method for providing object and context information using a wearable device. The apparatus of the present invention is an object and context information providing apparatus for receiving and processing an image of an external environment including a plurality of objects from a camera in the direction of the user's gaze and information on the position of the user's pupil, the pupil a gaze information estimator for estimating gaze information according to the gaze of the user through information on the location of the . an object information detector configured to detect object information in an ROI defined according to a predetermined criterion from among the images of the external environment; an object importance analysis unit for calculating the importance of the object by using the gaze information as a parameter; a visual-perceptual behavior analyzer for classifying a user's visual-perceptual behavior using the image of the external environment, the gaze information, the object information, and the user input information as parameters; an object and context information storage unit for storing the object information and an image of the external environment according to the user's visual perception behavior classification of the visual perception behavior analysis unit; and an object and context information providing unit providing the object information and an image of the external environment to the user according to the user's visual perception behavior classification of the visual perceptual behavior analysis unit.

Description

Apparatus and method for providing object and context information using a wearable device

본 발명은 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법에 관한 것으로, 보다 상세하게는 사용자의 기억을 보조하기 위한 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for providing object and context information using a wearable device, and more particularly, to an apparatus and method for providing object and context information using a wearable device for assisting a user's memory.

최근 IT 기술의 발달로 다양한 웨어러블 디바이스가 다양한 어플리케이션과 연계해서, 일상 생활에서 다양한 기능을 수행하는 도구로서 활용되고 있다.With the recent development of IT technology, various wearable devices are being used as tools for performing various functions in daily life in connection with various applications.

상용화되어 있는 웨어러블 디바이스는 사용자의 입력을 통해 사용자 또는 객체 등의 정보를 저장할 수 있으며, 사용자가 필요로 할 때 원하는 정보를 로드할 수 있다.Commercially available wearable devices may store information such as a user or an object through a user's input, and may load desired information when the user needs it.

그러나, 점차 복잡해지는 현대 사회에서의 과도한 스트레스 및 필요한 수많은 정보, 또는 고령화로 인하여 생활 건망증을 겪는 사람들이 현저하게 증가하고 있다. 또는, 건망증과 같은 기억장애가 아니더라도, 사람의 기억력은 한계가 있으므로 수많은 관련 정보를 전부 기억하기는 불가능에 가깝다.However, the number of people suffering from forgetfulness of life is increasing remarkably due to excessive stress in the increasingly complex modern society, a large number of necessary information, or aging. Or, even if it is not a memory disorder such as forgetfulness, it is almost impossible to memorize all the relevant information because human memory is limited.

이때, 사용자가 상기 종래의 웨어러블 디바이스에 이러한 수많은 정보를 모두 입력하기는 상당히 번거로울 뿐만 아니라 이를 위한 시간이 요구된다. 또한, 상기 정보를 모두 입력하여 웨어러블 디바이스에 연동된 메모리에 저장하더라도, 특정 상황에 필요한 정보를 로드하기 위하여 입력된 수많은 정보 중 사용자에게 필요한 정보를 일일히 찾아보아야 한다.In this case, it is very cumbersome for the user to input all such a lot of information into the conventional wearable device, and time is required for this. In addition, even if all of the above information is input and stored in a memory linked to the wearable device, it is necessary to search for information necessary for the user from among a large number of inputted information in order to load information necessary for a specific situation.

즉, 종래의 웨어러블 디바이스는, 저장된 수많은 정보 중 사용자가 직접 필요한 정보를 찾아보고 로드하여야 하는 번거로움이 있으므로 기억 보조 목적으로 적극적으로 사용되지는 않았다.That is, the conventional wearable device has not been actively used for the purpose of memory assistance because it is cumbersome for a user to directly search for and load necessary information among a large number of stored information.

상기 문제점을 극복하기 위해, 촬영이 가능한 안경 형태의 웨어러블 디바이스가 개발되었다. 사용자는 상기 웨어러블 디바이스를 착용한 상태에서 조작을 통해 시선에 따른 특정 객체를 촬영할 수 있다. 이때, 녹화 기능 및 객체 정보 분석 기능 등이 제공된다.In order to overcome the above problem, a wearable device in the form of glasses capable of photographing has been developed. A user may photograph a specific object according to a gaze through manipulation while wearing the wearable device. In this case, a recording function and an object information analysis function are provided.

그러나, 이러한 종래 방식에서는, 상기 기능을 사용하기 위해서 사용자가 의도적으로 제어를 하여야 한다. 따라서, 의도치 않은 중요 이벤트 또는 교통사고 등의 각종 사고와 같은 언제 어디에서 발생할지 모르는 중요 사건들을 기록하지 못하고 놓치는 경우가 많이 발생한다.However, in this conventional method, the user has to intentionally control the function in order to use it. Accordingly, there are many cases in which important events that may not occur when and where they are not recorded, such as unintentional important events or various accidents such as traffic accidents, are not recorded and are often missed.

한편, 상기 종래의 안경 형태의 웨어러블 디바이스가 객체의 모든 정보를 저장한다고 가정하는 경우에는, 메모리의 한계가 문제될 뿐만 아니라, 사용자에게 어떠한 객체가 중요한지, 또는 객체간의 관계가 어떠한지를 효과적으로 보여주지 못한다. On the other hand, if it is assumed that the conventional wearable device in the form of glasses stores all information of an object, not only the limitation of memory is a problem, but it cannot effectively show which object is important to the user or what kind of relationship between the objects is. .

즉, 상기와 같이 단순히 정보를 저장하고 이를 로드하는 방식으로는 사용자의 제어가 요구되거나, 그렇지 않더라도 정보가 넘쳐나는 현대 사회에서 사용자가 정작 무엇을 필요로 하는지를 반영하지 못한다. 따라서, 사용자가 필요로 하는 정보 및 이러한 정보 간의 관계를 특정 사용자에 맞게 체계화하여 제공해주는 객체 및 상황 정보 제공장치가 요구된다.That is, the method of simply storing and loading information as described above does not reflect what the user really needs in a modern society where information is overflowing, or the user's control is required. Accordingly, there is a need for an object and context information providing apparatus that systematizes and provides information required by a user and a relationship between such information for a specific user.

본 발명의 목적은 사용자의 행동 및 상태 분석을 기초로 관심 객체 및 생활 환경 등을 능동적으로 인식 및 기록하여 이를 사용자에게 제공하는 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법을 제공함에 있다.It is an object of the present invention to provide an apparatus and method for providing object and context information using a wearable device that actively recognizes and records an object of interest and a living environment based on an analysis of the user's behavior and state, and provides it to the user.

본 발명의 또 다른 목적은 사용자의 시지각적 행동, 사용자와 객체 간의 관계, 또는 객체와 객체 간의 관계를 이용하여 사용자가 필요로 하는 객체 및 상황에 관한 정보를 사용자에게 선별적으로 제공함에 있다.Another object of the present invention is to selectively provide information about objects and situations required by a user to a user by using a user's visual and perceptual behavior, a relationship between a user and an object, or a relationship between an object and an object.

위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 사용자의 시선 방향으로의 복수개의 객체가 포함된 외부 환경에 대한 영상 및 사용자의 동공의 위치에 대한 정보를 수신하여 처리하는 객체 및 상황 정보 제공장치에 있어서, 상기 동공의 위치에 대한 정보를 통해 사용자의 시선에 따른 응시 정보를 추정하는 응시 정보 추정부; 상기 외부 환경에 대한 영상 중, 사전에 정해진 기준에 따라 정의된 관심 영역 내의 객체 정보를 검출하는 객체 정보 검출부; 상기 응시 정보를 매개변수로 하여 상기 객체의 중요도를 계산하는 객체 중요도 분석부; 상기 외부 환경에 대한 영상, 상기 응시 정보, 상기 객체 정보, 및 사용자 입력 정보를 매개변수로 하여 사용자의 시지각 행동을 분류하는 시지각 행동 분석부; 상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 저장하는 객체 및 상황 정보 저장부; 및 상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 사용자에게 제공하는 객체 및 상황 정보 제공부를 포함할 수 있다. According to an aspect of the present invention for solving the above problems, object and context information for receiving and processing an image of an external environment including a plurality of objects in the user's gaze direction and information on the location of the user's pupil A providing apparatus, comprising: a gaze information estimator for estimating gaze information according to a gaze of a user through information on a location of the pupil; an object information detector configured to detect object information in an ROI defined according to a predetermined criterion from among the images of the external environment; an object importance analysis unit for calculating the importance of the object by using the gaze information as a parameter; a visual-perceptual behavior analyzer for classifying a user's visual-perceptual behavior using the image of the external environment, the gaze information, the object information, and the user input information as parameters; an object and context information storage unit for storing the object information and an image of the external environment according to the user's visual perception behavior classification of the visual perception behavior analysis unit; and an object and context information providing unit providing the object information and an image of the external environment to the user according to the user's visual perception behavior classification of the visual perceptual behavior analysis unit.

본 발명의 실시예에 따르면, 상기 응시 정보는 응시 위치, 응시 빈도, 및 응시 깊이를 포함할 수 있다.According to an embodiment of the present invention, the gaze information may include a gaze position, a gaze frequency, and a gaze depth.

본 발명의 실시예에 따르면, 상기 객체 정보 검출부는 상기 응시 위치와 상기 응시 깊이를 매개변수로 하여 관심 영역의 기준 위치와 크기를 정의하고, 상기 관심 영역에 속하지 않는 객체는 검출 대상에서 제외할 수 있다.According to an embodiment of the present invention, the object information detection unit may use the gaze position and the gaze depth as parameters to define a reference position and size of the ROI, and exclude objects that do not belong to the ROI from detection. have.

본 발명의 실시예에 따르면, 상기 객체 정보 검출부는 객체의 폭 길이, 영상의 너비, 및 카메라 수평 화각을 매개변수로 하여 관심 영역의 폭이 보정되도록 할 수 있다.According to an embodiment of the present invention, the object information detecting unit may correct the width of the ROI by using the width and length of the object, the width of the image, and the horizontal angle of view of the camera as parameters.

본 발명의 실시예에 따르면, 상기 객체 정보 검출부는 깊이 영상, 영상의 색상, 및 영상의 엣지 등을 매개변수로 더 포함하여 관심 영역의 폭이 추가로 보정되도록 할 수 있다.According to an embodiment of the present invention, the object information detector may further include a depth image, an image color, and an image edge as parameters to further correct the width of the ROI.

본 발명의 실시예에 따르면, 검출된 객체에 대응하는 상기 외부 환경에 대한 영상 내의 복수의 특징점을 추출하고, 상기 특징점들 사이의 상대 위치를 보정하여 객체 지도를 생성하는 객체 지도 생성부를 더 포함할 수 있다.According to an embodiment of the present invention, the method may further include an object map generator configured to extract a plurality of feature points in the image of the external environment corresponding to the detected object and to generate an object map by correcting the relative positions between the feature points. can

본 발명의 실시예에 따르면, 상기 객체 지도 생성부는 사용자의 응시 깊이 및 고정 응시점 정보를 통해 사용자와 객체 사이의 거리를 각각 측정할 수 있다.According to an embodiment of the present invention, the object map generator may measure the distance between the user and the object through the user's gaze depth and fixed gaze point information, respectively.

본 발명의 실시예에 따르면, 상기 객체 지도 생성부는 사용자의 위치를 기준으로 하여 상기 객체들 사이의 상대 거리를 보정할 수 있다.According to an embodiment of the present invention, the object map generator may correct the relative distance between the objects based on the user's location.

본 발명의 실시예에 따르면, 상기 객체 중요도 분석부는 사용자의 응시점이 고정 응시점을 형성하는 경우, 응시점과 객체 사이의 거리를 매개변수로 더 포함할 수 있다.According to an embodiment of the present invention, when the user's gaze point forms a fixed gaze point, the object importance analyzer may further include a distance between the gaze point and the object as a parameter.

본 발명의 실시예에 따르면, 상기 객체 및 상황 정보 제공장치는 웨어러블 디바이스로부터 사용자의 머리 움직임 변화량에 대한 정보를 더 수신하고, 상기 시지각 행동 분석부는 사용자의 행동을 객체 및 상황 정보 탐색 동작, 및 객체 및 상황 정보 등록 동작으로 분류할 수 있다.According to an embodiment of the present invention, the object and context information providing apparatus further receives information on the amount of change in the user's head movement from the wearable device, and the visual perceptual behavior analyzer analyzes the user's behavior in an object and context information search operation, and It can be classified into object and context information registration operation.

본 발명의 실시예에 따르면, 상기 시지각 행동 분석부는 상기 객체 및 상황 정보 탐색 동작을, 전역 정보 탐색 동작, 지역 정보 탐색 동작, 및 상황 정보 탐색 동작으로 분류할 수 있다.According to an embodiment of the present invention, the visual perceptual behavior analyzer may classify the object and context information search operation into a global information search operation, a local information search operation, and a context information search operation.

본 발명의 실시예에 따르면, 상기 시지각 행동 분석부는 상기 객체 및 상황 정보 등록 동작을, 전역 정보 등록 동작, 지역 정보 등록 동작, 및 상황 정보 등록 동작으로 분류할 수 있다.According to an embodiment of the present invention, the visual perceptual behavior analyzer may classify the object and context information registration operation into global information registration operation, local information registration operation, and context information registration operation.

본 발명의 실시예에 따르면, 상기 시지각 행동 분석부는 사용자의 응시점 변화량에 비하여 사용자의 머리 움직임 변화량이 상대적으로 큰 경우 상기 사용자의 행동을 전역 정보 탐색 동작으로 분류하고, 사용자의 머리 움직임 변화량에 비하여 사용자의 응시점 변화량이 상대적으로 큰 경우 상기 사용자의 행동을 지역 정보 탐색 동작으로 분류하며, 사용자의 입력을 수신하는 경우 상기 사용자의 행동을 상황 정보 탐색 동작으로 분류할 수 있다.According to an embodiment of the present invention, when the amount of change in the user's head movement is relatively large compared to the amount of change in the user's gaze point, the visual perceptual behavior analyzer classifies the user's behavior as a global information search operation, and determines the amount of change in the user's head movement. In contrast, when the user's gaze point change amount is relatively large, the user's behavior is classified as a local information search operation, and when a user input is received, the user's action can be classified as a context information search operation.

본 발명의 실시예에 따르면, 상기 시지각 행동 분석부는 정적 객체에 대한 상기 사용자의 응시점이 고정 응시점을 형성하는 경우 상기 사용자의 행동을 전역 정보 등록 동작으로 분류하고, 동적 객체에 대한 응시점 추적이 발생한 경우 상황 정보 등록 동작으로 분류하고, 상기 전역 정보 등록 동작 후 안구의 단속 운동이 발견되거나 상기 사용자의 입력이 수신될 경우 지역 정보 등록 동작으로 분류할 수 있다.According to an embodiment of the present invention, when the user's gaze point on a static object forms a fixed gaze point, the visual perception behavior analyzer classifies the user's behavior as a global information registration operation, and tracks the gaze point on a dynamic object. When this occurs, it can be classified as a situation information registration operation, and when an eye saccade is found or the user's input is received after the global information registration operation, it can be classified as a local information registration operation.

본 발명의 실시예에 따르면, 상기 객체 및 상황 정보 저장부는 객체의 중요도가 사전에 정해진 조건을 만족할 때 상기 객체 정보를 저장할 수 있다.According to an embodiment of the present invention, the object and context information storage unit may store the object information when the importance of the object satisfies a predetermined condition.

본 발명의 실시예에 따르면, 상기 객체 및 상황 정보 저장부는 전역적 객체 정보 저장부, 지역적 객체 정보 저장부, 및 상황 정보 저장부를 포함하며, 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 등록 동작으로 분류된 경우, 해당 객체 정보가 전역적 객체 정보 저장부에 저장되며, 상기 사용자의 행동이 지역 정보 등록 동작으로 분류된 경우 해당 객체 정보가 지역적 객체 정보 저장부에 저장되며, 상기 사용자의 행동이 상황 정보 등록 동작으로 분류된 경우, 상기 외부 환경에 대한 영상이 상황 정보 저장부에 저장될 수 있다.According to an embodiment of the present invention, the object and context information storage unit includes a global object information storage unit, a local object information storage unit, and a context information storage unit, and in the visual perception behavior analysis unit, the user's behavior is global information When classified as a registration operation, the corresponding object information is stored in the global object information storage unit, and when the user's behavior is classified as a local information registration operation, the corresponding object information is stored in the local object information storage unit, and the user's When the action is classified as a context information registration action, the image of the external environment may be stored in the context information storage unit.

본 발명의 실시예에 따르면, 상기 객체 및 상황 정보 제공부는 전역적 객체 정보 제공부, 지역적 객체 정보 제공부, 및 상황 정보 제공부를 포함하며, 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 탐색 동작으로 분류된 경우 상기 전역적 객체 정보를 사용자에게 제공하고, 상기 사용자의 행동이 지역 정보 탐색 동작으로 분류된 경우 상기 지역적 객체 정보를 사용자에게 제공하며, 상기 사용자의 행동이 상황 정보 탐색 동작으로 분류된 경우 상기 외부 환경에 대한 영상 정보를 사용자에게 제공할 수 있다.According to an embodiment of the present invention, the object and context information providing unit includes a global object information providing unit, a local object information providing unit, and a context information providing unit, and the visual perceptual behavior analysis unit determines that the user's behavior is global information When classified as a search operation, the global object information is provided to the user, and when the user's action is classified as a local information search operation, the local object information is provided to the user, and the user's action is a context information search operation. When classified, image information on the external environment may be provided to the user.

본 발명의 실시예에 따르면, 객체 및 상황 정보 제공부는 상기 객체 정보를 상기 사용자의 위치를 기준으로 중요도가 높은 순서대로 사용자에게 제공할 수 있다.According to an embodiment of the present invention, the object and context information providing unit may provide the object information to the user in order of importance based on the user's location.

본 발명의 다른 일 측면에 따르면, 카메라로부터 사용자의 시선 방향으로의 복수개의 객체가 포함된 외부 환경에 대한 영상 및 사용자의 동공의 위치에 대한 정보를 수신하여 처리하는 객체 및 상황 정보 제공장치에 의해 수행되는 객체 및 상황 정보 제공방법에 있어서, (a) 응시 정보 추정부가 상기 동공의 위치에 대한 정보를 통해 사용자의 시선에 따른 응시 정보를 추정하는 단계; (b) 객체 정보 검출부가 상기 외부 환경에 대한 영상 중, 사전에 정해진 기준에 따라 정의된 관심 영역 내의 객체 정보를 검출하는 단계; (c) 객체 중요도 분석부가 상기 응시 정보를 매개변수로 하여 상기 객체의 중요도를 계산하는 단계; (d) 시지각 행동 분석부가 상기 외부 환경에 대한 영상, 상기 응시 정보, 상기 객체 정보, 및 상기 사용자 입력 정보를 매개변수로 하여 사용자의 시지각 행동을 분류하는 단계; (e) 객체 및 상황 정보 저장부가 상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 저장하는 단계; 및 (f) 객체 및 상황 정보 제공부가 상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 사용자에게 제공하는 단계를 포함할 수 있다.According to another aspect of the present invention, by an object and context information providing apparatus that receives and processes an image of an external environment including a plurality of objects in the direction of the user's gaze from the camera and information on the location of the user's pupil A method for providing object and context information, comprising the steps of: (a) estimating, by a gaze information estimator, gaze information according to a gaze of a user through information on a location of the pupil; (b) detecting, by an object information detection unit, object information in a region of interest defined according to a predetermined criterion from among the images of the external environment; (c) calculating, by the object importance analysis unit, the importance of the object by using the gaze information as a parameter; (d) classifying the user's visual behavior by using, by a visual perception behavior analysis unit, the image of the external environment, the gaze information, the object information, and the user input information as parameters; (e) storing, by an object and context information storage unit, the object information and an image of the external environment according to the user's visual perception behavior classification of the visual perception behavior analysis unit; and (f) providing, by the object and context information providing unit, the object information and the image of the external environment to the user according to the user's visual perception behavior classification of the visual perceptual behavior analysis unit.

본 발명의 실시예에 따르면, 상기 (b) 단계는 상기 객체 정보 검출부가 상기 응시 위치와 상기 응시 깊이를 매개변수로 하여 관심 영역을 정의하고, 상기 관심 영역에 속하지 않는 객체는 검출 대상에서 제외하는 단계를 포함할 수 있다.According to an embodiment of the present invention, in step (b), the object information detection unit defines a region of interest using the gaze position and the gaze depth as parameters, and excludes objects that do not belong to the region of interest from detection. may include steps.

본 발명의 실시예에 따르면, 상기 (b) 단계는 상기 객체 정보 검출부가 객체의 폭 길이, 영상의 너비, 및 카메라 수평 화각을 매개변수로 하여 관심 영역의 폭을 보정하는 단계를 포함할 수 있다.According to an embodiment of the present invention, step (b) may include correcting, by the object information detection unit, the width of the region of interest using the object width and length, the image width, and the camera horizontal angle of view as parameters. .

본 발명의 실시예에 따르면, 상기 (b) 단계는 상기 객체 정보 검출부가 깊이 영상, 영상의 색상, 및 영상의 엣지 등을 매개변수로 더 포함하여 관심 영역의 폭을 추가로 보정하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the step (b) further includes the step of further correcting the width of the region of interest by the object information detector further including a depth image, an image color, and an image edge as parameters may include

본 발명의 실시예에 따르면, 상기 (a) 단계와 상기 (b) 단계 사이에 객체 지도 생성부가 검출된 객체에 대응하는 상기 외부 환경에 대한 영상 내의 복수의 특징점을 추출하고 상기 특징점들 사이의 상대 위치를 보정하여 객체 지도를 생성하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, between the steps (a) and (b), the object map generator extracts a plurality of feature points in the image of the external environment corresponding to the detected object, and selects a relation between the feature points. The method may further include generating an object map by correcting the position.

본 발명의 실시예에 따르면, 상기 객체 지도를 생성하는 단계는 객체 지도 생성부가 응시 깊이 및 고정 응시점 정보를 통해 사용자와 객체 사이의 거리를 각각 측정할 수 있다.According to an embodiment of the present invention, in the step of generating the object map, the object map generator may measure the distance between the user and the object through the gaze depth and fixed gaze point information, respectively.

본 발명의 실시예에 따르면, 상기 객체 지도를 생성하는 단계는 상기 객체 지도 생성부가 사용자의 위치를 기준으로 하여 상기 객체들 사이의 상대 거리를 보정하는 단계를 포함할 수 있다.According to an embodiment of the present invention, generating the object map may include correcting, by the object map generator, a relative distance between the objects based on the user's location.

본 발명의 실시예에 따르면, 상기 (c) 단계는 상기 객체 중요도 분석부가 상기 사용자의 응시점이 고정 응시점을 형성하는 경우, 사용자의 응시점과 객체 사이의 상대거리 및 상기 객체들 사이의 사이의 각각의 거리를 매개변수로 더 포함할 수 있다.According to an embodiment of the present invention, in step (c), when the object importance analysis unit forms a fixed gaze point of the user's gaze point, the relative distance between the user's gaze point and the object and between the objects Each distance may be further included as a parameter.

본 발명의 실시예에 따르면, 상기 (d) 단계는 상기 객체 및 상황 정보 제공장치는 웨어러블 디바이스로부터 사용자의 머리 움직임 변화에 대한 정보를 더 수신하고, 상기 시지각 행동 분석부가 상기 사용자의 행동을 객체 및 상황 정보 탐색 동작, 및 객체 및 상황 정보 등록 동작으로 분류하는 단계를 포함할 수 있다.According to an embodiment of the present invention, in step (d), the object and context information providing apparatus further receives information about a change in the user's head movement from the wearable device, and the visual perceptual behavior analyzer analyzes the user's behavior as an object and classifying into a context information search operation and an object and context information registration operation.

본 발명의 실시예에 따르면, 상기 (d) 단계는 상기 시지각 행동 분석부가 상기 객체 및 상황 정보 탐색 동작을, 전역 정보 탐색 동작, 지역 정보 탐색 동작, 및 상황 정보 탐색 동작으로 분류하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step (d) includes the step of classifying, by the visual perception behavior analysis unit, the object and context information search operation into a global information search operation, a local information search operation, and a context information search operation can do.

본 발명의 실시예에 따르면, 상기 (d) 단계는 상기 시지각 행동 분석부가 상기 객체 및 상황 정보 등록 동작을, 전역 정보 등록 동작, 지역 정보 등록 동작, 및 상황 정보 등록 동작으로 분류하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step (d) includes the step of classifying, by the visual perception behavior analysis unit, the object and context information registration operation into global information registration operation, local information registration operation, and context information registration operation can do.

본 발명의 실시예에 따르면, 상기 (d) 단계는 상기 시지각 행동 분석부는 사용자의 응시점 변화량에 비하여 사용자의 머리 움직임 변화량이 상대적으로 큰 경우 상기 사용자의 행동을 전역 정보 탐색 동작으로 분류하고, 사용자의 머리 움직임 변화량에 비하여 사용자의 응시점 변화량이 상대적으로 큰 경우 상기 사용자의 행동을 지역 정보 탐색 동작으로 분류하며, 사용자의 입력을 수신하는 경우 상기 사용자의 행동을 상황 정보 탐색 동작으로 분류하는 단계를 포함할 수 있다.According to an embodiment of the present invention, in the step (d), the visual perception behavior analysis unit classifies the user's behavior as a global information search operation when the amount of change in the user's head movement is relatively large compared to the amount of change in the user's gaze point, Classifying the user's behavior as a local information search operation when the change in the user's gaze point is relatively large compared to the change in the user's head movement, and classifying the user's behavior as a context information search operation when receiving the user's input may include.

본 발명의 실시예에 따르면, 상기 (d) 단계는, 상기 시지각 행동 분석부가 정적 객체에 대한 사용자의 응시점이 고정 응시점을 형성하는 경우 상기 사용자의 행동을 전역 정보 등록 동작으로 분류하고, 동적 객체에 대한 응시점 추적이 발생한 경우 상황 정보 등록 동작으로 분류하고, 상기 전역 정보 등록 동작 후 안구의 단속 운동이 발견되거나 상기 사용자의 입력이 수신된 경우 지역 정보 등록 동작으로 분류하는 단계를 포함할 수 있다.According to an embodiment of the present invention, in step (d), when the user's gaze point on a static object forms a fixed gaze point, the visual perception behavior analysis unit classifies the user's behavior as a global information registration operation, and a dynamic It may include the step of classifying as a situation information registration operation when the gaze point tracking for an object occurs, and classifying it as a local information registration operation when an eye saccade is found or the user's input is received after the global information registration operation have.

본 발명의 실시예에 따르면, 상기 (e) 단계는 상기 객체 및 상황 정보 저장부는 전역적 객체 정보 저장부, 지역적 객체 정보 저장부, 및 상황 정보 저장부를 포함하며, 상기 객체 및 상황 정보 저장부가 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 등록 동작으로 분류된 경우 상기 객체 정보를 전역적 정보 저장부로 저장하며, 상기 사용자의 행동이 지역 정보 등록 동작으로 분류된 경우 상기 객체 정보를 지역적 정보 저장부로 저장하며, 상기 사용자의 행동이 상황 정보 등록 동작으로 분류된 경우 상기 외부 환경에 대한 영상을 상황 정보 저장부에 저장하는 단계를 포함할 수 있다.According to an embodiment of the present invention, in step (e), the object and context information storage unit includes a global object information storage unit, a local object information storage unit, and a context information storage unit, and the object and context information storage unit includes the When the user's behavior is classified as a global information registration operation in the visual perception behavior analysis unit, the object information is stored as a global information storage unit, and when the user's behavior is classified as a local information registration operation, the object information is stored as local information and storing the image of the external environment in the context information storage unit when the user's action is classified as a context information registration operation.

본 발명의 실시예에 따르면, 상기 (e) 단계는 상기 객체 및 상황 정보 저장부가 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 등록 동작으로 분류된 경우, 객체의 중요도가 사전에 정해진 조건을 만족할 때 상기 객체 정보를 저장하고, 상기 사용자의 행동이 지역 정보 등록 동작으로 분류된 경우, 객체의 상세 정보 또는 상기 사용자의 입력 정보를 지역적 정보 저장부에 저장하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, in step (e), when the object and context information storage unit classifies the user's behavior as a global information registration operation in the visual behavior analysis unit, the importance of the object is determined in advance. The method may further include storing the object information when , and when the user's action is classified as a local information registration operation, storing detailed information of the object or the user's input information in a local information storage unit.

본 발명의 실시예에 따르면, 상기 (e) 단계는 상기 객체 및 상황 정보 저장부에 상기 객체 정보가 사전에 저장되어 있는 경우, 상기 객체의 중요도를 갱신하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the step (e) may further include updating the importance of the object when the object information is previously stored in the object and context information storage unit.

본 발명의 실시예에 따르면, 상기 (f) 단계는 상기 객체 및 상황 정보 제공부는 전역적 객체 정보 제공부, 지역적 객체 정보 제공부, 및 상황 정보 제공부를 포함하며, 상기 객체 및 상황 정보 제공부가 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 탐색 동작으로 분류된 경우 상기 전역적 객체 정보를 사용자에게 제공하고, 상기 사용자의 행동이 지역 정보 탐색 동작으로 분류된 경우 상기 지역적 객체 정보를 사용자에게 제공하며, 상기 사용자의 행동이 상황 정보 탐색 동작으로 분류된 경우 상기 외부 환경에 대한 영상을 사용자에게 제공하는 단계를 포함할 수 있다.According to an embodiment of the present invention, in step (f), the object and context information provider includes a global object information provider, a local object information provider, and a context information provider, and the object and context information provider includes the When the user's behavior is classified as a global information search operation in the visual perceptual behavior analysis unit, the global object information is provided to the user, and when the user's behavior is classified as a local information search operation, the local object information is provided to the user and providing an image of the external environment to the user when the user's action is classified as a context information search action.

본 발명의 실시예에 따르면, 상기 (f) 단계는 상기 객체 및 상황 정보 제공부가 상기 객체 정보를 상기 사용자의 위치를 기준으로 상기 객체의 중요도가 높은 순서대로 사용자에게 제공할 수 있다.According to an embodiment of the present invention, in step (f), the object and context information providing unit may provide the object information to the user in order of importance of the object based on the user's location.

본 발명에 따르면, 사용자가 웨어러블 디바이스 등을 통해 별도의 조작 지시를 하지 않더라도, 사용자의 시지각 패턴을 분석하여 유의하게 인지한 객체 혹은 장면(이벤트 등) 정보들을 스스로 판단하여 기록하고, 그것들의 중요도가 분석되어 관리되는 동시에 이를 적시적소에 사용자에게 다시 능동적으로 제공함으로써 사용자가 편리하게 필요한 정보만을 기억해낼 수 있도록 한다.According to the present invention, even if the user does not give a separate operation instruction through a wearable device, etc., the user's visual perception pattern is analyzed to determine and record significantly recognized object or scene (event, etc.) information, and record their importance is analyzed and managed, and at the same time, it is provided back to the user at the right time and place so that the user can conveniently remember only the necessary information.

또한, 사용자의 관심 영역 내의 객체들을 선별적으로 검출하고 이를 저장함으로써, 사용자에게 필요한 정보만을 추출하여 제공할 수 있을 뿐만 아니라 데이터의 처리 및 저장에 있어서의 효율성을 극대화할 수 있다.In addition, by selectively detecting and storing objects in the user's region of interest, it is possible to extract and provide only necessary information to the user, and to maximize the efficiency in processing and storing data.

도 1은 본 발명의 실시예에 따른 객체 및 상황 정보 제공장치의 각 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1의 객체 및 상황 정보 제공장치를 위해 사용되는 예시적인 웨어러블 디바이스를 개략적으로 나타낸 도면이다.
도 3은 도 1의 객체 및 상황 정보 제공장치의 각 구성을 통해 수행되는 객체 및 상황 정보 제공방법을 개략적으로 나타낸 순서도이다.
도 4는 도 1의 응시 정보 추정부에서 응시 정보를 추정하는 과정을 개략적으로 나타낸 순서도이다.
도 5는 도 1의 객체 정보 검출부에서 관심 영역 내의 객체 정보를 검출하는 과정을 개략적으로 나타낸 순서도이다.
도 6은 도 1의 객체 지도 생성부에서 객체의 특징점들을 이용하여 객체 간 상대 위치를 보정하는 과정을 개략적으로 나타낸 순서도이다.
도 7은 도 1의 객체 중요도 분석부에서 객체의 중요도를 계산하는 과정을 개략적으로 나타낸 순서도이다.
도 8은 도 1의 시지각 행동 분석부에서 사용자 행동을 분류하는 과정을 개략적으로 나타낸 순서도이다.
도 9는 도 8의 사용자의 행동이 정보 탐색 동작으로 분류되는 과정을 개략적으로 나타낸 순서도이다.
도 10은 도 8의 사용자의 행동이 정보 등록 동작으로 분류되는 과정을 개략적으로 나타낸 순서도이다.
도 11은 도 1의 객체 및 상황 정보 저장부에서 사용자의 시지각 행동 분석 및 객체의 중요도에 따른 객체 및 상황 정보를 저장하는 과정을 개략적으로 나타낸 순서도이다.
도 12는 도 1의 객체 및 상황 정보 제공부에서 객체 및 상황 정보를 사용자에게 제공하는 과정을 개략적으로 나타낸 순서도이다.
도 13은 본 발명의 실시예에 따른 객체 정보 검출부가 관심 영역 내의 객체 정보를 검출하는 것을 예시적으로 나타낸 도면이다.
도 14는 본 발명의 실시예에 따른 객체 정보 검출부가 관심 영역을 정의하기 위한 실제 객체와 관심 영역과의 관계를 예시적으로 나타낸 도면이다.
도 15는 본 발명의 실시예에 따른 객체 정보 검출부가 인공신경망을 구성 및 학습하여 객체 정보를 검출하는 것을 예시적으로 나타낸 도면이다.
도 16은 본 발명의 실시예에 따른 객체 지도 생성부가 객체의 특징점들 사이, 및 사용자와 객체 사이의 상대 위치를 보정하는 것을 예시적으로 나타낸 도면이다.
도 17은 본 발명의 실시예에 따른 객체 중요도 분석부가 객체의 중요도를 분석하는 것을 예시적으로 나타낸 도면이다.
도 18은 본 발명의 실시예에 따른 객체 및 상황 정보 저장부가 사용자의 응시점 움직임에 따라 어느 범위에 걸친 객체를 찾는지를 판단하는 것을 예시적으로 나타낸 도면이다.
도 19는 본 발명의 실시예에 따른 객체 및 상황 정보 제공부가 전역 정보 탐색, 지역 정보 탐색, 및 상황 정보 탐색의 유형으로 나누어 객체 및 상황 정보를 사용자에게 제공하는 것을 예시적으로 나타낸 도면이다.
도 20은 본 발명의 실시예에 따른 객체 및 상황 정보 제공부가 객체 정보를 우선순위를 두고 사용자에게 제공하는 것을 예시적으로 나타낸 도면이다.1 is a diagram schematically showing each configuration of an apparatus for providing object and context information according to an embodiment of the present invention.
FIG. 2 is a diagram schematically illustrating an exemplary wearable device used for the apparatus for providing object and context information of FIG. 1 .
3 is a flowchart schematically illustrating a method of providing object and context information performed through each configuration of the apparatus for providing object and context information of FIG. 1 .
4 is a flowchart schematically illustrating a process of estimating gaze information by the gaze information estimator of FIG. 1 .
FIG. 5 is a flowchart schematically illustrating a process of detecting object information in a region of interest by the object information detector of FIG. 1 .
FIG. 6 is a flowchart schematically illustrating a process of correcting a relative position between objects using feature points of an object in the object map generator of FIG. 1 .
FIG. 7 is a flowchart schematically illustrating a process of calculating the importance of an object by the object importance analyzer of FIG. 1 .
FIG. 8 is a flowchart schematically illustrating a process of classifying user behavior in the visual perception behavior analyzer of FIG. 1 .
9 is a flowchart schematically illustrating a process in which the user's action of FIG. 8 is classified as an information search action.
10 is a flowchart schematically illustrating a process in which the user's behavior of FIG. 8 is classified as an information registration operation.
11 is a flowchart schematically illustrating a process of analyzing a user's visual perception behavior and storing the object and context information according to the importance of the object in the object and context information storage unit of FIG. 1 .
12 is a flowchart schematically illustrating a process in which the object and context information providing unit of FIG. 1 provides object and context information to a user.
13 is a diagram exemplarily illustrating that the object information detection unit detects object information in an ROI according to an embodiment of the present invention.
14 is a diagram exemplarily illustrating a relationship between a real object and an ROI for an object information detector to define an ROI according to an embodiment of the present invention.
15 is a diagram exemplarily illustrating that the object information detection unit detects object information by configuring and learning an artificial neural network according to an embodiment of the present invention.
16 is a diagram exemplarily showing that the object map generator corrects the relative positions between feature points of an object and between a user and an object according to an embodiment of the present invention.
17 is a diagram exemplarily illustrating that the object importance analysis unit analyzes the importance of an object according to an embodiment of the present invention.
18 is a diagram exemplarily illustrating that the object and context information storage unit according to an embodiment of the present invention determines in which range an object is searched according to a movement of a user's gaze point.
19 is a diagram exemplarily illustrating that the object and context information providing unit provides objects and context information to a user by dividing it into global information search, local information search, and context information search types according to an embodiment of the present invention.
20 is a diagram exemplarily illustrating that the object and context information providing unit prioritizes object information and provides it to a user according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, detailed contents for carrying out the present invention will be described with reference to the accompanying drawings. In the description of the present invention, when it is determined that the subject matter of the present invention may be unnecessarily obscured as it is obvious to those skilled in the art with respect to related known functions, the detailed description thereof will be omitted.

본 명세서에서 웨어러블 디바이스라 함은, 예를 들어 사용자가 장착할 수 있는 안경 형태의 임의의 디바이스를 포함하지만, 이에 제한되지 않고 사용자가 착용할 수 있는 임의의 디바이스를 모두 포함하는 의미로 사용된다. 또한, 이는 사용자가 직접적으로 착용하는 경우뿐만 아니라, 간접적으로 착용하는 경우를 포함할 수 있으며, 임의의 다른 구성을 매개하면서 착용하는 경우도 포함할 수 있다.In the present specification, the wearable device includes, for example, any device in the form of glasses that a user can wear, but is not limited thereto, and is used to include all devices that a user can wear. In addition, this may include a case in which the user directly wears it, as well as a case in which the user wears it indirectly, and may include a case where the user wears it while mediating any other configuration.

또한, 본 발명의 실시예에 따른 객체 및 상황 정보 제공장치는 웨어러블 디바이스와 별도로 구성된 서버와 같은 장치일 수 있지만, 이에 제한되지 않고, 웨어러블 디바이스에 부착되거나 일체로 구성될 수 있고, 또는 웨어러블 디바이스 내의 처리 장치일 수도 있다.In addition, the apparatus for providing object and context information according to an embodiment of the present invention may be an apparatus such as a server configured separately from the wearable device, but is not limited thereto, and may be attached to the wearable device or configured integrally, or within the wearable device. It may be a processing device.

또한, 본 명세서에서 사용자와 객체와의 관계는 1:1, 1:n, n:n의 관계가 모두 가능하며, 사용자 또는 객체라는 용어가 사용될 때에는 상기 의미를 내포하는 것으로 해석되어야 한다.Also, in the present specification, the relationship between the user and the object may be 1:1, 1:n, or n:n, and when the term user or object is used, it should be interpreted as implying the above meaning.

도 1은 본 발명의 실시예에 따른 객체 및 상황 정보 제공장치의 각 구성을 개략적으로 나타낸 도면이다. 또한, 도 2는 도 1의 객체 및 상황 정보 제공장치를 위해 사용되는 예시적인 웨어러블 디바이스를 개략적으로 나타낸 도면이다. 또한, 도 3은 도 1의 객체 및 상황 정보 제공장치의 각 구성을 통해 수행되는 객체 및 상황 정보 제공방법을 개략적으로 나타낸 순서도이다.1 is a diagram schematically showing each configuration of an apparatus for providing object and context information according to an embodiment of the present invention. Also, FIG. 2 is a diagram schematically illustrating an exemplary wearable device used for the apparatus for providing object and context information of FIG. 1 . Also, FIG. 3 is a flowchart schematically illustrating a method for providing object and context information performed through each configuration of the apparatus for providing object and context information of FIG. 1 .

도 1 및 도 3을 참조하면, 본 발명의 객체 정보 제공장치는 응시 정보 추정부(10), 객체 정보 검출부(20), 객체 지도 생성부(30), 객체 중요도 분석부(40), 시지각 행동 분석부(50), 객체 및 상황 정보 저장부(60), 및 객체 및 상황 정보 제공부(70)를 포함할 수 있다.1 and 3, the object information providing apparatus of the present invention includes a gaze information estimator 10, an object information detector 20, an object map generator 30, an object importance analyzer 40, and visual perception. It may include a behavior analysis unit 50 , an object and context information storage unit 60 , and an object and context information providing unit 70 .

응시 정보 추정부(10)은 동공의 위치에 대한 정보를 통해 사용자의 시선에 따른 응시 정보를 추정할 수 있다(s10).The gaze information estimator 10 may estimate gaze information according to the user's gaze through the information on the position of the pupil ( S10 ).

객체 정보 검출부(20)는 외부 환경에 대한 영상 중, 사전에 정해진 기준에 따라 정의된 관심 영역 내의 객체 정보를 검출할 수 있다(s20).The object information detector 20 may detect object information in an ROI defined according to a predetermined criterion from among the images of the external environment ( S20 ).

객체 지도 생성부(30)는 검출된 객체에 대응하는 외부 환경에 대한 영상 내의 복수의 특징점을 추출하고, 상기 특징점들 사이의 상대 위치를 보정하여 객체 지도를 생성할 수 있다(s30).The object map generator 30 may extract a plurality of feature points from an image of an external environment corresponding to the detected object, and may generate an object map by correcting relative positions between the feature points (s30).

객체 중요도 분석부(40)는 사용자의 응시 정보를 매개변수로 하여 객체의 중요도를 계산할 수 있다(s40).The object importance analysis unit 40 may calculate the importance of the object by using the user's gaze information as a parameter (s40).

시지각 행동 분석부(50)는 외부 환경에 대한 영상, 응시 정보, 객체 정보, 및 사용자 입력 정보를 매개변수로 하여 사용자의 시지각 행동을 분류할 수 있다(s50).The visual perceptual behavior analyzer 50 may classify the user's visual perceptual behavior by using the image of the external environment, gaze information, object information, and user input information as parameters (s50).

객체 및 상황 정보 저장부(60)는 시지각 행동 분석부(50)의 사용자의 행동 분류에 따라 객체 정보와 외부 환경에 대한 영상을 저장할 수 있다(s60).The object and context information storage unit 60 may store object information and an image of the external environment according to the user's behavior classification of the visual perception behavior analyzer 50 ( S60 ).

객체 및 상황 정보 제공부(70)는 시지각 행동 분석부(50)의 사용자의 행동 분류에 따라 객체 정보 및 외부 환경에 대한 영상을 사용자에게 제공할 수 있다(s70).The object and context information providing unit 70 may provide object information and an image of the external environment to the user according to the user's behavior classification of the visual perceptual behavior analysis unit 50 ( S70 ).

다만, 본 명세서에서 사용되는 '객체 정보'란, 특정한 객체 정보에 한정되는 의미로 사용되는 것이 아니며, 사용자의 행동 분류 등의 각 상황에 따른 서로 다른 객체 정보를 의미할 수 있다. 예를 들면, 사용자의 행동에 따라 객체 및 상황 정보 저장부(60)에서 저장되는 정보와 객체 및 상황 정보 제공부(70)에서 제공되는 정보는 서로 다를 수 있다.However, 'object information' as used herein is not used in a sense limited to specific object information, but may mean different object information according to each situation, such as user behavior classification. For example, information stored in the object and context information storage unit 60 and information provided by the object and context information providing unit 70 may be different according to a user's behavior.

웨어러블 디바이스를 이용한 상기 객체 및 상황 정보 제공장치의 상세한 구성은 다음과 같다.A detailed configuration of the apparatus for providing object and context information using a wearable device is as follows.

본 발명의 실시예에 따른 객체 및 상황 정보 제공장치는 도 2에 예시적으로 도시된 웨어러블 디바이스에 의하여 외부 환경에 대한 영상 및 사용자의 동공의 위치에 대한 정보를 수신받을 수 있다. 다만, 도 2에 도시된 웨어러블 디바이스는 단지 예시적으로 도시된 것일 뿐, 이에 한정되지 않으며 공지의 다양한 웨어러블 디바이스의 형태가 적용될 수 있다.The apparatus for providing object and context information according to an embodiment of the present invention may receive an image of the external environment and information on the location of the user's pupil by the wearable device exemplarily shown in FIG. 2 . However, the wearable device shown in FIG. 2 is merely illustrative and not limited thereto, and various known wearable device types may be applied.

도 2의 (a)를 참조하면, 본 발명에 사용되는 웨어러블 디바이스는 예를 들어 증강현실 기능을 갖춘 안경 형태의 디바이스 등으로 구성될 수 있다. 또한, 상기 웨어러블 디바이스는 사용자의 시야의 적어도 일부를 포함하는 이미지를 포착하도록 구성된 전방 카메라(1)를 포함할 수 있다. 전방 카메라(1)는 사용자의 시선이 향하는 방향으로 프레임 상에 직간접적으로 장착될 수 있다.Referring to FIG. 2A , the wearable device used in the present invention may be configured as, for example, a device in the form of glasses having an augmented reality function. Further, the wearable device may include a front camera 1 configured to capture an image comprising at least a portion of the user's field of view. The front camera 1 may be directly or indirectly mounted on the frame in a direction in which the user's gaze is directed.

또한, 도 2의 (b)를 참조하면, 본 발명에 사용되는 웨어러블 디바이스는 좌측 및 우측 동공 카메라(2, 3)를 포함할 수 있다. 좌측 및 우측 동공 카메라(2, 3)는 사용자에 의해 착용될 때 동공의 이미지를 검출하여 동공 이미지 신호를 생성할 수 있다. 좌측 및 우측 동공 카메라(2, 3)는 사용자의 동공을 향하는 방향으로 프레임 상에 직간접적으로 장착될 수 있다.Also, referring to FIG. 2B , the wearable device used in the present invention may include left and right pupil cameras 2 and 3 . The left and right pupil cameras 2 , 3 may generate a pupil image signal by detecting an image of the pupil when worn by the user. The left and right pupil cameras 2 and 3 may be directly or indirectly mounted on the frame in a direction toward the user's pupil.

또한, 상기 웨어러블 디바이스는 사용자에게 필요한 정보를 디스플레이하는 투명 또는 반투명 디스플레이(4)를 포함할 수 있다. 나아가, 사용자의 음성을 검출하여 음향 신호를 생성하도록 구성된 마이크로폰(미도시)을 더 포함할 수도 있다.In addition, the wearable device may include a transparent or translucent display 4 for displaying information necessary for the user. Furthermore, it may further include a microphone (not shown) configured to detect a user's voice and generate an acoustic signal.

상기 웨어러블 디바이스는 전방 카메라(1), 좌측 및 우측 동공 카메라(2, 3), 또는 마이크로폰 등으로부터 사용자의 행동 및 상태에 관한 정보를 취득할 수 있으며, 상기 정보를 본 발명의 객체 및 상황 정보 제공장치에 전송할 수 있다.The wearable device may acquire information about the user's behavior and status from the front camera 1, the left and right pupil cameras 2 and 3, or a microphone, and provides the information about the object and context of the present invention can be sent to the device.

예를 들어, 본 발명의 객체 및 상황 정보 제공장치는 상기 웨어러블 디바이스의 전방 카메라(1)로부터 얻은 사용자의 시선 방향으로의 복수개의 객체가 포함된 외부 환경에 대한 영상에 대한 정보와, 좌측 및 우측 동공 카메라(2, 3)로부터 얻은 사용자의 동공의 위치에 대한 정보를 수신할 수 있다.For example, the object and context information providing apparatus of the present invention provides information about an image of an external environment including a plurality of objects in the user's gaze direction obtained from the front camera 1 of the wearable device, and left and right Information on the position of the user's pupil obtained from the pupil cameras 2 and 3 may be received.

본 발명의 객체 및 상황 정보 제공장치는 수신된 객체 및 상황 정보를 분석 및 추출한 후 필요한 상황 정보와 객체 정보만을 사용자에게 제공할 수 있다. 이하에서는 본 발명의 실시예에 따른 객체 및 상황 정보 제공장치가 상기 웨어러블 디바이스로부터 제공받은 정보를 기초로 하여 이를 처리하기 위한 구성을 차례로 설명한다.The object and context information providing apparatus of the present invention may provide only necessary context information and object information to the user after analyzing and extracting the received object and context information. Hereinafter, a configuration for processing the object and context information providing apparatus according to an embodiment of the present invention based on the information received from the wearable device will be described in turn.

도 4는 도 1의 응시 정보 추정부에서 응시 정보를 추정하는 과정을 개략적으로 나타낸 순서도이다.4 is a flowchart schematically illustrating a process of estimating gaze information by the gaze information estimator of FIG. 1 .

응시 정보 추정부(10)는 좌측 및 우측 동공 카메라(2, 3)로부터 얻어진 상기 동공의 위치에 대한 정보를 통해 사용자의 시선에 따른 응시 정보를 추정할 수 있다(s10). 응시 정보는 예를 들어, 동공의 위치에 대한 정보뿐만 아니라 푸르킨예 상(purkinje images), 시선 수렴 정보 등을 이용하여 얻어진 응시 위치, 응시 빈도, 단속 운동 여부, 또는 응시 깊이 중 적어도 어느 하나를 포함할 수 있다. 또한, 응시 정보에는 시선 고정 여부, 시선 고정 시간 또는 시선 추적 여부 등이 더 포함될 수도 있다.The gaze information estimator 10 may estimate gaze information according to the user's gaze through the information on the location of the pupil obtained from the left and right pupil cameras 2 and 3 ( S10 ). The gaze information includes, for example, at least one of gaze position, gaze frequency, saccade, or gaze depth obtained using Purkinje images, gaze convergence information, etc. as well as information on the position of the pupil. can do. In addition, the gaze information may further include whether the gaze is fixed, whether the gaze is fixed time or whether the gaze is tracked.

도 4를 참조하면, 상기 응시 정보는 다음과 같은 과정을 통해 추정될 수 있다.Referring to FIG. 4 , the gaze information may be estimated through the following process.

먼저, 응시 정보 추정부(10)는 좌측 또는 우측 동공 카메라(2, 3)로부터 취득된(s2, s3) 동공 촬영 영상으로부터 푸르킨예 상과 동공을 검출할 수 있다(s11). 또한 상기 동공 촬영 영상과 전방 카메라 간 영상 캘리브레이션을 수행하고(s12), 상기 검출된 동공에 관한 정보와 상기 캘리브레이션 된 전방 카메라의 시선 영상을 이용하여 수렴 지점을 추정할 수 있다(s13).First, the gaze information estimator 10 may detect the Purkinje image and the pupil from the pupil images acquired from the left or right pupil cameras 2 and 3 (s2, s3) (s11). In addition, image calibration between the pupil-captured image and the front camera may be performed (s12), and a convergence point may be estimated using the detected information on the pupil and the calibrated gaze image of the front camera (s13).

그 다음, 상기 검출된 푸르킨예 상, 동공 정보, 시선 수렴 정보를 이용하여 단안 외란 기반의 응시정보를 추정할 수 있다(s14). 이 때, 활용되는 정보는 상기 제시된 정보로 국한하지 않는다.Then, the gaze information based on monocular disturbance may be estimated using the detected Purkinje image, pupil information, and gaze convergence information (s14). At this time, the information used is not limited to the information presented above.

또는, 응시 정보 추정부(10)는 좌측 동공 카메라(2)로부터 취득된 동공 촬영 영상, 우측 동공 카메라(3)로부터 취득된 동공 촬영 영상, 및 전방 카메라에서 촬영된(s1) 시선 영상 간 캘리브레이션을 수행하고(s12), 상기 좌측 및 우측 동공 카메라로부터 취득된 시선 영상을 이용하여 양안 수렴 지점을 추정할 수도 있다(s13).Alternatively, the gaze information estimator 10 performs a calibration between the pupil image obtained from the left pupil camera 2, the pupil image obtained from the right pupil camera 3, and the gaze image captured from the front camera (s1). (s12), and the binocular convergence point may be estimated using the gaze images acquired from the left and right pupil cameras (s13).

그 다음, 상기 검출된 공동 정보, 시선 수렴 정보 등을 이용하여 응시정보를 추정할 수도 있다(s14).Then, gaze information may be estimated using the detected joint information, gaze convergence information, and the like (s14).

상기 응시정보는 2차원 응시 위치, 응시 깊이, 시선 고정 여부에 관한 정보, 추적 응시점 정보, 및 단속 운동 여부에 관한 정보를 포함할 수 있다.The gaze information may include a two-dimensional gaze position, a gaze depth, information on whether the gaze is fixed, information on a tracking gaze point, and information on whether a saccade movement is performed.

도 5는 도 1의 객체 정보 검출부에서 관심 영역 내의 객체 정보를 검출하는 과정을 개략적으로 나타낸 순서도이다. 또한, 도 13은 본 발명의 실시예에 따른 객체 정보 검출부가 관심 영역 내의 객체 정보를 검출하는 것을 예시적으로 나타낸 도면이다.FIG. 5 is a flowchart schematically illustrating a process of detecting object information in a region of interest by the object information detector of FIG. 1 . 13 is a diagram exemplarily illustrating that the object information detection unit detects object information in an ROI according to an embodiment of the present invention.

객체 정보 검출부(20)는 전방 카메라(1)로부터 얻어진 상기 외부 환경에 대한 영상 중, 사전에 정해진 기준에 따라 정의된 관심 영역 내의 객체 정보를 검출할 수 있다(s20). 관심 영역은 일정 면적으로 갖는 직사각형 등으로 정의되거나, 또는 객체의 경계를 따른 형태로 정의될 수도 있다.The object information detection unit 20 may detect object information in a region of interest defined according to a predetermined criterion from among the images of the external environment obtained from the front camera 1 ( s20 ). The region of interest may be defined as a rectangle having a predetermined area, or may be defined as a shape along the boundary of an object.

도 5 및 도 13을 참조하면, 상기 관심 영역 및 관심 영역 내의 객체 목록은 다음과 같은 과정을 통해 정의될 수 있다.5 and 13 , the ROI and a list of objects in the ROI may be defined through the following process.

먼저, 객체 정보 검출부(20)는 전방 카메라(1)로부터 취득된 시선 영상 및 상기 추정된 응시 정보를 이용하여 관심 영역을 생성할 수 있다(s21). 이와 같이 설정된 관심 영역은 사용자와 객체 사이의 거리가 반영된 3차원 관심 영역일 수 있다.First, the object information detector 20 may generate an ROI using the gaze image acquired from the front camera 1 and the estimated gaze information (s21). The ROI set as described above may be a three-dimensional ROI in which the distance between the user and the object is reflected.

관심 영역은 사용자가 관심을 보이는 객체가 포함된 영역이며, 객체 정보 검출부(20)는 예를 들어, 사용자의 응시 위치, 응시 빈도, 또는 응시 깊이 등의 사용자의 응시 정보 등을 통하여 관심 영역을 생성할 수 있다.The region of interest is a region including an object in which the user is interested, and the object information detector 20 generates the region of interest through, for example, the user's gaze information such as the user's gaze position, gaze frequency, or gaze depth. can do.

또한, 객체 정보 검출부(20)는 전방 카메라(1)에 의해 취득된 2차원 주변 영상으로부터 해당 객체의 폭 길이, 영상의 너비, 카메라 수평 화각, 및 사용자의 응시 깊이 등을 매개변수로 하여 3차원 관심 영역을 도출하고, 관심 영역의 폭이 보정되도록 할 수 있다.In addition, the object information detection unit 20 is a three-dimensional (3D) using the width and length of the object, the width of the image, the camera horizontal angle of view, and the user's gaze depth from the two-dimensional surrounding image acquired by the front camera 1 as parameters. A region of interest may be derived, and the width of the region of interest may be corrected.

이때, 객체 정보 검출부(20)는 깊이 영상, 영상의 색상, 및 영상의 엣지 등을 매개변수로 더 포함하여 관심 영역의 폭이 추가로 보정되도록 할 수도 있다.In this case, the object information detector 20 may further include a depth image, an image color, and an image edge as parameters to further correct the width of the ROI.

도 13의 (a)를 참조하면, 객체 정보 검출부(20)는 상기 응시 깊이를 매개변수로 하여 관심 영역을 정의할 수 있다. 즉, 응시 깊이가 크면 사용자가 해당 객체를 유의깊게 살펴본 것이 되며, 이에 따라 해당 객체에 대하여 사용자의 초점을 맞추기 위하여 관심 영역을 작게 설정할 필요가 있기 때문이다.Referring to FIG. 13A , the object information detector 20 may define an ROI using the gaze depth as a parameter. That is, if the gaze depth is large, the user has carefully looked at the object, and accordingly, it is necessary to set the region of interest to be small in order to focus the user on the object.

예를 들어, 응시 깊이가 상대적으로 큰 경우, 객체 정보 검출부(20)는 사용자와 해당 객체와의 거리를 고려하여 상기 응시 깊이에 따라 해당 객체의 관심 영역이 상대적으로 작게 정의될 수 있다. 반면에, 응시 깊이가 상대적으로 작은 경우, 객체 정보 검출부(20)는 사용자와 해당 객체와의 거리를 고려하여 상기 응시 깊이에 따라 해당 객체의 관심 영역이 상대적으로 크게 정의될 수 있다. 즉, 사용자의 응시 깊이가 해당 객체의 관심 영역을 정의하는 매개변수가 될 수 있다.For example, when the gaze depth is relatively large, the object information detector 20 may define a relatively small ROI of the corresponding object according to the gaze depth in consideration of the distance between the user and the corresponding object. On the other hand, when the gaze depth is relatively small, the object information detecting unit 20 may define the ROI of the corresponding object relatively large according to the gaze depth in consideration of the distance between the user and the corresponding object. That is, the user's gaze depth may be a parameter defining the ROI of the corresponding object.

상세하게는, 응시 깊이에 따라 해당 객체의 관심 영역이 상대적으로 달라지므로, 응시 깊이가 큰 관심 영역의 폭은 상대적으로 작게 설정하고, 응시 깊이가 작은 관심 영역의 폭은 상대적으로 크게 설정하여, 응시 깊이를 관심 영역의 폭에 반영할 수 있다.In detail, since the region of interest of the object is relatively different depending on the gaze depth, the width of the region of interest with a large gaze depth is set to be relatively small, and the width of the region of interest with a small gaze depth is set to be relatively large. The depth may be reflected in the width of the region of interest.

객체 정보 검출부(20)에서는 객체의 폭 길이, 영상의 너비, 및 카메라 수평 화각을 매개변수로 하여 관심 영역의 폭이 정의될 수 있다.In the object information detection unit 20 , the width of the region of interest may be defined using the width and length of the object, the width of the image, and the horizontal angle of view of the camera as parameters.

도 14는 본 발명의 실시예에 따른 객체 정보 검출부가 관심 영역을 정의하기 위한 실제 객체와 관심 영역과의 관계를 예시적으로 나타낸 도면이다.14 is a diagram exemplarily illustrating a relationship between a real object and an ROI for an object information detector to define an ROI according to an embodiment of the present invention.

도 14를 참조하면, 예를 들어, 사용자의 응시 위치 및 응시 깊이와 같은 응시 정보를 기초로 하여 관심 영역이 다음과 같이 정의될 수 있다. 관심 영역은 3차원으로 이루어질 수도 있다.Referring to FIG. 14 , for example, based on gaze information such as a gaze position and gaze depth of a user, an ROI may be defined as follows. The region of interest may be formed in three dimensions.

이는, 다음과 같은 과정으로부터 도출된다.This is derived from the following process.

여기에서, 'ROIw(d)'는 사용자의 응시 깊이를 통해 사용자가 거리 'd'를 바라볼 때의 관심 영역 폭(pix)을 의미한다. 또한, 'Ow'는 해당 객체의 최대 폭 길이(m)를 의미한다. 또한, 'R^wcam'은 외부 환경에 대한 영상의 너비(pix)를 의미한다. 또한, 'HFOV'는 전방 카메라(1)의 수평 화각(H-FOV)을 의미한다. 또한, 'd'는 사용자의 응시 깊이를 의미한다. 상기 매개변수들을 통해 도출된 'ROIw(d)'는 거리 'd'를 바라볼 때의 관심 영역의 폭(pix)을 의미한다.Here, 'ROIw(d)' refers to the ROI width (pix) when the user looks at the distance 'd' through the user's gaze depth. In addition, 'Ow' means the maximum width and length (m) of the corresponding object. In addition, 'R ^w cam' means the width (pix) of the image with respect to the external environment. Also, 'HFOV' means a horizontal angle of view (H-FOV) of the front camera 1 . In addition, 'd' refers to the user's gaze depth. 'ROIw(d)' derived through the above parameters means the width pix of the region of interest when looking at the distance 'd'.

이에 따르면, 거리 'd'를 바라볼 때의 관심 영역의 폭 'ROIw(d)'는 해당 객체의 최대 폭 길이 'Ow', 영상 너비 'R^wcam', 및 전방 카메라(1)의 수평 화각 'HFOV'에 비례하며, 사용자의 응시 깊이 'd'에 반비례한다.According to this, the width 'ROIw(d)' of the region of interest when looking at the distance 'd' is the maximum width and length 'Ow' of the object, the image width 'R ^w cam', and the horizontal angle of view of the front camera 1 . It is proportional to 'HFOV' and inversely proportional to the user's gaze depth 'd'.

예를 들어, 상대적으로 폭이 큰 객체에는 상대적으로 큰 관심 영역이 설정되며, 상대적으로 폭이 작은 객체에는 상대적으로 작은 관심 영역이 설정될 수 있다. 이때, 사용자의 응시 깊이가 상대적으로 큰 객체에는 상대적으로 작은 관심 영역이 설정되며, 사용자의 응시 깊이가 상대적으로 작은 객체에는 상대적으로 큰 관심 영역이 설정될 수 있다.For example, a relatively large ROI may be set to an object having a relatively large width, and a relatively small ROI may be set to an object having a relatively small width. In this case, a relatively small ROI may be set for an object having a relatively large user's gaze depth, and a relatively large ROI may be set for an object having a relatively small user's gaze depth.

다만, 3차원 관심 영역이 정의되는 방식은 이에 한하는 것은 아니며, 사용자의 응시 깊이 또는 응시 빈도와 같은 응시 정보, 해당 객체의 폭 등의 기하학적 정보, 및 전방 카메라 영상의 색상 또는 엣지 중의 어느 일부를 매개변수로 하여 임의의 방식으로 정의될 수도 있다.However, the method in which the 3D region of interest is defined is not limited thereto, and any part of gaze information such as the user's gaze depth or gaze frequency, geometric information such as the width of the corresponding object, and color or edge of the front camera image is not limited thereto. It may be defined in any way as a parameter.

그 다음, 상기 생성된 관심 영역을 이용하여 관심 영역 내의 객체 정보를 검출할 수 있다(s22). 또한, 상기 관심 영역 내의 객체 목록을 생성하고, 이를 사전에 정해진 특정 카테고리별로 분류할 수 있다(s23).Then, object information in the ROI may be detected using the generated ROI (s22). In addition, a list of objects in the region of interest may be created and classified according to a predetermined specific category (s23).

도 13의 (b)를 참조하면, 객체 정보 검출부(20)는 관심영역에 속하지 않은 객체를 검출 대상에서 제외할 수 있다. 즉, 상기 구성에 따라 응시 깊이가 큰 관심 영역의 폭은 상대적으로 작게 설정되어, 그 이외의 비관심 영역을 상대적으로 넓게 제외할 수 있다. 반면에, 응시 깊이가 상대적으로 작은 영역의 폭은 상대적으로 크게 설정되어, 그 이외의 비관심 영역을 상대적으로 작게 제외할 수 있다. 이에 따라, 사용자가 응시 깊이가 큰 관심 영역을 보다 선별적으로 관찰할 수 있도록 한다.Referring to FIG. 13B , the object information detection unit 20 may exclude an object that does not belong to an ROI from a detection target. That is, according to the configuration, the width of the region of interest having a large gaze depth is set to be relatively small, so that the other non-interest regions can be excluded relatively wide. On the other hand, the width of the region having a relatively small gaze depth is set to be relatively large, so that the other non-interest regions may be excluded to be relatively small. Accordingly, the user can more selectively observe an ROI having a large gaze depth.

또한, 관심영역에 속하지 않은 객체를 검출 영역에서 제외함으로써, 사용자에게 자신에게 필요한 관심 영역만을 선별적으로 제공할 수 있을 뿐만 아니라, 전체 검출 속도를 개선시키고 본 발명에 따른 객체 및 상황 정보 제공장치가 사용자의 시선에 따라 즉각적으로 반응할 수 있도록 한다.In addition, by excluding objects that do not belong to the region of interest from the detection region, it is possible to selectively provide only the region of interest necessary for the user to the user, improve the overall detection speed, and provide the object and context information providing apparatus according to the present invention. It allows you to react immediately according to the user's gaze.

도 15는 본 발명의 실시예에 따른 객체 정보 검출부가 인공신경망을 구성 및 학습하여 객체 정보를 검출하는 것을 예시적으로 나타낸 도면이다.15 is a diagram exemplarily illustrating that the object information detection unit detects object information by configuring and learning an artificial neural network according to an embodiment of the present invention.

도 15를 참조하면, 본 발명의 객체 정보 검출부(20)는 정의된 관심 영역 내의 객체의 크기 및 텍스쳐, 시공간적 정보를 활용하여 인공신경망을 구성 및 학습하여 객체 정보를 검출할 수 있다. 여기에는, 공지의 인공신경망에 대한 원리가 사용될 수 있다. 특히, 객체 정보 검출부(20)의 검출 성능 및 속도를 고려하여 인공신경망에 대한 단일 단계 방식(one-stage method) 원리가 적용될 수 있다. 이때, 객체 정보 검출부(20)는 입력된 영상으로부터 적응적 관심영역을 추출한 후, 심층 신경망(deep neural network)을 통하여 필요한 해당 객체 정보를 검출할 수 있다.Referring to FIG. 15 , the object information detection unit 20 of the present invention may detect object information by constructing and learning an artificial neural network using the size, texture, and spatiotemporal information of an object within a defined ROI. Here, the principle of a known artificial neural network can be used. In particular, a one-stage method principle for the artificial neural network may be applied in consideration of the detection performance and speed of the object information detection unit 20 . In this case, the object information detector 20 may extract the adaptive ROI from the input image and then detect the required object information through a deep neural network.

그 다음, 이에 따라 검출된 객체 목록을 경계 박스와 그에 따른 카테고리로 나누어 분류할 수 있다.Then, it is possible to classify the detected object list by dividing it into a bounding box and a corresponding category.

도 6은 도 1의 객체 지도 생성부에서 객체의 특징점들 사이의 상대 위치를 보정하는 과정을 개략적으로 나타낸 순서도이다. 또한, 도 16은 본 발명의 실시예에 따른 객체 지도 생성부가 객체의 특징점들 사이, 및 사용자와 객체 사이의 상대 위치를 보정하는 것을 예시적으로 나타낸 도면이다.6 is a flowchart schematically illustrating a process of correcting a relative position between feature points of an object in the object map generator of FIG. 1 . Also, FIG. 16 is a diagram exemplarily showing that the object map generator corrects the relative positions between feature points of an object and between a user and an object according to an embodiment of the present invention.

본 발명의 객체 정보 제공장치는 객체 지도 생성부(30)를 더 포함할 수 있다. 객체 지도 생성부(30)는 검출된 객체에 대응하는 외부 환경에 대한 영상 내의 복수의 특징점을 추출하고, 이를 통해 상기 특징점들 사이의 상대 위치를 보정할 수 있다(s30).The object information providing apparatus of the present invention may further include an object map generator 30 . The object map generator 30 may extract a plurality of feature points in an image of an external environment corresponding to the detected object, and correct a relative position between the feature points through this ( s30 ).

도 6 및 도 16을 참조하면, 상기 객체 지도는 다음과 같은 과정을 통해 생성될 수 있다.6 and 16 , the object map may be generated through the following process.

먼저, 객체 지도 생성부(30)는 전방 카메라(1)로부터 취득된 시선 영상 및 상기 객체 목록을 이용하여 객체의 특징점을 추출/추적할 수 있다(s31).First, the object map generator 30 may extract/track a feature point of an object using the gaze image acquired from the front camera 1 and the object list (s31).

도 16의 (a)를 참조하면, 객체 지도 생성부(30)는 검출된 객체에 대응하는 외부 환경에 대한 영상 내의 복수의 특징점을 추출하고, 이를 통해 상기 특징점들 사이의 상대 위치를 보정하여 객체 지도를 생성할 수 있다 예를 들어, 특징점들은 해당 객체의 모서리 부분 또는 돌출부 등의 해당 객체의 시공간적 특징을 분석하기 위한 적절한 임의의 위치로 설정될 수 있다. 객체 지도 생성부(30)는 상기 특징점들 간의 관계를 통해 해당 객체의 시공간적 특징을 분석할 수 있다.Referring to FIG. 16A , the object map generator 30 extracts a plurality of feature points in an image of an external environment corresponding to the detected object, and corrects the relative positions between the feature points through this. A map can be generated. For example, the feature points can be set to any suitable arbitrary positions for analyzing spatiotemporal characteristics of the corresponding object, such as corners or protrusions of the corresponding object. The object map generator 30 may analyze the spatiotemporal characteristics of the corresponding object through the relationship between the feature points.

그 다음, 상기 추출/추적된 객체의 특징점에 이에 상기 추정된 응시 정보를 결합하여 사용자와 객체 간의 상대 위치를 보정할 수 있다(s32). 여기에는 상술한 바와 같은 관심 영역의 정의에 사용되었던 방식이 적용될 수 있으며, 또는 응시 깊이만을 통해 사용자와 객체 사이의 상대 위치를 보정하는 방식이 적용될 수도 있다.Then, the relative position between the user and the object may be corrected by combining the estimated gaze information with the extracted/tracked feature point of the object (s32). Here, the method used for defining the region of interest as described above may be applied, or a method of correcting the relative position between the user and the object through only the gaze depth may be applied.

다시 말하면, 객체 지도 생성부(30)는 검출된 해당 객체에 대응되는 입력된 영상 내의 복수의 특징점을 추출 및 추적하여 상기 특징점들을 통해 해당 객체 또는 객체와 객체 사이의 시공간적 특징 관계를 분석하고, 동시에 사용자의 응시 깊이 및 고정 응시점 정보를 통해 사용자와 객체 사이의 거리를 각각 측정할 수 있다.In other words, the object map generating unit 30 extracts and tracks a plurality of feature points in the input image corresponding to the detected corresponding object, and analyzes the corresponding object or the spatiotemporal characteristic relationship between the object and the object through the feature points, and at the same time The distance between the user and the object may be measured through the user's gaze depth and fixed gaze point information, respectively.

이에 따라, 객체 지도 생성부(30)는 사용자와 객체 사이의 상대 위치, 및 사용자의 위치를 기준으로 하여 상기 객체들 사이의 상대 위치를 보정할 수 있다.Accordingly, the object map generator 30 may correct the relative position between the user and the object and the relative position between the objects based on the user's position.

도 16의 (b)를 참조하면, 객체 지도 생성부(30)는 사용자의 응시 깊이 정보를 통해 사용자와 객체 간의 상대 위치를 보정할 수 있다. 이때, 객체가 복수개인 경우, 사용자와 복수개의 객체 사이의 거리를 각각 추정할 수 있다. 동시에, 상술한 바와 같은 관심영역의 객체만을 선별하는 방법을 통하여, 사용자와 관심 영역 내에 배치되는 객체와의 거리만을 추정할 수 있다.Referring to FIG. 16B , the object map generator 30 may correct the relative position between the user and the object through the user's gaze depth information. In this case, when there are a plurality of objects, distances between the user and the plurality of objects may be estimated, respectively. At the same time, only the distance between the user and the object disposed in the region of interest can be estimated through the method of selecting only the object of the region of interest as described above.

또한, 객체 지도 생성부(30)는 객체들 사이의 각각의 거리를 측정할 수도 있다. 객체 지도 생성부(30)는 해당 객체의 특징점들과 다른 객체의 특징점들 간의 관계를 통해 해당 객체와 다른 객체의 시공간적 특징을 분석할 수도 있다.Also, the object map generator 30 may measure distances between objects. The object map generator 30 may analyze the spatiotemporal characteristics of the corresponding object and the other object through the relationship between the feature points of the corresponding object and the feature points of the other object.

이에 따라, 도 16의 (c)를 참조하면, 객체 지도 생성부(30)는 사용자의 위치를 기준으로 하여 사용자와 객체들 간의 관계를 객체 지도로 생성할 수 있다. 객체 지도 생성부(30)는 각각의 객체가 사용자의 위치를 기준으로 어디에 위치하는지, 어떠한 객체인지를 나타낼 수 있다. 다만, 이에 한하지 않고, 여기에는 사용자와 객체와의 거리, 또는 각각의 객체 사이의 거리 등의 사용자 및 객체 또는 그 사이의 임의의 정보들이 포함될 수도 있다.Accordingly, referring to (c) of FIG. 16 , the object map generator 30 may generate a relationship between the user and objects as an object map based on the user's location. The object map generator 30 may indicate where each object is located based on the user's location and what kind of object it is. However, the present invention is not limited thereto, and may include user and object or arbitrary information therebetween, such as a distance between a user and an object, or a distance between each object.

도 7은 도 1의 객체 중요도 분석부에서 객체의 중요도를 계산하는 과정을 개략적으로 나타낸 순서도이다. 또한, 도 17은 본 발명의 실시예에 따른 객체 중요도 분석부가 객체의 중요도를 분석하는 것을 예시적으로 나타낸 도면이다.FIG. 7 is a flowchart schematically illustrating a process of calculating the importance of an object by the object importance analyzer of FIG. 1 . Also, FIG. 17 is a diagram exemplarily illustrating that the object importance analysis unit analyzes the importance of an object according to an embodiment of the present invention.

객체 중요도 분석부(40)는 사용자의 시각적 행동, 사용자와 사물 간의 관계, 및 사물과 사물 간의 관계를 매개변수로 하여 객체의 중요도를 계산할 수 있다(s40).The object importance analyzer 40 may calculate the importance of the object by using the user's visual behavior, the relationship between the user and the object, and the relationship between the object and the object as parameters (s40).

도 7 및 도 17을 참조하면, 객체의 중요도는 다음과 같은 과정을 통해 계산될 수 있다.7 and 17 , the importance of an object may be calculated through the following process.

먼저, 객체 중요도 분석부(40)는 상기 산출된 객체 목록, 응시 정보, 및 객체 지도를 종합하여 중요 객체 목록을 생성할 수 있다.First, the object importance analysis unit 40 may generate an important object list by synthesizing the calculated object list, gaze information, and object map.

사용자의 시각적 행동과 관련하여, 객체 중요도 분석부(40)는 검출된 사용자의 시선에 따른 응시 정보를 매개변수로 하여 객체의 중요도를 계산할 수 있다(s40). 상술한 바와 같이, 상기 응시 정보에는 응시 위치, 응시 빈도, 또는 응시 깊이가 포함될 수 있다. 따라서, 객체 중요도 분석부(40)는 객체의 중요도를 응시 위치의 변화량, 응시 빈도, 또는 응시 깊이 변화량과 같은 사용자의 시각적 행동을 분석하여, 이를 매개변수로 객체의 중요도를 계산할 수 있다.In relation to the user's visual behavior, the object importance analysis unit 40 may calculate the importance of the object by using the detected gaze information according to the user's gaze as a parameter (s40). As described above, the gaze information may include a gaze position, a gaze frequency, or a gaze depth. Accordingly, the object importance analyzer 40 analyzes the user's visual behavior, such as the change amount of the gaze position, the gaze frequency, or the change amount of the gaze depth, for the importance of the object, and calculates the importance of the object as a parameter.

객체 중요도 분석부(40)는 사용자의 응시점이 고정 응시점을 형성하는지에 관한 정보를 카메라로부터 수신할 수 있다. 사용자의 응시점이 고정 응시점을 형성하는 경우, 응시점과 객체 사이의 거리를 매개변수로 하여 객체의 중요도를 계산할 수 있다.The object importance analyzer 40 may receive information about whether the user's gaze point forms a fixed gaze point from the camera. When the user's gaze point forms a fixed gaze point, the importance of the object may be calculated using the distance between the gaze point and the object as a parameter.

사용자와 사물 간의 관계와 관련하여, 객체 중요도 분석부(40)는 사용자와 객체 사이의 상대 위치를 매개변수로 더 포함할 수 있다. 또한, 사용자와 객체 사이의 접촉 여부도 매개변수로 포함할 수도 있다. 이때, 사용자와 객체 사이의 접촉 빈도 또는 시간은 수신된 외부 환경에 대한 영상으로부터 검출될 수도 있으며, 공지된 임의의 센서 등이 사용될 수도 있다.In relation to the relationship between the user and the object, the object importance analysis unit 40 may further include a relative position between the user and the object as a parameter. Also, whether the user and the object are in contact may be included as a parameter. In this case, the frequency or time of contact between the user and the object may be detected from the received image of the external environment, or any known sensor may be used.

한편, 사용자가 객체와 접촉하고 있더라도 사용자의 응시의 변화에 따라 사용자와 객체의 접촉 시간이 단편적으로만 파악될 수 있다. 따라서, 수신된 외부 환경에 대한 사용자와 객체의 접촉 시각의 시작점과 종료점 사이의 접촉 시간이 사용자와 객체의 접촉 시간으로 간주되도록 설정할 수도 있다.Meanwhile, even when the user is in contact with the object, the contact time between the user and the object may only be partially grasped according to a change in the user's gaze. Accordingly, the contact time between the start point and the end point of the received external environment contact time between the user and the object may be set to be regarded as the contact time between the user and the object.

사물과 사물 간의 관계와 관련하여, 객체 중요도 분석부(40)는 객체들 사이의 각각의 거리를 매개변수로 더 포함할 수도 있다. 예를 들어, 특정 객체와 사용자에 의해 사용된 객체 사이의 거리를 측정함으로써, 특정 객체가 사용된 객체와 가까운지 여부를 파악할 수 있다. 만약, 특정 객체가 사용된 객체와 가까운 경우, 특정 객체의 중요도는 높아지게 되고, 특정 객체가 사용된 객체와 먼 경우, 특정 객체의 중요도는 낮아지게 된다.In relation to the relationship between objects and objects, the object importance analysis unit 40 may further include distances between objects as parameters. For example, by measuring the distance between the specific object and the object used by the user, it is possible to determine whether the specific object is close to the used object. If the specific object is close to the used object, the importance of the specific object increases, and when the specific object is far from the used object, the importance of the specific object decreases.

또한, 객체가 특정 랜드마크 객체 주변에 있는지 여부를 매개변수로 포함할 수도 있다. 이는, 객체가 특정 랜드마크 객체와 사전에 설정된 일정 거리 내에 있는지로 판단할 수 있다. 예를 들어, 객체가 쓰레기통과 같은 폐기 수단인 랜드마크 객체 주변에 위치한다면 폐기될 확률이 높은 것으로 판단할 수 있다. 반대로, 객체가 침실과 같은 사용자가 많은 시간을 보내는 공간의 랜드마크 객체 주변에 위치한다면 사용자에 의해 사용될 확률이 높은 것으로 판단할 수 있다.In addition, whether the object is around a specific landmark object may be included as a parameter. This may be determined by whether the object is within a predetermined distance from a specific landmark object. For example, if the object is located near a landmark object that is a disposal means such as a trash can, it may be determined that there is a high probability of being discarded. Conversely, if the object is located around a landmark object in a space where the user spends a lot of time, such as a bedroom, it may be determined that the object is highly likely to be used by the user.

즉, 객체 중요도 분석부(40)는 객체 목록, 사용자의 응시 추정 정보, 및 객체 지도를 복합적으로 사용하여 중요 객체 목록을 생성할 수 있다. 중요 객체 목록을 생성하기 위해 객체의 중요도를 계산하여야 하는데, 예를 들어, 도 7을 참조하여, 임의의 n번째 객체의 중요도는 다음과 같이 정의될 수 있다.That is, the object importance analysis unit 40 may generate the important object list by using the object list, the user's gaze estimation information, and the object map in combination. In order to generate a list of important objects, it is necessary to calculate the importance of an object. For example, referring to FIG. 7 , the importance of an arbitrary n-th object may be defined as follows.

여기에서, 'P_G ⁿ'은 사용자가 n번째 객체를 바라본 빈도를 의미한다. 또한, 'P_H ⁿ'은 사용자가 n번째 객체를 사용하였는지 여부, 예를 들면 사용한 빈도를 의미한다. 또한, 'Dm_H ⁿ'은 사용된 m번째 객체 m_H와 n번째 객체와의 거리를 의미한다. 또한, 'P_E ⁿ'은 n번째 객체가 폐기될 확률, 예를 들면 n번째 객체와 쓰레기통과 같은 특정 랜드마크 주변에 얼마나 가깝게 위치하는지를 의미한다. 'α', 'β', 'γ', 'δ'는 상기 매개변수들 각각에 대한 가중치를 의미한다. 상기 매개변수들을 통해 도출된 'Sn'은 n번째 객체의 중요도를 의미한다. Here, 'P _G ⁿ ' means the frequency at which the user looked at the nth object. In addition, 'P _H ⁿ ' means whether the user has used the nth object, for example, the frequency of use. In addition, 'Dm _H ⁿ ' means the distance between the used m-th object m _H and the n-th object. In addition, 'P _E ⁿ ' means the probability that the n-th object is discarded, for example, how close it is to the n-th object and how close it is to a specific landmark such as a trash can. 'α', 'β', 'γ', and 'δ' mean a weight for each of the above parameters. 'Sn' derived through the above parameters means the importance of the nth object.

이에 따르면, n번째 객체의 중요도는 사용자가 n번째 객체를 바라보는 빈도가 높을수록, 이미 사용된 객체 m_H와의 거리가 가까울수록, 또는 쓰레기통과 같은 특정 랜드마크 주변으로부터 멀리 위치할수록 n번째 객체의 중요도는 높아진다. 다만, 매개변수는 이에 한정되지 않으며, 사용자의 시각적 행동, 사용자와 객체 간의 관계, 객체와 객체 간의 관계를 나타낸 임의의 매개변수가 포함될 수 있다. 또한, 객체는 복수일 수 있으므로, 복수의 다른 객체들은 임의의 n번째 객체의 중요도를 분석할 때 객체와 객체와의 관계의 매개변수로서 관여할 수 있다.According to this, the importance of the n-th object increases as the frequency of the user looking at the n-th object increases, as the _{distance to the already used object m H increases} , or as it is located further from the vicinity of a specific landmark such as a trash can, the n-th object importance increases. However, the parameters are not limited thereto, and may include arbitrary parameters indicating a user's visual behavior, a relationship between a user and an object, and a relationship between an object and an object. In addition, since there may be a plurality of objects, a plurality of other objects may be involved as a parameter of a relationship between an object and an object when analyzing the importance of an arbitrary n-th object.

도 8은 도 1의 시지각 행동 분석부에서 사용자의 행동을 정보 탐색 동작과 정보 등록 동작으로 분석하는 과정을 개략적으로 나타낸 순서도이다. 또한, 도 9는 본 발명의 실시예에 따른 시지각 행동 분석부에서 분류되는 정보 탐색 동작을 개략적으로 나타낸 도면이다.8 is a flowchart schematically illustrating a process of analyzing a user's behavior into an information search operation and an information registration operation in the visual perception behavior analyzer of FIG. 1 . Also, FIG. 9 is a diagram schematically illustrating an information search operation classified by the visual perceptual behavior analyzer according to an embodiment of the present invention.

도 8 및 도 9를 참조하면, 상술한 웨어러블 디바이스 또는 사용자에 부착되는 센서는 사용자의 머리 움직임을 측정할 수 있으며(s4), 시지각 행동 분석부(50)는 상기 측정된 사용자의 머리 움직임을 수신할 뿐만 아니라, 추정된 응시 움직임 정보, 고정 응시점 정보 및 단속 운동 정보를 활용하여 사용자 행동을 분석할 수 있다(s50). 사용자의 시자각 행동 분석 단계(s50)는 시지각 행동 분석부(50)가 사용자의 행동을 객체 및 상황 정보 탐색 동작으로 분류하거나(s51), 또는 객체 및 상황 정보 등록 동작으로 분류하는(s52) 단계를 포함할 수 있다.8 and 9 , the above-described wearable device or a sensor attached to the user may measure the user's head movement (s4), and the visual perceptual behavior analyzer 50 measures the measured user's head movement. In addition to receiving, the user behavior may be analyzed using the estimated gaze movement information, the fixed gaze point information, and the saccade information (s50). In the user's visual and visual behavior analysis step (s50), the visual and perceptual behavior analysis unit 50 classifies the user's behavior into an object and context information search operation (s51), or classifies the user's behavior into an object and context information registration operation (s52) may include steps.

도 18은 본 발명의 실시예에 따른 객체 및 상황 정보 저장부가 사용자의 응시점 움직임에 따라 어느 범위에 걸친 객체를 찾는지를 판단하는 것을 예시적으로 나타낸 도면이다. 또한, 도 19는 본 발명의 실시예에 따른 시지각 행동 분석부에서 분류되는 정보 탐색 내용을 예시적으로 나타낸 도면이다.18 is a diagram exemplarily illustrating that the object and context information storage unit according to an embodiment of the present invention determines in which range an object is searched according to a movement of a user's gaze point. 19 is a diagram exemplarily illustrating information searched for classified by the visual perceptual behavior analysis unit according to an embodiment of the present invention.

도 18 및 도 19를 참조하면, 이와 같이 분석된 사용자 행동은 특정 범주로 분류할 수 있으며, 예를 들어, 시지각 행동 분석부(50)는 사용자의 행동을 전역 정보 탐색 동작, 지역 정보 탐색 동작, 및 상황 정보 탐색 동작으로 분류할 수 있다.Referring to FIGS. 18 and 19 , the analyzed user behavior may be classified into a specific category. For example, the visual perception behavior analyzer 50 analyzes the user's behavior into a global information search operation and a local information search operation. , and a context information search operation.

사용자의 머리 움직임 변화량에 관한 정보가 수신된 경우, 사용자의 응시점 변화량에 비하여 사용자의 머리 움직임 변화량이 상대적으로 큰 경우에는 사용자가 넓은 공간에 걸친 전역적 물체를 찾는 의도를 갖고 있다고 판단하여, 상기 사용자의 행동을 전역 정보 탐색 동작으로 분류할 수 있다(s511).When information on the amount of change in the user's head movement is received, if the amount of change in the user's head movement is relatively large compared to the amount of change in the user's gaze point, it is determined that the user has an intention to find a global object over a wide space, The user's behavior may be classified as a global information search operation (s511).

반면에, 사용자의 머리 움직임 변화량에 비하여 사용자의 응시점 변화량이 상대적으로 큰 경우에는 사용자가 좁은 공간에 걸친 지역적 물체를 찾는 의도록 갖고 있다고 판단하여, 상기 사용자의 행동을 지역 정보 탐색 동작으로 분류할 수 있다(s512).On the other hand, when the change in the user's gaze point is relatively large compared to the change in the user's head movement, it is determined that the user has an intention to find a local object in a narrow space, and the user's behavior is classified as a local information search operation. can (s512).

한편, 사용자의 입력을 수신하는 경우에는, 상기 사용자의 행동을 상황 정보 탐색 동작으로 분류할 수 있다(s513).Meanwhile, when a user input is received, the user's action may be classified as a context information search action (s513).

예를 들어, 전역 정보 탐색 동작과 그 이외의 동작은 다음과 같은 기준을 통해 분류할 수 있다.For example, the global information search operation and other operations may be classified based on the following criteria.

여기에서, 'Mv'는 사용자의 응시점 변화량을 의미한다. 또한, 'M_H'는 사용자의 머리 움직임 변화량을 의미한다. 'α'는 상기 매개변수들에 대한 가중치를 의미한다. 상기 매개변수들을 통해 도출된 'Ps^G'는 사용자의 행동이 전역적 물체를 찾는 행동일 확률을 나타낸다. 사용자의 행동이 지역적 물체를 찾는 행동일 확률인 'Ps^L'는 전체 확률에서 사용자의 행동이 전역적 물체를 찾는 행동일 확률을 제외한 나머지 확률에 해당한다.Here, 'Mv' means the change amount of the user's gaze point. In addition, 'M _H ' means the amount of change in the user's head movement. 'α' means a weight for the above parameters. ^{'Ps G} ' derived through the above parameters represents the probability that the user's action is the action of finding a global object. ^{'Ps L} ', which is the probability that the user's action is the action of finding a local object, corresponds to the remaining probability after subtracting the probability that the user's action is the action of finding a global object from the overall probability.

도 10은 본 발명의 실시예에 따른 시지각 행동 분석부에서 분류되는 정보 등록 동작을 개략적으로 나타낸 도면이다. 10 is a diagram schematically illustrating an information registration operation classified by the visual perceptual behavior analyzer according to an embodiment of the present invention.

도 10을 참조하면, 시지각 행동 분석부는 사용자의 응시 정보, 객체 정보 및 사용자 입력 정보를 활용하여 사용자 행동을 분석할 수도 있다. 이와 같이 분석된 사용자 행동은 특정 범주로 분류할 수 있다. 예를 들어, 전역 정보 등록 동작, 지역 정보 등록 동작, 및 상황 정보 등록 동작으로 나뉠 수 있다.Referring to FIG. 10 , the visual perceptual behavior analyzer may analyze the user's behavior by using the user's gaze information, object information, and user input information. The user behavior analyzed in this way can be classified into a specific category. For example, it may be divided into a global information registration operation, a local information registration operation, and a context information registration operation.

사용자의 응시 정보 및 상기 객체 정보가 수신된 경우, 수신된 응시 정보가 정적 객체에 대해 고정 응시점을 형성하는 경우에 사용자의 행동은 전역 정보 등록 동작으로 분류되며(s521), 동적 객체에 대한 응시점 추적이 형성된 경우, 상황 정보 등록 동작으로 분류된 수 있다(s523). 또한, 사용자의 행동이 전역 정보 등록 동작으로 분류됨과 동시에 안구의 단속 운동이 발견되거나, 상기 사용자의 입력이 수신된 경우에는 사용자의 행동이 지역 정보 등록 동작으로 분류된 수 있다(s522). When the user's gaze information and the object information are received, when the received gaze information forms a fixed gaze point for a static object, the user's behavior is classified as a global information registration operation (s521), and gazes on a dynamic object When point tracking is formed, it may be classified as a context information registration operation (s523). In addition, when the user's behavior is classified as the global information registration operation and an eye saccade is found or the user's input is received, the user's behavior may be classified as the local information registration operation (s522).

예를 들어, 사용자의 응시 정보가 고정 응시점을 형성하는 경우, 관심 물체 또는 상황에 대한 사용자의 관심이 높다고 판단할 수 있으며, 관심 물체에 대해 사용자가 제어를 요구하는 경우, 관심 물체의 세부 속성, 즉 지역적 정보를 기록하는 의도를 갖고 있다고 판단할 수 있다.For example, if the user's gaze information forms a fixed gaze point, it may be determined that the user's interest in the object or situation is high, and when the user requests control of the object of interest, detailed properties of the object of interest , that is, it can be determined that there is an intention to record local information.

이와 같이 사용자의 시각적 행동과 머리 움직임을 함께 분석하여 사용자의 의도를 파악함으로써 사용자의 별도의 조작을 요구하지 않더라도, 사용자의 응시점 변화량과 머리 움직임 변화량을 통해 사용자의 의도를 범위의 유형에 따라 효과적으로 분류할 수 있다.As such, by analyzing the user's visual behavior and head movement together to identify the user's intention, the user's intention can be effectively analyzed according to the type of range through the change in the user's gaze point and head movement, even without requiring a separate operation by the user. can be classified.

다만, 시지각 행동 분석부가 사용자의 머리 움직임을 분석하기 위하여, 본 발명에 따른 객체 및 상황 정보 제공장치는 웨어러블 디바이스로부터 사용자의 머리 움직임 변화량에 대한 정보를 더 수신할 수 있다. 이를 위하여, 웨어러블 디바이스는 사용자 머리의 위치 움직임을 측정하는 움직임 센서를 구비할 수 있다. 또는, 웨어러블 디바이스로부터 수신된 영상 등으로부터 이를 분석하는 공지의 다양한 방법이 사용될 수 있다.However, in order for the visual perceptual behavior analyzer to analyze the user's head movement, the object and context information providing apparatus according to the present invention may further receive information on the amount of change in the user's head movement from the wearable device. To this end, the wearable device may include a motion sensor that measures the position and movement of the user's head. Alternatively, various known methods of analyzing an image received from a wearable device, etc. may be used.

도 11은 도 1의 객체 및 상황 정보 저장부에서 사용자의 시지각 행동 분석을 바탕으로 객체의 중요도에 따른 객체 정보와 상황 정보를 저장하는 과정을 개략적으로 나타낸 순서도이다. 또한, 도 18은 본 발명의 실시예에 따른 객체 및 상황 정보 저장부가 사용자의 응시점 움직임에 따라 어느 범위에 걸친 객체를 찾는지를 판단하는 것을 예시적으로 나타낸 도면이다.11 is a flowchart schematically illustrating a process of storing object information and context information according to the importance of an object based on the user's visual perception behavior analysis in the object and context information storage unit of FIG. 1 . 18 is a diagram exemplarily illustrating that the object and context information storage unit according to an embodiment of the present invention determines in which range the object is searched according to the movement of the user's gaze point.

객체 및 상황 정보 저장부(60)는 사용자 시지각 행동 분석에 따라, 객체의 중요도에 따른 객체 정보와 상황 정보를 저장할 수 있다(s60). 예를 들어, 객체 및 상황 정보 저장부(60)는 사용자 시지각 행동 분석을 바탕으로, 객체의 중요도에 따라 객체 정보를 선별적으로 저장할 수 있고, 객체의 중요도가 사전에 정해진 일정 값 이상인 때 객체 정보를 저장할 수도 있다.The object and context information storage unit 60 may store object information and context information according to the importance of the object according to the user's visual perception behavior analysis (s60). For example, the object and context information storage unit 60 may selectively store object information according to the importance of the object based on the user's visual perception behavior analysis, and when the importance of the object is greater than or equal to a predetermined value, the object You can also store information.

객체 및 상황 정보 저장부(60)는 전역적 객체 정보 저장부(61), 지역적 객체 정보 저장부(62), 및 상황 정보 저장부(63)를 포함할 수 있다.The object and context information storage unit 60 may include a global object information storage unit 61 , a local object information storage unit 62 , and a context information storage unit 63 .

도 10을 참조하면, 사용자 시지각 행동 분석을 통해 사용자 행동은 전역 정보 등록 동작, 지역 정보 등록 동작, 및 상황 정보 등록 동작으로 나뉠 수 있으며, 도 11을 참조하면, 객체 및 상황 정보 저장부(60)는 이에 따라 해당하는 객체 및 상황 정보를 분류하여 저장할 수 있다.Referring to FIG. 10 , user behavior through user visual perception behavior analysis can be divided into global information registration operation, local information registration operation, and context information registration operation. Referring to FIG. 11 , object and context information storage unit 60 ) can classify and store the corresponding object and context information accordingly.

예를 들면, 시지각 행동 분석부(50)에서 사용자의 행동이 전역 정보 등록 동작으로 분류된 경우, 해당 객체 정보가 전역적 객체 정보 저장부(61)에 저장되며, 사용자의 행동이 지역 정보 등록 동작으로 분류된 경우 해당 객체 정보가 지역적 객체 정보 저장부(62)에 저장되며, 사용자의 행동이 상황 정보 등록 동작으로 분류된 경우, 외부 환경에 대한 영상이 상황 정보 저장부(63)에 저장될 수 있다.For example, when the user's behavior is classified as a global information registration operation in the visual perception behavior analysis unit 50, the corresponding object information is stored in the global object information storage unit 61, and the user's behavior is registered with local information When classified as an action, the corresponding object information is stored in the local object information storage 62 , and when the user's action is classified as a context information registration operation, an image of the external environment is stored in the context information storage 63 . can

전역적 객체 정보 저장부(61)는 시지각 행동 분석부(50)에 의해 사용자의 행동이 전역적 객체를 등록하는 것으로 판단될 때 해당 객체의 ID, 카테고리, 및 위치 등의 정보를 저장할 수 있다(s61).The global object information storage unit 61 may store information such as ID, category, and location of the object when it is determined that the user's action is to register the global object by the visual perceptual behavior analysis unit 50 . (s61).

지역적 객체 정보 저장부(62)는 시지각 행동 분석부(50)에 의해 사용자의 행동이 지역적 정보를 등록하는 것으로 판단될 때 해당 객체의 속성 및 기능 등의 상세 정보를 저장할 수 있다(s62).The local object information storage unit 62 may store detailed information such as properties and functions of the corresponding object when it is determined by the visual perceptual behavior analysis unit 50 that the user's behavior is to register regional information (s62).

상황 정보 저장부(63)는 사용자의 행동이 상황 정보를 등록하는 것으로 판단될 때 해당 외부 환경에 대한 영상을 저장할 수 있다(s63).When it is determined that the user's action is to register the context information, the context information storage unit 63 may store an image of the corresponding external environment (s63).

또한, 상기 객체 정보가 이미 기록되어있는 경우, 기록되어 있는 객체의 중요도를 상기 객체의 중요도로 갱신할 수 있다.Also, when the object information has already been recorded, the importance of the recorded object may be updated to the importance of the object.

도 12는 도 1의 객체 및 상황 정보 제공부에서 객체 및 상황 정보를 사용자에게 제공하는 과정을 개략적으로 나타낸 순서도이다. 또한, 도 19는 본 발명의 실시예에 따른 객체 및 상황 정보 제공부가 전역 정보 탐색, 지역 정보 탐색, 및 상황 정보 탐색 카테고리로 나누어 객체 및 상황 정보를 사용자에게 제공하는 것을 예시적으로 나타낸 도면이다.12 is a flowchart schematically illustrating a process in which the object and context information providing unit of FIG. 1 provides object and context information to a user. 19 is a diagram exemplarily illustrating that the object and context information providing unit provides objects and context information to a user by dividing it into global information search, local information search, and context information search categories according to an embodiment of the present invention.

도 12 및 도 19를 참조하면, 객체 및 상황 정보 제공부(70)는 저장된 객체 정보와 외부 환경에 대한 영상 정보를 사용자에게 제공할 수 있다(s70). 이는 웨어러블 디바이스의 디스플레이와 같은 임의의 표시 장치를 통하여 사용자에게 영상으로 송출될 수 있다.12 and 19 , the object and context information providing unit 70 may provide the stored object information and image information about the external environment to the user (s70). This may be transmitted as an image to the user through an arbitrary display device such as a display of a wearable device.

객체 및 상황 정보 제공부(70)에서는 객체 및 상황 정보 저장부(60)와 유사하게 시지각 행동 분석부(50)에서 사용자의 시각적 행동 및 머리 움직임 분석을 통해 파악된 사용자의 의도에 기초하여, 예를 들어, 상술한 전역 정보 탐색, 지역 정보 탐색, 또는 상황 정보 탐색과 같이 사용자의 행동이 어떤 객체 또는 외부 환경에 대한 영상 정보를 찾는 행동인 경우, 그에 따른 객체와 상황 정보를 객체 및 상황 정보 저장부(60)의 각각의 카테고리에서 로드하여 사용자에게 제공할 수 있다.In the object and context information providing unit 70, similarly to the object and context information storage unit 60, based on the user's intention identified through the user's visual behavior and head movement analysis in the visual perceptual behavior analysis unit 50, For example, when a user's action is an action to find image information about a certain object or external environment, such as the above-mentioned global information search, local information search, or context information search, the corresponding object and context information are stored in the object and context information. It can be loaded from each category of the storage unit 60 and provided to the user.

다만, 사용자의 행동이 지역 정보를 탐색하는 행동으로 분류된 상태에서 데이터 베이스에 해당 객체의 지역 정보가 없을 경우, 사용자가 직접 해당 정보를 객체 및 상황 정보 저장부의 지역적 정보 저장부에 기록할 수도 있다.However, if the user's behavior is classified as the behavior of searching for local information and there is no local information on the object in the database, the user may directly record the corresponding information in the local information storage unit of the object and context information storage unit. .

도 19의 (a)는 시지각 행동 분석부(50)에서 사용자의 행동이 전역 정보 탐색 동작으로 분류된 경우의 전역 정보 탐색 예시를 개략적으로 나타낸다. 이 경우, 객체 및 상황 정보 저장부(60)에서 전역 정보의 카테고리로 분류된 객체에 관한 정보가 객체 및 상황 정보 제공부(70)를 통해 로드되어 사용자에게 제공될 수 있다(s71). 예를 들어, 여러 개의 방들 및 거실에 걸친 넓은 영역과 같은 전역적 범위 내에 있는 관심 영역 내의 각각의 객체 정보, 또는 사용자와 객체들 및 객체들 간의 관계가 사용자에게 제공될 수 있다.19A schematically illustrates an example of global information search when the user's behavior is classified as a global information search operation by the visual perceptual behavior analysis unit 50 . In this case, information about the object classified into the global information category in the object and context information storage unit 60 may be loaded through the object and context information providing unit 70 and provided to the user (s71). For example, each object information within a region of interest that is within a global scope, such as a large area spanning several rooms and a living room, or the user and objects and relationships between objects may be provided to the user.

도 19의 (b)는 시지각 행동 분석부에서 사용자의 행동이 지역 정보 탐색 동작으로 분류된 경우의 지역 정보 탐색의 예시를 개략적으로 나타낸다. 이 경우, 객체 및 상황 정보 저장부(60)에서 지역 정보의 카테고리로 분류된 객체에 관한 정보가 객체 및 상황 정보 제공부(70)를 통해 로드되어 사용자에게 제공될 수 있다(s72). 예를 들어, 특정 객체의 속성 또는 기능과 같은 상세 정보 등이 사용자에게 제공될 수 있다. 19 (b) schematically shows an example of local information search when the user's behavior is classified as a local information search operation in the visual perceptual behavior analysis unit. In this case, information on the object classified into the category of local information in the object and context information storage unit 60 may be loaded through the object and context information providing unit 70 and provided to the user (s72). For example, detailed information such as an attribute or function of a specific object may be provided to the user.

도 19의 (c)는 시지각 행동 분석부(50)에서 사용자의 행동이 상황 정보 탐색 동작으로 분류된 경우의 상황 정보 탐색의 예시를 개략적으로 나타낸다. 이 경우, 객체 및 상황 정보 저장부(60)에서 상황 정보의 카테고리로 분류된 영상 정보가 객체 및 상황 정보 제공부(70)를 통해 로드되어 사용자에게 제공될 수 있다(s73). 예를 들어 특정 상황에 대한 외부 영상에 대한 정보가 사용자에게 제공될 수 있다.19( c ) schematically illustrates an example of context information search when the user's action is classified as a context information search action in the visual perceptual behavior analysis unit 50 . In this case, image information classified into categories of context information in the object and context information storage unit 60 may be loaded through the object and context information providing unit 70 and provided to the user (s73). For example, information on an external image for a specific situation may be provided to the user.

도 20은 본 발명의 실시예에 따른 객체 및 상황 정보 제공부가 객체 정보를 우선순위를 두고 사용자에게 제공하는 것을 예시적으로 나타낸 도면이다.20 is a diagram exemplarily illustrating that the object and context information providing unit prioritizes object information and provides it to a user according to an embodiment of the present invention.

도 20을 참조하면, 객체 및 상황 정보 제공부(70)는 사용자를 중심으로 객체의 중요도에 우선순위를 두고 객체 정보를 사용자에게 제공할 수 있다. 즉, 객체 및 상황 정보 제공부(70)는 객체 정보를 중요도가 높은 순서대로 사용자에게 제공할 수 있다.Referring to FIG. 20 , the object and context information providing unit 70 may provide object information to the user by prioritizing the importance of the object with the user as the center. That is, the object and context information providing unit 70 may provide the object information to the user in order of importance.

예를 들어 전역적 탐색인 경우, 도 20의 (a)를 참조하면, 사용자가 거실에 위치해 있을 때, 사용자와 거리가 가까워 중요도가 높게 측정된 거실에 위치한 리모컨, 지갑, 및 방1에 위치한 시계 등의 정보가 순서대로 사용자에게 제공될 수 있다. 한편, 도 20의 (b)를 참조하면, 사용자가 방1에 위치해 있을 때, 사용자와 거리가 가까워 중요도가 높게 측정된 방1에 위치한 시계, 핸드폰, 및 거실에 위치한 지갑 등의 정보가 순서대로 사용자에게 제공될 수 있다.For example, in the case of global search, referring to FIG. 20A , when the user is located in the living room, the remote control located in the living room, where the importance is measured due to the close distance to the user, the wallet, and the watch located in the room 1 and the like may be sequentially provided to the user. Meanwhile, referring to (b) of FIG. 20 , when the user is located in Room 1, information such as a watch located in Room 1, a mobile phone, and a wallet located in the living room, which are located close to the user and measured with high importance, are sequentially displayed. may be provided to the user.

한편, 객체 및 상황 정보 제공부(70)는 사용자에게 객체 중요도 분석부(40)에서 분석된 객체의 중요도를 상기 우선순위를 정하는 데 반영하거나, 이를 객체 정보와 함께 제공하도록 설정될 수도 있다.On the other hand, the object and context information providing unit 70 may be set to reflect the importance of the object analyzed by the object importance analysis unit 40 to the user in determining the priority, or to provide it together with object information.

상술한 바와 같은 본 발명에 따른 객체 정보 제공장치의 예시들을 통하여, 본 발명은 사용자의 행동 및 상태 분석을 기초로 사용자의 의도적 제어 없이 관심 객체 및 생활 환경 등을 자동적으로 인식 및 기록하여 이를 사용자에게 제공할 수 있다.Through the examples of the object information providing apparatus according to the present invention as described above, the present invention automatically recognizes and records the object of interest and living environment without the user's intentional control based on the user's behavior and state analysis, and provides it to the user. can provide

또한, 본 발명에 따르면 사용자의 시각적 행동, 사용자와 객체 간의 관계, 및 객체와 객체 간의 관계를 이용하여 사용자가 필요로 하는 객체에 관한 정보를 사용자에게 선별적으로 제공할 수 있다.Also, according to the present invention, it is possible to selectively provide the user with information about the object required by the user by using the user's visual behavior, the relationship between the user and the object, and the relationship between the object and the object.

이에 따라, 본 발명은 사용자가 웨어러블 디바이스 등을 통해 별도의 조작 지시를 하지 않더라도, 자동적으로 사용자의 행동에 따른 객체별 중요도가 분석되는 동시에 이를 일정 범위에 따른 카테고리로 분류하여 사용자에게 제공함으로써 사용자가 편리하게 필요한 정보만을 기억해낼 수 있도록 한다.Accordingly, in the present invention, even if the user does not give a separate operation instruction through a wearable device, the importance of each object according to the user's behavior is automatically analyzed and at the same time classified into categories according to a certain range and provided to the user. Make it easy to remember only the information you need.

예를 들어, 노화로 인한 기억력 저하로 생활에 불편을 느끼는 노년층의 경우, 공지의 객체 정보 제공장치로부터 별도의 조작으로 필요한 정보를 선별하여 로드하기에는 상당한 어려움이 따른다. 또한, 물건을 어디에 두었는지 자주 잊어버리는 단편적 기억상실을 갖고 있는 사람의 경우에도, 공지의 객체 정보 제공장치는 사람과 객체와의 관계를 분석하여 찾고자 하는 물건의 위치를 곧바로 보여주는 것에는 한계가 있다.For example, in the case of an elderly person who feels uncomfortable in life due to memory deterioration due to aging, it is very difficult to select and load necessary information through a separate operation from a known object information providing device. In addition, even in the case of a person with fragmentary amnesia who often forgets where an object was placed, the known object information providing device has a limitation in analyzing the relationship between the person and the object and immediately showing the location of the object to be found. .

이때, 본 발명에 따른 객체 및 상황 정보 제공장치는 예를 들어, 노년층이 별도의 조작이 없더라도 두뇌의 활동이 포화되지 않는 필요한 객체 정보만을 자동적으로 기억할 수 있도록 도와준다. 또한, 단편적 기억상실을 갖고 있는 사람에게도 사람과의 객체와의 관계를 분석하여 전역적, 지역적 범위의 카테고리에 따라 우선순위를 두고 찾고자 하는 물건을 쉽게 찾을 수 있도록 도와준다.In this case, the object and context information providing apparatus according to the present invention helps the elderly to automatically memorize only necessary object information that does not saturate the brain activity even if there is no separate manipulation for the elderly. In addition, it helps people with fragmentary amnesia to find the object they are looking for by prioritizing them according to the categories of global and regional scope by analyzing the relationship between people and objects.

이 분야의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.The scope of protection in this field is not limited to the description and expression of the embodiments explicitly described above. In addition, it is added once again that the protection scope of the present invention cannot be limited due to obvious changes or substitutions in the technical field to which the present invention pertains.

Claims

In the object and situation information providing apparatus for receiving and processing an image of an external environment including a plurality of objects in a user's gaze direction from a camera and information on the location of the user's pupil,
a gaze information estimator for estimating gaze information according to the gaze of the user through the information on the location of the pupil;
an object information detector configured to detect object information in a region of interest defined according to a predetermined criterion by using the gaze information from the image of the external environment and to generate a list of objects in the region of interest;
an object importance analysis unit that receives the list of objects and calculates the importance of the object by using the gaze information as a parameter;
a visual-perceptual behavior analysis unit for classifying a user's visual-perceptual behavior using the image of the external environment, the gaze information, the object information, and the user input information as parameters;
Selectively according to the object importance calculated by the object importance analysis unit, and according to the user's visual perception behavior classification analyzed by the visual perception behavior analysis unit, the object information and the image for the external environment are stored separately object and context information storage unit; and
According to the priority according to the object importance calculated by the object importance analysis unit, and according to the user's visual behavior classification of the visual perception behavior analysis unit, the stored object information and the image for the external environment are selectively provided to the user. Object and context information providing apparatus, characterized in that it comprises a providing object and context information providing unit.

According to claim 1,
The gaze information is characterized in that it includes a gaze position, a gaze frequency, and a gaze depth, the object and context information providing apparatus.

The method of claim 2, wherein the object information detection unit
An apparatus for providing object and context information, characterized in that a reference position and size of a region of interest are defined using the gaze position and the gaze depth as parameters, and objects that do not belong to the region of interest are excluded from detection.

The method of claim 3, wherein the object information detection unit
An apparatus for providing object and context information, characterized in that the width of the region of interest is corrected by using the width and length of the object, the width of the image, and the horizontal angle of view of the camera as parameters.

The method of claim 4, wherein the object information detection unit
An apparatus for providing object and context information, characterized in that the width of the region of interest is further corrected by further including a depth image, an image color, and an image edge as parameters.

According to claim 1,
Object and situation, characterized in that it further comprises an object map generator for extracting a plurality of feature points in the image of the external environment corresponding to the detected object, and correcting the relative positions between the feature points to generate an object map. information providing device.

The method of claim 6, wherein the object map generator
An apparatus for providing object and context information, characterized in that each distance between the user and the object is measured through the user's gaze depth and fixed gaze point information.

The method of claim 7, wherein the object map generator
An apparatus for providing object and context information, characterized in that the relative distance between the objects is corrected based on the user's location.

The method of claim 1, wherein the object importance analysis unit
When the user's gaze point forms a fixed gaze point, the apparatus for providing object and context information further comprising a distance between the gaze point and the object as a parameter.

According to claim 1,
The object and context information providing apparatus further receives information on the amount of change in the user's head movement from the wearable device,
The apparatus for providing object and context information, characterized in that the visual perceptual behavior analyzer classifies the user's behavior into an object and context information search operation and an object and context information registration operation.

The method of claim 10, wherein the visual perceptual behavior analysis unit
and classifying the object and context information search operation into a global information search operation, a local information search operation, and a context information search operation.

The method of claim 10, wherein the visual perceptual behavior analysis unit
and classifying the object and context information registration operation into global information registration operation, local information registration operation, and context information registration operation.

The method of claim 11, wherein the visual perceptual behavior analysis unit
When the change in the user's head movement is relatively large compared to the change in the user's gaze point, the user's behavior is classified as a global information search operation, and when the change in the user's gaze point is relatively large compared to the change in the user's head movement, the user An apparatus for providing object and context information, characterized in that the action is classified as a local information search action, and when a user input is received, the user action is classified as a context information search action.

The method of claim 12, wherein the visual perceptual behavior analysis unit
When the user's gaze point for a static object forms a fixed gaze point, the user's behavior is classified as a global information registration operation, and when gaze point tracking for a dynamic object occurs, it is classified as a context information registration operation, and the global information An apparatus for providing object and context information, characterized in that when a saccade of the eye is found after the registration operation or when the user's input is received, it is classified as a regional information registration operation.

The method of claim 14, wherein the object and context information storage unit
An apparatus for providing object and context information, characterized in that the object information is stored when the importance of the object satisfies a predetermined condition.

The method of claim 14, wherein the object and context information storage unit
a global object information storage unit, a local object information storage unit, and a context information storage unit;
When the user's behavior is classified as a global information registration operation in the visual perceptual behavior analysis unit, the corresponding object information is stored in the global object information storage unit, and when the user's behavior is classified as a local information registration operation, the corresponding object The object and context information providing apparatus, characterized in that the information is stored in the local object information storage unit, and the image of the external environment is stored in the context information storage unit when the user's action is classified as a context information registration operation .

The method of claim 13, wherein the object and context information providing unit
It includes a global object information providing unit, a local object information providing unit, and a context information providing unit,
When the user's behavior is classified as a global information search operation in the visual perceptual behavior analysis unit, the global object information is provided to the user, and when the user's behavior is classified as a local information search operation, the local object information is provided to the user and providing image information about the external environment to the user when the user's action is classified as a context information search action.

The method of claim 17, wherein the object and context information providing unit
The object and context information providing apparatus, characterized in that the object information is provided to the user in order of importance based on the user's location.

In a method for providing object and context information performed by an object and context information providing device that receives and processes an image of an external environment including a plurality of objects in the direction of the user's gaze from the camera and information on the location of the user's pupil in,
(a) estimating, by the gaze information estimator, gaze information according to the gaze of the user through the information on the location of the pupil;
(b) detecting, by an object information detecting unit, object information within a region of interest defined according to a predetermined criterion by using the gaze information from the image of the external environment, and generating a list of objects in the region of interest;
(c) calculating the importance of the object by the object importance analysis unit receiving the list of objects and using the gaze information as a parameter;
(d) classifying the visual perceptual behavior of the user by using, by the visual perceptual behavior analysis unit, the image of the external environment, the gaze information, the object information, and the user input information as parameters;
(e) an object and context information storage unit selectively according to the object importance calculated by the object importance analysis unit, and according to the user's visual perception behavior classification analyzed by the visual perception behavior analysis unit, the object information and the external Separating and storing an image of the environment; and
(f) the object information and the stored object information and the object and context information providing unit classified and stored according to the priority according to the object importance calculated by the object importance analysis unit, and according to the user's visual perception behavior classification of the visual perception behavior analysis unit An object and context information providing method comprising the step of selectively providing an image of an external environment to a user.

20. The method of claim 19,
Wherein the gaze information comprises a gaze position, a gaze frequency, and a gaze depth, the object and context information providing method.

The method of claim 20, wherein (b) step
The object information detection unit defines a region of interest using the gaze position and the gaze depth as parameters, and excluding objects that do not belong to the region of interest from detection. Way.

The method of claim 21, wherein step (b) is
and correcting, by the object information detection unit, the width of the region of interest using the width and length of the object, the width of the image, and the horizontal angle of view of the camera as parameters.

23. The method of claim 22, wherein step (b) is
The method for providing object and context information, characterized in that it further comprises the step of further correcting the width of the ROI by the object information detector further including a depth image, an image color, and an edge of the image as parameters.

20. The method of claim 19, wherein between steps (a) and (b)
The object map generator extracting a plurality of feature points in the image of the external environment corresponding to the detected object and correcting the relative positions between the feature points to generate an object map, characterized in that it further comprises: How to provide situational information.

25. The method of claim 24, wherein generating the object map comprises:
An object and context information providing method, characterized in that the object map generator measures the distance between the user and the object through the gaze depth and the fixed gaze point information, respectively.

The method of claim 25, wherein generating the object map comprises:
and correcting, by the object map generator, a relative distance between the objects based on the user's location.

The method of claim 19, wherein step (c) is
When the object importance analyzer determines that the user's gaze point forms a fixed gaze point, it further comprises a relative distance between the user's gaze point and an object and each distance between the objects as parameters. , how to provide object and context information.

The method of claim 19, wherein step (d) is
The object and context information providing apparatus further receives information about the change in the user's head movement from the wearable device,
and classifying, by the visual perceptual behavior analysis unit, the user's behavior into an object and context information search operation, and an object and context information registration operation.

The method of claim 28, wherein step (d) is
and classifying, by the visual perceptual behavior analysis unit, the object and context information search operation into a global information search operation, a local information search operation, and a context information search operation.

The method of claim 28, wherein step (d) is
and classifying, by the visual perceptual behavior analysis unit, the object and context information registration operation into global information registration operation, local information registration operation, and context information registration operation.

30. The method of claim 29, wherein step (d) is
When the amount of change in the user's head movement is relatively large compared to the amount of change in the user's gaze point, the visual perceptual behavior analyzer classifies the user's behavior as a global information search operation, and the change in the user's gaze point is relative to the change in the user's head movement. Classifying the user's behavior as a local information search operation when it is large, and classifying the user's behavior as a contextual information search operation when receiving a user input .

31. The method of claim 30, wherein step (d) is
When the user's gaze point on a static object forms a fixed gaze point, the visual perception behavior analysis unit classifies the user's behavior as global information registration operation and classifying it as a local information registration operation when an eye saccade is found or the user's input is received after the global information registration operation.

33. The method of claim 32, wherein step (e) comprises:
The object and context information storage unit includes a global object information storage unit, a local object information storage unit, and a context information storage unit,
When the object and context information storage unit classifies the user's behavior as a global information registration operation in the visual behavior analysis unit, the object information is stored as a global information storage unit, and the user's behavior is classified as a local information registration operation storing the object information in a local information storage unit, and storing an image of the external environment in a situation information storage unit when the user's behavior is classified as a situation information registration operation and how to provide contextual information.

34. The method of claim 33, wherein step (e) is
When the object and context information storage unit classifies the user's behavior as global information registration operation in the visual behavior analysis unit, the object information is stored when the importance of the object satisfies a predetermined condition, and the user's behavior When classified as the local information registration operation, the method further comprising the step of storing detailed information of the object or the user's input information in a local information storage unit.

34. The method of claim 33, wherein step (e) is
When the object information is previously stored in the object and context information storage unit, the method further comprising the step of updating the importance of the object.

35. The method of claim 34, wherein step (f) is
The object and context information providing unit includes a global object information providing unit, a local object information providing unit, and a context information providing unit,
The object and context information providing unit provides the global object information to the user when the user's behavior is classified as a global information search operation by the visual perceptual behavior analysis unit, and the user's behavior is classified as a local information search operation In case the local object information is provided to the user, and when the user's action is classified as a context information search operation, the method comprising the step of providing an image of the external environment to the user; .

37. The method of claim 36, wherein step (f) is
The object and context information providing method, characterized in that the object and context information providing unit provides the object information to the user in the order of importance of the object based on the location of the user, characterized in that.