KR20130125143A - Object recognition device and method - Google Patents

Object recognition device and method Download PDF

Info

Publication number
KR20130125143A
KR20130125143A KR1020120048671A KR20120048671A KR20130125143A KR 20130125143 A KR20130125143 A KR 20130125143A KR 1020120048671 A KR1020120048671 A KR 1020120048671A KR 20120048671 A KR20120048671 A KR 20120048671A KR 20130125143 A KR20130125143 A KR 20130125143A
Authority
KR
South Korea
Prior art keywords
feature
memory
object recognition
information
recognizing
Prior art date
Application number
KR1020120048671A
Other languages
Korean (ko)
Inventor
장은혜
김상협
박병준
허철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120048671A priority Critical patent/KR20130125143A/en
Publication of KR20130125143A publication Critical patent/KR20130125143A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an object recognition device and an object recognition method by sight attention concentration based on cognitive function of a person. The object recognition method according to a desirable embodiment of the present invention includes the steps of: recognizing an object and storing the recognized object in a memory by extracting second features required in object recognition and paying attention, after combining first features on the basis of contour information if an image is inputted; and recognizing the object by blending third features by selecting an interested area by referring to the memory and extracting the third features required in object recognition and moving the attention to the third features if the image is inputted. [Reference numerals] (S201) Input external stimulation;(S202) Combine basic features;(S203) Extract major features;(S204) Recognize an object by paying attention;(S205) Store the recognized object in a memory;(S212) Select an interested area based on the information stored in the memory;(S213) Extract detailed features;(S214) Recognize an object by moving attention and mixing the extracted features

Description

물체 인식 장치 및 물체 인식 방법{OBJECT RECOGNITION DEVICE AND METHOD}Object recognition device and object recognition method {OBJECT RECOGNITION DEVICE AND METHOD}

본 발명은 인간의 인지 기능에 기반한 시각 주의집중에 의한 물체 인식 장치 및 물체 인식 방법에 관한 것이다.
The present invention relates to an object recognition apparatus and an object recognition method based on visual attention based on a human cognitive function.

인간의 시각 시스템은 무의식적 작용이나 의식적 작용을 통하여 주변에 비하여 상대적으로 두드러지는 대상, 선호 대상, 목표 대상에 선택적으로 주의 집중할 수 있는 기능을 포함하고 있다. 이러한 인간의 시각 시스템에서의 시선 결정은 시각 정보의 분포 특성이나 동적 특성의 변화량, 원근의 차이 등의 시각 정보의 특성에만 기반하여 무의식적으로 시선을 결정하는 상향식 시선 결정과, 목표하거나 선호하는 대상이 있거나 감정 상태에 따라 시선을 결정하는 하향식 시선결정이 있다.The human visual system includes the ability to selectively pay attention to objects, preferences, and target objects that are relatively prominent relative to the surroundings through unconscious or conscious actions. The gaze determination in the human visual system is a bottom-up gaze determination that unconsciously determines the gaze based on only the characteristics of the visual information such as the distribution characteristics of the visual information, the amount of change in dynamic characteristics, and the difference in perspective. Or a top-down gaze determination that determines the gaze depending on the emotional state.

대부분의 주의 집중 모델에서는 특징 통합 이론(feature integration theory)을 기반으로 여러 특징의 통합을 통하여 시선 결정 기능을 가지나, 특징간 통합에 대한 메커니즘은 아직 명확하지 않다. 이를 해결하기 위하여 무의식적 작용에 의한 상향식 시선 결정과 의식적 작용에 의한 하향식 시선 결정 기능을 통합 구현한 양안 시선 결정 모델이 제안되기도 하였으나, 하향식 시선 결정에서 주의 집중에 영향을 미치는 요소 중에 학습, 지식 저장, 추론 등의 인지 요인은 포함되어 있지 않다.
Most attention models have a gaze determination function through the integration of features based on feature integration theory, but the mechanism for integration between features is not yet clear. In order to solve this problem, a binocular gaze determination model that integrates a bottom-up gaze determination by an unconscious action and a top-down gaze determination by a conscious action has been proposed. Cognitive factors such as inference are not included.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 목표 대상을 탐색하는데 있어 인간의 인지 기능에 기반하여 시각 주의집중에 의한 물체 인식 장치 및 물체 인식 방법을 제공하는 것이다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide an object recognition apparatus and an object recognition method based on visual attention based on a human cognitive function in searching for a target object.

상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 물체 인식 장치는, 이미지가 입력되면 윤곽 정보를 기반으로 제1 특징들을 결합한 후에, 물체 인식에 필요한 제2 특징을 추출하고 주의를 기울임으로써 물체를 인식하여 메모리에 저장하는 제1 모듈; 및 이미지가 입력되면 상기 메모리를 참조하여 관심영역을 선택하고 물체 인식에 필요한 제3 특징을 추출하고 주의를 제3 특징으로 이동시킴으로써 제3 특징을 융합하여 물체를 지각하는 제2 모듈; 를 포함하는 것을 특징으로 한다.Object recognition apparatus according to a preferred embodiment of the present invention for achieving the above object, after combining the first features based on the contour information when the image is input, and extracts and pays attention to the second feature required for the object recognition A first module for recognizing an object and storing the object in a memory; And a second module for perceiving an object by fusing the third feature by selecting an ROI with reference to the memory, extracting a third feature required for object recognition, and moving the attention to the third feature when an image is input. And a control unit.

상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 물체 인식 방법은, 이미지가 입력되면 윤곽 정보를 기반으로 제1 특징들을 결합한 후에, 물체 인식에 필요한 제2 특징을 추출하고 주의를 기울임으로써 물체를 인식하여 메모리에 저장하는 단계; 및 이미지가 입력되면 상기 메모리를 참조하여 관심영역을 선택하고 물체 인식에 필요한 제3 특징을 추출하고 주의를 제3 특징으로 이동시킴으로써 제3 특징을 융합하여 물체를 지각하는 단계; 를 포함하는 것을 특징으로 한다.
In the object recognition method according to the preferred embodiment of the present invention for achieving the above object, after combining the first features based on the contour information when the image is input, extracting and paying attention to the second feature required for the object recognition Recognizing and storing the object in a memory; And recognizing the object by fusing the third feature by selecting an ROI with reference to the memory, extracting a third feature required for object recognition, and moving the attention to the third feature when an image is input. And a control unit.

상기와 같은 구성 및 방법을 가지는 본 발명은 목표 대상을 탐색할 시에 인간의 인지 기능에 기반하여 데이터 기반 선택적 주의 집중과 선택적 주의 집중을 동시에 고려함으로써 기각 주의 집중에 의한 물체 인식이 가능하며, 이로써 정확한 사용자 중심의 정보를 제공할 수 있는 효과가 있다. 이와 같은 본 발명은 시각 장애인이나 시력 저하 또는 손실 환자들을 위한 감각 보조 시스템 및, 재활 로봇 등의 각종 인공 지능을 필요로 하는 분야에 활용될 수 있다.
The present invention having the above-described configuration and method enables object recognition by dismissing attention by simultaneously considering data-based selective attention and selective attention based on human cognitive function when searching for a target object. There is an effect that can provide accurate user-centric information. The present invention can be utilized in fields requiring various artificial intelligence, such as sensory assistance system for the visually impaired, visually impaired or lost patients, and a rehabilitation robot.

도 1은 본 발명의 이해를 돕기 위한 개념도로서, 인간의 인지 기능을 기반으로 시각 주의 집중을 통한 물체 인식 과정에 대하여 도시한 도면.
도 2는 본 발명의 바람직한 실시예에 따른 물체 인식 장치를 도시한 블록도.
도 3은 본 발명의 바람직한 실시예에 따른 물체 인식 방법을 도시한 순서도.
도 4는 본 발명에서 목표 대상을 지하철역 내부의 표지판으로 설정하였을 때 물체를 인식하는 과정의 일 예를 보여주는 도면.1 is a conceptual diagram to help understand the present invention, and illustrates a process of object recognition through visual attention based on a human cognitive function.
2 is a block diagram showing an object recognition apparatus according to a preferred embodiment of the present invention.
3 is a flowchart illustrating an object recognition method according to a preferred embodiment of the present invention.
4 is a view showing an example of a process of recognizing an object when the target object is set as a sign inside a subway station in the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 물체 인식 장치 및 물체 인식 방법에 대하여 설명한다.Hereinafter, an object recognition apparatus and an object recognition method according to a preferred embodiment of the present invention will be described with reference to the accompanying drawings.

본 발명에 따른 물체 인식 장치 및 물체 인식 방법은 인간의 인지 기능에 기반한 시각 주의 집중에 의한 물체 인식 장치 및 물체 인식 방법에 관한 것으로서, 데이터 기반의 선택적 주의 집중과 모델 기반의 선택적 주의 집중을 동시에 고려하여 물체를 인식한다.The object recognizing apparatus and the object recognizing method according to the present invention are related to the object recognizing apparatus and the object recognizing method based on visual attention based on the human cognitive function, and simultaneously consider the data-based selective attention and the model-based selective attention. To recognize objects.

상기 선택적 주의 집중은 인간의 시각시스템에서의 시선 결정에 있어서 인간의 시각 체계를 통해 입력되는 수많은 영상 중 의미있는 일부 특징만을 선택적으로 선별하여 주의를 특정 객체에 집중시키는 과정을 기반으로 한 것이며, 상기 데이터 기반의 선택적 주의 집중은 인간의 시각시스템에서의 시선 결정에 있어서 입력된 영상에 대해서 무의식적으로 즉각 반응하는 자료 중심적 처리에 따른 상향식 과정을 기반으로 한 것이고, 상기 모델 기반의 선택적 주의 집중은 인간의 시각시스템에서의 시선 결정에 있어서 사전에 학습된 정보를 이용하여 개념 중심적 처리에 따른 하향식 과정을 기반으로 한 것이다.The selective attention is based on a process of focusing attention on a specific object by selectively selecting only some meaningful features from numerous images input through the human visual system in determining the gaze in the human visual system. Data-based selective attention is based on a bottom-up process based on data-centric processing that unconsciously and immediately reacts to the input image in determining the gaze of the human visual system. It is based on a top-down process based on concept-oriented processing using information learned in advance in determining the gaze in the visual system.

도 1에는 본 발명의 이해를 돕기 위하여, 인간의 인지 기능을 기반으로 시각 주의 집중을 통한 물체 인식 과정에 대한 개념을 도시하였으며, 이와 같은 도 1을 참조하여 인간을 인지 기능을 기반으로 하여 시각 주의 집중을 통해 물체를 인식하는 과정에 대하여 설명하면 다음과 같다.FIG. 1 illustrates a concept of an object recognition process by focusing visual attention based on a human cognitive function, for the understanding of the present invention. Referring to FIG. The process of recognizing an object through concentration is as follows.

먼저, 인간의 눈을 통하여 외부의 시각 자극(즉, 이미지)이 입력되면(S101), 눈의 망막과 뇌의 시각 정보의 조합에 의해 관심 영역이 검출된다(S103). 여기서, 관심 영역을 검출하는 것은 이미지에서 전경과 배경을 분리하기 위하여 윤곽 검출을 수행하는 것으로서, 윤곽 검출은 영상처리의 가장 기본이 되는 과정으로서 이미지 내부의 물체의 경계선을 획득하는 과정이다.First, when an external visual stimulus (that is, an image) is input through the human eye (S101), the ROI is detected by a combination of eye retina and visual information of the brain (S103). Here, the detection of the ROI is to perform contour detection to separate the foreground and the background from the image. The contour detection is the most basic process of image processing, and is a process of acquiring boundary lines of an object inside the image.

상기와 같이 관심 영역이 검출된 후에는, 수직선이나 수평선, 곡선 등과 같은 단순한 기하학적 특징 및, 모양, 크기, 색상, 움직임 등의 분석을 통하여 세부 특징이 검출된다(S105).After the ROI is detected as described above, detailed features are detected through analysis of simple geometrical features such as vertical lines, horizontal lines, curves, and the like, shapes, sizes, colors, and motions (S105).

상기와 같이 검출된 세부 특징들이 병합되어 이들 간의 관계가 분석된 후에는, 탐색 물체에 대한 주의 매핑이 생성되며(S109), 이는 기억, 학습, 추론 등 인간의 인지 과정(S111)의 영향을 받아 뇌의 시각 정보와의 비교를 통하여 탐색 물체에 대한 형태를 인식하게 된다(S113). 이러한 인간의 인지 기능(S111)이 각 단계에 작용하며, 주의 매핑된 물체 특징 정보는 뇌의 시각 정보로 저장된다.After the detailed features detected as described above are merged and the relationship between them is analyzed, attention mapping for the search object is generated (S109), which is influenced by the human cognitive process (S111) such as memory, learning, and reasoning. The shape of the search object is recognized through comparison with visual information of the brain (S113). This human cognitive function (S111) acts at each step, and attention-mapped object feature information is stored as visual information of the brain.

상술한 과정의 반복을 통하여 지각된 물체를 인간에게 물체 정보로서 제공된다(S115).The object perceived through the repetition of the above process is provided to the human being as object information (S115).

도 2에는 본 발명의 바람직한 실시예에 따른 물체 인식 장치를 도시하였다.2 illustrates an object recognition apparatus according to a preferred embodiment of the present invention.

도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 물체 인식 장치는 외부자극 입력부(100)와, 데이터 기반의 선택적 주의 집중에 의한 물체 인식을 위한 제1 모듈(200)과, 모델 기반의 선택적 주의 집중에 의한 물체 인식을 위한 제2 모듈(200)을 포함하여 구성된다.Referring to FIG. 2, an object recognition apparatus according to an exemplary embodiment of the present invention includes an external stimulus input unit 100, a first module 200 for object recognition by selective attention based on data, and a model based selective. It is configured to include a second module 200 for object recognition by attention.

상기 제1 모듈(200)은 기본 특징 결합부(201), 중요 특징 추출부(202), 물체 인식부(203)를 포함하여 구성되며, 제 2 모듈(300)은 메모리(301), 관심 영역 선택부(302), 세부 특징 추출부(303), 추출 특징 융합부(304), 물체 지각부(305)를 포함하여 구성된다.The first module 200 includes a basic feature combiner 201, an important feature extractor 202, and an object recognizer 203. The second module 300 includes a memory 301 and a region of interest. And a selection unit 302, a detailed feature extraction unit 303, an extraction feature fusion unit 304, and an object perception unit 305.

이와 같은 구성을 가지는 본 발명의 바람직한 실시예에 따른 물체 인식 장치의 각 구성 요소에 대하여 상세히 설명하면 다음과 같다.Each component of the object recognition apparatus according to the preferred embodiment of the present invention having such a configuration will be described in detail as follows.

상기 외부자극 입력부(100)는 이미지와 같은 시각적인 외부 자극을 입력받아서 제1 모듈(200)과 제2 모듈(300)에 제공하는 장치이며, 이와 같은 외부자극 입력부(100)는 카메라 등과 같은 이미지 촬영 장치를 통해 촬영된 이미지를 유선 또는 무선으로 입력받아서 제1 모듈(200)과 제2 모듈(300)에 제공하거나, 또는 저장 장치에 미리 저장된 이미지 파일을 불러들여서 제1 모듈(200)과 제2 모듈(300)에 제공한다.The external stimulus input unit 100 is a device that receives a visual external stimulus such as an image and provides it to the first module 200 and the second module 300, the external stimulus input unit 100 is an image such as a camera The image captured by the photographing apparatus is input to the first module 200 and the second module 300 by wire or wirelessly, or the image file pre-stored in the storage device is imported to the first module 200 and the first module 200. Provided to two modules (300).

상기 제1 모듈(200)의 기본 특징 결합부(201)는 외부자극 입력부(100)로부터 외부 자극(즉, 이미지)을 입력받아 직선, 곡선 등의 윤곽 정보를 기반으로 한 기본 특징들을 결합한다. 여기서, 윤곽 정보를 기반으로 한 기본특징들을 결합하는 것은 이미지 내부의 물체의 경계선을 획득하고 전경과 배경을 분리하여 기본특징 영역을 획득해내는 과정이다. The basic feature combiner 201 of the first module 200 receives an external stimulus (ie, an image) from the external stimulus input unit 100 and combines basic features based on contour information such as a straight line and a curve. Here, combining the basic features based on the contour information is a process of acquiring the boundary line of the object in the image and obtaining the basic feature region by separating the foreground and the background.

상기 제1 모듈(200)의 중요 특징 추출부(202)는 물체 지각에 필요한 색상, 모양, 방향 중에 적어도 하나를 포함하는 중요 특징을 추출한다.The important feature extractor 202 of the first module 200 extracts an important feature including at least one of a color, a shape, and a direction required for object perception.

상기 제1 모듈(200)의 물체 인식부(203)는 중요 특징 추출부(202)에서 추출된 중요 특징에 주의를 집중함으로써 물체를 인식한다. 즉, 상기 물체 인식부(203)는 주의를 외부 자극(즉, 이미지) 전체에서 상기 중요 특징으로 이동시킴으로써 물체를 인식한다. 이때, 상기 물체 인식부(203)에서 인식된 물체에 대한 정보(지식, 맥락, 단서)는 제2 모듈(300)의 메모리(301)에 저장되며, 이후에 동일한 자극이나 다른 자극들이 입력될 때 모델 기반의 선택적 주의 집중을 위한 단서로 사용되게 되는데, 이에 대해서는 이하에서 제2 모듈(300)의 구성 요소에 대한 설명을 할 시에 상세히 설명하도록 한다.The object recognizer 203 of the first module 200 recognizes an object by focusing attention on the important feature extracted by the important feature extractor 202. That is, the object recognizing unit 203 recognizes an object by moving attention to the important feature in the entire external stimulus (ie, image). At this time, information (knowledge, context, clue) about the object recognized by the object recognition unit 203 is stored in the memory 301 of the second module 300, and when the same stimulus or other stimuli are input thereafter. This will be used as a clue for selective attention based on the model, which will be described in detail later when describing the components of the second module 300.

상기 제2 모듈(300)의 관심 영역 선택부(302)는 외부자극 입력부(100)로부터 외부 자극(즉, 이미지)이 입력되면, 기존에 메모리(301)에 저장된 지식 데이터베이스에 기반하여 관심 영역을 선택한다. 이때, 관심 영역을 선택하는 것은 윤곽 정보 검출을 통해서 이루어진다. When the external stimulus (ie, an image) is input from the external stimulus input unit 100, the ROI selector 302 of the second module 300 selects the ROI based on a knowledge database previously stored in the memory 301. Choose. At this time, the selection of the ROI is performed through contour information detection.

상기 제2 모듈(300)의 세부 특징 추출부(303)는 관심 영역 선택부(302)에서 선택된 관심 영역 내에서 물체 인식에 중요한 색상, 모양, 방향 중에 적어도 어느 하나를 포함하는 세부 특징을 추출해내고, 주의를 외부 자극(즉, 이미지) 전체에서 세부 특징으로 이동시킨다.The detailed feature extractor 303 of the second module 300 extracts a detailed feature including at least one of a color, a shape, and a direction important for object recognition in the ROI selected by the ROI selector 302. , To shift the attention to detailed features throughout the external stimulus (ie, image).

상기 중요 특징 추출부(202)와 세부 특징 추출부(303)는 특징을 검출하는 과정에서 원근의 차이, 시각 정보의 분포 특성이나 동적 특성의 변화량 등을 인식하기 위하여 중심-주변 연산차(Center-surround Difference) 알고리즘 등의 전경과 배경의 구분이 두드러지게 하는 다양한 알고리즘의 적용이 가능하며, 특징 정보 추출을 위해서는 독립성분 해석(Independent component analysis), 엔트로피(Entropy) 해석 등을 통하여 돌출맵(Saliency map)을 생성할 수 있으며, 또한 사람의 감정이나 선호도, 깊이 정보 등을 이용한 돌출맵들의 통합을 통해 최종 돌출맵을 생성함으로써 탐색 목표를 인식할 수 있도록 모델링이 가능하다. 여기서, 상기 돌출맵은 시작적 중요도를 맵의 형태로 나타낸 것으로서 시각적인 중요성이 높은 전경에서는 대체로 높은 값을 가지고 시각적인 중요성이 낮은 배경에서는 낮은 값을 가지며, 외부 자극(즉, 이미지)로부터 컬러, 명도, 에지(edge) 방향 등과 같은 정보들을 이용해 사용자의 눈에 띄는 정도를 정량화해서 나타낸 이미지이다.The key feature extractor 202 and the detailed feature extractor 303 detect a difference in perspective, a distribution characteristic of visual information, a change in dynamic characteristics, or the like in order to detect a feature. Various algorithms that distinguish between foreground and background, such as surround difference algorithm, can be applied.In order to extract feature information, an independent component analysis and an entropy analysis can be applied to the saliency map. ) Can be created and modeled to recognize the search target by generating the final protrusion map through integration of protrusion maps using human emotion, preference, and depth information. Here, the protruding map shows the initial importance in the form of a map and has a high value in the foreground having a high visual importance and a low value in a background having low visual importance, and a color from an external stimulus (ie, image). It is an image that quantifies the user's noticeable degree using information such as brightness and edge direction.

상기 제2 모듈(300)의 추출 특징 융합부(304)는 세부 특징 추출부(303)에서 추출된 세부 특징들을 융합(즉, 조합)하여 최종적으로 물체를 지각한다.The extraction feature fusion unit 304 of the second module 300 fuses (ie, combines) the detailed features extracted by the detail feature extraction unit 303 to finally perceive the object.

도면에 도시하지는 않았지만, 상기 제2 모듈(300)에는 판단부가 구비되는데, 상기 판단부는 상기 추출 특징 융합부(304)에서 지각된 물체에 대하여 메모리(301)의 지식 데이터베이스에 저장된 정보와의 매칭을 통해 탐색 목표인지의 여부를 판단하며, 탐색 목표가 맞다고 판단되는 경우에는 이를 정보화하여 탐색자에게 제공하며, 반면에 탐색 목표가 아니라고 판단되는 경우에는 탐색 목표와 일치할 때까지 상술한 과정을 반복될 수 있도록 한다.Although not shown in the figure, the second module 300 includes a determination unit, which determines matching of information stored in the knowledge database of the memory 301 with respect to the object perceived by the extraction feature fusion unit 304. If it is determined that the search target is correct, the information is provided to the searcher, and if it is determined that the search target is not, the above-described process can be repeated until it matches the search target. .

도 3에는 본 발명의 바람직한 실시예에 따른 물체 인식 방법을 순서도로 도시하였으며, 도 3의 A는 데이터 기반의 선택적 주의 집중에 의한 물체 인식 과정을 도시하였고, 도 3의 B는 모델 기반의 선택적 주의 집중에 의한 물체 인식 과정을 도시하였다. 이와 같은 도 3을 참조하여 본 발명의 바람직한 실시예에 따른 물체 인식 방법에 대하여 설명하면 다음과 같다.FIG. 3 is a flowchart illustrating an object recognition method according to a preferred embodiment of the present invention. FIG. 3A illustrates an object recognition process based on data-based selective attention, and FIG. 3B illustrates a model-based selective attention. The object recognition process by concentration is shown. The object recognition method according to the preferred embodiment of the present invention will be described with reference to FIG. 3 as follows.

데이터 기반의 선택적 주의 집중에 의한 물체 인식 과정은, 제1모듈(200)이 외부 자극을 입력받아(S201) 직선, 곡선 등의 윤곽 정보를 기반으로 기본 특징들을 결합(S203)한 후에, 물체 지각에 중요한 색상, 모양, 방향 등의 중요 특징을 추출하고 주의를 기울임으로써 물체를 인식(S204)하는 과정을 포함한다. 이때, 지각된 물체 정보는 메모리에 데이터베이스로 저장(S205)되며, 이후에 동일한 자극이나 다른 자극들이 입력될 때 모델 기반의 선택적 주의 집중을 위한 단서로 사용될 수 있다. 이와 같은 데이터 기반의 선택적 주의 집중에 의한 물체 인식 과정에서 대하여 상세히 설명하면 다음과 같다.In the object recognition process by selective attention based on data, after the first module 200 receives an external stimulus (S201) and combines basic features based on contour information such as a straight line or a curve (S203), the object perception is detected. The method includes extracting important features such as color, shape, direction, and the like, and recognizing the object (S204). At this time, the perceived object information is stored in a database in the memory (S205), and may be used as a clue for selective attention based on the model when the same stimulus or other stimuli are input later. The object recognition process by selective attention based on the data will be described in detail as follows.

먼저, 외부자극 입력부(100)는 이미지와 같은 시각적인 외부 자극을 입력받아서 제1 모듈(200)에 제공한다. 즉, 외부자극 입력부(100)는 카메라 등과 같은 이미지 촬영 장치를 통해 촬영된 이미지를 유선 또는 무선으로 입력받아서 제1 모듈(200) 에 제공하거나, 또는 저장 장치에 미리 저장된 이미지 파일을 불러들여서 제1 모듈(200) 에 제공한다.First, the external stimulus input unit 100 receives a visual external stimulus such as an image and provides it to the first module 200. That is, the external stimulus input unit 100 receives an image captured by an image capturing device such as a camera or the like by wire or wirelessly to provide it to the first module 200, or loads an image file stored in a storage device in advance to the first module 200. To the module 200.

다음으로, 상기 제1 모듈(200)의 기본 특징 결합부(201)는 외부자극 입력부(100)로부터 외부 자극(즉, 이미지)을 입력받아 직선, 곡선 등의 윤곽 정보를 기반으로 한 기본 특징들을 결합한다.Next, the basic feature combiner 201 of the first module 200 receives an external stimulus (that is, an image) from the external stimulus input unit 100 and receives basic features based on contour information such as a straight line and a curve. To combine.

다음으로, 상기 제1 모듈(200)의 중요 특징 추출부(202)는 물체 지각에 필요한 색상, 모양, 방향 중에 적어도 하나를 포함하는 중요 특징을 추출한다.Next, the important feature extractor 202 of the first module 200 extracts an important feature including at least one of color, shape, and direction required for object perception.

상기 제1 모듈(200)의 물체 인식부(203)는 중요 특징 추출부(202)에서 추출된 중요 특징에 주의를 집중함으로써 물체를 인식한다. 즉, 상기 제1 모듈(200)의 물체 인식부(203)는 중요 특징 추출부(202)에서 추출된 중요 특징에 주의를 집중함으로써 물체를 인식한다. 즉, 상기 물체 인식부(203)는 주의를 외부 자극(즉, 이미지) 전체에서 상기 중요 특징으로 이동시킴으로써 물체를 인식한다. 이때, 상기 물체 인식부(203)에서 인식된 물체에 대한 정보(지식, 맥락, 단서)는 제2 모듈(300)의 메모리(301)에 저장되며, 이후에 동일한 자극이나 다른 자극들이 입력될 때 모델 기반의 선택적 주의 집중을 위한 단서로 사용되게 되는데, 이에 대해서는 이하에서 모델 기반의 선택적 주의 집중에 의한 물체 인식 과정에 대한 설명을 할 시에 상세히 설명하도록 한다.The object recognizer 203 of the first module 200 recognizes an object by focusing attention on the important feature extracted by the important feature extractor 202. That is, the object recognizer 203 of the first module 200 recognizes an object by focusing attention on the important feature extracted by the important feature extractor 202. That is, the object recognizing unit 203 recognizes an object by moving attention to the important feature in the entire external stimulus (ie, image). At this time, information (knowledge, context, clue) about the object recognized by the object recognition unit 203 is stored in the memory 301 of the second module 300, and when the same stimulus or other stimuli are input thereafter. It will be used as a clue for the model-based selective attention, which will be described in detail later in the description of the object recognition process by the model-based selective attention.

그리고, 모델 기반의 선택적 주의 집중에 의한 물체 인식 과정은, 제2 모듈(300)이 외부 자극이 입력되면 윤곽을 검출하고 기존에 메모리에 저장된 데이터베이스에 기반하여 관심 영역을 선택(S212)한 후에 물체 인식에 중요한 세부 특징을 추출(S213)하며, 주의가 전체에서 세부 특징으로 이동하게 되고, 추출된 특징들을 융합하여 물체를 지각(S213)하는 과정을 포함한다. 이와 같은 데모델 기반의 선택적 주의 집중에 의한 물체 인식 과정에서 대하여 상세히 설명하면 다음과 같다.In the object recognition process based on the selective attention based on the model, when an external stimulus is input, the second module 300 detects an outline and selects a region of interest based on a database stored in a memory (S212). The detailed feature important to the recognition is extracted (S213), attention is moved to the detailed feature from the whole, and the extracted features are included in the process of perceiving an object (S213). Such a model-based object recognition process based on selective attention will be described in detail as follows.

먼저, 외부자극 입력부(100)는 이미지와 같은 시각적인 외부 자극을 입력받아서 제2 모듈(300)에 제공한다. 즉, 외부자극 입력부(100)는 카메라 등과 같은 이미지 촬영 장치를 통해 촬영된 이미지를 유선 또는 무선으로 입력받아서 제2 모듈(300)에 제공하거나, 또는 저장 장치에 미리 저장된 이미지 파일을 불러들여서 제2 모듈(300)에 제공한다.First, the external stimulus input unit 100 receives a visual external stimulus such as an image and provides it to the second module 300. That is, the external stimulus input unit 100 receives an image photographed through an image capturing device such as a camera or the like and provides the second module 300 by wire or wirelessly, or loads an image file pre-stored in a storage device to the second. To the module 300.

다음으로, 상기 제2 모듈(300)의 관심 영역 선택부(302)는 외부자극 입력부(100)로부터 외부 자극(즉, 이미지)이 입력되면, 윤곽을 검출하고 기존에 메모리(301)에 저장된 지식 데이터베이스에 기반하여 관심 영역을 선택한다.Next, the ROI selector 302 of the second module 300 detects an outline when the external stimulus (ie, an image) is input from the external stimulus input unit 100, and then stores the knowledge stored in the memory 301. Select an area of interest based on the database.

다음으로, 상기 제2 모듈(300)의 세부 특징 추출부(303)는 관심 영역 선택부(302)에서 선택된 관심 영역 내에서 물체 인식에 중요한 색상, 모양, 방향 중에 적어도 어느 하나를 포함하는 세부 특징을 추출하며, 주의를 외부 자극(즉, 이미지) 전체에서 세부 특징으로 이동시킨다.Next, the detailed feature extractor 303 of the second module 300 includes at least one of a color, a shape, and a direction important for object recognition in the ROI selected by the ROI selector 302. Extract attention and shift attention to detail features across the external stimulus (ie, image).

다음으로, 상기 제2 모듈(300)의 추출 특징 융합부(304)는 세부 특징 추출부(303)에서 추출된 세부 특징들을 융합(즉, 조합)하여 최종적으로 물체를 지각한다.Next, the extraction feature fusion unit 304 of the second module 300 fuses (ie, combines) the detailed features extracted by the detail feature extraction unit 303 to finally perceive the object.

상술한 바와 같은 방법으로 지각된 물체에 대한 정보는 메모리의 지식 데이터베이스에 저장된 정보와의 매칭을 통하여 탐색 목표인지에 대한 판단 과정을 거치게 되고, 판단 결과 탐색 목표가 맞다고 판단되는 경우에 이는 정보화되어 탐색자에게 제공되며, 반면에 탐색 목표가 아니라고 판단되는 경우에는 탐색 목표와 일치할 때까지 상술한 과정을 반복하게 된다.The information about the object perceived by the above-described method is subjected to a determination process of whether the search target is correct through matching with information stored in the knowledge database of the memory, and when it is determined that the search target is correct, the information is informed to the searcher. On the other hand, if it is determined that the search target is not, the above-described process is repeated until it matches the search target.

상기 중요 특징 추출부(202)와 세부 특징 추출부(303)가 특징을 검출하는 단계에서는 원근의 차이, 시각 정보의 분포 특성이나 동적 특성의 변화량 등을 인식하기 위하여 중심-주변 연산차(Center-surround Difference) 알고리즘 등의 전경과 배경의 구분이 두드러지게 하는 다양한 알고리즘의 적용이 가능하며, 특징 정보 추출을 위해서는 독립성분 해석(Independent component analysis), 엔트로피(Entropy) 해석 등을 통하여 돌출맵(Saliency map)을 생성할 수 있으며, 또한 사람의 감정이나 선호도, 깊이 정보 등을 이용한 돌출맵들의 통합을 통해 최종 돌출맵을 생성함으로써 탐색 목표를 인식할 수 있도록 모델링이 가능하다. 여기서, 상기 돌출맵은 시작적 중요도를 맵의 형태로 나타낸 것으로서 시각적인 중요성이 높은 전경에서는 대체로 높은 값을 가지고 시각적인 중요성이 낮은 배경에서는 낮은 값을 가지며, 외부 자극(즉, 이미지)로부터 컬러, 명도, 에지(edge) 방향 등과 같은 정보들을 이용해 사용자의 눈에 띄는 정도를 정량화해서 나타낸 이미지이다.In the step of detecting features by the important feature extractor 202 and the detailed feature extractor 303, a center-peripheral calculation difference (Center- Various algorithms that distinguish between foreground and background, such as surround difference algorithm, can be applied.In order to extract feature information, an independent component analysis and an entropy analysis can be applied to the saliency map. ) Can be created and modeled to recognize the search target by generating the final protrusion map through integration of protrusion maps using human emotion, preference, and depth information. Here, the protruding map shows the initial importance in the form of a map and has a high value in the foreground having a high visual importance and a low value in a background having low visual importance, and a color from an external stimulus (ie, image). It is an image that quantifies the user's noticeable degree using information such as brightness and edge direction.

도 4에는 본 발명에서 목표 대상을 지하철역 내부의 표지판, 즉, '타는 곳'으로 설정하였을 때 물체를 인식하는 과정의 일 예를 도시하였으며, 도 4의 (a)는 입력되는 외부 자극(즉, 이미지)의 예인 지하철역 내부 이미지를 도시하였고, 도 4의 (b)는 이전에 메모리에 저장된 지식 데이터베이스에 기반하여 관심 영역인 내부 표지판을 선택하기 위하여 직사각형에 해당하는 모든 윤곽을 검출하는 예를 도시하였으며, 도 4의 (c)는 물체 인식에 필요한 세부 특징인 색상 (예: 초록색, 흰색), 기호 (예: 화살표), 문자 (예: 타는 곳) 등을 추출하는 예를 도시하였고, 도 4의 (d)는 추출된 세부 특징들을 융합하여 최종적으로 목표 대상을 탐색한 예(흰색 바탕의 초록색 화살표, 초록색 바탕의 흰색 문자 '타는 곳')를 도시하였다.FIG. 4 illustrates an example of a process of recognizing an object when the target object is set as a sign inside the subway station, that is, a 'boarding place' in the present invention, and FIG. (B) of FIG. 4 shows an example of detecting all contours corresponding to a rectangle in order to select an internal sign of interest area based on a knowledge database previously stored in a memory. 4C illustrates an example of extracting colors (eg, green and white), symbols (eg, arrows), characters (eg, burning places), etc., which are detailed features required for object recognition. (d) shows an example of finally searching for a target object by fusion of the extracted detailed features (a green arrow on a white background and a white character 'burning place' on a green background).

상술한 바에 따르면, 본 발명은 인간의 뇌 기능에 기반하여 목표 대상을 탐색하기 위한 시선 결정에 요구되는 시각 주의 집중에 의한 물체 인식 방법에 관한 것으로서, 선택적 주의 집중 기능은 복잡도가 크고 용량이 큰 정보의 선택적 처리를 가능하게 함으로써, 대용량의 정보처리가 필요한 영상기반 시스템 및 인공시각 시스템 등 시각정보처리를 요구하는 시스템에 적용되어 효율적인 정보처리를 가능하게 한다. 또한, 본 발명은 인지 기능이 저하된 환자들을 위한 인지 기능 향상 프로그램의 개발 또는 각종 인공 지능을 필요로 하는 응용 어플리케이션에 적용하는 것이 가능하다.
As described above, the present invention relates to a method for recognizing an object by visual attention required for determining a gaze for searching for a target object based on a human brain function, wherein the selective attention function has complex and large capacity information. By enabling the selective processing of, it is applied to systems requiring visual information processing, such as image-based systems and artificial visual systems that require a large amount of information processing to enable efficient information processing. In addition, the present invention can be applied to the development of a cognitive function improvement program for patients with reduced cognitive function or to application applications requiring various artificial intelligence.

100 : 외부자극 입력부 200 : 제1 모듈
201 : 기본 특징 결합부 202 : 중요 특징 추출부
203 : 물체 인식부 300 : 제2 모듈
301 : 메모리 302 : 관심 영역 선택부
303 : 세부 특징 추출부 304 : 추출 특징 융합부
305 : 물체 지각부100: external stimulation input unit 200: first module
201: basic feature combining unit 202: important feature extracting unit
203: object recognition unit 300: second module
301: memory 302: region of interest selection unit
303: Detailed feature extraction unit 304: Extraction feature fusion unit
305: object perception

Claims (11)

이미지가 입력되면 윤곽 정보를 기반으로 제1 특징들을 결합한 후에, 물체 인식에 필요한 제2 특징을 추출하고 주의를 기울임으로써 물체를 인식하여 메모리에 저장하는 제1 모듈; 및
이미지가 입력되면 상기 메모리를 참조하여 관심영역을 선택하고 물체 인식에 필요한 제3 특징을 추출하고 주의를 제3 특징으로 이동시킴으로써 제3 특징을 융합하여 물체를 지각하는 제2 모듈;
을 포함하는 것을 특징으로 하는 물체 인식 장치.A first module for recognizing and storing an object in a memory by extracting and paying attention to a second feature required for object recognition after combining the first features based on contour information when an image is input; And
A second module for recognizing an object by fusing a third feature by selecting an ROI with reference to the memory, extracting a third feature required for object recognition, and moving attention to the third feature when an image is input;
Object recognition apparatus comprising a. 제 1 항에 있어서, 상기 메모리에는 인식한 물체에 대한 지식, 맥락, 단서가 저장되는 것을 특징으로 하는 물체 인식 장치.The apparatus of claim 1, wherein the memory stores knowledge, context, and clues about the recognized object. 제 1 항에 있어서, 상기 제1 모듈은,
이미지를 입력받아 직선, 곡선을 포함하는 윤곽 정보를 기반으로 제1 특징들을 결합하는 기본 특징 결합부;
물체 인식에 필요한 색상, 모양, 방향을 포함하는 제2 특징을 추출하는 중요 특징 결합부; 및
상기 제2 특징에 주의를 기울여 물체를 인식하는 물체 인식부;
를 포함하는 것을 특징으로 하는 물체 인식 장치.The method of claim 1, wherein the first module,
A basic feature combiner that receives the image and combines the first features based on contour information including straight lines and curves;
An important feature combination unit for extracting a second feature including a color, a shape, and a direction required for object recognition; And
An object recognizing unit paying attention to the second feature and recognizing an object;
Object recognition apparatus comprising a. 제 1 항에 있어서, 상기 제2 모듈은,
상기 제1 모듈에서 인식된 물체가 지식 데이터베이스로 저장되는 메모리;
이미지가 입력되면 윤곽을 검출한 후에 상기 메모리에 저장된 지식 데이터베이스에 기반하여 관심 영역을 선택하는 관심 영역 선택부;
상기 관심 영역에서 물체 인식에 필요한 색상, 방향을 포함하는 제3 특징을 추출하여 주의가 전체에서 제3 특징으로 이동되도록 하는 세부 특징 추출부; 및
상기 제3 특징들을 융합하여 물체를 지각하는 물체 지각부;
를 포함하는 것을 특징으로 하는 물체 인식 장치.The method of claim 1, wherein the second module,
A memory in which the object recognized by the first module is stored in a knowledge database;
A region of interest selection unit configured to select a region of interest based on a knowledge database stored in the memory after detecting an outline when an image is input;
A detailed feature extracting unit extracting a third feature including a color and a direction required for object recognition in the region of interest so that attention is shifted from the whole to the third feature; And
An object perception unit that fuses the third features to perceive an object;
Object recognition apparatus comprising a. 제 4 항에 있어서, 상기 메모리에는 제1 모듈에서 인식한 물체에 대한 지식, 맥락, 단서가 저장되며, 상기 관심 영역 선택부는 메모리에 저장된 지식, 맥락, 단서에 기반하여 관심 영역을 선택하는 것을 특징으로 하는 물체 인식 장치.The memory of claim 4, wherein the memory stores knowledge, context, and clues about an object recognized by the first module, and the ROI selector selects an ROI based on knowledge, context, and clues stored in the memory. Object recognition device. 제 1 항에 있어서, 상기 제2 모듈에서 지각된 물체 정보는 메모리에 저장된 정보와의 매칭을 통해 탐색 목표인지의 여부가 판단되며, 탐색 목표라고 판단된 경우에는 제2 모듈에서 지각된 물체 정보를 탐색자에게 제공하며, 반대로 탐색 목표가 아니라고 판단된 경우에는 탐색 목표와 일치할 때까지 관심영역을 선택하고 제3 특징을 추출하고 융합하여 물체를 지각하는 과정을 반복하는 것을 특징으로 하는 물체 인식 장치.2. The object information of claim 1, wherein the object information perceived by the second module is determined to be a search target through matching with information stored in a memory. When the object information is determined to be a search target, the object information perceived by the second module is determined. In contrast, if it is determined that the search target is not the search target, the object recognition apparatus repeats the process of selecting the region of interest, extracting and fusing the third feature, and recognizing the object until it matches the search target. 이미지가 입력되면 윤곽 정보를 기반으로 제1 특징들을 결합한 후에, 물체 인식에 필요한 제2 특징을 추출하고 주의를 기울임으로써 물체를 인식하여 메모리에 저장하는 단계; 및
이미지가 입력되면 상기 메모리를 참조하여 관심영역을 선택하고 물체 인식에 필요한 제3 특징을 추출하고 주의를 제3 특징으로 이동시킴으로써 제3 특징을 융합하여 물체를 지각하는 단계;
를 포함하는 것을 특징으로 하는 물체 인식 방법.Recognizing and storing an object in a memory by extracting and paying attention to a second feature required for object recognition after combining the first features based on the contour information when the image is input; And
Recognizing an object by fusing a third feature by selecting an ROI with reference to the memory, extracting a third feature required for object recognition, and moving the attention to the third feature when an image is input;
Object recognition method comprising a. 제 7 항에 있어서, 상기 물체를 인식하여 메모리에 저장하는 단계에서, 메모리에는 인식한 물체에 대한 지식, 맥락, 단서가 저장되는 것을 특징으로 하는 물체 인식 방법.The method of claim 7, wherein in the recognizing and storing the object in a memory, the memory stores knowledge, context, and clues about the recognized object. 제 7 항에 있어서, 상기 물체를 인식하여 메모리에 저장하는 단계는,
이미지를 입력받아 직선, 곡선을 포함하는 윤곽정보를 기반으로 제1 특징들을 결합하는 단계;
물체 인식에 필요한 색상, 모양, 방향을 포함하는 제2 특징을 추출하는 단계;
상기 제2 특징에 주의를 기울여 물체를 인식하는 물체 인식 단계; 및
인식된 물체를 상기 메모리에 지식 데이터베이스로 저장하는 단계;
를 포함하는 것을 특징으로 하는 물체 인식 방법.The method of claim 7, wherein the recognizing and storing the object in a memory comprises:
Combining first features based on contour information including a straight line and a curved line by receiving an image;
Extracting a second feature including color, shape, and direction required for object recognition;
An object recognition step of recognizing an object paying attention to the second feature; And
Storing the recognized object in the memory as a knowledge database;
Object recognition method comprising a. 제 7 항에 있어서, 상기 물체를 지각하는 단계는,
이미지가 입력되면 윤곽을 검출한 후에 상기 메모리에 저장된 정보에 기반하여 관심 영역을 선택하는 단계; 및
상기 관심 영역에서 물체 인식에 필요한 색상, 방향을 포함하는 제3 특징을 추출하여 주의가 전체에서 제3 특징으로 이동되도록 하는 단계;
를 포함하는 것을 특징으로 하는 물체 인식 방법.The method of claim 7, wherein the perception of the object,
Selecting an ROI based on information stored in the memory after detecting an outline when an image is input; And
Extracting a third feature including a color and a direction required for object recognition in the region of interest so that the attention is shifted from the whole to the third feature;
Object recognition method comprising a. 제 7 항에 있어서, 상기 물체를 지각하는 단계 이후에는,
지각된 물체에 대한 정보는 메모리에 저장된 정보와의 매칭을 통해 탐색 목표인지의 여부를 판단하여, 탐색 목표라고 판단된 경우에는 지각된 물체에 대한 정보를 탐색자에게 제공하고, 반대로 탐색 목표가 아니라고 판단된 경우에는 탐색 목표와 일치할 때까지 상기 물체를 지각하는 단계를 반복 수행하는 것을 특징으로 하는 물체 인식 방법.
8. The method of claim 7, wherein after perceiving the object,
It is determined whether the information about the perceived object is the search target by matching the information stored in the memory, and when it is determined that the search target is the search target, the information about the perceived object is provided to the searcher, and conversely, the information about the perceived object is not determined as the search target. If it is, repeating the step of perceiving the object until it matches the search target.
KR1020120048671A 2012-05-08 2012-05-08 Object recognition device and method KR20130125143A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120048671A KR20130125143A (en) 2012-05-08 2012-05-08 Object recognition device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120048671A KR20130125143A (en) 2012-05-08 2012-05-08 Object recognition device and method

Publications (1)

Publication Number Publication Date
KR20130125143A true KR20130125143A (en) 2013-11-18

Family

ID=49853677

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120048671A KR20130125143A (en) 2012-05-08 2012-05-08 Object recognition device and method

Country Status (1)

Country Link
KR (1) KR20130125143A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335747A (en) * 2017-01-18 2018-07-27 陈兆炜 Cognitive training system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335747A (en) * 2017-01-18 2018-07-27 陈兆炜 Cognitive training system
CN108335747B (en) * 2017-01-18 2022-04-05 陈兆炜 Cognitive training system

Similar Documents

Publication Publication Date Title
US10292481B2 (en) Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US11170250B2 (en) Nail contour detecting device, nail contour detecting method and storage medium
CN109905593B (en) Image processing method and device
RU2431190C2 (en) Facial prominence recognition method and device
JP2020194608A (en) Living body detection device, living body detection method, and living body detection program
CN110569808A (en) Living body detection method and device and computer equipment
WO2010071021A1 (en) Opened/closed eye recognizing apparatus and program
EP3005284A1 (en) Smart prosthesis for facilitating artificial vision using scene abstraction
US11579686B2 (en) Method and device for carrying out eye gaze mapping
CN112446302A (en) Human body posture detection method and system, electronic equipment and storage medium
Chavan et al. Real time emotion recognition through facial expressions for desktop devices
US8086551B2 (en) Electronic system with simulated sense perception and method of providing simulated sense perception
Kholerdi et al. Driver's drowsiness detection using an enhanced image processing technique inspired by the human visual system
KR20190119212A (en) System for performing virtual fitting using artificial neural network, method thereof and computer recordable medium storing program to perform the method
WO2023279799A1 (en) Object identification method and apparatus, and electronic system
CN115147936A (en) Living body detection method, electronic device, storage medium, and program product
KR101121712B1 (en) Providing device of eye scan path
CN106650656B (en) User identity recognition device and robot
KR101847446B1 (en) Apparatus and method for eye-tracking base on cognition data network
Lombardi et al. icub knows where you look: Exploiting social cues for interactive object detection learning
KR20130125143A (en) Object recognition device and method
KR101314687B1 (en) Providing device of eye scan path and mehtod for providing eye scan path
CN109711286B (en) Control method and device based on artificial retina space perception
Lanillos et al. Multisensory 3D saliency for artficial attention systems
CN113673378A (en) Face recognition method and device based on binocular camera and storage medium

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid