KR102129916B1

KR102129916B1 - Apparatus and method for analyzing an image including event information

Info

Publication number: KR102129916B1
Application number: KR1020130098273A
Authority: KR
Inventors: 이준행; 류현석; 이규빈
Original assignee: 삼성전자주식회사
Priority date: 2013-07-29
Filing date: 2013-08-20
Publication date: 2020-08-05
Also published as: KR20150014342A

Abstract

이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법이 개시된다. 일 실시예에 따른 영상 분석 장치는 입력 영상에 포함된 이벤트 정보에 대응되는 적어도 하나의 픽셀군의 패턴을 분류하고, 분류된 적어도 하나의 패턴에 기초하여 오브젝트의 외형 및 오브젝트의 모션 중 적어도 하나를 분석한다.Disclosed is an apparatus and method for analyzing an image including event information. The image analysis apparatus according to an embodiment classifies patterns of at least one pixel group corresponding to event information included in an input image, and based on at least one classified pattern, at least one of an object shape and an object motion. Analyze.

Description

A device and method for analyzing an image including event information{APPARATUS AND METHOD FOR ANALYZING AN IMAGE INCLUDING EVENT INFORMATION}

아래 실시예들은 영상 분석 장치에 관한 것으로, 입력 영상에 포함된 오브젝트를 분석하는 기술에 관한 것이다.
The following embodiments relate to an image analysis apparatus, and to a technique for analyzing an object included in an input image.

이미지 프로세싱(image processing)은 넓게는 입출력이 영상인 모든 형태의 정보 처리를 가리키며, 예를 들어 사진이나 동영상을 분석하거나 처리하는 작업 등을 포함할 수 있다.Image processing broadly refers to all types of information processing in which input/output is an image, and may include, for example, analyzing or processing pictures or videos.

비전 센서는 이미지 프로세싱을 위한 입력 데이터를 센싱하는 장치로서, 예를 들어 반도체 소자의 제조 기술을 이용하여 집적회로화 된 광전 변환 소자 등을 포함할 수 있다.
The vision sensor is an apparatus for sensing input data for image processing, and may include, for example, an integrated circuit-integrated photoelectric conversion element using a semiconductor device manufacturing technology.

일 측에 따른 영상 분석 장치는 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀에 인접한 복수의 인접 픽셀들을 포함하는 적어도 하나의 픽셀군의 패턴을 분류하는 분류부; 및 상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 오브젝트의 외형 및 상기 오브젝트의 모션 중 적어도 하나를 분석하는 분석부를 포함한다.The image analysis apparatus according to one side may include at least one pixel corresponding to the event signal and a plurality of adjacent pixels adjacent to the at least one pixel based on an input image including an event signal in which an object motion is detected. A classification unit to classify patterns of one pixel group; And an analysis unit analyzing at least one of the appearance of the object and the motion of the object based on the pattern of the at least one pixel group.

이 때, 상기 분류부는 상기 적어도 하나의 픽셀의 타임 스탬프와 상기 복수의 인접 픽셀들의 타임스탬프들 사이의 차이에 기초하여 상기 복수의 인접 픽셀들의 유형들을 결정하는 유형 결정부; 및 상기 복수의 인접 픽셀들의 유형들에 기초하여 상기 적어도 하나의 픽셀군의 패턴을 결정하는 패턴 결정부를 포함할 수 있다.In this case, the classification unit may include a type determination unit that determines the types of the plurality of adjacent pixels based on a difference between the time stamp of the at least one pixel and the timestamps of the plurality of adjacent pixels; And a pattern determination unit that determines a pattern of the at least one pixel group based on types of the plurality of adjacent pixels.

또한, 상기 분석부는 상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 적어도 하나의 픽셀군에 대응되는 속도를 계산하는 계산부; 및 상기 적어도 하나의 픽셀군에 대응되는 속도에 기초하여 상기 오브젝트의 모션을 분석하는 모션 분석부를 포함할 수 있다.In addition, the analysis unit is a calculation unit for calculating a speed corresponding to the at least one pixel group based on the pattern of the at least one pixel group; And a motion analyzer analyzing the motion of the object based on the speed corresponding to the at least one pixel group.

또한, 상기 영상 분석 장치는 상기 오브젝트의 모션에 기초하여 사용자 입력을 위한 포인트의 상대 좌표의 변화량을 계산하고, 상기 상대 좌표의 변화량에 기초하여 사용자 입력을 처리하는 처리부를 더 포함할 수 있다.In addition, the image analysis apparatus may further include a processor configured to calculate a change amount of a relative coordinate of a point for user input based on the motion of the object, and process a user input based on the change amount of the relative coordinate.

다른 일 측에 따른 영상 분석 장치는 오브젝트의 움직임이 감지된 제1 이벤트 신호에 기초하여 상기 제1 이벤트 신호에 대응되는 적어도 하나의 제1 픽셀과 상기 적어도 하나의 제1 픽셀에 인접한 복수의 제1 인접 픽셀들을 포함하는 적어도 하나의 제1 픽셀군의 패턴을 분류하고, 상기 오브젝트의 움직임이 감지된 제2 이벤트 신호에 기초하여 상기 제2 이벤트 신호에 대응되는 적어도 하나의 제2 픽셀과 상기 적어도 하나의 제2 픽셀에 인접한 복수의 제2 인접 픽셀들을 포함하는 적어도 하나의 제2 픽셀군의 패턴을 분류하는 분류부; 상기 적어도 하나의 제1 픽셀군의 패턴에 기초하여 상기 오브젝트의 제1 외형을 검출하고, 상기 적어도 하나의 제2 픽셀군의 패턴에 기초하여 상기 오브젝트의 제2 외형을 검출하며, 상기 제1 외형과 상기 제2 외형에 기초하여 상기 오브젝트의 깊이를 분석하는 분석부를 포함한다.The image analysis apparatus according to the other side may include at least one first pixel corresponding to the first event signal and a plurality of first adjacent to the at least one first pixel based on a first event signal in which object motion is detected. A pattern of at least one first pixel group including adjacent pixels is classified, and at least one second pixel and the at least one corresponding to the second event signal are based on a second event signal in which the movement of the object is detected. A classification unit to classify a pattern of at least one second pixel group including a plurality of second adjacent pixels adjacent to the second pixel of; Detecting a first appearance of the object based on the pattern of the at least one first pixel group, detecting a second appearance of the object based on the pattern of the at least one second pixel group, and the first appearance And an analysis unit analyzing the depth of the object based on the second appearance.

또 다른 일 측에 따른 영상 분석 방법은 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀에 인접한 복수의 인접 픽셀들을 포함하는 적어도 하나의 픽셀군의 패턴을 분류하는 단계; 및 상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 오브젝트의 외형 및 상기 오브젝트의 모션 중 적어도 하나를 분석하는 단계를 포함한다.An image analysis method according to another aspect includes at least one pixel corresponding to the event signal and a plurality of adjacent pixels adjacent to the at least one pixel based on an input image including an event signal in which an object motion is detected. Classifying a pattern of at least one pixel group; And analyzing at least one of the appearance of the object and the motion of the object based on the pattern of the at least one pixel group.

또 다른 일 측에 따른 영상 분석 방법은 오브젝트의 이벤트 신호를 입력 받는 단계; 상기 이벤트 신호에 해당하는 픽셀에 인접한 복수의 인접 픽셀들을 선택하는 단계; 미리 설정된 패턴들 중에서 상기 복수의 인접 픽셀들에 저장된 정보에 해당하는 패턴을 선택하는 단계; 및 상기 선택된 패턴을 이용하여 상기 오브젝트의 외형을 분석하는 단계를 포함한다.
According to another aspect, an image analysis method includes receiving an event signal of an object; Selecting a plurality of adjacent pixels adjacent to the pixel corresponding to the event signal; Selecting a pattern corresponding to information stored in the plurality of adjacent pixels from among preset patterns; And analyzing the appearance of the object using the selected pattern.

도 1은 일 실시예에 따른 영상 분석 장치를 나타낸 블록도.
도 2a 내지 도 2c는 일 실시예에 따른 미리 정해진 복수의 에지 패턴들을 설명하기 위한 도면.
도 3a 및 도 3b는 일 실시예에 따른 픽셀군의 패턴을 분류하는 기법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 픽셀군의 외형선 방향을 결정하는 기법을 설명하기 위한 도면.
도 5a 내지 도 5b는 일 실시예에 따른 입력 영상에 기초하여 오브젝트의 외형을 분석하는 기법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 픽셀군에 대응되는 속도를 계산하는 기법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 리지드 바디 모델(rigid body model)을 이용하여 오브젝트의 모션을 분석하는 기법을 설명하기 위한 도면.
도 8a 내지 도 8d는 일 실시예에 따른 오브젝트의 모션 분석의 정확도를 향상시키는 기법을 설명하기 위한 도면.
도 9는 일 실시예에 따른 오브젝트의 이동 속도에 기초하여 사용자 입력을 처리하는 기법을 설명하기 위한 도면.
도 10은 일 실시예에 따른 오브젝트의 깊이에 기초하여 사용자 입력을 처리하는 기법을 설명하기 위한 도면.
도 11은 일 실시예에 따른 영상 분석 방법을 나타낸 동작 흐름도.
도 12는 일 실시예에 따른 3차원 영상 분석 장치를 나타낸 블록도.1 is a block diagram showing an image analysis apparatus according to an embodiment.
2A to 2C are diagrams for describing a plurality of predetermined edge patterns according to an embodiment.
3A and 3B are diagrams for describing a technique of classifying patterns of pixel groups according to an embodiment.
4 is a view for explaining a technique for determining an outline direction of a pixel group according to an embodiment.
5A to 5B are diagrams for describing a technique of analyzing an external shape of an object based on an input image according to an embodiment.
6 is a diagram for describing a technique of calculating a speed corresponding to a pixel group according to an embodiment.
7 is a view for explaining a technique for analyzing the motion of an object using a rigid body model (rigid body model) according to an embodiment.
8A to 8D are diagrams for describing a technique for improving the accuracy of motion analysis of an object according to an embodiment.
9 is a diagram for describing a technique of processing a user input based on a moving speed of an object according to an embodiment.
10 is a diagram for describing a technique of processing a user input based on a depth of an object according to an embodiment.
11 is an operation flowchart showing an image analysis method according to an embodiment.
12 is a block diagram showing a 3D image analysis apparatus according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 영상 분석 장치를 나타낸 블록도이다.1 is a block diagram showing an image analysis apparatus according to an embodiment.

도 1을 참조하여 일 실시예에 따른 영상 분석 장치를 설명하기에 앞서 영상 분석 장치에 의해 이용되는 입력 영상을 간략히 설명한다. 일 실시예에 따른 입력 영상은 오브젝트를 촬영하는 이벤트 기반 비전 센서의 출력 영상일 수 있다. 이벤트 기반 비전 센서는 미리 정해진 이벤트를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력할 수 있다. 미리 정해진 이벤트는 입사되는 빛의 명암 변화를 포함할 수 있다. 예를 들어, 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 밝아지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 ON 이벤트를 출력할 수 있다. 또한, 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 어두워지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 OFF 이벤트를 출력할 수 있다.Before describing the image analysis apparatus according to an embodiment with reference to FIG. 1, an input image used by the image analysis apparatus will be briefly described. The input image according to an embodiment may be an output image of an event-based vision sensor that photographs an object. The event-based vision sensor may output an event signal asynchronously in time upon detecting a predetermined event. The predetermined event may include a change in the contrast of the incident light. For example, the event-based vision sensor may output an ON event corresponding to a corresponding pixel when detecting an event in which light is brightened from a specific pixel. In addition, the event-based vision sensor may output an OFF event corresponding to a corresponding pixel when detecting an event in which light is darkened in a specific pixel.

이벤트 기반 비전 센서는 프레임 기반 비전 센서와 달리 각 픽셀의 포토 다이오드의 출력을 프레임 단위로 스캔하지 않고, 빛의 변화가 있는 부분의 픽셀 데이터만을 출력할 수 있다. 비전 센서로 입사되는 빛의 명암 변화는 피사체의 움직임에 기인할 수 있다. 예를 들어, 시간의 흐름에 따라 광원이 실질적으로 고정되어 있고 피사체는 스스로 발광하지 않는 경우를 가정하자. 이 경우, 비전 센서로 입사되는 빛은 광원에서 발생되어 피사체에 의해 반사된 빛이다. 피사체가 움직이지 않는 경우, 움직임이 없는 상태의 피사체에 의해 반사되는 빛은 실질적으로 변하지 않으므로, 이벤트 기반 비전 센서에 입사되는 빛의 명암 변화도 발생되지 않는다. 반면, 피사체가 움직이는 경우, 움직이는 피사체에 의해 반사되는 빛은 피사체의 움직임에 따라 변하므로, 비전 센서에 입사되는 빛의 명암 변화가 발생될 수 있다.Unlike the frame-based vision sensor, the event-based vision sensor does not scan the output of the photodiode of each pixel on a frame-by-frame basis, and can output only the pixel data of a portion having a change in light. The contrast change of light incident on the vision sensor may be due to the movement of the subject. For example, assume that the light source is substantially fixed over time and the subject does not emit light by itself. In this case, the light incident on the vision sensor is light generated by the light source and reflected by the subject. When the subject does not move, the light reflected by the subject in the absence of movement does not substantially change, so no change in contrast between light incident on the event-based vision sensor occurs. On the other hand, when the subject moves, the light reflected by the moving subject changes according to the movement of the subject, so a change in contrast of light incident on the vision sensor may occur.

이벤트 기반 비전 센서는 동적 비전 센서(Dynamic Vision Sensor)를 포함할 수 있다. 동적 비전 센서는 인간의 망막 시신경의 동작원리를 이용한 수동 비전 센서를 포함할 수 있다. 동적 비전 센서는 이벤트 기반의 비전 센서로, 오브젝트의 움직임에 반응하여 이벤트 신호를 출력할 수 있다. 이벤트 신호는 오브젝트의 움직임에 반응하여 시간 비동기적으로 생성된 정보를 포함할 수 있다. 이벤트 신호는 인간의 망막으로부터 뇌로 전달되는 시신경 신호와 같은 정보를 포함할 수 있다. 예를 들어, 이벤트 신호는 정지된 사물에 대하여는 발생되지 않고, 움직이는 사물이 감지되는 경우에 한하여 발생될 수 있다. 이벤트 신호에 포함된 적어도 하나의 픽셀은 움직임이 감지된 오브젝트에 대응될 수 있다.The event-based vision sensor may include a dynamic vision sensor. The dynamic vision sensor may include a passive vision sensor using the operating principle of the human retina optic nerve. The dynamic vision sensor is an event-based vision sensor, and can output an event signal in response to an object movement. The event signal may include information generated asynchronously in time in response to the movement of the object. The event signal may include information such as an optic nerve signal transmitted from the human retina to the brain. For example, an event signal is not generated for a stationary object, but can be generated only when a moving object is detected. At least one pixel included in the event signal may correspond to an object in which motion is detected.

도 1을 참조하면, 일 실시예에 따른 영상 분석 장치(100)는 분류부(110) 및 분석부(120)를 포함한다. 분류부(110)는 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 적어도 하나의 픽셀군의 패턴을 분류할 수 있다. 픽셀군은 이벤트 신호에 대응되는 픽셀 및 해당 픽셀 주변의 복수의 인접 픽셀들을 포함할 수 있다.Referring to FIG. 1, the image analysis apparatus 100 according to an embodiment includes a classification unit 110 and an analysis unit 120. The classifier 110 may classify a pattern of at least one pixel group based on an input image including an event signal in which an object motion is detected. The pixel group may include a pixel corresponding to the event signal and a plurality of adjacent pixels around the pixel.

이하, 설명의 편의를 위하여 이벤트 신호에 대응되는 픽셀이 픽셀군의 중앙에 위치하고, 해당 픽셀의 주변으로 배치된 8개의 인접 픽셀들이 픽셀군에 포함되는 경우를 가정한다. 물론 이러한 픽셀군의 구성 방식은 예시적인 사항에 불과하며, 픽셀군의 구성 방식은 다양하게 변형될 수 있다.Hereinafter, for convenience of description, it is assumed that a pixel corresponding to the event signal is located in the center of the pixel group, and 8 adjacent pixels arranged around the pixel are included in the pixel group. Of course, the configuration method of the pixel group is only exemplary, and the configuration method of the pixel group may be variously modified.

분류부(110)는 이벤트 신호에 대응되는 픽셀군이 미리 정해진 복수의 에지 패턴들에 대응되는지 여부를 판단할 수 있다. 예를 들어, 도 2a를 참조하면, 미리 정해진 복수의 에지 패턴들은 24개의 에지 패턴들(P₁ 내지 P₂₄)을 포함할 수 있다. 24개의 에지 패턴들(P₁ 내지 P₂₄)은 오브젝트의 외형선과 관련된 패턴들일 수 있다. 분류부(110)는 이벤트 신호에 대응되는 픽셀군이 미리 정해진 복수의 에지 패턴들 중 어느 하나에 대응된다고 판단되는 경우, 그 픽셀군의 패턴을 대응되는 에지 패턴으로 결정할 수 있다. 예를 들어, 분류부(110)는 이벤트 신호에 대응되는 픽셀군이 도 2a의 에지 패턴(P₁)에 대응된다는 판단에 따라, 그 픽셀군을 에지 패턴(P₁)으로 분류할 수 있다. 분류부(110)는 이벤트 신호에 대응되는 픽셀군이 미리 정해진 복수의 에지 패턴들 중 어디에도 대응되지 않는다고 판단되는 경우, 그 픽셀군은 오브젝트의 외형선과 관련되지 않는 픽셀군이라고 판단하고 처분(discard)할 수 있다. The classifier 110 may determine whether the pixel group corresponding to the event signal corresponds to a plurality of predetermined edge patterns. For example, referring to FIG. 2A, a plurality of predetermined edge patterns may include 24 edge patterns P ₁ to P ₂₄ . The 24 edge patterns P ₁ to P ₂₄ may be patterns related to the outline of the object. When it is determined that the pixel group corresponding to the event signal corresponds to any one of a plurality of predetermined edge patterns, the classifying unit 110 may determine the pattern of the pixel group as a corresponding edge pattern. For example, the classification section 110 may classify, that pixel group according to the determination that corresponds to the edge patterns (P ₁₎ of Fig. 2a the pixel group corresponding to the event signal with an edge pattern (P _1). If it is determined that the group of pixels corresponding to the event signal does not correspond to any of a plurality of predetermined edge patterns, the classifying unit 110 determines that the group of pixels is a group of pixels not related to the outline of the object and discards can do.

분류부(110)가 이벤트 신호에 대응되는 픽셀군의 패턴을 분류하는 기법에 관한 보다 상세한 사항들은 도 2a 내지 도 3b를 참조하여 후술한다.More detailed information on the method of classifying the pattern of the pixel group corresponding to the event signal by the classifier 110 will be described later with reference to FIGS. 2A to 3B.

분석부(120)는 분류부(110)에 의해 분류된 적어도 하나의 픽셀군의 패턴에 기초하여 오브젝트의 외형 및 오브젝트의 모션 중 적어도 하나를 분석할 수 있다. 분석부(120)는 픽셀군의 패턴을 이용하여 그 픽셀군에 대응되는 외형선의 방향을 결정함으로써 오브젝트의 외형을 분석할 수 있다. 또는, 분석부(120)는 오브젝트의 외형선과 관련된 픽셀군에 대응되는 속도를 계산하고, 계산된 속도에 기초하여 오브젝트의 모션을 분석할 수 있다. 분석부(120)는 오브젝트의 이동 속도 성분, 오브젝트의 회전 속도 성분, 및 오브젝트의 스케일링 속도 성분 중 적어도 하나를 결정함으로써 오브젝트의 모션을 분석할 수 있다.The analysis unit 120 may analyze at least one of the appearance of the object and the motion of the object based on the pattern of at least one pixel group classified by the classification unit 110. The analysis unit 120 may analyze the appearance of the object by determining a direction of an outline line corresponding to the pixel group using a pattern of the pixel group. Alternatively, the analysis unit 120 may calculate a speed corresponding to a group of pixels related to the outline of the object, and analyze the motion of the object based on the calculated speed. The analysis unit 120 may analyze the motion of the object by determining at least one of a moving speed component of the object, a rotation speed component of the object, and a scaling speed component of the object.

분석부(120)의 동작과 관련된 보다 상세한 사항들은 도 4 내지 도 8d를 참조하여 후술한다.
More details related to the operation of the analysis unit 120 will be described later with reference to FIGS. 4 to 8D.

도 2a 내지 도 2c는 일 실시예에 따른 미리 정해진 복수의 에지 패턴들을 설명하기 위한 도면이다. 도 2a를 참조하면, 일 실시예에 따른 복수의 에지 패턴들은 오브젝트의 외형선과 관련되어 미리 정해질 수 있다.2A to 2C are diagrams for describing a plurality of predetermined edge patterns according to an embodiment. Referring to FIG. 2A, a plurality of edge patterns according to an embodiment may be predetermined in relation to an outline of an object.

일 실시예에 따른 이벤트 신호는 미리 정해진 이벤트가 감지된 타임 스탬프(time stamp), 이벤트의 유형을 지시하는 지시자, 및 해당 이벤트가 감지된 픽셀의 인덱스를 포함할 수 있다.The event signal according to an embodiment may include a time stamp in which a predetermined event is detected, an indicator indicating the type of event, and an index of a pixel in which the corresponding event is detected.

일 실시예에 따른 영상 분석 장치는 이벤트가 감지된 픽셀의 타임 스탬프 및 인접 픽셀들의 타임 스탬프들 사이의 차이에 기초하여 픽셀군의 패턴을 분류할 수 있다. 영상 분석 장치는 픽셀군의 패턴을 분류하기 위하여, 인접 픽셀들의 유형들을 결정할 수 있다. 영상 분석 장치는 이벤트가 감지된 픽셀의 타임 스탬프와 인접 픽셀들 각각의 타임 스탬프 차이를 계산하고, 계산 결과에 따라 인접 픽셀들 각각의 유형을 결정할 수 있다.The image analysis apparatus according to an embodiment may classify a pattern of a pixel group based on a difference between a time stamp of a pixel in which an event is detected and time stamps of adjacent pixels. The image analysis apparatus may determine types of adjacent pixels in order to classify a pattern of pixel groups. The image analysis apparatus may calculate a difference between a time stamp of a pixel in which an event is detected and a time stamp of each of adjacent pixels, and determine the type of each of the adjacent pixels according to the calculation result.

영상 분석 장치는 전체 픽셀들에 대응되는 타임 스탬프들을 관리하는 자료 구조를 이용할 수 있다. 영상 분석 장치는 이벤트 신호를 감지하는 경우, 이벤트 신호에 포함된 픽셀들의 타임 스탬프를 업데이트할 수 있다. 이 경우, 영상 분석 장치는 기존에 저장되어 있던 정보는 폐기하고, 새로 업데이트되는 정보만 저장할 수 있다.The image analysis apparatus may use a data structure that manages time stamps corresponding to all pixels. When detecting the event signal, the image analysis device may update the time stamp of the pixels included in the event signal. In this case, the image analysis device may discard information previously stored and store only newly updated information.

영상 분석 장치는 수학식 1을 이용하여, 인접 픽셀들의 유형을 결정할 수 있다.The image analysis apparatus may determine the type of adjacent pixels using Equation (1).

여기서, t_ev는 이벤트가 발생된 픽셀의 타임 스탬프이고, t_nx는 인접 픽셀의 타임 스탬프이다. T_E는 E-타입을 결정하기 위한 임계치이고, T_S는 S-타입을 결정하기 위한 임계치이다. T_E와 Ts는 픽셀의 민감도 혹은 적용 애플리케이션에 따라 설정될 수 있다. 예를 들어, 움직임을 감지하려는 오브젝트가 사용자의 손인 경우, T_E와 Ts는 수 밀리 초에서 수십 밀리 초로 설정될 수 있다. 또는, 움직임을 감지하려는 오브젝트가 사용자의 손보다 훨씬 빠른 물체인 경우, T_E와 Ts는 수 마이크로 초 단위 이하로 설정될 수 있다. T_E와 Ts는 수학식1에서 표현된 것처럼 서로 다른 값으로 설정될 수 있고, 경우에 따라 동일한 값으로 설정될 수 있다.Here, t _ev is the time stamp of the pixel where the event occurred, and t _nx is the time stamp of the adjacent pixel. T _E is a threshold for determining the E-type, and T _S is a threshold for determining the _S -type. T _E and Ts can be set depending on the sensitivity of the pixel or application. For example, when the object to detect motion is the user's hand, T _E and Ts may be set from a few milliseconds to tens of milliseconds. Alternatively, if the object to detect motion is an object much faster than the user's hand, T _E and Ts may be set to a few microseconds or less. T _E and Ts may be set to different values as expressed in Equation 1, and may be set to the same value in some cases.

영상 분석 장치는 인접 픽셀에서 마지막으로 이벤트가 감지된 시간으로부터 현재 이벤트가 감지된 시간까지 일정 시간 이상 경과된 경우, 그 인접 픽셀을 E-타입으로 결정할 수 있다. 예를 들어, 현재 이벤트가 감지된 픽셀 주변의 인접 픽셀들 중 과거의 일정 시간(예를 들어, T_E)동안 새로운 이벤트가 감지되지 않은 인접 픽셀은 E-타입의 인접 픽셀로 분류될 수 있다.The image analysis apparatus may determine an adjacent pixel as an E-type when a predetermined time elapses from a time at which an event was last detected in an adjacent pixel to a time at which the current event was detected. For example, among adjacent pixels around a pixel in which a current event is detected, adjacent pixels in which a new event is not detected during a certain time in the past (eg, T _E ) may be classified as an E-type adjacent pixel.

영상 분석 장치는 인접 픽셀에서 마지막으로 이벤트가 감지된 시간으로부터 일정 시간 이내에 현재 이벤트가 감지된 경우, 그 인접 픽셀을 S-타입으로 결정할 수 있다. 예를 들어, 현재 이벤트가 감지된 픽셀 주변의 인접 픽셀들 중 과거의 일정 시간(예를 들어, T_S) 이내에 새로운 이벤트가 감지된 인접 픽셀은 S-타입의 인접 픽셀로 분류될 수 있다.When the current event is detected within a predetermined time from the time the event was last detected in the adjacent pixel, the image analysis apparatus may determine the adjacent pixel as an S-type. For example, among adjacent pixels around a pixel in which the current event is detected, adjacent pixels in which a new event is detected within a certain time (eg, T _S ) in the past may be classified as an S-type adjacent pixel.

미리 정해진 에지 패턴들은 인접한 픽셀들을 포함할 수 있다. 예를 들어 이벤트 발생 픽셀과 가장 근접한 상하좌우 픽셀들만 사용하는 경우, 도 2a에서 보여지는 바와 같이 미리 정해진 에지 패턴들은 n1 내지 n8의 인접 픽셀들을 포함할 수 있다. 미리 정해진 에지 패턴들을 구성하는 인접 픽셀들의 유형의 조합들은 각각 상이할 수 있다. The predetermined edge patterns may include adjacent pixels. For example, when only the top, bottom, left, and right pixels closest to the event generating pixel are used, as shown in FIG. 2A, predetermined edge patterns may include n1 to n8 adjacent pixels. The combinations of types of adjacent pixels constituting predetermined edge patterns may each be different.

예를 들어, 에지 패턴(P₁)은 E-타입의 n1, n2 및 n4(210)를 포함하고, S-타입의 n3 및 n6(220)을 포함할 수 있다. 영상 분석 장치는 일정 시간(예를 들어, T_E)동안 새로운 이벤트가 감지되지 않는 n1, n2 및 n4(210) 방향의 인접 픽셀들 및 일정 시간(예를 들어, T_S) 이내에 새로운 이벤트가 감지되는 n3 및 n6(220) 방향의 인접 픽셀들을 포함하는 픽셀군을 에지 패턴(P₁)으로 분류할 수 있다. 이 경우, 영상 분석 장치는 일정 시간(예를 들어, T_S) 이내에 새로운 이벤트가 감지된 S-타입의 n3 및 n6(220)을 이용하여 해당 픽셀군에 의한 외형선의 방향을 분석할 수 있다. 왜냐하면, 오브젝트의 움직임에 따라 새로운 이벤트가 발생되는 경우, 오브젝트의 외형선에 포함되는 픽셀들 위치의 이벤트들은 실질적으로 동일한 시간에 감지될 수 있기 때문이다. 도 4를 통하여 자세히 설명하겠지만, 에지 패턴(P₁)은 n3 및 n6(220)를 연결하는 선 방향의 외형선으로 매핑될 수 있다.For example, the edge pattern P ₁ may include E-type n1, n2 and n4 210, and S-type n3 and n6 220. Image analysis equipment is a period of time that a new event is detected n1, n2 and n4 (210) adjacent pixels, and a certain amount of time in the direction for (for example, T _E) a new event within (e.g., T _S) detected A group of pixels including adjacent pixels in the n3 and n6 220 directions can be classified as an edge pattern P ₁ . In this case, the image analysis apparatus may analyze the direction of the contour line by the corresponding pixel group by using n- and n6 220 of S-type in which a new event is detected within a certain time (eg, T _S ). This is because when a new event is generated according to the movement of the object, events at positions of pixels included in the outline of the object can be sensed at substantially the same time. As will be described in detail through FIG. 4, the edge pattern P ₁ may be mapped to an outline in a line direction connecting n3 and n6 220.

마찬가지로, 에지 패턴(P₂₄)는 E-타입의 n5, n7 및 n8(240)을 포함하고, S-타입의 n3 및 n6(250)을 포함할 수 있다. 영상 분석 장치는 일정 시간(예를 들어, T_E)동안 새로운 이벤트가 감지되지 않는 n5, n7 및 n8(240) 방향의 인접 픽셀들 및 일정 시간(예를 들어, T_S) 이내에 새로운 이벤트가 감지되는 n3 및 n6(250) 방향의 인접 픽셀들을 포함하는 픽셀군을 에지 패턴(P₂₄)로 분류할 수 있다. 이 경우, 영상 분석 장치는 일정 시간(예를 들어, T_S) 이내에 새로운 이벤트가 감지된 S-타입의 n3 및 n6(250)을 이용하여 해당 픽셀군에 의한 외형선의 방향을 분석할 수 있다. 도 4를 통하여 자세히 설명하겠지만, 에지 패턴(P₂₄)은 n3 및 n6(250)를 연결하는 선 방향의 외형선으로 매핑될 수 있다.Similarly, the edge pattern P ₂₄ may include E-type n5, n7 and n8 240, and S-type n3 and n6 250. Image analysis equipment is idle, a new event is not detected while (for example, T _E) n5, n7 and n8 (240) adjacent pixels, and a certain amount of time in the direction in which the new event within (e.g., T _S) detected A group of pixels including adjacent pixels in the n3 and n6 250 directions can be classified as an edge pattern P ₂₄ . In this case, the image analysis apparatus may analyze the direction of the contour line by the corresponding pixel group by using n- and n6 250 of S-type in which a new event is detected within a predetermined time (eg, T _S ). As will be described in detail through FIG. 4, the edge pattern P ₂₄ may be mapped to an outline in a line direction connecting n3 and n6 250.

다른 실시예에 따른 영상 분석 장치는 도 2a의 실시예와 같이 주변 8개의 인접 픽셀들을 이용하는 대신, 더 많은 인접 픽셀들을 이용할 수 있다. 예를 들어, 영상 분석 장치는 도 2b에서 도시된 것처럼 24개의 인접 픽셀들을 이용하거나, 도 2c에서 도시된 것처럼 48개의 인접 픽셀들을 이용할 수 있다. 물론, 도 2a, 도 2b 및 도 2c의 실시예들은 예시적인 사항에 불과할 뿐, 도 2a, 도 2b 및 도 2c의 실시예들은 다양하게 변형될 수 있다.The image analysis apparatus according to another embodiment may use more adjacent pixels instead of using 8 adjacent pixels as in the embodiment of FIG. 2A. For example, the image analysis apparatus may use 24 adjacent pixels as shown in FIG. 2B, or 48 adjacent pixels as shown in FIG. 2C. Of course, the embodiments of FIGS. 2A, 2B, and 2C are merely exemplary, and the embodiments of FIGS. 2A, 2B, and 2C may be variously modified.

영상 분석 장치는 픽셀군에 포함된 인접 픽셀들의 유형들을 미리 정해진 복수의 에지 패턴들에 포함된 인접 픽셀들의 유형들과 비교함으로써, 픽셀군의 패턴을 에지 패턴들 중 어느 하나로 결정할 수 있다. 영상 분석 장치는 픽셀군에 포함된 인접 픽셀들의 유형들과 일치하는 구성의 인접 픽셀들을 갖는 에지 패턴을 그 픽셀군의 패턴으로 결정할 수 있다.The image analysis apparatus may determine the pattern of the pixel group as one of the edge patterns by comparing the types of adjacent pixels included in the pixel group with the types of adjacent pixels included in a plurality of predetermined edge patterns. The image analysis apparatus may determine an edge pattern having adjacent pixels having a configuration matching the types of adjacent pixels included in the pixel group as the pattern of the pixel group.

경우에 따라서, 미리 정해진 에지 패턴에 포함된 인접 픽셀들 중 일부는 돈-케어(dont-care) 타입일 수 있다. 예를 들어, 에지 패턴(P₁)은 돈-케어 타입의 n5, n7 및 n8(230)을 포함할 수 있다. 에지 패턴(P₂₄)는 돈-케어 타입의 n1, n2 및 n3(260)를 포함할 수 있다.In some cases, some of the adjacent pixels included in the predetermined edge pattern may be of a don't-care type. For example, the edge pattern P ₁ may include money-care type n5, n7, and n8 230. The edge pattern P ₂₄ may include money-care type n1, n2, and n3 260.

영상 분석 장치는 에지 패턴들에 포함된 인접 픽셀들 중 돈-케어 타입이 아닌 인접 픽셀들만을 이용함으로써, 픽셀군의 패턴을 분류할 수 있다. 예를 들어, 영상 분석 장치는 픽셀군이 에지 패턴(P₁)에 대응되는지 여부를 판단할 때 n5, n7 및 n8(230)은 고려하지 않을 수 있다. 마찬가지로, 영상 분석 장치는 픽셀군이 에지 패턴(P₂₄)에 대응되는지 여부를 판단할 때 n1, n2 및 n4(260)는 고려하지 않을 수 있다.The image analysis apparatus may classify a pattern of a pixel group by using only adjacent pixels that are not a money-care type among adjacent pixels included in edge patterns. For example, the image analysis apparatus may not consider n5, n7, and n8 230 when determining whether the pixel group corresponds to the edge pattern P ₁ . Similarly, when determining whether the pixel group corresponds to the edge pattern P ₂₄ , the image analysis apparatus may not consider n1, n2, and n4 260.

미리 정해진 복수의 에지 패턴들은 다양한 방식으로 저장될 수 있다. 예를 들어, 24개의 에지 패턴들(P₁~P₂₄) 각각에 포함된 E-타입의 인접 픽셀들 및 S-타입의 인접 픽셀들은 표 1과 같은 비트값 형식으로 저장될 수 있다.The plurality of predetermined edge patterns may be stored in various ways. For example, E-type adjacent pixels and S-type adjacent pixels included in each of the ₂₄ edge patterns P ₁ to P ₂₄ may be stored in a bit value format as shown in Table 1.

P1E = 11010000 (D0)
P1S = 00100100 (24)
P2E = 11110000 (F0)
P2S = 00001100 (0C)
P3E = 11100000 (E0)
P3S = 00011000 (18)
P4E = 11101000 (E8)
P4S = 00010001 (11)
P5E = 01101000 (68)
P5S = 10000001 (81)
P6E = 11010100 (D4)
P6S = 00100010 (22)
P7E = 11110100 (F4)
P7S = 00001010 (0A)
P8E = 11111000 (F8)
P8S = 00000101 (05)
P9E = 11101001 (E9)
P9S = 00010010 (12)
P10E = 01101001 (69)
P10S = 10000010 (82)
P11E = 10010100 (94)
P11S = 01000010 (42)
P12E = 11010110 (D6)
P12S = 00100001 (21)P1E = 11010000 (D0)
P1S = 00100 100 (24)
P2E = 11110000 (F0)
P2S = 00001100 (0C)
P3E = 11100000 (E0)
P3S = 00011000 (18)
P4E = 11101000 (E8)
P4S = 00010001 (11)
P5E = 01101000 (68)
P5S = 10000001 (81)
P6E = 11010100 (D4)
P6S = 00100010 (22)
P7E = 11110100 (F4)
P7S = 00001010 (0A)
P8E = 11111000 (F8)
P8S = 00000101 (05)
P9E = 11101001 (E9)
P9S = 00010010 (12)
P10E = 01101001 (69)
P10S = 10000010 (82)
P11E = 10010 100 (94)
P11S = 01000010 (42)
P12E = 11010110 (D6)
P12S = 00100001 (21) P13E = 01101011 (6B)
P13S = 10000100 (84)
P14E = 00101001 (29)
P14S = 01000010 (42)
P15E = 10010110 (96)
P15S = 01000001 (41)
P16E = 10010111 (97)
P16S = 01001000 (48)
P17E = 00011111 (1F)
P17S = 10100000 (A0)
P18E = 00101111 (2F)
P18S = 01010000 (50)
P19E = 00101011 (2B)
P19S = 01000100 (44)
P20E = 00010110 (16)
P20S = 10000001 (81)
P21E = 00010111 (17)
P21S = 10001000 (88)
P22E = 00000111 (07)
P22S = 00011000 (18)
P23E = 00001111 (0F)
P23S = 00110000 (30)
P24E = 00001011 (0B)
P24S = 00100100 (24)P13E = 01101011 (6B)
P13S = 10000100 (84)
P14E = 00101001 (29)
P14S = 01000010 (42)
P15E = 10010110 (96)
P15S = 01000001 (41)
P16E = 10010111 (97)
P16S = 01001000 (48)
P17E = 00011111 (1F)
P17S = 10100000 (A0)
P18E = 00101111 (2F)
P18S = 01010000 (50)
P19E = 00101011 (2B)
P19S = 01000 100 (44)
P20E = 00010110 (16)
P20S = 10000001 (81)
P21E = 00010111 (17)
P21S = 10001000 (88)
P22E = 00000111 (07)
P22S = 00011000 (18)
P23E = 00001111 (0F)
P23S = 00110000 (30)
P24E = 00001011 (0B)
P24S = 00100 100 (24)

여기서, PnE는 에지 패턴(P_n)에 포함된 E-타입의 인접 픽셀들을 지시할 수 있다. 8개의 인접 픽셀들이 이용되는 경우를 가정하면, PnE는 8 비트로 구성될 수 있고, 8개의 비트들은 각각 n1~n8에 대응될 수 있다. 8개의 비트들 중 E-타입의 인접 픽셀에 대응되는 비트는 '1'로 설정되고, 그렇지 않은 비트는 '0'으로 설정될 수 있다. 예를 들어, 에지 패턴(P₁)은 E-타입의 인접 픽셀로 n1, n2 및 n4(210)를 포함하므로, P1E의 비트값은 첫 번째 비트, 두 번째 비트 및 네 번째 비트가 '1'인 "11010000"로 설정될 수 있다. P1E의 비트값 "11010000"은 16진수로 표현될 수 있으며, 이 경우 P1E의 비트값은 "D0"으로 표현될 수 있다. 물론 다른 실시예에 따라 24개의 인접 픽셀들이 이용되는 경우 PnE는 24비트로 구성될 수 있고, 48개의 인접 픽셀들이 이용되는 경우 PnE는 48 비트로 구성될 수 있다.Here, PnE may indicate adjacent pixels of the E-type included in the edge pattern P _n . Assuming that 8 adjacent pixels are used, PnE may be composed of 8 bits, and 8 bits may correspond to n1 to n8, respectively. Among the 8 bits, a bit corresponding to an E-type adjacent pixel may be set to '1', and a bit not to be set to '0'. For example, since the edge pattern P ₁ is an E-type adjacent pixel and includes n1, n2, and n4 210, the bit value of P1E is the first bit, the second bit, and the fourth bit is '1'. Can be set to "11010000". The bit value "11010000" of P1E may be expressed in hexadecimal, and in this case, the bit value of P1E may be expressed as "D0". Of course, according to another embodiment, when 24 adjacent pixels are used, PnE may be composed of 24 bits, and when 48 adjacent pixels are used, PnE may be composed of 48 bits.

또한, PnS는 에지 패턴(P_n)에 포함된 S-타입의 인접 픽셀들을 지시할 수 있다. 8개의 인접 픽셀들이 이용되는 경우를 가정하면, PnS는 8 비트로 구성될 수 있고, 8개의 비트들은 각각 n1~n8에 대응될 수 있다. 8개의 비트들 중 S-타입의 인접 픽셀에 대응되는 비트는 '1'로 설정되고, 그렇지 않은 비트는 '0'으로 설정될 수 있다. 예를 들어, 에지 패턴(P₁)은 S-타입의 인접 픽셀로 n3 및 n6(220)을 포함하므로, P1S의 비트값은 세 번째 비트 및 여섯 번째 비트가 '1'인 "00100100"로 설정될 수 있다. P1S의 비트값 "00100100"은 16진수로 표현될 수 있으며, 이 경우 P1S의 비트값은 "24"로 표현될 수 있다. 물론 다른 실시예에 따라 24개의 인접 픽셀들이 이용되는 경우 PnS는 24비트로 구성될 수 있고, 48개의 인접 픽셀들이 이용되는 경우 PnS는 48 비트로 구성될 수 있다.Also, PnS may indicate S-type adjacent pixels included in the edge pattern P _n . Assuming that 8 adjacent pixels are used, PnS may be composed of 8 bits, and 8 bits may correspond to n1 to n8, respectively. Among the 8 bits, a bit corresponding to an adjacent pixel of the S-type is set to '1', and a bit not to be set to '0'. For example, since the edge pattern P ₁ includes n3 and n6 220 as S-type neighboring pixels, the bit value of P1S is set to “00100100” in which the third bit and the sixth bit are '1'. Can be. The bit value "00100100" of P1S may be expressed in hexadecimal, and in this case, the bit value of P1S may be expressed as "24". Of course, according to another embodiment, when 24 adjacent pixels are used, PnS may be composed of 24 bits, and when 48 adjacent pixels are used, PnS may be composed of 48 bits.

일 실시예에 따른 영상 분석 장치는 PnE에 의해 지시되는 인접 픽셀들이 E-타입인지 여부 및 PnS에 의해 지시되는 인접 픽셀들이 S-타입인지 여부를 확인함으로써, 픽셀군이 에지 패턴(P_n)에 해당하는지 여부를 판단할 수 있다.The image analysis apparatus according to an embodiment checks whether adjacent pixels indicated by PnE are E-type and whether adjacent pixels indicated by PnS are S-type, such that a group of pixels is assigned to the edge pattern P _n . It can be determined whether it is applicable.

일 실시예에 따른 영상 분석 장치는 픽셀군의 패턴을 분류 시, 돈-케어 타입의 인접 픽셀들은 고려하지 않을 수 있다. 이에 따라, 영상 분석 장치는 돈-케어 타입의 인접 픽셀들을 명시적으로 지시하는 정보를 따로 이용하지 않을 수 있다. 예를 들어, 에지 패턴(P_n)에서 돈-케어 타입의 인접 픽셀들에 대응되는 비트들은 PnE 및 PnS에서 모두 '0'으로 설정될 수 있다. 다만, PnE와 PnS를 비트 단위 OR 연산을 시킨 결과에서 '0'인 비트는 돈-케어 타입의 인접 픽셀을 지시할 수 있다. 예를 들어, P1E = "11010000"와 P1S = "00100100"를 비트 단위 OR 연산을 시키면 P1E OR P1S = "11110100"이다. P1E OR P1S에서 '0'인 비트는 다섯 번째 비트, 일곱 번째 비트 및 여덟 번째 비트이므로, P1E OR P1S = "11110100"는 에지 패턴(P₁)에 포함된 돈-케어 타입의 인접 픽셀들이 n5, n7 및 n8(230) 임을 지시할 수 있다.When classifying a pattern of pixel groups, the image analysis apparatus according to an embodiment may not consider adjacent pixels of a money-care type. Accordingly, the image analysis device may not separately use information that explicitly indicates adjacent pixels of the money-care type. For example, bits corresponding to adjacent pixels of the money-care type in the edge pattern P _n may be set to '0' in both PnE and PnS. However, in the result of the bitwise OR operation of PnE and PnS, a bit of '0' may indicate a money-care type adjacent pixel. For example, if P1E = "11010000" and P1S = "00100100" are bitwise ORed, P1E OR P1S = "11110100". Since the bit that is '0' in P1E OR P1S is the fifth bit, the seventh bit, and the eighth bit, P1E OR P1S = "11110100" means that the adjacent money-care type adjacent pixels included in the edge pattern P ₁ are n5, It can indicate that n7 and n8 (230).

표 1은 에지 패턴(P_n)에 포함된 E-타입 인접 픽셀과 S-타입 인접 픽셀을 표현하기 위한 일 실시예이다. 해당 분야에서 통상의 지식을 가진 자라면, 에지 패턴(P_n)에 포함된 E-타입 인접 픽셀과 S-타입 인접 픽셀을 표현하기 위하여 표 1을 다양하게 변형할 수 있다.
Table 1 is an embodiment for representing an E-type adjacent pixel and an S-type adjacent pixel included in the edge pattern P _n . Those of ordinary skill in the art may variously modify Table 1 to represent E-type adjacent pixels and S-type adjacent pixels included in the edge pattern P _n .

도 3a 및 도 3b는 일 실시예에 따른 픽셀군의 패턴을 분류하는 기법을 설명하기 위한 도면이다.3A and 3B are diagrams for describing a technique of classifying patterns of pixel groups according to an embodiment.

도 3a를 참조하면, 일 실시예에 따른 24개의 에지 패턴들(P₁~P₂₄)은 6개의 그룹들(310, 320, 330, 340, 350, 360)로 그룹화될 수 있다. 예를 들어, 24개의 에지 패턴들(P₁~P₂₄)은 E-타입의 인접 픽셀들이 공통되는지 여부에 따라 6개의 그룹들(310, 320, 330, 340, 350, 360)로 그룹화될 수 있다. 그룹(310)은 E-타입의 n1, n2 및 n4를 포함하는 에지 패턴들(P₁, P₂, P₆, P₇, P₈)로 구성될 수 있다. 그룹(320)은 E-타입의 n2, n3 및 n5를 포함하는 에지 패턴들(P₄, P₅, P₉, P₁₀, P₁₃)로 구성될 수 있다. 도 2에서 E-타입으로 표현된 픽셀들 중 그룹에 공통된 픽셀들은 도 3a에서 “

“으로 표현되었다.Referring to FIG. 3A, 24 edge patterns P ₁ to P ₂₄ according to an embodiment may be grouped into six

groups

310, 320, 330, 340, 350 and 360. For example, 24 edge patterns P ₁ to P ₂₄ may be grouped into six

groups

310, 320, 330, 340, 350 and 360 according to whether E-type adjacent pixels are common. have. The group 310 may be composed of edge patterns P ₁ , P ₂ , P ₆ , P ₇ and P ₈ including E-type n1, n2 and n4. The group 320 may be composed of edge patterns P ₄ , P ₅ , P ₉ , P ₁₀ , and P ₁₃ including E-type n2, n3, and n5. Of the pixels represented by the E-type in FIG. 2, pixels common to the group are “

“

6개의 그룹들 및 각각의 그룹들에 포함된 에지 패턴들은 표 2와 같이 마스킹 비트값(E) 및 추가 비트값들(G)로 구분될 수 있다.The six groups and the edge patterns included in each group may be divided into a masking bit value (E) and additional bit values (G), as shown in Table 2.

E1 : 11010000
G11 : 00000100
G12 : 00100000
G13 : 00001000E1: 11010000
G11: 00000100
G12: 00100000
G13: 00001000 E2 : 01101000
G21 : 10000000
G22 : 00000001
G23 : 00000010E2: 01101000
G21: 10000000
G22: 00000001
G23: 00000010 E3 : 00010110
G31 : 00000001
G32 : 10000000
G33 : 01000000E3: 00010110
G31: 00000001
G32: 10000000
G33: 01000000 E4 : 00001011
G41 : 00100000
G42 : 00000100
G43 : 00010000E4: 00001011
G41: 00100000
G42: 00000100
G43: 00010000 G51 : 01000010
G52 : 00011000G51: 01000010
G52: 00011000

일 실시예에 따른 영상 분석 장치는 픽셀군의 인접 픽셀들 중 마스킹 비트값(E)에 대응되는 위치의 인접 픽셀들이 E-타입인지 여부를 확인함으로써 픽셀군의 패턴이 속하는 그룹을 판단할 수 있다. 영상 분석 장치는 해당 그룹의 추가 비트값들(G)에 대응되는 위치의 인접 픽셀들이 E-타입인지 여부를 확인함으로써 픽셀군의 패턴을 판단할 수 있다.The image analysis apparatus according to an embodiment may determine a group to which a pattern of a pixel group belongs by confirming whether adjacent pixels of a position corresponding to a masking bit value E of the adjacent pixels of the pixel group are E-type. . The image analysis apparatus may determine the pattern of the pixel group by checking whether adjacent pixels at positions corresponding to the additional bit values G of the corresponding group are E-type.

예를 들어, 그룹(310)에 포함된 에지 패턴들(P₁, P₂, P₆, P₇, P₈)은 모두 E-타입의 n1, n2 및 n4를 포함하므로, 그룹(310)을 대표하는 마스킹 비트 E1의 첫 번째 비트, 두 번째 비트 및 네 번째 비트는 '1'로 설정될 수 있다. 일 실시예에 따른 영상 분석 장치는 E1을 이용하여 n1, n2 및 n4가 E-타입의 인접 픽셀인지 여부를 확인함으로써, 픽셀군이 그룹(310)에 포함되는지 여부를 판단할 수 있다.For example, since the edge patterns P ₁ , P ₂ , P ₆ , P ₇ , and P ₈ included in the group 310 all include E-type n1, n2, and n4, the group 310 is The first bit, the second bit, and the fourth bit of the representative masking bit E1 may be set to '1'. The image analysis apparatus according to an embodiment may determine whether the pixel group is included in the group 310 by checking whether n1, n2, and n4 are E-type adjacent pixels using E1.

또한, 일 실시예에 따른 영상 분석 장치는 G11, G12 및 G13을 이용하여 그룹(310)으로 분류된 픽셀군이 정확히 어느 에지 패턴에 대응되는지 여부를 판단할 수 있다. 예를 들어, G11은 여섯 번째 비트가 '1'로 설정된 추가 비트값이다. 영상 분석 장치는 G11을 이용하여 픽셀군의 n6가 E-타입인지 여부를 확인할 수 있다. Also, the image analysis apparatus according to an embodiment may determine exactly which edge pattern the pixel group classified into the group 310 corresponds to using G11, G12, and G13. For example, G11 is an additional bit value in which the sixth bit is set to '1'. The image analysis device may check whether n6 of the pixel group is E-type using G11.

영상 분석 장치는 픽셀군의 n6가 E-타입이라는 판단에 따라, 픽셀군이 에지 패턴(P₆) 또는 에지 패턴(P₇)에 해당한다고 판단할 수 있다. 나아가, 영상 분석 장치는 G12를 이용하여 픽셀군의 n3가 E-타입인지 여부를 확인함으로써, 픽셀군이 에지 패턴(P₆) 및 에지 패턴(P₇) 중 어느 패턴에 해당하는지를 판단할 수 있다. 예를 들어, 픽셀군의 n3가 E-타입인 경우 영상 분석 장치는 픽셀군이 에지 패턴(P₇)에 해당한다고 판단할 수 있다. 반면, 픽셀군의 n3가 E-타입이 아닌 경우 영상 분석 장치는 픽셀군이 에지 패턴(P₆)에 해당한다고 판단할 수 있다.The image analysis apparatus may determine that the pixel group corresponds to the edge pattern P ₆ or the edge pattern P ₇ according to the determination that n6 of the pixel group is E-type. Furthermore, the image analysis device may determine whether the pixel group corresponds to the edge pattern P ₆ or the edge pattern P ₇ by checking whether n3 of the pixel group is E-type using G12. . For example, when n3 of the pixel group is E-type, the image analysis apparatus may determine that the pixel group corresponds to the edge pattern P ₇ . On the other hand, when n3 of the pixel group is not E-type, the image analysis apparatus may determine that the pixel group corresponds to the edge pattern P ₆ .

영상 분석 장치는 픽셀군의 n6가 E-타입이 아니라는 판단에 따라, 픽셀군이 에지 패턴(P₁), 에지 패턴(P₂) 또는 에지 패턴(P₈)에 해당한다고 판단할 수 있다. 나아가, 영상 분석 장치는 G12를 이용하여 픽셀군의 n3가 E-타입인지 여부를 확인하고, 픽셀군의 n3가 E-타입이 아닌 경우 픽셀군이 에지 패턴(P₁)에 해당한다고 판단할 수 있다. 영상 분석 장치는 픽셀군의 n3가 E-타입이 아닌 경우, G13을 이용하여 픽셀군의 n5가 E-타입인지 여부를 확인할 수 있다. 픽셀군의 n5가 E-타입인 경우 영상 분석 장치는 픽셀군을 에지 패턴(P₈)에 해당한다고 판단하고, 픽셀군의 n5가 E-타입이 아닌 경우 영상 분석 장치는 픽셀군을 에지 패턴(P₂)에 해당한다고 판단할 수 있다.The image analysis apparatus may determine that the pixel group corresponds to the edge pattern P ₁ , the edge pattern P ₂ , or the edge pattern P ₈ according to the determination that n6 of the pixel group is not an E-type. Furthermore, the image analysis apparatus may determine whether n3 of the pixel group is E-type using G12, and determine that the pixel group corresponds to the edge pattern P ₁ when n3 of the pixel group is not E-type. have. When the n3 of the pixel group is not E-type, the image analysis apparatus may check whether n5 of the pixel group is E-type using G13. When n5 of the pixel group is E-type, the image analysis apparatus determines that the pixel group corresponds to the edge pattern P ₈ , and when n5 of the pixel group is not E-type, the image analysis apparatus determines that the pixel group is an edge pattern ( P ₂ ).

영상 분석 장치는 E1 내지 E4의 마스킹 비트값에 대응되는 위치의 인접 픽셀들이 E-타입이 아닌 경우, 픽셀군의 패턴이 그룹(350) 또는 그룹(360)에 속한다고 판단할 수 있다. 영상 분석 장치는 G51 및 G52의 추가 비트값들에 대응되는 위치의 인접 픽셀들이 S-타입인지 여부를 확인함으로써 픽셀군이 그룹(350) 및 그룹(360) 중 어느 그룹에 속하는지 여부를 판단할 수 있다.When the adjacent pixels at positions corresponding to the masking bit values of E1 to E4 are not E-type, the image analysis apparatus may determine that the pattern of the pixel group belongs to the group 350 or the group 360. The image analysis apparatus determines whether the pixel group belongs to the group 350 or the group 360 by checking whether adjacent pixels at positions corresponding to additional bit values of G51 and G52 are S-type. Can.

예를 들어, 일 실시예에 따른 영상 분석 장치는 G51을 이용하여 픽셀군이 그룹(360)에 속하는지 여부를 판단할 수 있다. G51은 두 번째 비트 및 일곱 번째 비트가 '1'로 설정된 추가 비트값이다. 영상 분석 장치는 G51을 이용하여 픽셀군의 n2 및 n7이 S-타입인지 여부를 확인함으로써, 픽셀군이 그룹(360)에 속하는지 여부를 판단할 수 있다. 나아가, 영상 분석 장치는 n2 및 n7을 제외한 나머지 하나의 인접 픽셀이 E-타입인지 여부를 추가로 확인함으로써, 픽셀군이 에지 패턴(P₁₁) 및 에지 패턴(P₁₄) 중 어느 패턴으로 분류되는지 여부를 판단할 수 있다.For example, the image analysis apparatus according to an embodiment may determine whether the pixel group belongs to the group 360 using G51. G51 is an additional bit value in which the second bit and the seventh bit are set to '1'. The image analysis apparatus may determine whether the pixel group belongs to the group 360 by checking whether n2 and n7 of the pixel group are S-type using G51. Furthermore, the image analysis apparatus further checks whether one neighboring pixel other than n2 and n7 is an E-type, so that the pixel group is classified into an edge pattern P ₁₁ or an edge pattern P ₁₄ . Can determine whether

또한, 일 실시예에 따른 영상 분석 장치는 G52를 이용하여 픽셀군이 그룹(350)에 속하는지 여부를 판단할 수 있다. G52는 네 번째 비트 및 다섯 번째 비트가 '1'로 설정된 추가 비트값이다. 영상 분석 장치는 G52를 이용하여 픽셀군의 n4 및 n5가 S-타입인지 여부를 확인함으로써, 픽셀군이 그룹(350)에 속하는지 여부를 판단할 수 있다. 나아가, 영상 분석 장치는 n4 및 n5를 제외한 나머지 하나의 인접 픽셀이 E-타입인지 여부를 추가로 확인함으로써, 픽셀군이 에지 패턴(P₃) 및 에지 패턴(P₂₂) 중 어느 패턴으로 분류되는지 여부를 판단할 수 있다.
In addition, the image analysis apparatus according to an embodiment may determine whether the pixel group belongs to the group 350 using G52. G52 is an additional bit value in which the fourth bit and the fifth bit are set to '1'. The image analysis apparatus may determine whether the pixel group belongs to the group 350 by checking whether n4 and n5 of the pixel group are S-type using G52. Furthermore, the image analysis apparatus further checks whether one of the adjacent pixels other than n4 and n5 is an E-type, so that the pixel group is classified into an edge pattern P ₃ or an edge pattern P ₂₂ . Can determine whether

도 3b를 참조하면, 일 실시예에 따른 영상 분석 장치는 픽셀군에 포함된 E-타입 인접 픽셀들을 이용하여 해당 픽셀군의 에지 패턴을 분류할 수 있다. 영상 분석 장치는 E-타입 인접 픽셀을 위한 임계값 T_E 및 S-타입 인접 픽셀을 위한 임계값 T_S가 동일한 경우, 후술하는 방법을 이용하여 픽셀군의 에지 패턴을 분류할 수 있다.Referring to FIG. 3B, an image analysis apparatus according to an embodiment may classify an edge pattern of a corresponding pixel group using E-type adjacent pixels included in the pixel group. When the threshold T _E for the _E -type neighboring pixel and the threshold T _S for the S-type neighboring pixel are the same, the image analysis apparatus may classify the edge pattern of the pixel group using a method described below.

보다 구체적으로, 영상 분석 장치는 인접 픽셀 b₀ 내지 b₇이 E-타입 인접 픽셀인지 여부를 확인할 수 있다. 영상 분석 장치는 각각의 인접 픽셀이 E-타입인 경우 해당 픽셀에 대응되는 비트를 '1'로 설정하고, 그렇지 않은 경우 해당 픽셀에 대응되는 비트를 '0'으로 설정할 수 있다. 영상 분석 장치는 수학식 2를 이용하여 P-val을 계산할 수 있다.More specifically, the image analysis apparatus may check whether adjacent pixels b ₀ to b ₇ are E-type adjacent pixels. The image analysis apparatus may set a bit corresponding to a corresponding pixel to '1' when each adjacent pixel is an E-type, and set a bit corresponding to a corresponding pixel to '0' otherwise. The image analysis apparatus may calculate P-val using Equation (2).

여기서, B는 8 비트의 비트값으로, b₀b₁b₂b₃b₄b₅b₆b₇이다. (B<<1)은 B를 비트 단위로 왼쪽으로 1 비트만큼 사이클릭 쉬프트한 값으로, b₁b₂b₃b₄b₅b₆b₇b₀이다. (B>>1)은 B를 비트 단위로 오른쪽으로 1 비트만큼 사이클릭 쉬프트한 값으로, b₇b₀b₁b₂b₃b₄b₅b₆이다. AND는 (B<<1), B 및 (B>>1)을 비트 단위로 AND 연산한 결과 비트값이다.Here, B is an 8-bit bit value, and b ₀ b ₁ b ₂ b ₃ b ₄ b ₅ b ₆ b ₇ . (B<<1) is a cyclic shift of B by 1 bit to the left in bits, and b ₁ b ₂ b ₃ b ₄ b ₅ b ₆ b ₇ b ₀ . (B>>1) is a cyclic shift of B by 1 bit to the right in bits, and b ₇ b ₀ b ₁ b ₂ b ₃ b ₄ b ₅ b ₆ . AND is the bit value of (B<<1), B and (B>>1) as a bitwise AND operation.

영상 분석 장치는 표 3과 같은 룩-업 테이블을 이용하여 계산된 P-val로부터 에지 패턴을 판단할 수 있다. 예를 들어, 계산된 P-val이 "00000001"인 경우, 영상 분석 장치는 해당 픽셀군이 에지 패턴(P₁₁)에 해당한다고 판단할 수 있다. 영상 분석 장치는 계산된 P-val이 표 3의 룩-업 테이블에 존재하지 않는 값인 경우, 미리 정해진 에지 패턴들 중 어디에도 해당하지 않는다고 판단할 수 있다.The image analysis apparatus may determine the edge pattern from the calculated P-val using the look-up table shown in Table 3. For example, when the calculated P-val is “00000001”, the image analysis apparatus may determine that the corresponding pixel group corresponds to the edge pattern P ₁₁ . When the calculated P-val is a value that does not exist in the look-up table of Table 3, the image analysis apparatus may determine that it does not correspond to any of the predetermined edge patterns.

P-val이 십진수로 17, 34, 68 및 136인 경우, 두 개의 에지 패턴들이 후보가 될 수 있다. 이는 돈-케어 타입의 인접 픽셀이 E-타입의 인접 픽셀인 경우로 인하여 발생되는 것으로, 영상 분석 장치는 미리 정해진 룰에 따라 어느 하나의 에지 패턴을 선택할 수 있다. 예를 들어, 영상 분석 장치는 추가로 미리 정해진 인접 픽셀의 유형을 판단함으로써 두 개의 에지 패턴 후보들 중 어느 하나의 에지 패턴을 선택할 수 있다. 또는, 영상 분석 장치는 랜덤하게 어느 하나의 에지 패턴을 선택할 수 있다.
When P-val is 17, 34, 68 and 136 in decimal, two edge patterns can be candidates. This is caused by the case where the adjacent pixel of the don-care type is the adjacent pixel of the E-type, and the image analysis device may select one edge pattern according to a predetermined rule. For example, the image analysis apparatus may further select one edge pattern among two edge pattern candidates by determining the type of a predetermined adjacent pixel. Alternatively, the image analysis apparatus may randomly select any one edge pattern.

도 4는 일 실시예에 따른 픽셀군의 외형선 방향을 결정하는 기법을 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 미리 정해진 복수의 에지 패턴들은 특정 방향을 가지는 외형선으로 매핑될 수 있다.4 is a view for explaining a technique for determining an outline direction of a pixel group according to an embodiment. Referring to FIG. 4, a plurality of predetermined edge patterns according to an embodiment may be mapped to an outline having a specific direction.

복수의 에지 패턴들은 S-타입의 인접 픽셀들이 배치된 주 방향을 가지는 외형선으로 매핑될 수 있다. 예를 들어, 에지 패턴들(P₁, P₇, P₁₈, P₂₄)(410)은 E2번째 방향을 가지는 외형선(415)으로 매핑될 수 있다. 또한, 에지 패턴들(P₁₁, P₁₂, P₁₃, P₁₄)(420)은 E4번째 방향을 가지는 외형선(425)으로 매핑될 수 있다. 동일한 방식으로 24개의 에지 패턴들은 표 4와 같이 8개 방향의 외형선들로 매핑될 수 있다.The plurality of edge patterns may be mapped to an outline having a main direction in which S-type adjacent pixels are arranged. For example, the edge patterns P ₁ , P ₇ , P ₁₈ , P ₂₄ ) 410 may be mapped to the outline 415 having the E2 direction. Also, the edge patterns P ₁₁ , P ₁₂ , P ₁₃ , and P ₁₄ may be mapped to the outline 425 having the E4th direction. In the same way, the 24 edge patterns may be mapped to 8 lines of outlines as shown in Table 4.

P1 P1 E2 E2 P13 P13 E4 E4 P2 P2 E1 E1 P14 P14 E4 E4 P3 P3 E0 E0 P15 P15 E5 E5 P4 P4 E7 E7 P16 P16 E6 E6 P5 P5 E6 E6 P17 P17 E0 E0 P6 P6 E3 E3 P18 P18 E2 E2 P7 P7 E2 E2 P19 P19 E3 E3 P8 P8 E0 E0 P20 P20 E6 E6 P9 P9 E6 E6 P21 P21 E7 E7 P10 P10 E5 E5 P22 P22 E0 E0 P11 P11 E4 E4 P23 P23 E1 E1 P12 P12 E4 E4 P24 P24 E2 E2

일 실시예에 따른 영상 분석 장치는 이벤트가 감지된 픽셀에 대응되는 픽셀군의 패턴을 분류할 수 있다. 분류된 패턴들 각각은 표 4와 같은 외형선들로 매핑될 수 있으므로, 영상 분석 장치는 이벤트가 감지된 픽셀들 각각에서의 외형선 방향을 인지할 수 있다. 예를 들어, 표 4를 이용하여 매핑된 에지 패턴들은 각 이벤트 픽셀에서의 에지(edge)로 저장될 수 있고, 영상 분석 장치는 복수의 픽셀들에 대하여 저장된 에지 정보를 조합함으로써, 오브젝트의 외형을 판단할 수 있다.The image analysis apparatus according to an embodiment may classify a pattern of a pixel group corresponding to a pixel in which an event is detected. Since each of the classified patterns may be mapped to outlines as shown in Table 4, the image analysis apparatus may recognize the outline direction in each of the pixels where the event is detected. For example, the edge patterns mapped using Table 4 may be stored as an edge in each event pixel, and the image analysis device may combine the stored edge information for a plurality of pixels to change the appearance of the object. I can judge.

보다 구체적으로, 영상 분석 장치가 움직이는 사람의 손에 의하여 발생된 이벤트 신호를 수신하는 경우를 가정하자. 이 경우, 이벤트 픽셀들은 사람의 손의 외형선에 대응되는 픽셀들 및 사람의 손의 내부에 대응되는 픽셀들을 모두 포함할 수 있다. 영상 분석 장치는 도 2a 내지 도 2c를 통하여 전술한 방법을 이용하여 이벤트 픽셀들 각각의 픽셀군이 어느 에지 패턴에 대응되는지 여부를 판단할 수 있다. 이 때, 미리 정해진 에지 패턴들은 외형선에 해당하는 에지 패턴들만 포함할 수 있다. 따라서, 영상 분석 장치는 사람의 손의 내부에 대응되는 픽셀들은 미리 정해진 에지 패턴들 중 어디에도 해당하지 않는다고 판단할 수 있고, 사람의 손의 외형선에 대응되는 픽셀들은 미리 정해진 에지 패턴들 중 어느 하나에 해당한다고 판단할 수 있다. 사람의 손의 외형선에 대응되는 픽셀들 각각이 미리 정해진 에지 패턴들 중 어느 하나에 해당한다고 판단되면, 영상 분석 장치는 표 4를 이용하여 사람의 손의 외형선에 대응되는 픽셀들 각각에서 해당 에지 패턴에 대응되는 외형선의 방향을 판단할 수 있다. 따라서, 영상 분석 장치는 사람의 손의 외형선에 대응되는 픽셀들 각각에서의 외형선 방향을 판단할 수 있고, 복수의 외형선 방향들을 종합하여 사람의 손의 외형을 판단할 수 있다.
More specifically, it is assumed that the image analysis device receives an event signal generated by the hand of a moving person. In this case, the event pixels may include both pixels corresponding to the outline of the human hand and pixels corresponding to the inside of the human hand. The image analysis apparatus may determine whether an edge pattern corresponds to a pixel group of each of the event pixels using the above-described method through FIGS. 2A to 2C. At this time, the predetermined edge patterns may include only edge patterns corresponding to the outline. Therefore, the image analysis apparatus may determine that pixels corresponding to the inside of the human hand do not correspond to any of the predetermined edge patterns, and pixels corresponding to the outline of the human hand may be one of the predetermined edge patterns. It can be judged that it corresponds to. When it is determined that each of the pixels corresponding to the outline of the human hand corresponds to any one of the predetermined edge patterns, the image analysis apparatus corresponds to each of the pixels corresponding to the outline of the human hand using Table 4 The direction of the contour line corresponding to the edge pattern may be determined. Therefore, the image analysis apparatus may determine the outline direction in each of the pixels corresponding to the outline of the human hand, and may synthesize the plurality of outline directions to determine the outline of the human hand.

도 5a 내지 도 5b는 일 실시예에 따른 입력 영상에 기초하여 오브젝트의 외형을 분석하는 기법을 설명하기 위한 도면이다.5A to 5B are diagrams for describing a technique of analyzing an external shape of an object based on an input image according to an embodiment.

도 5a를 참조하면, 일 실시예에 따른 입력 영상은 원통형의 중심부 주변에 위치된 8개의 막대들이 동일한 회전 속도로 시계 방향으로 회전하는 것을 촬영한 이벤트 기반 비전 센서의 출력 영상일 수 있다. 이 경우, 이벤트 기반 비전 센서는 밝아지는 이벤트 및 어두워지는 이벤트를 감지하여 이벤트 신호를 출력할 수 있다. 이벤트 기반 비전 센서는 시계 방향으로 회전되는 8개의 막대들에 의하여 이미지 내의 복수의 픽셀들의 명암이 미리 정해진 수치 이상 밝아지거나 어두워지는 것을 감지하여 이벤트 신호를 출력할 수 있다. 도 5a에서, 검은점(■)으로 표시된 것이 어두워지는 이벤트를 감지한 센서의 출력이고, 하얀점(□)으로 표시된 것이 밝아지는 이벤트를 감지한 센서의 출력이다. 도 5b를 참조하면, 일 실시예에 따른 영상 분석 장치는 도 5a의 입력 영상을 이용하여 오브젝트의 외형을 분석할 수 있다.Referring to FIG. 5A, an input image according to an embodiment may be an output image of an event-based vision sensor photographing eight bars located around a central portion of a cylinder rotating clockwise at the same rotation speed. In this case, the event-based vision sensor may output an event signal by detecting a brightening event and a darkening event. The event-based vision sensor may output an event signal by detecting that the intensity of a plurality of pixels in the image is brighter or darker than a predetermined value by eight bars rotated clockwise. In FIG. 5A, a black dot (■) indicates an output of a sensor that detects a darkening event, and a white dot (□) indicates an output of a sensor that detects a brightening event. Referring to FIG. 5B, the image analysis apparatus according to an embodiment may analyze the appearance of an object using the input image of FIG. 5A.

영상 분석 장치는 도 1 내지 도 4를 통하여 기술한 기법들을 이용하여 미리 정해진 에지 패턴들에 대응되는 픽셀군을 선별하고, 선별된 픽셀군에 대응되는 외형선의 방향에 따라 오브젝트의 외형을 추정할 수 있다. 이로 인하여, 영상 분석 장치는 입력 영상에 포함된 트레일링 효과(trailing effect) 등에 의한 노이즈를 효과적으로 제거할 수 있다.The image analysis apparatus may select a pixel group corresponding to predetermined edge patterns using the techniques described with reference to FIGS. 1 to 4, and estimate the appearance of the object according to the direction of the outline corresponding to the selected pixel group. have. Due to this, the image analysis apparatus can effectively remove noise due to a trailing effect included in the input image.

일 실시예에 따른 영상 분석 장치는 오브젝트의 외형뿐 아니라 오브젝트의 모션도 분석할 수 있다. 전술한 기법들을 이용하여 이벤트 신호로부터 오브젝트의 외형을 분석한 후, 영상 분석 장치는 오브젝트의 외형선에 대응되는 픽셀들 각각에서의 속도를 계산할 수 있고, 외형선에 대응되는 픽셀들 각각에서의 속도를 이용하여 오브젝트의 모션을 분석할 수 있다. 이하, 도 6을 참조하여 영상 분석 장치가 오브젝트의 외형선에 대응되는 픽셀들 각각에서의 속도를 계산하는 동작을 설명하고, 도 7을 참조하여 영상 분석 장치가 오브젝트의 모션을 분석하는 동작을 상세히 설명한다.
The image analysis apparatus according to an embodiment may analyze the motion of the object as well as the shape of the object. After analyzing the appearance of the object from the event signal using the above-described techniques, the image analysis apparatus may calculate the speed at each of the pixels corresponding to the outline of the object, and the speed at each of the pixels corresponding to the outline. Use to analyze the motion of the object. Hereinafter, an operation in which the image analysis apparatus calculates the velocity in each of pixels corresponding to the outline of the object will be described with reference to FIG. 6, and an operation in which the image analysis apparatus analyzes the motion of the object will be described in detail with reference to FIG. 7. Explain.

도 6은 일 실시예에 따른 픽셀군에 대응되는 속도를 계산하는 기법을 설명하기 위한 도면이다. 도 6을 참조하면, 일 실시예에 따른 픽셀군은 움직임 방향 정보를 포함할 수 있고, 일 실시예에 따른 영상 분석 장치는 인접 픽셀들을 이용하여 픽셀군에 대응되는 속도를 계산할 수 있다. 6 is a diagram for describing a technique of calculating a speed corresponding to a pixel group according to an embodiment. Referring to FIG. 6, a pixel group according to an embodiment may include motion direction information, and an image analysis device according to an embodiment may calculate a speed corresponding to a pixel group using adjacent pixels.

이 때, 영상 분석 장치는 오브젝트의 외형선에 대응되는 픽셀군의 속도를 계산할 수 있다. 예를 들어, 영상 분석 장치는 이벤트 신호에 포함된 복수의 픽셀들 모두에 대하여 해당 픽셀군의 속도를 계산하는 대신, 도 2a 내지 도 2c의 미리 정해진 에지 패턴들(P₁~P₂₄)로 분류된 픽셀군에 대하여만 해당 픽셀군의 속도를 계산할 수 있다. 전술한 바와 같이, 미리 정해진 에지 패턴들(P₁~P₂₄)은 오브젝트의 외형선에 대응되는 에지 패턴들만을 포함할 수 있으므로, 영상 분석 장치는 오브젝트의 외형선에 대응되는 픽셀군의 속도만을 계산할 수 있다.At this time, the image analysis apparatus may calculate the speed of the pixel group corresponding to the outline of the object. For example, the image analysis apparatus classifies the predetermined edge patterns P ₁ to P ₂₄ of FIGS. 2A to 2C instead of calculating the speed of the corresponding pixel group for all of the plurality of pixels included in the event signal. The speed of the pixel group can be calculated only for the pixel group. As described above, since the predetermined edge patterns P ₁ to P ₂₄ may include only edge patterns corresponding to the outline of the object, the image analysis apparatus only determines the speed of the pixel group corresponding to the outline of the object. Can be calculated.

영상 분석 장치는 수학식 3을 이용하여 픽셀군에 대응되는 x축 방향 속도 V_x와 y축 방향 속도 V_y를 계산할 수 있다.The image analysis apparatus may calculate the velocity in the x-axis direction V _x and the velocity in the y-axis direction V _y corresponding to the pixel group using Equation (3).

θ_i,a 및 θ_i,b는 픽셀군의 중심을 기준으로 S-타입인 i번째 인접 픽셀을 커버하는 범위의 경계 각도들일 수 있다. 예를 들어, n5가 S-타입인 경우, θ_5,a(620) 및 θ_5,b(610)는 픽셀군의 중심을 기준으로 n5를 커버하는 범위의 경계 각도들일 수 있다.θ _i,a and θ _i,b may be boundary angles in a range covering the i-th adjacent pixel of the S-type based on the center of the pixel group. For example, when n5 is S-type, θ _5,a (620) and θ _5,b (610) may be boundary angles in a range covering n5 based on the center of the pixel group.

영상 분석 장치는 수학식 4를 이용하여 타임 스탬프의 노이즈에 대한 민감도를 완화시킬 수 있다.The image analysis apparatus may reduce the sensitivity of the time stamp to noise by using Equation (4).

여기서, <dt>는 수학식 5와 같다.Here, <dt> is as in Equation 5.

영상 분석 장치는 수학식 3 내지 수학식 5를 통하여 계산된 x축 방향 속도 V_x와 y축 방향 속도 V_y를 픽셀군에 대응하는 속도로 저장할 수 있다. 물론 픽셀군에 대응하는 속도는 해당 픽셀군의 중심에 위치한 이벤트 픽셀의 속도로 이해될 수 있다. 전술한 바와 같이, 영상 분석 장치는 미리 정해진 에지 패턴들을 이용하여 오브젝트의 외형선에 대응되는 이벤트 픽셀들에 대하여만 x축 방향 속도 V_x와 y축 방향 속도 V_y를 계산할 수 있다. 이하, 도 7을 참조하여 오브젝트의 외형선에 대응되는 이벤트 픽셀들의 속도들을 이용하여 오브젝트의 모션을 분석하는 방법을 설명한다.
The image analysis apparatus may store the velocity in the x-axis direction V _x and the velocity in the y-axis direction V _y calculated through Equations 3 to 5 at a speed corresponding to a pixel group. Of course, the speed corresponding to the pixel group may be understood as the speed of the event pixel located at the center of the pixel group. As described above, the image analysis apparatus may calculate the velocity in the x-axis direction V _x and the velocity in the y-axis direction V _y only for event pixels corresponding to the outline of the object using predetermined edge patterns. Hereinafter, a method of analyzing the motion of the object using the speeds of event pixels corresponding to the outline of the object will be described with reference to FIG. 7.

도 7은 일 실시예에 따른 리지드 바디 모델(rigid body model)을 이용하여 오브젝트의 모션을 분석하는 기법을 설명하기 위한 도면이다. 도 7을 참조하면, 일 실시예에 따른 영상 분석 장치는 오브젝트(700)의 4-DOF(degree of freedom) 모션을 분석할 수 있다.7 is a view for explaining a technique for analyzing the motion of an object using a rigid body model (rigid body model) according to an embodiment. Referring to FIG. 7, the image analysis apparatus according to an embodiment may analyze a 4-DOF (degree of freedom) motion of the object 700.

예를 들어, 오브젝트(700)의 움직임이 감지된 입력 영상을 분석하는 경우를 가정하자. 오브젝트(700)는 2차원 평면상의 이동 속도 V_p(740)로 이동할 수 있다. 또는, 오브젝트(700)는 회전 중심 O_c(720)를 기준으로 각속도 ω(721)로 회전할 수 있다. 또는, 오브젝트(700)는 스케일링 중심 O_z(730)을 기준으로 스케일링 속도 V_z로 확대 또는 축소될 수 있다.For example, suppose a case of analyzing an input image in which the movement of the object 700 is detected. The object 700 may move at a moving speed V _p 740 on a two-dimensional plane. Alternatively, the object 700 may rotate at an angular velocity ω 721 based on the rotation center O _c 720. Alternatively, the object 700 may be enlarged or reduced to a scaling speed V _z based on the scaling center O _z 730.

영상 분석 장치는 오브젝트(700)의 이동 속도 성분, 회전 속도 성분, 스케일링 속도 성분을 분석할 수 있다. 도 1 내지 도 6을 통하여 기술된 사항들을 이용하여, 영상 분석 장치는 오브젝트(700)의 외형선에 존재하는 임의의 점 P_i(710)의 속도 V_i를 계산할 수 있다. 예를 들어, 속도 V_i는 수학식 3 내지 수학식 5를 통하여 계산된 x축 방향 속도 V_x와 y축 방향 속도 V_y일 수 있다.The image analysis device may analyze a moving speed component, a rotation speed component, and a scaling speed component of the object 700. Using the items described through FIGS. 1 to 6, the image analysis apparatus may calculate the speed V _i of any point P _i 710 existing on the outline of the object 700. For example, the velocity V _i may be an x-axis velocity V _x and a y-axis velocity V _y calculated through Equations 3 to 5.

영상 분석 장치는 V_i를 수학식 6과 같이 모델링할 수 있다.The image analysis device may model V _i as in Equation 6.

여기서, V_zi(731), V_ri(722), V_p(740)는 각각 Pi(710)에서의 스케일링 속도 성분, 회전 속도 성분, 이동 속도 성분이다. 영상 분석 장치는 V_i를 수학식 6과 같이 모델링함으로써, 오브젝트(700)의 외형선 위에 위치하는 점 P_i(710)에서의 속도 V_i를 스케일링 속도 성분, 회전 속도 성분 및 이동 속도 성분으로 분할할 수 있다. 이 때, 수학식 6은 수학식 7과 같이 표현될 수 있다.Here, V _zi 731, V _ri 722, and V _p 740 are the scaling speed component, the rotational speed component, and the moving speed component in Pi 710, respectively. The image analysis apparatus divides the velocity V _i at the point P _i 710 located on the outline of the object 700 into a scaling velocity component, a rotational velocity component, and a moving velocity component by modeling V _i as Equation (6). can do. At this time, Equation 6 may be expressed as Equation 7.

여기서, tP_i는 스케일링 속도 성분으로, 스케일링 중심 O_z(730)을 원점으로 하는 좌표 P_i(710)는 벡터 V_zi(731)의 방향과 크기를 나타낼 수 있고, 파라미터 t는 벡터 V_zi(731)의 크기를 스케일링할 수 있다. ωA(P_i-O_c)는 회전 속도 성분으로, 좌표 차이 (P_i-O_c)는 회전 중심 O_c(720)으로부터 좌표 P_i(710)를 향하는 벡터의 방향과 크기를 나타낼 수 있고, 매트릭스 A는 회전 중심 O_c(720)으로부터 좌표 P_i(710)를 향하는 벡터를 회전시키는 회전 매트릭스이다. 예를 들어 매트릭스

일 수 있다. 매트릭스 A로 인하여 회전된 벡터는 벡터 V_ri(722)를 지시할 수 있으며, 파라미터 ω는 벡터 V_ri(722)의 크기를 스케일링할 수 있다. Here, tP _i is a scaling speed component, and the coordinate P _i 710 based on the scaling center O _z 730 may indicate the direction and size of the vector V _zi 731, and the parameter t is the vector V _zi ( 731) can be scaled. ωA(P _i -O _c ) is a rotation speed component, and the coordinate difference (P _i -O _c ) can represent the direction and magnitude of a vector from the rotation center O _c 720 toward the coordinate P _i 710, The matrix A is a rotation matrix that rotates a vector from the rotation center O _c 720 toward the coordinate P _i 710. Example matrix

Can be The vector rotated due to the matrix A may indicate the vector V _ri 722, and the parameter ω may scale the size of the vector V _ri 722.

일 실시예에 따른 영상 분석 장치는 오브젝트(700)의 외형선 위에 위치하는 복수의 점들의 좌표(P_i) 및 해당 점들에서의 속도들(V_i)을 알고 있으므로, 수학식 7을 이용하여 스케일링 속도 성분 파라미터 t, 회전 속도 성분 파라미터 ω, 회전 중심 O_c, 및 이동 속도 성분 V_p를 계산할 수 있다. 이처럼 일 실시예에 따른 영상 분석 장치는 오브젝트의 4-DOF인 이동 속도 성분, 회전 속도 성분, 및 스케일링 속도 성분 중 적어도 하나를 분석할 수 있다.Since the image analysis apparatus according to an embodiment knows the coordinates P _i of a plurality of points located on the outline of the object 700 and the speeds V _i at the points, scaling using Equation 7 The velocity component parameter t, the rotational velocity component parameter ω, the rotation center O _c , and the moving velocity component V _p can be calculated. As described above, the image analysis apparatus according to an embodiment may analyze at least one of a 4-DOF moving speed component, a rotation speed component, and a scaling speed component of the object.

수학식 7을 이용하여 스케일링 속도 성분 파라미터 t, 회전 속도 성분 파라미터 ω, 회전 중심 O_c, 및 이동 속도 성분 V_p를 계산하는 방법은 다양하게 구현될 수 있다. 일 실시예에 따라 수학식 7을 정리하면 수학식 8이 도출될 수 있다.The method for calculating the scaling speed component parameter t, the rotation speed component parameter ω, the rotation center O _c , and the moving speed component V _p using Equation 7 may be implemented in various ways. According to an embodiment, when Equation 7 is arranged, Equation 8 may be derived.

여기서, P_i는 오브젝트(700)의 외형선 위에 위치하는 i번째 점의 좌표이고,

는 오브젝트(700)의 외형선 위에 위치하는 좌표들의 평균이다. V_i는 오브젝트(700)의 외형선 위에 위치하는 i번째 점에서의 속도이고,

는 오브젝트(700)의 외형선 위에 위치하는 점들에서의 속도들의 평균이다. 각각의 변수들은 수학식 9 내지 12과 같다.Here, P _i is the coordinates of the i-th point located on the outline of the object 700,

Is an average of coordinates located on the outline of the object 700. V _i is the velocity at the i-th point located on the outline of the object 700,

Is the average of velocities at points located on the outline of the object 700. Each variable is as shown in Equations 9 to 12.

일 실시예에 따른 영상 분석 장치는 수학식 3 내지 수학식 5를 이용하여 x축 방향 속도 V_x와 y축 방향 속도 V_y를 계산하여 픽셀 P_i에서의 속도 V_i로 저장할 수 있다. 영상 분석 장치는 각 픽셀의 좌표 P_i 및 각 픽셀에서의 속도 V_i를 이용하여

및

를 계산할 수 있다. 영상 분석 장치는 복수의 P_i들, 복수의 V_i들,

,

및 수학식 8을 이용하여, 파라미터 t 및 파라미터 ω를 계산할 수 있다. 예를 들어, 수도 인버스(Pseudo Inverse) 기법에 의하여, 수학식 8로부터 수학식 13 내지 14가 도출될 수 있다.The image analysis apparatus according to an embodiment may calculate the velocity V _{x in} the x-axis direction and the velocity V _y in the y-axis direction using Equations 3 to 5 and store the velocity V _i in the pixel P _i . The image analysis apparatus uses the coordinates P _i of each pixel and the velocity V _i of each pixel

And

Can be calculated. The image analysis apparatus includes a plurality of P _i, a plurality of V _i,

,

And using Equation 8, the parameter t and the parameter ω can be calculated. For example, Equations 13 to 14 may be derived from Equation 8 by the Pseudo Inverse technique.

여기서, σ²(P) = σ²(x) + σ²(y)이고, σ(·)는 표준 편차(standard deviation)를 계산하는 연산자이다. σ(x, y) = E[(x-E[x])(y-E[y])]이고, E[·]는 기대 값(expectation value) 또는 평균(average)를 계산하는 연산자이다. 영상 분석 장치는 수학식 13 및 수학식 14를 이용하여 스케일링 속도 성분 파라미터 t 및 회전 속도 성분 파라미터 ω를 계산할 수 있다.
Here, σ ² (P) = σ ² (x) + σ ² (y), and σ(·) is an operator that calculates a standard deviation. σ(x, y) = E[(xE[x])(yE[y])], and E[·] is an operator that calculates the expected value or average. The image analysis apparatus may calculate the scaling speed component parameter t and the rotational speed component parameter ω using Equation 13 and Equation 14.

도 8a 내지 도 8d는 일 실시예에 따른 오브젝트의 모션 분석의 정확도를 향상시키는 기법을 설명하기 위한 도면이다.8A to 8D are diagrams for describing a technique for improving the accuracy of motion analysis of an object according to an embodiment.

도 8a를 참조하면, 일 실시예에 따른 영상 분석 장치는 픽셀군보다 큰 관측 영역을 이용하여 모션 분석의 정확도를 향상시킬 수 있다. 관측 영역은 복수의 픽셀군들을 포함하는 픽셀군들의 집합으로, 예를 들어 오브젝트의 외형선을 따라 오브젝트가 일정한 크기로 분할된 영역을 포함할 수 있다.Referring to FIG. 8A, an image analysis apparatus according to an embodiment may improve accuracy of motion analysis by using an observation area larger than a pixel group. The viewing area is a set of pixel groups including a plurality of pixel groups, and may include, for example, an area in which the object is divided into a predetermined size along the outline of the object.

관측 영역의 선택에 있어서, 일 실시예에 따른 영상 분석 장치는 포함되는 픽셀군들의 패턴들의 다양성을 고려할 수 있다. 예를 들어, 영상 분석 장치는 픽셀군들의 패턴이 다양한 관측 영역을 선택하여, 모션 분석을 수행할 수 있다.In the selection of the viewing area, the image analysis apparatus according to an embodiment may consider diversity of patterns of pixel groups included. For example, the image analysis apparatus may perform motion analysis by selecting an observation region having various patterns of pixel groups.

예를 들어, 오브젝트(800)이 회전, 축소 및 확대되지 않으면서 오른쪽 방향(820)으로 이동하는 경우를 가정하자. 이 때, 오브젝트(800)는 직사각형 모양의 사물로, 비스듬히 기울어진 상태로 이동할 수 있다. 관측 영역(810)은 동일하거나 유사한 패턴을 가지는 픽셀군들(811)만을 포함할 수 있다. 관측 영역(810)에 포함된 픽셀군들(811)에 기초하여 모션 분석을 수행하는 경우, 실제 이동 방향이 오른쪽 방향(820)임에도 불구하고 오른쪽 아래 방향(812)으로 이동하는 것으로 분석될 수 있다. 영상 분석 장치는 오브젝트(800)의 외형선 중 직선 부분만을 포함하는 관측 영역(810)이 아닌 직각으로 꺾인 부분을 포함하는 관측 영역(830)을 선택할 수 있다. 영상 분석 장치는 다양한 패턴의 픽셀군들을 포함하는 관측 영역을 선택함으로써, 모션 분석의 정확도를 향상시킬 수 있다.For example, suppose the object 800 moves in the right direction 820 without being rotated, reduced, and enlarged. At this time, the object 800 is a rectangular-shaped object, and may move in an inclined state. The viewing area 810 may include only pixel groups 811 having the same or similar pattern. When the motion analysis is performed based on the pixel groups 811 included in the observation area 810, it may be analyzed that the actual moving direction is moving in the lower right direction 812 even though the right moving direction is 820. . The image analysis apparatus may select an observation region 830 including a portion bent at a right angle, not an observation region 810 that includes only a straight portion of the outline of the object 800. The image analysis apparatus may improve the accuracy of motion analysis by selecting an observation region including pixel groups of various patterns.

다른 실시예에 따른 영상 분석 장치는 LOH(Level of Homogeneity)를 이용하여 모션 분석의 정확도를 향상시킬 수 있다. 예를 들어, 영상 분석 장치는 수학식 15를 이용하여 패치의 LOH를 계산하고, 낮은 LOH를 가지는 패치를 선택할 수 있다. 여기서, 패치는 3 x 3 크기 이상의 픽셀들을 포함하는 픽셀군을 포함할 수 있다.The image analysis apparatus according to another embodiment may improve accuracy of motion analysis by using Level of Homogeneity (LOH). For example, the image analysis apparatus may calculate the LOH of the patch using Equation 15, and select a patch having a low LOH. Here, the patch may include a group of pixels including pixels having a size of 3 x 3 or more.

여기서, θ_ref와 θ_i는 각각 패치의 중심에 위치하는 픽셀의 외형선 각도 및 i번째 인접 픽셀의 외형선 각도이다. LOH가 낮은 경우 해당 패치에 포함되는 픽셀군의 패턴들이 유사함을 나타내고, LOH가 높은 경우 해당 패치에 포함되는 픽셀군의 패턴들이 상이함을 나타낼 수 있다. 영상 분석 장치는 LOH가 낮은 패치를 선택함으로써, 다양한 패턴의 픽셀군들을 포함하는 관측 영역을 선택할 수 있다.Here, θ _ref and θ _i are respectively the outline angle of the pixel located at the center of the patch and the outline angle of the i-th adjacent pixel. When the LOH is low, it may indicate that the patterns of the pixel groups included in the corresponding patch are similar, and when the LOH is high, the pixel group patterns included in the corresponding patch may be different. The image analysis apparatus may select an observation region including pixel groups of various patterns by selecting a patch having a low LOH.

도 8b는 LOH를 이용한 모션 분석의 정확도 향상을 보여주는 일 예이다. 예를 들어, 오브젝트(800)이 오른쪽 방향(820)으로 움직이는 경우를 가정하자. 관측 영역(810)에서 오브젝트(800)의 움직임을 관측하는 경우, 오브젝트(800)의 외형선은 시간 t에서 에지(831)과 같이 관측되고 시간 t+Δt에서 에지(832)와 같이 관측될 수 있다. 이 경우, 오브젝트(800)는 오른쪽 방향(820)으로만 움직였으므로, 오브젝트(800)의 실제 움직임 속도는 속도 벡터(840)로 표현될 수 있다. 만약 LOH를 이용한 모션 분석을 이용하지 않는다면, 오브젝트(800)의 움직임 속도는 속도 벡터(850)로 계산될 수 있다. 속도 벡터(850)은 오브젝트(800)의 실제 움직임 속도를 나타내는 속도 벡터(840)와 방향 및 크기가 모두 상이하다. 8B is an example of improving the accuracy of motion analysis using LOH. For example, assume that the object 800 moves in the right direction 820. When observing the movement of the object 800 in the observation area 810, the outline of the object 800 may be observed as the edge 831 at time t and the edge 832 at time t+Δt. have. In this case, since the object 800 has moved only in the right direction 820, the actual movement speed of the object 800 may be represented by the velocity vector 840. If motion analysis using LOH is not used, the motion speed of the object 800 may be calculated as the speed vector 850. The velocity vector 850 is different in both direction and size from the velocity vector 840 representing the actual movement velocity of the object 800.

LOH를 이용한 모션 분석을 이용하는 경우, 오브젝트(800)의 움직임 속도는 속도 벡터(860)으로 계산될 수 있다. 속도 벡터(860)은 오브젝트(800)의 실제 움직임 속도를 나타내는 속도 벡터(840)와 동일한 방향을 가지나, 여전히 크기는 상이할 수 있다.When using motion analysis using LOH, the movement speed of the object 800 may be calculated as the velocity vector 860. The velocity vector 860 has the same direction as the velocity vector 840 representing the actual movement velocity of the object 800, but the size may still be different.

도 8c를 참조하면, 오브젝트들이 동일한 속도 및 방향을 갖는 실제 속도(872)로 움직인다 하더라도, 오브젝트의 외형(871)에 따라서 계산되는 속도(873)의 크기가 상이할 수 있다. 예를 들어, 실제 이동하는 방향(예를 들어, x축 방향)으로의 벡터 성분이 작은 외형을 가질수록 계산되는 속도의 크기는 작아질 수 있다.Referring to FIG. 8C, even if the objects move at the actual speed 872 having the same speed and direction, the size of the speed 873 calculated according to the shape 871 of the object may be different. For example, the smaller the vector component in the actual moving direction (eg, the x-axis direction) has, the smaller the magnitude of the calculated speed can be.

도 8d를 참조하면, 일 실시예에 따른 영상 분석 장치는 수학식 16 및 수학식 17을 이용하여 오브젝트(800)의 움직임 속도의 크기를 보정할 수 있다. 보다 구체적으로, 영상 분석 장치는 단계 881에서 에지 이벤트로서 V_i를 수신할 수 있다. 영상 분석 장치는 V_i를 이용하여 V_p, O_c, t, ω를 계산할 수 있다. 단계 881 및 단계 882에는 도 1 내지 도 7을 참조하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다. 영상 분석 장치는 단계 883에서 LOH를 이용한 모션 분석을 통하여 V_p를 계산할 수 있다. 마찬가지로, 단계 883에는 도 8a를 통하여 전술한 사항들이 그대로 적용될 수 있다.Referring to FIG. 8D, the image analysis apparatus according to an embodiment may correct the size of the movement speed of the object 800 using Equation 16 and Equation 17. More specifically, the image analysis apparatus may receive V _i as an edge event in step 881. The image analysis apparatus can calculate V _p , O _c , t, ω using V _i . Steps 881 and 882 may be applied as described above with reference to FIGS. 1 to 7, so a detailed description thereof will be omitted. In step 883, the image analysis apparatus may calculate V _p through motion analysis using LOH. Similarly, the above-described matters may be applied to step 883 through FIG. 8A.

영상 분석 장치는 단계 884에서 수학식 16을 이용하여 V_i ^gen을 계산할 수 있다. 수학식 16에 이용되는 파라미터들의 의미는 수학식 7에 이용되는 파라미터들의 의미와 동일하다.In step 884, the image analysis apparatus may calculate V _i ^gen using Equation (16). The meaning of the parameters used in equation (16) is the same as the meaning of the parameters used in equation (7).

영상 분석 장치는 단계 885에서 수학식 17을 이용하여 V_i ^cor를 계산할 수 있다. 여기서, θ는 V_i와 V_i ^gen 사이의 각도 차이로, 도 8b의 각도(855)에 해당한다.In step 885, the image analysis apparatus may calculate V _i ^cor using Equation 17. Here, θ is an angle difference between V _i and V _i ^gen , which corresponds to the angle 855 of FIG. 8B.

V_i는 오브젝트의 실제 움직임 방향과 상이한 방향을 가지지만, LOH를 고려하지 않고 모든 외형선에 대하여 움직임 속도를 계산한 것이므로, 실제 움직임 속도와 유사한 크기를 가질 수 있다. 반면, V_i ^gen은 오브젝트의 실제 움직임 방향과 동일한 방향을 가지지만, 낮은 LOH의 관측 범위에 있는 외형선에 대하여만 움직임 속도를 계산한 것이므로, 실제 움직임 속도보다 작은 크기를 가질 수 있다. 따라서, 영상 분석 장치는 수학식 17을 이용하여 V_i로부터는 벡터의 크기를 얻고, V_i ^gen으로부터는 벡터의 방향을 얻음으로써 V_i ^cor를 계산할 수 있다.V _i has a direction different from the actual movement direction of the object, but since the movement speed is calculated for all contour lines without considering LOH, it may have a size similar to the actual movement speed. On the other hand, V _i ^gen has the same direction as the actual movement direction of the object, but since the movement speed is calculated only for the contour line in the low LOH observation range, it may have a size smaller than the actual movement speed. Therefore, the image analysis apparatus can calculate V _i ^cor by obtaining the size of the vector from V _i and the direction of the vector from V _i ^gen using Equation (17).

다른 실시예에 따르면, 영상 분석 장치는 단계 882 내지 단계 885를 두 번 이상 이터레이션(iteration)할 수 있다. 예를 들어, θ가 90도인 경우, tan90°는 무한대이므로 V_i ^cor가 계산되기 어려울 수 있다. 이 경우, 영상 분석 장치는 두 번 이상에 걸쳐 V_i를 회전시킴으로써 V_i ^cor를 계산할 수 있다. 이 때,

가 만족되어야 하며,

는 k번째 이터레이션에서 허용되는 최대 회전 각도이다.
According to another embodiment, the image analysis apparatus may iterate steps 882 to 885 more than once. For example, when θ is 90 degrees, since tan90° is infinite, V _i ^cor may be difficult to calculate. In this case, the image analysis apparatus may calculate V _i ^cor by rotating V _i more than once. At this time,

Must be satisfied,

Is the maximum rotation angle allowed for the k-th iteration.

도 9는 일 실시예에 따른 오브젝트의 이동 속도에 기초하여 사용자 입력을 처리하는 기법을 설명하기 위한 도면이다.9 is a diagram for describing a technique of processing a user input based on a moving speed of an object according to an embodiment.

도 9를 참조하면, 일 실시예에 따른 영상 분석 장치는 오브젝트의 모션에 기초하여 사용자 입력을 처리할 수 있다.Referring to FIG. 9, an image analysis apparatus according to an embodiment may process a user input based on the motion of an object.

영상 분석 장치는 도 1 내지 도 8을 통하여 기술한 사항들을 이용하여 오브젝트(910)의 이동 속도(915)를 계산할 수 있다. 영상 분석 장치는 계산된 이동 속도(915)를 이용하여 사용자 입력을 위한 포인트의 상대 좌표의 변화량을 계산할 수 있다.The image analysis apparatus may calculate the moving speed 915 of the object 910 using the items described through FIGS. 1 to 8. The image analysis apparatus may calculate the amount of change in the relative coordinates of the point for user input using the calculated movement speed 915.

영상 분석 장치는 상대 좌표의 변화량에 기초하여 사용자 입력을 처리할 수 있다. 예를 들어, 영상 분석 장치는 계산된 상대 좌표의 변화량에 따라 디스플레이(920)에 표시된 커서의 위치를 기존 위치(921)에서 신규 위치(922)로 이동시킬 수 있다.The image analysis device may process a user input based on the amount of change in the relative coordinates. For example, the image analysis apparatus may move the position of the cursor displayed on the display 920 from the existing position 921 to the new position 922 according to the calculated change in relative coordinates.

도면에 표시하지 않았으나, 일 실시예에 따른 사용자 입력 처리 장치는 인식부 및 처리부를 포함할 수 있다. 인식부는 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 오브젝트의 모션을 인식할 수 있다. 예를 들어, 인식부는 도 1 내지 도 8을 통하여 기술한 사항들을 이용하여 오브젝트(910)의 이동 속도(915)를 계산할 수 있다. 처리부는 인식부에 의해 인식된 오브젝트의 모션에 기초하여 사용자 입력을 위한 상대 좌표를 업데이트할 수 있다. 예를 들어, 처리부는 인식부에 의해 계산된 이동 속도(915)를 이용하여 사용자 입력을 위한 상대 좌표의 변화량을 계산할 수 있다. 처리부는 상대 좌표의 변화량에 따라 상대 좌표를 업데이트하고, 업데이트된 상대 좌표를 이용하여 사용자 입력을 처리할 수 있다.
Although not shown in the drawings, the user input processing apparatus according to an embodiment may include a recognition unit and a processing unit. The recognition unit may recognize the motion of the object based on the input image including the event signal for detecting the motion of the object. For example, the recognition unit may calculate the moving speed 915 of the object 910 using the items described through FIGS. 1 to 8. The processor may update the relative coordinates for user input based on the motion of the object recognized by the recognizer. For example, the processing unit may calculate a change amount of the relative coordinate for user input using the movement speed 915 calculated by the recognition unit. The processor may update the relative coordinates according to the amount of change in the relative coordinates, and process the user input using the updated relative coordinates.

도 10은 일 실시예에 따른 오브젝트의 깊이에 기초하여 사용자 입력을 처리하는 기법을 설명하기 위한 도면이다. 10 is a diagram for describing a technique of processing a user input based on the depth of an object according to an embodiment.

도 10을 참조하면, 일 실시예에 따른 영상 분석 장치는 동일한 오브젝트의 움직임에 대하여 공간적으로 이격된 두 위치에서 감지된 서로 다른 두 개의 이벤트 신호를 이용하여 오브젝트의 깊이를 추가적으로 분석할 수 있다. 예를 들어, 센서(1020)은 왼쪽 눈에 대응되는 제1 센서 및 오른쪽 눈에 대응되는 제2 센서를 포함할 수 있다. 일 실시예에 따른 영상 분석 장치는 양쪽 눈에 대응되는 두 개의 센서들로부터 출력되는 영상의 차이를 이용하여 오브젝트까지의 깊이를 측정할 수 있다.Referring to FIG. 10, the image analysis apparatus according to an embodiment may additionally analyze the depth of an object by using two different event signals detected at two spatially spaced positions for the movement of the same object. For example, the sensor 1020 may include a first sensor corresponding to the left eye and a second sensor corresponding to the right eye. The image analysis apparatus according to an embodiment may measure a depth to an object by using a difference between images output from two sensors corresponding to both eyes.

표 5를 참조하면, 영상 분석 장치는 왼쪽 눈과 오른쪽 눈에 대응되는 각각의 패치들의 LOS(Level of Similarity)를 극대화시키는 기법을 이용하여 두 영상의 차이(disparity)를 계산할 수 있다. 보다 구체적으로, 일 실시예에 따른 영상 분석 장치는 왼쪽 눈에 대응되는 센서로부터 출력되는 이벤트 신호와 오른쪽 눈에 대응되는 센서로부터 출력되는 이벤트 신호를 모두 처리할 수 있다. 예를 들어, 영상 분석 장치는 두 이벤트 신호들 각각을 이용하여 에지 패턴을 분류함으로써 외형선에 대응되는 픽셀들을 검출하고, 검출된 픽셀들의 에지 패턴에 기초하여 해당 픽셀에서의 외형선의 방향을 판단할 수 있다. 이 경우, 영상 분석 장치는 오브젝트의 윤곽 두 개가 일정 간격만큼 떨어진 채로 겹쳐진 영상을 얻을 수 있다. 영상 분석 장치는 오브젝트의 윤곽 두 개가 일정 간격만큼 떨어진 채로 겹쳐진 영상에 표 5의 알고리즘을 적용함으로써, 오브젝트의 윤곽 두 개가 떨어진 간격, 다시 말해, 두 영상의 차이를 계산할 수 있다.Referring to Table 5, the image analysis apparatus may calculate the disparity between the two images using a technique that maximizes the level of similarity (LOS) of each patch corresponding to the left eye and the right eye. More specifically, the image analysis apparatus according to an embodiment may process both an event signal output from a sensor corresponding to the left eye and an event signal output from a sensor corresponding to the right eye. For example, the image analysis apparatus detects pixels corresponding to the outline by classifying the edge pattern using each of the two event signals, and determines the direction of the outline in the corresponding pixel based on the detected edge pattern of the pixels. Can. In this case, the image analysis apparatus may obtain an image in which two contours of the object are overlapped by a predetermined interval. The image analysis apparatus may calculate the distance between the two outlines of the object, that is, the difference between the two images, by applying the algorithm of Table 5 to the overlapped image with the two outlines of the object separated by a predetermined interval.

여기서, (x, y)는 영상 내 패치의 좌표이고, 패치에는 복수의 점들이 포함될 수 있다. (x_i, y_i)는 (x, y) 좌표의 패치에 포함된 i번째 점의 좌표이며, d는 두 영상의 차이이다. 두 영상은 각각 왼쪽 눈에 대응되는 센서와 오른쪽 눈에 대응되는 센서로부터 수신되므로, 두 영상은 주로 x축 방향으로 이격되어 있다. 따라서, d는 두 영상이 x축 방향으로 이격된 정도를 나타낼 수 있다. θ(x_i, y_i)는 오리엔테이션 각도(orientation angle)로, (x_i, y_i) 좌표의 점에서 계산된 외형선의 방향에 대응될 수 있다. Here, (x, y) is the coordinates of the patch in the image, and the patch may include a plurality of points. (x _i , y _i ) is the coordinates of the i-th point included in the patch of (x, y) coordinates, and d is the difference between the two images. Since the two images are received from the sensor corresponding to the left eye and the sensor corresponding to the right eye, respectively, the two images are mainly spaced in the x-axis direction. Accordingly, d may indicate the degree that the two images are spaced apart in the x-axis direction. θ(x _i , y _i ) is an orientation angle, and may correspond to the direction of the outline calculated at the point of the (x _i , y _i ) coordinate.

lLOS(x,y,d)는 (x,y) 좌표의 단일 패치에서의 LOS를 평가하기 위한 수식이고, rLOS(y,d)는 y 좌표의 1차원 라인(line)에서의 LOS를 평가하기 위한 수식이며, gLOS(d)는 영상 전체의 2차원 영역(area)에서의 LOS를 평가하기 위한 수식이다.lLOS(x,y,d) is a formula for evaluating LOS in a single patch of (x,y) coordinates, and rLOS(y,d) is evaluating LOS in a one-dimensional line of y coordinates. Is a formula for evaluating, and gLOS(d) is a formula for evaluating LOS in a two-dimensional area of the entire image.

영상 분석 장치는 LOS(x,y,d)가 최대가 되도록 하는 d를 계산할 수 있다. LOS(x,y,d)가 최대가 되려면 θ(x_i, y_i)와 θ(x_i+d, y_i)의 차이가 최소가 되어야 하므로, 영상 분석 장치는 θ(x_i, y_i)와 θ(x_i+d, y_i)의 차이가 최소가 되도록 하는 d를 계산할 수 있다. The image analysis apparatus may calculate d such that LOS(x,y,d) is maximized. In order for LOS(x,y,d) to be the maximum, the difference between θ(x _i , y _i ) and θ(x _i +d, y _i ) must be the minimum, so the image analysis device uses θ(x _i , y _i ) And θ(x _i +d, y _i ) can be calculated to minimize d.

영상 분석 장치는 계산된 두 영상의 차이가 클수록 오브젝트의 깊이를 얕게 추정하고, 두 영상의 차이가 작을수록 오브젝트의 깊이를 깊게 추정할 수 있다. 영상 분석 장치는 추정된 오브젝트의 깊이에 기초하여 사용자 입력을 처리할 수 있다.The image analysis apparatus may estimate the depth of the object shallower as the difference between the two images is calculated, and deeply estimate the depth of the object as the difference between the two images is small. The image analysis apparatus may process a user input based on the estimated depth of the object.

영상 분석 장치는 센서(1020)로부터의 오브젝트(1010)의 깊이에 대응되는 동작 모드를 판단할 수 있다. 예를 들어, 센서(1020)로부터의 깊이에 따라 제1 동작 모드 영역(1031), 제2 동작 모드 영역(1032), 제3 동작 모드 영역(1033), 및 배경 영역(1034)이 미리 설정될 수 있다.The image analysis apparatus may determine an operation mode corresponding to the depth of the object 1010 from the sensor 1020. For example, the first operation mode area 1031, the second operation mode area 1032, the third operation mode area 1033, and the background area 1034 may be preset according to the depth from the sensor 1020. Can.

영상 분석 장치는 오브젝트(1010)의 깊이가 제2 동작 모드 영역(1032)에 해당한다고 판단되는 경우, 오브젝트(1010)를 이용한 입력을 제2 동작 모드 영역(1032)에 대응되는 사용자 입력 처리 방식으로 처리할 수 있다.
When it is determined that the depth of the object 1010 corresponds to the second operation mode region 1032, the image analysis apparatus uses input using the object 1010 as a user input processing method corresponding to the second operation mode region 1032. Can handle it.

도 11은 일 실시예에 따른 영상 분석 방법을 나타낸 동작 흐름도이다.11 is a flowchart illustrating an image analysis method according to an embodiment.

도 11을 참조하면, 일 실시예에 따른 영상 분석 장치는 단계 1110에서 이벤트 정보를 읽을 수 있다. 영상 분석 장치는 단계 1120에서 발생된 이벤트의 위치 및 발생 시간에 기초하여 이벤트 발생 시간 맵을 업데이트할 수 있다. 영상 분석 장치는 단계 1130에서 이벤트 발생 시간 맵을 참조하여 발생된 이벤트의 주변 이벤트 발생 시간의 패턴을 분석할 수 있다.Referring to FIG. 11, the image analysis apparatus according to an embodiment may read event information in operation 1110. The image analysis device may update the event occurrence time map based on the location and time of the event generated in step 1120. The image analysis apparatus may analyze the pattern of the occurrence time of the surrounding event of the generated event by referring to the event occurrence time map in step 1130.

영상 분석 장치는 단계 1140에서 이벤트 발생 패턴에 따라 에지(edge)의 방향성을 분류할 수 있다. 영상 분석 장치는 단계 1150에서 에지 방향 패턴 및 이벤트 발생 패턴에 따라 속도 성분을 추출할 수 있다.In step 1140, the image analysis apparatus may classify the direction of the edge according to the event occurrence pattern. In step 1150, the image analysis device may extract the velocity component according to the edge direction pattern and the event occurrence pattern.

영상 분석 장치는 단계 1160에서 물체의 움직임을 분석하기 위하여 이벤트 정보를 누적할 수 있다. 영상 분석 장치는 단계 1170에서 누적된 이벤트의 수가 충분한지 여부를 판단할 수 있다. 판단 결과, 누적된 이벤트의 수가 충분하지 않은 경우 영상 분석 장치는 단계 1175에서 누적 시간이 충분하였는지 여부를 판단할 수 있다. 누적 시간이 충분하지 않은 경우, 영상 분석 장치는 단계 1110으로 돌아가 새로운 이벤트 정보를 추가로 누적할 수 있다.In step 1160, the image analysis device may accumulate event information to analyze the movement of the object. The image analysis apparatus may determine whether the number of accumulated events in step 1170 is sufficient. As a result of the determination, when the number of accumulated events is not sufficient, the image analysis apparatus may determine whether the accumulated time is sufficient in step 1175. If the accumulation time is not sufficient, the image analysis device may return to step 1110 to accumulate new event information.

누적된 이벤트의 수가 충분하거나, 누적된 이벤트의 수가 충분하지 않더라도 누적 시간이 충분한 경우, 영상 분석 장치는 단계 1180에서 물체 위치 및 움직임 속도를 요소 별로 분리할 수 있다. 영상 분석 장치는 움직임 속도 요소로 이동 속도, 팽창 또는 수축 속도, 회전 속도를 획득할 수 있다. If the accumulated number of events is sufficient or the accumulated time is sufficient even if the accumulated number of events is not sufficient, the image analysis apparatus may separate the object position and the movement speed for each element in step 1180. The image analysis device may acquire a movement speed, an expansion or contraction speed, and a rotation speed as a movement speed element.

영상 분석 장치는 단계 1190에서 물체의 주된 움직임 요소를 판단할 수 있다. 예를 들어, 영상 분석 장치는 이동 속도, 팽창 또는 수축 속도, 회전 속도 중 물체의 움직임에 큰 비중을 차지하는 적어도 하나의 움직임 요소를 판단할 수 있다.In step 1190, the image analysis device may determine a main motion element of the object. For example, the image analysis apparatus may determine at least one movement element that occupies a large weight of the movement of the object among movement speed, expansion or contraction speed, and rotation speed.

도 11에 도시된 각 단계들에는 도 1 내지 도 10을 통하여 기술된 사항들이 그대로 적용될 수 있으므로 보다 상세한 설명은 생략한다.
Each of the steps illustrated in FIG. 11 may be applied with the items described through FIGS. 1 to 10 as it is, so a detailed description thereof will be omitted.

도 12는 일 실시예에 따른 3차원 영상 분석 장치를 나타낸 블록도이다.12 is a block diagram illustrating a 3D image analysis apparatus according to an embodiment.

도 12를 참조하면, 일 실시예에 따른 3차원 영상 분석 장치(1200)는 적어도 두 쌍의 영상 변화 감지부(1210, 1215), 에지 방향 정보 추출부(1220, 1225), 속도 정보 추출부(1230, 1235), 및 평균 에지 방향 정보 추출부(1240, 1245)를 포함한다.Referring to FIG. 12, the 3D image analysis apparatus 1200 according to an embodiment includes at least two pairs of image change detection units 1210 and 1215, edge direction information extraction units 1220 and 1225, and speed information extraction units ( 1230, 1235), and the average edge direction information extraction units 1240, 1245.

또한, 3차원 영상 분석 장치(1200)는 디스퍼리티 맵(disparity map) 추출부(1250), 거리 정보 매핑부(1260), 및 3차원 위치/움직임 분석부(1270)를 더 포함할 수 있다.In addition, the 3D image analysis apparatus 1200 may further include a disparity map extraction unit 1250, a distance information mapping unit 1260, and a 3D location/motion analysis unit 1270. .

도 12에 도시된 각 모듈들에는 도 1 내지 도 11을 통하여 기술된 사항들이 그대로 적용될 수 있으므로 보다 상세한 설명은 생략한다.
Since each of the modules illustrated in FIGS. 12 through 11 may be applied to the modules, a detailed description thereof will be omitted.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and constructed for the embodiments or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although described by the limited embodiments and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques are performed in a different order than the described method, and/or the components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or other components Alternatively, even if replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims

Memory configured to store computer-readable instructions; And
A processor configured to execute the computer-readable instructions,
The processor:
Based on a plurality of adjacent pixels of the event-based vision sensor adjacent to the at least one pixel, the event being configured to receive a pixel event signal, corresponding to at least one pixel of the event-based vision sensor A classification unit configured to determine a pattern of a pixel group of a plurality of pixels of the event-based vision sensor including the at least one pixel and the plurality of adjacent pixels; And
And an analysis unit configured to determine at least one of an appearance of an object corresponding to the event and motion of the object based on the pattern of the pixel group,
The classification unit may include a threshold and a difference between a time stamp of the time at which an event was detected by an adjacent pixel included in the pixel group and a time stamp of the time at which the event was detected by the at least one pixel included in the pixel group. The image analysis apparatus compares and classifies the pixel type of the adjacent pixel included in the pixel group into a predetermined pixel type corresponding to a result of the comparison among a plurality of predetermined pixel types.

According to claim 1,
And the event signal indicates the occurrence of the event at the position of the at least one pixel by the event-based vision sensor.

According to claim 1,
The classification unit determines whether the pixel group corresponds to at least one edge pattern among a plurality of predetermined edge patterns.

The method of claim 3,
The classification unit disposes the group of pixels in response to determining that the group of pixels does not correspond to the at least one edge pattern.

According to claim 1,
The classification unit:
And configured to determine the pixel types of the plurality of adjacent pixels based on a difference between the time stamp of the event signal corresponding to the at least one pixel and the time stamps of event signals corresponding to the plurality of adjacent pixels. Type determination unit; And
And a pattern determination unit configured to determine a pattern of the pixel group based on the pixel types of the plurality of adjacent pixels.

The method of claim 5,
The pixel types of the plurality of adjacent pixels are:
A first pixel type corresponding to a fast event detected by the event-based vision sensor;
A second pixel type corresponding to a slow event detected by the event-based vision sensor; And
A third pixel type corresponding to the money-care type,
The first pixel type corresponds to a difference between the time stamp of the event signal corresponding to the at least one pixel and the time stamp of the event signal corresponding to the adjacent pixel is less than a first threshold value,
The second pixel type corresponds to the difference between the time stamp of the event signal corresponding to the at least one pixel and the time stamp of the event signal corresponding to the adjacent pixel is greater than a second threshold value,
In the third pixel type, the difference between the time stamp of the event signal corresponding to the at least one pixel and the time stamp of the event signal corresponding to the adjacent pixel is less than the second threshold, and the first Image analysis device corresponding to greater than the threshold value.

According to claim 1,
The analysis unit includes an appearance analysis unit configured to determine a direction of an edge of the object corresponding to the pixel group based on the pattern of the pixel group.

According to claim 1,
The analysis section:
A calculator configured to calculate a speed corresponding to the pixel group based on the pattern of the pixel group; And
And a motion analyzer configured to analyze the motion of the object based on the velocity corresponding to the pixel group.

The method of claim 8,
The motion of the object includes at least one of a movement speed component of the object, a rotation speed component of the object, and a scaling component of the object.

The method of claim 8,
The analysis unit further includes a selection unit configured to select at least one observation area for analyzing the motion of the object among the plurality of observation areas based on diversity of patterns of pixel groups included in the observation area.

According to claim 1,
And a processor configured to calculate a change amount of a relative coordinate of a point for user input based on the motion of the object, and process the user input based on the change amount of the relative coordinate.

In the video analysis method of the video analysis device,
Receiving, by the image analysis apparatus, an event signal corresponding to at least one pixel of the event-based vision sensor in which the event was detected;
Based on the pixel types of a plurality of adjacent pixels of the event-based vision sensor adjacent to the at least one pixel, by the processor of the image analysis device, wherein the at least one pixel and the plurality of adjacent pixels are included Determining a pattern of a pixel group of a plurality of pixels of the event-based vision sensor; And
Based on the pattern of the group of pixels, analyzing at least one of the appearance of the object and the motion of the object,
The determining step is:
Comparing a timestamp of the time at which the event was detected by an adjacent pixel included in the pixel group and a timestamp of the time at which the event was detected by the at least one pixel included in the pixel group; And
And classifying the pixel type of the adjacent pixel into a predetermined pixel type corresponding to a result of the comparison among a plurality of predetermined pixel types.

The method of claim 12,
And the event signal indicates the occurrence of the event at the position of the at least one pixel by the event-based vision sensor.

The method of claim 12,
The classification step is:
Determining the pixel types of the plurality of adjacent pixels based on a difference between the time stamp of the at least one pixel and time stamps of the plurality of adjacent pixels;
Based on the pixel types of the plurality of adjacent pixels, determining whether the group of pixels corresponds to at least one outline pattern among a plurality of predetermined outline patterns;
The pixel group is discarded in response to determining that the pixel group does not correspond to the at least one outline pattern, and the pixel group is responded to being determined to correspond to the at least one outline pattern. And determining the pattern of the pixel group as the at least one outline pattern.

The method of claim 12,
Analyzing at least one of the appearance of the object and the motion of the object is:
And determining a direction of an outline line corresponding to the pixel group based on the pattern of the pixel group.

The method of claim 12,
Analyzing at least one of the appearance of the object and the motion of the object is:
Selecting at least one observation area for analyzing the motion of the object among the plurality of observation areas based on the diversity of patterns of the pixel groups included in the observation area;
Calculating speeds corresponding to a plurality of pixel groups included in the at least one viewing area; And
And analyzing the motion of the object based on the speeds corresponding to the plurality of pixel groups.

The method of claim 12,
Calculating a change amount of a relative coordinate of a point for user input based on the motion speed of the object included in the motion of the object; And
And processing the user input based on the amount of change in the relative coordinates.

delete