KR101349672B1 - Fast detection method of image feature and apparatus supporting the same - Google Patents

Fast detection method of image feature and apparatus supporting the same Download PDF

Info

Publication number
KR101349672B1
KR101349672B1 KR1020120154376A KR20120154376A KR101349672B1 KR 101349672 B1 KR101349672 B1 KR 101349672B1 KR 1020120154376 A KR1020120154376 A KR 1020120154376A KR 20120154376 A KR20120154376 A KR 20120154376A KR 101349672 B1 KR101349672 B1 KR 101349672B1
Authority
KR
South Korea
Prior art keywords
image
feature extraction
sliding window
gradient
calculator
Prior art date
Application number
KR1020120154376A
Other languages
Korean (ko)
Inventor
최종찬
민경원
손행선
이선영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120154376A priority Critical patent/KR101349672B1/en
Application granted granted Critical
Publication of KR101349672B1 publication Critical patent/KR101349672B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4642Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • HELECTRICITY
    • H03BASIC ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3086Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing a sliding window, e.g. LZ77

Abstract

The present invention relates to a method for extracting video properties in high speeds. The method for extracting the video properties in high speeds includes a step of obtaining information about a size of a sliding window and a step distance; a step of detecting a duplicate video from the data of which the video is analyzed based on the information about the sliding window; and a step of analyzing only the data of a newly designated area except for the duplicate video among a newly analyzed video data which the sliding window is designated based on the detected duplicate video. [Reference numerals] (110) Communication interface unit; (120) Input unit; (140) Display unit; (150) Storage unit; (160) Control unit; (170) Camera

Description

영상 특징 고속 추출 방법 및 이를 지원하는 장치{Fast Detection Method of Image Feature And Apparatus supporting the same} High-speed image feature extraction method and apparatus for supporting them {Fast Detection Method of Image Feature And Apparatus supporting the same}

본 발명은 영상 특징 추출에 관한 것으로, 특히 슬라이딩 윈도우 기반으로 특징을 추출하되 중복성 제외를 지원하여 고속의 영상 특징 추출이 가능한 영상 특징 고속 추출 방법 및 이를 지원하는 장치에 관한 것이다. The present invention relates to apparatus, and more particularly, but extract the image feature characterized by a sliding window-based supports excluding redundancy capable of high-speed image feature extraction of the high-speed extraction process related to the extracted image feature and support this.

일반적으로 머신 비전(machine vision) 및 객체인식(object recognition)에서 패턴인식을 위해 사용되는 방법은 패턴에 대한 특징을 설정하고 이 특징에 관계된 정보만을 추출하는 것이다. In general, machine vision (machine vision) and an object recognition method that is used for pattern recognition in (recognition object) is to set the characteristics of the pattern, and extracts only the information related to the feature. 이렇게 추출된 특징들은 패턴인식 및 분류를 위해 Adaboost, SVM(support vector machine) 등의 분류기에 인가되어 학습된 기준 값(threshold value)에 따라 분류된다. The thus extracted features are classified according to the pattern for the recognition and classification is applied to a sorter, such as Adaboost, SVM (support vector machine) based on the learned value (threshold value).

영상으로부터 객체 인식은 일반적으로 machine learning 기술을 이용한다. Object recognition from images typically uses machine learning techniques. 영상 내에는 다양한 특징(feature)들이 존재하는데 이를 이용하여 찾고자 하는 객체를 구분할 수 있다. In the image it may be identified to find the object by using this, to present a variety of features (feature). 이때 사용되는 특징은 객체의 윤곽, 색깔, 자세, 위치 등 다양 요소들을 포함한다. The features used are comprise various elements, such as the outline of the object, color, orientation, position. 한편 특정 영상에 상술한 특징들이 많을수록 객체 인식을 수행하는데 많은 어려움이 따른다. On the other hand follows a lot more difficult to have the above characteristics to perform the specific image object recognition. 예컨대 보행자 인식의 경우를 예로 들면, 보행자들의 이동에 따라 다양하게 바뀌는 옷, 조명의 조건, 보는 사람의 관점, 그리고 사람의 다양하고 광범위한 자세와 크기 등은 객체 인식을 어렵게 만드는 요소들이 될 수 있다. For example, for the case of the pedestrian recognition example, clothes changes variously in accordance with the movement of pedestrians, the conditions of light, the viewer's point of view, and a wide variety of posture of the person and the size and the like can be the elements that make it difficult for object recognition. 이러한 어려움을 극복하고 더 좋은 성능을 얻기 위해 슬라이딩 윈도우(sliding window) 기반의 방법들이 제안되었다. Overcome these difficulties, a sliding window (sliding window) based methods to achieve better performance have been proposed.

그러나 슬라이딩 윈도우 기법의 경우 영상의 중첩되는 부분이 많아 많은 양의 중복 연산이 발생하게 된다. However, the sliding window method is that the overlapping part of the image is the large amount of redundancy operation occurs increases. 이에 따라 슬라이딩 윈도우 기법을 기반으로 영상 분석 및 인식을 수행하게 되면 데이터 처리 용량이 기하급수적으로 증가하기 때문에 실시간 영상 등에 사용할 수 없을 뿐만 아니라 영상 처리의 부하 및 그에 따른 높은 전력 소모 등의 문제를 안고 있다. Accordingly, face the problem of high power consumption of the image processing, as well as not be used for real-time video load and hence due When performing the image analysis and recognition is based on a sliding window scheme to the data processing capacity increases exponentially .

따라서 본 발명의 목적은 슬라이딩 윈도우 마다 반복 계산을 통해 특징을 추출하지 않고 이전에 계산한 특징 값을 재활용하여 보다 빠른 계산을 수행하며, 슬라이딩 윈도우 기반의 가로 또는 세로 방향의 특징 추출 연산에 적용 가능한 영상 특징 고속 추출 방법 및 이를 지원하는 장치를 제공함에 있다. It is therefore an object of the present invention performs a more rapid calculation to recycle a characteristic value previously calculated, without extracting a feature through the iterative calculation for each sliding window, applying the feature extraction operation of the sliding window based on the horizontal or vertical direction of a possible image It has the characteristic high speed extracting method and apparatus for supporting it to provide.

본 발명은 슬라이딩 윈도우 기반의 특징 추출에서 슬라이딩 윈도우 사이의 중복 연산을 제거하여 실시간 고속 처리가 가능하고 저전력 동작을 요구하는 어플리케이션에 적용 가능한 영상 특징 고속 추출 방법 및 이를 지원하는 장치를 제공함에 있다. The present invention is to provide a device for real-time high-speed processing is possible, and image feature can be applied to applications requiring high-speed low-power operation extraction and support them by removing redundant operations between the sliding window in the feature extraction of a sliding window basis.

상술한 바와 같은 목적을 달성하기 위한 본 발명은 영상 데이터를 라인별로 저장하는 라인 버퍼, 라인 버퍼에 저장된 영상 데이터들의 그레이디언트 값을 산출하기 위한 그레디언트 계산기, 그레디언트 계산기에 의해 계산된 그레디언트 크기 값 및 각도 값을 저장하는 크기 및 빈 버퍼, 크기 및 빈 버퍼에 저장된 그레디언트 크기 값 및 각도 값들을 블록 단위로 구분하고 이의 가중치를 계산하는 가중치 계산기, 영상 데이터의 셀 간 간섭 제거를 위해 인터폴레이션 수행을 지원하는 인터폴레이션 계산기, 인터폴레이션 된 데이터를 이용하여 블록 단위 히스토그램을 산출하는 히스토그램 산출부, 산출된 히스토그램을 정규화하여 HOG 특징을 추출하는 정규화 계산기, 정규화 계산기의 출력으로부터 슬라이딩 윈도우 적용에 따른 중복 영역을 검출하는 중 The present invention for achieving the object as described above is the gradient calculated by the gradient calculator, a gradient calculator for calculating a line buffer, the gradient values ​​of the image data stored in the line buffer for storing image data for each line size value, and to distinguish between the gradient magnitude values ​​and angle values ​​stored in the size and empty buffer, the size and the empty buffer which stores the angular values ​​on a block-by-block basis and supports the interpolation performed for interference cancellation between cells in the weight calculator, the image data for computing a counter-weight of detecting the overlapping region according to a sliding window applied from the interpolation calculator, a histogram calculation unit normalization, the histogram calculation unit for calculating a block histogram by using the interpolation data by normalizing converter for extracting the HOG features, the output of the normalizing converter 복 방지 특징 추출 회로, 추출된 중복 장지 특징들을 이용하여 상술한 구성들의 중복 영역에 대한 연산을 방지하도록 제어하는 특징 추출 중복 방지 제어기를 포함하는 것을 특징으로 하는 영상 특징 고속 추출을 지원하는 단말 장치의 구성을 개시한다. Clothing protection feature extraction circuit, using the extracted duplication middle finger feature comprises a feature extraction de-duplication controller that controls to prevent operation on the overlapping region of the above-described configuration image feature of the terminal device that supports high-speed extraction It discloses the configuration.

상기 중복 방지 특징 추출 회로는 슬라이딩 윈도우의 크기 및 슬라이딩 윈도우의 스탭 이동 거리를 기반으로 분석될 영상 데이터의 중복 영역을 검출한다. The de-duplication feature extraction circuit detects the overlapping area of ​​the image data to be analyzed based on the moving distance of the staff size, and a sliding window of the sliding window.

상기 특징 추출 중복 방지 제어기는 상기 검출된 중복 영역에 대한 정보를 기반으로 상기 라인 버퍼에 저장된 영상 데이터들 중 중복되는 데이터들에 대해 구분하도록 제어하며, 상기 슬라이딩 윈도우에 의해 지정된 윈도우에서 중복 영역을 제외한 영역에 대하여 그레디언트 계산을 수행하도록 제어할 수 있다. The feature extraction de-duplication controller except the overlapping area in the specified window by the sliding window, and controlling to distinguish for the redundant data of the image data stored in the line buffer, based on the information on the overlapping region the detected to the area it can be controlled to perform the gradient calculation.

또한 상기 특징 추출 중복 방지 제어기는 검출된 중복 영역과 슬라이딩 윈도우에 의해 새로 지정된 영역의 경계 값과 새로 지정된 영역의 가중치 계산, 인터폴레이션 계산, 히스토그램 계산을 수행하도록 제어한다. In addition, the feature extraction de-duplication controller controls to perform the weight calculation, the interpolation calculation of the boundary value and the newly specified region in the newly specified region by the detected overlapping area and the sliding window, the histogram calculation.

상기 크기 및 빈 버퍼는 상기 그레디언트 계산 값들을 라인 단위로 저장하고, 상기 가중치 계산기에 블록 단위로 제공한다. The size and the empty buffer is provided on a block-by-block basis to the weight calculator stores the calculated gradient value in a line, and.

본 발명은 또한, 슬라이딩 윈도우의 크기 및 스탭 거리 정보를 획득하는 단계, 상기 슬라이딩 윈도우 정보를 기반으로 영상 분석된 데이터에서 중복 영상을 검출하는 단계, 상기 검출된 중복 영상을 기반으로 슬라이딩 윈도우가 지정한 새로 분석된 영상 데이터 중 중복 영상 부분을 제외하고 새로 지정된 영역의 데이터만을 분석하는 분석 단계를 포함하는 것을 특징으로 하는 영상 특징 고속 추출 방법의 구성을 개시한다. The present invention also provides a new method comprising: obtaining a size and staff distance information in the sliding window, the sliding step of detecting a duplicate image in the image analysis data based on the window information, a sliding window based on said detected redundant image specified except for overlapping the image portion of the image data analysis and discloses the configuration of a high-speed image feature extraction method comprising the steps of analyzing analysis data of only the newly assigned area.

상기 분석 단계는 상기 새로 지정된 영역의 라인 단위 영상 데이터들에 대한 그레디언트 값들을 버퍼에 저장하는 단계, 상기 버퍼에 저장된 그레디언트 값들을 블록 단위로 연산 처리 하는 단계를 포함한다. The analysis step comprises a step of calculating the gradient value stored in the processing step, the buffer to store the buffer in the gradient values ​​for the newly specified region line-by-line image data in a block-by-block basis.

본 발명의 실시 예에 따른 슬라이딩 윈도우 기반의 특징 추출 방법 및 이를 지원하는 장치에 따르면, 본 발명은 패턴 인식에서 연산량이 많은 슬라이딩 윈도우 기반 특징 추출에서 고속, 실시간 처리가 가능하도록 지원하며, 슬라이딩 윈도우 기반의 특징 추출 연산에서 가로 방향과 세로 방향 모두에 적용 가능하도록 지원하고 배터리를 기반으로 하는 어플리케이션에서 저전력 구조에 적용 가능하도록 지원한다. According to the apparatus for extraction, and support this feature of the sliding window based according to an embodiment of the present invention, the present invention is supported to enable high-speed, real-time processing in a number of sliding window based on the feature extraction calculation amount in pattern recognition, the sliding window based supported in the feature extraction operation to be applied to both the horizontal direction and the vertical direction and supported so as to be applicable to low-power structure, in applications that are based on the battery.

도 1은 본 발명의 실시 예에 따른 영상 특징 고속 추출을 지원하는 단말 장치의 구성을 나타낸 도면. 1 is a diagram showing the configuration of a terminal device supporting the high-speed image feature extraction in the embodiment;
도 2는 본 발명의 영상 특징 고속 추출에 적용되는 영상 데이터 분할을 설명하기 위한 도면. 2 is a view for explaining the image data divided to be applied to high-speed image feature extraction of the present invention.
도 3은 본 발명의 실시 예에 따른 단말 장치 구성 중 제어부 구성을 보다 상세히 나타낸 도면. Figure 3 is a diagram showing in more detail the control configuration of the terminal apparatus configuration according to an embodiment of the invention.
도 4는 본 발명의 영상 분석에서 중복 방지 영역 검출을 설명하기 위한 도면. 4 is a view for explaining the de-duplication domain detected by the image analysis of the present invention.
도 5는 본 발명의 영상 특징 고속 추출 방법을 설명하기 위한 도면. 5 is a view for explaining high-speed image feature extraction method of the present invention.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. With reference to the accompanying drawings a preferred embodiment according to the present invention will be described in detail. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다. In the following description and explanation, only parts necessary for understanding the operations according to an embodiment of the invention, description of the other part it is to be noted that it will be omitted so as ridges heutteu the subject matter of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. The terms or words used in the specification and claims are described below in general and not be construed as limited to the dictionary meanings are not, the inventor accordingly the concept of a term to describe his own invention in the best way that on the basis of the ability to define principle interpreted based on the meanings and concepts corresponding to technical aspects of the present invention. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Thus it embodiments the configuration shown in the examples and figures disclosed herein is merely nothing but a preferable embodiment of the present invention, in not intended to limit the scope of the present invention, a variety of equivalents that can be made thereto according to the present application point it should be understood that water and modifications could be.

이하에서 설명하는 본 발명은 패턴 인식에서 특징 추출을 위해 사용 가능한 슬라이딩 윈도우 기반 특징 추출 방법으로 고속 및 저전력 특징 추출이 가능한 방법 및 장치에 대한 것이다. The present invention described below is directed to a method and apparatus for the high speed and low power features extractable in a sliding window-based feature extraction method is available for feature extraction in pattern recognition.

도 1은 본 발명의 실시 예에 따른 영상 특징 고속 추출을 지원하는 단말 장치(100)의 구성을 개략적으로 나타낸 도면이다. 1 is a view schematically showing the construction of the terminal device 100 that supports the high-speed image feature extraction in the embodiment;

도 1을 참조하면, 본 발명의 영상 특징 고속 추출을 지원하는 단말 장치(100)는 입력부(120), 통신 인터페이스부(110), 카메라(170), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다. 1, a terminal device 100 that supports the image feature high-speed extraction of the present invention, the input unit 120, a communication interface 110, a camera 170, a display unit 140, storage unit 150, and It may include the configuration of the controller 160.

이와 같은 구성의 단말 장치(100)는 통신 인터페이스부(110) 또는 카메라(170)를 통하여 전달된 영상에 대한 영상 분석을 수행하되 슬라이딩 윈도우 기법을 이용하여 영상 특징을 추출한다. The terminal device 100 of such configuration, but performing the image analysis of the images transmitted through the communication interface 110 or the camera 170, and extracts the image feature using a sliding window technique. 이때 본 발명의 단말 장치(100)는 슬라이딩 윈도우가 적용되는 각 블록들의 중첩 영역을 확인하고, 중첩 영역들의 중복 계산을 제외시키도록 함으로써 슬라이딩 윈도우 기법 적용 시 실제 영상들에 대한 특징 분석만을 수행하도록 지원한다. The support terminal apparatus 100 of the present invention determine the overlapping areas of each block serving as a sliding window applied, and by so as to exclude the redundant calculation of the overlap region so as to perform only the characteristic analysis of the actual image when applying the sliding window technique do. 이에 따라 본 발명의 단말 장치(100)는 중복 계산이 제거된 영상 특징 분석을 수행하게 됨으로 보다 신속한 영상 특징 추출이 가능하며, 그에 따른 연산 부하량을 극적으로 저감할 수 있다. The terminal device 100 of the present invention are possible in accordance with the image feature extraction doemeuro faster to perform a redundant calculation is removed, image feature analysis, and to reduce the operational load consequent dramatically. 이러한 특징은 결과적으로 단말 장치(100)의 전원 절약 기능도 획득할 수 있도록 지원한다. This characteristic consequently enables to obtain a power saving function of a terminal device 100. The

통신 인터페이스부(110)는 외부 타 단말 장치로가 수집한 영상을 유무선 통신 방식 중 적어도 하나의 통신 방식을 기반으로 수신하는 구성이다. Communication interface 110 is configured for receiving at least one communication system based on the one of the wired and wireless communication system the image pickup to the outside the other station. 이를 위하여 통신 인터페이스부(110)는 유선 통신 방식 지원의 커넥터와 무선 통신 방식 지원의 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. To this end, the communication interface 110 may include at least one of the wireless communication module of the wire communication system supporting the connector and the radio communication system supports. 통신 인터페이스부(110)는 수신된 영상을 프레임 단위로 제어부(160)에 전달하거나 제어부(160)에 인접 배치된 프레임 버퍼에 영상을 저장하도록 전달한다. The communication interface unit 110 and transfers the image to store the forwarded to the controller 160 to the received video on a frame-by-frame basis or disposed adjacent to the controller 160, the frame buffer.

카메라(170)는 영상을 촬상하고, 촬상된 영상을 제어부(160)에 제공하는 장치이다. Camera 170 is a device that captures an image, and provides the captured image to the control section 160. The 이러한 카메라(170)는 입력부(120)에서 생성되는 입력 신호에 따라 영상 촬상을 수행하며, 입력 신호의 종류에 따라 촬상 조건을 조정할 수 있다. The camera 170 performs an image pick-up image in accordance with an input signal generated by the input unit 120, it is possible to adjust the image capturing conditions depending on the type of input signal. 카메라(170)가 수집하는 영상은 정지 영상과 동영상 중 어느 하나를 포함한다. Image to the camera 170. The collection includes one of still images and video. 그리고 카메라(170)가 영상 고속 특징 추출을 위해 제공되는 영상은 프리뷰 영상 및 촬영 요청된 저장 영상 중 적어도 하나를 포함할 수 있다. And a video camera 170 is provided for high-speed image feature extraction may include at least one of a preview image and the photographed image storage request.

입력부(120)는 영상 특징 고속 추출을 지원하는 단말 장치(100)의 다양한 입력 신호 생성을 지원하는 구성이다. Input unit 120 is configured to support a variety of input signals generated in the terminal device 100 that supports the high-speed image feature extraction. 이러한 입력부(120)는 키 버튼이나 표시부(140)에 출력되는 가상 키패드 등 다양한 형태로 구현될 수 있다. The input unit 120 may be implemented in various forms such as a virtual keypad is outputted to the key buttons and display unit 140. 입력부(120)는 카메라(170) 제어를 위한 입력 신호를 생성한다. Input unit 120 generates input signals for the camera 170 is controlled. 예컨대 입력부(120)는 카메라(170) 활성화를 위한 입력 신호, 활성화된 카메라(170)를 이용하여 특정 피사체에 대한 영상을 획득하도록 요청하는 입력 신호, 획득된 영상을 저장하도록 요청하는 입력 신호 등을 사용자 제어에 따라 생성할 수 있다. For example, input unit 120 is an input signal such as a request to store the input signal, the acquired image with a request to acquire the image of the particular subject using the camera 170, input signals for the activation, the activated camera 170 It can be generated according to the user control. 생성된 입력 신호는 제어부(160)에 전달되어 해당 입력 신호에 따른 기능 수행을 지원한다. The input signal generated is transmitted to the controller 160 supports the function performed in accordance with the input signal. 한편 입력부(120)는 통신 인터페이스부(110)를 통하여 특정 영상을 수신하도록 요청하는 입력 신호를 생성할 수도 있다. The input unit 120 may generate an input signal with a request to receive a particular video by way of the communication interface 110.

표시부(140)는 단말 장치(100) 운용에 필요한 다양한 화면을 출력하는 구성이다. Display section 140 is configured to output various screens necessary for operating the terminal device 100. 예컨대 표시부(140)는 단말 장치(100) 운용 과정에서 기능 수행 전 대기 화면, 통신 인터페이스부(110)나 카메라(170) 기능과 관련된 메뉴를 제공하는 메뉴 화면, 특정 메뉴 항목 선택 시 선택된 해당 메뉴 실행과 관련된 화면 등을 출력한다. For example, the display 140 is the terminal device 100 to perform functions in the operational process, before the idle screen, menu screen, and executing the selected the menu When selecting a specific menu item providing the communication interface 110 and the camera 170, the menu related to the function and it outputs a screen related to such. 특히 표시부(140)는 카메라(170)가 피사체에 대한 영상을 획득하는 경우 프리뷰 영상을 표시할 수 있으며, 영상 저장을 위한 셔터 입력에 따라 프리뷰 영상 중 특정 정지 영상 또는 동영상 촬영을 지원하는 화면을 제공할 수 있다. In particular, the display 140 may provide a screen to support a particular still image or video of the camera 170, the case of obtaining an image of the subject may display a preview image, the preview image according to a shutter input for image storage can do. 그리고 표시부(140)는 영상 특징이 추출된 화면을 제공할 수 있다. The display 140 may provide a screen, the image features are extracted.

한편 HOG(Histogram of Orientation Gradient) 특징 추출은 도 2에 도시된 바와 같은 슬라이딩 윈도우 단위로 처리된다. The HOG (Orientation Histogram of Gradient) feature extraction is processed by the sliding window unit as shown in Fig. 보행자의 경우, 32x64, 48x96, 64x128 화소 등의 직사각형 크기의 윈도우로 처리한다. For the pedestrian, it is treated with a rectangular window of size, such as 32x64, 48x96, 64x128 pixels. 차량의 경우는 일반적으로 32x32, 48x48, 64x64 화소 등의 정사각형 크기의 윈도우 단위로 처리한다. If the vehicle is generally treated with a window unit of square sizes, such as 32x32, 48x48, 64x64 pixels. 슬라이딩 윈도우는 셀과 블록 단위로 구성되는데, 하나의 블록은 2x2 또는 3x3개 셀로 구성된다. Sliding window consists of a cell block, a block is composed of 2x2 or 3x3 dog cells. 셀은 슬라이딩 윈도우 크기에 따라 4x4, 6x6, 8x8 화소 단위로 구성된다. Cell is composed of a 4x4, 6x6, 8x8 pixel unit in accordance with a sliding window size. 슬라이딩 윈도우 기반의 객체 인식은 윈도우가 셀 크기 또는 지정한 화소 크기로 가로 또는 세로 방향으로 이동하여 검출하고자 하는 객체를 빠뜨리지 않고 인식할 수 있도록 한다. An object recognition of the sliding window based is to be recognized without missing the object to be detected moves in the horizontal or vertical direction to the pixel window size, the cell size or specified.

저장부(150)는 단말 장치(100) 운용에 필요한 다양한 프로그램과 프로그램 수행에 따른 데이터를 저장하는 구성이다. Storage unit 150 is configured to store data according to various programs and programs necessary to perform the operation terminal 100. 예컨대 저장부(150)는 카메라(170) 운용을 위한 카메라 운용 프로그램을 저장할 수 있으며, 카메라(170) 운용에 따라 수집되는 영상들을 저장할 수 있다. For example, storage unit 150 may store the camera operation program for the camera 170 is operating, it is possible to store images to be acquired according to a camera 170 operation. 특히 저장부(150)는 카메라(170)가 수집하는 프리뷰 영상의 버퍼링을 지원하는 버퍼 역할을 수행할 수 있으며, 저장 요청 발생 시 획득된 영상을 제어부(160)의 인코딩 수행 후 저장할 수 있다. In particular, the storage unit 150 may be stored after performing the camera 170 is encoded in the preview image to perform the buffer serves to support the buffer, and the image obtained when saving request generation controller 160 of the collection. 또한 저장부(150)는 본 발명의 영상 특징 고속 추출 과정에서 중복 계산을 제외시키기 위해 제어부(160) 요청에 따라 검출된 중복 값을 일시적으로 저장할 수 있다. In addition, the storage unit 150 may temporarily store a duplicate value detected according to the control unit 160 requests to exclude the redundant calculation in high-speed image feature extraction process of the present invention.

제어부(160)는 본 발명의 단말 장치(100) 운용에 필요한 다양한 제어 신호의 생성과 전달, 데이터의 처리와 전달 및 저장 제어를 지원하는 구성이다. The controller 160 is configured to support the processing and transmission, and the storage control of the generation and transmission of various control signals required for operating the terminal device 100 of the present invention, data. 이러한 제어부(160)는 도 3에 도시된 바와 같은 구성을 기반으로 본 발명의 영상 특징 고속 추출을 지원한다. The controller 160 supports a high-speed image feature extraction of the present invention based on the configuration as shown in Fig.

도 3은 본 발명의 단말 장치(100) 구성 중 영상 특징 고속 추출을 지원하는 제어부(160) 구성을 보다 상세히 나타낸 도면이다. 3 is a view showing in detail than the terminal device 100 the image characteristic control unit 160 that supports the high-speed extraction of the configuration block diagram of the present invention.

도 3을 참조하면, 본 발명의 제어부(160)는 라인 버퍼(161), 그레디언트 계산기(162), 크기 및 빈 버퍼(163), 가중치 계산기(164), 인터폴레이션 계산기(165), 히스토그램 계산기(166), 정규화 계산기(167), 중복 방지 특징 추출 회로(168) 및 특징 추출 중복 방지 제어기(169)를 포함한다. 3, the control unit 160 of the present invention includes a line buffer 161, the gradient calculator 162, the size and empty the buffer 163, the weight calculator 164, the interpolation calculator 165, the histogram calculator (166 ), and a normalized converter 167, de-duplication feature extraction circuit 168 and the feature extraction de-duplication control (169).

상술한 구성을 가지는 본 발명의 영상 특징 고속 추출을 지원하는 제어부(160)는 HOG 특징을 추출하는 과정에서 중복 계산을 방지하도록 지원함에 따라 보다 신속한 영상 특징 추출을 지원할 수 있다. To support high-speed image feature extraction of the present invention having the above configuration controller 160 may support a more rapid image feature extraction in accordance with the supports so as to avoid double counting in the process of extracting the HOG features. 특히 본 발명의 제어부(160)는 정규화된 영상으로부터 중복 계산될 영상 특징들을 추출하고, 이를 영상 특징 전 구간에 적용함으로써 슬라이딩 윈도우 이동에 따라 중첩되는 구간의 영상 특징을 위한 계산을 방지한다. In particular, the controller 160 of the present invention extracts the image feature to be calculated from the overlapping normalized image, to prevent calculations for the image feature of the segment are overlapped in accordance with the sliding window moves by applying them to the image feature on all sectors. 결국 본 발명의 제어부(160)는 슬라이딩 윈도우 이동 시 이전에 계산되지 않은 새로운 영상 영역에 대한 특징 값 추출만을 수행하게 됨으로 비약적으로 빠른 연산 처리 결과를 제공할 수 있다. After the controller 160 of the present invention is performed only doemeuro extracted feature value for the new image region that is not previously calculated when moving the sliding window can provide a dramatically rapid arithmetic processing result.

라인 버퍼(161)는 영상 데이터를 라인 단위로 저장하는 구성이다. A line buffer (161) is configured to store the image data in a line unit. 이러한 라인 버퍼(161)에 저장되는 영상 데이터는 카메라(170)로부터 직접 받거나 프레임 버퍼로부터 수신한다. Image data stored in these line buffer 161 receives receive directly from the camera 170 from the frame buffer. 이때 영상 데이터는 데이터 전송의 효율을 위해 라인 단위로 가져다가 라인 버퍼(161)에 저장된다. The image data is took in a line unit to the efficiency of data transfer is stored in the line buffer 161.

그레디언트 계산기(162)는 라인 버퍼(161)에 저장된 영상 데이터에 대한 그레이디언트 값들을 계산하는 구성이다. The gradient calculator 162 is configured to compute the gradient values ​​for the image data stored in the line buffer 161. 이를 위하여 그레디언트 계산기(162)는 차분 값 계산기(61), 그레디언트 크기 계산기(63), 그레디언트 각도 계산기(65)를 포함할 수 있다. To this end, the gradient calculator 162 may include a difference value calculator 61, the gradient magnitude calculator 63, a gradient angle calculator (65). 차분 값 계산기(61)는 영상 데이터의 차분 값을 계산하고, 계산된 차분 값을 그레디언트 크기 계산기(63) 및 그레디언트 각도 계산기(65)에 제공한다. Difference value calculator 61 calculates the difference value of the image data, and provides to the gradient of the calculated difference value size calculator 63 and the gradient angle calculator (65). 그러면 그레디언트 크기 계산기(63)는 차분 값 계산기(61)가 제공한 결과 값을 기반으로 그레디언트 크기 값 산출을 수행한다. The gradient magnitude calculator 63 performs a calculation based on the gradient magnitude values ​​with the results provided by the difference value calculator 61. 그레디언트 각도 계산기(65)는 차분 값 계산기()가 제공한 결과 값을 기반으로 그레디언트 각도 값 산출을 수행한다. The gradient angle calculator 65 performs a calculation based on the gradient angle value of the result provided by the difference value calculator (). 그레디언트 크기 계산기(63) 및 그레디언트 각도 계산기(65)가 산출한 그레디언트 크기 값과 그레디언트 각도 값은 크기 및 빈 버퍼(163)에 저장된다. Gradient size calculator 63 and the gradient angle calculator 65 is a gradient magnitude value and the gradient angle calculated value is stored in the buffer size, and blank (163). 이때 그레디언트 크기 값과 그레디언트 각도 값은 각 영상 데이터의 블록 단위로 크기 및 빈 버퍼(163)에 저장될 수 있다. The gradient magnitude values ​​and the gradient angle value may be stored in the size and the empty buffer 163 in units of blocks of each video data. 차분 값 계산기()가 계산한 특정 픽셀들의 차분 값 dx, dy는 다음 수학식 1과 같이 산출될 수 있으며, 그레디언트 크기(gradient magnitude) 및 그레디언트 각도(gradient angle) 값은 다음 수학식 2와 같이 표현될 수 있다. Difference value calculator () and the differential value of the calculated given pixel dx, dy may be calculated as shown in Equation 1, the gradient magnitudes (gradient magnitude) and the value of the gradient angle (gradient angle) is expressed as the following equation (2) It can be.

[수학식 1] Equation 1

Figure 112012108257224-pat00001

[수학식 2] Equation (2)

Figure 112012108257224-pat00002

크기 및 빈 버퍼(163)는 그레디언트 계산기(162)에서 계산된 그레디언트 크기 값 및 각도 값을 저장한다. The size and empty the buffer 163 stores the gradient magnitude value and the angle value calculated by the gradient calculator 162. 이때 크기 빈 버퍼()에 저장하는 데이터는 검색 영역에 대해 라인 단위로 저장한다. The size of data to be stored in the empty buffer () stores a line-by-line basis for the search area.

가중치 계산기(164)는 각도별 히스토그램 계산을 위해 한 블록 내의 영역별 가중치를 계산하는 구성이다. Weight calculator 164 is configured to calculate the area-specific weight in one block to the angle-specific histogram calculation. 이때 각도별 히스토그램 계산은 블록 단위 연산을 수행하기 때문에 가중치 계산기(164)는 크기 및 빈 버퍼(163)에 저장된 데이터를 블록 단위로 가져오고, 블록 단위 가중치 계산을 수행할 수 있다. The angle by the histogram calculation may retrieve data stored in the weight value calculator 164 is empty and buffer size (163), because it performs the arithmetic block in units of blocks, performing block-by-block basis weight calculation. 가중치 계산기(164)가 계산한 블록 단위 각도별 히스토그램은 인터폴레이션 계산기(165)에 전달된다. Weight calculator block unit angle by a histogram 164 is computed is transmitted to the interpolation calculator (165).

인터폴레이션 계산기(165)는 가중치 계산기(164)에 의해 데이터의 셀 간의 간섭을 줄이기 위해 인터폴레이션을 수행하는 구성이다. Interpolation calculator 165 is configured to perform interpolation in order to reduce interference between the data cell by the weight calculator 164. 인터폴레이션 계산기(165)가 계산한 결과 값은 히스토그램 계산기(166)에 제공된다. Result the interpolation calculator 165, the calculation is supplied to the histogram calculator 166.

히스토그램 계산기(166)는 인터폴레이션 계산기(165)로부터 전달받은 인터폴레이션 된 데이터들을 이용하여 사전 정의된 일정 개수의 블록들로 구분된 전체 영상 중 특정 블록에 대한 히스토그램을 생성한다. The histogram calculator 166 generates a histogram for a specific block of all separated into blocks of a certain number of pre-defined interpolation using the data received from the interpolation calculator (165) image. 히스토그램 계산기(166)가 계산한 히스토그램은 정규화 계산기(167)에 제공된다. Histogram A histogram calculator 166 is calculated is provided to the normalization calculator 167.

정규화 계산기(167)는 히스토그램 값들이 강건한(robust) 특성을 갖도록 하기 위해 정규화 과정을 수행한다. Normalizing converter 167 performs a normalization process for the histogram values ​​to have a strong (robust) properties. 정규화 계산기(167)를 통하여 산출된 결과는 HOG 특징 값들을 가진다. Results calculated via the normalized calculator 167 has the HOG feature values.

중복 방지 특징 추출 회로(168)는 정규화 계산기(167)를 통해 출력된 특징들로부터 중복 방지 특징을 추출한다. Prevent redundant feature extraction circuit 168 extracts the duplication preventing characteristics from the characteristic output from the normalizing converter 167. 이를 위하여 중복 방지 특징 추출 회로(168)는 사전 정의된 슬라이딩 윈도우의 크기 정보와 이동 거리 정보를 획득하고, 이를 기반으로 현재 정규화 계산기(167)를 통해 출력된 영상 데이터의 중복 영역 정보를 검출한다. For this purpose, anti-redundant feature extraction circuit 168 acquires the size information and travel distance information from the sliding window predefined and detects the overlapping area information of the image data output based on it through the current normalized calculator 167. 중복 방지 특징 추출 회로(168)가 검출한 중복 영역 정보는 특징 추출 중복 방지 제어기(169)에 제공된다. De-duplication feature extraction circuit overlapping region information 168 is detected is provided to the feature extraction de-duplication control (169).

특징 추출 중복 방지 제어기(169)는 HOG 특징 검출에 소요되는 모든 구성들 중 적어도 하나에 대하여 중복 영역에 대한 연산을 수행하지 않도록 지원한다. Feature extraction de-duplication control (169) is supported so as not to operate on the overlapping region with respect to at least one of all of the configuration needed for HOG feature detection. 이를 위하여 특징 추출 중복 방지 제어기(169)는 중복 방지 특징 추출 회로(168)에 의해 검출된 중복 영역에 대한 정보를 기반으로 각 구성들 중 적어도 하나에 중복 영역 마킹과, 연산 방지를 제어할 수 있다. To this end, the feature extraction de-duplication controller 169 may control the de-duplication feature extracting circuit 168, the overlapping region marking on at least one of the respective constituent based on the information about the detected overlapping area by the, operation prevention . 예컨대 특징 추출 중복 방지 제어기(169)는 영상이 라인 단위로 저장된 라인 버퍼(161)의 영상 데이터들에 대하여 중복 영역을 확인하고, 중복 영역들에 대한 색인 값 부여를 지원한다. For example, feature extraction de-duplication controller 169 checks the overlapping region with respect to the image data of the line buffer 161, the image is stored in a line and supports the given index values ​​for the overlap region. 그리고 그레디언트 계산기(162)가 라인 버퍼(161)에 저장된 영상 데이터들에 대한 연산을 수행하는 과정에서 특징 추출 중복 방지 제어기(169)는 특정 영상 데이터들의 종복 연산을 수행하지 않도록 방지할 수 있다. And a gradient calculator 162, a line buffer in the process of performing an operation on the image data characteristic extraction de-duplication controller 169 are stored in 161 may be prevented so as not to perform the operation of corresponding image data Squires. 즉 특징 추출 중복 방지 제어기(169)는 사전 정의된 색인 값이 포함된 영상 데이터들에 대하여 차분 값, 그레디언트 크기 값, 그레디언트 각도 값 산출을 수행하지 않도록 그레디언트 계산기(162)를 제어할 수 있다. Namely it features extraction de-duplication controller 169 may control not to perform the differential value, the gradient magnitude value, the gradient angle value calculated with respect to the image data containing the pre-defined gradient-index value calculator 162.

그레디언트 계산기(162)를 통해 출력된 정보는 크기 및 빈 버퍼(163)에 저장되는데, 이때 특징 추출 중복 방지 제어기(169)는 검출된 중복 방지 영역을 크기 및 빈 버퍼(163)에 기입하여 가중치 계산기(164)가 크기 및 빈 버퍼(163)에 라인별로 저장된 데이터를 블록별로 가져갈 수 있도록 지원한다. The output information from the gradient converter 162, is stored on a size and empty the buffer 163, where feature extraction duplication prevention controller 169 is a weight calculator to fill in the prevention detected overlapping area to the size and empty the buffer 163 164 is supported to bring each block size and the stored data on a line-by-line basis in the empty buffer 163. 이때 특징 추출 중복 방지 제어기(169)는 가중치 계산기(164)의 블록별 가중치 계산 과정에서 이전 영상 데이터에서 검출된 중복 영역들 중 사전 정의된 일정 크기의 경계 값을 제외한 중복 영역들에 대한 가중치 계산을 방지하도록 제어할 수 있다. The feature extraction duplication prevention controller 169 is a weight calculation for the overlapping region except for the boundary values ​​of the dictionary of the overlapping area is detected in the previous image data in the block by the weight calculation process of the weight calculator 164 defines a predetermined size It can be controlled to prevent. 가중치 계산기(164)가 가중치 계산된 영상 데이터를 인터폴레이션 계산기(165)에 제공되면 특징 추출 중복 방지 제어기(169) 제어에 따라 인터폴레이션 계산기(165)는 이전 영상 데이터와 현재 영상 데이터 간의 경계 영역에 대한 인터폴레이션 및 새로 그레디언트 값이 산출된 영역에 대한 인터폴레이션만을 수행하고, 이를 히스토그램 계산기(166)에 제공하도록 제어한다. Weight calculator 164, a weight calculation of interpolation of the image data when provided to a converter 165, the feature extraction duplication prevention controller 169 according to control interpolation calculator 165 is the interpolation of the boundary region between the previous image data and current image data, and performing interpolation only for the newly calculated gradient values ​​the region, and controls to supply it to the histogram calculator 166.

히스토그램 계산기(166)는 인터폴레이션 계산기(165)가 전달한 값들에 대한 전체 히스토그램을 계산하거나 또는 중복 영역을 제외한 영역에 대한 히스토그램과 앞서 설명한 중복 영역과 새로 지정된 영역의 히스토그램 값만을 산출하고 이를 정규화 계산기(167)에 제공할 수 있다. The histogram calculator 166 is the interpolation calculator 165 to calculate only the redundancy region and the new histogram value of the specified area as described above and the histogram of the area excluding the calculation of the entire histogram, or the overlapping region for passing values, and this normalization calculator (167 ) it can be provided in. 정규화 계산기(167)는 히스토그램 계산기(166)가 제공한 히스토그램에 대한 정규화 과정을 수행하되, 앞서 설명한 바와 같이 특징 추출 중복 방지 제어기(169) 제어에 따라 중복 영역에 해당하는 영역의 정규화 과정은 생략하고, 슬라이딩 윈도우에 의하여 새로 지정된 영역의 영상 데이터에 대한 정규화 과정만을 수행할 수 있다. Normalizing converter 167 is a histogram, but the calculator 166 performs a normalization process on the provided histogram, and normalization of the area corresponding to the overlapping region in accordance with the feature extraction de-duplication controller 169 controls, as described previously is omitted It may perform normalization only for the image data of the newly designated area by the sliding window. 이러한 정규화된 영상 데이터는 중복 방지 특징 추출 회로(168)에 제공된다. The normalized video data is provided to avoid redundant feature extraction circuit 168. 중복 방지 특징 추출 회로(168)는 정규화된 영상 데이터 전체에 대하여 슬라이딩 윈도우의 크기와 이동 거리를 기반으로 새로운 중복 영역을 산출하고, 산출된 중복 영역을 특징 추출 중복 방지 제어기(169)에 제공할 수 있다. Prevent redundant feature extraction circuit 168 calculates the new overlapping region based on the sliding window size and the moving distance with respect to the entirety of the normalized image data and to provide the calculated overlapping area, the feature extraction de-duplication control (169) have. 특징 추출 중복 방지 제어기(169)는 전달된 중복 영역을 기반으로 앞서 설명한 과정에 대하여 새로 전달된 영상 데이터에 적용하여 중복 영역에 대한 연산을 수행하지 않도록 제어할 수 있다. Feature extraction de-duplication controller 169 may be applied to the image data with respect to new transmission described above is based on the transmission process of the overlap region be controlled so as not to operate on the overlapping region.

HOG 특징 추출 방법은 인식 성능을 높여 주지만 연산량이 매우 많기 때문에 처리 속도가 낮아지는 문제점을 가지고 있다. HOG feature extraction method has a problem that the processing speed decreases but increases the recognition performance, because the amount of calculation is very large. 영상에서 객체를 인식하기 위해 슬라이딩 윈도우 기반의 방법을 사용하므로 한 장의 영상에 수 만개의 윈도우가 존재한다. Use a sliding window based method to identify objects in the image, because there are tens of thousands of Windows on a single image. 또한 각 슬라이딩 윈도우는 수 천 차원의 특징들을 가지고 있다. It also has the features of the respective sliding window thousands dimension. 슬라이딩 윈도우 기반의 특징 추출은 연산량이 매우 높은 문제 때문에 소프트웨어에서 뿐만 아니라 하드웨어로 구현하는 경우에도 실시간 처리가 어려운 문제가 발생한다. Feature extraction of the sliding window based on the real-time processing is difficult problem occurs even if implemented in hardware as well as due to the very high amount of calculation software problem. 특히 객체 인식을 적용하는 어플리케이션에서 요구하는 영상의 해상도는 계속해서 커지고 있기 때문에 실시간 처리는 갈수록 어려워지고 있다. In particular, since the resolution of the image as required by the application to apply object recognition it will continue to grow the real-time processing is becoming more difficult. 또한 연산량이 많으므로 전력소모가 많아져 배터리를 사용하는 포터블 기기에서 장시간 사용이 어려운 문제점이 있다. In addition, the power consumption becomes large Because of the high computational complexity is a difficult issue for a long time use in portable devices that use a battery. 이 문제는 처리해야 하는 영상 크기가 커지고 영상의 개수(프레임 레이트, frame rate)가 많을수록 더욱 심해진다. This problem is more the size of the image to be processed becomes large number (frame rate, frame rate) of an image becomes more severe.

본 발명의 영상 특징 고솔 추출 방법 및 이를 지원하는 장치는 HOG 특징 추출 방법에서 모든 슬라이딩 윈도우가 인접한 윈도우끼리 서로 중복되도록 이동하는 특징을 기반으로 중복 영역에 대한 연산을 방지하도록 제어함으로써 특징 추출을 위한 연산량을 비약적으로 감소시킬 수 있도록 지원한다. Image feature gosol extraction method and apparatus for supporting them of the present invention, computation amount for feature extraction by controlling to prevent the operation of the overlapping area based on a feature of moving so that the overlap between windows that all sliding window adjacent HOG feature extraction so that the support can be reduced dramatically. 이에 따라 본 발명은 특징 추출에 필요한 시간과 계산 복잡도를 줄여 저전력 동작이 가능하도록 지원할 수 있다. The present invention may be supported to allow low-power operation by reducing the time and computational complexity required for feature extraction according.

도 4는 본 발명에서 제안한 특징 추출 중복 방지를 설명하기 위한 도면이다. Figure 4 is a view for explaining the proposed feature extraction avoid redundancy in the present invention. 설명의 편의를 위하여 전체 윈도우들 중 두 개의 윈도우를 대표로 하여 나타내었으며, 두 개의 윈도우는 서로 인접되도록 배치되어 슬라이딩 윈도우(200)가 인접된 윈도우로 이동되면서 영상 데이터 분석을 수행함을 나타낸 것이다. For convenience of description showed by the two windows of the entire window as a representative, while two windows are arranged to be adjacent to each other move in the sliding window 200 adjacent the window shows the image data, carrying out the analysis.

도 4를 참조하면, 한 장의 영상 또는 객체 검색 영역들에서 슬라이딩 윈도우(200)는 가로 또는 세로 방향으로 이동한다. Referring to Figure 4, the sliding window 200 in one image or object search region is moved in the horizontal or vertical direction. 그림에서 인접한 윈도우 W N 과 W N+1 의 추출된 특징은 서로 중복된 영역을 포함한다. Windows adjacent picture W N and the extracted feature of W N + 1 includes a mutually overlapping region. 이 중복 영역의 데이터들은 2x2 또는 3x3개의 셀로 구성된 블록의 히스토그램 값이므로 동일한 값을 갖는다. The data in the overlapping region are so histogram values ​​of the 2x2 or 3x3 block of cells configured it has the same value. 본 발명에서는 객체 판별을 위해 필요한 특징 추출을 매 윈도우 마다 생성하지 않고 도 4에서와 같이 중복되는 영역에 대해 특징을 추출하지 않고 새로 특징 추출이 필요한 영역에 대해서만 특징을 추출하여 중복 부분에 대한 연산을 방지할 수 있다. Extracting a feature of this invention, only the feature extraction necessary for the object to determine the area newly required features extracted without extracting a feature for regions that overlap, as shown in Figure 4 without generating for each window by the operation on the overlapping portion It can be prevented.

도 5는 본 발명의 실시 예에 따른 특징 추출 중복 방지를 위한 제어부 운용을 설명하기 위한 도면이다. 5 is a view for explaining the control operation for the de-duplication feature extraction in the embodiment;

도 5를 참조하면, 본 발명의 특징 추출 중복 방지를 지원하는 단말 장치의 제어부(160)는 먼저 S101 단계에서 슬라이딩 윈도우(200) 크기 및 슬라이딩 윈도우(200) 이동 거리 정보를 확인한다. 5, the control unit 160 of the terminal device that supports the feature extraction de-duplication of the present invention will first check the sliding window 200 and the size of the sliding window 200, the moving distance information in step S101. 제어부(160)는 영상 데이터 분석 알고리즘이 해당 값이 제공하지 않도록 설계된 경우 슬라이딩 윈도우(200)가 최초 영상 데이터에 대해 정의한 분석의 크기 값과 다음 윈도우 영상 데이터에 대한 분석의 크기 값 비교를 수행하여 슬라이딩 윈도우(200)의 크기와 스탭 이동 거리 정보를 산출할 수 있다. The controller 160 includes an image data analysis algorithm is a sliding by performing the size value comparison of the sliding window 200 are analyzed to analyze the size value and the next window image data defined for the first image data is designed not to provide the value It can calculate the size and staff moving distance information of the window 200. 또는 슬라이딩 윈도우(200)의 크기 및 슬라이딩 윈도우(200)의 스탭 이동 거리의 정보는 해당 알고리즘에 의해 사전 정의된다. Or staff member information on the moving distance of the size and the sliding window 200 of the sliding window 200 is predefined by the corresponding algorithm. 이에 따라 제어부(160)는 해당 정보를 영상 데이터 분석 알고리즘으로부터 획득할 수 있다. Accordingly, the controller 160 may obtain the information from the image data analysis algorithms. 이에 따라 영상 데이터 분석 알고리즘이 슬라이딩 윈도우(200)에 대한 정보를 제공하는 경우 별도의 슬라이딩 윈도우(200) 정보 획득 과정은 생략될 수 있다. Accordingly, image data analysis algorithm is a separate sliding window 200, the information acquisition process when providing information on the sliding window 200 may be omitted.

다음으로 제어부(160)는 S103 단계에서 영상 데이터에 대한 영상 분석을 수행한다. Next, the controller 160 performs image analysis on the image data in step S103. 즉 제어부(160)는 슬라이딩 윈도우(200)가 지정한 윈도우에서의 영상 데이터를 라인 버퍼(161)에 저장하고, 그레디언트 계산, 가중치 계산, 인터폴레이션 계산, 히스토그램 계산 및 정규화 과정을 수행하여 HOG 특징을 추출한다. In other words the controller 160 by the sliding window 200 is performed to save the image data of the specified window to the line buffer 161, and the gradient calculated, the weight calculation, the interpolation calculation, histogram calculation, and normalization extracts HOG features .

그리고 제어부(160)는 S105 단계에서 슬라이딩 윈도우(200) 크기 및 슬라이딩 윈도우(200) 이동 거리 정보를 기반으로 분석된 영상 데이터의 중복 방지 영역을 검출한다. Then, the controller 160 detects the de-duplication domain of the image data analyzed in step S105 in the sliding window 200 and the size of the sliding window 200 based on the moving distance information. 즉 제어부(160)는 슬라이딩 윈도우(200)의 이동에 따라 현재 HOG 특징 추출이 완료된 영상 중 어느 정도의 데이터들이 다음 영상 데이터 분석에서 중복 사용되는지 확인하고, 중복 사용될 중복 영역에 대한 정보를 검출한다. In other words the controller 160 confirms that the use a certain amount of data currently HOG feature extraction is complete image according to the movement of the sliding window 200 are overlapped with the next image data analysis, and detects information about the overlap region be redundant.

다음으로 제어부(160)는 S107 단계에서 검출된 중복 방지 영역을 기반으로 다음 영상 데이터 분석 시 중복 영역 이외의 영역에서의 영상 특징 추출만을 수행하도록 지원한다. Next, the controller 160 supports based on the de-duplication domain detected in step S107 to carry out only the image feature extraction in the area other than the next video data analysis when the overlapping region.

이후 제어부(160)는 S109 단계에서 현재 영상 분석되는 영상 데이터가 전체 프레임의 마지막 영상 데이터인지 확인한다. Since the control unit 160 confirms whether the image data currently image analysis in step S109 is the last image data of the entire frame. 마지막 영상 데이터인 경우 그리고 추가적인 영상 데이터 제공이 없는 경우 제어부(160)는 영상 분석 및 HOG 특징 추출 작업을 종료하도록 제어할 수 있다. The controller 160 if it is the last image data, and not to provide additional image data may be controlled to end the image analysis and feature extraction operation HOG. 한편 제어부(160)는 현재 영상 데이터가 마지막 영상 데이터가 아닌 경우 S103 단계로 분기하여 이하 과정을 재수행하도록 지원할 수 있다. The control unit 160 may support the current image data is to be re-performed the following process branches to step S103 if it is not the last image data.

이상에서 설명한 바와 같이 본 발명의 실시 예에 따른 영상 특징 고속 추출 방법 및 이를 지원하는 방법은 슬라이딩 윈도우를 적용하여 영상 분석을 수행하는 과정에서 중복 영역에 대한 연산을 수행하지 않도록 함으로서 보다 빠른 연산 속도를 제공할 수 있다. Over the image feature high speed extracting method and a method that supports it, by a faster operation speed so as not to operate on the overlapping region in the process of by applying a sliding window to perform image analysis according to an embodiment of the present invention, as described in It can provide.

이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. Above, but the present invention is described with reference to some preferred embodiments, these embodiments are illustrative and not limiting. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Thus, if having ordinary skill chair in the art will appreciate that you can apply a variety of changes and modifications according to without departing from the scope set forth in the spirit and the scope of the appended claims of the present invention doctrine of equivalents.

100 : 단말 장치 110 : 통신 인터페이스부 100: terminal device 110: communication interface
120 : 입력부 140 : 표시부 120: input unit 140: display unit
150 : 저장부 160 : 제어부 150: storage unit 160: control unit
170 : 카메라 161 : 라인 버퍼 170: camera 161: a line buffer
162 : 그레디언트 계산기 163 : 크기 및 빈 버퍼 162: The gradient calculator 163: Dimensions and empty buffer
164 : 가중치 계산기 165 : 인터폴레이션 계산기 164: weight calculator 165: interpolation calculator
166 : 히스토그램 계산기 167 : 정규화 계산기 166: histogram calculator 144. Calculator normalized
168 : 중복 방지 특징 추출 회로 168: anti-redundant feature extraction circuit
169 : 특징 추출 중복 방지 제어기 169: feature extraction de-duplication control

Claims (8)

  1. 영상 데이터를 라인별로 저장하는 라인 버퍼; A line buffer for storing image data for each line;
    라인 버퍼에 저장된 영상 데이터들의 그레이디언트 값을 산출하기 위한 그레디언트 계산기; A gradient calculator for calculating the gradient values ​​of the image data stored in the line buffer;
    그레디언트 계산기에 의해 계산된 그레디언트 크기 값 및 각도 값을 저장하는 크기 및 빈 버퍼; Size and empty the buffer for storing the gradient magnitude value and the angle value calculated by the gradient calculator;
    크기 및 빈 버퍼에 저장된 그레디언트 크기 값 및 각도 값들을 블록 단위로 구분하고 이의 가중치를 계산하는 가중치 계산기; Weight calculator to distinguish between the gradient magnitude values ​​and angle values ​​stored in the size and the empty buffer in units of blocks and calculates a counter-weight;
    영상 데이터의 셀 간 간섭 제거를 위해 인터폴레이션 수행을 지원하는 인터폴레이션 계산기; Interpolation of the interpolation carried out to support the inter-cell interference cancellation of the image data converter;
    인터폴레이션 된 데이터를 이용하여 블록 단위 히스토그램을 산출하는 히스토그램 산출부; The histogram calculating section for calculating a unit block using the interpolation data histogram;
    산출된 히스토그램을 정규화하여 HOG 특징을 추출하는 정규화 계산기; Normalizing the calculated histogram to extract the HOG features normalizing converter;
    정규화 계산기의 출력으로부터 슬라이딩 윈도우 적용에 따른 중복 영역을 검출하는 중복 방지 특징 추출 회로; De-duplication for detecting the overlapping area of ​​the sliding window applied from the output of the normalizing converter feature extraction circuit;
    추출된 중복 장지 특징들을 이용하여 상술한 구성들의 중복 영역에 대한 연산을 방지하도록 제어하는 특징 추출 중복 방지 제어기; The extracted duplication using the middle finger characterized in that controls to prevent operation on the overlapping region of the above-described constituent features extracted duplication preventing control;
    를 포함하는 것을 특징으로 하는 영상 특징 고속 추출을 지원하는 단말 장치. A terminal equipment that supports the high-speed image feature extraction comprising: a.
  2. 제1항에 있어서, According to claim 1,
    상기 중복 방지 특징 추출 회로는 The de-duplication feature extraction circuit
    슬라이딩 윈도우의 크기 및 슬라이딩 윈도우의 스탭 이동 거리를 기반으로 분석될 영상 데이터의 중복 영역을 검출하는 것을 특징으로 하는 영상 특징 고속 추출을 지원하는 단말 장치. Image feature extraction terminal device supporting high-speed, characterized in that for detecting the overlapping area of ​​the sliding window image data to be analyzed based on the moving distance of the staff and the size of the sliding window.
  3. 제2항에 있어서, 3. The method of claim 2,
    상기 특징 추출 중복 방지 제어기는 The feature extraction de-duplication controller
    상기 검출된 중복 영역에 대한 정보를 기반으로 상기 라인 버퍼에 저장된 영상 데이터들 중 중복되는 데이터들에 대해 구분하도록 제어하는 것을 특징으로 하는 영상 특징 고속 추출을 지원하는 단말 장치. A terminal equipment that supports the high-speed image feature extraction, characterized in that for controlling to distinguish for the redundant data of the image data stored in the line buffer based on information about the detected overlapping area.
  4. 제2항에 있어서, 3. The method of claim 2,
    상기 특징 추출 중복 방지 제어기는 The feature extraction de-duplication controller
    상기 슬라이딩 윈도우에 의해 지정된 윈도우에서 중복 영역을 제외한 영역에 대하여 그레디언트 계산을 수행하도록 제어하는 것을 특징으로 하는 영상 특징 고속 추출을 지원하는 단말 장치. Image feature extraction terminal device supporting high-speed, characterized in that for controlling to perform the gradient calculated for the region excluding the overlapping region in the specified window by the sliding window.
  5. 제2항에 있어서, 3. The method of claim 2,
    상기 특징 추출 중복 방지 제어기는 The feature extraction de-duplication controller
    검출된 중복 영역과 슬라이딩 윈도우에 의해 새로 지정된 영역의 경계 값과 새로 지정된 영역의 가중치 계산, 인터폴레이션 계산, 히스토그램 계산을 수행하도록 제어하는 것을 특징으로 하는 영상 특징 고속 추출을 지원하는 단말 장치. A terminal equipment that supports the high-speed image feature extraction, characterized in that for controlling to perform the weight calculation, the interpolation calculation of the boundary value and the newly specified region in the newly specified region by the detected overlapping area and the sliding window, the histogram calculation.
  6. 제2항에 있어서, 3. The method of claim 2,
    상기 크기 및 빈 버퍼는 The size and the empty buffer is
    상기 그레디언트 계산 값들을 라인 단위로 저장하고, 상기 가중치 계산기에 블록 단위로 제공하는 것을 특징으로 하는 영상 특징 고속 추출을 지원하는 단말 장치. Terminal apparatus for storing the calculated gradient value in a line unit, and supports high-speed image feature extraction, characterized in that provided on a block-by-block basis to the weight calculator.
  7. 슬라이딩 윈도우의 크기 및 스탭 거리 정보를 획득하는 단계; Obtaining a size and staff distance information of the sliding window;
    상기 슬라이딩 윈도우 정보를 기반으로 영상 분석된 데이터에서 중복 영상을 검출하는 단계; Detecting a duplicate image in the image analysis data, based on the sliding window information;
    상기 검출된 중복 영상을 기반으로 슬라이딩 윈도우가 지정한 새로 분석된 영상 데이터 중 중복 영상 부분을 제외하고 새로 지정된 영역의 데이터만을 분석하는 분석 단계; Analysis step of excluding the overlapping of the newly analyzed image data is the image portion the sliding window based on said detected redundant image specified and analyze only the data of the newly specified region;
    를 포함하는 것을 특징으로 하는 영상 특징 고속 추출 방법. High-speed image feature extracting method, comprising a step of including.
  8. 제7항에 있어서, The method of claim 7,
    상기 분석 단계는 The analysis phase is
    상기 새로 지정된 영역의 라인 단위 영상 데이터들에 대한 그레디언트 값들을 버퍼에 저장하는 단계; Storing gradient value for the line-by-line image data of the newly specified region in the buffer;
    상기 버퍼에 저장된 그레디언트 값들을 블록 단위로 연산 처리 하는 단계; Calculating processes the gradient value stored in the buffer on a block-by-block basis;
    를 포함하는 것을 특징으로 하는 영상 특징 고속 추출 방법. High-speed image feature extracting method, comprising a step of including.
KR1020120154376A 2012-12-27 2012-12-27 Fast detection method of image feature and apparatus supporting the same KR101349672B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120154376A KR101349672B1 (en) 2012-12-27 2012-12-27 Fast detection method of image feature and apparatus supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120154376A KR101349672B1 (en) 2012-12-27 2012-12-27 Fast detection method of image feature and apparatus supporting the same

Publications (1)

Publication Number Publication Date
KR101349672B1 true KR101349672B1 (en) 2014-01-10

Family

ID=50145114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120154376A KR101349672B1 (en) 2012-12-27 2012-12-27 Fast detection method of image feature and apparatus supporting the same

Country Status (1)

Country Link
KR (1) KR101349672B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001513923A (en) 1997-02-25 2001-09-04 ウェイク・フォレスト・ユニバーシティ Automatic analysis in endoscopy that can not be directly detected
JP2003513538A (en) 1999-10-22 2003-04-08 アクティブスカイ,インコーポレイテッド Object-oriented video system
JP2003528538A (en) 2000-03-18 2003-09-24 ディジマーク コーポレイション Watermark embedding processing based on the characteristics of the transformer marking watermark embedding function and multimedia signal as rendering commands
JP2007525100A (en) 2003-06-30 2007-08-30 株式会社エヌ・ティ・ティ・ドコモ Method and apparatus for encoding motion information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001513923A (en) 1997-02-25 2001-09-04 ウェイク・フォレスト・ユニバーシティ Automatic analysis in endoscopy that can not be directly detected
JP2003513538A (en) 1999-10-22 2003-04-08 アクティブスカイ,インコーポレイテッド Object-oriented video system
JP2003528538A (en) 2000-03-18 2003-09-24 ディジマーク コーポレイション Watermark embedding processing based on the characteristics of the transformer marking watermark embedding function and multimedia signal as rendering commands
JP2007525100A (en) 2003-06-30 2007-08-30 株式会社エヌ・ティ・ティ・ドコモ Method and apparatus for encoding motion information

Similar Documents

Publication Publication Date Title
KR101399804B1 (en) Method and apparatus for tracking and recognition with rotation invariant feature descriptors
US9213890B2 (en) Gesture recognition system for TV control
Ullah et al. Orientation code matching for robust object search
JP4626692B2 (en) Object detection apparatus, an imaging apparatus, an object detecting method and program
US8897575B2 (en) Multi-scale, perspective context, and cascade features for object detection
Biswas et al. Gesture recognition using microsoft kinect®
KR100724932B1 (en) apparatus and method for extracting human face in a image
KR101808467B1 (en) Feature extraction and matching and template update for biometric authentication
US8406470B2 (en) Object detection in depth images
CN101271514B (en) Image detection method and device for fast object detection and objective output
KR100608595B1 (en) Face identifying method and apparatus
JP4372051B2 (en) Hand shape recognition apparatus and method
EP2395452A1 (en) Detection of objects in an image using self similarities
JP4324327B2 (en) Visual device
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
JP2012038106A (en) Information processor, information processing method and program
US20100158387A1 (en) System and method for real-time face detection using stereo vision
US20140022394A1 (en) Apparatus and method for tracking object
KR20120087952A (en) Method, computer program, and device for hybrid tracking of real-time representations of objects in image sequence
US10015397B2 (en) Automatic mobile photo capture using video analysis
JP2012530994A (en) Method and apparatus for semi facial detection
US9495758B2 (en) Device and method for recognizing gesture based on direction of gesture
US8144932B2 (en) Image processing apparatus, image processing method, and interface apparatus
EP2079009A1 (en) Apparatus and methods for a touch user interface using an image sensor
KR101679290B1 (en) Image processing method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 6