WO2016104842A1 - 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 - Google Patents

카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 Download PDF

Info

Publication number
WO2016104842A1
WO2016104842A1 PCT/KR2014/012894 KR2014012894W WO2016104842A1 WO 2016104842 A1 WO2016104842 A1 WO 2016104842A1 KR 2014012894 W KR2014012894 W KR 2014012894W WO 2016104842 A1 WO2016104842 A1 WO 2016104842A1
Authority
WO
WIPO (PCT)
Prior art keywords
tilt
camera
histogram
distortion
image
Prior art date
Application number
PCT/KR2014/012894
Other languages
English (en)
French (fr)
Inventor
김동석
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to PCT/KR2014/012894 priority Critical patent/WO2016104842A1/ko
Priority to KR1020177016401A priority patent/KR101904480B1/ko
Publication of WO2016104842A1 publication Critical patent/WO2016104842A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Definitions

  • the present invention relates to an object recognition system and method in consideration of the distortion of the camera, and more particularly, after calculating the feature only once in the entire image in consideration of the camera lens distortion of the image photographed using a wide-angle camera, An object recognition system and method considering distortion of a camera for performing object classification.
  • the system for searching and tracking people in dynamic imaging is one of the most important vision application systems in the fields of security, human behavior analysis, robot vision and human-computer interaction.
  • a sign language and gesture recognition system In order to use the system for searching and tracking the people to be used in a remote security system, a sign language and gesture recognition system, a distance education system, and an automatic recording system, an image obtained by using a camera is analyzed to separate a person's area, You need a technique for recognizing what you do.
  • the rear camera of the pedestrian protection system of the rear camera based Advanced Driver Assistance System uses a wide-angle lens.
  • Patent Document 1 Korean Laid-Open Patent Publication No. 10-2012-0055306
  • the present invention has been made to solve the above-described problems, and corrects the direction of inclination for each pixel in consideration of lens distortion of the wide-angle camera in the entire photographed image, generates a region of interest using a tilted window, and
  • the present invention provides an object recognition system and method that considers distortion of a camera having a high computational speed by allowing an object to be identified after extracting a feature vector using a corrected gradient vector for each pixel.
  • the object recognition system considering the distortion of the camera of the present invention for achieving the above object is an image acquisition unit for obtaining an image taken through the camera; A tilt calculator for calculating a direction and magnitude of a tilt for each pixel in the entire image acquired by the image acquirer; A tilt correction unit which estimates the direction of the tilt distorted by the camera in the direction of the pixel-by-pixel tilt calculated by the tilt calculator to correct the direction of the tilt due to the distortion as a whole; In the image corrected by the tilt correction unit, a setting unit for sampling a region corresponding to the region of interest into a plurality of windows and a vector of the tilt of each pixel corrected by the tilt correction unit are displayed in the plurality of window regions. It includes a histogram generator for generating a histogram from an image.
  • the apparatus may further include a feature vector calculator configured to extract a feature vector based on the histogram generated by the histogram generator.
  • the inclination correcting unit estimates a vector perpendicular to the ground in the image photographed by the camera, and preliminarily corrects the direction of the inclination of each pixel due to the distortion of the camera, so that the operation speed of the histogram generator can be increased.
  • the histogram generator may use a plurality of windows input in order to increase the computation speed in their original size.
  • the histogram generated by the histogram generator may be formed in units of cells in each of the plurality of windows by using the inclination of each pixel whose distortion is entirely corrected by the inclination corrector, and the inclination direction of edge pixels in each cell.
  • the histogram bin may be formed as a vector connecting the histogram bin values in a row.
  • the number of cells is the same, but the cell size is adjusted to use the plurality of windows as they are, thereby increasing the computation speed.
  • the recognition classifier may further include a recognition classifier that recognizes whether a specific object is recognized based on the feature vector.
  • the recognition classifier may be configured as a single classifier based on a feature vector in which the tilt angle of the distorted object is entirely corrected by the camera.
  • the object recognition method in consideration of the distortion of the camera of the present invention for achieving the above object is an image acquisition step of obtaining an image taken through the camera; A gradient calculation step of calculating a direction and magnitude of a gradient for each pixel in the entire image obtained through the image acquisition step; A tilt correction step of estimating a tilt direction that is distorted by the camera in the direction of the tilt for each pixel calculated through the tilt calculation step to correct the direction of the tilt due to the distortion as a whole; The plurality of window regions using a sampling setting step of dividing an area corresponding to a region of interest into a plurality of windows and a vector of gradients for each pixel corrected through the tilt correction step in the distortion-corrected image. And a histogram generating step of generating a histogram from an image displayed at.
  • the method may further include a feature vector step of extracting feature vectors based on the histogram generated by the histogram generation step.
  • the histogram generated in the histogram generation step may include a step of forming the histogram in units of cells in each of the plurality of windows by using the inclination of each pixel in which the distortion is entirely corrected through the inclination correction step.
  • the histogram generating step may include using a plurality of input windows in their original size to increase the computation speed.
  • the number of cells in the plurality of windows may be the same, but the size of the cells may be adjusted to use the plurality of window sizes as they are.
  • the histogram generating step may further include a recognition classification step of recognizing whether or not a specific object is recognized based on the feature vector.
  • a recognition classification step a single classifier based on the feature vector whose overall tilt angle of the distorted object is corrected by the camera in advance. Classification may proceed through.
  • the direction of each pixel in consideration of the lens distortion of the wide-angle camera in the whole image taken by the correction of the direction of the tilt, and using the window of the inclined shape
  • an object can be identified to speed up computation.
  • FIG. 1 is a block diagram illustrating an object recognition system considering distortion of a camera according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an object recognition method considering distortion of a camera according to an embodiment of the present invention.
  • FIG. 3 is an exemplary view of an image photographed through a wide-angle camera according to an embodiment of the present invention
  • FIG. 4 is an exemplary diagram of a tilt calculation image according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram of a ground model image according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram of a tilt correction image according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view of an image according to an embodiment of the present invention.
  • FIG 8 is an exemplary view of a divided image according to an embodiment of the present invention.
  • FIG. 9 is an exemplary diagram of a cell division image in a divided sampling image according to an embodiment of the present invention.
  • the image acquisition unit 100 the tilt calculation unit 200, the tilt correction unit 300, and the sampling setting unit 400 are shown.
  • a histogram generator 500, a feature vector calculator 600, and a recognition classifier 700 are shown.
  • the image acquisition unit 100 receives and stores an acquired image 110 captured by a camera (not shown), and a preprocessing process for image processing may be performed.
  • the camera may be a camera using a wide-angle lens such as a fisheye lens.
  • the acquired image 110 generates an image distortion due to the use of a wide-angle camera, so that an object such as a person is inclined.
  • the gradient calculator 200 calculates the orientation and magnitude of the gradient for each pixel in the entire image of the acquired image 110 acquired through the image acquirer 100. 4, a tilt calculation image 210 is generated as shown in FIG. 4.
  • the tilt direction of the object in the tilt calculation image 210 is distorted due to the tilt direction due to the original shape of the object and the use of a wide-angle camera. It appears as the sum of the slope directions.
  • the tilt correction unit 300 is for correcting the tilt direction due to the original shape of the object, and is distorted by the camera in the direction of the pixel-by-pixel tilt of the tilt calculation image 210 generated by the tilt calculator 200.
  • the tilt correction image 350 is generated by estimating the direction of the tilt and totally correcting the direction of the tilt for each pixel due to the distortion.
  • the tilt correction image 350 does not change the coordinates to expand the distorted image, but corrects the tilt direction of the object by changing only the numerical value of the tilt direction on the matrix of the image.
  • the slope correction unit 300 uses a ground model image 310 that estimates a surface normal vector perpendicular to the ground, as shown in FIG. 5, to correct the direction of the tilt for each pixel due to distortion.
  • the model of the ground in the distorted image (Ground modeling) to correct the tilt direction for each pixel due to distortion, and by estimating the vector perpendicular to the ground to correct the tilt direction for each pixel due to camera distortion
  • the feature can be extracted only by the inclined direction of the object.
  • the inclination direction for each pixel of the boundary line forming the human shape is represented as the sum of the inclination of the person and the inclination by the distortion through the wide-angle camera.
  • the sampling setting unit 400 uses a tilting sliding window technique in the image in which the distortion corrected by the tilt correction unit 300 corrects the plurality of windows in the region corresponding to the ROI.
  • the sampled image 410 is generated as shown in FIG.
  • the window W is sampled and extracted from a plurality of windows W having different sizes such as the short distance window and the long distance window.
  • the histogram generator 500 divides the window W in the window W generated through the sampling setting unit 400 to have the same number of cells S as shown in FIG. 9, and A histogram is generated from the images displayed in the plurality of windows W using the vector of the pixel-specific gradients corrected by the gradient corrector 300.
  • the number of cells S should be the same in each of the windows W having different sizes, so if the size of the window W is small, the size of the cell S is small, and if the window W is large, the cell S is large. ) Large size.
  • the number of cells S of the window W is the same, so that the feature dimension may be kept the same.
  • the number of cells is maintained to maintain the feature point dimension regardless of the input image size.
  • a histogram is generated by using the inclination information for each pixel whose distortion is entirely corrected through the inclination corrector 300.
  • a histogram of the gradient direction of edge pixels is obtained for each cell, and then a histogram is formed as a vector connecting the histogram bin values in a row.
  • a method of obtaining a histogram of the gradient direction of edge pixels uses HOG (Histogram of Oriented Gradient), a technique well known in the art, and thus a detailed description thereof will be omitted.
  • HOG Hetogram of Oriented Gradient
  • the feature vector calculator 600 extracts a feature vector of an object based on the histogram generated by the histogram generator 500.
  • the tilt correction unit 300 calculates the tilt correction only once in the entire image, and when generating the histogram in the cell S, a feature vector is generated using the tilt information already corrected for each window W. FIG. This speeds up computation.
  • the operation speed is increased by using the original size without the process of adjusting the size of the window (W) to the same size.
  • the recognition classifier 700 recognizes whether a specific object is recognized based on the feature vector obtained by the feature vector calculator 600.
  • a person is by comparing feature vectors through a classification such as a support vector machine (SVM) in order to determine whether a person is present in each window (W).
  • SVM support vector machine
  • the recognition classifier 700 compares feature vectors in a state where the tilt is corrected through the tilt corrector 300, the recognition classifier 700 may be configured with only a single classifier.
  • the object recognition system considering the distortion of the camera made as described above operates as follows.
  • an area corresponding to the ROI is divided into a plurality of windows in the distortion-corrected image (S400).
  • the cell size is adjusted in each of the plurality of windows by using the corrected vector of the pixel-by-pixel gradient, thereby dividing the window by the same number of cells, and generating a histogram from an image displayed in each cell of the divided window area. (S500).
  • the feature vector is extracted based on the generated histogram (S600), and whether a single object based on the feature vector is recognized through the classifier is recognized (S700).
  • the object recognition method considering the distortion of the camera according to the steps S100 to S700 according to the present invention may be programmed and stored in a recording medium such as a CD-ROM, a memory, a ROM, or an EEPROM so that the computer can read it.
  • a recording medium such as a CD-ROM, a memory, a ROM, or an EEPROM so that the computer can read it.
  • the direction of each pixel inclination considering the lens distortion of the wide-angle camera is corrected in the entire photographed image, and the object is identified by using the previously corrected pixel inclination vector.
  • the operation speed can be increased, so that moving objects around the vehicle captured by the rear camera can be recognized accurately and quickly, thereby providing more accurate alarms for collision prevention, and improving driving safety.

Abstract

본 발명은 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 관한 것으로, 카메라를 통해 촬영된 영상을 획득하는 영상 획득부; 상기 영상 획득부를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산부; 상기 기울기 연산부를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기의 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정부; 상기 기울기 보정부를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 샘플링하는 샘플링 설정부 및 상기 기울기 보정부에서 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성부를 포함한다. 본 발명의 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 따르면 촬영된 전체의 영상에서 광각 카메라의 렌즈 왜곡을 고려한 픽셀별 기울기의 방향을 보정하고, 기울어진 형태의 윈도우를 이용한 관심 영역을 생성하며, 미리 보정된 픽셀별 기울기 벡터를 이용하여 셀 별로 히스토그램에 대한 특징벡터를 추출 후 물체를 식별할 수 있도록 함으로써 연산 속도를 빠르게 한 효과가 있다.

Description

카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
본 발명은 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 광각 카메라를 이용하여 촬영된 영상의 카메라 렌즈 왜곡을 고려하여 전체 영상에서 특징을 한번 만 연산한 후, 이를 이용하여 물체 분류를 수행하도록 한 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 관한 것이다.
동적인 영상에서 사람들을 탐색하고 추적하는 시스템은 보안, 인간의 행동분석, 로봇비전 및 인간과 컴퓨터 간의 상호작용 분야의 비전 애플리케이션 시스템들 중 가장 중요한 시스템 중의 하나이다.
또한, 상기 사람들을 탐색하고 추적하는 시스템이 원격 보안시스템, 수화 및 제스처 인식 시스템, 원격 교육시스템, 자동 기록 시스템 등에 활용되기 위해서는 카메라를 이용하여 취득한 영상을 분석하여 사람 영역을 분리하고 그 사람 영역이 어떤 동작을 하는지 인식하는 기술이 필요하다.
아울러, 후방 카메라 기반의 운전자 보조 시스템(Advanced Driver Assistance System; ADAS) 중 보행자 보호 시스템에서의 후방 카메라는 광각 렌즈를 사용한다.
그러나, 사람은 행동반경이 넓고 움직임이 빠르며, 사람이 향한 방향에 따라 동작이나 자세가 매우 다양하게 변화할 수 있으므로, 컴퓨터를 이용하여 자동으로 사람 영역을 인식하는 것은 매우 어려운 일이다.
특히, 광각 카메라 사용으로 먼 외곽 부분은 형태가 왜곡되어 인식되기 어려운 문제점이 발생하고 있다.
즉, 외곽 부분은 영상이 압축된 형태로 나타나므로 특징점 추출이 어려우며, 외곽에서 원을 인식하게 되면 광각 렌즈의 왜곡으로 인하여 원이 타원으로 나타나게 되어 특징점 추출이 더욱 어려워지는 문제점이 있었다.
[선행기술문헌]
(특허문헌 1) 대한민국 공개특허공보 공개번호 제10-2012-0055306호
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 촬영된 전체의 영상에서 광각 카메라의 렌즈 왜곡을 고려한 픽셀별 기울기의 방향을 보정하고, 기울어진 형태의 윈도우를 이용한 관심 영역을 생성하며, 미리 보정된 픽셀별 기울기 벡터를 이용하여 특징벡터를 추출 후 물체를 식별할 수 있도록 함으로써 연산 속도를 빠르게 한 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 카메라의 왜곡을 고려한 물체 인식 시스템은 카메라를 통해 촬영된 영상을 획득하는 영상 획득부; 상기 영상 획득부를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산부; 상기 기울기 연산부를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기의 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정부; 상기 기울기 보정부를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 샘플링하는 설정부 및 상기 기울기 보정부에서 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성부를 포함한다.
상기 히스토그램 생성부를 통하여 생성된 히스토그램에 기초하여 특징벡터를 추출하는 특징벡터 연산부를 더 포함할 수 있다.
상기 기울기 보정부는 카메라를 통해 촬영된 영상에서 지면에 수직한 벡터를 추정하여 카메라의 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 미리 보정하여 히스토그램 생성부의 연산속도가 빨라지도록 할 수 있다.
상기 히스토그램 생성부는 연산속도를 증가시키기 위해 입력되는 복수개의 윈도우를 그 본래 크기대로 사용할 수 있다.
상기 히스토그램 생성부에서 생성된 히스토그램은 상기 기울기 보정부를 통해 왜곡이 전체적으로 보정된 픽셀별 기울기를 이용하여 상기 복수개의 윈도우 각각에서 셀 단위로 형성될 수 있으며, 각 셀마다 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구한 후 이들 히스토그램 빈(bin) 값들을 일렬로 연결한 벡터로 형성될 수 있다.
상기 복수개의 윈도우에서 윈도우의 크기를 다시 조절하는 대신 셀의 수는 동일하게 하되 셀 크기를 조정하여 상기 복수개의 윈도우 크기를 그대로 사용하여 연산 속도를 빠르게 할 수 있다.
상기 특징벡터에 기반하여 특정 물체의 인지 여부를 인식하는 인식 분류부를 더 포함하되, 인식 분류기는 카메라로 왜곡된 물체의 기울기 각도를 미리 전체적으로 보정한 특징벡터에 기반한 단일의 분류기만으로 구성될 수 있다.
그리고, 상술한 목적을 달성하기 위한 본 발명의 카메라의 왜곡을 고려한 물체 인식 방법은 카메라를 통해 촬영된 영상을 획득하는 영상 획득단계; 상기 영상 획득단계를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산단계; 상기 기울기 연산단계를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정단계; 상기 기울기 보정단계를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 분할하는 샘플링 설정단계 및 상기 기울기 보정단계를 통해 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성단계를 포함한다.
상기 히스토그램 생성단계를 통하여 생성된 히스토그램에 기초하여 특징벡터를 추출하는 특징벡터 단계를 더 포함할 수 있다.
상기 카메라를 통해 촬영된 영상에서 지면에 수직한 벡터를 추정하여 카메라의 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 미리 보정하는 단계를 포함할 수 있다.
상기 히스토그램 생성단계에서 생성된 히스토그램은 상기 기울기 보정단계를 통해 왜곡이 전체적으로 보정된 픽셀별 기울기를 이용하여 복수개의 윈도우 각각에서 셀 단위로 형성되는 단계를 포함할 수 있다.
상기 히스토그램 생성단계에서는 연산속도를 증가시키기 위해 입력되는 복수개의 윈도우를 그 본래 크기대로 사용하는 단계를 포함할 수 있다.
상기 복수개의 윈도우에서 셀의 수는 동일하게 하되 셀 크기를 조정하여 상기 복수개의 윈도우 크기를 그대로 사용하는 단계를 포함할 수 있다.
상기 히스토그램 생성단계에서는 특징벡터에 기반하여 특정 물체의 인지 여부를 인식하는 인식 분류단계를 더 포함하되, 인식 분류단계에서는 카메라로 왜곡된 물체의 기울기 각도를 미리 전체적으로 보정한 특징벡터에 기반한 단일의 분류기를 통하여 분류가 진행될 수 있다.
이상에서 설명한 바와 같은 본 발명의 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 따르면 촬영된 전체의 영상에서 광각 카메라의 렌즈 왜곡을 고려한 픽셀별 기울기의 방향을 보정하고, 기울어진 형태의 윈도우를 이용한 관심 영역을 생성하며, 미리 보정된 픽셀별 기울기 벡터를 이용하여 셀 별로 히스토그램에 대한 특징벡터를 추출 후 물체를 식별할 수 있도록 함으로써 연산 속도를 빠르게 한 효과가 있다.
도 1은 본 발명의 일실시예에 따른 카메라의 왜곡을 고려한 물체 인식 시스템을 도시한 블록도이며,
도 2는 본 발명의 일실시예에 따른 카메라의 왜곡을 고려한 물체 인식 방법을 설명하기 위한 플로우차트이며,
도 3은 본 발명의 본 발명의 일실시예에 따른 광각 카메라를 통해 촬영된 영상의 예시 도면이며,
도 4는 본 발명의 일실시예에 따른 기울기 연산 영상의 예시 도면이며,
도 5는 본 발명의 일실시예에 따른 지면 모델 영상의 예시 도면이며,
도 6은 본 발명의 일실시예에 따른 기울기 보정 영상의 예시 도면이며,
도 7은 본 발명의 일실시예에 따른 영상의 예시 도면이며,
도 8은 본 발명의 일실시예에 따른 분할된 영상의 예시 도면이며,
도 9는 본 발명의 일실시예에 따른 분할된 샘플링 영상에서 셀 분할 영상의 예시 도면이다.
[부호의 설명]
100: 영상 획득부 200: 기울기 연산부
300: 기울기 보정부 400: 샘플링 설정부
500: 히스토그램 생성부 600: 특징벡터 연산부
700: 인식 분류부
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.
본 발명의 일실시예에 따른 카메라의 왜곡을 고려한 물체 인식 시스템은 도 1에 도시한 바와 같이, 영상 획득부(100), 기울기 연산부(200), 기울기 보정부(300), 샘플링 설정부(400), 히스토그램 생성부(500), 특징벡터 연산부(600) 및 인식 분류부(700)를 포함하여 구성된다.
영상 획득부(100)는 도 3에 도시한 바와 같이, 카메라(미도시)를 통해 촬영된 획득영상(110)을 입력받아 저장하는 것으로, 영상처리를 위한 전처리 과정이 진행될 수 있다.
상기 카메라는 어안 렌즈 등의 광각 렌즈를 사용하는 카메라가 될 수 있다.
따라서, 획득영상(110)은 광각 카메라 사용으로 인한 영상 왜곡이 발생하여 사람 등의 물체는 기울어진 형태로 영상이 생성된다.
기울기 연산부(200)는 상기 영상 획득부(100)를 통해 획득된 획득영상(110)의 전체 영상에서의 픽셀별 기울기(gradient)의 방향(orientation) 및 크기(magnitude)를 소벨(sobel) 연산자 등을 이용하여, 도 4에 도시한 바와 같이 기울기 연산 영상(210)을 생성한다.
상기 기울기 연산 영상(210)에서 인식 대상인 물체는 지면에 수직한 상태인 것으로 가정하므로, 기울기 연산 영상(210)에서 물체의 기울기 방향은 물체의 본래 형상에 의한 기울기 방향과 광각 카메라 사용으로 인해 왜곡된 기울기 방향의 합으로 나타난다.
따라서, 광각 카메라 사용으로 인해 왜곡된 기울기 방향을 추정하고 이를 전체 영상에서의 픽셀별 기울기 방향을 계산하는데 적용하여, 카메라 왜곡에 의한 기울기 방향이 제거된 물체 본래 형상에 의한 기울기 방향을 보정하는 과정이 필요하다.
기울기 보정부(300)는 상술한 물체 본래 형상에 의한 기울기 방향을 보정하기 위한 것으로, 상기 기울기 연산부(200)를 통해 생성된 기울기 연산 영상(210)의 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기의 방향을 추정하여, 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 보정 함으로써 도 6에 도시한 바와 같이 기울기 보정 영상(350)을 생성한다.
이때, 기울기 보정 영상(350)은 왜곡된 영상을 펼치도록 좌표를 변경하는 것이 아니고, 영상을 이루는 매트릭스 상의 기울기 방향의 수치만 변경하여, 물체의 기울기 방향을 보정하는 것이다.
상기 기울기 보정부(300)는 왜곡에 의한 픽셀별 기울기의 방향을 보정 하기 위해서, 도 5에 도시한 바와 같이 지면에 수직한 벡터(Surface normal vector)를 추정한 지면 모델 영상(310)을 이용한다.
즉, 광각 카메라를 이용함으로써 왜곡으로 인한 픽셀별 기울기 방향의 보정을 위해 왜곡 영상에서의 지면을 모델링(Ground modeling)하고, 지면에 수직한 벡터를 추정하여 카메라 왜곡에 의한 픽셀별 기울기 방향을 보정하여 물체에 의한 기울어진 방향만으로 특징을 추출할 수 있도록 한다.
예를 들어, 기울기 연산 영상(210)에서 사람이 존재할 때, 사람 형상을 이루는 경계선의 픽셀별 기울기 방향은 사람의 기울어진 방향과 광각 카메라를 통한 왜곡에 의해 기울어진 방향의 합으로 나타나므로, 지면 모델을 통해 왜곡에 의해 기울어진 방향을 추정하여 이를 보정함으로써 사람에 의한 기울어진 방향만으로 특징을 추출할 수 있도록 하는 것이다.
샘플링 설정부(400)는 상기 기울기 보정부(300)를 통한 왜곡이 보정된 영상에서 기울어진 형태의 슬라이딩 윈도우 기법(Sliding window technique)을 이용하여 관심영역(ROI)에 해당하는 영역을 복수개의 윈도우(W)로 샘플링함으로써, 도 7에 도시한 바와 같이 샘플링 영상(410)을 생성한다.
상기 윈도우(W)는 도 8에 도시한 바와 같이, 근거리의 윈도우 및 원거리의 윈도우의 등의 크기가 다른 복수개의 윈도우(W)가 샘플링되어 추출된다.
히스토그램 생성부(500)는 상기 샘플링 설정부(400)를 통하여 생성된 윈도우(W)에서, 도 9에 도시한 바와 같이 동일한 갯수의 셀(S)을 가지도록 윈도우(W)를 분할하고, 상기 기울기 보정부(300)에서 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우(W)에서 디스플레이된 영상으로부터 히스토그램을 생성한다.
이때, 크기가 다른 각각의 윈도우(W)에서 셀(S)의 갯수는 동일하게 하여야 하므로, 윈도우(W)의 크기가 작으면 셀(S) 크기도 작고, 윈도우(W)가 크면 셀(S) 크기도 크다.
여기서, 윈도우(W) 크기는 달라도 윈도우(W)의 셀(S) 갯수를 동일하게 함으로써, 특징점 차원(feature dimension)을 동일하게 유지할 수 있다.
즉, 입력 영상 크기에 상관없이 셀 수를 유지하여 특징점 차원을 유지한다.
이어서, 윈도우(W)를 이루는 각각의 셀(S)에서 상기 기울기 보정부(300)를 통하여 왜곡이 전체적으로 보정된 픽셀별 기울기 정보를 이용하여 히스토그램을 생성한다.
이때, 각 셀마다 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구한 후 이들 히스토그램 빈(bin) 값들을 일렬로 연결한 벡터로 형성된다.
참고로, 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구하는 방식은 본 분야에서 공지된 기술인 HOG(Histogram of Oriented Gradient)를 이용하는 것이므로 그 상세한 설명은 생략한다.
특징벡터 연산부(600)는 상기 히스토그램 생성부(500)를 통하여 생성된 히스토그램에 기초하여 물체의 특징벡터를 추출한다.
본 발명에서는 기울기 보정부(300)를 통하여 전체 영상에서 기울기 보정을 한번만 연산하고, 셀(S)에서 히스토그램을 생성할 때는 각각의 윈도우(W) 마다 이미 보정된 기울기 정보를 이용하여 특징 벡터를 생성함으로 연산 속도가 빨라진다.
또한, 상기 윈도우(W)의 크기를 같은 크기로 조정하는 과정 없이, 본래 크기 대로 사용함으로써 연산 속도가 빨라진다.
인식 분류부(700)는 상기 특징벡터 연산부(600)를 통한 특징벡터에 기반하여 특정 물체의 인지 여부를 인식한다.
예를 들어, 각각의 윈도우(W) 내에 사람이 있는지를 판단하기 위해 SVM(support vector machine) 등의 분류기(classification)를 통하여 특징 벡터를 비교함으로써 사람인지 아닌지 판단할 수 있다.
상기 인식 분류부(700)는 기울기 보정부(300)를 통해 이미 기울기 보정이 된 상태에서 특징 벡터를 비교하므로, 단일의 분류기만으로 구성될 수 있다.
상술한 바와 같이 이루어진 카메라의 왜곡을 고려한 물체 인식 시스템은 다음과 같이 동작한다.
먼저, 광각 카메라를 통해 촬영된 영상을 획득한다(S100).
이어서, 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산한다(S200).
이어서, 연산된 픽셀별 기울기의 방향에서 지면에 수직한 벡터를 추정하고, 카메라로 인해 왜곡된 기울기 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정한다(S300).
이어서, 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 분할한다(S400).
이어서, 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 각각에서 셀 크기를 조정하여 셀의 수가 동일하게 윈도우를 분할하고, 분할된 윈도우 영역의 각각의 셀에서 디스플레이된 영상으로부터 히스토그램을 생성한다(S500).
이어서, 생성된 히스토그램에 기초하여 특징벡터를 추출하고(S600), 특징벡터에 기반한 단일이 분류기를 통하여 특정 물체의 인지 여부를 인식한다(S700).
한편, 본 발명에 따른 단계 S100 내지 단계 S700에 따른 카메라의 왜곡을 고려한 물체 인식 방법을 프로그램화하여 컴퓨터가 읽을 수 있도록 시디롬, 메모리, ROM, EEPROM 등의 기록매체에 저장시킬 수도 있다.
이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 의한 카메라의 왜곡을 고려한 물체 인식 시스템을 이용하면 촬영된 전체의 영상에서 광각 카메라의 렌즈 왜곡을 고려한 픽셀별 기울기의 방향을 보정하고, 미리 보정된 픽셀별 기울기 벡터를 이용하여 물체를 식별할 수 있도록 함으로써 연산 속도를 빠르게 하여, 후방 카메라로 촬영된 차량 주변의 이동 물체를 정확하고 빠르게 인식하여 충돌 방지에 대해 더 정확한 알람을 제공할 수 있으며, 운전시의 안전성을 향상시킬 수 있다.

Claims (15)

  1. 카메라를 통해 촬영된 영상을 획득하는 영상 획득부;
    상기 영상 획득부를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산부;
    상기 기울기 연산부를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기의 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정부;
    상기 기울기 보정부를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 샘플링하는 샘플링 설정부; 및
    상기 기울기 보정부에서 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성부
    를 포함하여 구성된 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  2. 청구항 1에 있어서, 상기 히스토그램 생성부를 통하여 생성된 히스토그램에 기초하여 특징벡터를 추출하는 특징벡터 연산부를 더 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 시스템.
  3. 청구항 1에 있어서, 상기 기울기 보정부는 카메라를 통해 촬영된 영상에서 지면에 수직한 벡터를 추정하여 카메라의 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 미리 보정하여 히스토그램 생성부의 연산속도가 빨라지도록 하는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  4. 청구항 1에 있어서, 상기 히스토그램 생성부는 연산속도를 증가시키기 위해 입력되는 복수개의 윈도우를 그 본래 크기대로 사용하는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  5. 청구항 1에 있어서, 상기 히스토그램 생성부에서 생성된 히스토그램은 상기 기울기 보정부를 통해 왜곡이 전체적으로 보정된 픽셀별 기울기를 이용하여 상기 복수개의 윈도우 각각에서 셀 단위로 형성될 수 있으며, 각 셀마다 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구한 후 이들 히스토그램 빈(bin) 값들을 일렬로 연결한 벡터로 형성되는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  6. 청구항 5에 있어서, 상기 복수개의 윈도우에서 셀의 수는 동일하게 하되 셀 크기를 조정하여 상기 복수개의 윈도우 크기를 그대로 사용하는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  7. 청구항 2에 있어서, 상기 특징벡터에 기반하여 특정 물체의 인지 여부를 인식하는 인식 분류부를 더 포함하되, 인식 분류기는 카메라로 왜곡된 물체의 기울기 각도를 미리 전체적으로 보정한 특징벡터에 기반한 단일의 분류기만으로 구성된 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  8. 카메라를 통해 촬영된 영상을 획득하는 영상 획득단계;
    상기 영상 획득단계를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산단계;
    상기 기울기 연산단계를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정단계;
    상기 기울기 보정단계를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 분할하는 샘플링 설정단계; 및
    상기 기울기 보정단계를 통해 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성단계
    를 포함하는 카메라의 왜곡을 고려한 물체 인식 방법.
  9. 청구항 8에 있어서, 상기 히스토그램 생성단계를 통하여 생성된 히스토그램에 기초하여 특징벡터를 추출하는 특징벡터 연산단계를 더 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  10. 청구항 8에 있어서, 상기 기울기 보정단계는 카메라를 통해 촬영된 영상에서 지면에 수직한 벡터를 추정하여 카메라의 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 미리 보정하여 히스토그램을 생성하는 단계를 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  11. 청구항 8에 있어서, 상기 히스토그램 생성단계에서 생성된 히스토그램은 상기 기울기 보정부를 통해 왜곡이 전체적으로 보정된 픽셀별 기울기를 이용하여 상기 복수개의 윈도우 각각에서 셀 단위로 형성될 수 있으며, 각 셀마다 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구한 후 이들 히스토그램 빈(bin) 값들을 일렬로 연결한 벡터로 형성되는 단계를 포함하는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 방법.
  12. 청구항 8에 있어서, 상기 히스토그램 생성단계에서는 연산속도를 증가시키기 위해 입력되는 복수개의 윈도우를 그 본래 크기대로 사용하는 단계를 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  13. 청구항 12에 있어서, 상기 복수개의 윈도우에서 셀의 수는 동일하게 하되 셀 크기를 조정하여 상기 복수개의 윈도우 크기를 그대로 사용하는 단계를 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  14. 청구항 9에 있어서, 상기 히스토그램 생성단계에서는 특징벡터에 기반하여 특정 물체의 인지 여부를 인식하는 인식 분류단계를 더 포함하되, 인식 분류단계에서는 카메라로 왜곡된 물체의 기울기 각도를 미리 전체적으로 보정한 특징벡터에 기반한 단일의 분류기를 통하여 분류가 진행되는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 카메라의 왜곡을 고려한 물체 인식 방법을 실행하는 프로그램이 기록되어 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2014/012894 2014-12-26 2014-12-26 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 WO2016104842A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2014/012894 WO2016104842A1 (ko) 2014-12-26 2014-12-26 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
KR1020177016401A KR101904480B1 (ko) 2014-12-26 2014-12-26 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2014/012894 WO2016104842A1 (ko) 2014-12-26 2014-12-26 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2016104842A1 true WO2016104842A1 (ko) 2016-06-30

Family

ID=56150848

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/012894 WO2016104842A1 (ko) 2014-12-26 2014-12-26 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101904480B1 (ko)
WO (1) WO2016104842A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837394A (zh) * 2018-03-16 2020-10-27 索尼公司 图像处理装置和图像处理方法
US11682190B2 (en) * 2019-04-10 2023-06-20 Axis Ab Method, system, and device for detecting an object in a distorted image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220153366A (ko) * 2021-05-11 2022-11-18 삼성전자주식회사 이미지 왜곡을 보정하는 방법 및 그 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
KR20130064167A (ko) * 2011-12-08 2013-06-18 주식회사 우신산업 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법
JP5442164B2 (ja) * 2011-03-08 2014-03-12 三菱電機株式会社 移動体周辺映像補正装置
WO2014058086A1 (en) * 2012-10-11 2014-04-17 Lg Electronics Inc. Image processing device and image processing method
KR101464489B1 (ko) * 2013-05-24 2014-11-25 모본주식회사 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
JP5442164B2 (ja) * 2011-03-08 2014-03-12 三菱電機株式会社 移動体周辺映像補正装置
KR20130064167A (ko) * 2011-12-08 2013-06-18 주식회사 우신산업 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법
WO2014058086A1 (en) * 2012-10-11 2014-04-17 Lg Electronics Inc. Image processing device and image processing method
KR101464489B1 (ko) * 2013-05-24 2014-11-25 모본주식회사 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837394A (zh) * 2018-03-16 2020-10-27 索尼公司 图像处理装置和图像处理方法
CN111837394B (zh) * 2018-03-16 2024-01-26 索尼公司 图像处理装置和图像处理方法
US11682190B2 (en) * 2019-04-10 2023-06-20 Axis Ab Method, system, and device for detecting an object in a distorted image

Also Published As

Publication number Publication date
KR101904480B1 (ko) 2018-10-04
KR20170088370A (ko) 2017-08-01

Similar Documents

Publication Publication Date Title
KR101758684B1 (ko) 객체 추적 장치 및 방법
CN109934065B (zh) 一种用于手势识别的方法和装置
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN109598242B (zh) 一种活体检测方法
WO2015126031A1 (ko) 사람 계수 방법 및 그를 위한 장치
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
EP3425590B1 (en) Image processing apparatus, image processing method, and storage medium
WO2019225964A1 (en) System and method for fast object detection
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
US10255511B2 (en) Real time traffic sign recognition
CN111862296A (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
JP6261266B2 (ja) 移動体検知装置
JP5105481B2 (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
KR20130000828A (ko) 얼굴 피쳐 검출 방법
WO2017150899A9 (ko) 전역적 다중 객체 추적을 위한 객체 재식별 방법
CN113508420A (zh) 物体追踪装置以及物体追踪方法
JP2012063869A (ja) ナンバープレート読み取り装置
US20220366570A1 (en) Object tracking device and object tracking method
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
WO2013151205A1 (ko) 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치
WO2017111257A1 (ko) 영상 처리 장치 및 영상 처리 방법
CN111738033A (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
KR101705061B1 (ko) 차량 번호판의 글자 인식을 위한 번호판 검출방법
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14909156

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177016401

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14909156

Country of ref document: EP

Kind code of ref document: A1