KR20170088370A - 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 - Google Patents

카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 Download PDF

Info

Publication number
KR20170088370A
KR20170088370A KR1020177016401A KR20177016401A KR20170088370A KR 20170088370 A KR20170088370 A KR 20170088370A KR 1020177016401 A KR1020177016401 A KR 1020177016401A KR 20177016401 A KR20177016401 A KR 20177016401A KR 20170088370 A KR20170088370 A KR 20170088370A
Authority
KR
South Korea
Prior art keywords
slope
camera
histogram
distortion
image
Prior art date
Application number
KR1020177016401A
Other languages
English (en)
Other versions
KR101904480B1 (ko
Inventor
김동석
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Publication of KR20170088370A publication Critical patent/KR20170088370A/ko
Application granted granted Critical
Publication of KR101904480B1 publication Critical patent/KR101904480B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06K9/3233—
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 관한 것으로, 카메라를 통해 촬영된 영상을 획득하는 영상 획득부; 상기 영상 획득부를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산부; 상기 기울기 연산부를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기의 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정부; 상기 기울기 보정부를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 샘플링하는 샘플링 설정부 및 상기 기울기 보정부에서 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성부를 포함한다.
본 발명의 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 따르면 촬영된 전체의 영상에서 광각 카메라의 렌즈 왜곡을 고려한 픽셀별 기울기의 방향을 보정하고, 기울어진 형태의 윈도우를 이용한 관심 영역을 생성하며, 미리 보정된 픽셀별 기울기 벡터를 이용하여 셀 별로 히스토그램에 대한 특징벡터를 추출 후 물체를 식별할 수 있도록 함으로써 연산 속도를 빠르게 한 효과가 있다.

Description

카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
본 발명은 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 광각 카메라를 이용하여 촬영된 영상의 카메라 렌즈 왜곡을 고려하여 전체 영상에서 특징을 한번 만 연산한 후, 이를 이용하여 물체 분류를 수행하도록 한 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 관한 것이다.
동적인 영상에서 사람들을 탐색하고 추적하는 시스템은 보안, 인간의 행동분석, 로봇비전 및 인간과 컴퓨터 간의 상호작용 분야의 비전 애플리케이션 시스템들 중 가장 중요한 시스템 중의 하나이다.
또한, 상기 사람들을 탐색하고 추적하는 시스템이 원격 보안시스템, 수화 및 제스처 인식 시스템, 원격 교육시스템, 자동 기록 시스템 등에 활용되기 위해서는 카메라를 이용하여 취득한 영상을 분석하여 사람 영역을 분리하고 그 사람 영역이 어떤 동작을 하는지 인식하는 기술이 필요하다.
아울러, 후방 카메라 기반의 운전자 보조 시스템(Advanced Driver Assistance System; ADAS) 중 보행자 보호 시스템에서의 후방 카메라는 광각 렌즈를 사용한다.
그러나, 사람은 행동반경이 넓고 움직임이 빠르며, 사람이 향한 방향에 따라 동작이나 자세가 매우 다양하게 변화할 수 있으므로, 컴퓨터를 이용하여 자동으로 사람 영역을 인식하는 것은 매우 어려운 일이다.
특히, 광각 카메라 사용으로 먼 외곽 부분은 형태가 왜곡되어 인식되기 어려운 문제점이 발생하고 있다.
즉, 외곽 부분은 영상이 압축된 형태로 나타나므로 특징점 추출이 어려우며, 외곽에서 원을 인식하게 되면 광각 렌즈의 왜곡으로 인하여 원이 타원으로 나타나게 되어 특징점 추출이 더욱 어려워지는 문제점이 있었다.
대한민국 공개특허공보 공개번호 제10-2012-0055306호
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 촬영된 전체의 영상에서 광각 카메라의 렌즈 왜곡을 고려한 픽셀별 기울기의 방향을 보정하고, 기울어진 형태의 윈도우를 이용한 관심 영역을 생성하며, 미리 보정된 픽셀별 기울기 벡터를 이용하여 특징벡터를 추출 후 물체를 식별할 수 있도록 함으로써 연산 속도를 빠르게 한 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 카메라의 왜곡을 고려한 물체 인식 시스템은 카메라를 통해 촬영된 영상을 획득하는 영상 획득부; 상기 영상 획득부를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산부; 상기 기울기 연산부를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기의 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정부; 상기 기울기 보정부를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 샘플링하는 설정부 및 상기 기울기 보정부에서 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성부를 포함한다.
상기 히스토그램 생성부를 통하여 생성된 히스토그램에 기초하여 특징벡터를 추출하는 특징벡터 연산부를 더 포함할 수 있다.
상기 기울기 보정부는 카메라를 통해 촬영된 영상에서 지면에 수직한 벡터를 추정하여 카메라의 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 미리 보정하여 히스토그램 생성부의 연산속도가 빨라지도록 할 수 있다.
상기 히스토그램 생성부는 연산속도를 증가시키기 위해 입력되는 복수개의 윈도우를 그 본래 크기대로 사용할 수 있다.
상기 히스토그램 생성부에서 생성된 히스토그램은 상기 기울기 보정부를 통해 왜곡이 전체적으로 보정된 픽셀별 기울기를 이용하여 상기 복수개의 윈도우 각각에서 셀 단위로 형성될 수 있으며, 각 셀마다 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구한 후 이들 히스토그램 빈(bin) 값들을 일렬로 연결한 벡터로 형성될 수 있다.
상기 복수개의 윈도우에서 윈도우의 크기를 다시 조절하는 대신 셀의 수는 동일하게 하되 셀 크기를 조정하여 상기 복수개의 윈도우 크기를 그대로 사용하여 연산 속도를 빠르게 할 수 있다.
상기 특징벡터에 기반하여 특정 물체의 인지 여부를 인식하는 인식 분류부를 더 포함하되, 인식 분류기는 카메라로 왜곡된 물체의 기울기 각도를 미리 전체적으로 보정한 특징벡터에 기반한 단일의 분류기만으로 구성될 수 있다.
그리고, 상술한 목적을 달성하기 위한 본 발명의 카메라의 왜곡을 고려한 물체 인식 방법은 카메라를 통해 촬영된 영상을 획득하는 영상 획득단계; 상기 영상 획득단계를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산단계; 상기 기울기 연산단계를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정단계; 상기 기울기 보정단계를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 분할하는 샘플링 설정단계 및 상기 기울기 보정단계를 통해 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성단계를 포함한다.
상기 히스토그램 생성단계를 통하여 생성된 히스토그램에 기초하여 특징벡터를 추출하는 특징벡터 단계를 더 포함할 수 있다.
상기 카메라를 통해 촬영된 영상에서 지면에 수직한 벡터를 추정하여 카메라의 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 미리 보정하는 단계를 포함할 수 있다.
상기 히스토그램 생성단계에서 생성된 히스토그램은 상기 기울기 보정단계를 통해 왜곡이 전체적으로 보정된 픽셀별 기울기를 이용하여 복수개의 윈도우 각각에서 셀 단위로 형성되는 단계를 포함할 수 있다.
상기 히스토그램 생성단계에서는 연산속도를 증가시키기 위해 입력되는 복수개의 윈도우를 그 본래 크기대로 사용하는 단계를 포함할 수 있다.
상기 복수개의 윈도우에서 셀의 수는 동일하게 하되 셀 크기를 조정하여 상기 복수개의 윈도우 크기를 그대로 사용하는 단계를 포함할 수 있다.
상기 히스토그램 생성단계에서는 특징벡터에 기반하여 특정 물체의 인지 여부를 인식하는 인식 분류단계를 더 포함하되, 인식 분류단계에서는 카메라로 왜곡된 물체의 기울기 각도를 미리 전체적으로 보정한 특징벡터에 기반한 단일의 분류기를 통하여 분류가 진행될 수 있다.
이상에서 설명한 바와 같은 본 발명의 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법에 따르면 촬영된 전체의 영상에서 광각 카메라의 렌즈 왜곡을 고려한 픽셀별 기울기의 방향을 보정하고, 기울어진 형태의 윈도우를 이용한 관심 영역을 생성하며, 미리 보정된 픽셀별 기울기 벡터를 이용하여 셀 별로 히스토그램에 대한 특징벡터를 추출 후 물체를 식별할 수 있도록 함으로써 연산 속도를 빠르게 한 효과가 있다.
도 1은 본 발명의 일실시예에 따른 카메라의 왜곡을 고려한 물체 인식 시스템을 도시한 블록도이며,
도 2는 본 발명의 일실시예에 따른 카메라의 왜곡을 고려한 물체 인식 방법을 설명하기 위한 플로우차트이며,
도 3은 본 발명의 본 발명의 일실시예에 따른 광각 카메라를 통해 촬영된 영상의 예시 도면이며,
도 4는 본 발명의 일실시예에 따른 기울기 연산 영상의 예시 도면이며,
도 5는 본 발명의 일실시예에 따른 지면 모델 영상의 예시 도면이며,
도 6은 본 발명의 일실시예에 따른 기울기 보정 영상의 예시 도면이며,
도 7은 본 발명의 일실시예에 따른 영상의 예시 도면이며,
도 8은 본 발명의 일실시예에 따른 분할된 영상의 예시 도면이며,
도 9는 본 발명의 일실시예에 따른 분할된 샘플링 영상에서 셀 분할 영상의 예시 도면이다.
[부호의 설명]
100: 영상 획득부 200: 기울기 연산부
300: 기울기 보정부 400: 샘플링 설정부
500: 히스토그램 생성부 600: 특징벡터 연산부
700: 인식 분류부
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.
본 발명의 일실시예에 따른 카메라의 왜곡을 고려한 물체 인식 시스템은 도 1에 도시한 바와 같이, 영상 획득부(100), 기울기 연산부(200), 기울기 보정부(300), 샘플링 설정부(400), 히스토그램 생성부(500), 특징벡터 연산부(600) 및 인식 분류부(700)를 포함하여 구성된다.
영상 획득부(100)는 도 3에 도시한 바와 같이, 카메라(미도시)를 통해 촬영된 획득영상(110)을 입력받아 저장하는 것으로, 영상처리를 위한 전처리 과정이 진행될 수 있다.
상기 카메라는 어안 렌즈 등의 광각 렌즈를 사용하는 카메라가 될 수 있다.
따라서, 획득영상(110)은 광각 카메라 사용으로 인한 영상 왜곡이 발생하여 사람 등의 물체는 기울어진 형태로 영상이 생성된다.
기울기 연산부(200)는 상기 영상 획득부(100)를 통해 획득된 획득영상(110)의 전체 영상에서의 픽셀별 기울기(gradient)의 방향(orientation) 및 크기(magnitude)를 소벨(sobel) 연산자 등을 이용하여, 도 4에 도시한 바와 같이 기울기 연산 영상(210)을 생성한다.
상기 기울기 연산 영상(210)에서 인식 대상인 물체는 지면에 수직한 상태인 것으로 가정하므로, 기울기 연산 영상(210)에서 물체의 기울기 방향은 물체의 본래 형상에 의한 기울기 방향과 광각 카메라 사용으로 인해 왜곡된 기울기 방향의 합으로 나타난다.
따라서, 광각 카메라 사용으로 인해 왜곡된 기울기 방향을 추정하고 이를 전체 영상에서의 픽셀별 기울기 방향을 계산하는데 적용하여, 카메라 왜곡에 의한 기울기 방향이 제거된 물체 본래 형상에 의한 기울기 방향을 보정하는 과정이 필요하다.
기울기 보정부(300)는 상술한 물체 본래 형상에 의한 기울기 방향을 보정하기 위한 것으로, 상기 기울기 연산부(200)를 통해 생성된 기울기 연산 영상(210)의 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기의 방향을 추정하여, 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 보정 함으로써 도 6에 도시한 바와 같이 기울기 보정 영상(350)을 생성한다.
이때, 기울기 보정 영상(350)은 왜곡된 영상을 펼치도록 좌표를 변경하는 것이 아니고, 영상을 이루는 매트릭스 상의 기울기 방향의 수치만 변경하여, 물체의 기울기 방향을 보정하는 것이다.
상기 기울기 보정부(300)는 왜곡에 의한 픽셀별 기울기의 방향을 보정 하기 위해서, 도 5에 도시한 바와 같이 지면에 수직한 벡터(Surface normal vector)를 추정한 지면 모델 영상(310)을 이용한다.
즉, 광각 카메라를 이용함으로써 왜곡으로 인한 픽셀별 기울기 방향의 보정을 위해 왜곡 영상에서의 지면을 모델링(Ground modeling)하고, 지면에 수직한 벡터를 추정하여 카메라 왜곡에 의한 픽셀별 기울기 방향을 보정하여 물체에 의한 기울어진 방향만으로 특징을 추출할 수 있도록 한다.
예를 들어, 기울기 연산 영상(210)에서 사람이 존재할 때, 사람 형상을 이루는 경계선의 픽셀별 기울기 방향은 사람의 기울어진 방향과 광각 카메라를 통한 왜곡에 의해 기울어진 방향의 합으로 나타나므로, 지면 모델을 통해 왜곡에 의해 기울어진 방향을 추정하여 이를 보정함으로써 사람에 의한 기울어진 방향만으로 특징을 추출할 수 있도록 하는 것이다.
샘플링 설정부(400)는 상기 기울기 보정부(300)를 통한 왜곡이 보정된 영상에서 기울어진 형태의 슬라이딩 윈도우 기법(Sliding window technique)을 이용하여 관심영역(ROI)에 해당하는 영역을 복수개의 윈도우(W)로 샘플링함으로써, 도 7에 도시한 바와 같이 샘플링 영상(410)을 생성한다.
상기 윈도우(W)는 도 8에 도시한 바와 같이, 근거리의 윈도우 및 원거리의 윈도우의 등의 크기가 다른 복수개의 윈도우(W)가 샘플링되어 추출된다.
히스토그램 생성부(500)는 상기 샘플링 설정부(400)를 통하여 생성된 윈도우(W)에서, 도 9에 도시한 바와 같이 동일한 갯수의 셀(S)을 가지도록 윈도우(W)를 분할하고, 상기 기울기 보정부(300)에서 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우(W)에서 디스플레이된 영상으로부터 히스토그램을 생성한다.
이때, 크기가 다른 각각의 윈도우(W)에서 셀(S)의 갯수는 동일하게 하여야 하므로, 윈도우(W)의 크기가 작으면 셀(S) 크기도 작고, 윈도우(W)가 크면 셀(S) 크기도 크다.
여기서, 윈도우(W) 크기는 달라도 윈도우(W)의 셀(S) 갯수를 동일하게 함으로써, 특징점 차원(feature dimension)을 동일하게 유지할 수 있다.
즉, 입력 영상 크기에 상관없이 셀 수를 유지하여 특징점 차원을 유지한다.
이어서, 윈도우(W)를 이루는 각각의 셀(S)에서 상기 기울기 보정부(300)를 통하여 왜곡이 전체적으로 보정된 픽셀별 기울기 정보를 이용하여 히스토그램을 생성한다.
이때, 각 셀마다 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구한 후 이들 히스토그램 빈(bin) 값들을 일렬로 연결한 벡터로 형성된다.
참고로, 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구하는 방식은 본 분야에서 공지된 기술인 HOG(Histogram of Oriented Gradient)를 이용하는 것이므로 그 상세한 설명은 생략한다.
특징벡터 연산부(600)는 상기 히스토그램 생성부(500)를 통하여 생성된 히스토그램에 기초하여 물체의 특징벡터를 추출한다.
본 발명에서는 기울기 보정부(300)를 통하여 전체 영상에서 기울기 보정을 한번만 연산하고, 셀(S)에서 히스토그램을 생성할 때는 각각의 윈도우(W) 마다 이미 보정된 기울기 정보를 이용하여 특징 벡터를 생성함으로 연산 속도가 빨라진다.
또한, 상기 윈도우(W)의 크기를 같은 크기로 조정하는 과정 없이, 본래 크기 대로 사용함으로써 연산 속도가 빨라진다.
인식 분류부(700)는 상기 특징벡터 연산부(600)를 통한 특징벡터에 기반하여 특정 물체의 인지 여부를 인식한다.
예를 들어, 각각의 윈도우(W) 내에 사람이 있는지를 판단하기 위해 SVM(support vector machine) 등의 분류기(classification)를 통하여 특징 벡터를 비교함으로써 사람인지 아닌지 판단할 수 있다.
상기 인식 분류부(700)는 기울기 보정부(300)를 통해 이미 기울기 보정이 된 상태에서 특징 벡터를 비교하므로, 단일의 분류기만으로 구성될 수 있다.
상술한 바와 같이 이루어진 카메라의 왜곡을 고려한 물체 인식 시스템은 다음과 같이 동작한다.
먼저, 광각 카메라를 통해 촬영된 영상을 획득한다(S100).
이어서, 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산한다(S200).
이어서, 연산된 픽셀별 기울기의 방향에서 지면에 수직한 벡터를 추정하고, 카메라로 인해 왜곡된 기울기 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정한다(S300).
이어서, 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 분할한다(S400).
이어서, 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 각각에서 셀 크기를 조정하여 셀의 수가 동일하게 윈도우를 분할하고, 분할된 윈도우 영역의 각각의 셀에서 디스플레이된 영상으로부터 히스토그램을 생성한다(S500).
이어서, 생성된 히스토그램에 기초하여 특징벡터를 추출하고(S600), 특징벡터에 기반한 단일이 분류기를 통하여 특정 물체의 인지 여부를 인식한다(S700).
한편, 본 발명에 따른 단계 S100 내지 단계 S700에 따른 카메라의 왜곡을 고려한 물체 인식 방법을 프로그램화하여 컴퓨터가 읽을 수 있도록 시디롬, 메모리, ROM, EEPROM 등의 기록매체에 저장시킬 수도 있다.
이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 의한 카메라의 왜곡을 고려한 물체 인식 시스템을 이용하면 촬영된 전체의 영상에서 광각 카메라의 렌즈 왜곡을 고려한 픽셀별 기울기의 방향을 보정하고, 미리 보정된 픽셀별 기울기 벡터를 이용하여 물체를 식별할 수 있도록 함으로써 연산 속도를 빠르게 하여, 후방 카메라로 촬영된 차량 주변의 이동 물체를 정확하고 빠르게 인식하여 충돌 방지에 대해 더 정확한 알람을 제공할 수 있으며, 운전시의 안전성을 향상시킬 수 있다.

Claims (15)

  1. 카메라를 통해 촬영된 영상을 획득하는 영상 획득부;
    상기 영상 획득부를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산부;
    상기 기울기 연산부를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기의 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정부;
    상기 기울기 보정부를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 샘플링하는 샘플링 설정부; 및
    상기 기울기 보정부에서 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성부
    를 포함하여 구성된 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  2. 청구항 1에 있어서, 상기 히스토그램 생성부를 통하여 생성된 히스토그램에 기초하여 특징벡터를 추출하는 특징벡터 연산부를 더 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 시스템.
  3. 청구항 1에 있어서, 상기 기울기 보정부는 카메라를 통해 촬영된 영상에서 지면에 수직한 벡터를 추정하여 카메라의 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 미리 보정하여 히스토그램 생성부의 연산속도가 빨라지도록 하는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  4. 청구항 1에 있어서, 상기 히스토그램 생성부는 연산속도를 증가시키기 위해 입력되는 복수개의 윈도우를 그 본래 크기대로 사용하는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  5. 청구항 1에 있어서, 상기 히스토그램 생성부에서 생성된 히스토그램은 상기 기울기 보정부를 통해 왜곡이 전체적으로 보정된 픽셀별 기울기를 이용하여 상기 복수개의 윈도우 각각에서 셀 단위로 형성될 수 있으며, 각 셀마다 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구한 후 이들 히스토그램 빈(bin) 값들을 일렬로 연결한 벡터로 형성되는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  6. 청구항 5에 있어서, 상기 복수개의 윈도우에서 셀의 수는 동일하게 하되 셀 크기를 조정하여 상기 복수개의 윈도우 크기를 그대로 사용하는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  7. 청구항 2에 있어서, 상기 특징벡터에 기반하여 특정 물체의 인지 여부를 인식하는 인식 분류부를 더 포함하되, 인식 분류기는 카메라로 왜곡된 물체의 기울기 각도를 미리 전체적으로 보정한 특징벡터에 기반한 단일의 분류기만으로 구성된 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 시스템.
  8. 카메라를 통해 촬영된 영상을 획득하는 영상 획득단계;
    상기 영상 획득단계를 통해 획득된 전체 영상에서의 픽셀별 기울기의 방향 및 크기를 연산하는 기울기 연산단계;
    상기 기울기 연산단계를 통해 연산된 픽셀별 기울기의 방향에서 카메라로 인해 왜곡된 기울기 방향을 추정하여 왜곡에 의한 기울기의 방향을 전체적으로 보정하는 기울기 보정단계;
    상기 기울기 보정단계를 통한 왜곡이 보정된 영상에서 관심영역에 해당하는 영역을 복수개의 윈도우로 분할하는 샘플링 설정단계; 및
    상기 기울기 보정단계를 통해 보정된 픽셀별 기울기의 벡터를 이용하여 상기 복수개의 윈도우 영역에서 디스플레이된 영상으로부터 히스토그램을 생성하는 히스토그램 생성단계
    를 포함하는 카메라의 왜곡을 고려한 물체 인식 방법.
  9. 청구항 8에 있어서, 상기 히스토그램 생성단계를 통하여 생성된 히스토그램에 기초하여 특징벡터를 추출하는 특징벡터 연산단계를 더 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  10. 청구항 8에 있어서, 상기 기울기 보정단계는 카메라를 통해 촬영된 영상에서 지면에 수직한 벡터를 추정하여 카메라의 왜곡에 의한 픽셀별 기울기의 방향을 전체적으로 미리 보정하여 히스토그램을 생성하는 단계를 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  11. 청구항 8에 있어서, 상기 히스토그램 생성단계에서 생성된 히스토그램은 상기 기울기 보정부를 통해 왜곡이 전체적으로 보정된 픽셀별 기울기를 이용하여 상기 복수개의 윈도우 각각에서 셀 단위로 형성될 수 있으며, 각 셀마다 에지(edge) 픽셀들의 기울기 방향에 대한 히스토그램을 구한 후 이들 히스토그램 빈(bin) 값들을 일렬로 연결한 벡터로 형성되는 단계를 포함하는 것을 특징으로 한 카메라의 왜곡을 고려한 물체 인식 방법.
  12. 청구항 8에 있어서, 상기 히스토그램 생성단계에서는 연산속도를 증가시키기 위해 입력되는 복수개의 윈도우를 그 본래 크기대로 사용하는 단계를 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  13. 청구항 12에 있어서, 상기 복수개의 윈도우에서 셀의 수는 동일하게 하되 셀 크기를 조정하여 상기 복수개의 윈도우 크기를 그대로 사용하는 단계를 포함하는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  14. 청구항 9에 있어서, 상기 히스토그램 생성단계에서는 특징벡터에 기반하여 특정 물체의 인지 여부를 인식하는 인식 분류단계를 더 포함하되, 인식 분류단계에서는 카메라로 왜곡된 물체의 기울기 각도를 미리 전체적으로 보정한 특징벡터에 기반한 단일의 분류기를 통하여 분류가 진행되는 것을 특징으로 하는 카메라의 왜곡을 고려한 물체 인식 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 카메라의 왜곡을 고려한 물체 인식 방법을 실행하는 프로그램이 기록되어 컴퓨터로 읽을 수 있는 기록매체.
KR1020177016401A 2014-12-26 2014-12-26 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 KR101904480B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2014/012894 WO2016104842A1 (ko) 2014-12-26 2014-12-26 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170088370A true KR20170088370A (ko) 2017-08-01
KR101904480B1 KR101904480B1 (ko) 2018-10-04

Family

ID=56150848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177016401A KR101904480B1 (ko) 2014-12-26 2014-12-26 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101904480B1 (ko)
WO (1) WO2016104842A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200131231A (ko) * 2018-03-16 2020-11-23 소니 주식회사 화상 처리 장치와 화상 처리 방법
EP3722991B1 (en) * 2019-04-10 2024-05-29 Axis AB Method, system, and device for detecting an object in a distorted image
KR20220153366A (ko) * 2021-05-11 2022-11-18 삼성전자주식회사 이미지 왜곡을 보정하는 방법 및 그 전자 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
JP5442164B2 (ja) * 2011-03-08 2014-03-12 三菱電機株式会社 移動体周辺映像補正装置
KR101305316B1 (ko) * 2011-12-08 2013-09-06 아진산업(주) 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법
EP2907298B1 (en) * 2012-10-11 2019-09-18 LG Electronics Inc. Image processing device and image processing method
KR101464489B1 (ko) * 2013-05-24 2014-11-25 모본주식회사 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템

Also Published As

Publication number Publication date
WO2016104842A1 (ko) 2016-06-30
KR101904480B1 (ko) 2018-10-04

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
KR101758684B1 (ko) 객체 추적 장치 및 방법
JP6125188B2 (ja) 映像処理方法及び装置
US9619708B2 (en) Method of detecting a main subject in an image
CN105740780B (zh) 人脸活体检测的方法和装置
US8170368B2 (en) Correcting device and method for perspective transformed document images
CN109934065B (zh) 一种用于手势识别的方法和装置
EP3168810A1 (en) Image generating method and apparatus
US10521659B2 (en) Image processing device, image processing method, and image processing program
US9747507B2 (en) Ground plane detection
CN104268853A (zh) 一种红外图像与可见光图像配准方法
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
Suddamalla et al. A novel algorithm of lane detection addressing varied scenarios of curved and dashed lanemarks
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
CN108875500B (zh) 行人再识别方法、装置、系统及存储介质
KR101904480B1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
US20210335010A1 (en) Calibration method and calibration apparatus
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
Hoang et al. Scalable histogram of oriented gradients for multi-size car detection
KR101733288B1 (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
CN109690555B (zh) 基于曲率的脸部检测器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant