KR101500552B1 - 차량의 영상 처리 장치 및 방법 - Google Patents

차량의 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101500552B1
KR101500552B1 KR1020130034759A KR20130034759A KR101500552B1 KR 101500552 B1 KR101500552 B1 KR 101500552B1 KR 1020130034759 A KR1020130034759 A KR 1020130034759A KR 20130034759 A KR20130034759 A KR 20130034759A KR 101500552 B1 KR101500552 B1 KR 101500552B1
Authority
KR
South Korea
Prior art keywords
recognition
resolution
vehicle
image data
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130034759A
Other languages
English (en)
Other versions
KR20140118579A (ko
Inventor
이희공
김진헌
김동균
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020130034759A priority Critical patent/KR101500552B1/ko
Publication of KR20140118579A publication Critical patent/KR20140118579A/ko
Application granted granted Critical
Publication of KR101500552B1 publication Critical patent/KR101500552B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량의 영상 처리 장치 및 방법에 관한 것으로, 본 발명에 따른 방법은 카메라에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출하는 단계, 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정하는 단계, 그리고 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식하는 단계를 포함한다. 본 발명에 의하면, 데이터 처리량을 줄이면서도 운전자가 원하는 인식 대상의 인식 성능을 향상시킬 수 있다.

Description

차량의 영상 처리 장치 및 방법{Apparatus and Method for Processing Image of Vehicle}
본 발명은 차량의 영상 처리 장치 및 방법에 관한 것으로, 보다 자세하게는 카메라의 영상 데이터에서 추출된 인식 대상의 후보 영역을 고해상도로 영상 처리하여 인식 대상의 인식 성능을 개선할 수 있는 차량의 영상 처리 장치 및 방법에 관한 것이다.
최근 들어, 차량이 점차적으로 증가함에 따라 차량의 충돌, 접촉이나 파손 등과 같은 차량의 사고 발생 시에 해당 차량의 사고 장면을 영상으로 저장하기 위한 차량용 영상 저장 시스템이 개발되어 차량의 사고 원인을 분석하는데 매우 유용하게 사용되고 있다.
일반적으로 차량용 영상 저장 시스템은 차량의 사고 발생 시에 사고 발생 이전의 일정 시간부터 사고 발생 이후의 일정 시간까지 카메라를 통해 들어오는 영상 데이터를 메모리에 저장하였다가 차량의 사고 원인을 분석할 경우에 메모리로부터 저장된 영상 데이터를 판독하여 LCD(Liquid Crystal Display)나 모니터 등을 통해 디스플레이할 수 있도록 한다.
하지만, 종래의 차량용 영상 저장 시스템은 초기에는 저해상도(320*240)의 화면을 저장함에 따라 상대 차량의 번호판, 신호등이나 원거리 보행자 등의 화면을 정확하게 판독할 수 없는 문제점이 있었다.
이에 상술한 문제점을 해결하기 위하여 고해상도의 VGA급(Video Graphic Array, 640*480)이나 HD급(High Definition, 1280*720)부터 이보다 더 높은 해상도를 요구하는 수요에 의해 풀(full) HD급(1980*1080)의 해상도를 가지는 차량용 영상 저장 시스템이 개발되었다.
그러나, 이와 같이 점점 더 높은 해상도를 가진 차량용 영상 저장 시스템이 개발됨에 따라 고해상도의 화면 압축을 위한 연산량이 증대하여 연산 시간의 소모가 크고, CPU(Central Processing Unit)의 부하가 커지는 문제점이 있었다.
또한, 차량용 영상 저장 시스템은 영상 데이터 전체를 고해상도로 영상 처리해야 하기 때문에 데이터 처리량이 증가하는 문제점이 있었다.
KR 2002-0020050 A
따라서 본 발명이 해결하고자 하는 과제는 카메라의 영상 데이터에서 추출된 인식 대상의 후보 영역에 대하여 고해상도로 영상 처리하여 인식 대상을 인식함으로써 데이터 처리량을 줄이면서도 운전자가 원하는 인식 대상의 인식 성능을 향상시킬 수 있는 차량의 영상 처리 장치 및 방법을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 차량의 영상 처리 방법은 카메라에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출하는 단계, 상기 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정하는 단계, 그리고 상기 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식하는 단계를 포함한다.
상기 카메라에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출하는 단계는 상기 영상 데이터 중 차량으로부터 미리 정해진 제1 거리 범위에 해당하는 제1 영상 데이터 영역에서 제1 인식 대상의 후보 영역을 추출하는 단계, 그리고 상기 영상 데이터 중에서 차량으로부터 미리 정해진 제2 거리 범위에 해당하는 제2 영상 데이터 영역에서 제2 인식 대상의 후보 영역을 추출하는 단계를 포함할 수 있다.
상기 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정하는 단계는 상기 추출된 제1 인식 대상의 후보 영역의 해상도를 제1 고해상도로 조정하는 단계, 그리고 상기 추출된 제2 인식 대상의 후보 영역의 해상도를 제2 고해상도로 조정하는 단계를 포함할 수 있다.
상기 추출된 제1 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제1 고해상도로 조정하고, 상기 추출된 제2 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제2 고해상도로 조정하는 것을 특징으로 할 수 있다.
상기 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식하는 단계는 상기 해상도가 조정된 제1 인식 대상의 후보 영역에서 제1 인식 알고리즘을 사용하여 제1 인식 대상을 인식하는 단계, 그리고 상기 해상도가 조정된 제2 인식 대상의 후보 영역에서 제2 인식 알고리즘을 사용하여 제2 인식 대상을 인식하는 단계를 포함할 수 있다.
상기 제1 영상 데이터 영역은 상기 제2 영상 데이터 영역보다 상기 차량으로부터 근접한 위치에 있는 영역인 것을 특징으로 할 수 있다.
상기 제1 인식 대상은 차량의 번호판이고, 상기 제2 인식 대상은 움직이는 사람 또는 물체인 것을 특징으로 할 수 있다.
한편, 본 발명의 일 실시예에 따른 차량의 영상 처리 장치는 카메라에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출하는 추출부, 상기 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정하는 조정부, 그리고 상기 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식하는 인식부를 포함한다.
상기 추출부는 상기 영상 데이터 중 차량으로부터 미리 정해진 제1 거리 범위에 해당하는 제1 영상 데이터 영역에서 제1 인식 대상의 후보 영역을 추출하는 제1 추출부, 그리고 상기 영상 데이터 중에서 차량으로부터 미리 정해진 제2 거리 범위에 해당하는 제2 영상 데이터 영역에서 제2 인식 대상의 후보 영역을 추출하는 제2 추출부를 포함할 수 있다.
상기 조정부는 상기 추출된 제1 인식 대상의 후보 영역의 해상도를 제1 고해상도로 조정하는 제1 조정부, 그리고 상기 추출된 제2 인식 대상의 후보 영역의 해상도를 제2 고해상도로 조정하는 제2 조정부를 포함할 수 있다.
상기 제1 조정부는 상기 추출된 제1 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제1 고해상도로 조정하고, 상기 제2 조정부는 상기 추출된 제2 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제2 고해상도로 조정하는 것을 특징으로 할 수 있다.
상기 인식부는 상기 해상도가 조정된 제1 인식 대상의 후보 영역에서 제1 인식 알고리즘을 사용하여 제1 인식 대상을 인식하는 제1 인식부, 그리고 상기 해상도가 조정된 제2 인식 대상의 후보 영역에서 제2 인식 알고리즘을 사용하여 제2 인식 대상을 인식하는 제2 인식부를 포함할 수 있다.
상기 제1 영상 데이터 영역은 상기 제2 영상 데이터 영역보다 상기 차량으로부터 근접한 위치에 있는 영역인 것을 특징으로 할 수 있다.
상기 제1 인식 대상은 차량의 번호판이고, 상기 제2 인식 대상은 움직이는 사람 또는 물체인 것을 특징으로 할 수 있다.
이와 같이 본 발명의 실시예에 따른 차량의 영상 처리 장치 및 방법에 따르면, 카메라에서 촬영된 영상 데이터에서 추출된 인식 대상의 후보 영역에 대하여 고해상도로 영상 처리하여 인식 대상을 인식함으로써 데이터 처리량을 줄이면서도 운전자가 원하는 인식 대상의 인식 성능을 향상시킬 수 있는 장점이 있다.
즉, 차량과의 거리에 따라 정해지는 복수 개의 영상 데이터 영역에서 각 영상 데이터 영역에 해당하는 인식 대상의 후보 영역을 보다 용이하게 추출할 수 있으며, 추출된 인식 대상의 후보 영역을 고해상도로 영상 처리를 수행한 후, 인식 대상을 인식함으로써 데이터 처리를 위한 부하를 줄일 수 있고, 작업 처리량을 감소시킬 수 있는 장점이 있다.
이에 따라, 번호판의 문자 판별 성능이 개선되고, 원거리 보행자의 인식 성능을 개선할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 영상 처리 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 제1 및 제2 영상 데이터 영역에 있는 제1 및 제2 인식 대상의 후보 영역을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 영상 처리 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 차량의 영상 처리 장치의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 차량의 영상 처리 장치(100)는 카메라(110), 저장부(120), 추출부(130), 조정부(140) 및 인식부(150)를 포함하여 구성되며, 차량에 장착되어 이용되는 네비게이션 등과 같이 고정된 위치에서 주로 사용되는 정보 통신 단말로 이루어질 수 있다.
카메라(110)는 차량의 주변 상황을 촬영하고, 촬영된 영상 데이터를 저장부(120) 및 추출부(130)에 전달할 수 있다. 여기서, 카메라(110)는 차량의 전방, 후방, 좌측 또는 우측에 설치될 수 있으며, 광각 렌즈(wide angle lens) 또는 어안 렌즈(fish eye lens) 등과 같이 화각이 큰 렌즈를 구비할 수 있다. 전방에 설치되는 카메라는 차량의 본넷 중심에 설치되고, 좌측 및 우측에 설치되는 카메라는 각각 차량의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한, 후방에 설치되는 카메라는 후방 범퍼 위쪽의 중앙에 설치될 수 있으며, 전방 및 후방에 설치된 카메라는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치될 수 있다. 이와 같이, 카메라(110)는 170°이상의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하며, 촬영된 영상 데이터를 저장부(120) 및 추출부(130)에 전달할 수 있다.
그리고, 카메라(110)는 고해상도를 가지는 카메라로 이루어질 수 있는데, 특히, 풀(full) HD급(1980*1080)의 해상도를 가지는 카메라로 이루어질 수 있다.
저장부(120)는 차량의 영상 처리 장치(100)의 제어 동작 및 운용에 필요한 프로그램 및 데이터를 저장하는데, 특히, 본 발명의 일 실시예에 의한 저장부(120)는 카메라(110)로부터 전달 받은 영상 데이터를 저장할 수 있다. 저장부(120)는 차량의 충돌, 접촉이나 파손 등과 같은 차량의 사고 발생 시에 해당 차량의 사고 장면을 획득하기 위한 블랙박스(Black Box) 용으로 영상 데이터를 저장할 수 있다.
추출부(130)는 카메라(110)에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출할 수 있다. 여기서, 제1 인식 대상은 차량의 번호판, 사람이나 물체 등으로 이루어질 수 있으며, 제2 인식 대상은 움직이는 사람이나 물체(MOD: Moving Object Detection) 등으로 이루어질 수 있다. 제1 인식 대상의 후보 영역은 예컨대, 제1 인식 대상이 차량의 번호판인 경우, 차량의 번호판과 유사한 형태인 사각 형상의 이미지로 이루어질 수 있다.
보다 자세하게는, 추출부(130)는 제1 및 제2 추출부(132)(134)를 포함할 수 있다. 제1 추출부(132)는 영상 데이터 중 차량으로부터 미리 정해진 제1 거리 범위에 해당하는 제1 영상 데이터 영역에서 제1 인식 대상의 후보 영역을 추출할 수 있다. 제2 추출부(134)는 영상 데이터 중 차량으로부터 미리 정해진 제2 거리 범위에 해당하는 제2 영상 데이터 영역에서 제2 인식 대상의 후보 영역을 추출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 제1 및 제2 영상 데이터 영역에 있는 제1 및 제2 인식 대상의 후보 영역을 보여주는 도면으로, 도 2를 참조하여 예를 들어 설명하면, 추출부(130)는 영상 데이터(P0)를 차량으로부터 미리 정해진 제1 거리 범위(0 ~ 20m)에 해당하는 제1 영상 데이터 영역(근거리 영역, P1)과 차량으로부터 미리 정해진 제2 거리 범위(20m ~ 100m)에 해당하는 제2 영상 데이터 영역(원거리 영역, P2)으로 구분하고, 구분된 제1 영상 데이터 영역(P1)과 제2 영상 데이터 영역(P2) 각각에서 제1 인식 대상의 후보 영역(C를 포함함)과 제2 인식 대상의 후보 영역(P를 포함함)을 추출하게 할 수 있다. 여기서, 제1 영상 데이터 영역(P1)은 차량의 번호판(C)을 판별하거나 객체를 인식하기 위한 영상 영역이고, 제2 영상 데이터 영역(P2)은 MOD(Moving Object Detection)를 위한 객체(P) 인식 영상 영역으로, 제1 영상 데이터 영역(P1)은 제2 영상 데이터 영역(P2)보다 차량으로부터 근접한 위치에 있을 수 있다. 또한, 근거리 영역인 제1 영상 데이터 영역(P1)과 원거리 영역인 제2 영상 데이터 영역(P2)은 일부 영역이 중첩되도록 구성될 수 있다.
이와 같이, 차량의 영상 처리 장치(100)는 추출부(130)를 통해 차량과의 거리에 따라 정해지는 복수 개의 영상 데이터 영역에서 각 영상 데이터 영역에 해당하는 인식 대상의 후보 영역을 보다 용이하게 추출할 수 있다.
조정부(140)는 추출부(130)에서 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정할 수 있다.
보다 구체적으로 설명하면, 조정부(140)는 제1 및 제2 조정부(142)(144)를 포함할 수 있는데, 제1 조정부(142)는 제1 추출부(132)에서 추출된 제1 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제1 고해상도로 조정할 수 있다. 제2 조정부(144)는 제2 추출부(134)에서 추출된 제2 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션 기법을 사용하여 제2 고해상도로 조정할 수 있다.
여기서, 슈퍼 레졸루션(Super Resolution) 기법이란 연속된 화면에 특정 프레임을 반복적으로 중첩시켜 선명한 영상을 확보하는 기술로, 예를 들어, 다섯 장의 연속된 영상이 있을 경우, 첫 번째 영상에는 1이라는 정보가 있는 대신에 2~5란 정보가 없고, 두번째 영상에는 2란 정보는 있지만, 1,3,4,5의 정보는 없을 경우, 이런 식으로 부족한 부분을 계속 중첩해서 정보를 찾게 되면, 결국에는 원하는 1~5의 정보를 종합적으로 추출할 수 있는 고해상도의 영상을 확보하기 위한 기법을 말한다.
이와 같이, 제1 조정부(142)는 제1 추출부(132)에서 추출된 제1 인식 대상의 후보 영역에 해당하는 영상을 선명하게 하기 위해 제1 인식 대상 후보 영역의 해상도를 제1 고해상도로 조정하고, 제2 조정부(144)는 제2 추출부(134)에서 추출된 제2 인식 대상의 후보 영역에 해당하는 영상을 선명하게 하기 위해 제2 인식 대상 후보 영역의 해상도를 제2 고해상도로 조정할 수 있다.
이외에 조정부(140)는 다양한 기법을 사용하여 제1 및 제2 인식 대상의 후보 영역에 대하여 고해상도(Super Resolution: High Quality Resolution)의 영상 처리를 수행할 수 있다.
인식부(150)는 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식할 수 있다.
보다 상세하게는, 인식부(150)는 제1 및 제2 인식부(152)(154)를 포함할 수 있는데, 제1 인식부(152)는 해상도가 조정된 제1 인식 대상의 후보 영역에서 제1 인식 알고리즘을 사용하여 제1 인식 대상을 인식할 수 있다. 제2 인식부(154)는 해상도가 조정된 제2 인식 대상의 후보 영역에서 제2 인식 알고리즘을 사용하여 제2 인식 대상을 인식할 수 있다.
예를 들어, 인식 대상의 후보 영역에 대하여 해상도를 조정하고, 인식 알고리즘을 사용하여 인식하면, 운전자가 원하는 대상인 차량의 번호판에 대한 판별 여부와 번호판에 있는 문자를 알 수 있기 때문에 인식 대상을 정확하게 인식할 수 있는 것이다. 이에 따라, 차량 번호판의 문자 판별 성능이 개선되고, 원거리 보행자의 인식 성능을 개선할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 차량의 영상 처리 과정에 대하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 차량의 영상 처리 과정을 보여주는 동작 흐름도를 나타낸다.
도 3에 도시한 바와 같이, 카메라에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출한다(S310). 여기서, 제1 인식 대상은 차량의 번호판, 사람이나 물체 등으로 이루어질 수 있으며, 제2 인식 대상은 움직이는 사람이나 물체(MOD: Moving Object Detection) 등으로 이루어질 수 있다. 제1 인식 대상의 후보 영역은 예컨대, 제1 인식 대상이 차량의 번호판인 경우, 차량의 번호판과 유사한 형태인 사각 형상의 이미지로 이루어질 수 있다.
보다 자세하게는, 영상 데이터 중 차량으로부터 미리 정해진 제1 거리 범위에 해당하는 제1 영상 데이터 영역에서 제1 인식 대상의 후보 영역을 추출할 수 있고, 영상 데이터 중 차량으로부터 미리 정해진 제2 거리 범위에 해당하는제2 영상 데이터 영역에서 제2 인식 대상의 후보 영역을 추출할 수 있다.
도 2를 참조하여 예를 들어 설명하면, 영상 데이터(P0)를 차량으로부터 미리 정해진 제1 거리 범위(0 ~ 20m)에 해당하는 제1 영상 데이터 영역(근거리 영역, P1)과 차량으로부터 미리 정해진 제2 거리 범위(20m ~ 100m)에 해당하는 제2 영상 데이터 영역(원거리 영역, P2)으로 구분하고, 구분된 제1 영상 데이터 영역(P1)과 제2 영상 데이터 영역(P2) 각각에서 제1 인식 대상의 후보 영역(C를 포함함)과 제2 인식 대상의 후보 영역(P를 포함함)을 추출하게 할 수 있다. 여기서, 제1 영상 데이터 영역(P1)은 차량의 번호판(C)을 판별하거나 객체를 인식하기 위한 영상 영역이고, 제2 영상 데이터 영역(P2)은 MOD(Moving Object Detection)를 위한 객체(P) 인식 영상 영역으로, 제1 영상 데이터 영역(P1)은 제2 영상 데이터 영역(P2)보다 차량으로부터 근접한 위치에 있을 수 있다. 또한, 근거리 영역인 제1 영상 데이터 영역(P1)과 원거리 영역인 제2 영상 데이터 영역(P2)은 일부 영역이 중첩되도록 구성될 수 있다.
이와 같이, 차량과의 거리에 따라 정해지는 복수 개의 영상 데이터 영역에서 각 영상 데이터 영역에 해당하는 인식 대상의 후보 영역을 보다 용이하게 추출할 수 있다.
그리고, 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정한다(S320).
보다 구체적으로는, 추출된 제1 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제1 고해상도로 조정할 수 있고, 추출된 제2 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션 기법을 사용하여 제2 고해상도로 조정할 수 있다.
이와 같이, 추출된 제1 인식 대상의 후보 영역에 해당하는 영상을 선명하게 하기 위해 제1 인식 대상 후보 영역의 해상도를 제1 고해상도로 조정하고, 제2 조정부(144)는 추출된 제2 인식 대상의 후보 영역에 해당하는 영상을 선명하게 하기 위해 제2 인식 대상 후보 영역의 해상도를 제2 고해상도로 조정할 수 있다.
다음으로, 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식할 수 있다(S330). 즉, 해상도가 조정된 제1 인식 대상의 후보 영역에서 제1 인식 알고리즘을 사용하여 제1 인식 대상을 인식할 수 있고, 해상도가 조정된 제2 인식 대상의 후보 영역에서 제2 인식 알고리즘을 사용하여 제2 인식 대상을 인식할 수 있다.
예를 들어, 인식 대상의 후보 영역에 대하여 해상도를 조정하고, 인식 알고리즘을 사용하여 인식하면, 운전자가 원하는 대상인 차량의 번호판에 대한 판별 여부와 번호판에 있는 문자를 알 수 있기 때문에 인식 대상을 정확하게 인식할 수 있는 것이다. 이에 따라, 차량 번호판의 문자 판별 성능이 개선되고, 원거리 보행자의 인식 성능을 개선할 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 차량의 영상 처리 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 차량의 영상 처리 장치
110: 카메라
120: 저장부
130: 추출부 132: 제1 추출부
134: 제2 추출부 140: 조정부
142: 제1 조정부 144: 제2 조정부
150: 인식부 152: 제1 인식부
154: 제2 인식부

Claims (14)

  1. 카메라에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출하는 단계,
    상기 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정하는 단계, 그리고
    상기 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식하는 단계를 포함하고,
    상기 카메라에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출하는 단계는,
    상기 영상 데이터 중 차량으로부터 미리 정해진 제1 거리 범위에 해당하는 제1 영상 데이터 영역에서 제1 인식 대상의 후보 영역을 추출하는 단계, 그리고
    상기 영상 데이터 중에서 차량으로부터 미리 정해진 제2 거리 범위에 해당하는 제2 영상 데이터 영역에서 제2 인식 대상의 후보 영역을 추출하는 단계를 포함하는 차량의 영상 처리 방법.
  2. 삭제
  3. 제 1 항에서,
    상기 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정하는 단계는,
    상기 추출된 제1 인식 대상의 후보 영역의 해상도를 제1 고해상도로 조정하는 단계, 그리고
    상기 추출된 제2 인식 대상의 후보 영역의 해상도를 제2 고해상도로 조정하는 단계를 포함하는 차량의 영상 처리 방법.
  4. 제 3 항에서,
    상기 추출된 제1 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제1 고해상도로 조정하고,
    상기 추출된 제2 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제2 고해상도로 조정하는 것을 특징으로 하는 차량의 영상 처리 방법.
  5. 제 1 항에서,
    상기 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식하는 단계는,
    상기 해상도가 조정된 제1 인식 대상의 후보 영역에서 제1 인식 알고리즘을 사용하여 제1 인식 대상을 인식하는 단계, 그리고
    상기 해상도가 조정된 제2 인식 대상의 후보 영역에서 제2 인식 알고리즘을 사용하여 제2 인식 대상을 인식하는 단계를 포함하는 차량의 영상 처리 방법.
  6. 제 1 항에서,
    상기 제1 영상 데이터 영역은,
    상기 제2 영상 데이터 영역보다 상기 차량으로부터 근접한 위치에 있는 영역인 것을 특징으로 하는 차량의 영상 처리 방법.
  7. 제 1 항에서,
    상기 제1 인식 대상은,
    차량의 번호판이고,
    상기 제2 인식 대상은,
    움직이는 사람 또는 물체인 것을 특징으로 하는 차량의 영상 처리 방법.
  8. 카메라에서 촬영된 영상 데이터에서 제1 및 제2 인식 대상의 후보 영역을 각각 추출하는 추출부,
    상기 추출된 제1 및 제2 인식 대상의 후보 영역에 대하여 해상도를 각각 조정하는 조정부, 그리고
    상기 해상도가 조정된 제1 및 제2 인식 대상의 후보 영역에서 제1 및 제2 인식 대상을 각각 인식하는 인식부를 포함하고,
    상기 추출부는,
    상기 영상 데이터 중 차량으로부터 미리 정해진 제1 거리 범위에 해당하는 제1 영상 데이터 영역에서 제1 인식 대상의 후보 영역을 추출하는 제1 추출부, 그리고
    상기 영상 데이터 중에서 차량으로부터 미리 정해진 제2 거리 범위에 해당하는 제2 영상 데이터 영역에서 제2 인식 대상의 후보 영역을 추출하는 제2 추출부를 포함하는 차량의 영상 처리 장치.
  9. 삭제
  10. 제 8 항에서,
    상기 조정부는,
    상기 추출된 제1 인식 대상의 후보 영역의 해상도를 제1 고해상도로 조정하는 제1 조정부, 그리고
    상기 추출된 제2 인식 대상의 후보 영역의 해상도를 제2 고해상도로 조정하는 제2 조정부를 포함하는 차량의 영상 처리 장치.
  11. 제 10 항에서,
    상기 제1 조정부는,
    상기 추출된 제1 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제1 고해상도로 조정하고,
    상기 제2 조정부는,
    상기 추출된 제2 인식 대상의 후보 영역의 해상도를 슈퍼 레졸루션(Super Resolution) 기법을 사용하여 제2 고해상도로 조정하는 것을 특징으로 하는 차량의 영상 처리 장치.
  12. 제 8 항에서,
    상기 인식부는,
    상기 해상도가 조정된 제1 인식 대상의 후보 영역에서 제1 인식 알고리즘을 사용하여 제1 인식 대상을 인식하는 제1 인식부, 그리고
    상기 해상도가 조정된 제2 인식 대상의 후보 영역에서 제2 인식 알고리즘을 사용하여 제2 인식 대상을 인식하는 제2 인식부를 포함하는 차량의 영상 처리 장치.
  13. 제 8 항에서,
    상기 제1 영상 데이터 영역은,
    상기 제2 영상 데이터 영역보다 상기 차량으로부터 근접한 위치에 있는 영역인 것을 특징으로 하는 차량의 영상 처리 장치.
  14. 제 8 항에서,
    상기 제1 인식 대상은,
    차량의 번호판이고,
    상기 제2 인식 대상은,
    움직이는 사람 또는 물체인 것을 특징으로 하는 차량의 영상 처리 장치.
KR1020130034759A 2013-03-29 2013-03-29 차량의 영상 처리 장치 및 방법 Active KR101500552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130034759A KR101500552B1 (ko) 2013-03-29 2013-03-29 차량의 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130034759A KR101500552B1 (ko) 2013-03-29 2013-03-29 차량의 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140118579A KR20140118579A (ko) 2014-10-08
KR101500552B1 true KR101500552B1 (ko) 2015-03-10

Family

ID=51991399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130034759A Active KR101500552B1 (ko) 2013-03-29 2013-03-29 차량의 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101500552B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007972B2 (en) 2016-06-10 2018-06-26 Hyundai Motor Company Image processing apparatus and method for performing preprocessing to obtain image with improved sharpness

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450971B1 (ko) * 2015-05-08 2022-10-05 삼성전자주식회사 객체 인식 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072846A (ko) * 2009-12-23 2011-06-29 클레어픽셀 주식회사 감시 카메라 장치 및 영상 데이터 처리 방법
JP4765649B2 (ja) * 2006-02-08 2011-09-07 日産自動車株式会社 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
KR101084914B1 (ko) * 2010-12-29 2011-11-17 심광호 차량번호 및 사람 이미지의 인덱싱 관리시스템
KR101173853B1 (ko) * 2012-04-18 2012-08-14 (주)한국알파시스템 다중 객체 인식장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4765649B2 (ja) * 2006-02-08 2011-09-07 日産自動車株式会社 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
KR20110072846A (ko) * 2009-12-23 2011-06-29 클레어픽셀 주식회사 감시 카메라 장치 및 영상 데이터 처리 방법
KR101084914B1 (ko) * 2010-12-29 2011-11-17 심광호 차량번호 및 사람 이미지의 인덱싱 관리시스템
KR101173853B1 (ko) * 2012-04-18 2012-08-14 (주)한국알파시스템 다중 객체 인식장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007972B2 (en) 2016-06-10 2018-06-26 Hyundai Motor Company Image processing apparatus and method for performing preprocessing to obtain image with improved sharpness

Also Published As

Publication number Publication date
KR20140118579A (ko) 2014-10-08

Similar Documents

Publication Publication Date Title
EP2924654B1 (en) Image processing apparatus and image processing method
US9443313B2 (en) Stereo camera apparatus
JP6733225B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US20070041614A1 (en) Road marking recognition apparatus and method
US11430199B2 (en) Feature recognition assisted super-resolution method
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN107977654B (zh) 一种道路区域检测方法、装置及终端
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
JP2016206801A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
KR101365557B1 (ko) 차선 검출장치 및 그 방법
KR101500552B1 (ko) 차량의 영상 처리 장치 및 방법
JP2010224798A (ja) ドライブレコーダ
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
CN115116015A (zh) 车道定位方法、电子设备及存储介质
KR101053939B1 (ko) 고해상도 카메라를 이용한 차량 방범용 ｃｃｔｖ 시스템 및 그 영상처리 방법
KR20140106126A (ko) 전방위 영상 기반 자동 주차 시스템 및 방법
KR20110029357A (ko) 차선 이탈 경고 시스템 및 방법
EP3287948A1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
JP2019012496A (ja) 検出プログラム、方法、及び装置
JP2012222664A (ja) 車載カメラシステム
JP5950193B2 (ja) 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム
KR20140091113A (ko) 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법
JP2020126304A (ja) 車外物体検出装置
EP3961493A1 (en) Moving body speed derivation method and moving body speed derivation program

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PE0801 Dismissal of amendment

St.27 status event code: A-2-2-P10-P12-nap-PE0801

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 12