KR20150102525A - 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템 - Google Patents

동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템 Download PDF

Info

Publication number
KR20150102525A
KR20150102525A KR1020140024505A KR20140024505A KR20150102525A KR 20150102525 A KR20150102525 A KR 20150102525A KR 1020140024505 A KR1020140024505 A KR 1020140024505A KR 20140024505 A KR20140024505 A KR 20140024505A KR 20150102525 A KR20150102525 A KR 20150102525A
Authority
KR
South Korea
Prior art keywords
image
height
bird
unit
horizontal line
Prior art date
Application number
KR1020140024505A
Other languages
English (en)
Other versions
KR101593483B1 (ko
Inventor
정순기
박민우
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140024505A priority Critical patent/KR101593483B1/ko
Priority to US14/474,457 priority patent/US9646363B2/en
Publication of KR20150102525A publication Critical patent/KR20150102525A/ko
Application granted granted Critical
Publication of KR101593483B1 publication Critical patent/KR101593483B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 영상 처리 장치는, 이미지로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 영역 추출부; 상기 추출된 영역들을 이어 붙여 모자이킹 이미지를 생성하는 모자이킹 이미지 생성부; 및 상기 모자이킹 이미지로부터 오브젝트를 검출하는 오브젝트 검출부;를 포함할 수 있다.

Description

영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템{IMAGE PROCESSING APPARATUS AND METHOD, AND SYSTEM FOR ASSISTING VEHICLE DRIVING USING THE SAME}
본 발명은 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템에 관한 것이다.
카메라로 촬영하여 얻은 영상을 처리하여 오브젝트를 검출하는 기술은 다양한 분야에서 활용되고 있다. 일 예로, 차량 운전 시 차량 주변에 위치한 장애물을 인식하여 운전자에게 그에 대한 정보를 제공하는 차량 운전 보조 시스템은 장애물을 인식하기 위한 방법으로 오브젝트 검출 기술을 이용할 수 있다.
차량 운전 보조 시스템은 주행 시 운전자에게 주변의 장애물에 관한 정보를 즉각적으로 제공해야 하기 때문에, 빠른 영상 처리가 요구된다.
일반적으로, 차량 주변, 예컨대 차량 전방을 촬영하여 얻은 영상은 소정 사이즈의 이미지 내에 차량 및 보행자를 비롯한 다수의 장애물들이 산재해 있다. 이 경우, 이 이미지를 처리하여 해당 이미지로부터 장애물들에 대응하는 오브젝트들을 검출하는 프로세스는 상당한 시간이 소요되기 마련이다.
본 발명의 실시예는 이미지로부터 오브젝트 검출 시 요구되는 연산량을 감소시켜 처리 시간을 단축시킬 수 있는 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 영상 처리 장치는, 이미지로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 영역 추출부; 상기 추출된 영역들을 이어 붙여 모자이킹 이미지를 생성하는 모자이킹 이미지 생성부; 및 상기 모자이킹 이미지로부터 오브젝트를 검출하는 오브젝트 검출부;를 포함할 수 있다.
상기 영역 추출부는: 상기 이미지로부터 소실점을 검출하는 소실점 검출부; 상기 이미지 상에서 상기 소실점으로부터 수직 방향으로 기 설정된 간격마다 수평선을 지정하고, 각 수평선에서 상기 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산하는 영역 높이 계산부; 및 상기 각 수평선으로부터 상기 영역 높이만큼의 영역을 잘라내는 영역 절단부;를 포함할 수 있다.
상기 영역 추출부는, 상기 이미지를 조감도 이미지로 변환하는 조감도 이미지 변환부를 더 포함하고, 상기 영역 높이 계산부는, 상기 조감도 이미지 상에서 기 설정된 간격마다 조감도 수평선을 지정하고, 상기 조감도 수평선에 대한 상기 조감도 이미지 상의 좌표를 상기 이미지 상의 좌표로 변환하여 상기 이미지 상에서 상기 수평선을 지정할 수 있다.
상기 영역 높이는, 해당 수평선과 상기 소실점 간의 거리에 비례할 수 있다.
상기 모자이킹 이미지 생성부는: 상기 추출된 영역들의 높이를 동일하게 조정하고, 상기 높이가 조정된 영역들을 수평 방향으로 이어 붙여 상기 모자이킹 이미지를 생성할 수 있다.
상기 오브젝트 검출부는: 상기 모자이킹 이미지에 대하여 상기 수평 방향으로 상기 오브젝트의 검출을 수행할 수 있다.
상기 영상 처리 장치는, 상기 이미지로부터 상기 영역들을 추출하기 전, 상기 이미지에 대하여 렌즈 왜곡 및 스큐(skew) 중 적어도 하나를 보정하는 이미지 보정부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 이미지로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 단계; 상기 추출된 영역들을 이어 붙여 모자이킹 이미지를 생성하는 단계; 및 상기 모자이킹 이미지로부터 오브젝트를 검출하는 단계;를 포함할 수 있다.
상기 영역들을 추출하는 단계는: 상기 이미지로부터 소실점을 검출하는 단계; 상기 이미지 상에서 상기 소실점으로부터 수직 방향으로 기 설정된 간격마다 수평선을 지정하는 단계; 각 수평선에서 상기 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산하는 단계; 및 상기 각 수평선으로부터 상기 영역 높이만큼의 영역을 잘라내는 단계;를 포함할 수 있다.
상기 수평선을 지정하는 단계는: 상기 이미지를 조감도 이미지로 변환하는 단계; 상기 조감도 이미지 상에서 기 설정된 간격마다 조감도 수평선을 지정하는 단계; 및 상기 조감도 수평선에 대한 상기 조감도 이미지 상의 좌표를 상기 이미지 상의 좌표로 변환하는 단계;를 포함할 수 있다.
상기 영역 높이는, 해당 수평선과 상기 소실점 간의 거리에 비례할 수 있다.
상기 모자이킹 이미지를 생성하는 단계는: 상기 추출된 영역들의 높이를 동일하게 조정하는 단계; 및 상기 높이가 조정된 영역들을 수평 방향으로 이어 붙이는 단계;를 포함할 수 있다.
상기 오브젝트를 검출하는 단계는: 상기 모자이킹 이미지에 대하여 상기 수평 방향으로 상기 오브젝트의 검출을 수행하는 단계를 포함할 수 있다.
상기 영상 처리 방법은, 상기 영역들을 추출하는 단계 전, 상기 이미지에 대하여 렌즈 왜곡 및 스큐 중 적어도 하나를 보정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 차량 운전 보조 시스템은, 차량 주변을 촬영하는 카메라; 상기 카메라가 촬영하여 얻은 영상을 처리하여 상기 차량 주변의 물체를 검출하는 영상 처리 장치; 및 상기 검출된 물체에 관한 정보를 출력하는 출력부를 포함하며, 상기 영상 처리 장치는: 이미지로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 영역 추출부; 상기 추출된 영역들을 이어 붙여 모자이킹 이미지를 생성하는 모자이킹 이미지 생성부; 및 상기 모자이킹 이미지로부터 상기 물체에 대응하는 오브젝트를 검출하는 오브젝트 검출부;를 포함할 수 있다.
상기 영역 추출부는: 상기 이미지로부터 소실점을 검출하는 소실점 검출부; 상기 이미지 상에서 상기 소실점으로부터 수직 방향으로 기 설정된 간격마다 수평선을 지정하고, 각 수평선에서 상기 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산하는 영역 높이 계산부; 및 상기 각 수평선으로부터 상기 영역 높이만큼의 영역을 잘라내는 영역 절단부;를 포함할 수 있다.
상기 영역 추출부는, 상기 이미지를 조감도 이미지로 변환하는 조감도 이미지 변환부를 더 포함하고, 상기 영역 높이 계산부는, 상기 조감도 이미지 상에서 기 설정된 간격마다 조감도 수평선을 지정하고, 상기 조감도 수평선에 대한 상기 조감도 이미지 상의 좌표를 상기 이미지 상의 좌표로 변환하여 상기 이미지 상에서 상기 수평선을 지정할 수 있다.
상기 영역 높이는, 해당 수평선과 상기 소실점 간의 거리에 비례할 수 있다.
상기 모자이킹 이미지 생성부는: 상기 추출된 영역들의 높이를 동일하게 조정하고, 상기 높이가 조정된 영역들을 수평 방향으로 이어 붙여 상기 모자이킹 이미지를 생성할 수 있다.
상기 오브젝트 검출부는: 상기 모자이킹 이미지에 대하여 상기 수평 방향으로 상기 오브젝트의 검출을 수행할 수 있다.
상기 영상 처리 장치는: 상기 이미지로부터 상기 영역들을 추출하기 전, 상기 이미지에 대하여 렌즈 왜곡 및 스큐 중 적어도 하나를 보정하는 이미지 보정부를 더 포함할 수 있다.
본 발명의 실시예에 따른 영상 처리 방법은 컴퓨터로 실행될 수 있는 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
본 발명의 실시예에 따르면, 오브젝트 검출 시 요구되는 연산량을 감소시킬 수 있다.
본 발명의 실시예에 따르면, 이미지 당 오브젝트 검출을 위한 함수를 한 번만 호출하여 영상 처리 시간을 단축시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 예시적인 블록도다.
도 2는 본 발명의 일 실시예에 따라 이미지로부터 영역들을 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따라 추출된 영역들을 이어 붙이는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따라 모자이킹 이미지로부터 오브젝트를 검출하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따라 이미지 상에 수평선을 지정하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 다른 실시예에 따라 조감도 이미지를 이용하여 이미지 상에 수평선을 지정하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따라 수평선에서 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산하는 과정을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따라 이미지로부터 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따라 추출된 영역들의 높이를 조정하는 과정을 설명하기 위한 예시적인 도면이다.
도 10은 본 발명의 일 실시예에 따라 이미지의 스큐를 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 방법의 예시적인 흐름도다.
도 12는 본 발명의 일 실시예에 따라 이미지로부터 영역들을 추출하는 과정을 설명하기 위한 예시적인 흐름도다.
도 13은 본 발명의 일 실시예에 따라 이미지 상에 수평선을 지정하는 과정을 설명하기 위한 예시적인 흐름도다.
도 14는 본 발명의 일 실시예에 따라 모자이킹 이미지를 생성하는 과정을 설명하기 위한 예시적인 흐름도다.
도 15는 본 발명의 일 실시예에 따른 차량 운전 보조 시스템의 개략적인 블록도다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
이하, 본 명세서에 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 예시적인 블록도다.
도 1에 도시된 바와 같이, 상기 영상 처리 장치(100)는 영역 추출부(110), 모자이킹 이미지 생성부(120) 및 오브젝트 검출부(130)를 포함할 수 있다.
본 발명의 실시예에 따른 영상 처리 장치(100)는 이미지를 입력받아 처리하여 상기 이미지 내에 포함된 오브젝트를 검출하는 장치로서, GPU, CPU와 같은 프로세서를 포함할 수 있다. 상기 프로세서는 저장 장치에 저장되어 있는 이미지 처리 프로그램을 불러와 실행하여 이미지에 포함된 오브젝트에 관한 정보를 얻을 수 있다.
본 발명의 일 실시예에 따르면, 상기 영역 추출부(110)는 이미지로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출할 수 있다.
도 2는 본 발명의 일 실시예에 따라 이미지(20)로부터 영역들을 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 2를 참조하면, 상기 영역 추출부(110)는 이미지(20)로부터 영역들(200i, 200j)을 추출할 수 있다. 본 발명의 실시예에 따르면, 상기 영역들(200i, 200j)은 영상 처리를 통해 검출하고자 하는 타겟 오브젝트의 사이즈에 대응할 수 있다.
예를 들어, 도 2에 도시된 바와 같이, 상기 영역들(200i, 200j)의 높이 Hi, Hj는 각각 검출하고자 하는 타겟 오브젝트(300i, 300j)의 높이와 같을 수 있다. 이와 같이, 상기 영역 추출부(110)는 상기 이미지(20)로부터 상기 타겟 오브젝트(300i, 300j)의 높이에 해당하는 영역들(200i, 200j)을 추출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 모자이킹 이미지 생성부(120)는 상기 추출된 영역들(200i, 200j)을 이어 붙여 모자이킹 이미지를 생성할 수 있다.
본 명세서에서 사용되는 "모자이킹 이미지(mosaicking image)"는 다수의 단위 이미지들을 소정 방향으로 이어 붙여 만들어진 이미지를 의미한다.
도 3은 본 발명의 일 실시예에 따라 추출된 영역들을 이어 붙이는 과정을 설명하기 위한 예시적인 도면이다.
상기 모자이킹 이미지 생성부(120)는 상기 이미지(20)로부터 추출된 영역들(2001', 2002', ..., 200N')을 이어 붙여 모자이킹 이미지(200')를 생성할 수 있다. 도 3에 도시된 바와 같이, 상기 영역들(2001', 2002', ..., 200N')이 수평 방향으로 연결되는 경우, 상기 모자이킹 이미지(200')는 수평 방향으로 길게 연장된 파노라마와 같은 이미지로 형성될 수 있다.
그 결과, 상기 모자이킹 이미지(200')는 영상 처리를 통해 검출하고자 하는 타겟 오브젝트(300i, 300j)의 높이에 해당하는 높이를 가지며, 상기 이미지(20)의 길이에 상기 영역들의 개수 N을 곱한 값에 해당하는 길이를 갖는다.
본 발명의 일 실시예에 따르면, 상기 오브젝트 검출부(130)는 상기 모자이킹 이미지(200')로부터 오브젝트를 검출할 수 있다.
도 4는 본 발명의 일 실시예에 따라 모자이킹 이미지(200')로부터 오브젝트를 검출하는 과정을 설명하기 위한 예시적인 도면이다.
도 4를 참조하면, 상기 오브젝트 검출부(130)는 상기 모자이킹 이미지(200')로부터 오브젝트를 검출할 수 있다. 전술한 바와 같이, 상기 모자이킹 이미지(200')는 검출하고자 하는 타겟 오브젝트의 사이즈, 예컨대 높이에 해당하는 영역 높이를 갖기 때문에, 상기 오브젝트 검출부(130)는 상기 모자이킹 이미지(200')에 대하여 이미지의 길이 방향으로 오브젝트의 검출을 수행할 수 있다.
다시 말해, 상기 오브젝트 검출부(130)는 상기 모자이킹 이미지(200')의 높이 방향으로는 오브젝트의 검출을 위한 프로세스를 수행할 필요가 없어, 1차원의 오브젝트 탐색 작업으로도 원하는 오브젝트를 검출할 수 있다.
상기 모자이킹 이미지(200')는 높이가 검출하고자 하는 타겟 오브젝트의 높이에 대응하므로, 도 4에서 오브젝트 1(3001)과 같이 오브젝트의 높이가 모자이킹 이미지(200')의 높이와 일치하는 경우, 상기 오브젝트 검출부(130)는 해당 오브젝트를 검출할 수 있다.
그러나, 도 4에서 오브젝트 2(3002) 및 오브젝트 3(3003)과 같이 오브젝트의 높이가 상기 모자이킹 이미지(200')의 높이와 상이한 경우, 상기 오브젝트 검출부(130)는 해당 오브젝트를 검출하지 못한다.
본 발명의 일 실시예에 따르면, 상기 영역 추출부(110)는 소실점 검출부, 영역 높이 계산부 및 영역 절단부를 포함할 수 있다.
상기 소실점 검출부는 이미지로부터 소실점을 검출할 수 있다. 상기 영역 높이 계산부는 상기 이미지 상에서 상기 소실점으로부터 수직 방향으로 기 설정된 간격마다 수평선을 지정하고, 각 수평선에서 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산할 수 있다. 상기 영역 절단부는 각 수평선으로부터 상기 영역 높이만큼의 영역을 잘라낼 수 있다.
도 5는 본 발명의 일 실시예에 따라 이미지(20) 상에 수평선을 지정하는 과정을 설명하기 위한 예시적인 도면이다.
먼저, 상기 이미지(20)로부터 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하기 위해, 상기 소실점 검출부는 상기 이미지(20)의 소실점 P을 검출할 수 있다.
일 실시예에 따르면, 상기 소실점 검출부는 상기 이미지(20)에 포함된 라인들을 이용하여 상기 소실점 P을 검출할 수 있다.
도 5에 도시된 이미지(20)는 주행 중인 차량 전방을 촬영하여 얻은 이미지로서, 상기 이미지(20)에는 차선(21)을 비롯한 다수의 라인들이 포함되어 있을 수 있다.
상기 소실점 검출부는 상기 다수의 라인들 중에서 차선(21)에 해당하는 라인만을 검출하고, 이를 기반으로 상기 이미지(20)의 소실점 P을 검출할 수 있다.
그리고, 상기 이미지(20) 상에서 상기 소실점 P을 지나는 수평선 L0은 지평선으로 간주할 수 있다.
그러고 나서, 상기 영역 높이 계산부는 상기 이미지(20) 상에서 상기 소실점 P으로부터 수직 방향(즉, 도 5에서 y축에 평행한 방향)으로 기 설정된 간격마다 수평선(L1 내지 LN)을 지정할 수 있다.
상기 수평선(L1 내지 LN)은 검출하고자 하는 오브젝트가 위치할 것으로 예상되는 지점들이므로, 도 5와 같이 도로 상에 위치하는 차량이나 보행자를 검출하고자 하는 경우, 상기 영역 높이 계산부는 상기 지평선 L0 아래로만 기 설정된 간격마다 수평선(L1 내지 LN)을 지정할 수 있다.
일 실시예에 따르면, 상기 수평선(L1 내지 LN)은 상기 이미지(20) 상에서 동일한 간격마다 지정될 수 있으나, 이에 제한되지 않고 불균일한 간격마다 지정될 수도 있다.
지평선 L0에 가까울수록 이미지(20) 상 오브젝트의 사이즈는 작아질 것이며, 상기 이미지(20)로부터 차량이나 보행자에 해당하는 오브젝트를 검출하고자 하는 경우에는, 차량에 가까운 장애물을 보다 정밀하게 검출하고 차량으로부터 멀리 떨어진 장애물은 보다 덜 정밀하게 검출해도 무방할 수 있다.
이 경우, 상기 수평선(L1 내지 LN)은 카메라에 의한 촬영 지점에 해당하는 이미지(20)의 하단이나 지평선 L0으로부터의 거리에 따라 불균일한 간격으로 지정될 수 있다.
상기 이미지(20) 상에 수평선(L1 내지 LN)을 지정하기 위해, 상기 영역 높이 계산부는 상기 이미지(20)의 조감도 이미지를 이용할 수도 있다.
이 실시예에 따르면, 상기 영역 추출부(110)는 상기 이미지(20)를 조감도 이미지로 변환하는 조감도 이미지 변환부를 더 포함할 수 있다.
그리고, 상기 영역 높이 계산부는 상기 조감도 이미지 상에서 기 설정된 간격마다 조감도 수평선을 지정하고, 상기 조감도 수평선에 대한 상기 조감도 이미지 상의 좌표를 상기 이미지(20) 상의 좌표로 변환함으로써 상기 이미지(20) 상에서 수평선(L1 내지 LN)을 지정할 수 있다.
도 6은 본 발명의 다른 실시예에 따라 조감도 이미지(20')를 이용하여 이미지(20) 상에 수평선을 지정하는 과정을 설명하기 위한 예시적인 도면이다.
도 6에 도시된 바와 같이, 상기 조감도 이미지 변환부는 수평선(L1 내지 LN)을 지정하고자 하는 이미지(20)를 조감도 이미지(20')로 변환할 수 있다.
원본에 해당하는 이미지(20)는 오브젝트를 x축과 y축으로 구성된 좌표평면에 투영한 이미지를 나타내는 반면, 그 조감도 이미지(20')는 오브젝트를 x축과 z축으로 구성된 좌표평면에 투영한 이미지를 나타낸다. 여기서, x축은 지면에 평행하되 렌즈의 반경 방향에 해당하는 좌표축이며, y축은 지면에 수직한 연직 방향의 좌표축이며, z축은 지면에 평행하되 렌즈의 중심축과 평행한 좌표축이다.
그리고, 도 6에 도시된 바와 같이, 상기 영역 높이 계산부는 상기 조감도 이미지(20') 상에서 기 설정된 간격마다 조감도 수평선(L1' 내지 LN')을 지정할 수 있다.
일 실시예에 따르면, 상기 조감도 수평선(L1' 내지 LN')은 상기 조감도 이미지(20') 상에서 동일한 간격마다 지정될 수 있으나, 이에 제한되지 않고 상기 조감도 수평선들 간의 간격은 불균일하게 설정될 수도 있다.
예를 들어, 도 6에 도시된 바와 같이, 상기 조감도 수평선(L1' 내지 LN')은 카메라에 의한 촬영 지점인 C로부터 지평선에 해당하는 L0'로 갈수록 간격이 넓어지도록 지정될 수 있다.
그 결과, 카메라에 가까운 오브젝트는 보다 정밀하게 검출하고, 상기 카메라로부터 멀리 떨어진 오브젝트는 보다 덜 정밀하게 검출하여 영상 처리 효율을 개선시킬 수 있다.
그러고 나서, 상기 영역 높이 계산부는 상기 조감도 수평선(L1' 내지 LN')에 대한 상기 조감도 이미지(20') 상의 좌표를 원본 이미지인 이미지(20) 상의 좌표로 변환하여, 상기 이미지(20) 상에 수평선(L1 내지 LN)을 지정할 수 있다.
그리고, 상기 영역 높이 계산부는 각 수평선에서 검출하고자 하는 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산할 수 있다.
도 7은 본 발명의 일 실시예에 따라 수평선(Li, Lj)에서 타겟 오브젝트(300i, 300j)의 높이에 해당하는 영역 높이(Hi, Hj)를 계산하는 과정을 설명하기 위한 예시적인 도면이다.
본 발명의 실시예에 따른 영상 처리 장치(100)의 적용 분야에 따라, 상기 영상 처리 장치(100)로 검출하고자 하는 타겟 오브젝트가 특정될 수 있다. 예를 들어, 상기 영상 처리 장치(100)를 이용하여 차량 주변의 장애물, 예컨대 다른 차량이나 보행자를 인지하고 운전자에게 그에 관한 정보를 제공하는 차량 운전 보조 시스템을 구현하는 경우, 타겟 오브젝트는 차량 또는 보행자가 될 수 있다.
일 예로, 차량을 타겟 오브젝트로 하는 경우, 상기 영역 높이 계산부는 각 수평선(L1 내지 LN) 상에서 차량의 실제 높이에 해당하는 영역 높이를 계산할 수 있다.
도 7과 같은 이미지(20)에서는 동일한 크기의 차량이라도 카메라로부터의 거리에 따라 이미지(20) 상에서 타겟 오브젝트(300i, 300j)의 사이즈는 상이할 수 있다. 예를 들어, 동일한 크기의 차량이라도 상기 카메라에 인접하여 위치하는 경우, 이 차량에 대응하는 오브젝트의 사이즈는 클 것이며, 반대로 상기 카메라로부터 멀리 떨어져 있는 경우, 이 차량에 대응하는 오브젝트의 사이즈는 작을 것이다.
본 발명의 실시예에 따르면, 각 수평선(L1 내지 LN)에서 타겟 오브젝트의 높이에 해당하는 영역 높이(Hi, Hj)를 계산하되, 상기 영역 높이가 해당 수평선과 소실점 P 간의 거리에 비례하도록 계산할 수 있다.
예를 들어, 도 7을 참조하면, 상기 이미지(20) 상에 지정된 수평선 Li 및 Lj 중에서, 소실점 P로부터 보다 멀리 떨어져 있는 Li에 대한 영역 높이 Hi는, 소실점 P로부터 보다 가까운 Lj에 대한 영역 높이 Hj보다 더 클 수 있다.
이와 같은 영역 높이(Hi, Hj)의 계산은 사전에 타겟 오브젝트에 해당하는 물체를 촬영하여, 이미지 상에서 상기 타겟 오브젝트의 높이 RH, 그리고 소실점 P과 이미지 상에서 상기 타겟 오브젝트의 하단까지의 거리 RD를 획득하고, 아래와 같은 수학식을 이용하여 각 수평선에 대한 영역 높이 H를 계산할 수 있다.
Figure pat00001
여기서, D는 해당 수평선과 소실점 P 간의 거리를 의미한다.
전술한 과정을 통해, 상기 영역 높이 계산부는 각 수평선(L1 내지 LN)에서 타겟 오브젝트(300i, 300j)의 높이에 해당하는 영역 높이를 계산할 수 있다.
그러고 나서, 상기 영역 절단부는 각 수평선(L1 내지 LN)으로부터 상기 영역 높이만큼의 영역을 잘라낼 수 있다.
도 8은 본 발명의 일 실시예에 따라 이미지(20)로부터 타겟 오브젝트의 사이즈에 해당하는 영역들(200i, 200j)을 추출하는 과정을 설명하기 위한 예시적인 도면이다.
전술한 바와 같이, 이미지(20) 상에서 각 수평선(L1 내지 LN)에 대한 타겟 오브젝트의 높이에 해당하는 영역 높이가 계산되면, 상기 영역 절단부는 상기 각 수평선(L1 내지 LN)으로부터 해당 영역 높이만큼의 영역을 잘라낼 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 수평선 Li에 대한 영역 높이는 Hi이고, 수평선 Lj에 대한 영역 높이는 Hj이므로, 상기 영역 절단부는 수평선 Li로부터 영역 높이 Hi만큼의 영역(200i)을 잘라내고, 수평선 Lj로부터 영역 높이 Hj만큼의 영역(200j)을 잘라낼 수 있다.
그러고 나서, 상기 모자이킹 이미지 생성부(120)는 상기 잘라낸 영역들을 이어 붙여 모자이킹 이미지(200')를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 상기 모자이킹 이미지 생성부(120)는 상기 잘라낸 영역들의 높이를 동일하게 조정한 뒤, 높이가 조정된 영역들을 수평 방향으로 이어 붙여 상기 모자이킹 이미지(200')를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따라 추출된 영역들(200i, 200j)의 높이 Hi, Hj를 조정하는 과정을 설명하기 위한 예시적인 도면이다.
도 9에 도시된 바와 같이, 상기 모자이킹 이미지 생성부(120)는 상기 추출된 영역들(200i, 200j)의 높이 Hi, Hj를 모두 높이 H'로 동일하게 조정할 수 있다. 그러고 나서, 상기 모자이킹 이미지 생성부(120)는 상기 높이가 조정된 영역들(200i', 200j')을 수평 방향으로 이어 붙여 도 3에 도시된 바와 같은 모자이킹 이미지(200')를 생성할 수 있다.
그러고 나서, 상기 오브젝트 검출부(130)는 상기 모자이킹 이미지(200')로부터 오브젝트를 검출할 수 있다.
도 4를 참조로 설명한 바와 같이, 상기 오브젝트 검출부(130)는 상기 모자이킹 이미지(200')에 대하여 수평 방향으로 오브젝트의 검출을 수행할 수 있다.
일 실시예에 따르면, 상기 오브젝트 검출부(130)는 HOG(Histogram of Oriented Gradient) 검출기를 이용하여 상기 모자이킹 이미지(200')로부터 1차원으로 오브젝트를 검출할 수 있다.
본 발명의 실시예에 따르면, 상기 오브젝트 검출부(130)는 오브젝트 검출을 위해 이미지를 스케일링할 필요 없이 길이 방향으로 오브젝트를 탐색해 나가며 적은 연산량으로 오브젝트를 검출할 수 있다.
나아가, 상기 모자이킹 이미지(200')는 영역들의 개수만큼 길이 방향으로 연장된 단일 이미지이므로, 상기 오브젝트 검출부(130)는 오브젝트 검출을 위한 함수를 단 한 번만 호출함으로써 영상 처리를 수행할 수 있어, 함수 호출 횟수 감소로 인한 영상 처리 속도 증가를 달성할 수 있다.
다시 도 1을 참조하면, 상기 영상 처리 장치(100)는 이미지(20)로부터 영역들을 추출하기 전, 상기 이미지(20)에 대하여 렌즈 왜곡 및 스큐(skew) 중 적어도 하나를 보정하는 이미지 보정부(140)를 더 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따라 이미지(20)의 스큐를 보정하는 과정을 설명하기 위한 예시적인 도면이다.
카메라로부터 출력된 이미지는 카메라 렌즈 및 카메라 탑재 상의 문제로 인해 렌즈 왜곡 및 스큐를 포함할 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 상기 카메라로부터 출력된 최초의 이미지는 비스듬한 카메라 탑재로 인해 θ만큼의 스큐를 포함할 수 있다.
상기 이미지 보정부(140)는 상기 이미지(20)로부터 영역들을 추출하기 전에, 상기 이미지(20)에 대하여 렌즈 왜곡 및 스큐 중 적어도 하나를 보정할 수 있다.
특히, 전술한 바와 같이, 소실점 P 및 지평선 L0의 위치를 기반으로 영역들을 추출하는 경우, 영역 추출 전 이미지 보정을 수행함으로써 오브젝트 검출 결과의 신뢰성을 높일 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 방법(400)의 예시적인 흐름도다.
상기 영상 처리 방법(400)은 전술한 본 발명의 실시예에 따른 영상 처리 장치(100)에 의해 수행될 수 있다.
도 11에 도시된 바와 같이, 상기 영상 처리 방법(400)은 이미지(20)로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 단계(S410), 상기 추출된 영역들을 이어 붙여 모자이킹 이미지(200')를 생성하는 단계(S420), 및 상기 모자이킹 이미지(200')로부터 상기 오브젝트를 검출하는 단계(S430)를 포함할 수 있다.
도 12는 본 발명의 일 실시예에 따라 이미지로부터 영역들을 추출하는 과정(S410)을 설명하기 위한 예시적인 흐름도다.
도 12에 도시된 바와 같이, 상기 영역들을 추출하는 단계(S410)는, 상기 이미지(20)로부터 소실점 P을 검출하는 단계(S411), 상기 이미지(20) 상에서 상기 소실점 P으로부터 수직 방향으로 기 설정된 간격마다 수평선(L1 내지 LN)을 지정하는 단계(S412), 각 수평선에서 상기 타겟 오브젝트의 높이에 해당하는 영역 높이 H를 계산하는 단계(S413), 및 상기 각 수평선으로부터 상기 영역 높이 H만큼의 영역을 잘라내는 단계(S414)를 포함할 수 있다.
도 13은 본 발명의 일 실시예에 따라 이미지(20) 상에 수평선(L1 내지 LN)을 지정하는 과정(S412)을 설명하기 위한 예시적인 흐름도다.
도 13에 도시된 바와 같이, 상기 수평선(L1 내지 LN)을 지정하는 단계(S412)는, 상기 이미지(20)를 조감도 이미지(20')로 변환하는 단계(S4121), 상기 조감도 이미지(20') 상에서 기 설정된 간격마다 조감도 수평선(L1' 내지 LN')을 지정하는 단계(S4122), 및 상기 조감도 수평선(L1' 내지 LN')에 대한 상기 조감도 이미지(20') 상의 좌표를 상기 이미지(20) 상의 좌표로 변환하는 단계(S4123)를 포함할 수 있다.
일 실시예에 따르면, 상기 영역 높이 H는 해당 수평선과 소실점 P 간의 거리에 비례할 수 있다. 예를 들어, 각 수평선에 대한 영역 높이 H는 수학식 1을 이용하여 계산될 수 있다.
도 14는 본 발명의 일 실시예에 따라 모자이킹 이미지(200')를 생성하는 과정(S420)을 설명하기 위한 예시적인 흐름도다.
도 14에 도시된 바와 같이, 상기 모자이킹 이미지(200')를 생성하는 단계(S420)는, 추출된 영역들의 높이를 동일하게 조정하는 단계(S421), 및 상기 높이가 조정된 영역들을 수평 방향으로 이어 붙이는 단계(S422)를 포함할 수 있다.
그러고 나서, 상기 오브젝트를 검출하는 단계(S430)는, 상기 모자이킹 이미지(200')에 대하여 수평 방향으로 오브젝트의 검출을 수행하는 단계를 포함할 수 있다.
다시 도 11을 참조하면, 상기 영상 처리 방법(400)은 영역들을 추출하는 단계(S410) 전, 상기 이미지(20)에 대하여 렌즈 왜곡 및 스큐 중 적어도 하나를 보정하는 단계(S400)를 더 포함할 수 있다.
도 15는 본 발명의 일 실시예에 따른 차량 운전 보조 시스템(500)의 개략적인 블록도다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 차량 운전 보조 시스템(500)은 카메라(510), 영상 처리 장치(100) 및 출력부(520)를 포함할 수 있다.
상기 카메라(510)는 차량에 장착되어 차량 주변을 촬영할 수 있다. 예를 들어, 상기 카메라(510)는 상기 차량의 룸 미러에 장착되어 차량의 전방을 촬영할 수 있다.
상기 카메라(510)로부터 출력된 영상은 상기 영상 처리 장치(100)로 제공될 수 있다. 상기 영상 처리 장치(100) 역시 상기 차량에 장착될 수 있으며, 영상 처리를 위한 프로세서 및 저장 장치를 구비할 수 있다.
상기 영상 처리 장치(100)는 전술한 본 발명의 실시예에 따른 영상 처리 장치(100)에 대응하며, 전술한 영상 처리 방법(400)을 수행함으로써 차량 주변에 위치하는 물체, 예컨대 다른 차량 및 보행자를 검출할 수 있다.
상기 출력부(520)는 상기 검출된 물체에 관한 정보를 출력하여 사용자, 예컨대 운전자를 비롯한 차량 탑승자에게 제공할 수 있다.
일 실시예에 따르면, 상기 출력부(520)는 검출된 물체에 관한 영상을 차량의 앞유리에 출사하는 프로젝터일 수 있으나, 사용자에게 물체에 관한 정보를 제공하는 한 상기 출력부(520)는 이에 제한되지 않는다. 일 예로, 상기 출력부(520)는 물체에 관한 정보를 영상으로 출력하는 대신 음성 또는 진동으로 사용자에게 제공할 수도 있다.
그 결과, 상기 차량 운전 보조 시스템(500)은 운전 시 방해가 되는 장애물을 인지하여 장애물의 존재를 사용자에게 알릴 수 있으며, 실시예에 따라 주행 중 충돌 회피를 위한 시스템에 적용될 수도 있다.
전술한 본 발명의 실시예에 따르면, 오브젝트 검출 시 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 이미지로부터 추출하여 모자이킹 이미지를 생성하고 그로부터 오브젝트를 검출함으로써, 오브젝트 검출에 요구되는 연산량을 감소시키고 오브젝트 검출을 위한 함수 호출 횟수를 줄여 영상 처리 속도를 향상시킬 수 있다.
이상에서 실시예를 통해 본 발명을 설명하였으나, 위 실시예는 단지 본 발명의 사상을 설명하기 위한 것으로 이에 한정되지 않는다. 통상의 기술자는 전술한 실시예에 다양한 변형이 가해질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 특허청구범위의 해석을 통해서만 정해진다.
100: 영상 처리 장치
110: 영역 추출부
120: 모자이킹 이미지 생성부
130: 오브젝트 검출부
140: 이미지 보정부

Claims (22)

  1. 이미지로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 영역 추출부;
    상기 추출된 영역들을 이어 붙여 모자이킹 이미지를 생성하는 모자이킹 이미지 생성부; 및
    상기 모자이킹 이미지로부터 오브젝트를 검출하는 오브젝트 검출부;
    를 포함하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 영역 추출부는:
    상기 이미지로부터 소실점을 검출하는 소실점 검출부;
    상기 이미지 상에서 상기 소실점으로부터 수직 방향으로 기 설정된 간격마다 수평선을 지정하고, 각 수평선에서 상기 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산하는 영역 높이 계산부; 및
    상기 각 수평선으로부터 상기 영역 높이만큼의 영역을 잘라내는 영역 절단부;
    를 포함하는 영상 처리 장치.
  3. 제 2 항에 있어서,
    상기 영역 추출부는, 상기 이미지를 조감도 이미지로 변환하는 조감도 이미지 변환부를 더 포함하고,
    상기 영역 높이 계산부는, 상기 조감도 이미지 상에서 기 설정된 간격마다 조감도 수평선을 지정하고, 상기 조감도 수평선에 대한 상기 조감도 이미지 상의 좌표를 상기 이미지 상의 좌표로 변환하여 상기 이미지 상에서 상기 수평선을 지정하는 영상 처리 장치.
  4. 제 2 항에 있어서,
    상기 영역 높이는, 해당 수평선과 상기 소실점 간의 거리에 비례하는 영상 처리 장치.
  5. 제 1 항에 있어서,
    상기 모자이킹 이미지 생성부는:
    상기 추출된 영역들의 높이를 동일하게 조정하고, 상기 높이가 조정된 영역들을 수평 방향으로 이어 붙여 상기 모자이킹 이미지를 생성하는 영상 처리 장치.
  6. 제 5 항에 있어서,
    상기 오브젝트 검출부는:
    상기 모자이킹 이미지에 대하여 상기 수평 방향으로 상기 오브젝트의 검출을 수행하는 영상 처리 장치.
  7. 제 1 항에 있어서,
    상기 이미지로부터 상기 영역들을 추출하기 전, 상기 이미지에 대하여 렌즈 왜곡 및 스큐(skew) 중 적어도 하나를 보정하는 이미지 보정부를 더 포함하는 영상 처리 장치.
  8. 이미지로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 단계;
    상기 추출된 영역들을 이어 붙여 모자이킹 이미지를 생성하는 단계; 및
    상기 모자이킹 이미지로부터 오브젝트를 검출하는 단계;
    를 포함하는 영상 처리 방법.
  9. 제 8 항에 있어서,
    상기 영역들을 추출하는 단계는:
    상기 이미지로부터 소실점을 검출하는 단계;
    상기 이미지 상에서 상기 소실점으로부터 수직 방향으로 기 설정된 간격마다 수평선을 지정하는 단계;
    각 수평선에서 상기 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산하는 단계; 및
    상기 각 수평선으로부터 상기 영역 높이만큼의 영역을 잘라내는 단계;
    를 포함하는 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 수평선을 지정하는 단계는:
    상기 이미지를 조감도 이미지로 변환하는 단계;
    상기 조감도 이미지 상에서 기 설정된 간격마다 조감도 수평선을 지정하는 단계; 및
    상기 조감도 수평선에 대한 상기 조감도 이미지 상의 좌표를 상기 이미지 상의 좌표로 변환하는 단계;
    를 포함하는 영상 처리 방법.
  11. 제 9 항에 있어서,
    상기 영역 높이는, 해당 수평선과 상기 소실점 간의 거리에 비례하는 영상 처리 방법.
  12. 제 8 항에 있어서,
    상기 모자이킹 이미지를 생성하는 단계는:
    상기 추출된 영역들의 높이를 동일하게 조정하는 단계; 및
    상기 높이가 조정된 영역들을 수평 방향으로 이어 붙이는 단계;
    를 포함하는 영상 처리 방법.
  13. 제 12 항에 있어서,
    상기 오브젝트를 검출하는 단계는:
    상기 모자이킹 이미지에 대하여 상기 수평 방향으로 상기 오브젝트의 검출을 수행하는 단계를 포함하는 영상 처리 방법.
  14. 제 8 항에 있어서,
    상기 영역들을 추출하는 단계 전, 상기 이미지에 대하여 렌즈 왜곡 및 스큐 중 적어도 하나를 보정하는 단계를 더 포함하는 영상 처리 방법.
  15. 차량 주변을 촬영하는 카메라;
    상기 카메라가 촬영하여 얻은 영상을 처리하여 상기 차량 주변의 물체를 검출하는 영상 처리 장치; 및
    상기 검출된 물체에 관한 정보를 출력하는 출력부를 포함하며,
    상기 영상 처리 장치는:
    이미지로부터 사전에 결정된 타겟 오브젝트의 사이즈에 해당하는 영역들을 추출하는 영역 추출부;
    상기 추출된 영역들을 이어 붙여 모자이킹 이미지를 생성하는 모자이킹 이미지 생성부; 및
    상기 모자이킹 이미지로부터 상기 물체에 대응하는 오브젝트를 검출하는 오브젝트 검출부;
    를 포함하는 차량 운전 보조 시스템.
  16. 제 15 항에 있어서,
    상기 영역 추출부는:
    상기 이미지로부터 소실점을 검출하는 소실점 검출부;
    상기 이미지 상에서 상기 소실점으로부터 수직 방향으로 기 설정된 간격마다 수평선을 지정하고, 각 수평선에서 상기 타겟 오브젝트의 높이에 해당하는 영역 높이를 계산하는 영역 높이 계산부; 및
    상기 각 수평선으로부터 상기 영역 높이만큼의 영역을 잘라내는 영역 절단부;
    를 포함하는 차량 운전 보조 시스템.
  17. 제 16 항에 있어서,
    상기 영역 추출부는, 상기 이미지를 조감도 이미지로 변환하는 조감도 이미지 변환부를 더 포함하고,
    상기 영역 높이 계산부는, 상기 조감도 이미지 상에서 기 설정된 간격마다 조감도 수평선을 지정하고, 상기 조감도 수평선에 대한 상기 조감도 이미지 상의 좌표를 상기 이미지 상의 좌표로 변환하여 상기 이미지 상에서 상기 수평선을 지정하는 차량 운전 보조 시스템.
  18. 제 16 항에 있어서,
    상기 영역 높이는, 해당 수평선과 상기 소실점 간의 거리에 비례하는 차량 운전 보조 시스템.
  19. 제 15 항에 있어서,
    상기 모자이킹 이미지 생성부는:
    상기 추출된 영역들의 높이를 동일하게 조정하고, 상기 높이가 조정된 영역들을 수평 방향으로 이어 붙여 상기 모자이킹 이미지를 생성하는 차량 운전 보조 시스템.
  20. 제 19 항에 있어서,
    상기 오브젝트 검출부는:
    상기 모자이킹 이미지에 대하여 상기 수평 방향으로 상기 오브젝트의 검출을 수행하는 차량 운전 보조 시스템.
  21. 제 15 항에 있어서,
    상기 영상 처리 장치는:
    상기 이미지로부터 상기 영역들을 추출하기 전, 상기 이미지에 대하여 렌즈 왜곡 및 스큐 중 적어도 하나를 보정하는 이미지 보정부를 더 포함하는 차량 운전 보조 시스템.
  22. 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    제 8 항 내지 제 14 항 중 어느 한 항에 따른 영상 처리 방법을 컴퓨터에서 실행하기 위한 프로그램이 기록된 기록매체.
KR1020140024505A 2014-02-28 2014-02-28 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템 KR101593483B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140024505A KR101593483B1 (ko) 2014-02-28 2014-02-28 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템
US14/474,457 US9646363B2 (en) 2014-02-28 2014-09-02 Image processing apparatus and method for detecting object using equi-height mosaicking image, and vehicle operation assisting system employing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140024505A KR101593483B1 (ko) 2014-02-28 2014-02-28 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템

Publications (2)

Publication Number Publication Date
KR20150102525A true KR20150102525A (ko) 2015-09-07
KR101593483B1 KR101593483B1 (ko) 2016-02-12

Family

ID=54007014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140024505A KR101593483B1 (ko) 2014-02-28 2014-02-28 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템

Country Status (2)

Country Link
US (1) US9646363B2 (ko)
KR (1) KR101593483B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780321A (zh) * 2016-11-21 2017-05-31 中国测绘科学研究院 一种cbers‑02卫星hr传感器影像整体严密定向与纠正拼接方法
KR102112250B1 (ko) * 2019-03-04 2020-05-19 주식회사 넥스트칩 오브젝트 검출 방법 및 장치
KR102125152B1 (ko) * 2018-12-24 2020-06-19 연세대학교 산학협력단 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016159780A (ja) * 2015-03-02 2016-09-05 パイオニア株式会社 撮影装置、制御方法、プログラム及び記憶媒体
CN110363766A (zh) * 2019-07-24 2019-10-22 北京市博汇科技股份有限公司 马赛克检测方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011069626A (ja) * 2009-09-24 2011-04-07 Hitachi Automotive Systems Ltd 障害物検知装置
WO2012164804A1 (ja) * 2011-06-02 2012-12-06 パナソニック株式会社 物体検出装置、物体検出方法および物体検出プログラム
KR20130015975A (ko) * 2011-08-05 2013-02-14 엘지전자 주식회사 차량을 검출하기 위한 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796154B2 (en) 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
JP5227898B2 (ja) 2009-05-28 2013-07-03 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像形成プログラム
WO2011047731A1 (en) * 2009-10-22 2011-04-28 Tele Atlas B.V. Method for creating a mosaic image using masks
US8818132B2 (en) * 2010-11-29 2014-08-26 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
KR101243294B1 (ko) 2011-05-19 2013-03-13 수원대학교산학협력단 이동 객체 추출 및 추적 방법 및 장치
CN103029621B (zh) * 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
KR20130058286A (ko) 2011-11-25 2013-06-04 한국전자통신연구원 보행자 검출기의 보행자 검출 방법
KR101371875B1 (ko) 2011-11-28 2014-03-07 현대자동차주식회사 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011069626A (ja) * 2009-09-24 2011-04-07 Hitachi Automotive Systems Ltd 障害物検知装置
WO2012164804A1 (ja) * 2011-06-02 2012-12-06 パナソニック株式会社 物体検出装置、物体検出方法および物体検出プログラム
KR20130015975A (ko) * 2011-08-05 2013-02-14 엘지전자 주식회사 차량을 검출하기 위한 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:한국통신학회 종합학술발표회 논문집* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780321A (zh) * 2016-11-21 2017-05-31 中国测绘科学研究院 一种cbers‑02卫星hr传感器影像整体严密定向与纠正拼接方法
CN106780321B (zh) * 2016-11-21 2020-08-21 中国测绘科学研究院 一种cbers-02卫星hr传感器影像整体严密定向与纠正拼接方法
KR102125152B1 (ko) * 2018-12-24 2020-06-19 연세대학교 산학협력단 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법
KR102112250B1 (ko) * 2019-03-04 2020-05-19 주식회사 넥스트칩 오브젝트 검출 방법 및 장치

Also Published As

Publication number Publication date
US20150248753A1 (en) 2015-09-03
US9646363B2 (en) 2017-05-09
KR101593483B1 (ko) 2016-02-12

Similar Documents

Publication Publication Date Title
KR101593484B1 (ko) 동등-높이 주변영역 정합 영상을 이용하여 측면에서 접근하는 일부분만 보이는 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템
KR101593483B1 (ko) 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템
JP5012718B2 (ja) 画像処理装置
JP6188592B2 (ja) 物体検出装置、物体検出方法、および物体検出プログラム
EP3203725A1 (en) Vehicle-mounted image recognition device
US9747507B2 (en) Ground plane detection
KR20140048539A (ko) 차량의 주변영상을 이용한 객체 인식장치 및 방법
US20170259830A1 (en) Moving amount derivation apparatus
JP2008102620A (ja) 画像処理装置
US20180232582A1 (en) Object detection device, object detection method, and program
KR20160054925A (ko) 특정물체 감지 장치 및 특정물체 감지 방법
JP6802999B2 (ja) 区画線検出システム
JP6526449B2 (ja) 道路附属物検出装置および道路附属物検出方法
JP2013251005A (ja) 画像補正方法
JP2009223504A (ja) 車両検出装置および方法、並びに、プログラム
KR101734749B1 (ko) 차량 주변 영상 정합 시스템 및 방법
KR101726692B1 (ko) 객체 추출 장치 및 방법
KR101904480B1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
JP2010071942A (ja) 物体検出装置
JP2018085685A5 (ko)
JP2009077022A (ja) 運転支援システム及び車両
JPWO2018146997A1 (ja) 立体物検出装置
JP2010205039A (ja) 障害物検出装置
JP6987173B2 (ja) 障害物検知装置及びこれを備えた障害物検知システム、障害物検知方法
JP2011113339A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 5