KR20170006443A - 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 - Google Patents

차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR20170006443A
KR20170006443A KR1020150097054A KR20150097054A KR20170006443A KR 20170006443 A KR20170006443 A KR 20170006443A KR 1020150097054 A KR1020150097054 A KR 1020150097054A KR 20150097054 A KR20150097054 A KR 20150097054A KR 20170006443 A KR20170006443 A KR 20170006443A
Authority
KR
South Korea
Prior art keywords
image
vehicle
size
vehicle image
corrected
Prior art date
Application number
KR1020150097054A
Other languages
English (en)
Other versions
KR102429893B1 (ko
Inventor
이승원
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020150097054A priority Critical patent/KR102429893B1/ko
Publication of KR20170006443A publication Critical patent/KR20170006443A/ko
Application granted granted Critical
Publication of KR102429893B1 publication Critical patent/KR102429893B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

실시 예의 차량용 영상 처리 장치는 차량의 주변에 대한 차량 영상을 획득하는 영상 획득부와, 영상 획득부로부터 출력되는 차량 영상이 갖는 왜곡을 보정하여, 차량 영상보다 크기가 큰 보정 영상을 생성하는 영상 보정부와, 영상 보정부로부터 출력되는 보정 영상에서 유효 영역을 크롭하는 영상 크롭부 및 크롭된 영상의 크기를 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 왜곡 없이 크기 보존된 다이나믹 영상을 생성하는 영상 리타겟팅부를 포함한다.

Description

차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체{Apparatus and method for processing image around vehicle, and recording medium for recording program performing the method}
실시 예는 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 관한 것이다.
기존의 차량용 영상 처리 방법에 의하면, 차량이 주차되어 있거나 후진할 때, 차량의 후방 영역에 대한 영상을 2가지의 모니터링 방법으로 처리하여 제공할 수 있다.
전술한 2가지의 모니터링 방법 중 하나인 투시도(perspective view)법에 의하면, 후방 영상에 대한 왜곡을 100% 보정할 수 있는 반면, 화각을 절반 이상 손실시키는 문제점을 가질 수 있다.
전술한 2가지의 모니터링 방법 중 다른 하나인 크로스 트래픽도(cross traffic view)법에 의하면, 차량의 측면에서 오는 사람도 감지할 수 있어 넓은 시야각을 운전자에게 제공할 수 있는 반면, 차량 주변의 촬영된 영상의 영역에 따라 왜곡률이 고정될 수 있다. 이로 인해, 촬영되는 객체의 형태가 위치에 따라 달라지며, 왜곡률이 달라지는 영역에 객체가 위치할 경우 왜곡된 객체 형태를 운전자에게 제공할 수 있는 문제점이 있다. 즉, 크로스 트랙픽도법에 의하면, 왜곡률을 100% 보정할 수 없어, 왜곡 성분을 여전히 갖는 문제점이 있다.
게다가, 차량의 운전자는 위의 2가지 모니터링 방법 중 하나를 선택해야 되는 불편한 문제점이 있으며 시안성이 감소하는 문제점이 있다.
실시 예는 차량의 주변 영상의 화각을 손실하지 않고 왜곡을 100% 보정할 수 있는 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체를 제공한다.
일 실시 예에 의한 차량용 영상 처리 장치는, 차량의 주변에 대한 차량 영상을 획득하는 영상 획득부; 상기 영상 획득부로부터 출력되는 상기 차량 영상이 갖는 왜곡을 보정하여, 상기 차량 영상보다 크기가 큰 보정 영상을 생성하는 영상 보정부; 상기 영상 보정부로부터 출력되는 상기 보정 영상에서 유효 영역을 크롭하는 영상 크롭부; 및 상기 크롭된 영상의 크기를 상기 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 왜곡 없이 크기 보존된 다이나믹 영상을 생성하는 영상 리타겟팅부를 포함할 수 있다.
예를 들어, 상기 영상 획득부는 상기 차량의 주변으로부터 반사되는 광선을 모아서 상기 차량 영상으로서 투영시키는 광각 렌즈를 포함할 수 있다.
예를 들어, 상기 영상 보정부는 상기 차량 영상을 보정하여, 상기 차량 영상의 가로 길이보다 큰 가로 길이를 갖는 보정 영상을 생성할 수 있다.
예를 들어, 상기 영상 리타겟팅부는 상기 크롭된 영상을 심 카빙하여 상기 다이나믹 영상을 생성할 수 있다.
예를 들어, 상기 영상 리타겟팅부는 상기 크롭된 영상에서 화소의 변화량이 상대적으로 적은 부분을 제거하여, 상기 보정 영상의 길이를 상기 차량 영상을 길이로 줄일 수 있다.
다른 실시 예에 의한 차량용 영상 처리 방법은, 차량의 주변에 대한 차량 영상을 획득하는 단계; 상기 차량 영상이 갖는 왜곡을 보정하여, 상기 차량 영상보다 크기가 큰 보정 영상을 생성하는 단계; 상기 보정 영상에서 유효 영역을 크롭하는 단계; 및 상기 크롭된 영상의 크기를 상기 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 왜곡 없이 크기 보존된 다이나믹 영상을 구하는 단계를 포함할 수 있다.
예를 들어, 상기 차량 영상을 획득하는 단계는 광각 렌즈를 사용하여 상기 차량 영상을 획득할 수 있다.
예를 들어, 상기 보정 영상의 가로 길이는 상기 차량 영상의 가로 길이보다 클 수 있다.
예를 들어, 상기 다이나믹 영상을 획득하는 단계는 상기 크롭된 영상을 심 카빙하여 상기 다이나믹 영상을 획득하는 단계를 포함할 수 있다.
예를 들어, 상기 다이나믹 영상을 획득하는 단계는 상기 크롭된 영상에서 화소의 변화량이 상대적으로 적은 부분을 제거하여, 상기 보정 영상의 길이를 상기 차량 영상을 길이로 줄이는 단계를 포함할 수 있다.
또 다른 실시 예에 의하면, 차량용 영상 처리 장치에서 수행되는 차량용 영상 처리 방법을 실행하기 위한 프로그램을 기록한 기록 매체는 차량의 주변에 대한 차량 영상을 획득하는 기능; 상기 차량 영상이 갖는 왜곡을 보정하여, 상기 차량 영상보다 크기가 큰 보정 영상을 생성하는 기능; 상기 보정 영상에서 유효 영역을 크롭하는 기능; 및 상기 크롭된 영상의 크기를 상기 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 왜곡 없이 크기 보존된 다이나믹 영상을 구하는 기능을 구현하는 프로그램을 기록할 수 있으며, 컴퓨터로 읽을 수 있다.
실시 예에 따른 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체는 차량 영상의 화각을 손실하지 않으면서도 왜곡을 100% 보정할 수 있어, 영상의 영역에 따른 객체 형태의 왜곡이 존재하지 않고 시야각이 넓어 차량 주변에 대한 시안성을 증대시켜 오인식의 확률을 줄여 사고의 위험성이 크게 감소하도록 개선된 다이나믹 영상을 제공할 수 있고, 기존의 2가지 모니터링법의 장점을 모두 갖기 때문에, 투시도법과 크로스 트랙픽법 중 어느 하나를 직접 선택해야 하는 번거로움이 해소될 수 있다.
도 1은 실시 예에 의한 차량용 영상 처리 장치의 블럭도이다.
도 2는 실시 예에 의한 차량용 영상 처리 방법을 설명하기 위한 플로우차트이다.
도 3은 차량 영상의 이해를 돕기 위한 차량의 평면도를 나타낸다.
도 4a 내지 도 4c는 기존의 차량용 영상 처리 방법을 설명하기 위한 예시적인 도면이다.
도 5a 및 도 5b는 실시 예에 의한 차량용 영상 처리 방법 및 장치를 설명하기 위한 예시적인 도면이다.
도 6a 내지 도 6d는 비교 례와 실시 예에 의한 차량용 영상 처리 방법 및 장치를 설명하기 위한 예시적인 도면이다.
도 7a 내지 도 7c는 비교 례와 실시 예에 의한 차량용 영상 처리 방법 및 장치를 설명하기 위한 예시적인 도면이다.
이하, 본 발명을 구체적으로 설명하기 위해 실시 예를 들어 설명하고, 발명에 대한 이해를 돕기 위해 첨부도면을 참조하여 상세하게 설명하기로 한다. 그러나, 본 발명에 따른 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시 예들에 한정되는 것으로 해석되지 않아야 한다. 본 발명의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
또한, 이하에서 이용되는 "제1" 및 "제2," "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서만 이용될 수도 있다.
도 1은 실시 예에 의한 차량용 영상 처리 장치(100)의 블럭도로서, 영상 획득부(110), 영상 보정부(120), 영상 크롭(crop)부(130) 및 영상 리타겟팅(retargeting)부(140)를 포함한다.
도 2는 실시 예에 의한 차량용 영상 처리 방법(200)을 설명하기 위한 플로우차트이다.
도 2에 도시된 차량용 영상 처리 방법(200)은 도 1에 도시된 차량용 영상 처리 장치(100)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 2에 도시된 차량용 영상 처리 방법(200)은 도 1에 도시된 차량용 영상 처리 장치(100)와 다른 구성을 갖는 장치에서도 수행될 수 있음은 물론이다.
또한, 도 1에 도시된 차량용 영상 처리 장치(100)는 도 2에 도시된 차량용 영상 처리 방법(200)에서와 같은 순서로 동작하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 1에 도시된 차량용 영상 처리 장치(100)는 도 2에 도시된 방법(200)의 처리 순서와 다른 순서로 동작할 수 있음은 물론이다.
도 1에 도시된 영상 획득부(110)는 차량의 주변에 대한 영상(이하, '차량 영상' 또는 '입력 영상' 또는 '원시 영상'이라 한다)을 획득하고, 획득된 차량 영상을 영상 보정부(120)로 출력한다(제210 단계).
도 3은 차량 영상의 이해를 돕기 위한 차량(C)의 평면도를 나타낸다.
영상 획득부(110)에서 획득된 차량 영상은 차량의 후방, 전방 또는 측방 중 적어도 한 방향의 영상일 수 있다. 예를 들어, 도 3을 참조하면, 영상 획득부(110)에서 획득된 영상은 차량(C)의 후방에 대한 영상(IB)일 수도 있고, 차량(C)의 전방에 대한 영상(IF)일 수도 있고, 차량(C)의 우측방에 대한 영상(IR)일 수도 있고, 차량(C)의 좌측방에 대한 영상(IL)일 수도 있다.
또한, 영상 획득부(110)는 차량 영상을 획득하기 위해, 광각 렌즈(미도시)를 사용할 수 있다. 광각 렌즈는 차량의 주변으로부터 반사되는 광선을 모아서 차량 영상으로서 투영시키는 역할을 한다. 또한, 영상 획득부(110)는 촬상 소자(미도시)를 포함할 수 있다. 촬상 소자는 매트릭스상에 배열하게 되는 복수의 픽셀을 가지며, 픽셀에는 R(적색), G(녹), 및 B(청)의 어느 한쪽의 컬러 필터가 소정의 배열, 예를 들면, 베이어(Bayer) 방식으로 배열될 수 있다. 촬상 소자는 각 색마다에 RGB 화상 신호를 출력할 수 있다.
도 3을 참조하면, 차량 영상이 차량(C)의 전방에 대한 영상(IF)일 경우 광각 렌즈는 차량의 전방(310)에 배치될 수 있고, 차량 영상이 차량(C)의 후방에 대한 영상(IB)일 경우 광각 렌즈는 차량의 후미(320)에 배치될 수 있고, 차량 영상이 차량(C)의 우측방에 대한 영상(IR)일 경우 광각 렌즈는 우측 백 미러의 하단에 배치될 수 있고, 차량 영상이 차량(C)의 좌측방에 대한 영상(IL)일 경우 광각 렌즈는 좌측 백 미러의 하단에 배치될 수 있다. 그러나, 실시 예는 광각 렌즈가 배치된 위치에 국한되지 않는다.
제210 단계 후에, 영상 보정부(120)는 영상 획득부(110)로부터 출력되는 차량 영상이 갖는 왜곡을 보정하여, 차량 영상보다 크기가 큰 보정 영상을 생성한다(제220 단계). 여기서, 차량 영상이 갖는 왜곡이란, 촬영된 차량 영상의 광학적이고 기하학적인 일그러짐을 의미할 수 있다. 예를 들어, 차량 영상이 갖는 왜곡이란, 차량 영상을 획득하기 위해 사용되는 렌즈의 방사 형태의 왜곡일 수 있다.
차량 영상보다 큰 크기를 갖는 보정 영상을 생성하기 위해 다양한 보정 방법이 사용될 수 있다. 예를 들어, 이러한 왜곡 보정 방법 중의 하나가, "Juho Kannala" 및 "Sami S. Brandt"에 의해 "A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses"라는 제목으로 2006년도 출판된 IEEE의 Pattern Analysis and Machine Intelligence 저널지의 Vol. 28의 No. 8의 페이지 1135-1340쪽에 실린 논문에 개시되어 있다.
또한, 보정 영상의 가로 길이는 차량 영상의 가로 길이보다 클 수도 있으나, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면, 보정 영상의 세로 길이는 차량 영상의 세로 길이보다 클 수도 있다. 또 다른 실시 예에 의하면, 보정 영상의 가로 길이는 차량 영상의 가로 길이보다 크고, 보정 영상의 세로 길이는 차량 영상의 세로 길이보다 클 수도 있다.
제220 단계 후에, 영상 크롭부(130)는 영상 보정부(120)로부터 출력되는 보정 영상에서 유효 영역을 크롭하고, 크롭된 영상을 영상 리타겟팅부(140)로 출력한다(제230 단계). 여기서, 크롭이란, 보정 영상에서 유효 영역을 잘라내는 동작을 의미한다.
제230 단계 후에, 영상 리타겟팅부(140)는 영상 크롭부(130)에서 크롭된 영상의 크기를 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 다이나믹 영상을 생성한다(제240 단계). 여기서, 다이나믹 영상이란, 차량 영상의 왜곡을 제거한 왜곡없는 영상으로서, 차량 영상의 크기가 보존된 영상이다. 즉, 다이나믹 영상의 크기는 차량 영상의 크기와 동일할 수 있다.
예를 들어, 영상 리타겟팅부(140)는 크롭된 영상을 심 카빙(seam carving)하여 다이나믹 영상을 생성할 수 있다. 즉, 영상 리타겟팅부(140)는 컨텐츠 기반으로 영상을 리타겟팅(또는, resizing)하기 위해, 다이나믹 프로그래밍 기법을 사용하여 영상의 크기를 조절할 수 있다. 즉, 영상 리타겟팅부(140)는 컨텐츠 기반으로 크롭된 영상의 크기를 변경할 뿐만 아니라, 영상 속에 정보들(객체들)은 유지된 상태에서 주변의 비 관심 영역들의 정보만 소실시킬 수 있다. 이러한 리타겟팅에는 여러 가지가 있으나, 실시 예의 경우 리타겟팅으로서 심 카빙(seam carving) 기법을 이용할 수 있다.
영상 리타겟팅부(140)는 크롭된 영상에서 정보가 작은 영역은 줄이고 정보가 많은 영역은 형태를 유지하여 객체 형태를 보존하면서 크롭 영상을 스케일링하여 화각 손실 없는 다이나믹 영상을 생성할 수 있다. 일례로서, 영상 리타겟팅부(140)는 크롭된 영상에서 화소의 변화량이 상대적으로 적은 부분을 제거하여, 보정 영상의 길이를 차량 영상을 길이로 줄일 수 있다.
차량 영상을 획득하는 렌즈의 화각이 180°를 초과할 경우, 차량 영상을 보정하면 보정된 영상의 가로 길이가 길어질 수 있다. 따라서, 제230 단계에서 크롭된 영상의 비율은 차량 영상의 크기보다 더 커지게 된다. 만일, 차량 영상의 비율이 16:9일 경우, 이보다 큰 보정 영상의 크기를 16:9의 비율로 맞추기 위해, 제240 단계에서 심 카빙 기반의 리타겟팅 기법을 사용하여, 영상에서 의미가 없는 수직 라인(vertical line)을 찾아낸 후 하나씩 제거한다. 이러한 수직 라인을 제거하는 동작은, 보정 영상의 크기가 차량 영상의 크기와 동일해질 때까지 반복적으로 수행될 수 있다.
한편, 차량용 영상 처리 장치(100)에서 수행되는 차량용 영상 처리 방법(200)을 실행하기 위한 프로그램을 기록한 기록 매체는 차량의 주변에 대한 차량 영상을 획득하는 기능과, 차량 영상이 갖는 왜곡을 보정하여, 차량 영상보다 크기가 큰 보정 영상을 생성하는 기능과, 보정 영상에서 유효 영역을 크롭하는 기능 및 크롭된 영상의 크기를 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 왜곡 없이 크기 보존된 다이나믹 영상을 구하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 이러한 기록 매체를 읽을 수 있다.
컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.　또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 자동차 트렁크 개방 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이하, 이해를 돕기 위해 다음과 같이 예시적인 도면을 참조하여 비교 례와 실시 예에 의한 차량용 영상 처리 방법 및 장치를 다음과 같이 설명한다.
도 4a 내지 도 4c는 기존의 차량용 영상 처리 방법을 설명하기 위한 예시적인 도면이다.
도 4a에 도시된 차량 영상을 기존의 투시도법에 의해 처리할 경우 도 4b에 도시된 바와 같이 왜곡은 보정되지만 화각이 손실된 영상이 획득될 수 있다. 또는, 도 4a에 도시된 차량 영상을 기존의 크로스 트래픽법에 의해 처리할 경우 도 4c에 도시된 바와 같이 시야각은 넓어지지만 왜곡된 객체 형태(402, 404)를 갖는 영상이 획득될 수 있다.
도 5a 및 도 5b는 실시 예에 의한 차량용 영상 처리 방법 및 장치를 설명하기 위한 예시적인 도면이다.
먼저, 영상 획득부(110)는 도 4a에 예시된 바와 같은 차량 영상을 획득한다(제210 단계). 제210 단계 후에, 영상 보정부(120)는 도 4a에 도시된 차량 영상의 왜곡을 보정하여 도 5a에 예시된 바와 같은 보정 영상을 생성한다(제220 단계). 이후, 영상 크롭부(130)는 도 5a에 도시된 보정 영상에서 유효 영역(500)을 크롭한다(제230 단계). 이후, 영상 리타겟팅부(140)는 크롭된 유효 영역(500)의 영상을 도 4a에 도시된 차량 영상의 크기와 동일한 크기를 갖는 도 5b에 예시된 바와 같은 다이나믹 영상으로 리타겟팅한다(제240 단계). 따라서, 도 5b에 도시된 최종 영상은 도 4b에 도시된 바와 같은 화각 손실이 없으면서 동시에 도 4c에 도시된 바와 같은 왜곡(402, 404)이 없다.
도 6a 내지 도 6d는 비교 례와 실시 예에 의한 차량용 영상 처리 방법 및 장치를 설명하기 위한 예시적인 도면이다.
도 6a에 도시된 바와 같이, 왜곡을 갖는 차량 영상이 획득된 후, 기존의 투시도법에 의해 차량 영상을 처리할 경우 도 6b에 도시된 바와 같이 차량 영상 대비 가로 영역의 화각 손실이 발생할 수 있다. 또한, 도 6a에 도시된 차량 영상을 기존의 크로스 트래픽도법에 의해 처리할 경우, 도 6c에 도시된 바와 같이 갑작스러운 왜곡률 변화로 영상에서 비선형적 영역(412, 414)이 발생할 수 있다. 반면에, 전술한 바와 같이 실시 예에 의한 차량용 영상 처리 방법 및 장치에 의할 경우 정보를 많이 포함하는 패턴 영역의 비율은 보존하면서 전체적인 영상은 도 6a에 도시된 차량 영상의 비율에 맞춰서 리타겟팅되므로, 도 6d에 도시된 바와 같이 왜곡이 없고 화각의 손실이 없는 다이나믹 영상이 획득될 수 있다.
도 7a 내지 도 7c는 비교 례와 실시 예에 의한 차량용 영상 처리 방법 및 장치를 설명하기 위한 예시적인 도면이다.
도 7a 내지 도 7c를 참조하면, 객체가 화살표 방향으로 이동하는 상태에서 차량 영상이 획득될 수 있다. 이 경우, 기존의 투시도법에 의해 차량 영상을 처리할 경우, 도 7a에 도시된 바와 같이 최종적으로 처리된 영상(600)에서 객체가 벗어나서 손실되는 문제점이 있다. 또는, 기존의 크로스 트래픽도법에 의해 차량 영상을 처리할 경우 도 7b에 도시된 바와 같이 영상(610)에서 객체가 벗어나지 않는다고 하더라도 객체가 왜곡되는 문제점이 있다. 반면에, 실시 예에 의한 차량용 영상 처리 방법 및 장치에 의할 경우, 도 7c에 도시된 바와 같이 영상(620)에서 객체가 벗어나지도 않고 객체의 왜곡도 없는 다이나믹 영상이 획득될 수 있다.
결국, 전술한 실시 예에 의한 차량용 영상 처리 장치 및 방법에 의할 경우, 왜곡을 보정하면서 원래의 차량 영상의 크기를 키운 후, 보정된 영상에서 유효 영역을 크롭하고, 크롭된 영상을 리타겟팅하여 다이나믹 영상을 획득한다. 따라서, 차량 영상의 화각을 손실하지 않으면서도 왜곡을 100% 보정할 수 있어, 영상의 영역에 따른 객체 형태의 왜곡이 존재하지 않고 시야각이 넓어 차량 주변에 대한 시안성을 증대시켜 오인식의 확률을 줄여 사고의 위험성을 크게 감소시킬 수 있는 개선된 다이나믹 영상을 제공할 수 있다. 또한, 2가지 모니터링 법의 장점을 모두 갖는 다이나믹 영상이 차량의 운전자에게 제공될 수 있어, 기존과 같이 투시도법과 크로스 트랙픽 법을 직접 선택할 필요없어 운전자의 편의성을 증대시킬 수 있다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 획득부 120: 영상 보정부
130: 영상 크롭부 140: 영상 리타겟팅

Claims (11)

  1. 차량의 주변에 대한 차량 영상을 획득하는 영상 획득부;
    상기 영상 획득부로부터 출력되는 상기 차량 영상이 갖는 왜곡을 보정하여, 상기 차량 영상보다 크기가 큰 보정 영상을 생성하는 영상 보정부;
    상기 영상 보정부로부터 출력되는 상기 보정 영상에서 유효 영역을 크롭하는 영상 크롭부; 및
    상기 크롭된 영상의 크기를 상기 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 왜곡 없이 크기 보존된 다이나믹 영상을 생성하는 영상 리타겟팅부를 포함하는 차량용 영상 처리 장치.
  2. 제1 항에 있어서, 상기 영상 획득부는
    상기 차량의 주변으로부터 반사되는 광선을 모아서 상기 차량 영상으로서 투영시키는 광각 렌즈를 포함하는 차량용 영상 처리 장치.
  3. 제1 항에 있어서, 상기 영상 보정부는
    상기 차량 영상을 보정하여, 상기 차량 영상의 가로 길이보다 큰 가로 길이를 갖는 보정 영상을 생성하는 차량용 영상 처리 장치.
  4. 제3 항에 있어서, 상기 영상 리타겟팅부는
    상기 크롭된 영상을 심 카빙하여 상기 다이나믹 영상을 생성하는 차량용 영상 처리 장치.
  5. 제3 항에 있어서, 상기 영상 리타겟팅부는
    상기 크롭된 영상에서 화소의 변화량이 상대적으로 적은 부분을 제거하여, 상기 보정 영상의 길이를 상기 차량 영상을 길이로 줄이는 차량용 영상 처리 장치.
  6. 차량의 주변에 대한 차량 영상을 획득하는 단계;
    상기 차량 영상이 갖는 왜곡을 보정하여, 상기 차량 영상보다 크기가 큰 보정 영상을 생성하는 단계;
    상기 보정 영상에서 유효 영역을 크롭하는 단계; 및
    상기 크롭된 영상의 크기를 상기 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 왜곡 없이 크기 보존된 다이나믹 영상을 구하는 단계를 포함하는 차량용 영상 처리 방법.
  7. 제6 항에 있어서, 상기 차량 영상을 획득하는 단계는
    광각 렌즈를 사용하여 상기 차량 영상을 획득하는 차량용 영상 처리 방법.
  8. 제6 항에 있어서, 상기 보정 영상의 가로 길이는 상기 차량 영상의 가로 길이보다 큰 차량용 영상 처리 방법.
  9. 제8 항에 있어서, 상기 다이나믹 영상을 획득하는 단계는
    상기 크롭된 영상을 심 카빙하여 상기 다이나믹 영상을 획득하는 단계를 포함하는 차량용 영상 처리 방법.
  10. 제8 항에 있어서, 상기 다이나믹 영상을 획득하는 단계는
    상기 크롭된 영상에서 화소의 변화량이 상대적으로 적은 부분을 제거하여, 상기 보정 영상의 길이를 상기 차량 영상을 길이로 줄이는 단계를 포함하는 차량용 영상 처리 방법.
  11. 차량용 영상 처리 장치에서 수행되는 차량용 영상 처리 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 있어서,
    차량의 주변에 대한 차량 영상을 획득하는 기능;상기 차량 영상이 갖는 왜곡을 보정하여, 상기 차량 영상보다 크기가 큰 보정 영상을 생성하는 기능;
    상기 보정 영상에서 유효 영역을 크롭하는 기능; 및
    상기 크롭된 영상의 크기를 상기 차량 영상의 크기와 동일한 크기로 영상 리타겟팅하여 왜곡 없이 크기 보존된 다이나믹 영상을 구하는 기능을 구현하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020150097054A 2015-07-08 2015-07-08 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 KR102429893B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150097054A KR102429893B1 (ko) 2015-07-08 2015-07-08 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150097054A KR102429893B1 (ko) 2015-07-08 2015-07-08 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Publications (2)

Publication Number Publication Date
KR20170006443A true KR20170006443A (ko) 2017-01-18
KR102429893B1 KR102429893B1 (ko) 2022-08-05

Family

ID=57992182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150097054A KR102429893B1 (ko) 2015-07-08 2015-07-08 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Country Status (1)

Country Link
KR (1) KR102429893B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130025005A (ko) * 2011-08-30 2013-03-11 에스엘 주식회사 차량의 주변 영상 보정 장치 및 방법
KR20140088779A (ko) * 2013-01-03 2014-07-11 주식회사 이미지넥스트 차량의 후방 모니터링 장치 및 방법
WO2015085589A1 (zh) * 2013-12-13 2015-06-18 华为终端有限公司 一种获取全景图像的方法及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130025005A (ko) * 2011-08-30 2013-03-11 에스엘 주식회사 차량의 주변 영상 보정 장치 및 방법
KR20140088779A (ko) * 2013-01-03 2014-07-11 주식회사 이미지넥스트 차량의 후방 모니터링 장치 및 방법
WO2015085589A1 (zh) * 2013-12-13 2015-06-18 华为终端有限公司 一种获取全景图像的方法及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Avidan and Shamir. Seam carving for content-aware image resizing. In ACM SIGGRAPH, 2007년, pp. 1-9. 1부.* *
논문: ACM SIGGRAPH 2007 *

Also Published As

Publication number Publication date
KR102429893B1 (ko) 2022-08-05

Similar Documents

Publication Publication Date Title
KR101811157B1 (ko) 사발형 영상 시스템
CN107273788B (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
US20070065014A1 (en) Method for warped image object recognition
JP5639024B2 (ja) 画像処理装置
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
JP7361482B2 (ja) 画像処理装置、撮像装置、移動体及び画像処理方法
CN113076851B (zh) 一种车辆违章数据的采集方法、装置以及计算机设备
US20140226908A1 (en) Object detection apparatus, object detection method, storage medium, and integrated circuit
EP3480779A1 (en) Method and system for handling images
CN111355880B (zh) 半导体器件、图像处理系统和方法及计算机可读存储介质
KR101807090B1 (ko) 영상 왜곡 보정 장치 및 방법
KR101469717B1 (ko) 광각 카메라를 이용한 영상 시스템 및 그 방법
KR20140026078A (ko) 객체 추출 장치 및 방법
KR20140071191A (ko) 객체 추출 장치 및 방법
KR20170006443A (ko) 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
JP2012222664A (ja) 車載カメラシステム
JP2023046953A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP2023046965A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
KR101628931B1 (ko) 차량용 블랙박스의 화각 제어 장치 및 방법
US20200058107A1 (en) Apparatus for processing image blurring and method thereof
US10614556B2 (en) Image processor and method for image processing
JP4747670B2 (ja) 画像処理装置
CN113506218B (zh) 一种用于多车厢超长车型的360°视频拼接方法
EP3528492A1 (en) Image matching method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant