KR102087365B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102087365B1
KR102087365B1 KR1020180061598A KR20180061598A KR102087365B1 KR 102087365 B1 KR102087365 B1 KR 102087365B1 KR 1020180061598 A KR1020180061598 A KR 1020180061598A KR 20180061598 A KR20180061598 A KR 20180061598A KR 102087365 B1 KR102087365 B1 KR 102087365B1
Authority
KR
South Korea
Prior art keywords
image processing
lane
image
virtual lane
vehicle
Prior art date
Application number
KR1020180061598A
Other languages
English (en)
Other versions
KR20190136212A (ko
Inventor
김태근
Original Assignee
(주)에이다스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이다스원 filed Critical (주)에이다스원
Priority to KR1020180061598A priority Critical patent/KR102087365B1/ko
Publication of KR20190136212A publication Critical patent/KR20190136212A/ko
Application granted granted Critical
Publication of KR102087365B1 publication Critical patent/KR102087365B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 처리 기술에 관한 것으로, 본 발명의 실시 예에 따른 영상 처리 장치는, 차량에 탑재되어, 기 설정된 영역을 촬영하여 처리 대상 영상을 실시간으로 획득하는 영상 획득 모듈; 및 상기 처리 대상 영상에서 영상 처리 영역을 확정하고, 상기 영상 처리 영역 내 관심 차선에 존재하는 기준 차량을 선택하고, 상기 기준 차량에 대한 좌측 가상 차선 및 우측 가상 차선을 설정하고, 상기 기준 차량, 상기 좌측 가상 차선 및 상기 우측 가상 차선을 바탕으로 버드아이 뷰(birdeye view) 영상을 생성하는 영상 처리 모듈을 포함한다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR IMAGE PROCESS}
본 발명은 영상 처리 기술에 관한 것으로, 상세하게는 주행중인 차량의 영상 획득 모듈에 의해 획득된 영상을 처리하는 영상 처리 장치 및 방법에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시 예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
최근 IT 기술이 급속도로 발전하면서 비전 시스템과 융합한 지능형 차량에 대한 관심이 높아지고 있다.
이미지 센서에 의한 비전 기반 시스템은 저렴한 비용으로 많은 정보의 추출이 가능하고, 종래의 다양한 영상 처리 알고리즘을 활용할 수 있다는 강력한 장점으로 인해 오늘날까지 보편적으로 이용되어 왔다.
특히, 교통 사고의 위험을 줄이는 차선이탈 정보, 차선유지, 충돌 경보 시스템과 같은 첨단 안전 자동차(ASV: Advanced Safety Vehicle) 기술은 지능형 자동차 기술의 기반 기술로서 다양한 연구 및 기술개발에 많은 인력과 재원이 투입되고 있다.
그러나, 잘 알려진 바와 같이 영상 처리 알고리즘의 실행은 하드웨어의 매 큰 부하로 작용하고, 원활한 영상 처리를 위해, 높은 성능을 제공하는 고가의 하드웨어가 필요한 문제점이 있다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
따라서, 본 발명의 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 차량 내 영상 획득 모듈에 의해 획득된 영상을 처리하는 과정에서의 영상 처리 부하 및 영상 처리 속도를 줄일 수 있는 영상 처리 장치 및 방법을 제공하는 데에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 영상 처리 장치는, 차량에 탑재되어, 기 설정된 영역을 촬영하여 처리 대상 영상을 실시간으로 획득하는 영상 획득 모듈; 및 상기 처리 대상 영상에서 영상 처리 영역을 확정하고, 상기 영상 처리 영역 내 관심 차선에 존재하는 기준 차량을 선택하고, 상기 기준 차량에 대한 좌측 가상 차선 및 우측 가상 차선을 설정하고, 상기 기준 차량, 상기 좌측 가상 차선 및 상기 우측 가상 차선을 바탕으로 버드아이 뷰(birdeye view) 영상을 생성하는 영상 처리 모듈을 포함한다.
상기 영상 처리 모듈은, 상기 처리 대상 영상에서 소실점의 위치를 추정하고, 추정된 소실점 아래 영역을 상기 영상 처리 영역으로 확정하도록 구성될 수 있다.
상기 영상 처리 모듈은, 상기 관심 차선에 존재하는 차량들 중 가장 원거리에 존재하는 차량을 상기 기준 차량으로 선택하도록 구성될 수 있다.
상기 영상 처리 모듈은, 상기 기준 차량을 선택하는 과정에서 차량 간 위치 관계 정보, 차선 형태 정보를 생성하도록 구성될 수 있다.
상기 영상 처리 모듈은, 상기 좌측 가상 차선 및 상기 우측 가상 차선에 기 획득된 차선 형태 정보를 적용하여 생성되는 좌측 차선 및 우측 차선을 적용하여 상기 버드아이 뷰 영상을 생성하도록 구성될 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 영상 처리 방법은, 처리 대상 영상에서 영상 처리 영역을 확정하는 단계; 상기 영상 처리 영역 내 관심 차선에 존재하는 기준 차량을 선택하는 단계; 상기 기준 차량에 대한 좌측 가상 차선 및 우측 가상 차선을 설정하는 단계; 및 상기 기준 차량, 상기 좌측 가상 차선 및 상기 우측 가상 차선을 바탕으로 버드아이 뷰(birdeye view) 영상을 생성하는 단계를 포함한다.
상기 확정하는 단계는, 상기 처리 대상 영상에서 소실점의 위치를 추정하고, 추정된 소실점 아래 영역을 상기 영상 처리 영역으로 확정하는 단계일 수 있다.
상기 선택하는 단계는, 상기 관심 차선에 존재하는 차량들 중 가장 원거리에 존재하는 차량을 상기 기준 차량으로 선택하는 단계일 수 있다.
상기 선택하는 단계는, 상기 기준 차량을 선택하는 과정에서 차량 간 위치 관계 정보, 차선 형태 정보를 생성하는 것일 수 있다.
상기 생성하는 단계는, 상기 좌측 가상 차선 및 상기 우측 가상 차선에 기 획득된 차선 형태 정보를 적용하여 생성되는 좌측 차선 및 우측 차선을 적용하여 상기 버드아이 뷰 영상을 생성하는 것일 수 있다.
상기와 같은 본 발명의 실시 예에 따르면, 획득되는 원본 영상에 소실점 기준으로 영상 처리 영역 확정, 영상 처리 영역 내 관심 차선에 존재하는 기준 차량 선택, 기준 차량에 대한 좌측 및 우측 가상 차선 설정, 기준 차량과 좌우측 가상 차선을 바탕으로 버드아이 뷰 영상 생성을 적용함에 따라, 원본 영상과 대비하여 상당히 작은 크기를 갖는 영상을 생성할 수 있다.
따라서, 원본 영상 전체에 대해서가 아니라 원본 영상 중 원하는 영역에 대해서만 추가적인 영상 처리를 수행하면 되기 때문에, 영상 처리 부하 및 영상 처리 속도를 줄일 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 영상 처리 장치의 일례를 도시한 블록 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 영상 처리 장치에 의해 수행되는 영상 처리 방법을 설명하기 위한 순서도이다.
도 3은 도 2의 단계 S200에서의 소실점 위치 추정 및 영상 처리 영역 확정 동작에 따른 처리 과정의 일례를 도시한 도면이다.
도 4는 도 2의 단계 S210에서의 기준 차량 선택 동작에 따른 처리 과정의 일례를 도시한 도면이다.
도 5는 도 2의 단계 S220에서의 좌측 및 우측 가상 차선 설정 동작에 따른 처리 과정의 일례를 도시한 도면이다.
도 6은 도 2의 단계 S230에서의 버드아이 뷰 영상 생성 동작에 따른 처리 과정의 결과의 일례를 도시한 도면이다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 본 발명에서 제안하는 영상 처리 장치 및 방법에 대해서 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 영상 처리 장치의 일례를 도시한 블록 구성도이다.
도 1을 참조하면, 본 발명의 바람직한 실시 예에 따른 카메라 영상 처리 장치(1)는 차량에 적용될 수 있다. 그러나 이에 한정하지 않고, 본 발명의 실시 예에 따른 영상 처리 장치(1)는 획득되는 영상에 대한 처리를 필요로 하는 모든 대상, 예를 들면, 비행기, 열차, 이동 로봇, 선박 등에 적용될 수 있다.
본 발명의 실시 예에 따른 영상 처리 장치(1)는 통신 기능을 갖는 컴퓨팅 장치로 불릴 수 있다. 컴퓨팅 장치는 메인 보드 상에 실장되는 프로세서(예를 들면, CPU, 그래픽 프로세서 등), 메모리(예를 들면, 휘발성 및 비휘발성 메모리 등), 저장소(예를 들면, 하드 디스크 등), 네트워크 인터페이스, 칩셋 및 이들을 연결하는 시스템 버스 등을 포함할 수 있다.
구체적으로, 영상 처리 장치(1)는 영상 획득 모듈(110), 영상 처리 모듈(120), 영상 표시 모듈(130)을 포함하도록 구성될 수 있다.
예를 들어, 상기 영상 획득 모듈(110), 영상 처리 모듈(120) 및 영상 표시 모듈(130)은 차량 네트워크 예를 들면, CAN(Controller Area Network), LIN(Local Interconnected Network), KWP2000(KeyWordProtocol 2000), MOST(Multimedia Oriented Systems Transport), Flexray, IDB 1394 등을 통해 연결될 수 있다.
상기 영상 획득 모듈(110)은 탑재된 차량의 전방을 소정의 시야각으로 촬영하도록 구성될 수 있는데, 예를 들어, 전방 차선, 전방 차량 등을 포함한 도로 상황을 촬영하여 실시간으로 영상을 획득하도록 구성될 수 있다. 그리고, 상기 영상 획득 모듈(110)에 의해 획득된 영상은 영상 처리 모듈(120)로 제공된다.
이를 위해, 영상 획득 모듈(110)은, 예를 들면 컬러 카메라, 적외선 카메라, 스테레오 카메라 또는 이들이 조합된 카메라 중 어느 하나를 포함하도록 구성될 수 있다.
상기 영상 처리 모듈(120)은 영상 획득 모듈(110)로부터의 영상을 버드아이 뷰(birdeye view) 영상으로 변환하기 위한 영상 처리를 수행한다.
이때, 상기 영상 처리 모듈(120)은 영상 처리 부하 및 영상 처리 속도를 줄일 수 있는 방법에 따라 영상 처리를 수행한다.
이를 위해, 상기 영상 처리 모듈(120)은 메인 보드 상에 실장되는 프로세서(예를 들면, CPU, 그래픽 프로세서 등), 메모리(예를 들면, 휘발성 및 비휘발성 메모리 등), 저장소(예를 들면, 하드 디스크 등), 네트워크 인터페이스, 칩셋 및 이들을 연결하는 시스템 버스 등을 포함할 수 있다.
구체적으로, 상기 영상 처리 모듈(120)은 영상 획득 모듈(110)로부터의 영상에서 소실점의 위치를 추정하고, 추정된 소실점 위 영역을 영상 처리 영역에서 제외시킨다. 즉, 상기 영상 처리 모듈(120)은 추정된 소실점 아래 영역을 영상 처리 영역으로 확정한다.
그리고, 상기 영상 처리 모듈(120)은 영상 처리 영역 내 관심 차선에 존재하는 차량들 중 소실점에 가장 인접하는 차량을 선택한다.
즉, 상기 영상 처리 모듈(120)은 관심 차선 내 모든 차량을 인식하고, 인식된 차량들 중 가장 원거리에 존재하는 차량을 선택하며, 이때, 차량들의 위치 관계 정보, 차선 형태 정보(실선, 점선 등) 등을 생성할 수 있다.
그리고, 상기 영상 처리 모듈(120)은 선택된 차량에 대한 좌측 가상 차선 및 우측 가상 차선을 설정한다.
이때, 상기 영상 처리 모듈(120)은 선택된 차량에 최대한 인접하도록 좌측 가상 차선 및 우측 가상 차선을 설정한다.
그리고, 상기 영상 처리 모듈(120)은 선택된 차량 및 설정된 좌우측 가상 차선을 바탕으로 버드아이 뷰(birdeye view) 영상을 생성한다.
이때, 상기 영상 처리 모듈(120)은 좌측 가상 차선 및 우측 가상 차선에 앞서 생성된 차선 형태 정보를 적용하여 좌측 차선 및 우측 차선을 생성할 수 있다.
즉, 상기 영상 처리 모듈(120)에 의해 생성된 버드아이 뷰(birdeye view) 영상에는 실제 도로 차선의 형태가 반영된다.
또한, 상기 영상 처리 모듈(120)은 관심 차선 내 존재하는 차량을 앞서 생성된 차량 위치 관계 정보를 바탕으로 좌측 차선 및 우측 차선 사이에 위치시킬 수 있다.
그리고, 상기 영상 처리 모듈(120)은 생성된 버드아이 뷰(birdeye view) 영상을 영상 표시 모듈(130)로 제공할 수 있다.
상기 영상 표시 모듈(130)은 영상 처리 모듈(120)로부터의 영상을 시각적으로 표시한다.
이상에서는 본 발명의 바람직한 실시 예에 따른 영상 처리 장치의 구성 및 구성별 기능에 대해서 살펴보았다. 이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 따른 영상 처리 장치를 이용한 영상 처리 방법에 대해서 설명한다.
도 2는 본 발명의 바람직한 실시 예에 따른 영상 처리 장치에 의해 수행되는 영상 처리 방법을 설명하기 위한 순서도이다.
도 2에 도시된 단계별 동작은 도 1을 참조하여 살펴본 영상 처리 장치(1)에 의해 수행될 수 있는 것으로, 영상 처리 모듈(120)은 처리 대상의 영상에서, 즉 영상 획득 모듈(110)로부터의 영상에서 영상 처리 영역을 확정한다(S200).
상기 단계 S200에서, 영상 처리 모듈(120)은 영상 획득 모듈(110)로부터의 영상에서 소실점(vanishing point, VP)의 위치를 추정하고, 추정된 소실점 아래 영역을 영상 처리 영역(region of image process, R)으로 확정한다.
도 3은 도 2의 단계 S200에서의 소실점 위치 추정 및 영상 처리 영역 확정 동작에 따른 처리 과정의 일례를 도시한 도면이다.
도 3에서 확인할 수 있는 바와 같이, 단계 S200의 동작이 수행됨에 따라 소실점(VP)의 위치가 추정되고, 영상 처리 영역(R)이 확정된다.
도 3에 도시된 영상의 폭(W1)은 픽셀 값으로 정의되는 제 1 크기를 갖는다.
상기 단계 S200 이후, 영상 처리 모듈(120)은 영상 처리 영역 내 관심 차선에 존재하는 차량들 중 이후의 영상 처리의 기준이 될 차량(‘기준 차량’)을 선택한다(S210).
도 4는 도 2의 단계 S210에서의 기준 차량 선택 동작에 따른 처리 과정의 일례를 도시한 도면이다.
도 4에서 확인할 수 있는 바와 같이, 단계 S210의 동작이 수행됨에 따라 관심 차선(Lane Of Interest, LOI) 내의 기준 차량(C)이 선택된다.
상기 단계 S210에서, 영상 처리 모듈(120)은 영상 처리 영역 내 관심 차선에 존재하는 모든 차량들을 인식하고, 인식된 차량들 중 가장 원거리에 존재하는 차량을 기준 차량으로 선택할 수 있다.
상기 단계 S210에서, 영상 처리 모듈(120)은 차량 간 위치 관계 정보, 차선 형태 정보 등을 생성할 수 있다.
상기 단계 S210 이후, 영상 처리 모듈(120)은 선택된 기준 차량에 대한 좌측 가상 차선 및 우측 가상 차선을 설정한다(S220).
도 5는 도 2의 단계 S220에서의 좌측 및 우측 가상 차선 설정 동작에 따른 처리 과정의 일례를 도시한 도면이다.
도 5에서 확인할 수 있는 바와 같이, 단계 S220의 동작이 수행됨에 따라 좌측 가상 차선(Left Virtual Lane, LVL) 및 우측 가상 차선(Right Virtual Lane, RVL)이 설정된다.
도 5에 있어서 좌측 가상 차선(LVL) 및 우측 가상 차선(RVL) 사이의 폭(W2)은 도 3에 있어서의 영상의 폭의 크기(W1)보다 작은 크기를 갖는다.
상기 단계 S220에서, 영상 처리 모듈(120)은 기준 차량에 최대한 인접하도록 좌측 가상 차선 및 우측 가상 차선을 설정할 수 있다.
상기 단계 S220 이후, 영상 처리 모듈(120)은 선택된 기준 차량 및 설정된 좌우측 가상 차선을 바탕으로 버드아이 뷰(birdeye view) 영상을 생성한다(S230).
상기 단계 S230에서, 영상 처리 모듈(120)은 좌측 가상 차선 및 우측 가상 차선에 단계 S210에서 생성된 차선 형태 정보를 적용하여 좌측 차선 및 우측 차선을 생성할 수 있다.
상기 단계 S230에서, 영상 처리 모듈(120)은 관심 차선 내 존재하는 차량을 단계 S210에서 생성된 차량 간 위치 관계 정보를 바탕으로 좌측 차선 및 우측 차선 사이에 위치시킬 수 있다.
도 6은 도 2의 단계 S230에서의 버드아이 뷰 영상 생성 동작에 따른 처리 과정의 결과의 일례를 도시한 도면이다.
도 6에서 확인할 수 있는 바와 같이, 단계 S230의 동작이 수행됨에 따라 좌측 차선(Left Lane, LL) 및 우측 차선(Right Lane, RL) 사이에 차량이 위치하는 상태를 나타내는 버드아이 뷰 영상이 생성된다.
상기 단계 S230 이후, 영상 처리 모듈(120)은 생성된 버드아이 뷰(birdeye view) 영상을 영상 표시 모듈(130)로 제공하여 버드아이 뷰(birdeye view) 영상을 표시할 수 있다(S240).
이와 같이, 획득되는 원본 영상에 소실점 기준으로 영상 처리 영역 확정, 영상 처리 영역 내 관심 차선에 존재하는 기준 차량 선택, 기준 차량에 대한 좌측 및 우측 가상 차선 설정, 기준 차량과 좌우측 가상 차선을 바탕으로 버드아이 뷰 영상 생성을 적용하면, 원본 영상과 대비하여 상당히 작은 크기를 갖는 영상을 생성할 수 있다.
따라서, 원본 영상 전체에 대해서가 아니라 원본 영상 중 원하는 영역에 대해서만 추가적인 영상 처리를 수행하면 되기 때문에, 영상 처리 부하 및 영상 처리 속도를 줄일 수 있다.
이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서와 같이, 본 발명에 따른 영상 처리 장치 및 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
1 : 영상 처리 장치
110 : 영상 획득 모듈
120 : 영상 처리 모듈
130 : 영상 표시 모듈

Claims (10)

  1. 차량에 탑재되어, 기 설정된 영역을 촬영하여 처리 대상 영상을 실시간으로 획득하는 영상 획득 모듈; 및
    상기 처리 대상 영상에서 영상 처리 영역을 확정하고, 상기 영상 처리 영역 내 관심 차선에 존재하는 차량들 중 가장 원거리에 존재하는 차량을 기준 차량으로 선택하고, 상기 기준 차량에 대한 좌측 가상 차선 및 우측 가상 차선을 설정하고, 상기 기준 차량, 상기 좌측 가상 차선 및 상기 우측 가상 차선을 바탕으로 버드아이 뷰(birdeye view) 영상을 생성하는 영상 처리 모듈
    을 포함하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 영상 처리 모듈은, 상기 처리 대상 영상에서 소실점의 위치를 추정하고, 추정된 소실점 아래 영역을 상기 영상 처리 영역으로 확정하도록 구성되는 것
    인 영상 처리 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 영상 처리 모듈은, 상기 기준 차량을 선택하는 과정에서 차량 간 위치 관계 정보, 차선 형태 정보를 생성하도록 구성되는 것
    인 영상 처리 장치.
  5. 제 1 항에 있어서,
    상기 영상 처리 모듈은, 상기 좌측 가상 차선 및 상기 우측 가상 차선에 기 획득된 차선 형태 정보를 적용하여 생성되는 좌측 차선 및 우측 차선을 적용하여 상기 버드아이 뷰 영상을 생성하도록 구성되는 것
    인 영상 처리 장치.
  6. 처리 대상 영상에서 영상 처리 영역을 확정하는 단계;
    상기 영상 처리 영역 내 관심 차선에 존재하는 차량들 중 가장 원거리에 존재하는 차량을 기준 차량으로 선택하는 단계;
    상기 기준 차량에 대한 좌측 가상 차선 및 우측 가상 차선을 설정하는 단계; 및
    상기 기준 차량, 상기 좌측 가상 차선 및 상기 우측 가상 차선을 바탕으로 버드아이 뷰(birdeye view) 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  7. 제 6 항에 있어서,
    상기 확정하는 단계는, 상기 처리 대상 영상에서 소실점의 위치를 추정하고, 추정된 소실점 아래 영역을 상기 영상 처리 영역으로 확정하는 단계
    인 영상 처리 방법.
  8. 삭제
  9. 제 6 항에 있어서,
    상기 선택하는 단계는, 상기 기준 차량을 선택하는 과정에서 차량 간 위치 관계 정보, 차선 형태 정보를 생성하는 것
    을 포함하는 영상 처리 방법.
  10. 제 6 항에 있어서,
    상기 생성하는 단계는, 상기 좌측 가상 차선 및 상기 우측 가상 차선에 기 획득된 차선 형태 정보를 적용하여 생성되는 좌측 차선 및 우측 차선을 적용하여 상기 버드아이 뷰 영상을 생성하는 것
    을 포함하는 영상 처리 방법.
KR1020180061598A 2018-05-30 2018-05-30 영상 처리 장치 및 방법 KR102087365B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180061598A KR102087365B1 (ko) 2018-05-30 2018-05-30 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180061598A KR102087365B1 (ko) 2018-05-30 2018-05-30 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190136212A KR20190136212A (ko) 2019-12-10
KR102087365B1 true KR102087365B1 (ko) 2020-03-10

Family

ID=69002668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180061598A KR102087365B1 (ko) 2018-05-30 2018-05-30 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102087365B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101770642B1 (ko) * 2016-05-16 2017-09-05 엘지전자 주식회사 차량용 조명 장치 및 차량

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120116204A (ko) * 2011-04-12 2012-10-22 현대자동차주식회사 선행차량을 이용한 차선 인식 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101770642B1 (ko) * 2016-05-16 2017-09-05 엘지전자 주식회사 차량용 조명 장치 및 차량

Also Published As

Publication number Publication date
KR20190136212A (ko) 2019-12-10

Similar Documents

Publication Publication Date Title
EP3690846B1 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US11126875B2 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
US11288833B2 (en) Distance estimation apparatus and operating method thereof
JP2019500602A (ja) 画像ベースの車両位置特定のためのシステム及び方法
JP2019096072A (ja) 物体検出装置、物体検出方法およびプログラム
CN104835136B (zh) 通过迭代插值和扭曲生成深度图的系统和方法
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
US11042761B2 (en) Method and system for sensing an obstacle, and storage medium
CN110834667B (zh) 车辆转向控制方法、装置、车辆、终端设备及存储介质
WO2019095735A1 (zh) 用于车辆的信息输出方法和装置
US20230021116A1 (en) Lateral image processing apparatus and method of mirrorless car
CN114170826A (zh) 自动驾驶控制方法和装置、电子设备和存储介质
JP2009139306A (ja) 路面標示認識装置
WO2021185104A1 (zh) 一种车道线信息确定方法及装置
JP6591188B2 (ja) 車外環境認識装置
US20190375399A1 (en) Controlling a vehicle based on trailer position
KR102087365B1 (ko) 영상 처리 장치 및 방법
US11373327B2 (en) Image processing device and method that determine a stop position in a parking frame using images from two cameras
US20210004016A1 (en) U-turn control system for autonomous vehicle and method therefor
KR102071720B1 (ko) 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법
Nikolić Embedded vision in advanced driver assistance systems
US10303957B2 (en) Vehicle control system based on user input and method thereof
CN115489530A (zh) 车辆的换道方法、装置、车辆及存储介质
CN117333837A (zh) 行车安全辅助方法、电子设备及存储介质
CN111063211A (zh) 车辆停车辅助设备和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant