KR20230128202A - 차량 영상 처리 장치 및 그 방법 - Google Patents

차량 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20230128202A
KR20230128202A KR1020220025429A KR20220025429A KR20230128202A KR 20230128202 A KR20230128202 A KR 20230128202A KR 1020220025429 A KR1020220025429 A KR 1020220025429A KR 20220025429 A KR20220025429 A KR 20220025429A KR 20230128202 A KR20230128202 A KR 20230128202A
Authority
KR
South Korea
Prior art keywords
image
vehicle
view image
processor
free space
Prior art date
Application number
KR1020220025429A
Other languages
English (en)
Inventor
손종인
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220025429A priority Critical patent/KR20230128202A/ko
Publication of KR20230128202A publication Critical patent/KR20230128202A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Vascular Medicine (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 영상 처리 장치 및 방법에 관한 것으로, 일 실시 예에 따른 근거리 차량 검출 장치는 통신부, 저장부, 및 통신 부 및 저장부와 전기적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 차량의 전방 이미지 및 측방 이미지를 획득하고, 전방 이미지 및 측방 이미지로부터 탑뷰(top-view) 이미지를 생성하고, 생성된 탑뷰 이미지에 대한 기계 학습을 통하여 상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하고, 인식된 적어도 하나의 객체에 기반하여 자유 공간을 인식하고, 인식된 자유 공간에 기반하여 정보를 제공하도록 설정될 수 있다.

Description

차량 영상 처리 장치 및 그 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE OF VEHICLE}
본 발명은 차량 영상 처리 장치 및 그 방법에 관한 것으로, 보다 상세하게는 탑뷰(top-view) 이미지를 이용하여 근거리 자유 공간(free space)을 검출할 수 있는 차량 영상 처리 장치 및 그를 포함한 시스템 및 그 방법에 관한 것이다.
차량 보급이 늘어남에 따라, 교통사고는 사회/경제적 피해를 주고 있다. 이에, 교통사고의 예방 및 피해를 최소화하기 위하여 첨단 정보통신기술을 차량에 접목한 지능형 차량 시스템에 대한 연구가 활발하게 이루어지고 있다. 예를 들어, 자율 주행 기능을 지원하는 차량 시스템에 대한 연구가 활발하게 이루어지고 있다.
차량의 자율 주행 중에, 차량의 충돌 방지를 위하여 차량 시스템은 자유 공간(free space)을 검출할 수 있다. 일반적으로, 차량 시스템은 도로의 경계선 또는 연석에 대응하는 패턴을 검출함으로써 자유 공간을 검출할 수 있다. 그 외에도, 차량 시스템은 특정한 패턴의 영역을 차량이 진입할 수 없는 공간으로 인식할 수 있다.
도로의 경계선은 도로의 사정에 따라서 다양한 패턴을 가질 수 있다. 따라서, 일부 패턴의 경계선의 경우, 차량 시스템이 도로의 경계선을 인식하지 못할 수 있다. 또한, 연석이 도로와 유사한 특징점(feature) 및/또는 질감(texture)를 갖는 경우, 오인식 발생 가능성이 증가될 수 있다. 특히, 낮은 높이를 갖는 연석의 경우, 도로의 바닥면으로 인식될 가능성이 증가될 수 있다.
본 발명의 실시 예들은 탑뷰 이미지를 이용하여 차량의 주행 중에 차량의 근거리 내의 자유 공간을 인식할 수 있는 차량 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.
본 발명의 실시 예들은 별도의 경계선 검출 없이 탑뷰 이미지로부터 연석 및 경계를 식별할 수 있는 차량 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.
본 발명의 실시 예들은 탑뷰 이미지를 이용하여 경계의 검출 정확도가 향상될 수 있는 차량 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 차량 영상 처리 장치는 통신부, 저장부 및 상기 통신부 및 상기 저장부와 전기적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 차량의 전방 이미지 및 측방 이미지를 획득하고, 상기 전방 이미지 및 상기 측방 이미지로부터 탑뷰(top-view) 이미지를 생성하고, 상기 생성된 탑뷰 이미지에 대한 기계 학습을 통하여 상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하고, 상기 인식된 적어도 하나의 객체에 기반하여 자유 공간을 인식하고, 상기 인식된 자유 공간에 기반하여 정보를 제공하도록 설정될 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 상기 탑뷰 이미지에 대한 딥 러닝(deep learning)을 통하여 픽셀 군집화(pixel clustering)를 수행함으로써 상기 적어도 하나의 객체를 인식하도록 설정될 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 상기 픽셀 군집화를 통하여 군집화된 픽셀 군집들에 대하여 클래스를 할당함으로써 상기 적어도 하나의 객체를 인식하도록 설정될 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 상기 픽셀 군집들 중 하나의 픽셀 군집에 대하여 복수의 클래스가 할당된 경우, 가장 신뢰도가 높은 클래스를 상기 하나의 픽셀 군집의 클래스로 선택하도록 설정될 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 상기 탑뷰 이미지로부터 상기 기계 학습을 통하여 도로 경계 및 장애물을 식별하도록 설정될 수 있다.
일 실시 예에 있어서, 상기 프로세서는 상기 도로 경계에 의하여 지시되는 도로 영역에서 상기 장애물을 제외한 영역을 상기 자유 공간으로 인식하도록 설정될 수 있다.
일 실시 예에 있어서, 상기 측방 이미지는, 좌측면 이미지 및 우측면 이미지를 포함하고, 상기 전방 이미지, 상기 좌측면 이미지, 및 상기 우측면 이미지는, 광각 렌즈를 이용하여 획득될 수 있다. 상기 프로세서는 상기 전방 이미지, 상기 좌측면 이미지, 및 상기 우측면 이미지 각각에 대하여 상기 광각 렌즈에 의한 왜곡을 수정한 뒤에, 상기 탑뷰 이미지를 생성하도록 설정될 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 상기 인식된 자유 공간에 기반하여 차량의 충돌이 예상되면, 경고를 제공하도록 설정될 수 있다.
본 발명의 실시 예에 따른 차량 영상 처리 방법은, 차량의 전방 이미지 및 측방 이미지를 획득하는 단계, 상기 전방 이미지 및 상기 측방 이미지로부터 탑뷰(top-view) 이미지를 생성하는 단계, 상기 생성된 탑뷰 이미지에 대한 기계 학습을 통하여 상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하는 단계, 상기 인식된 적어도 하나의 객체에 기반하여 자유 공간을 인식하는 단계, 및 상기 인식된 자유 공간에 기반하여 정보를 제공하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하는 단계는, 상기 탑뷰 이미지에 대한 딥 러닝(deep learning)을 통하여 픽셀 군집화(pixel clustering)를 수행함으로써 상기 적어도 하나의 객체를 인식하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 차량 영상 처리 방법은, 상기 픽셀 군집화를 통하여 군집화된 픽셀 군집들에 대하여 클래스를 할당하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 차량 영상 처리 방법은, 상기 픽셀 군집들 중 하나의 픽셀 군집에 대하여 복수의 클래스가 할당된 경우, 가장 신뢰도가 높은 클래스를 상기 하나의 픽셀 군집의 클래스로 선택하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 적어도 하나의 객체를 인식하는 단계는, 상기 탑뷰 이미지로부터 상기 기계 학습을 통하여 도로 경계 및 장애물을 식별하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하는 단계는, 상기 도로 경계에 의하여 지시되는 도로 영역에서 상기 장애물을 제외한 영역을 상기 자유 공간으로 인식하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 측방 이미지는, 좌측면 이미지 및 우측면 이미지를 포함하고, 상기 전방 이미지, 상기 좌측면 이미지, 및 상기 우측면 이미지는, 광각 렌즈를 이용하여 획득될 수 있다. 상기 탑뷰 이미지를 생성하는 단계는, 상기 전방 이미지, 상기 좌측면 이미지, 및 상기 우측면 이미지 각각에 대하여 상기 광각 렌즈에 의한 왜곡을 수정한 뒤에, 상기 탑뷰 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의하면, 탑뷰 이미지를 이용하여 차량의 주행 중에 차량의 근거리 내의 자유 공간을 인식할 수 있다.
또한, 본 발명의 실시 예에 의하면, 별도의 경계선 검출 없이 탑뷰 이미지로부터 연석 및 경계를 식별할 수 있다.
뿐만 아니라, 본 발명의 실시 예에 의하면 탑뷰 이미지를 이용하여 경계의 검출 정확도가 향상될 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차량 영상 처리 장치를 포함하는 차량 시스템의 구성을 나타내는 블록도이다.
도 2는 일 실시 예에 따른 이미지 처리부의 블록도를 도시한다.
도 3은 일 실시 예에 따른 복수의 카메라를 포함하는 자동차를 도시한다.
도 4는 일 예시에 따른 차량 주행 환경을 도시한다.
도 5는 일 실시 예에 따른 객체 분류 결과를 도시한다.
도 6은 일 실시 예에 따른 차량 영상 처리 방법의 흐름도를 도시한다.
도 7은 일 실시 예에 따른 컴퓨팅 시스템을 도시한다
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 차량 영상 처리 장치를 포함하는 차량 시스템의 구성을 나타내는 블록도이다.
도 1을 참조하면, 일 실시 예에 따른 차량 시스템은 차량 영상 처리 장치(100), 차량 주변 촬영 장치(150), 및 정보 제공 장치(180)를 포함할 수 있다.
도 1에 도시된 차량 영상 처리 장치(100), 차량 주변 촬영 장치(150), 및 정보 제공 장치(180) 중 적어도 하나는 차량의 주차 시스템 또는 차량의 주행 시스템 중 적어도 하나에 포함될 수 있다.
차량 영상 처리 장치(100), 차량 주변 촬영 장치(150), 및 정보 제공 장치(180)는 전기적으로(electrically) 또는 통신가능하도록(communicatively) 연결될 수 있다.
예를 들어, 차량 영상 처리 장치(100), 차량 주변 촬영 장치(150), 및 정보 제공 장치(180)는 유선 연결 또는 무선 연결 중 적어도 하나를 통하여 신호를 송수신하도록 설정될 수 있다.
차량 주변 촬영 장치(150)는 복수의 카메라들을 포함할 수 있다. 차량 주변 촬영 장치(150)는, 예를 들어, 탑뷰(top-view) 이미지를 획득하기 위한 이미지 획득 장치로 참조될 수 있다. 탑뷰 이미지는 차량을 위에서 내려다 보는 시점으로 재구성된 차량의 주변 이미지로서, 서라운드 뷰(surround view) 이미지 또는 어라운드 뷰(around view) 이미지로 참조될 수 있다.
차량 주변 촬영 장치(150)는 차량의 주변 이미지(예: 전면 방향, 측면 방향, 또는 후면 방향 중 적어도 하나의 이미지)를 획득하도록 설정된 복수의 카메라들을 포함할 수 있다.
일 예에서, 복수의 카메라들은 상대적으로 넓은 FOV(field of view)를 갖는 광각 카메라를 포함할 수 있다. 광각 카메라를 이용하여, 차량 주변 촬영 장치(150)는 차량에 인접한 주변 지면의 포함하는 이미지를 획득할 수 있다. 차량 주변 촬영 장치(150)는 획득된 차량 주변의 이미지를 차량 영상 처리 장치(100)에 제공하도록 설정될 수 있다.
일 예에서, 차량 주변 촬영 장치(150)는 차량 주변의 상황을 감지하기 위한 적어도 하나의 센서를 더 포함할 수 있다. 차량 주변 촬영 장치(150)는 초음파 센서, 레이더, 카메라, 레이저 스캐너 및/또는 코너 레이더, 라이다, 가속도 센서, 요레이트(yaw rate) 센서, 토크 측정 센서 및/또는 휠스피드 센서, 조향각 센서 등을 포함할 수 있다.
정보 제공 장치(180)는 차량 영상 처리 장치(100)에서 생성된 정보에 기반하여 정보를 제공하도록 설정된 장치를 포함할 수 있다. 예를 들어, 정보 제공 장치(180)는 음성 기반 정보 제공을 위한 적어도 하나의 스피커 또는 이미지 기반 정보 제공을 위한 적어도 하나의 디스플레이(예: 액정디스플레이, 투명디스플레이, LED 디스플레이, 플렉시블 디스플레이(flexible display), 또는 헤드 업 디스플레이(head up display) 등) 중 적어도 하나를 포함할 수 있다.
본 개시에서, 정보 제공 장치(180)는 차량에 구비된 장치로 설명되나, 본 개시의 실시예들이 이에 제한되는 것은 아니다. 예를 들어, 정보 제공 장치(180)는 차량 영상 처리 장치(100)로부터 무선 연결을 통하여 정보를 수신하도록 설정된 휴대용 장치를 포함할 수 있다.
차량 영상 처리 장치(100)는 통신부(110), 저장부(120), 및 프로세서(130)를 포함할 수 있다. 차량 영상 처리 장치(100)는 차량 주변 영상으로부터 인식된 정보를 이용하여 자유 공간을 검출하도록 설정될 수 있다.
예를 들어, 차량 영상 처리 장치(100)는 자유 공간에 기반하여 경로(예: 자율 주행 경로)를 생성 및/또는 변경하고, 정보 제공 장치(180)를 이용하여 차량의 운전자에게 경로에 대한 정보를 제공하도록 설정될 수 있다. 예를 들어, 차량 영상 처리 장치(100)는 정보 제공 장치(180)를 통하여 근접한 장애물에 대한 경고를 제공할 수 있다.
통신부(110)는 무선 또는 유선 연결을 통해 신호를 송신 및 수신하기 위한 다양한 전자 회로를 포함할 수 있다. 예를 들어, 통신부(110)는 캔(Car Area Network, CAN) 통신, 린(Local Interconnect Network, LIN) 통신, 이더넷 통신 등을 통해 차량 내 통신을 수행할 수 있다. 예를 들어, 통신부(110)는 차량 주변 촬영 장치(150) 및 정보 제공 장치(180)와 통신을 수행할 수 있다.
저장부(120)는 차량 주변 촬영 장치(150)로부터 수신한 영상 데이터 및 영상 데이터 기반 인식 정보를 저장할 수 있다. 저장부(120)는 프로세서(130)에 의해 획득된 주변 장애물의 정보, 주변 장애물의 검출 조건 등을 저장할 수 있다.
저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtreme Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
저장부(120)는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 일 예로, 저장부(120)에 저장된 소프트웨어 모듈은 자유 공간을 검출하고, 검출된 자유 공간에 기반한 정보를 제공하기 위한 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 저장부(120)는 프로세서(130)에 의하여 실행되었을 때, 도 2에 도시된 바와 같은 소프트웨어 모듈을 생성하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 차량 영상 처리 장치(100)의 동작들은 도 2와 관련하여 후술되는 동작들에 의하여 참조될 수 있다.
프로세서(130)는 통신부(110), 저장부(120), 정보 제공 장치(180) 및 차량 주변 촬영 장치(150)와 전기적으로 또는 기능적으로(functionally) 연결될 수 있다. 프로세서(130)는 다른 구성들에 신호를 송신함으로써 다른 구성들을 제어하도록 설정될 수 있다. 프로세서(130)는 적어도 프로세서를 포함할 수 있다.
예를 들어, 프로세서(130)는 머신 러닝(machine learning)(예: 딥(deep) 러닝)을 위한 프로세서(예: deep learning processor, DLP)를 포함할 수 있다. 프로세서(130)는, 예를 들어, 저장부(120)에 저장된 데이터 및 인스트럭션들을 이용하여 후술되는 다양한 데이터 처리 및 계산을 수행하도록 설정될 수 있다.
이하, 도 2 내지 도 7을 참조하여 일 실시 예에 따른 차량의 영상 처리 방법 및 근접 차량 검출 방법이 설명될 수 있다.
도 2는 일 실시 예에 따른 이미지 처리부의 블록도를 도시한다.
도 2를 참조하여, 이미지 처리부(200)는 이미지 전처리부(210), 객체 분류부(220), NFD(Nearby Free-space detection)부(230), 및 정보 제공부(240)를 포함할 수 있다. 이미지 처리부(200)의 구성들은 논리적으로 구분된 구성들일 수 있다. 이미지 처리부(200)는 도 1의 차량 영상 처리 장치(100)에 의하여 수행되는 동작들을 수행하도록 설정될 수 있다. 예를 들어, 후술되는 이미지 처리부(200)의 동작들은 도 1의 차량 영상 처리 장치(100)의 프로세서(130)에 의해 수행되는 것으로 이해될 수 있다.
이미지 전처리부(210)는 도 1의 차량 주변 촬영 장치(150)로부터 이미지를 획득하고, 획득된 이미지에 대한 전처리를 수행하도록 설정될 수 있다. 예를 들어, 이미지 전처리부(210)는 이미지에 대한 회전, 리사이즈(resize), 합성, 색조 수정, 휘도 수정, 대비 수정, 노이즈 제거, 또는 공간 매핑 중 적어도 하나를 수행하도록 설정될 수 있다.
예를 들어, 이미지 전처리부(210)는 차량 주변 촬영 장치(150)로부터 획득된 이미지들을 이용하여 탑뷰 이미지를 생성하도록 설정될 수 있다. 이하에서, 도 2, 도 3, 및 도 4를 참조하여 탑뷰 이미지의 생성 방법이 설명될 수 있다.
도 3은 일 실시 예에 따른 복수의 카메라를 포함하는 자동차를 도시한다
도 2 및 도 3을 참조하여, 일 실시 예에 따르면, 차량(300)은 주변 영상의 획득을 위한 차량 주변 촬영 장치(150)를 포함할 수 있다. 도 3의 예시에서, 차량 주변 촬영 장치(150)는 차량(300)의 전방의 이미지를 획득하도록 설정된 제1 카메라(151), 차량(300)의 좌측 방향의 이미지를 획득하도록 설정된 제2 카메라(152), 차량(300)의 우측 방향의 이미지를 획득하도록 설정된 제3 카메라(153), 및 차량(300)의 후방의 이미지를 획득하도록 설정된 제4 카메라(154)를 포함할 수 있다.
예를 들어, 이미지 전처리부(210)는 전방 이미지 및 측면 이미지를 이용하여 탑뷰 이미지를 생성하도록 설정될 수 있다. 이미지 전처리부(210)는 제1 카메라(151), 제2 카메라(152), 및 제3 카메라(153)에 의하여 획득된 이미지들에 대한 이미지 전처리를 수행하도록 설정될 수 있다. 도 3에 도시된 카메라들의 위치는 예시적인 것으로서, 본 개시의 실시예들이 이에 제한되는 것은 아니다.
도 4는 일 예시에 따른 차량 주행 환경을 도시한다.
도 2, 도 3, 및 도 4를 참조하여, 차량(300)은 주변 차량(401)과 함께 주행 중일 수 있다. 예를 들어, 주변 차량(401)은 차량(300)의 우측 전방에 위치할 수 있다. 차량(300)은 차량 영상 처리 장치(100)를 포함하는 차량 시스템을 구비할 수 있다. 도 4에 도시된 차량(300)의 주행 환경은 이해를 돕기 위한 것으로서, 본 문서의 실시예들이 이에 제한되는 것은 아니다.
차량 영상 처리 장치(100)는 제1 카메라(151), 제2 카메라(152), 및 제3 카메라(153)를 이용하여 전방 이미지 및 측방 이미지를 획득할 수 있다. 예를 들어, 차량 영상 처리 장치(100)는 제1 카메라(151)를 이용하여 전방 이미지를 획득하고, 제2 카메라(152) 및 제3 카메라(153)를 이용하여 측방 이미지를 획득할 수 있다. 측방 이미지는 제2 카메라(152)를 이용하여 획득된 좌측 이미지와 제3 카메라(153)를 이용하여 획득된 우측 이미지를 포함할 수 있다.
보다 넓은 FOV(Field of View)를 확보하기 위하여, 제1 카메라(151), 제2 카메라(152), 및 제3 카메라(153)는 광각 렌즈를 포함할 수 있다. 제1 카메라(151), 제2 카메라(152), 및 제3 카메라(153)의 광각 특성으로 인하여, 전방 이미지 및 측방 이미지는 어안(fish-eye) 뷰 이미지와 유사한 왜곡을 포함할 수 있다.
이미지 전처리부(210)는 탑뷰 이미지의 생성에 앞서서, 전방 이미지 및 측방 이미지의 왜곡을 수정할 수 있다. 또한, 이미지 전처리부(210)는 전방 이미지 및 측방 이미지를 차량(300)을 중심으로 하는 방위에 따라서 합성함으로써 하나 또는 두 개의 이미지(예: 전방 이미지 및 측방 이미지)로 구성된 탑뷰 이미지를 생성할 수 있다. 이미지 전처리부(210)는 왜곡에 대한 수정 후에 이미지들을 결합함으로써 탑뷰 이미지를 생성할 수 있다.
도 5는 일 실시 예에 따른 객체 분류 결과를 도시한다.
도 2, 도 4, 및 도 5를 참조하여, 제1 이미지 맵(501)은 탑뷰 이미지의 전방 이미지에 대한 객체 분류 결과를 도시한다. 제2 이미지 맵(502)은 탑뷰 이미지의 측방 이미지에 대한 객체 분류 결과를 도시한다.
객체 분류부(220)는 이미지 전처리부(210)로부터 탑뷰 이미지를 획득할 수 있다. 객체 분류부(220)는 탑뷰 이미지로부터 적어도 하나의 객체를 인식 및 분류할 수 있다.
객체 분류부(220)는 머신 러닝(예: 딥 러닝)을 통하여 탑뷰 이미지에 대한 이미지 세분화(segmentation)를 수행할 수 있다. 예를 들어, 객체 분류부(220)는 CNN(convolutional neural network)를 이용하여 이미지 분류, 물체 감지, 또는 이미지 생성 중 적어도 하나를 수행할 수 있다.
객체 분류부(220)는 탑뷰 이미지의 픽셀들을 기정의된 클래스로 분류할 수 있다. 예를 들어, 객체 분류부(220)는 픽셀들을 군집화(clustering)하고, 각각의 군집에 대한 분류를 수행할 수 있다.
예를 들어, 객체 분류부(220)는 탑뷰 이미지로부터 주변 차량들을 식별할 수 있다. 객체 분류부(220)는 탑뷰 이미지로부터 바퀴에 해당하는 픽셀 군집(예: 검은색 픽셀들의 군집으로서 타이어의 형상에 대응하는 군집)을 식별할 수 있다.
객체 분류부(220)는 바퀴 및 바퀴에 연결된 차량의 바디를 식별할 수 있다. 도 5의 예시에서, 객체 분류부(220)는 제1 이미지 맵(501)으로부터 주변 차량(401)의 앞 바퀴에 대응하는 제1 객체(511)를 식별하고, 제2 이미지 맵(502)으로부터 제1 객체(511) 및 주변 차량(401)의 뒷 바퀴에 대응하는 제2 객체(512)를 식별할 수 있다. 또한, 객체 분류부(220)는 제1 이미지(501) 및 제2 이미지 맵(502)으로부터 차량 바디를 식별할 수 있다.
NFD부(230)는 객체 분류부(220)에 의하여 분류된 객체들의 정보를 이용하여 장애물 및 자유 공간을 식별할 수 있다. NFD부(230)는 전처리부(231), 도로 경계 검출부(232), 임시 장애물 검출부(233), 수직형 장애물 검출부(234), 차량 검출부(235), 후처리부(236), 및 자유 공간 식별부(237)를 포함할 수 있다.
객체 분류부(220)에 의하여 분류된 객체들 및 이미지 맵(예: 탑뷰 이미지)은 전처리부(231)에 의하여 처리될 수 있다. 예를 들어, 전처리부(231)는 객체의 검출을 향상시키기 위한 임의의 전처리를 수행할 수 있다.
전처리부(231)는 객체 분류부(220)에 의하여 군집화된 각각의 픽셀 군집에 대하여 식별자를 할당할 수 있다. 일 예시에서, 전처리부(231)는 생략될 수 있다.
도로 경계 검출부(232)는 탑뷰 이미지 또는 탑뷰 이미지에 대응하는 이미지 맵으로부터 도로 경계를 검출할 수 있다. 도로 경계 검출부는, 중앙 분리대, 연석, 방음벽, 및 터널 벽면 중 적어도 하나를 식별함으로써 도로 경계를 검출할 수 있다. 도로 경계 검출부(232)는 탑뷰 이미지의 픽셀 군집들 중 도로 경계에 대응하는 픽셀 군집(예: 객체)에 대하여 도로 경계에 대응하는 클래스 식별자(예: void, general structure)를 할당할 수 있다.
임시 장애물 검출부(233)는 탑뷰 이미지 또는 탑뷰 이미지에 대응하는 이미지 맵으로부터 임시 장애물을 검출할 수 있다. 임시 장애물 검출부(233)는 제거가능한(removable) 객체를 식별할 수 있다.
예를 들어, 임시 장애물 검출부(233)는 임시 가드레일 또는 플라스틱 드럼과 같은 임시적으로 설치된 임시 표지물을 식별할 수 있다. 임시 장애물은, 장애물 중에서, 충격 등에 의하여 제공될 수 있는 장애물로 참조될 수 있다. 임시 장애물은 상대적으로 가벼운 무게를 가지고, 지면 상에 고정되지 아니한 장애물일 수 있다.
임시 장애물 검출부(233)는 식별된 표지물에 대응하는 픽셀 군집(예: 객체)에 대하여 임시 장애물에 대응하는 클래스 식별자(예: removable object)를 할당할 수 있다.
수직형 장애물 검출부(234)는 탑뷰 이미지 또는 탑뷰 이미지에 대응하는 이미지 맵으로부터 수직형 장애물을 검출할 수 있다. 수직형 장애물은 수직 길이가 상대적으로 수평 길이에 비하여 긴 장애물로, 예를 들어, 시선 유도봉, 러버콘, 트래픽 폴(traffic pole) 등을 포함할 수 있다.
수직형 장애물 검출부(234)는 기설정된 기준(예: 수직 길이 대비 수평 길이의 비율이 지정된 값 이상)을 만족하는 픽셀 군집들 중, 장애물을 식별할 수 있다. 예를 들어, 수직형 장애물 검출부(234)는 차선과 수직형 장애물을 패턴에 기반하여 구분하도록 설정될 수 있다.
수직형 장애물 검출부(234)는 식별된 수직형 장애물에 대응하는 픽셀 군집(예: 객체)에 대하여 수직형 장애물에 대응하는 클래스 식별자(예: pole)를 할당할 수 있다.
차량 검출부(235)는 탑뷰 이미지 또는 탑뷰 이미지에 대응하는 이미지 맵으로부터 차량을 검출할 수 있다. 예를 들어, 차량 검출부(235)는 타이어 및 차량 바디를 식별할 수 있다.
차량 검출부(235)는 식별된 타이어에 대응하는 픽셀 군집에 대하여 타이어에 대응하는 클래스 식별자(예: Vehicle_Tire)를 할당하고, 식별된 차량 바디에 대응하는 픽셀 군집에 대하여 차량 바디에 대응하는 클래스 식별자(예: Vhehicle_Body)를 할당할 수 있다.
또한, 차량 검출부(235)는 식별된 타이어와 차량 바디를 연관시킴으로써 상위 티어(tier)의 차량을 식별할 수 있다.
후처리부(236)는 도로 경계 검출부(232), 임시 장애물 검출부(233), 수직형 장애물 검출부(234), 및 차량 검출부(235)에 의하여 검출된 객체들의 정보를 통합하고, 통합된 정보의 잡음을 제거할 수 있다.
일 예를 들어, 객체 분류부(220)에 의하여 분류된 객체들 각각에 대하여 도로 경계 검출부(232), 임시 장애물 검출부(233), 수직형 장애물 검출부(234), 및 차량 검출부(235)가 클래스 식별자를 할당할 수 있다. 후처리부(236)는 각각의 객체들에 대하여 클래스 식별자를 통합할 수 있다.
일 예에서, 하나의 객체에 대하여 복수의 클래스 식별자가 할당될 수 있다. 하나의 긴 객체에 대하여, 도로 경계 클래스 식별자, 임시 장애물 클래스 식별자, 및 수직형 장애물 클래스 식별자가 할당될 수 있다. 이 경우, 후처리부(236)는 하나의 객체에 대하여 할당된 복수의 클래스들 중 하나의 클래스를 선택할 수 있다.
예를 들어, 후처리부(236)는 각각의 클래스에 대한 신뢰도를 비교한 뒤, 가장 높은 신뢰도를 갖는 클래스를 해당 객체의 클래스로 결정할 수 있다.
자유 공간 식별부(237)는 후처리부(236)에 의하여 처리된 탑뷰 이미지(또는 탑뷰 이미지 대응 이미지 맵)의 정보를 이용하여 자유 공간을 식별할 수 있다. 예를 들어, 자유 공간 식별부(237)는 도로의 경계 내에 위치되고, 차량 또는 임의의 장애물에 의하여 점유되지 않은 공간을 자유 공간으로 식별할 수 있다.
도 5의 예시에서, 도로 경계 검출부(232)는 도로 양 옆의 연석 및 차선을 인식함으로써 도로의 경계를 검출할 수 있다. 또한, 차량 검출부(235)는 제1 객체(511), 제2 객체(512), 및 차량 바디를 인식함으로써 차량을 인식할 수 있다. 자유 공간 식별부(237)는 검출된 경계의 사이에 위치되고, 차량에 의하여 점유되지 아니한 자유 공간을 식별할 수 있다.
정보 제공부(240)는 NFD부(230)로부터 자유 공간에 대한 정보를 획득할 수 있다. 정보 제공부(240)는 자유 공간에 대한 정보에 기반하여 정보를 제공하도록 설정될 수 있다.
예를 들어, 정보 제공부(240)는 도 1의 정보 제공 장치(180)를 통하여 사용자에게 정보를 제공할 수 있다. 정보 제공부(240)는 자유 공간과 차량의 주행 정보에 기반하여 차량의 충돌 위험이 감지되면, 정보 제공 장치(180)를 통하여 사용자에게 경고를 제공할 수 있다.
다른 예를 들어, 정보 제공부(240)는 차량의 주행 시스템에 정보를 제공할 수 있다. 정보 제공부(240)는 자유 공간에 대한 정보를 제공함으로써 차량의 주행 시스템이 자율 주행 경로를 생성 또는 조정하도록 할 수 있다. 차량의 주행 시스템은 자유 공간 정보를 이용하여 회피 기동을 할 수 있다.
일 예에서, 정보 제공부(240)는 자유 공간에 대한 정보뿐만 아니라, 검출된 장애물(예: 주변 장애물 및/또는 차량)에 대한 정보를 차량 주행 시스템에 제공할 수 있다.
차량 주행 시스템은, 회피 기동을 위한 자율 주행에 있어서, 자유 공간에 대한 정보와 장애물 정보를 함께 이용할 수 있다. 예를 들어, 충돌을 회피하기 위한 자유 공간이 부족한 경우, 차량 주행 시스템은 임시 장애물의 충돌 가능성을 포함하여 자율 주행 경로를 생성할 수 있다. 임시 장애물에 대한 충돌이 상대적으로 낮은 강도의 충돌을 유발할 수 있기 때문이다.
도 6은 일 실시 예에 따른 차량 영상 처리 방법의 흐름도를 도시한다.
도 1 및 도 6을 참조하여, 차량 영상 처리 방법은 차량 영상 처리 장치(100)(예: 프로세서(130))에 의하여 수행될 수 있다.
단계 605에서, 차량 영상 처리 장치(100)는 전방 및 측방 이미지를 획득할 수 있다. 차량 영상 처리 장치(100)는 차량 주변 촬영 장치(150)를 이용하여 전방 이미지 및 측방 이미지를 획득할 수 있다. 예를 들어, 측방 이미지는 좌측면 이미지 및 우측면 이미지를 포함할 수 있다.
단계 610에서, 차량 영상 처리 장치(100)는 전방 및 측방 이미지로부터 탑뷰 이미지를 획득할 수 있다. 예를 들어, 차량 영상 처리 장치(100)는 도 2의 이미지 전처리부(210)의 동작들에 따라서 탑뷰 이미지를 획득할 수 있다.
차량 영상 처리 장치(100)는 전방 이미지, 좌측면 이미지, 및 우측면 이미지를 합성함으로써 탑뷰 이미지를 생성할 수 있다. 일 예에서, 차량 영상 처리 장치(100)는 탑뷰 이미지의 생성 전에 광각 렌즈에 의한 왜곡에 대한 수정을 수행할 수 있다.
단계 615에서, 차량 영상 처리 장치(100)는 탑뷰 이미지로부터 적어도 하나의 객체를 인식할 수 있다. 예를 들어, 차량 영상 처리 장치(100)는 도 2의 객체 분류부(220)와 관련하여 상술된 동작들에 따라서 적어도 하나의 객체를 인식(예: 분류)할 수 있다.
단계 620에서, 차량 영상 처리 장치(100)는 인식된 적어도 하나의 객체에 기반하여 자유 공간을 인식할 수 있다. 예를 들어, 차량 영상 처리 장치(100)는 도 2의 NFD부(230)와 관련하여 상술된 동작들에 따라서 자유 공간을 인식할 수 있다.
일반적으로 주차 가이드로 이용되는 탑뷰 이미지를 이용하여 자유 공간을 인식하기 때문에, NFD부(230)는 차량에 인접한 영역에서의 자유 공간을 식별할 수 있다. NFD부(230)는 탑뷰 이미지의 도로 경계를 인식하고, 도로 상의 장애물과 차량을 인식함으로써 자유 공간을 식별할 수 있다. 예를 들어, NFD부(230)는 경계에 의하여 지시되는 도로 영역에서 장애물과 차량에 대응하는 영역을 제외시킴으로써 자유 공간을 식별할 수 있다.
단계 625에서, 차량 영상 처리 장치(100)는 인식된 자유 공간에 기반하여 정보를 제공할 수 있다. 예를 들어, 차량 영상 처리 장치(100)는 도 2의 정보 제공부(240)와 관련하여 상술된 동작들에 따라서 자유 공간에 대한 정보를 제공할 수 있다.
도 7은 일 실시 예에 따른 컴퓨팅 시스템을 도시한다
도 7을 참조하면, 컴퓨팅 시스템(700)은 버스(720)를 통해 연결되는 적어도 하나의 프로세서(710), 메모리(730), 사용자 인터페이스 입력 장치(740), 사용자 인터페이스 출력 장치(750), 스토리지(760), 및 네트워크 인터페이스(770)를 포함할 수 있다.
프로세서(710)는 중앙 처리 장치(CPU) 또는 메모리(730) 및/또는 스토리지(760)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 예를 들어, 프로세서(710)는 도 1의 프로세서(130)에 대응할 수 있다. 메모리(730) 및 스토리지(760)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1230)는 ROM(Read Only Memory, 731) 및 RAM(Random Access Memory, 732)을 포함할 수 있다. 예를 들어, 메모리(730) 및 스토리지(760)는 도 1의 저장부(120)에 대응할 수 있다.
사용자 인터페이스 입력 장치(740)는 사용자로부터 입력을 수신하기 위한 적어도 하나의 물리적인 인터페이스 장치를 포함할 수 있다. 예를 들어, 사용자 인터페이스 입력 장치(740)는 임의의 입력 버튼, 터치 스크린 디스플레이, 또는 임의의 조작가능한 입력 수단 중 적어도 하나를 포함할 수 있다.
사용자 인터페이스 출력 장치(750)는 사용자에게 임의의 정보를 제공하기 위한 적어도 하나의 장치를 포함할 수 있다. 예를 들어, 사용자 인터페이스 출력 장치(750)는 임의의 입력 버튼, 터치 스크린 디스플레이 또는 스피커 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자 인터페이스 출력 장치(750)는 도 1의 정보 제공 장치(180)에 대응할 수 있다.
네트워크 인터페이스(770)는 임의의 네트워크(예: 유선 또는 무선 네트워크)를 통하여 외부 전자 장치와 컴퓨팅 시스템(700) 사이의 통신을 제공하도록 설정될 수 있다. 네트워크 인터페이스(770)는, 또한, 차량 내부의 구성요소들 사이의 통신을 제공하도록 설정될 수 있다. 예를 들어, 네트워크 인터페이스(770)는 도 1의 통신부(110)에 대응할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(710)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(730) 및/또는 스토리지(760))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(710)에 커플링되며, 그 프로세서(710)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(710)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 통신부;
    저장부; 및
    상기 통신부 및 상기 저장부와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는:
    차량의 전방 이미지 및 측방 이미지를 획득하고,
    상기 전방 이미지 및 상기 측방 이미지로부터 탑뷰(top-view) 이미지를 생성하고,
    상기 생성된 탑뷰 이미지에 대한 기계 학습을 통하여 상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하고,
    상기 인식된 적어도 하나의 객체에 기반하여 자유 공간을 인식하고,
    상기 인식된 자유 공간에 기반하여 정보를 제공하도록 설정된, 차량 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 탑뷰 이미지에 대한 딥 러닝(deep learning)을 통하여 픽셀 군집화(pixel clustering)를 수행함으로써 상기 적어도 하나의 객체를 인식하도록 설정된, 차량 영상 처리 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 픽셀 군집화를 통하여 군집화된 픽셀 군집들에 대하여 클래스를 할당함으로써 상기 적어도 하나의 객체를 인식하도록 설정된, 차량 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 픽셀 군집들 중 하나의 픽셀 군집에 대하여 복수의 클래스가 할당된 경우, 가장 신뢰도가 높은 클래스를 상기 하나의 픽셀 군집의 클래스로 선택하도록 설정된, 차량 영상 처리 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 탑뷰 이미지로부터 상기 기계 학습을 통하여 도로 경계 및 장애물을 식별하도록 설정된, 차량 영상 처리 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 도로 경계에 의하여 지시되는 도로 영역에서 상기 장애물을 제외한 영역을 상기 자유 공간으로 인식하도록 설정된, 차량 영상 처리 장치.
  7. 제 1 항에 있어서,
    상기 측방 이미지는,
    좌측면 이미지 및 우측면 이미지를 포함하고,
    상기 전방 이미지, 상기 좌측면 이미지, 및 상기 우측면 이미지는,
    광각 렌즈를 이용하여 획득되고,
    상기 프로세서는,
    상기 전방 이미지, 상기 좌측면 이미지, 및 상기 우측면 이미지 각각에 대하여 상기 광각 렌즈에 의한 왜곡을 수정한 뒤에, 상기 탑뷰 이미지를 생성하도록 설정된, 차량 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 인식된 자유 공간에 기반하여 차량의 충돌이 예상되면, 경고를 제공하도록 설정된, 차량 영상 처리 장치.
  9. 차량의 전방 이미지 및 측방 이미지를 획득하는 단계;
    상기 전방 이미지 및 상기 측방 이미지로부터 탑뷰(top-view) 이미지를 생성하는 단계;
    상기 생성된 탑뷰 이미지에 대한 기계 학습을 통하여 상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하는 단계;
    상기 인식된 적어도 하나의 객체에 기반하여 자유 공간을 인식하는 단계; 및
    상기 인식된 자유 공간에 기반하여 정보를 제공하는 단계를 포함하는, 차량 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하는 단계는,
    상기 탑뷰 이미지에 대한 딥 러닝(deep learning)을 통하여 픽셀 군집화(pixel clustering)를 수행함으로써 상기 적어도 하나의 객체를 인식하는 단계를 포함하는, 차량 영상 처리 방법.
  11. 제 10 항에 있어서,
    상기 픽셀 군집화를 통하여 군집화된 픽셀 군집들에 대하여 클래스를 할당하는 단계를 더 포함하는, 차량 영상 처리 방법.
  12. 제 11 항에 있어서,
    상기 픽셀 군집들 중 하나의 픽셀 군집에 대하여 복수의 클래스가 할당된 경우, 가장 신뢰도가 높은 클래스를 상기 하나의 픽셀 군집의 클래스로 선택하는 단계를 더 포함하는, 차량 영상 처리 방법.
  13. 제 8 항에 있어서,
    상기 적어도 하나의 객체를 인식하는 단계는,
    상기 탑뷰 이미지로부터 상기 기계 학습을 통하여 도로 경계 및 장애물을 식별하는 단계를 포함하는, 차량 영상 처리 방법.
  14. 제 13 항에 있어서,
    상기 탑뷰 이미지로부터 적어도 하나의 객체를 인식하는 단계는,
    상기 도로 경계에 의하여 지시되는 도로 영역에서 상기 장애물을 제외한 영역을 상기 자유 공간으로 인식하는 단계를 포함하는, 차량 영상 처리 방법.
  15. 제 8 항에 있어서,
    상기 측방 이미지는,
    좌측면 이미지 및 우측면 이미지를 포함하고,
    상기 전방 이미지, 상기 좌측면 이미지, 및 상기 우측면 이미지는,
    광각 렌즈를 이용하여 획득되고,
    상기 탑뷰 이미지를 생성하는 단계는,
    상기 전방 이미지, 상기 좌측면 이미지, 및 상기 우측면 이미지 각각에 대하여 상기 광각 렌즈에 의한 왜곡을 수정한 뒤에, 상기 탑뷰 이미지를 생성하는 단계를 포함하는, 차량 영상 처리 방법.
KR1020220025429A 2022-02-25 2022-02-25 차량 영상 처리 장치 및 그 방법 KR20230128202A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220025429A KR20230128202A (ko) 2022-02-25 2022-02-25 차량 영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220025429A KR20230128202A (ko) 2022-02-25 2022-02-25 차량 영상 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230128202A true KR20230128202A (ko) 2023-09-04

Family

ID=88018535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220025429A KR20230128202A (ko) 2022-02-25 2022-02-25 차량 영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20230128202A (ko)

Similar Documents

Publication Publication Date Title
US10860870B2 (en) Object detecting apparatus, object detecting method, and computer program product
US10713507B2 (en) Object detecting apparatus, object detecting method, and computer program product
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US9898668B2 (en) System and method of object detection
EP2924653B1 (en) Image processing apparatus and image processing method
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
CN111028534B (zh) 一种泊车位检测方法及装置
KR102349953B1 (ko) 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
US20200074212A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP5077088B2 (ja) 画像処理装置及び画像処理方法
US11508156B2 (en) Vehicular vision system with enhanced range for pedestrian detection
US20190244041A1 (en) Traffic signal recognition device
JP4951481B2 (ja) 路面標示認識装置
CN113297881A (zh) 一种目标检测方法及相关装置
KR102349906B1 (ko) 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
KR20200028679A (ko) 차선을 검출하는 방법 및 장치
US20240056694A1 (en) Imaging device, image processing method, and image processing program
JP5083164B2 (ja) 画像処理装置及び画像処理方法
KR20230128202A (ko) 차량 영상 처리 장치 및 그 방법
JP6969245B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
CN109703556B (zh) 驾驶辅助方法及设备
KR20230127436A (ko) 근거리 차량 검출 장치 및 그 방법
EP3540643A1 (en) Image processing apparatus and image processing method
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム