KR101566912B1 - Avm 장치 및 방법 - Google Patents

Avm 장치 및 방법 Download PDF

Info

Publication number
KR101566912B1
KR101566912B1 KR1020140100002A KR20140100002A KR101566912B1 KR 101566912 B1 KR101566912 B1 KR 101566912B1 KR 1020140100002 A KR1020140100002 A KR 1020140100002A KR 20140100002 A KR20140100002 A KR 20140100002A KR 101566912 B1 KR101566912 B1 KR 101566912B1
Authority
KR
South Korea
Prior art keywords
parking
line
image
parking line
lines
Prior art date
Application number
KR1020140100002A
Other languages
English (en)
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140100002A priority Critical patent/KR101566912B1/ko
Priority to CN201410612933.6A priority patent/CN105313775B/zh
Priority to DE102014116362.1A priority patent/DE102014116362B3/de
Priority to US14/538,491 priority patent/US9864915B2/en
Application granted granted Critical
Publication of KR101566912B1 publication Critical patent/KR101566912B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량 주변의 복수의 영상을 획득하는 카메라 모듈, 어라운드 뷰 영상을 표시하는 디스플레이부 및 상기 복수의 영상을 합성하여 어라운드 뷰 영상을 생성하고, 상기 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선을 검출하고, 검출된 상기 제1 및 제2 주차선을 트래킹하고, 상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 가상의 주차선을 생성하여 상기 디스플레이부에 어라운드 뷰 영상이 출력되도록 제어하는 제어부를 포함하는 AVM(Around View Monitoring) 장치에 관한 것이다.

Description

AVM 장치 및 방법{Around view monitoring apparatus and Method of thereof}
본 발명은 차량 주변의 영상을 표시하는 AVM(Around View Monitoring) 장치 및 그 방법에 관한 것이다. 보다 상세하게는 가상의 주차선이 포함된 AVM화면을 표시하는 AVM 장치 및 그 방법에 관한 것이다.
최근에는 차량의 고급화 및 다기능화에 따라, 차량에 어라운드 뷰 모니터링(이하, AVM, Around View Monitoring) 시스템이 탑재되고 있다.
AVM 시스템은 차량의 사방에 장착된 카메라를 통해 차량 주변의 영상을 획득하고, 차량의 주차시, 운전자가 힘들게 뒤를 돌아보거나 주위를 살피지 않고도 실내에 장착된 표시장치를 통해 차량의 주변을 확인할 수 있는 시스템이다. 또한, 어라운드 뷰 모니터링 시스템은 상기 주변의 영상을 합성하여 마치 차량의 위에서 보는 것과 같은 어라운드 뷰(around view)를 제공하기도 한다. 이러한 어라운드 뷰 모니터링 시스템을 이용하여, 운전자는 차량 주변의 상황을 한 눈에 파악하고 안전하게 주차를 하거나, 좁은 길을 지날 수 있다.
그러나, 종래의 AVM 시스템은 주차선 중 일부가 차량에 가려진 경우, 주차 지원시 명확한 주차선을 표시하지 못하는 문제가 있다.
AVM 시스템에 관한 선행 문헌 : 공개번호 10-2013-0028230
본 발명은 상기한 문제점을 해결하기 위하여, 가상의 주차선이 포함된 AVM화면을 표시하는 AVM 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 AVM장치는 차량 주변의 복수의 영상을 획득하는 카메라 모듈, AVM 영상을 표시하는 디스플레이부 및 상기 복수의 영상을 합성하여 AVM 영상을 생성하고, 상기 AVM 영상에서 제1 주차선 및 제2 주차선을 검출하고, 검출된 상기 제1 및 제2 주차선을 트래킹하고, 상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 가상의 주차선을 생성하여 상기 디스플레이부에 AVM영상이 출력되도록 제어하는 제어부를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치는 룩업 테이블을 저장하는 메모리를 더 포함하고, 상기 제어부는, 상기 룩업 테이블을 이용하여 상기 AVM 영상을 생성할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 제어부는, 상기 복수의 영상을 합성하여 AVM 영상을 생성하는 영상 합성부, 상기 AVM 영상에서 제1 주차선 및 제2 주차선을 검출하는 검출부, 상기 제1 주차선 및 제2 주차선을 트래킹하는 트래킹부 및 상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 가상의 주차선을 생성하는 예측부를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 검출부는 상기 AVM 영상을 그레이스케일(grayscale) 영상으로 변환하는 영상 변환부, 상기 그레이스케일(grayscale) 영상의 조도 편차를 이용하여 복수의 특징점을 추출하는 탑햇 필터부 및 상기 복수의 특징점에 대한 선 성분을 추출하여, 상기 제1 및 제2 주차선을인식하는 주차선 인식부를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 검출부는, 상기 제1 및 제2 주차선의 선간 간격을 결정하는 선간 간격 결정부를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 예측부는 상기 제1 및 상기 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 트래킹되지 않는 가상의 주차선을 생성하는 주차선 생성부 및 상기 주차선 생성부에서 생성된 가상의 주차선을 상기 AVM영상에 적용하는 영상 적용부를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 검출부는, 상기 제1 및 제2 주차선의 선간 간격을 결정하는 선간 간격 결정부를 포함하고, 상기 예측부는 상기 제1 주차선이 트래킹되지 않는 경우, 상기 제2 주차선 및 상기 선간 간격을 기초로 상기 제1 주차선을 예측할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 검출부는, 상기 제1 및 제2 주차선의 선간 간격을 결정하는 선간 간격 결정부를 포함하고, 상기 예측부는, 상기 제2 주차선이 트래킹되지 않는 경우, 상기 제1 주차선 및 상기 선간 간격을 기초로 상기 제1 주차선을 예측할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 트래킹부는, 이전영상 및 현재 영상에서 제1 및 제2 주차선의 각도차 또는 거리차를 기준으로 상기 제1 및 제2 주차선을 트래킹할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 카메라 모듈은, 상기 차량의 전방에 위치하여 상기 전방 주변 영상을 획득하는 제1 카메라, 상기 차량의 후방에 위치하여 상기 후방 주변 영상을 획득하는 제2 카메라, 상기 차량의 좌측방에 위치하여 상기 좌측방 주변 영상을 획득하는 제3 카메라 및 상기 차량의 우측방에 위치하여 상기 우측방 주변 영상을 획득하는 제4 카메라를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치에서 상기 디스플레이부는, 상기 차량에 장착된 AVN(Aoudio Video Navigation)모듈일 수 있다.
한편, 본 발명의 실시예에 따른 AVM장치의 동작 방법은 차량 주변의 복수의 영상을 획득하는 단계, 상기 복수의 영상을 합성하여 AVM 영상을 생성하는 단계, 상기 AVM 영상에서 제1 주차선 및 제2 주차선을 검출하는 단계, 상기 제1 및 제2 주차선을 트래킹하는 단계, 상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 가상의 주차선을 예측하는 단계 및 상기 가상의 주차선이 포함된 AVM 을 표시하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치의 동작 방법에서, 상기 생성하는 단계는,
메모리에 저장된 룩업 테이블을 이용하여 상기 AVM 영상을 생성할 수 있다.
본 발명의 실시예에 따른 AVM장치의 동작 방법에서 상기 검출하는 단계는, 상기 AVM 영상을 그레이스케일(grayscale) 영상으로 변환하는 단계, 상기 그레이스케일(grayscale) 영상의 조도 편차를 이용하여 복수의 특징점을 추출하는 단계 및 상기 복수의 특징점에 대한 선 성분을 추출하여, 상기 제1 및 제2 주차선을 인식하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치의 동작 방법에서 상기 검출하는 단계는, 상기 제1 및 제2 주차선의 선간 간격을 결정하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치의 동작 방법에서 상기 예측하는 단계는, 상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 트래킹되지 않는 가상의 주차선을 생성하는 단계 및 상기 생성된 가상의 주차선을 상기 AVM영상에 적용하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 AVM장치의 동작 방법에서 상기 검출하는 단계는, 상기 제1 및 제2 주차선의 선간 간격을 결정하는 단계를 더 포함하고, 상기 예측하는 단계는, 상기 제1 주차선이 트래킹되지 않는 경우, 상기 제2 주차선 및 선간 간격을 기초로 상기 제1 주차선을 예측할 수 있다.
본 발명의 실시예에 따른 AVM장치의 동작 방법에서 상기 검출하는 단계는, 상기 제1 및 제2 주차선의 선간 간격을 결정하는 단계를 더 포함하고, 상기 예측하는 단계는, 상기 제2 주차선이 트래킹되지 않는 경우, 상기 제1 주차선 및 상기 선간 간격을 기초로 상기 제1 주차선을 예측할 수 있다.
본 발명의 실시예에 따른 AVM장치의 동작 방법에서 상기 트래킹하는 단계는, 이전 영상 및 현재 영상에서 제1 및 제2 주차선의 각도차 또는 거리차를 기준으로 상기 제1 및 제2 주차선을 트래킹할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
본 발명에 따른 제어부(200) 및 그 동작방법은, 주차선이 존재하지 않는 목표주차구획에서 차량의 주변영상을 기반으로, 가상주차선을 설정한 AVM 합성영상을 디스플레이하도록 함으로써, 사용자가 차량의 목표주차구획을 인식하여 주차하기 용이하도록 함으로서 사용자 편의성을 증대시킬 수 있는 이점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 AVM장치를 포함하는 자동차를 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 AVM장치의 블럭도이다.
도 3은 본 발명의 실시예에 따른 제어부의 상세 블럭도이다.
도 4는 본 발명의 제1 실시예에 따른 AVM장치의 동작을 설명하는데 참조되는 흐름도이다.
도 5는 본 발명의 실시예에 따라 주차선의 특징점을 추출하는 동작을 설명하는데 참조되는 도면이다.
도 6은 본 발명의 실시예에 따라 주차선을 인식하는 동작을 설명하는데 참조되는 도면이다.
도 7은 본 발명의 제1 실시예에 따라 제1 주차선을 인식하고, 제2 주차선을 예측하는 동작을 설명하는데 참조되는 도면이다.
도 8은 본 발명의 제2 실시예에 따른 AVM장치의 동작을 설명하는데 참조되는 흐름도이다.
도 9는 본 발명의 제2 실시예에 따라 선간 간격을 결정하는 동작을 설명하는데 참조되는 도면이다.
도 10은 본 발명의 제2 실시예에 따라 제2 주차선을 인식하고, 제1 주차선을 예측하는 동작을 설명하는데 참조되는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 구성의 명칭을 제1, 제2 등으로 구분한 것은 그 구성의 명칭이 동일한 관계로 이를 구분하기 위한 것으로, 하기의 설명에서 반드시 그 순서에 한정되는 것은 아니다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측, 즉, 운전석측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측, 즉, 보조석측을 의미한다.
도 1은 본 발명의 실시예에 따른 AVM장치를 포함하는 자동차를 개략적으로 도시한 도면이다.
도 1을 참조하면, 차량(10)에 장착되는 AVM 장치(100)는 카메라 모듈(110)을 포함한다. 여기서, 카메라 모듈(110)은 차량(10)의 전방, 후방, 좌측방, 우측방에 대한 영상을 획득할 수 있도록 4개인 것이 바람직하다. 카메라 모듈(110)은 제1 카메라(111), 제2 카메라 (112), 제3 카메라(113), 제4 카메라(114)를 포함한다.
카메라 모듈(110)은 차량(10)의 외부에 장착되어 차량(10) 주변의 영상을 획득한다. 여기서, 카메라 모듈(110)에 포함되는 카메라는 화각이 180deg 이상의 초광각 카메라인 것이 바람직하다.
한편, 본 명세서에서 카메라 모듈(110)에 포함되는 카메라(111, 112, 113, 114)는 4개인 것으로 가정하여 설명하나, 이에 한정되지 아니한다.
예를 들면, 제1 카메라(111)는 차량(10)의 전방에 위치하여 차량(10)의 전방 주변 영상을 획득할 수 있다. 제1 카메라(110)는 프론트 범퍼의 일 부분에 장착되는 것이 바람직하다.
제2 카메라(112)는 차량(10)의 후방에 위치하여 차량(10)의 후방 주변 영상을 획득할 수 있다. 제2 카메라(112)는 리어 범퍼의 일 부분, 번호판 위쪽 또는 아래쪽에 장착되는 것이 바람직하다.
제3 카메라(113)는 차량(10)의 좌측방에 장착되어 차량(10)의 좌측방 주변 영상을 입력할 수 있다. 제3 카메라(113)는 차량(10)의 좌측 사이드 미러의 일 부분이나 프런트 휀더의 일 부분에 장착되는 것이 바람직하다.
제4 카메라(114)는 차량(10)의 우측방에 장착되어 차량(10)의 우측방 주변 영상을 입력할 수 있다. 제4 카메라(114)는 차량(10)의 우측 사이드 미러의 일 부분이나 프런트 휀더의 일 부분에 장착되는 것이 바람직하다.
도 2는 본 발명의 실시예에 따른 AVM장치의 블럭도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 AVM장치(100)는 카메라 모듈(110), 메모리(120), 디스플레이부(130) 및 제어부(200)를 포함한다.
카메라 모듈(110)은 차량(10) 주변의 영상을 획득한다. 이때, 차량 주변의 영상은 복수일 수 있다. 예를 들어, 카메라 모듈(110)은 복수의 카메라(111, 112, 113, 114)을 포함하고, 각각의 카메라로부터 복수의 영상을 획득할 수 있다.
한편, 본 실시예에서, 제1 내지 제4 카메라(111, 112, 113, 114)는 각각 획득한 영상을 제어부(200)로 전달하는 것으로 설명하나, 이에 제한되지 않는다. 본 발명의 실시예에 따른 AVM장치(100)는 별도의 카메라 제어부(미도시)를 더 포함할 수 있고, 제1 내지 제4 카메라(111, 112, 113, 114)에서 획득된 영상은 카메라 제어부(미도시)로 전달된 후, 다시 제어부(200)로 전달될 수도 있다.
메모리(120)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(120)는 ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(120)는 카메라 모듈(110)에서 획득한 차량 주변의 영상을 저장할 수 있다. 제어부(200)에서 생성된 AVM 영상을 저장할 수 있다. 메모리(120)는 룩업테이블(Look Up Table)을 저장할 수 있다. 여기서, 룩업 테이블은 카메라 모듈(110)에서 획득된 각각의 영상을 합성하는데 이용된다. 룩업테이블은 합성 영상의 한 픽셀이 4개의 원래의 영상(제1 영상 내지 제4 영상)의 어떤 픽셀과 대응되는지 관계를 저장한 테이블이다.
디스플레이부(130)는 어라운드 뷰 영상을 수신하여 표시한다. 디스플레이부(130)는 어라운드 뷰 영상을 표시하기 위한 적어도 하나의 디스플레이를 구비할 수 있다. 어라운드 뷰 영상 표시시, 다양한 사용자 유저 인터페이스를 제공하는 것도 가능하며, 제공되는 유저 인터페이스에 대한 터치 입력이 가능한 터치 센서를 구비하는 것도 가능하다. 한편, 디스플레이부(130)는 차량에 장착된 AVN(Audio Visual Navigation)모듈일 수 있다.
제어부(200)는 카메라 모듈(110)에서 전달받은 복수의 영상을 합성하여 어라운드 뷰 영상을 생성할 수 있다. 제어부(200)는 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선을 검출할 수 있다. 이때, 제1 주차선 및 제2 주차선은 차량(10)의 좌측 및 우측에 위치하는 주차선일 수 있다. 즉, 제1 주차선 및 제2 주차선은 차량(10)의 길이 방향의 주차선일 수 있다. 제어부(200)는 제1 및 제2 주차선을 트래킹한다. 카메라 모듈(110)이 차량(10) 주변의 영상을 획득하는 도중에, 차량(10)은 계속 움직일 수 있다. 이경우, 차량의 움직임에 따라, 어라운드 뷰 영상에서 제1 및 제2 주차선의 위치도 움직일 수 있다. 이경우, 제어부(200)는 제1 및 제2 주차선을 트래킹한다. 만약, 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 제어부(200)는 가상의 주차선을 생성한다. 제어부(200)는 가상의 주차선이 포함된 어라운드 뷰 영상을 디스플레이부(130)에서 출력되도록 제어한다.
도 3은 본 발명의 실시예에 따른 제어부의 상세 블럭도이다.
도 3을 참조하면, 제어부(200)는 영상 합성부(210), 검출부(220), 트래킹부(230) 및 예측부(240)를 포함한다.
영상 합성부(210)는 카메라 모듈(110)에서 수신한 복수의 영상을 합성하여 어라운드 뷰 영상을 생성한다. 여기서, 어라운드 뷰 영상은 차량(10)이 중심에 위치한 탑뷰(Top view) 영상일 수 있다. 영상 합성부(210)는 룩업테이블(LUT, Look Up Table)을 이용하여 복수의 영상을 합성할 수 있다. 룩업테이블은 합성 영상의 한 픽셀이 4개의 원래의 영상(제1 영상 내지 제4 영상)의 어떤 픽셀과 대응되는지 관계를 저장한 테이블이다.
검출부(220)는 영상 합성부(210)에서 생성된 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선을 검출한다. 제1 주차선 및 제2 주차선 검출을 위하여, 검출부(220)는 영상 변환부(221), 탑햇 필터부(222), 주차선 인식부(223) 및 선간 간격 결정부(224)를 포함할 수 있다.
영상 변환부(221)는 기 설정된 영상 변환 방식에 따라 어라운드 뷰 영상을 그레이스케일(grayscale) 영상으로 변환한다.
탑햇 필터부(Top-Hat fiter, 222)는 상기 그레이스케일(grayscale) 영상에서 상기 조도 편차가 발생되는 점에 해당되는 상기 복수의 특징점을 추출할 수 있다.
예를 들면, 탑햇 필터부(222)는 일반적으로 흰색의 주차선과 일반 도로와의 조도 편차를 측정하여, 상기 조도 편차가 발생된 부분의 중심점을 상기 특징점으로 추출할 수 있다.
주차선 인식부(223)는 상기 복수의 특징점에 대한 선 성분을 추출하여, 상기 제1 및 제2 주차선을 인식한다. 주차선 인식부(223)는 인식된 제1 및 제2 주차선의 각도 오차를 비교한다. 즉, 주차선 인식부(223)는 인식된 제1 및 제2 주차선이 서로 평행한지를 판단한다. 예를 들어, 인식된 제1 및 제2 주차선에서 연장된 선에서 이루는 각도가 5도 이내인경우, 제1 및 제2 주차선은 유효한 것으로 판단될 수 있다. 이때, 제1 주차선 및 제2 주차선은 차량(10)의 좌측 및 우측에 위치하는 주차선일 수 있다. 즉, 제1 주차선 및 제2 주차선은 차량(10)의 길이 방향의 주차선일 수 있다.
선간 간격 결정부(224)는 제1 주차선 및 제2 주차선 사이의 선간 간격을 결정한다. 즉, 선간 간격 결정부(224)는 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선 사이의 선간 간격을 계산한다. 연속되는 영상에서, 제1 주차선 및 제2 주차선 사이의 선간 간격이 임계치 이내일때, 선간 간격 결정부(224)는 선간 간격을 영상의 제1 주차선 및 제2 주차선 사이의 복수의 선간 간격의 평균값으로 결정한다.
트래킹부(230)는 연속되는 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선을 트래킹한다. 카메라 모듈(110)이 차량(10) 주변의 영상을 획득하는 도중에, 차량(10)은 계속 움직일 수 있다. 이경우, 차량의 움직임에 따라, 어라운드 뷰 영상에서 제1 및 제2 주차선의 위치도 상대적으로 움직일 수 있다. 이경우, 제어부(200)는 제1 및 제2 주차선을 트래킹한다. 트래킹부(230)는 이전 영상 및 현재 영상에서 제1 및 제2 주차선의 각도차 또는 거리차를 기준으로 제1 및 제2 주차선을 트래킹할 수 있다.
예를 들어, 어라운드 뷰 영상 좌측 상단을 원점으로 가로 방향을 X축, 세로 방향을 Y축으로 볼 수 있다. 이때, 주차선의 각도는 원점에서 주차선에 수직되는 가상의 선을 그었을때, X축과 가상의 선이 이루는 각도일 수 있다.또한, 제1 및 제2 주차선까지의 거리는 상기 가상의 선의 길이를 의미할 수 있다. 이때, 트래킹부(230)는 시간에 따라, 변화하는 영상에서, 검출된 주차선이 현재 영상과 소정 시간 이전의 영상간 비교시, 각도의 차이 및 거리의 차이가 임계치 이내인 경우, 동일 주차선으로 판단하고 트래킹 할 수 있다.
예측부(240)는 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 가상의 주차선을 생성한다. 즉, 예측부(240)는 트래킹되지 않는 주차선을 가상의 주차선으로 대신한다.
예측부(240)는 주차선 생성부(241) 및 영상 적용부(242)를 포함한다.
주차선 생성부(241)는 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 트래킹되지 않는 가상의 주차선을 생성한다.
예를 들어, 제1 주차선이 트래킹되지 않는 경우, 주차선 생성부(241)는 제2 주차선 및 선간 간격을 기초로 상기 제1 주차선을 예측할 수 있다.
예를 들어, 제2 주차선이 트래킹되지 않는 경우, 주차선 생성부(241)는 제1 주차선 및 선간 간격을 기초로 상기 제2 주차선을 예측할 수 있다.
영상 적용부(242)는 주차선 생성부에서 생성된 가상의 주차선을 어라운드 뷰 영상에 적용한다.
한편, 본 발명의 실시예에 따른 AVM 장치(100)는 각종 자동차에 포함될 수 있다.
도 4는 본 발명의 제1 실시예에 따른 AVM장치의 동작을 설명하는데 참조되는 흐름도이다.
도 4를 참조하면, 제어부(200)는 차량이 목표주차구획 진입시, 상기 차량의 주변영상에 대하여 뷰가 변환된 AVM 영상을 생성하고(S110), AVM 영상을 그레이스케일(grayscale) 영상으로 변환하여(S120), 상기 그레이스케일(grayscale) 영상의 조도 편차를 이용하여 복수의 특징점을 추출한다(S130).
이때, 제어부(200)는 상기 복수의 특징점에 대한 선 성분을 추출하여, 상기 주차선을 인식한다(S140).
여기서, 제어부(200)는 (S140) 단계에서 상기 주차선 중 제1, 2 주차선이 모두 인식되었는지 판단하고(S150), 상기 제1, 2 주차선이 모두 인식되면 상기 제1, 2 주차선을 동일 색상으로 어라운드 뷰 영상에 합성하여 어라운드 뷰 합성 영상을 생성한다(S160).
또한, 제어부(200)은 (S150) 단계에서 상기 제1, 2 주차선 중 상기 제1 주차선만 인식하면 상기 목표구획주차의 주차선 간격을 산출하고(S170), 상기 제1 주차선에서 상기 주차선 간격만큼 평행하게 이격된 상기 제2 주차선을 생성한다(S180).
이후, 제어부(200)은 상기 어라운드 뷰 영상에 서로 다른 색상의 상기 제1, 2 주차선을 합성한 상기 어라운드 뷰 합성 영상을 생성한다(S190).
제어부(200)은 (S160) 단계 및 (S190) 단계 중 어느 한 단계에서 생성한 상기 어라운드 뷰 합성 영상을 디스플레이한다(S200).
도 5는 본 발명의 실시예에 따라 주차선의 특징점을 추출하는 동작을 설명하는데 참조되는 도면이다.
도 5를 참조하면, 탑햇 필터부(Top-Hat fiter, 222)는 영상 변환부(221)에서 변환된 그레이스케일(grayscale) 영상에서 조도 편차가 발생되는 점에 해당되는 상기 복수의 특징점을 추출할 수 있다. 즉, 탑햇 필터부(222)는 흰색의 주차선과 일반 도로와의 조도 편차를 측정하여, 상기 조도 편차가 발생된 부분을 상기 특징점으로 추출할 수 있다. 탑햇 필터부(222)는 특징점과 특징점 사이의 중심점을 검출한다.
도 6은 본 발명의 실시예에 따라 주차선을 인식하는 동작을 설명하는데 참조되는 도면이다.
도 6을 참조하면, 주차선 인식부(223)는 도 5에서 추출한 특징점 또는 중심점을 연결하여 선 성분을 검출한다. 이때, 주차선 인식부(223)는 검출된 복수의 선 성분에서 평행하는 2개의 선 성분을 제1 및 제2 주차선으로 인식할 수 있다. 이때, 주차선 인식부(223)는 제1 및 제2 주차선간의 각도 오차가 소정 범위 내인지를 기준으로 평행한지를 판단할 수 있다. 예를 들어, 2개의 선을 연장한 연장선이 이루는 각이 5도 이내인 경우, 주차선 인식부(223)는 상기 2개의 선을 제1 및 제2 주차선으로 인식할 수 있다.
도 6(a)는 도 5에서 추출한 복수의 특징점 또는 중심점에 대한 선 성분을 추출하여 복수의 주차선 후보군을 나타내며, 도 6(b)는 도 6(a)에서 나타낸 복수의 주차선 후보군에서 상기 목표주자구획에 대응하는 제1, 2 주차선을 인식하는 것을 나타낸다.
도 7은 본 발명의 제1 실시예에 따라 제1 주차선을 인식하고, 제2 주차선을 예측하는 동작을 설명하는데 참조되는 도면이다.
즉, 도 7의 (a)에 도시된 바와 같이, 제어부(200)는 차량폭, 상기 제1 주차선과의 거리(α) 및 상기 조향각 중 적어도 하나를 기반으로 상기 주차선 간격을 산출할 수 있다.
여기서, 제어부(200)는 차량의 현재 위치가 상기 목표주차구획의 중심에 위치하는 것으로 설정하는 경우, 상기 차량폭과 상기 제1 주차선과의 거리(α)를 이용하여 상기 주차선 간격을 산출할 수 있으며, 이에 한정을 두지 않는다.
이후, 제어부(200)는 산출한 상기 주차선 간격을 기반으로 상기 제1 주차선에서 평행하게 상기 주차선 간격만큼 이동한 상기 제2 주차선을 상기 어라운드 뷰 영상에 합성하여 상기 어라운드 뷰 합성 영상을 생성할 수 있다.
한편, 도 7의 (b)에 도시된 바와 같이, 제어부(160)는 상기 제1, 2 주차선을 서로 다른 색상으로 디스플레이모듈(120)에 디스플레이되도록 함으로써, 운전자가 상기 제2 주차선이 가상 주차선임을 인지하도록 할 수 있다.
도 8은 본 발명의 제2 실시예에 따른 AVM장치의 동작을 설명하는데 참조되는 흐름도이다.
도 8을 참조하면, 카메라 모듈(110)은 차량(10) 주변의 영상을 획득한다(S805). 차량 주변의 영상은 복수일 수 있다. 예를 들어, 카메라 모듈(110)은 복수의 카메라(111, 112, 113, 114)을 포함하고, 각각의 카메라로부터 복수의 영상을 획득할 수 있다.
복수의 영상이 수신된 상태에서, 제어부(200)는 카메라 모듈(110)로부터 복수의 영상을 수신하고, 상기 복수의 영상을 합성하여, 어라운드 뷰 영상을 생성한다(S810). 여기서, 어라운드 뷰 영상은 차량(10)이 중심에 위치한 탑뷰(Top view) 영상일 수 있다. 영상 합성부(210)는 메모리(120)에 저장된 룩업테이블(Look Up Table)을 이용하여 복수의 영상을 합성할 수 있다. 룩업테이블은 합성 영상의 한 픽셀이 4개의 원래의 영상(제1 영상 내지 제4 영상)의 어떤 픽셀과 대응되는지 관계를 저장한 테이블이다.
어라운드 뷰 영상이 생성된 상태에서, 제어부(200)는 제1 주차선 및 제2 주차선을 검출한다(S815, S820, S825, S830).
구체적으로, 어라운드 뷰 영상이 생성된 상태에서, 제어부(200)는 어라운드 뷰 영상을 그레이스케일(grayscale) 영상으로 변환한다(S815). 어라운드 뷰 영상이 그레이스케일(grayscale) 영상으로 변환된 상태에서, 제어부(200)는 그레이스케일(grayscale) 영상의 조도 편차를 이용하여 복수의 특징점을 추출한다(S820). 제어부(200)는 복수의 특징점에 대한 선 성분을 추출하여, 상기 제1 및 제2 주차선을 인식한다(S825). 이때, 제1 주차선 및 제2 주차선은 차량(10)의 좌측 및 우측에 위치하는 주차선일 수 있다. 즉, 제1 주차선 및 제2 주차선은 차량(10)의 길이 방향의 주차선일 수 있다. 제어부(200)는 인식된 제1 및 제2 주차선의 선간 간격을 결정한다(S830). 즉, 제어부(200)는 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선 사이의 선간 간격을 계산한다. 연속되는 영상에서, 제1 주차선 및 제2 주차선 사이의 선간 간격이 임계치 이내일때, 제어부(200)는 선간 간격을 영상의 제1 주차선 및 제2 주차선 사이의 복수의 선간 간격의 평균값으로 결정한다.
이후에, 제어부(200)는 연속되는 어라운드 뷰 영상에서 제1 및 제2 주차선을 트래킹한다(S835). 카메라 모듈(110)이 차량(10) 주변의 영상을 획득하는 도중에, 차량(10)은 계속 움직일 수 있다. 이경우, 차량의 움직임에 따라, 어라운드 뷰 영상에서 제1 및 제2 주차선의 위치도 움직일 수 있다. 이경우, 제어부(200)는 제1 및 제2 주차선을 트래킹한다. 제어부(200)는 이전 영상 및 현재 영상에서 제1 및 제2 주차선의 각도차 또는 거리차를 기준으로 제1 및 제2 주차선을 트래킹할 수 있다.
예를 들어, 어라운드 뷰 영상 좌측 상단을 원점으로 가로 방향을 X축, 세로 방향을 Y축으로 볼 수 있다. 이때, 주차선의 각도는 원점에서 주차선에 수직되는 가상의 선을 그었을때, X축과 가상의 선이 이루는 각도일 수 있다.또한, 제1 및 제2 주차선까지의 거리는 상기 가상의 선의 길이를 의미할 수 있다. 이때, 트래킹부(230)는 시간에 따라, 변화하는 영상에서, 검출된 주차선이 현재 영상과 소정 시간 이전의 영상간 비교시, 각도의 차이 및 거리의 차이가 임계치 이내인 경우, 동일 주차선으로 판단하고 트래킹 할 수 있다.
만약, 제1 주차선이 트래킹 되고(S840), 제2 주차선이 트래킹 되는 경우(S845), 제어부(200)는 어라운드 뷰 영상을 디스플레이부(130)에 표시하도록 제어한다(S850).
만약, 제1 주차선이 트래킹 되고(S840), 제2 주차선이 트래킹 되지 않는 경우(S845), 제어부(200)는 가상의 제2 주차선을 생성하고, 어라운드 뷰 영상에 적용한다(S855). 이때, 제어부(200)는 제1 주차선 및 S830단계에서 결정된 선간 간격을 기초로 제2 주차선을 생성할 수 있다. 가상의 제2 주차선이 생성된 상태에서, 제어부(200)는 상기 가상의 제2 주차선이 포함된 어라운드 뷰 영상을 디스플레이부(130)에 표시하도록 제어한다(S850).
만약, 제1 주차선이 트래킹 되지 않고(S840), 제2 주차선이 트래킹되는 경우(S860), 제어부(200)는 가상의 제1 주차선을 생성하고, 어라운드 뷰 영상에 적용한다(S865). 이때, 제어부(200)는 제2 주차선 및 S830단계에서 결정된 선간 간격을 기초로 제1 주차선을 생성한다. 가상의 제1 주차선이 생성된 상태에서, 제어부(200)는 상기 가상의 제1 주차선이 포함된 어라운드 뷰 영상을 디스플레이부(130)에 표시하도록 제어한다(S850).
만약, 제1 주차선이 트래킹 되지 않고(S840), 제2 주차선도 트래킹 되지 않는 경우(S860), 제어부(200)는 계속하여 제1 및 제2 주차선을 트래킹한다(S835).
도 9는 본 발명의 제2 실시예에 따라 선간 간격을 결정하는 동작을 설명하는데 참조되는 도면이다.
도 9를 참조하면, 제1 및 제2 주차선이 인식된 상태에서, 선간 간격 결정부(224)는 제1 주차선 및 제2 주차선 사이의 선간 간격을 결정한다. 즉, 선간 간격 결정부(224)는 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선 사이의 선간 간격을 계산한다. 연속되는 영상에서, 선간 간격 결정부(224)는 제1 주차선 및 제2 주차선 사이의 선간 간격이 임계치 이내인지 판단하고, 목표 주차 구획 간격을 결정한다. 최중 주차 구획 관격은 평균값으로 설정한다.
도 10은 본 발명의 제2 실시예에 따라 제2 주차선을 인식하고, 제1 주차선을 예측하는 동작을 설명하는데 참조되는 도면이다.
도 10의 (a) 및 (b)에 도시된 바와 같이, 차량 주차시, 차량이 제1 주차선 위에 위치하는 경우, 트래킹부(230)는 제1 주차선을 트래킹하지 못하고, 제2 주차선만 트래킹할 수 있다. 여기서 트래킹부(230)는 트래킹부(230)는 이전 영상 및 현재 영상에서 제1 및 제2 주차선의 각도차 또는 거리차를 기준으로 제1 및 제2 주차선을 트래킹할 수 있다.
즉, 도 10의 (a)의 어라운드 뷰 영상은 도 10의 (b)의 어라운드 뷰 영상 이전의 영상이다. 어라운드 뷰 영상 좌측 상단을 원점으로 가로 방향을 X축, 세로 방향을 Y축으로 볼 수 있다. 이경우, 트래킹부(230)는 도 10의 (a) 영상에서 원점에서 주차선에 수직되는 가상의 선을 그었을 때, X축과 가상의 선이 이루는 각도(θ1)와 도 10의 (b)영상에서 원점에서 주차선에 수직되는 가상의 선을 그었을 때, X축과 가상의 선이 이루는 각도(θ2)를 비교하여 임계치 이내라고 판단되는 경우, 동일 주차선으로 판단한다.
또는, 트래킹부(230)는 도 10의 (a) 영상에서 원점을 기준으로 제2 주차선으에 수직되는 가상의 선의 길이(r1)와 도 10의 (b) 영상에서 원점을 기준으로 제2 주차선에 수직되는 가상의 선의 길이(r2)를 비교하여 임계치 이내라고 판단되는 경우, 동일 주차선으로 판단할 수 있다.
도 10의 (c)에 도시된 바와 같이, 트래킹부(230)는 어라운드 뷰 영상에서 제2 주차선까지의 거리(r) 및 주차선의 각도(θ)를 구할 수 있다. 상술한 바와 같이, 트래킹부(230)는 제2 주차선의 각도(θ)는 원점에서 주차선에 수직되는 가상의 선을 그었을때, X축과 상기 가상의 선이 이루는 각도로 주차선의 각도(θ)를 구할 수 있다. 또한, 트래킹부(230)는 상기 가상의 선의 길이를 구하여, 제2 주차선까지의 거리(r)를 계산할 수 있다. 이때, r=Xcos(θ)+Ysin(θ)라는 공식이 성립하고, 이를 이용하여, r을 구할 수 있다.
도 10의 (d)에 도시된 바와 같이, 제1 주차선이 차량에 가려, 트래킹되지 않고, 제2 주차선만 트래킹 되는 경우, 주차선 생성부(241)는 선간 간격 결정부(224)에서 결정된 선간 간격 및 주차선의 각도(θ)를 기반으로 제1 주차선을 생성할 수 있다. 예를 들어, 제1 주차선과 제2 주차선은 서로 평행하므로, 주차선 생성부(241)는 제2 주차선의 각도(θb)를 제1 주차선의 각도(θa)로 볼 수 있다. 주차선 생성부(241)는 제2 주차선까지의 거리(rb)에서 선간 간격을 빼 제1 주차선까지의 거리(ra)를 구할 수 있다. 주차선 생성부(241)는 상기 제1 주차선 각도(θa) 및 제1 주차선까지의 거리(ra)를 기반으로, 가상의 제1 주차선을 생성할 수 있다. 영상 적용부(242)는 가상의 제1 주차선을 어라운드 뷰 화면에 적용한다.
본 실시예에서 제2 주차선을 기준으로 제1 주차선을 예측하는 동작을 설명하였으나, 제1 주차선을 기준으로 제2 주차선을 예측하는 동작도 같은 원리에 의해 이루어질 수 있다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : AVM 장치
110 : 카메라 모듈
111 : 제1 카메라
112 : 제2 카메라
113 : 제3 카메라
114 : 제4 카메라
120 : 메모리
130 : 디스플레이부
200 : 제어부
210 : 영상 합성부
221 : 영상 변환부
222 : 탑햇 필터부
223 : 주차선 인식부
224 : 선간 간격 결정부
220 : 검출부
230 : 트래킹부
240 : 예측부
241 : 주차선 생성부
242 : 영상 적용부

Claims (20)

  1. 차량 주변의 복수의 영상을 획득하는 카메라 모듈;
    어라운드 뷰 영상을 표시하는 디스플레이부; 및
    상기 복수의 영상을 합성하여 어라운드 뷰 영상을 생성하고, 상기 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선을 검출하고, 검출된 상기 제1 및 제2 주차선을 트래킹하고, 상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 가상의 주차선을 생성하여 상기 디스플레이부에 어라운드 뷰 영상이 출력되도록 제어하는 제어부;를 포함하고,
    상기 제어부는,
    상기 복수의 영상을 합성하여 어라운드 뷰 영상을 생성하는 영상 합성부;
    상기 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선을 검출하는 검출부;
    상기 제1 주차선 및 제2 주차선을 트래킹하는 트래킹부; 및
    상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 가상의 주차선을 생성하는 예측부;를 포함하고,
    상기 검출부는,
    상기 제1 및 제2 주차선의 선간 간격을 결정하는 선간 간격 결정부;를 포함하는 AVM(Around View Monitoring) 장치.
  2. 제 1항에 있어서,
    룩업 테이블을 저장하는 메모리;를 더 포함하고,
    상기 제어부는, 상기 룩업 테이블을 이용하여 상기 어라운드 뷰 영상을 생성하는 AVM 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 검출부는,
    상기 어라운드 뷰 영상을 그레이스케일(grayscale) 영상으로 변환하는 영상 변환부;
    상기 그레이스케일(grayscale) 영상의 조도 편차를 이용하여 복수의 특징점을 추출하는 탑햇 필터부; 및
    상기 복수의 특징점에 대한 선 성분을 추출하여, 상기 제1 및 제2 주차선을 인식하는 주차선 인식부; 를 포함하는 AVM 장치.
  5. 삭제
  6. 제 1항에 있어서,
    상기 예측부는
    상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 트래킹되지 않는 가상의 주차선을 생성하는 주차선 생성부; 및
    상기 주차선 생성부에서 생성된 가상의 주차선을 상기 어라운드 뷰 영상에 적용하는 영상 적용부;를 포함하는 AVM 장치.
  7. 제 1항에 있어서,
    상기 예측부는
    상기 제1 주차선이 트래킹되지 않는 경우, 상기 제2 주차선 및 상기 선간 간격을 기초로 상기 제1 주차선을 예측하는 AVM 장치.
  8. 제 1항에 있어서,
    상기 검출부는,
    상기 제1 및 제2 주차선의 선간 간격을 결정하는 선간 간격 결정부;를 포함하고,
    상기 예측부는,
    상기 제2 주차선이 트래킹되지 않는 경우, 상기 제1 주차선 및 상기 선간 간격을 기초로 상기 제2 주차선을 예측하는 AVM 장치.
  9. 제 1항에 있어서,
    상기 트래킹부는,
    이전영상 및 현재 영상에서 제1 및 제2 주차선의 각도차 또는 거리차를 기준으로 상기 제1 및 제2 주차선을 트래킹하는 AVM 장치.
  10. 제 1항에 있어서,
    상기 카메라 모듈은,
    상기 차량의 전방에 위치하여 상기 전방 주변 영상을 획득하는 제1 카메라;
    상기 차량의 후방에 위치하여 상기 후방 주변 영상을 획득하는 제2 카메라;
    상기 차량의 좌측방에 위치하여 상기 좌측방 주변 영상을 획득하는 제3 카메라; 및
    상기 차량의 우측방에 위치하여 상기 우측방 주변 영상을 획득하는 제4 카메라;를 포함하는 AVM 장치.
  11. 제 1항에 있어서,
    상기 디스플레이부는,
    상기 차량에 장착된 AVN(Aoudio Video Navigation)모듈인 AVM 장치.
  12. 제 1항, 제 2항, 제 4항, 제 6항, 제 7항, 제 8항, 제 9항, 제 10항 및 제 11항 중 어느 하나의 항에 기재된 AVM 장치를 포함하는 자동차.
  13. 차량 주변의 복수의 영상을 획득하는 단계;
    상기 복수의 영상을 합성하여 어라운드 뷰 영상을 생성하는 단계;
    상기 어라운드 뷰 영상에서 제1 주차선 및 제2 주차선을 검출하는 단계;
    상기 제1 및 제2 주차선을 트래킹하는 단계;
    상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 가상의 주차선을 예측하는 단계; 및
    상기 가상의 주차선이 포함된 AVM 을 표시하는 단계;를 포함하고,
    상기 검출하는 단계는,
    상기 어라운드 뷰 영상을 그레이스케일(grayscale) 영상으로 변환하는 단계;
    상기 그레이스케일(grayscale) 영상의 조도 편차를 이용하여 복수의 특징점을 추출하는 단계; 및
    상기 복수의 특징점에 대한 선 성분을 추출하여, 상기 제1 및 제2 주차선을 인식하는 단계;를 포함하고,
    상기 검출하는 단계는,
    상기 제1 및 제2 주차선의 선간 간격을 결정하는 단계;를 더 포함하는 AVM 장치의 동작 방법.
  14. 제 13항에 있어서,
    상기 생성하는 단계는,
    메모리에 저장된 룩업 테이블을 이용하여 상기 어라운드 뷰 영상을 생성하는 AVM 장치의 동작 방법.
  15. 삭제
  16. 삭제
  17. 제 13항에 있어서,
    상기 예측하는 단계는,
    상기 제1 및 제2 주차선 중 어느 하나가 트래킹되지 않는 경우, 트래킹되지 않는 가상의 주차선을 생성하는 단계; 및
    상기 생성된 가상의 주차선을 상기 어라운드 뷰 영상에 적용하는 단계를 포함하는 AVM 장치의 동작 방법.
  18. 제 13항에 있어서,
    상기 예측하는 단계는,
    상기 제1 주차선이 트래킹되지 않는 경우, 상기 제2 주차선 및 선간 간격을 기초로 상기 제1 주차선을 예측하는 AVM 장치의 동작 방법.
  19. 제 13항에 있어서,
    상기 예측하는 단계는,
    상기 제2 주차선이 트래킹되지 않는 경우, 상기 제2 주차선 및 상기 선간 간격을 기초로 상기 제1 주차선을 예측하는 AVM 장치의 동작 방법.
  20. 제 13항에 있어서,
    상기 트래킹하는 단계는,
    이전 영상 및 현재 영상에서 제1 및 제2 주차선의 각도차 또는 거리차를 기준으로 상기 제1 및 제2 주차선을 트래킹하는 AVM 장치의 동작 방법.
KR1020140100002A 2014-08-04 2014-08-04 Avm 장치 및 방법 KR101566912B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140100002A KR101566912B1 (ko) 2014-08-04 2014-08-04 Avm 장치 및 방법
CN201410612933.6A CN105313775B (zh) 2014-08-04 2014-11-04 全景式监控影像装置及其方法
DE102014116362.1A DE102014116362B3 (de) 2014-08-04 2014-11-10 Rundumsicht-Überwachungsvorrichtung und Verfahren dafür
US14/538,491 US9864915B2 (en) 2014-08-04 2014-11-11 Around view monitoring apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140100002A KR101566912B1 (ko) 2014-08-04 2014-08-04 Avm 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101566912B1 true KR101566912B1 (ko) 2015-11-13

Family

ID=54432039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140100002A KR101566912B1 (ko) 2014-08-04 2014-08-04 Avm 장치 및 방법

Country Status (4)

Country Link
US (1) US9864915B2 (ko)
KR (1) KR101566912B1 (ko)
CN (1) CN105313775B (ko)
DE (1) DE102014116362B3 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124299A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528914B (zh) * 2014-10-17 2018-12-28 现代摩比斯株式会社 驾驶者支援装置以及驾驶者支援方法
JP6545108B2 (ja) * 2016-01-14 2019-07-17 アルパイン株式会社 駐車支援装置および駐車支援方法
CN105922936A (zh) * 2016-05-16 2016-09-07 乐视控股（北京）有限公司 一种车载摄像装置及车辆
CN105922937A (zh) * 2016-05-16 2016-09-07 乐视控股（北京）有限公司 一种车载摄像装置及车辆
CN106314441A (zh) * 2016-09-29 2017-01-11 陆睿得 一种基于全景地图的导航系统设备
CN107745677A (zh) * 2017-09-30 2018-03-02 东南（福建）汽车工业有限公司 一种基于3d全景影像系统的4d车底透明系统的方法
KR102177878B1 (ko) * 2019-03-11 2020-11-12 현대모비스 주식회사 영상 처리 장치 및 방법
US10867192B1 (en) * 2019-08-06 2020-12-15 Black Sesame International Holding Limited Real-time robust surround view parking space detection and tracking
JP2021062728A (ja) * 2019-10-11 2021-04-22 アイシン精機株式会社 駐車支援装置
JP7466324B2 (ja) 2020-02-12 2024-04-12 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
KR102406320B1 (ko) * 2020-11-25 2022-06-10 현대모비스 주식회사 자율 주차를 위한 주차 영역을 인식하기 위한 장치 및 그에 관한 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200240A (ja) * 2009-02-27 2010-09-09 Hyundai Motor Co Ltd 車両周囲俯瞰画像表示装置及び方法
JP2014106731A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100566406C (zh) * 2005-02-15 2009-12-02 松下电器产业株式会社 周边监视装置和周边监视方法
JP4769625B2 (ja) * 2006-04-25 2011-09-07 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
KR101143176B1 (ko) 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
JP5294638B2 (ja) * 2008-01-08 2013-09-18 アルパイン株式会社 車載用電子システム
JP2009292339A (ja) * 2008-06-05 2009-12-17 Aisin Seiki Co Ltd 駐車支援装置
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
KR101763775B1 (ko) 2011-09-09 2017-08-01 현대모비스 주식회사 Ａｖｍ시스템 정보와 ａｖｎ시스템 정보의 표시 방법
KR20130050682A (ko) 2011-11-08 2013-05-16 현대자동차주식회사 주차 지원 장치
JP6328369B2 (ja) * 2012-11-27 2018-05-23 クラリオン株式会社 車載用制御装置
KR101438941B1 (ko) * 2012-12-11 2014-11-03 현대자동차주식회사 주차 지원 제어 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200240A (ja) * 2009-02-27 2010-09-09 Hyundai Motor Co Ltd 車両周囲俯瞰画像表示装置及び方法
JP2014106731A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124299A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법
KR102485480B1 (ko) * 2016-05-02 2023-01-05 현대모비스 주식회사 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법

Also Published As

Publication number Publication date
DE102014116362B3 (de) 2015-11-26
US20160034768A1 (en) 2016-02-04
US9864915B2 (en) 2018-01-09
CN105313775B (zh) 2018-01-30
CN105313775A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
KR101566912B1 (ko) Avm 장치 및 방법
KR101498976B1 (ko) 차량용 주차지원시스템 및 주차지원방법
US10369989B2 (en) Parking assistance system and method for controlling the same
JP5729158B2 (ja) 駐車支援装置および駐車支援方法
US9493120B2 (en) Image generator
EP1974998B1 (en) Driving support method and driving support apparatus
US8330816B2 (en) Image processing device
KR101417399B1 (ko) 차량의 주차 위치 표시 장치 및 방법
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
TW201945757A (zh) 距離測量處理設備，距離測量模組，距離測量處理方法及程式
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
WO2005107261A1 (ja) 車両周囲表示装置
JP6586849B2 (ja) 情報表示装置及び情報表示方法
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2002319091A (ja) 後続車両認識装置
JP2004240480A (ja) 運転支援装置
JP2010028432A (ja) 駐車支援装置および画像表示方法
KR102268641B1 (ko) 어라운드 뷰 시스템 및 그 동작방법
JPWO2014156166A1 (ja) 駐車支援システムおよび駐車支援方法
KR20130015326A (ko) 카메라 시스템 및 이를 이용한 거리 인식 방법
TW201945758A (zh) 測距處理裝置，測距模組，測距處理方法及程式
JP2009186301A (ja) 車両用物体検出装置
JP2006160193A (ja) 車両運転支援装置
JP2014235639A (ja) 車両表示装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181029

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 5