KR20220089787A - 차량용 카메라 및 이를 구비한 주차보조 장치 - Google Patents

차량용 카메라 및 이를 구비한 주차보조 장치 Download PDF

Info

Publication number
KR20220089787A
KR20220089787A KR1020200179860A KR20200179860A KR20220089787A KR 20220089787 A KR20220089787 A KR 20220089787A KR 1020200179860 A KR1020200179860 A KR 1020200179860A KR 20200179860 A KR20200179860 A KR 20200179860A KR 20220089787 A KR20220089787 A KR 20220089787A
Authority
KR
South Korea
Prior art keywords
vehicle
parking
camera
infrared
depth
Prior art date
Application number
KR1020200179860A
Other languages
English (en)
Inventor
이원무
강태훈
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200179860A priority Critical patent/KR20220089787A/ko
Priority to US17/501,913 priority patent/US11816904B2/en
Publication of KR20220089787A publication Critical patent/KR20220089787A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/08—Waterproof bodies or housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers

Abstract

차량용 카메라 및 이를 구비한 주차보조 장치를 개시한다.
본 개시의 일 실시예에 의하면, 복수의 렌즈가 렌즈배럴(lens barrel)에 조립된 렌즈 모듈(lens module); 렌즈 모듈을 통과하여 입사된 빛을 전기적 신호로 변환하도록 구성된 이미지센서(image sensor)를 포함하는 회로기판(circuit board); 전방에 렌즈 모듈이 조립되고, 후방에 회로기판이 조립되도록 구성된 전방하우징(front housing); 전방하우징의 후방에 결합되어, 회로기판을 둘러싸도록 구성된 후방하우징(rear housing); 렌즈 모듈의 적어도 일부를 감싸도록 중공형(hollow type)으로 구성되고, 적외선이 통과할 수 있도록 구성된 적어도 하나의 적외선 통과부(infrared passing portion)를 구비한 외부커버(outer cover); 및 외부커버의 내부에 포함되고, 전방하우징의 전방에 조립되어 적외선 통과부를 이용하여 차량 주변의 장애물 감지를 위한 깊이영상(depth map)을 촬영하도록 구성된 깊이카메라 모듈(depth camera module)을 포함하는 것을 특징으로 하는 차량용 카메라를 제공한다.

Description

차량용 카메라 및 이를 구비한 주차보조 장치{Camera for Vehicle And Parking Assistance Apparatus Having the Same}
본 개시는 차량용 카메라 및 이를 구비한 주차보조 장치에 관한 것이다. 더욱 상세하게는, 깊이카메라(depth camera)를 이용한 차량용 카메라 및 이를 구비한 주차보조장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 개시에 대한 배경정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
차량을 이용하는 운전자의 안전 및 편의를 증대하기 위해, 차량에 각종 센서(sensor)와 전자장치(electronic device) 등을 접목시키는 기술에 대한 개발이 가속화되고 있는 추세이다. 이에 따라, 운전자의 개입 없이, 차량 스스로 도로를 주행할 수 있는 자율주행이 가능하게 되었다.
한편, 자율주행 중에서도 운전자의 상당수가 어려움을 겪는 주차를 자동으로 수행하는 자동주차 기술에 대한 관심도 높아지고 있다. 자동주차를 지원하기 위해서 일반적으로는 카메라(camera)의 영상 또는 초음파 센서(ultrasonic wave sensor)를 이용하여 차량 주변의 주차 가능 공간을 탐색하고, 탐색된 주차공간을 운전자에게 안내한다.
초음파 센서를 이용하는 경우, 방출된 초음파가 장애물에 물체에 부딪혀 다시 돌아오는 데 걸리는 왕복시간으로부터 차간거리를 측정하는 방법이 사용되며, 카메라의 영상을 이용하는 경우, 차량의 주변을 촬영하는 다수의 카메라로부터 서라운드 뷰(surround view)를 기초로 주차공간을 인식하는 방법이 사용된다.
다만, 초음파를 이용하여 자동주차를 하는 경우, 차간거리는 용이하게 측정할 수 있으나, 차선을 정확하게 인식하기 어려워 올바른 주차가 이루어지기 어렵다. 또한, 카메라의 영상을 이용하여 자동주차를 하는 경우에도, 2D(Dimension) 기반으로 공간을 감지하기 때문에 주차 공간 안에 3D 장애물이 있는 경우, 이를 감지하기 어렵다는 문제가 있다.
이에, 본 개시는 이러한 문제점들을 해결하기 위한 것으로서, 기존 차량의 카메라 장착 공간을 그대로 활용하면서, 깊이카메라를 이용하여 주차공간 인식은 물론 주차공간 내 장애물을 보다 정확하게 감지하는 차량용 카메라 및 이를 구비한 주차보조 장치를 제공하는 데 주된 목적이 있다.
이러한 목적을 달성하기 위한 본 개시의 일 실시예에 의하면, 복수의 렌즈가 렌즈배럴(lens barrel)에 조립된 렌즈 모듈(lens module); 상기 렌즈 모듈을 통과하여 입사된 빛을 전기적 신호로 변환하도록 구성된 이미지센서(image sensor)를 포함하는 회로기판(circuit board); 전방에 상기 렌즈 모듈이 조립되고, 후방에 상기 회로기판이 조립되도록 구성된 전방하우징(front housing); 상기 전방하우징의 후방에 결합되어, 상기 회로기판을 둘러싸도록 구성된 후방하우징(rear housing); 상기 렌즈 모듈의 적어도 일부를 감싸도록 중공형(hollow type)으로 구성되고, 적외선이 통과할 수 있도록 구성된 적어도 하나의 적외선 통과부(infrared passing portion)를 구비한 외부커버(outer cover); 및 상기 외부커버의 내부에 포함되고, 상기 전방하우징의 전방에 조립되어 상기 적외선 통과부를 이용하여 차량 주변의 장애물 감지를 위한 깊이영상(depth map)을 촬영하도록 구성된 깊이카메라 모듈(depth camera module)을 포함하는 것을 특징으로 하는 차량용 카메라를 제공한다.
또한, 본 개시의 일 실시예에 따른 차량용 카메라가 차량의 사이드미러(side mirror), 라디에이터 그릴(radiator grill) 및 트렁크(trunk)에 장착되는 것을 특징으로 하는 자동차를 제공한다.
또한, 차량용 카메라를 이용한 주차보조 장치에 있어서, 차량에 장착되어 상기 차량 주변의 공간을 촬영하도록 구성된 복수의 광각카메라(wide angle camera); 상기 차량에 장착되어 상기 차량 주변의 깊이영상을 촬영하도록 구성된 복수의 깊이카메라; 상기 복수의 광각카메라로부터 획득한 서라운드 뷰(surround view) 영상을 기초로 주차선을 식별하여 상기 차량 주변의 주차공간을 검출하는 주차공간 검출부(parking space detection unit); 상기 복수의 깊이카메라로부터 획득한 상기 주차공간 내의 깊이영상을 기초로 상기 차량 주변의 장애물을 감지하는 장애물 감지부(obstacle detection unit); 및 상기 주차공간의 크기 및 장애물 감지여부를 기초로 상기 차량의 주차가 가능한지 여부를 판단하는 주차가능성 판단부(parking availability determining unit)를 포함하는 것을 특징으로 하는 주차보조 장치를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 기존 차량의 카메라 장착 공간을 그대로 활용하면서, 주차공간 인식은 물론 주차공간 내 장애물의 보다 정확한 감지가 가능하여 주차를 보조할 수 있는 효과가 있다.
도 1은 본 개시의 일 실시예에 따른 차량용 카메라의 분해사시도이다.
도 2는 본 개시의 일 실시예에 따른 차량용 카메라의 결합사시도이다.
도 3은 본 개시의 일 실시예에 따른 차량용 카메라의 단면도이다.
도 4는 본 개시의 일 실시예에 따른 차량용 카메라가 사이드미러에 장착된 예를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른 차량용 카메라가 라디에이터 그릴에 장착된 예를 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따른 차량용 카메라가 트렁크에 장착된 예를 나타낸 도면이다.
도 7은 본 개시의 일 실시예에 따른 주차보조 장치의 구성블록도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 이용해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시예에 따른 차량용 카메라의 분해사시도이다.
도 2는 본 개시의 일 실시예에 따른 차량용 카메라의 결합사시도이다.
도 3은 본 개시의 일 실시예에 따른 차량용 카메라의 단면도이다.
도 1 내지 도 3을 참조하면, 본 개시의 일 실시예에 따른 차량용 카메라(camera, 10)는 렌즈 모듈(lens module, 110), 회로기판(circuit board, 180), 전방하우징(front housing, 160), 후방하우징(rear housing, 190), 외부커버(outer cover, 100), 깊이카메라 모듈(depth camera module, 140), 커넥터(connector, 150), 제1 방수부재(first waterproof member, 120) 및 제2 방수부재(second waterproof member, 130)의 전부 또는 일부를 포함한다.
렌즈 모듈(110)은 복수의 렌즈(lens, 미도시)가 렌즈배럴(lens barrel, 미도시)에 조립된 것을 말한다. 이때, 복수의 렌즈는 렌즈배럴에 미리 사전조립되어 있을 수 있다. 또한, 렌즈 모듈(110)이 포함하는 복수의 렌즈는 60°이상의 화각(angle of view)을 갖도록 하는 광각(wide angle)렌즈로 이루어질 수 있다.
복수의 렌즈 각각은 전방에 배치된 제1 렌즈군(first lens group, 미도시) 및 후방에 배치된 제2 렌즈군(second lens group, 미도시)으로 이루어질 수 있고, 이 경우, 제1 렌즈군과 제2 렌즈군의 광축은 일치하는 것이 바람직하다. 한편, 여기서 전방이란, 도 1에서 X 축 방향을 말하고, 후방은 전방의 반대방향을 말하고, 이하에서도 마찬가지이다.
복수의 렌즈가 제1 렌즈군 및 제2 렌즈군으로 이루어지는 경우, 예컨대 제1 렌즈군을 제2 렌즈군에 대해 이동시킴으로써, 카메라의 화각을 변경시킬 수 있다. 다만, 반드시 복수의 렌즈가 제1 렌즈군 및 제2 렌즈군으로 구성되어야만 하는 것은 아니다.
회로기판(180)은 이미지센서(image sensor, 170)를 포함한다. 이미지센서(170)는 회로기판(180) 상에 실장될 수 있으나, 회로기판(180)과 독립적으로 배치되되, 이와 회로적으로 연결될 수 있다. 이미지센서(170)는 렌즈 모듈(110)을 통과하여 입사되는 빛을 전기적 신호로 변환하도록 구성된다. 한편, 회로기판(180)은 복수의 층(layer)을 가지도록 구성될 수 있고, 이미지센서(170)가 실장되는 영역에 각종 데이터라인(data line) 및 층간 연결을 위한 비아홀(via hole, 미도시)이 형성될 수 있다.
전방하우징(160)은 전방에 렌즈 모듈(110)이 조립되고, 후방에 회로기판(180)이 조립되도록 구성된다. 전방하우징(160)의 전방에 렌즈 모듈(110)이 조립되기 위해, 렌즈 모듈(110)의 외주면에는 수나사(male screw)가 형성되고, 전방하우징(160)의 내주면에는 암나사(female screw)가 형성되어 나사결합이 이루어질 수 있으나, 결합방식이 반드시 이에 한정되는 것은 아니다.
후방하우징(190)은 전방하우징(160)의 후방에 결합되어, 회로기판(180)을 둘러싸도록 구성되므로, 회로기판(180) 및 내부 부품을 보호할 수 있다. 또한, 후방하우징(190)은 적어도 하나의 입출력 단자(input-output terminal, 300)를 포함할 수 있고, 입출력 단자(300)를 이용하여 전원을 공급받을 수 있고 다양한 전기적 신호를 송수신할 수도 있다.
외부커버(100)는 렌즈 모듈(110)의 적어도 일부를 감싸도록 중공형(hollow type)으로 구성되고, 적외선이 통과할 수 있도록 구성된 적외선 통과부(infrared passing portion, 105)를 적어도 하나 구비한다. 외부커버(100)가 중공형으로 구성됨으로써, 렌즈 모듈(110)은 전방을 촬영할 수 있으며, 후술할 깊이카메라 모듈(140)도 내부에 포함할 수 있다.
또한, 외부커버(100)는 전방하우징(160)의 전방에 결합될 수 있다. 따라서, 전방에서부터 후방의 방향으로 보았을 때, 외부커버(100), 전방하우징(160) 및 후방하우징(190) 순으로 결합될 수 있다.
외부커버(100), 전방하우징(160) 및 후방하우징(190)이 플라스틱(plastic) 소재로 이루어지는 경우, 전방하우징(160)과 후방하우징(190) 및 전방하우징(160)과 외부커버(100)는 초음파(ultrasonic wave) 또는 레이저(laser)를 이용하여 융착(fusion)결합될 수 있다. 한편, 외부커버(100), 전방하우징(160) 및 후방하우징(190)이 금속(metal) 소재로 이루어지는 경우, 전방하우징(160)과 후방하우징(190) 및 전방하우징(160)과 외부커버(100)는 레이저를 이용하여 용접(welding)결합될 수 있다. 도 3을 참조하면, 위와 같은 결합이 이루어지는 부위는 전방하우징(160)과 후방하우징(190)이 맞닿는 면, 전방하우징(160)과 외부커버(100)가 맞닿는 면이 될 수 있다.
한편, 외부커버(100)는 정면에서 바라보았을 때, 정원(正圓)의 형태를 가지고, 따라서, 기존 차량의 카메라가 장착되는 부위에 외부커버(100)가 장착될 수 있다. 다만, 반드시 외부커버(100)의 정면 형상이 정원(正圓)의 형태여야만 하는 것은 아니며, 차량에 장착되는 부위에 따라 변형될 수 있다.
깊이카메라 모듈(140)은 외부커버(100)의 내부에 포함되고, 전방하우징(160)의 전방에 조립되어 적외선 통과부(105)를 이용하여 차량 주변의 장애물 감지를 위한 깊이영상(depth map)을 촬영하도록 구성된다. 따라서, 깊이카메라 모듈(140)은 전방을 향하도록 배치되는 것이 바람직하다.
깊이카메라 모듈(140)은 예컨대, TOF(Time of Flight) 카메라로 구성될 수 있다. TOF 카메라는 촬영하고자 하는 물체에 적외선을 비추고, 물체에 반사되어 되돌아오는 적외선을 받아 되돌아오는 데 걸리는 시간을 계산함으로써, 물체와의 거리를 측정할 수 있다. 깊이카메라 모듈(140)은 적외선을 이용하여 깊이영상을 촬영하므로, 일반카메라와 달리 야간에도 장애물 감지가 가능하며, 초음파를 이용하여 장애물을 감지하는 경우와 비교할 때, 장애물 감지거리가 훨씬 더 길고, 장애물의 크기 및 위치를 보다 정확하게 감지할 수 있다.
깊이카메라 모듈(140)이 TOF 카메라로 구성되는 경우, 깊이카메라 모듈(140)은 적외선 조명부(infrared lighting unit, 142) 및 적외선 수광부(infrared receiving unit, 144)를 포함할 수 있다.
적외선 조명부(142)는 적외선을 조사하도록 구성된다. 이때, 적외선 조사는 전방을 향하여 이루어질 수 있다. 또한, 적외선 조명부(142)는 적외선 LED(Light Emitting Diode)로 이루어질 수 있으나, 적외선의 조사가 가능한 한, 반드시 이에 한정되는 것은 아니다. 한편, 적외선 조명부(142)로부터 조사되는 적외선은 태양광으로부터의 간섭을 줄이기 위해서 약 940 nm의 파장을 가지도록 구성되는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다.
적외선 수광부(144)는 적외선 조명부(142)로부터 조사된 적외선이 물체에 부딪혀 반사되어 돌아오는 적외선을 수광하도록 구성된다. 적외선 수광부(144)는 적외선을 수광하면 전기적 신호를 발생시킬 수 있으며, 이에 따라 적외선이 적외선 조명부(142)로부터 조사되어 적외선 수광부(144)에 되돌아올 때까지의 시간을 측정할 수 있다.
적외선 조명부(142) 및 적외선 수광부(144)를 이용함으로써, 깊이카메라 모듈(140)로부터 획득한 깊이영상은 촬영된 물체표면으로부터의 거리 정보가 담겨 있는 이미지를 나타낼 수 있다. 예컨대, 깊이카메라 모듈(140)로부터 가까이 있는 표면은 밝은 색으로, 깊이카메라 모듈(140)로부터 멀리 있는 표면은 어두운 색으로 표현함으로써, 거리 정보를 나타낼 수 있다. 따라서, 깊이카메라 모듈(140)을 이용하여 차량 주변의 장애물과 장애물까지의 거리 등을 용이하게 감지할 수 있다.
한편, 외부커버(100)에 구비된 적외선 통과부(105)는 깊이카메라 모듈(140)의 적외선 조명부(142) 및 적외선 수광부(144)의 전방에 배치되는 것이 바람직하다. 이때, 적외선 통과부(105)는 도 1과 같이, 관통홀과 같은 형상으로 1개 또는 2개로 구성될 수 있다.
도 1에서 도시된 바와 같이, 적외선 통과부(105)가 2개로 구성되는 경우, 각각의 적외선 통과부(105)는 적외선 조명부(142) 및 적외선 수광부(144)의 위치에 대응되도록 배치되는 것이 바람직하다. 따라서, 깊이카메라 모듈(140)은 외부커버(100)의 내부에서 적외선 통과부(105)를 이용하여 적외선을 조사 및 수광할 수 있다.
커넥터(150)는 깊이카메라 모듈(140) 및 회로기판(180)을 전기적으로 연결시키되, 깊이카메라 모듈(140)의 위치를 고정시키도록 구성된다. 커넥터(150)를 이용하여 깊이카메라 모듈(140)이 촬영한 깊이영상은 회로기판(180)에 전달될 수 있고, 또한, 외부커버(100)의 내부에서 깊이카메라 모듈(140)이 이동되는 것을 방지할 수 있다.
제1 방수부재(120)는 렌즈 모듈(110) 및 외부커버(100)가 조립되는 공간 사이가 수밀(watertight)되도록 구성된다. 제2 방수부재(130)는 렌즈 모듈(110) 및 전방하우징(160)이 조립되는 공간 사이가 수밀되도록 구성된다.
제1 방수부재(120)는 렌즈 모듈(110) 및 외부커버(100)가 조립되는 경우 압축되고, 제2 방수부재(130)는 렌즈 모듈(110) 및 전방하우징(160)이 조립되는 경우 압축된다. 제1 방수부재(120) 및 제2 방수부재(130)는 조립과 동시에 압축됨으로써, 조립되는 공간 사이가 수밀되도록, 즉 유체가 새어나가거나 새어들어오는 것을 방지할 수 있다. 한편, 제1 방수부재(120) 및 제2 방수부재(130)는 예컨대, 오링(O-ring) 또는 개스킷(gasket)이 될 수 있으나, 반드시 이에 한정되는 것은 아니다.
본 개시의 일 실시예에 따른 차량용 카메라(10)는 위와 같은 구성을 포함함으로써, 광각카메라와 깊이카메라가 일체형으로 구성되어 하나의 모듈을 형성할 수 있다. 따라서, 본 개시의 일 실시예에 따른 차량용 카메라(10)는 광각카메라를 이용하여 차량 주변의 주차공간을 파악할 수 있을 뿐만 아니라, 깊이카메라를 이용하여 차량 주변공간에 대한 장애물을 보다 정확하게 감지할 수 있다. 이하에서는, 본 개시의 일 실시예에 따른 차량용 카메라(10)가 차량에 장착되는 예를 설명한다.
도 4는 본 개시의 일 실시예에 따른 차량용 카메라가 사이드미러에 장착된 예를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른 차량용 카메라가 라디에이터 그릴에 장착된 예를 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따른 차량용 카메라가 트렁크에 장착된 예를 나타낸 도면이다.
도 4를 참조하면, 본 개시의 일 실시예에 따른 차량용 카메라(10)는 차량의 사이드미러(side mirror, 400)의 하부에 장착될 수 있다. 이때, 본 개시의 일 실시예에 따른 차량용 카메라(10)의 지향각(beam angle)
Figure pat00001
은 약 45°가 될 수 있으며, 수직화각(vertical angle of view)
Figure pat00002
은 130°~ 160°가 될 수 있다.
도 5를 참조하면, 본 개시의 일 실시예에 따른 차량용 카메라(10)는 차량의 라디에이터 그릴(radiator grill, 500)의 빈 공간에 장착될 수 있다. 이때, 본 개시의 일 실시예에 따른 차량용 카메라(10)의 지향각
Figure pat00003
은 약 75°가 될 수 있으며, 수직화각
Figure pat00004
은 138°~ 160°가 될 수 있다.
도 6을 참조하면, 본 개시의 일 실시예에 따른 차량용 카메라(10)는 차량의 트렁크(trunk, 600)에 장착될 수 있다. 이때, 본 개시의 일 실시예에 따른 차량용 카메라(10)의 지향각
Figure pat00005
은 약 75°가 될 수 있으며, 수직화각
Figure pat00006
은 138°~ 160°가 될 수 있다.
본 개시의 일 실시예에 따른 차량용 카메라(10)는 위와 같이, 기존 차량에서 광각카메라가 배치되는 부위를 변형시킬 필요 없이 그대로 장착시킬 수 있으므로, 별도의 비용을 소모하지 않을 수 있다.
도 7은 본 개시의 일 실시예에 따른 주차보조 장치의 구성블록도이다.
도 7을 참조하면, 본 개시의 일 실시예에 따른 주차보조 장치는 광각카메라(wide angle camera, 700), 깊이카메라(depth camera, 710), 서라운드 뷰 생성부(surround view generation unit, 720), 깊이영상 생성부(depth map generation unit, 730), 주차공간 검출부(parking space detection unit, 740), 장애물 감지부(obstacle detection unit, 750), 주차가능성 판단부(parking availability determining unit, 760), 디스플레이부(display unit, 770) 및 알람부(alarm unit, 780)의 전부 또는 일부를 포함한다.
광각카메라(700)는 차량에 장착되어 차량 주변의 공간을 촬영하도록 구성된다. 광각카메라(700)는 복수 개로 구성되어 차량에 장착될 수 있고, 복수의 광각카메라(700)가 차량 주변의 공간을 촬영함으로써, 주차공간을 검출할 수 있다.
광각카메라(700)는 렌즈 모듈(lens module, 도 1의 110) 및 회로기판(circuit board, 도 1의 180)을 포함할 수 있고, 렌즈 모듈은 복수의 렌즈(lens, 미도시)가 렌즈배럴(lens barrel, 미도시)에 조립된 것을 말한다. 한편, 회로기판은 렌즈 모듈을 통과하여 입사되는 빛을 전기적 신호로 변환하도록 구성된 이미지센서(image sensor, 도 1의 170)를 포함할 수 있다.
깊이카메라(710)는 차량에 장착되어 차량 주변의 깊이영상을 촬영하도록 구성된다. 깊이카메라(710)는 복수 개로 구성되어 차량에 장착될 수 있고, 복수의 깊이카메라(710)가 차량 주변의 깊이영상을 촬영함으로써, 장애물을 감지할 수 있다.
깊이카메라(710)는 예컨대, TOF(Time of Flight) 카메라로 구성될 수 있고, TOF 카메라는 촬영하고자 하는 물체에 적외선을 비추고, 물체에 반사되어 되돌아오는 적외선을 받아 되돌아오는 데 걸리는 시간을 계산함으로써, 물체와의 거리를 측정할 수 있다. 깊이카메라(710)는 적외선을 이용하여 깊이영상을 촬영하므로, 일반카메라와 달리 야간에도 장애물 감지가 가능하며, 초음파를 이용하여 장애물을 감지하는 경우와 비교할 때, 장애물 감지거리가 훨씬 더 길고, 장애물의 크기 및 위치를 보다 정확하게 감지할 수 있다.
깊이카메라(710)가 TOF 카메라로 구성되는 경우, 깊이카메라(710)는 적외선 조명부(infrared lighting unit, 도 1의 142) 및 적외선 수광부(infrared receiving unit, 도 1의 144)를 포함할 수 있다.
적외선 조명부(142)는 적외선을 조사하도록 구성된다. 이때, 적외선 조사는 전방을 향하여 이루어질 수 있다. 적외선 조명부(142)는 적외선 LED(Light Emitting Diode)로 이루어질 수 있으나, 적외선의 조사가 가능한 한, 반드시 이에 한정되는 것은 아니다. 한편, 적외선 조명부(142)로부터 조사되는 적외선은 태양광으로부터의 간섭을 줄이기 위해서 약 940 nm의 파장을 가지도록 구성되는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다.
적외선 수광부(144)는 적외선 조명부(142)로부터 조사된 적외선이 물체에 부딪혀 반사되어 돌아오는 적외선을 수광하도록 구성된다. 적외선 수광부(144)는 적외선을 수광하면 전기적 신호를 발생시킬 수 있으며, 이에 따라 적외선이 적외선 조명부(142)로부터 조사되어 적외선 수광부(144)에 되돌아올 때까지의 시간을 측정할 수 있다.
한편, 도 2에서 도시된 바와 같이, 깊이카메라(710)와 광각카메라(700)는 일체형으로 구성되어 하나의 모듈을 형성할 수 있다. 이 경우, 깊이카메라(710) 및 광각카메라(700)를 포함하는 모듈은, 예컨대 차량의 사이드미러(side mirror), 라디에이터 그릴(radiator grill), 트렁크(trunk) 등에 장착될 수 있다. 이때, 깊이카메라(710) 및 광각카메라(700)를 포함하는 모듈은 기존 차량의 카메라가 장착되는 부위에 그대로 장착될 수 있도록 구성되는 것이 바람직하다.
서라운드 뷰 생성부(720)는 복수의 광각카메라(700)로부터 촬영된 영상을 합성 및 신호처리하여 서라운드 뷰 영상을 생성한다. 복수의 광각카메라(700)는 각각 차량의 사이드미러, 라디에이터 그릴, 트렁크 등에 장착된 것일 수 있으며, 이때 서라운드 뷰 이미지는 가상의 시점, 예컨대 상공에서 차량을 바라보는 시점에 해당하는 이미지가 될 수 있다.
깊이영상 생성부(730)는 깊이카메라(710)가 촬영하는 이미지를 이용하여 3D 입체영상인 깊이영상을 생성한다. 깊이영상은 촬영된 물체표면으로부터의 거리 정보가 담겨있는 이미지를 나타낼 수 있다. 예컨대, 깊이카메라(710)로부터 가까이 있는 표면은 밝은 색으로, 깊이카메라(710)로부터 멀리 있는 표면은 어두운 색으로 표현함으로써, 거리 정보를 나타낼 수 있다. 따라서, 깊이카메라(710)를 이용하여 차량 주변의 장애물과 장애물까지의 거리 등을 용이하게 감지할 수 있다. 또한, 깊이카메라(710)를 이용하여 장애물을 감지할 수 있을 뿐만 아니라 씽크홀(sink hole)의 유무도 감지할 수 있다.
주차공간 검출부(740)는 복수의 광각카메라(700)로부터 획득한 서라운드 뷰 영상을 기초로 주차선을 식별하여 차량 주변의 주차공간을 검출한다. 여기서, 주차공간은 지면 상에 존재하는 직사각형의 공간을 의미하고, 직사각형의 공간은 주차선 내부에 있는 공간을 말한다. 이때, 직사각형의 공간은, 서라운드 뷰 영상 내에서 주차선을 식별하고, 식별된 주차선들이 교차하는 4개의 지점을 기초로 검출될 수 있다.
주차공간의 검출을 위해, 주차공간 검출부(740)는 윤곽선 추출부(contour extraction unit, 742) 및 주차선 식별부(parking line detection unit, 744)를 포함할 수 있다.
또한, 도 7에는 도시되어 있지는 않으나, 주차공간 검출부(740)는, 3D 입체영상을 2D 이미지로 변환하는 과정에서 왜곡되어 보일 수 있는 곡선을 직선으로 보정하기 위한 왜곡보정부(distortion correction unit, 미도시)를 더 포함할 수 있다.
윤곽선 추출부(742)는 주차공간에 대한 윤곽선을 추출한다. 예컨대, 왜곡보정부에 의해서 보정된 이미지로부터 예컨대, 캐니 윤곽선 검출방법(Canny edge detection method)을 이용하여 차량 및 주차선에 대한 윤곽을 추출할 수 있다.
주차선 식별부(744)는 윤곽선 추출부(742)가 추출한 윤곽선의 내부에 대해서 예컨대, 허프변환(Hough transform)을 적용하여 주차선을 식별한다. 허프변환은 영상 이미지 내에서 직선을 찾기 위한 알고리즘 중 하나이며, 이를 이용하여 윤곽선 내부의 직선을 추출할 수 있고, 추출된 직선을 주차선으로 식별할 수 있다.
장애물 감지부(750)는 복수의 깊이카메라(710)로부터 획득한 주차공간 내의 깊이영상을 기초로 차량 주변의 장애물을 감지한다. 즉, 주차공간 검출부(740)가 검출한 주차공간 내부에 장애물이 있는 경우, 깊이영상에서 장애물이 있는 부분의 색상이 주변과 다르게 나타나게 되고, 장애물 감지부(750)는 이를 기초로 주차공간 내의 장애물 유무를 감지할 수 있다. 또한, 장애물 감지부(750)는 위와 같은 방식으로 씽크홀 유무를 감지할 수도 있다.
장애물 감지를 위해, 장애물 감지부(750)는 히스토그램 계산부(histogram calculation unit, 752) 및 화소비교부(pixel comparison unit, 754)를 포함할 수 있다.
히스토그램 계산부(752)는 주차공간 내의 깊이영상에 대한 히스토그램을 계산한다. 예컨대, 히스토그램 계산부(752)는 주차공간을 일정 간격으로 분할하여 분할구역마다 픽셀값에 대한 히스토그램을 계산하고, 분할구역 간에 히스토그램의 차이가 얼마나 나는지 등을 계산할 수 있다. 이러한 히스토그램의 차이를 기초로 장애물 감지부(750)는 주차공간 내에 존재하는 장애물(obstacle)을 감지할 수 있다.
화소비교부(754)는 주차공간 내의 깊이영상에 대한 수직 및 수평 스캐닝(scanning)을 이용하여 이웃한 픽셀 간의 유사성을 비교한다. 예컨대, 깊이영상 내에 장애물이 있는 경우, 장애물이 있는 영역의 픽셀은 이웃한 픽셀과 비교했을 때, 큰 차이가 나타나게 되고, 픽셀값을 수직 및 수평 스캐닝함으로써, 이러한 큰 차이를 파악할 수 있다. 따라서, 장애물 감지부(750)는 이웃한 픽셀 간의 유사성을 기초로 주차공간 내의 장애물을 감지할 수 있다.
주차가능성 판단부(760)는 주차공간의 크기 및 장애물 감지여부를 기초로 차량의 주차가 가능한지 여부를 판단한다.
주차가능성 판단부(760)는 우선 주차공간 검출부(740)가 검출한 주차공간의 크기가 차량의 주차가 가능한 크기인지 여부를 판단한다. 따라서, 주차가능성 판단부(760)에는 운전자가 탑승한 차량의 크기에 대한 정보가 저장되어 있을 수 있으며, 이에 따라 주차공간 검출부(740)에 의해 검출된 직사각형의 주차공간이 차량의 크기에 비해 충분히 크지 못한 경우, 주차가 불가능하다고 판단할 수 있다.
또한, 주차가능성 판단부(760)는 장애물 감지부(750)가 장애물을 감지하였는지 여부에 따라 검출된 주차공간이 주차가 가능한 영역인지를 판단할 수 있다. 예컨대, 주차공간의 크기가 주차하고자 하는 차량의 크기에 비해 충분히 큰 경우라도, 주차공간 내에 장애물이 있거나 씽크홀이 존재하는 경우, 주차가 불가능할 수 있으므로 이 경우, 주차가능성 판단부(760)는 주차가 불가능한 영역이라고 판단할 수 있다.
다만, 주차가능성 판단부(760)는 장애물 감지부(750)에 의해 감지된 장애물 및/또는 씽크홀이 감지된 경우에도, 장애물 및/또는 씽크홀의 위치가 예컨대, 주차공간의 가장자리에 존재하여, 장애물 및/또는 씽크홀의 존재에도 불구하고 충분한 주차공간이 확보되는 경우, 주차가 가능한 영역이라고 판단할 수도 있다. 이때, 장애물 및/또는 씽크홀의 위치는 히스토그램 계산부(752) 및 화소비교부(754)의 계산 및 비교를 기초로 판단할 수 있다.
디스플레이부(770)는 차량 내부에 구비되어, 주차가능성 판단부(760)가 주차가 가능하다고 판단한 경우, 운전자에게 주차가능 표시를 하도록 구성된다. 디스플레이부(770)는 차량의 클러스터(cluster), 센터페시아(center fascia) 등에 구비될 수 있으나, 운전자가 주차가능 표시를 볼 수 있는 한, 반드시 위와 같은 위치에 한정되는 것은 아니다.
알람부(780)는 차량 내부에 구비되어, 주차가능성 판단부(760)가 주차가 가능하다고 판단한 경우, 운전자에게 주차가능 알림을 울리도록 구성된다.
본 개시의 일 실시예에 따른 주차보조 장치는 차량용 카메라를 이용하고, 위와 같은 구성을 포함함으로써, 주차공간 인식은 물론 주차공간 내 장애물 감지를 보다 정확하게 하여 주차를 보조할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 차량용 카메라 100: 외부커버
105: 적외선 통과부 110: 렌즈 모듈
120: 제1 방수부재 130: 제2 방수부재
140: 깊이카메라 모듈 142: 적외선 조명부
144: 적외선 수광부 150: 커넥터
160: 전방하우징 170: 이미지센서
180: 회로기판 190: 후방하우징
300: 입출력 단자 400: 사이드미러
500: 라디에이터 그릴 600: 트렁크
700: 광각카메라 710: 깊이카메라
720: 서라운드 뷰 생성부 730: 깊이영상 생성부
740: 주차공간 검출부 742: 윤곽선 추출부
744: 주차선 식별부 750: 장애물 감지부
752: 히스토그램 계산부 754: 화소비교부
760: 주차가능성 판단부 770: 디스플레이부
780: 알람부

Claims (16)

  1. 복수의 렌즈가 렌즈배럴(lens barrel)에 조립된 렌즈 모듈(lens module);
    상기 렌즈 모듈을 통과하여 입사된 빛을 전기적 신호로 변환하도록 구성된 이미지센서(image sensor)를 포함하는 회로기판(circuit board);
    전방에 상기 렌즈 모듈이 조립되고, 후방에 상기 회로기판이 조립되도록 구성된 전방하우징(front housing);
    상기 전방하우징의 후방에 결합되어, 상기 회로기판을 둘러싸도록 구성된 후방하우징(rear housing);
    상기 렌즈 모듈의 적어도 일부를 감싸도록 중공형(hollow type)으로 구성되고, 적외선이 통과할 수 있도록 구성된 적어도 하나의 적외선 통과부(infrared passing portion)를 구비한 외부커버(outer cover); 및
    상기 외부커버의 내부에 포함되고, 상기 전방하우징의 전방에 조립되어 상기 적외선 통과부를 이용하여 차량 주변의 장애물 감지를 위한 깊이영상(depth map)을 촬영하도록 구성된 깊이카메라 모듈(depth camera module)
    을 포함하는 것을 특징으로 하는 차량용 카메라.
  2. 제 1항에 있어서,
    상기 깊이카메라 모듈 및 상기 회로기판을 전기적으로 연결시키되, 상기 깊이카메라 모듈의 위치를 고정시키도록 구성된 커넥터(connector)를 더 포함하는 것을 특징으로 하는 차량용 카메라.
  3. 제 1항에 있어서,
    상기 렌즈 모듈 및 상기 외부커버가 조립되는 공간 사이가 수밀되도록 구성된 제1 방수부재(first waterproof member)를 더 포함하는 것을 특징으로 하는 차량용 카메라.
  4. 제 1항에 있어서,
    상기 렌즈 모듈 및 상기 전방하우징이 조립되는 공간 사이가 수밀(watertight)되도록 구성된 제2 방수부재(second waterproof member)를 더 포함하는 것을 특징으로 하는 차량용 카메라.
  5. 제 1항에 있어서,
    상기 깊이카메라 모듈은,
    적외선을 조사하도록 구성된 적외선 조명부(infrared lighting unit); 및
    조사된 적외선이 물체에 부딪혀 반사되어 돌아오는 적외선을 수광하도록 구성된 적외선 수광부(infrared receiving unit)를 포함하는 것을 특징으로 하는 차량용 카메라.
  6. 제 5항에 있어서,
    상기 적외선 통과부는 2개로 구성되고,
    각각의 상기 적외선 통과부는 상기 적외선 조명부 및 상기 적외선 수광부의 위치에 대응되도록 배치되는 것을 특징으로 하는 차량용 카메라.
  7. 제 1항에 있어서,
    상기 전방하우징, 상기 후방하우징 및 상기 외부커버는 플라스틱(plastic) 소재로 이루어지되,
    상기 전방하우징과 상기 후방하우징 및 상기 전방하우징과 상기 외부커버는 초음파(ultrasonic wave) 또는 레이저(laser)를 이용하여 융착(fusion)결합되는 것을 특징으로 하는 차량용 카메라.
  8. 제 1항에 있어서,
    상기 전방하우징, 상기 후방하우징 및 상기 외부커버는 금속(metal) 소재로 이루어지되,
    상기 전방하우징과 상기 후방하우징 및 상기 전방하우징과 상기 외부커버는 레이저를 이용하여 용접(welding)결합되는 것을 특징으로 하는 차량용 카메라.
  9. 제 1항에 따른 차량용 카메라가 차량의 사이드미러(side mirror), 라디에이터 그릴(radiator grill) 및 트렁크(trunk)에 장착되는 것을 특징으로 하는 자동차.
  10. 차량용 카메라를 이용한 주차보조 장치에 있어서,
    차량에 장착되어 상기 차량 주변의 공간을 촬영하도록 구성된 복수의 광각카메라(wide angle camera);
    상기 차량에 장착되어 상기 차량 주변의 깊이영상을 촬영하도록 구성된 복수의 깊이카메라;
    상기 복수의 광각카메라로부터 획득한 서라운드 뷰(surround view) 영상을 기초로 주차선을 식별하여 상기 차량 주변의 주차공간을 검출하는 주차공간 검출부(parking space detection unit);
    상기 복수의 깊이카메라로부터 획득한 상기 주차공간 내의 깊이영상을 기초로 상기 차량 주변의 장애물을 감지하는 장애물 감지부(obstacle detection unit); 및
    상기 주차공간의 크기 및 장애물 감지여부를 기초로 상기 차량의 주차가 가능한지 여부를 판단하는 주차가능성 판단부(parking availability determining unit)
    를 포함하는 것을 특징으로 하는 주차보조 장치.
  11. 제 10항에 있어서,
    상기 주차공간 검출부는,
    상기 주차공간에 대한 윤곽선을 추출하는 윤곽선 추출부(contour extraction unit); 및
    상기 윤곽선 추출부가 추출한 윤곽선의 내부에 대해서 허프변환(Hough transform)을 적용하여 주차선을 식별하는 주차선 식별부(parking line detection unit)
    를 포함하는 것을 특징으로 하는 주차보조 장치.
  12. 제 10항에 있어서,
    상기 주차공간 검출부는,
    식별된 주차선들이 교차하는 4개의 지점을 기초로 한 직사각형을 주차공간으로 검출하는 것을 특징으로 하는 주차보조 장치.
  13. 제 10항에 있어서,
    상기 장애물 감지부는,
    상기 주차공간 내의 깊이영상에 대한 히스토그램을 계산하는 히스토그램 계산부(histogram calculation unit)를 포함하고,
    상기 히스토그램 계산부가 계산한 히스토그램을 기초로 상기 주차공간 내에 장애물을 감지하는 것을 특징으로 하는 주차보조 장치.
  14. 제 10항에 있어서,
    상기 장애물 감지부는,
    상기 주차공간 내의 깊이영상에 대한 수직 및 수평 스캐닝(scanning)을 이용하여 이웃한 픽셀 간의 유사성을 계산하는 화소비교부(pixel comparison unit)를 포함하되,
    이웃한 픽셀 간의 유사성을 기초로 상기 주차공간 내에 장애물을 감지하는 것을 특징으로 하는 주차보조 장치.
  15. 제 10항에 있어서,
    상기 차량 내부에 구비되어, 상기 주차가능성 판단부가 주차가 가능하다고 판단한 경우, 운전자에게 주차가능 표시를 하도록 구성된 디스플레이부(display unit); 및
    상기 차량 내부에 구비되어, 상기 주차가능성 판단부가 주차가 가능하다고 판단한 경우, 운전자에게 주차가능 알람을 울리도록 구성된 알람부(alarm unit)
    를 더 포함하는 것을 특징으로 하는 주차보조 장치.
  16. 제 10항에 있어서,
    상기 광각카메라와 상기 깊이카메라는 일체형으로 구성되어 하나의 모듈(module)을 형성하는 것을 특징으로 하는 주차보조 장치.
KR1020200179860A 2020-12-21 2020-12-21 차량용 카메라 및 이를 구비한 주차보조 장치 KR20220089787A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200179860A KR20220089787A (ko) 2020-12-21 2020-12-21 차량용 카메라 및 이를 구비한 주차보조 장치
US17/501,913 US11816904B2 (en) 2020-12-21 2021-10-14 Camera for vehicle and parking assistance apparatus having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200179860A KR20220089787A (ko) 2020-12-21 2020-12-21 차량용 카메라 및 이를 구비한 주차보조 장치

Publications (1)

Publication Number Publication Date
KR20220089787A true KR20220089787A (ko) 2022-06-29

Family

ID=82023200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200179860A KR20220089787A (ko) 2020-12-21 2020-12-21 차량용 카메라 및 이를 구비한 주차보조 장치

Country Status (2)

Country Link
US (1) US11816904B2 (ko)
KR (1) KR20220089787A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024072048A1 (ko) * 2022-09-29 2024-04-04 엘지이노텍 주식회사 카메라 모듈 및 이를 구비한 차량

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375476A1 (en) * 2013-06-24 2014-12-25 Magna Electronics Inc. Vehicle alert system
KR101770872B1 (ko) 2013-12-27 2017-08-23 주식회사 만도 차량용 tof 카메라 및 그의 구동 방법
US9703176B2 (en) * 2014-01-20 2017-07-11 Lg Innotek Co., Ltd. Camera module for providing operational convenience
KR101621370B1 (ko) * 2014-08-13 2016-05-17 고려대학교 산학협력단 도로에서의 차선 검출 방법 및 장치
KR102012776B1 (ko) * 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
CN113632095A (zh) * 2019-03-16 2021-11-09 辉达公司 使用适合停车位检测的倾斜多边形进行对象检测
KR20210050055A (ko) * 2019-10-25 2021-05-07 현대모비스 주식회사 센서 클러스터장치
TWI745175B (zh) * 2020-08-13 2021-11-01 大陽科技股份有限公司 驅動裝置、相機模組與電子裝置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024072048A1 (ko) * 2022-09-29 2024-04-04 엘지이노텍 주식회사 카메라 모듈 및 이를 구비한 차량

Also Published As

Publication number Publication date
US11816904B2 (en) 2023-11-14
US20220198202A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US20210291751A1 (en) Vehicular driver monitoring system with camera having micro lens array
US10324297B2 (en) Heads up display system for vehicle
US10504241B2 (en) Vehicle camera calibration system
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US20170280034A1 (en) Vehicle vision system camera with enhanced imager and lens assembly
US10137842B2 (en) Camera system for a vehicle
US11648877B2 (en) Method for detecting an object via a vehicular vision system
EP1797523A2 (en) Method and apparatus for producing a fused image
US20140009589A1 (en) Vehicle having a device for detecting the surroundings of said vehicle
US20210241492A1 (en) Vehicular vision system with camera calibration using calibration target
US20210286082A1 (en) Distance measuring device and distance measuring device control method
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN114424022A (zh) 测距设备，测距方法，程序，电子装置，学习模型生成方法，制造方法和深度图生成方法
KR20220089787A (ko) 차량용 카메라 및 이를 구비한 주차보조 장치
US11718243B2 (en) Vehicular camera system with forward viewing camera
KR101868293B1 (ko) 차량용 라이다 장치
US10440249B2 (en) Vehicle vision system camera with semi-reflective and semi-transmissive element
US11021102B2 (en) Vehicular rain sensing system using forward viewing camera
CN210536823U (zh) 一种深度图像采集装置
KR20220089788A (ko) 차량용 카메라를 이용한 주차보조 방법 및 장치
CN211032395U (zh) 自动驾驶车辆
US20230169678A1 (en) Apparatus and method for processing an image of a vehicle
US20230311770A1 (en) Vehicular camera focus test system using light collimator in controlled test chamber
JP4381394B2 (ja) 障害物検知装置及びその方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right