KR20220089787A - Camera for Vehicle And Parking Assistance Apparatus Having the Same - Google Patents

Camera for Vehicle And Parking Assistance Apparatus Having the Same Download PDF

Info

Publication number
KR20220089787A
KR20220089787A KR1020200179860A KR20200179860A KR20220089787A KR 20220089787 A KR20220089787 A KR 20220089787A KR 1020200179860 A KR1020200179860 A KR 1020200179860A KR 20200179860 A KR20200179860 A KR 20200179860A KR 20220089787 A KR20220089787 A KR 20220089787A
Authority
KR
South Korea
Prior art keywords
vehicle
parking
camera
infrared
depth
Prior art date
Application number
KR1020200179860A
Other languages
Korean (ko)
Inventor
이원무
강태훈
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200179860A priority Critical patent/KR20220089787A/en
Priority to US17/501,913 priority patent/US11816904B2/en
Publication of KR20220089787A publication Critical patent/KR20220089787A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/22
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/08Waterproof bodies or housings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/52Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H04N5/2254
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B60K2360/21
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers

Abstract

차량용 카메라 및 이를 구비한 주차보조 장치를 개시한다.
본 개시의 일 실시예에 의하면, 복수의 렌즈가 렌즈배럴(lens barrel)에 조립된 렌즈 모듈(lens module); 렌즈 모듈을 통과하여 입사된 빛을 전기적 신호로 변환하도록 구성된 이미지센서(image sensor)를 포함하는 회로기판(circuit board); 전방에 렌즈 모듈이 조립되고, 후방에 회로기판이 조립되도록 구성된 전방하우징(front housing); 전방하우징의 후방에 결합되어, 회로기판을 둘러싸도록 구성된 후방하우징(rear housing); 렌즈 모듈의 적어도 일부를 감싸도록 중공형(hollow type)으로 구성되고, 적외선이 통과할 수 있도록 구성된 적어도 하나의 적외선 통과부(infrared passing portion)를 구비한 외부커버(outer cover); 및 외부커버의 내부에 포함되고, 전방하우징의 전방에 조립되어 적외선 통과부를 이용하여 차량 주변의 장애물 감지를 위한 깊이영상(depth map)을 촬영하도록 구성된 깊이카메라 모듈(depth camera module)을 포함하는 것을 특징으로 하는 차량용 카메라를 제공한다.
Disclosed are a vehicle camera and a parking assistance device having the same.
According to an embodiment of the present disclosure, a plurality of lenses are assembled to a lens barrel (lens barrel) lens module (lens module); a circuit board including an image sensor configured to convert light incident through the lens module into an electrical signal; The lens module is assembled in the front, the front housing configured to be assembled to the circuit board in the rear (front housing); a rear housing coupled to the rear of the front housing and configured to surround the circuit board; an outer cover configured as a hollow type to surround at least a portion of the lens module, and having at least one infrared passing portion configured to allow infrared rays to pass therethrough; and a depth camera module included in the outer cover, assembled in front of the front housing and configured to take a depth map for detecting obstacles around the vehicle using an infrared passing part. A vehicle camera is provided.

Description

차량용 카메라 및 이를 구비한 주차보조 장치{Camera for Vehicle And Parking Assistance Apparatus Having the Same}Camera for Vehicle And Parking Assistance Apparatus Having the Same

본 개시는 차량용 카메라 및 이를 구비한 주차보조 장치에 관한 것이다. 더욱 상세하게는, 깊이카메라(depth camera)를 이용한 차량용 카메라 및 이를 구비한 주차보조장치에 관한 것이다.The present disclosure relates to a vehicle camera and a parking assistance device having the same. More specifically, it relates to a vehicle camera using a depth camera and a parking assist device having the same.

이 부분에 기술된 내용은 단순히 본 개시에 대한 배경정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present disclosure and does not constitute the prior art.

차량을 이용하는 운전자의 안전 및 편의를 증대하기 위해, 차량에 각종 센서(sensor)와 전자장치(electronic device) 등을 접목시키는 기술에 대한 개발이 가속화되고 있는 추세이다. 이에 따라, 운전자의 개입 없이, 차량 스스로 도로를 주행할 수 있는 자율주행이 가능하게 되었다.In order to increase the safety and convenience of a driver using a vehicle, the development of a technology for grafting various sensors and electronic devices to a vehicle is accelerating. Accordingly, autonomous driving in which a vehicle can travel on a road by itself without the intervention of a driver has become possible.

한편, 자율주행 중에서도 운전자의 상당수가 어려움을 겪는 주차를 자동으로 수행하는 자동주차 기술에 대한 관심도 높아지고 있다. 자동주차를 지원하기 위해서 일반적으로는 카메라(camera)의 영상 또는 초음파 센서(ultrasonic wave sensor)를 이용하여 차량 주변의 주차 가능 공간을 탐색하고, 탐색된 주차공간을 운전자에게 안내한다. Meanwhile, interest in self-parking technology that automatically performs parking, which is difficult for many drivers, among autonomous vehicles, is also increasing. In general, in order to support automatic parking, an image of a camera or an ultrasonic wave sensor is used to search for a parking space around the vehicle, and the searched parking space is guided to the driver.

초음파 센서를 이용하는 경우, 방출된 초음파가 장애물에 물체에 부딪혀 다시 돌아오는 데 걸리는 왕복시간으로부터 차간거리를 측정하는 방법이 사용되며, 카메라의 영상을 이용하는 경우, 차량의 주변을 촬영하는 다수의 카메라로부터 서라운드 뷰(surround view)를 기초로 주차공간을 인식하는 방법이 사용된다.In the case of using an ultrasonic sensor, a method of measuring the inter-vehicle distance from the round-trip time it takes for the emitted ultrasonic waves to collide with an object and return again is used. A method of recognizing a parking space based on a surround view is used.

다만, 초음파를 이용하여 자동주차를 하는 경우, 차간거리는 용이하게 측정할 수 있으나, 차선을 정확하게 인식하기 어려워 올바른 주차가 이루어지기 어렵다. 또한, 카메라의 영상을 이용하여 자동주차를 하는 경우에도, 2D(Dimension) 기반으로 공간을 감지하기 때문에 주차 공간 안에 3D 장애물이 있는 경우, 이를 감지하기 어렵다는 문제가 있다. However, in the case of automatic parking using ultrasonic waves, the inter-vehicle distance can be easily measured, but it is difficult to accurately recognize a lane, and thus correct parking is difficult. In addition, even in the case of automatic parking using the image of the camera, there is a problem in that it is difficult to detect if there is a 3D obstacle in the parking space because the space is detected based on 2D (Dimension).

이에, 본 개시는 이러한 문제점들을 해결하기 위한 것으로서, 기존 차량의 카메라 장착 공간을 그대로 활용하면서, 깊이카메라를 이용하여 주차공간 인식은 물론 주차공간 내 장애물을 보다 정확하게 감지하는 차량용 카메라 및 이를 구비한 주차보조 장치를 제공하는 데 주된 목적이 있다.Accordingly, the present disclosure is intended to solve these problems, and while using the camera mounting space of an existing vehicle as it is, using a depth camera to recognize a parking space as well as more accurately detect an obstacle in a parking space, and a parking having the same Its main purpose is to provide an auxiliary device.

이러한 목적을 달성하기 위한 본 개시의 일 실시예에 의하면, 복수의 렌즈가 렌즈배럴(lens barrel)에 조립된 렌즈 모듈(lens module); 상기 렌즈 모듈을 통과하여 입사된 빛을 전기적 신호로 변환하도록 구성된 이미지센서(image sensor)를 포함하는 회로기판(circuit board); 전방에 상기 렌즈 모듈이 조립되고, 후방에 상기 회로기판이 조립되도록 구성된 전방하우징(front housing); 상기 전방하우징의 후방에 결합되어, 상기 회로기판을 둘러싸도록 구성된 후방하우징(rear housing); 상기 렌즈 모듈의 적어도 일부를 감싸도록 중공형(hollow type)으로 구성되고, 적외선이 통과할 수 있도록 구성된 적어도 하나의 적외선 통과부(infrared passing portion)를 구비한 외부커버(outer cover); 및 상기 외부커버의 내부에 포함되고, 상기 전방하우징의 전방에 조립되어 상기 적외선 통과부를 이용하여 차량 주변의 장애물 감지를 위한 깊이영상(depth map)을 촬영하도록 구성된 깊이카메라 모듈(depth camera module)을 포함하는 것을 특징으로 하는 차량용 카메라를 제공한다.According to an embodiment of the present disclosure for achieving this object, a plurality of lenses are assembled to a lens barrel (lens barrel) lens module (lens module); a circuit board including an image sensor configured to convert light incident through the lens module into an electrical signal; a front housing configured such that the lens module is assembled in the front and the circuit board is assembled in the rear; a rear housing coupled to the rear of the front housing and configured to surround the circuit board; an outer cover configured as a hollow type to surround at least a portion of the lens module and having at least one infrared passing portion configured to allow infrared rays to pass therethrough; and a depth camera module included in the outer cover, assembled in front of the front housing and configured to take a depth map for detecting obstacles around the vehicle using the infrared passing part. It provides a vehicle camera, characterized in that it comprises.

또한, 본 개시의 일 실시예에 따른 차량용 카메라가 차량의 사이드미러(side mirror), 라디에이터 그릴(radiator grill) 및 트렁크(trunk)에 장착되는 것을 특징으로 하는 자동차를 제공한다.In addition, there is provided a vehicle in which the vehicle camera according to an embodiment of the present disclosure is mounted on a side mirror, a radiator grill, and a trunk of the vehicle.

또한, 차량용 카메라를 이용한 주차보조 장치에 있어서, 차량에 장착되어 상기 차량 주변의 공간을 촬영하도록 구성된 복수의 광각카메라(wide angle camera); 상기 차량에 장착되어 상기 차량 주변의 깊이영상을 촬영하도록 구성된 복수의 깊이카메라; 상기 복수의 광각카메라로부터 획득한 서라운드 뷰(surround view) 영상을 기초로 주차선을 식별하여 상기 차량 주변의 주차공간을 검출하는 주차공간 검출부(parking space detection unit); 상기 복수의 깊이카메라로부터 획득한 상기 주차공간 내의 깊이영상을 기초로 상기 차량 주변의 장애물을 감지하는 장애물 감지부(obstacle detection unit); 및 상기 주차공간의 크기 및 장애물 감지여부를 기초로 상기 차량의 주차가 가능한지 여부를 판단하는 주차가능성 판단부(parking availability determining unit)를 포함하는 것을 특징으로 하는 주차보조 장치를 제공한다.In addition, in the parking assist device using a vehicle camera, a plurality of wide-angle cameras (wide angle camera) mounted on the vehicle configured to photograph a space around the vehicle; a plurality of depth cameras mounted on the vehicle and configured to capture depth images around the vehicle; a parking space detection unit for detecting a parking space around the vehicle by identifying a parking line based on a surround view image obtained from the plurality of wide-angle cameras; an obstacle detection unit configured to detect an obstacle around the vehicle based on the depth image in the parking space obtained from the plurality of depth cameras; and a parking availability determining unit that determines whether the vehicle can be parked based on the size of the parking space and whether obstacles are detected.

이상에서 설명한 바와 같이 본 실시예에 의하면, 기존 차량의 카메라 장착 공간을 그대로 활용하면서, 주차공간 인식은 물론 주차공간 내 장애물의 보다 정확한 감지가 가능하여 주차를 보조할 수 있는 효과가 있다.As described above, according to the present embodiment, it is possible to assist parking by not only recognizing a parking space but also more accurately detecting obstacles in the parking space while utilizing the camera mounting space of the existing vehicle as it is.

도 1은 본 개시의 일 실시예에 따른 차량용 카메라의 분해사시도이다.
도 2는 본 개시의 일 실시예에 따른 차량용 카메라의 결합사시도이다.
도 3은 본 개시의 일 실시예에 따른 차량용 카메라의 단면도이다.
도 4는 본 개시의 일 실시예에 따른 차량용 카메라가 사이드미러에 장착된 예를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른 차량용 카메라가 라디에이터 그릴에 장착된 예를 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따른 차량용 카메라가 트렁크에 장착된 예를 나타낸 도면이다.
도 7은 본 개시의 일 실시예에 따른 주차보조 장치의 구성블록도이다.
1 is an exploded perspective view of a vehicle camera according to an embodiment of the present disclosure;
2 is a combined perspective view of a vehicle camera according to an embodiment of the present disclosure.
3 is a cross-sectional view of a vehicle camera according to an embodiment of the present disclosure.
4 is a view illustrating an example in which a vehicle camera according to an embodiment of the present disclosure is mounted on a side mirror.
5 is a view illustrating an example in which a vehicle camera according to an embodiment of the present disclosure is mounted on a radiator grill.
6 is a diagram illustrating an example in which a vehicle camera according to an embodiment of the present disclosure is mounted in a trunk.
7 is a block diagram of a parking assistance device according to an embodiment of the present disclosure.

이하, 본 개시의 일부 실시예들을 예시적인 도면을 이용해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present disclosure will be described in detail with reference to exemplary drawings. In adding reference numerals to components in each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated in different drawings. In addition, in describing the present disclosure, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present disclosure, the detailed description thereof will be omitted.

본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In describing the components of the embodiment according to the present disclosure, reference numerals such as first, second, i), ii), a), b) may be used. These signs are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the signs. In the specification, when a part 'includes' or 'includes' a certain element, it means that other elements may be further included, rather than excluding other elements, unless explicitly stated otherwise. .

도 1은 본 개시의 일 실시예에 따른 차량용 카메라의 분해사시도이다.1 is an exploded perspective view of a vehicle camera according to an embodiment of the present disclosure;

도 2는 본 개시의 일 실시예에 따른 차량용 카메라의 결합사시도이다.2 is a combined perspective view of a vehicle camera according to an embodiment of the present disclosure.

도 3은 본 개시의 일 실시예에 따른 차량용 카메라의 단면도이다.3 is a cross-sectional view of a vehicle camera according to an embodiment of the present disclosure.

도 1 내지 도 3을 참조하면, 본 개시의 일 실시예에 따른 차량용 카메라(camera, 10)는 렌즈 모듈(lens module, 110), 회로기판(circuit board, 180), 전방하우징(front housing, 160), 후방하우징(rear housing, 190), 외부커버(outer cover, 100), 깊이카메라 모듈(depth camera module, 140), 커넥터(connector, 150), 제1 방수부재(first waterproof member, 120) 및 제2 방수부재(second waterproof member, 130)의 전부 또는 일부를 포함한다.1 to 3 , a vehicle camera 10 according to an embodiment of the present disclosure includes a lens module 110 , a circuit board 180 , and a front housing 160 . ), a rear housing (rear housing, 190), an outer cover (outer cover, 100), a depth camera module (depth camera module, 140), a connector (connector, 150), a first waterproof member (first waterproof member, 120) and Includes all or part of the second waterproof member (second waterproof member, 130).

렌즈 모듈(110)은 복수의 렌즈(lens, 미도시)가 렌즈배럴(lens barrel, 미도시)에 조립된 것을 말한다. 이때, 복수의 렌즈는 렌즈배럴에 미리 사전조립되어 있을 수 있다. 또한, 렌즈 모듈(110)이 포함하는 복수의 렌즈는 60°이상의 화각(angle of view)을 갖도록 하는 광각(wide angle)렌즈로 이루어질 수 있다. The lens module 110 refers to a plurality of lenses (lens, not shown) assembled in a lens barrel (not shown). In this case, the plurality of lenses may be pre-assembled in the lens barrel. In addition, the plurality of lenses included in the lens module 110 may be formed of a wide angle lens having an angle of view of 60° or more.

복수의 렌즈 각각은 전방에 배치된 제1 렌즈군(first lens group, 미도시) 및 후방에 배치된 제2 렌즈군(second lens group, 미도시)으로 이루어질 수 있고, 이 경우, 제1 렌즈군과 제2 렌즈군의 광축은 일치하는 것이 바람직하다. 한편, 여기서 전방이란, 도 1에서 X 축 방향을 말하고, 후방은 전방의 반대방향을 말하고, 이하에서도 마찬가지이다.Each of the plurality of lenses may include a first lens group (not shown) disposed at the front and a second lens group (not shown) disposed at the rear, in this case, the first lens group It is preferable that the optical axis of the second lens group coincide with each other. On the other hand, here, the front refers to the X-axis direction in FIG. 1, and the rear refers to the opposite direction to the front, and the same applies to the following.

복수의 렌즈가 제1 렌즈군 및 제2 렌즈군으로 이루어지는 경우, 예컨대 제1 렌즈군을 제2 렌즈군에 대해 이동시킴으로써, 카메라의 화각을 변경시킬 수 있다. 다만, 반드시 복수의 렌즈가 제1 렌즈군 및 제2 렌즈군으로 구성되어야만 하는 것은 아니다.When the plurality of lenses includes the first lens group and the second lens group, for example, by moving the first lens group with respect to the second lens group, the angle of view of the camera can be changed. However, the plurality of lenses does not necessarily include the first lens group and the second lens group.

회로기판(180)은 이미지센서(image sensor, 170)를 포함한다. 이미지센서(170)는 회로기판(180) 상에 실장될 수 있으나, 회로기판(180)과 독립적으로 배치되되, 이와 회로적으로 연결될 수 있다. 이미지센서(170)는 렌즈 모듈(110)을 통과하여 입사되는 빛을 전기적 신호로 변환하도록 구성된다. 한편, 회로기판(180)은 복수의 층(layer)을 가지도록 구성될 수 있고, 이미지센서(170)가 실장되는 영역에 각종 데이터라인(data line) 및 층간 연결을 위한 비아홀(via hole, 미도시)이 형성될 수 있다. The circuit board 180 includes an image sensor 170 . The image sensor 170 may be mounted on the circuit board 180 , but may be disposed independently of the circuit board 180 and may be circuitly connected thereto. The image sensor 170 is configured to convert light incident through the lens module 110 into an electrical signal. On the other hand, the circuit board 180 may be configured to have a plurality of layers, and various data lines and via holes for interlayer connection in an area where the image sensor 170 is mounted. city) can be formed.

전방하우징(160)은 전방에 렌즈 모듈(110)이 조립되고, 후방에 회로기판(180)이 조립되도록 구성된다. 전방하우징(160)의 전방에 렌즈 모듈(110)이 조립되기 위해, 렌즈 모듈(110)의 외주면에는 수나사(male screw)가 형성되고, 전방하우징(160)의 내주면에는 암나사(female screw)가 형성되어 나사결합이 이루어질 수 있으나, 결합방식이 반드시 이에 한정되는 것은 아니다. The front housing 160 is configured such that the lens module 110 is assembled at the front, and the circuit board 180 is assembled at the rear. In order to assemble the lens module 110 in front of the front housing 160 , a male screw is formed on the outer peripheral surface of the lens module 110 , and a female screw is formed on the inner peripheral surface of the front housing 160 . It may be screwed together, but the coupling method is not necessarily limited thereto.

후방하우징(190)은 전방하우징(160)의 후방에 결합되어, 회로기판(180)을 둘러싸도록 구성되므로, 회로기판(180) 및 내부 부품을 보호할 수 있다. 또한, 후방하우징(190)은 적어도 하나의 입출력 단자(input-output terminal, 300)를 포함할 수 있고, 입출력 단자(300)를 이용하여 전원을 공급받을 수 있고 다양한 전기적 신호를 송수신할 수도 있다. The rear housing 190 is coupled to the rear of the front housing 160 and is configured to surround the circuit board 180 , thereby protecting the circuit board 180 and internal components. In addition, the rear housing 190 may include at least one input-output terminal (input-output terminal, 300), may be supplied with power using the input/output terminal 300, and may transmit and receive various electrical signals.

외부커버(100)는 렌즈 모듈(110)의 적어도 일부를 감싸도록 중공형(hollow type)으로 구성되고, 적외선이 통과할 수 있도록 구성된 적외선 통과부(infrared passing portion, 105)를 적어도 하나 구비한다. 외부커버(100)가 중공형으로 구성됨으로써, 렌즈 모듈(110)은 전방을 촬영할 수 있으며, 후술할 깊이카메라 모듈(140)도 내부에 포함할 수 있다.The outer cover 100 is configured as a hollow type to surround at least a portion of the lens module 110 , and includes at least one infrared passing portion 105 configured to allow infrared rays to pass therethrough. As the outer cover 100 is configured in a hollow shape, the lens module 110 may photograph the front, and a depth camera module 140 to be described later may also be included therein.

또한, 외부커버(100)는 전방하우징(160)의 전방에 결합될 수 있다. 따라서, 전방에서부터 후방의 방향으로 보았을 때, 외부커버(100), 전방하우징(160) 및 후방하우징(190) 순으로 결합될 수 있다. In addition, the outer cover 100 may be coupled to the front of the front housing (160). Therefore, when viewed in the direction from the front to the rear, the outer cover 100, the front housing 160, and the rear housing 190 may be coupled in order.

외부커버(100), 전방하우징(160) 및 후방하우징(190)이 플라스틱(plastic) 소재로 이루어지는 경우, 전방하우징(160)과 후방하우징(190) 및 전방하우징(160)과 외부커버(100)는 초음파(ultrasonic wave) 또는 레이저(laser)를 이용하여 융착(fusion)결합될 수 있다. 한편, 외부커버(100), 전방하우징(160) 및 후방하우징(190)이 금속(metal) 소재로 이루어지는 경우, 전방하우징(160)과 후방하우징(190) 및 전방하우징(160)과 외부커버(100)는 레이저를 이용하여 용접(welding)결합될 수 있다. 도 3을 참조하면, 위와 같은 결합이 이루어지는 부위는 전방하우징(160)과 후방하우징(190)이 맞닿는 면, 전방하우징(160)과 외부커버(100)가 맞닿는 면이 될 수 있다. When the outer cover 100, the front housing 160, and the rear housing 190 are made of a plastic material, the front housing 160 and the rear housing 190 and the front housing 160 and the outer cover 100 may be fusion-bonded using ultrasonic waves or lasers. On the other hand, when the outer cover 100, the front housing 160 and the rear housing 190 are made of a metal material, the front housing 160 and the rear housing 190 and the front housing 160 and the outer cover ( 100) may be welded using a laser. Referring to FIG. 3 , the portion where the above coupling is made may be a surface in which the front housing 160 and the rear housing 190 contact each other, and a surface in which the front housing 160 and the outer cover 100 contact each other.

한편, 외부커버(100)는 정면에서 바라보았을 때, 정원(正圓)의 형태를 가지고, 따라서, 기존 차량의 카메라가 장착되는 부위에 외부커버(100)가 장착될 수 있다. 다만, 반드시 외부커버(100)의 정면 형상이 정원(正圓)의 형태여야만 하는 것은 아니며, 차량에 장착되는 부위에 따라 변형될 수 있다. On the other hand, when the outer cover 100 is viewed from the front, it has the shape of a garden, and thus, the outer cover 100 can be mounted on a portion where a camera of an existing vehicle is mounted. However, the front shape of the outer cover 100 does not necessarily have to be a round shape, and may be deformed according to a portion to be mounted on a vehicle.

깊이카메라 모듈(140)은 외부커버(100)의 내부에 포함되고, 전방하우징(160)의 전방에 조립되어 적외선 통과부(105)를 이용하여 차량 주변의 장애물 감지를 위한 깊이영상(depth map)을 촬영하도록 구성된다. 따라서, 깊이카메라 모듈(140)은 전방을 향하도록 배치되는 것이 바람직하다. The depth camera module 140 is included in the outer cover 100, is assembled in front of the front housing 160, and uses the infrared passing unit 105 to detect obstacles around the vehicle (depth map) is configured to photograph. Therefore, the depth camera module 140 is preferably disposed to face forward.

깊이카메라 모듈(140)은 예컨대, TOF(Time of Flight) 카메라로 구성될 수 있다. TOF 카메라는 촬영하고자 하는 물체에 적외선을 비추고, 물체에 반사되어 되돌아오는 적외선을 받아 되돌아오는 데 걸리는 시간을 계산함으로써, 물체와의 거리를 측정할 수 있다. 깊이카메라 모듈(140)은 적외선을 이용하여 깊이영상을 촬영하므로, 일반카메라와 달리 야간에도 장애물 감지가 가능하며, 초음파를 이용하여 장애물을 감지하는 경우와 비교할 때, 장애물 감지거리가 훨씬 더 길고, 장애물의 크기 및 위치를 보다 정확하게 감지할 수 있다. The depth camera module 140 may be configured as, for example, a Time of Flight (TOF) camera. A TOF camera can measure the distance to an object by illuminating an object to be photographed with infrared rays, and calculating the time it takes to receive infrared rays reflected off the object and return. Since the depth camera module 140 takes a depth image using infrared rays, unlike a general camera, it is possible to detect obstacles at night, and compared to the case of detecting obstacles using ultrasonic waves, the obstacle detection distance is much longer, The size and position of obstacles can be detected more accurately.

깊이카메라 모듈(140)이 TOF 카메라로 구성되는 경우, 깊이카메라 모듈(140)은 적외선 조명부(infrared lighting unit, 142) 및 적외선 수광부(infrared receiving unit, 144)를 포함할 수 있다. When the depth camera module 140 is configured as a TOF camera, the depth camera module 140 may include an infrared lighting unit 142 and an infrared receiving unit 144 .

적외선 조명부(142)는 적외선을 조사하도록 구성된다. 이때, 적외선 조사는 전방을 향하여 이루어질 수 있다. 또한, 적외선 조명부(142)는 적외선 LED(Light Emitting Diode)로 이루어질 수 있으나, 적외선의 조사가 가능한 한, 반드시 이에 한정되는 것은 아니다. 한편, 적외선 조명부(142)로부터 조사되는 적외선은 태양광으로부터의 간섭을 줄이기 위해서 약 940 nm의 파장을 가지도록 구성되는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다.The infrared illuminator 142 is configured to irradiate infrared rays. At this time, infrared irradiation may be made toward the front. In addition, the infrared illuminator 142 may be formed of an infrared LED (Light Emitting Diode), but is not necessarily limited thereto as long as infrared radiation is possible. Meanwhile, the infrared ray irradiated from the infrared illuminator 142 is preferably configured to have a wavelength of about 940 nm in order to reduce interference from sunlight, but is not necessarily limited thereto.

적외선 수광부(144)는 적외선 조명부(142)로부터 조사된 적외선이 물체에 부딪혀 반사되어 돌아오는 적외선을 수광하도록 구성된다. 적외선 수광부(144)는 적외선을 수광하면 전기적 신호를 발생시킬 수 있으며, 이에 따라 적외선이 적외선 조명부(142)로부터 조사되어 적외선 수광부(144)에 되돌아올 때까지의 시간을 측정할 수 있다. The infrared light receiving unit 144 is configured to receive the infrared ray irradiated from the infrared illuminator 142 is reflected back by hitting an object. The infrared light receiving unit 144 may generate an electrical signal when receiving infrared rays, and accordingly, it is possible to measure the time until the infrared rays are irradiated from the infrared lighting unit 142 and return to the infrared light receiving unit 144 .

적외선 조명부(142) 및 적외선 수광부(144)를 이용함으로써, 깊이카메라 모듈(140)로부터 획득한 깊이영상은 촬영된 물체표면으로부터의 거리 정보가 담겨 있는 이미지를 나타낼 수 있다. 예컨대, 깊이카메라 모듈(140)로부터 가까이 있는 표면은 밝은 색으로, 깊이카메라 모듈(140)로부터 멀리 있는 표면은 어두운 색으로 표현함으로써, 거리 정보를 나타낼 수 있다. 따라서, 깊이카메라 모듈(140)을 이용하여 차량 주변의 장애물과 장애물까지의 거리 등을 용이하게 감지할 수 있다.By using the infrared illuminator 142 and the infrared light receiver 144 , the depth image obtained from the depth camera module 140 may represent an image containing distance information from the photographed object surface. For example, a surface close to the depth camera module 140 is expressed in a bright color, and a surface far from the depth camera module 140 is expressed in a dark color, thereby indicating distance information. Accordingly, it is possible to easily detect obstacles around the vehicle and the distance to the obstacles using the depth camera module 140 .

한편, 외부커버(100)에 구비된 적외선 통과부(105)는 깊이카메라 모듈(140)의 적외선 조명부(142) 및 적외선 수광부(144)의 전방에 배치되는 것이 바람직하다. 이때, 적외선 통과부(105)는 도 1과 같이, 관통홀과 같은 형상으로 1개 또는 2개로 구성될 수 있다. On the other hand, it is preferable that the infrared passage unit 105 provided in the outer cover 100 is disposed in front of the infrared lighting unit 142 and the infrared light receiving unit 144 of the depth camera module 140 . At this time, as shown in FIG. 1 , the infrared passing part 105 may be configured in one or two pieces in the same shape as a through hole.

도 1에서 도시된 바와 같이, 적외선 통과부(105)가 2개로 구성되는 경우, 각각의 적외선 통과부(105)는 적외선 조명부(142) 및 적외선 수광부(144)의 위치에 대응되도록 배치되는 것이 바람직하다. 따라서, 깊이카메라 모듈(140)은 외부커버(100)의 내부에서 적외선 통과부(105)를 이용하여 적외선을 조사 및 수광할 수 있다. As shown in FIG. 1, when the infrared ray passing unit 105 is composed of two, each infrared ray passing unit 105 is preferably arranged to correspond to the position of the infrared illuminator 142 and the infrared light receiving unit 144. do. Accordingly, the depth camera module 140 may radiate and receive infrared rays using the infrared ray passing unit 105 inside the outer cover 100 .

커넥터(150)는 깊이카메라 모듈(140) 및 회로기판(180)을 전기적으로 연결시키되, 깊이카메라 모듈(140)의 위치를 고정시키도록 구성된다. 커넥터(150)를 이용하여 깊이카메라 모듈(140)이 촬영한 깊이영상은 회로기판(180)에 전달될 수 있고, 또한, 외부커버(100)의 내부에서 깊이카메라 모듈(140)이 이동되는 것을 방지할 수 있다. The connector 150 electrically connects the depth camera module 140 and the circuit board 180 , and is configured to fix the position of the depth camera module 140 . The depth image captured by the depth camera module 140 using the connector 150 may be transmitted to the circuit board 180 , and the depth camera module 140 may be moved inside the outer cover 100 . can be prevented

제1 방수부재(120)는 렌즈 모듈(110) 및 외부커버(100)가 조립되는 공간 사이가 수밀(watertight)되도록 구성된다. 제2 방수부재(130)는 렌즈 모듈(110) 및 전방하우징(160)이 조립되는 공간 사이가 수밀되도록 구성된다. The first waterproof member 120 is configured to be watertight between the space in which the lens module 110 and the outer cover 100 are assembled. The second waterproof member 130 is configured such that a space in which the lens module 110 and the front housing 160 are assembled is watertight.

제1 방수부재(120)는 렌즈 모듈(110) 및 외부커버(100)가 조립되는 경우 압축되고, 제2 방수부재(130)는 렌즈 모듈(110) 및 전방하우징(160)이 조립되는 경우 압축된다. 제1 방수부재(120) 및 제2 방수부재(130)는 조립과 동시에 압축됨으로써, 조립되는 공간 사이가 수밀되도록, 즉 유체가 새어나가거나 새어들어오는 것을 방지할 수 있다. 한편, 제1 방수부재(120) 및 제2 방수부재(130)는 예컨대, 오링(O-ring) 또는 개스킷(gasket)이 될 수 있으나, 반드시 이에 한정되는 것은 아니다. The first waterproof member 120 is compressed when the lens module 110 and the outer cover 100 are assembled, and the second waterproof member 130 is compressed when the lens module 110 and the front housing 160 are assembled. do. The first waterproof member 120 and the second waterproof member 130 are compressed at the same time as assembly, so that the space to be assembled is watertight, that is, it is possible to prevent fluid from leaking or leaking. Meanwhile, the first waterproof member 120 and the second waterproof member 130 may be, for example, an O-ring or a gasket, but are not necessarily limited thereto.

본 개시의 일 실시예에 따른 차량용 카메라(10)는 위와 같은 구성을 포함함으로써, 광각카메라와 깊이카메라가 일체형으로 구성되어 하나의 모듈을 형성할 수 있다. 따라서, 본 개시의 일 실시예에 따른 차량용 카메라(10)는 광각카메라를 이용하여 차량 주변의 주차공간을 파악할 수 있을 뿐만 아니라, 깊이카메라를 이용하여 차량 주변공간에 대한 장애물을 보다 정확하게 감지할 수 있다. 이하에서는, 본 개시의 일 실시예에 따른 차량용 카메라(10)가 차량에 장착되는 예를 설명한다. The vehicle camera 10 according to an embodiment of the present disclosure includes the above configuration, so that the wide-angle camera and the depth camera are integrally configured to form one module. Therefore, the vehicle camera 10 according to an embodiment of the present disclosure can not only detect a parking space around the vehicle using a wide-angle camera, but also use a depth camera to more accurately detect obstacles in the space around the vehicle. have. Hereinafter, an example in which the vehicle camera 10 according to an embodiment of the present disclosure is mounted on a vehicle will be described.

도 4는 본 개시의 일 실시예에 따른 차량용 카메라가 사이드미러에 장착된 예를 나타낸 도면이다.4 is a view illustrating an example in which a vehicle camera according to an embodiment of the present disclosure is mounted on a side mirror.

도 5는 본 개시의 일 실시예에 따른 차량용 카메라가 라디에이터 그릴에 장착된 예를 나타낸 도면이다.5 is a view illustrating an example in which a vehicle camera according to an embodiment of the present disclosure is mounted on a radiator grill.

도 6은 본 개시의 일 실시예에 따른 차량용 카메라가 트렁크에 장착된 예를 나타낸 도면이다.6 is a diagram illustrating an example in which a vehicle camera according to an embodiment of the present disclosure is mounted in a trunk.

도 4를 참조하면, 본 개시의 일 실시예에 따른 차량용 카메라(10)는 차량의 사이드미러(side mirror, 400)의 하부에 장착될 수 있다. 이때, 본 개시의 일 실시예에 따른 차량용 카메라(10)의 지향각(beam angle)

Figure pat00001
은 약 45°가 될 수 있으며, 수직화각(vertical angle of view)
Figure pat00002
은 130°~ 160°가 될 수 있다. Referring to FIG. 4 , the vehicle camera 10 according to an embodiment of the present disclosure may be mounted under a side mirror 400 of the vehicle. At this time, the beam angle of the vehicle camera 10 according to an embodiment of the present disclosure
Figure pat00001
can be about 45°, the vertical angle of view
Figure pat00002
can be between 130° and 160°.

도 5를 참조하면, 본 개시의 일 실시예에 따른 차량용 카메라(10)는 차량의 라디에이터 그릴(radiator grill, 500)의 빈 공간에 장착될 수 있다. 이때, 본 개시의 일 실시예에 따른 차량용 카메라(10)의 지향각

Figure pat00003
은 약 75°가 될 수 있으며, 수직화각
Figure pat00004
은 138°~ 160°가 될 수 있다.Referring to FIG. 5 , the vehicle camera 10 according to an embodiment of the present disclosure may be mounted in an empty space of a radiator grill 500 of the vehicle. At this time, the orientation angle of the vehicle camera 10 according to an embodiment of the present disclosure
Figure pat00003
can be about 75°, and the vertical angle of view
Figure pat00004
can be 138° to 160°.

도 6을 참조하면, 본 개시의 일 실시예에 따른 차량용 카메라(10)는 차량의 트렁크(trunk, 600)에 장착될 수 있다. 이때, 본 개시의 일 실시예에 따른 차량용 카메라(10)의 지향각

Figure pat00005
은 약 75°가 될 수 있으며, 수직화각
Figure pat00006
은 138°~ 160°가 될 수 있다.Referring to FIG. 6 , the vehicle camera 10 according to an embodiment of the present disclosure may be mounted on a trunk 600 of the vehicle. At this time, the orientation angle of the vehicle camera 10 according to an embodiment of the present disclosure
Figure pat00005
can be about 75°, and the vertical angle of view
Figure pat00006
can be 138° to 160°.

본 개시의 일 실시예에 따른 차량용 카메라(10)는 위와 같이, 기존 차량에서 광각카메라가 배치되는 부위를 변형시킬 필요 없이 그대로 장착시킬 수 있으므로, 별도의 비용을 소모하지 않을 수 있다.As described above, the vehicle camera 10 according to an embodiment of the present disclosure can be mounted as it is without modifying a portion where the wide-angle camera is disposed in an existing vehicle, so that additional costs can be avoided.

도 7은 본 개시의 일 실시예에 따른 주차보조 장치의 구성블록도이다.7 is a block diagram of a parking assistance device according to an embodiment of the present disclosure.

도 7을 참조하면, 본 개시의 일 실시예에 따른 주차보조 장치는 광각카메라(wide angle camera, 700), 깊이카메라(depth camera, 710), 서라운드 뷰 생성부(surround view generation unit, 720), 깊이영상 생성부(depth map generation unit, 730), 주차공간 검출부(parking space detection unit, 740), 장애물 감지부(obstacle detection unit, 750), 주차가능성 판단부(parking availability determining unit, 760), 디스플레이부(display unit, 770) 및 알람부(alarm unit, 780)의 전부 또는 일부를 포함한다. Referring to FIG. 7 , the parking assist device according to an embodiment of the present disclosure includes a wide angle camera 700 , a depth camera 710 , a surround view generation unit 720 , A depth map generation unit 730, a parking space detection unit 740, an obstacle detection unit 750, a parking availability determining unit 760, a display All or part of a display unit 770 and an alarm unit 780 are included.

광각카메라(700)는 차량에 장착되어 차량 주변의 공간을 촬영하도록 구성된다. 광각카메라(700)는 복수 개로 구성되어 차량에 장착될 수 있고, 복수의 광각카메라(700)가 차량 주변의 공간을 촬영함으로써, 주차공간을 검출할 수 있다. The wide-angle camera 700 is mounted on a vehicle and configured to photograph a space around the vehicle. A plurality of wide-angle cameras 700 may be configured to be mounted on a vehicle, and a plurality of wide-angle cameras 700 may capture a space around the vehicle, thereby detecting a parking space.

광각카메라(700)는 렌즈 모듈(lens module, 도 1의 110) 및 회로기판(circuit board, 도 1의 180)을 포함할 수 있고, 렌즈 모듈은 복수의 렌즈(lens, 미도시)가 렌즈배럴(lens barrel, 미도시)에 조립된 것을 말한다. 한편, 회로기판은 렌즈 모듈을 통과하여 입사되는 빛을 전기적 신호로 변환하도록 구성된 이미지센서(image sensor, 도 1의 170)를 포함할 수 있다. The wide-angle camera 700 may include a lens module (110 in FIG. 1) and a circuit board (180 in FIG. 1), and the lens module includes a plurality of lenses (lens, not shown) in a lens barrel. (lens barrel, not shown) refers to assembly. Meanwhile, the circuit board may include an image sensor ( 170 of FIG. 1 ) configured to convert light incident through the lens module into an electrical signal.

깊이카메라(710)는 차량에 장착되어 차량 주변의 깊이영상을 촬영하도록 구성된다. 깊이카메라(710)는 복수 개로 구성되어 차량에 장착될 수 있고, 복수의 깊이카메라(710)가 차량 주변의 깊이영상을 촬영함으로써, 장애물을 감지할 수 있다.The depth camera 710 is mounted on the vehicle and is configured to take a depth image around the vehicle. A plurality of depth cameras 710 may be configured to be mounted on a vehicle, and the plurality of depth cameras 710 may detect an obstacle by photographing a depth image around the vehicle.

깊이카메라(710)는 예컨대, TOF(Time of Flight) 카메라로 구성될 수 있고, TOF 카메라는 촬영하고자 하는 물체에 적외선을 비추고, 물체에 반사되어 되돌아오는 적외선을 받아 되돌아오는 데 걸리는 시간을 계산함으로써, 물체와의 거리를 측정할 수 있다. 깊이카메라(710)는 적외선을 이용하여 깊이영상을 촬영하므로, 일반카메라와 달리 야간에도 장애물 감지가 가능하며, 초음파를 이용하여 장애물을 감지하는 경우와 비교할 때, 장애물 감지거리가 훨씬 더 길고, 장애물의 크기 및 위치를 보다 정확하게 감지할 수 있다. The depth camera 710 may be configured as a TOF (Time of Flight) camera, for example, by illuminating an infrared ray on an object to be photographed, and calculating the time it takes to receive infrared ray reflected back from the object and return. , can measure the distance to an object. Since the depth camera 710 takes a depth image using infrared rays, unlike a general camera, it is possible to detect an obstacle even at night, and compared to the case of detecting an obstacle using an ultrasonic wave, the obstacle detection distance is much longer, and the obstacle The size and position of the can be detected more accurately.

깊이카메라(710)가 TOF 카메라로 구성되는 경우, 깊이카메라(710)는 적외선 조명부(infrared lighting unit, 도 1의 142) 및 적외선 수광부(infrared receiving unit, 도 1의 144)를 포함할 수 있다. When the depth camera 710 is configured as a TOF camera, the depth camera 710 may include an infrared lighting unit 142 in FIG. 1 and an infrared receiving unit 144 in FIG. 1 .

적외선 조명부(142)는 적외선을 조사하도록 구성된다. 이때, 적외선 조사는 전방을 향하여 이루어질 수 있다. 적외선 조명부(142)는 적외선 LED(Light Emitting Diode)로 이루어질 수 있으나, 적외선의 조사가 가능한 한, 반드시 이에 한정되는 것은 아니다. 한편, 적외선 조명부(142)로부터 조사되는 적외선은 태양광으로부터의 간섭을 줄이기 위해서 약 940 nm의 파장을 가지도록 구성되는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다.The infrared illuminator 142 is configured to irradiate infrared rays. At this time, infrared irradiation may be made toward the front. The infrared illuminator 142 may be formed of an infrared LED (Light Emitting Diode), but is not limited thereto as long as infrared radiation is possible. Meanwhile, the infrared ray irradiated from the infrared illuminator 142 is preferably configured to have a wavelength of about 940 nm in order to reduce interference from sunlight, but is not necessarily limited thereto.

적외선 수광부(144)는 적외선 조명부(142)로부터 조사된 적외선이 물체에 부딪혀 반사되어 돌아오는 적외선을 수광하도록 구성된다. 적외선 수광부(144)는 적외선을 수광하면 전기적 신호를 발생시킬 수 있으며, 이에 따라 적외선이 적외선 조명부(142)로부터 조사되어 적외선 수광부(144)에 되돌아올 때까지의 시간을 측정할 수 있다. The infrared light receiving unit 144 is configured to receive the infrared ray irradiated from the infrared illuminator 142 is reflected back by hitting an object. The infrared light receiving unit 144 may generate an electrical signal when receiving infrared rays, and accordingly, it is possible to measure the time until the infrared rays are irradiated from the infrared lighting unit 142 and return to the infrared light receiving unit 144 .

한편, 도 2에서 도시된 바와 같이, 깊이카메라(710)와 광각카메라(700)는 일체형으로 구성되어 하나의 모듈을 형성할 수 있다. 이 경우, 깊이카메라(710) 및 광각카메라(700)를 포함하는 모듈은, 예컨대 차량의 사이드미러(side mirror), 라디에이터 그릴(radiator grill), 트렁크(trunk) 등에 장착될 수 있다. 이때, 깊이카메라(710) 및 광각카메라(700)를 포함하는 모듈은 기존 차량의 카메라가 장착되는 부위에 그대로 장착될 수 있도록 구성되는 것이 바람직하다. Meanwhile, as shown in FIG. 2 , the depth camera 710 and the wide-angle camera 700 may be integrally configured to form one module. In this case, the module including the depth camera 710 and the wide-angle camera 700 may be mounted on, for example, a side mirror of a vehicle, a radiator grill, a trunk, and the like. In this case, it is preferable that the module including the depth camera 710 and the wide-angle camera 700 is configured to be mounted as it is in a portion where the camera of the existing vehicle is mounted.

서라운드 뷰 생성부(720)는 복수의 광각카메라(700)로부터 촬영된 영상을 합성 및 신호처리하여 서라운드 뷰 영상을 생성한다. 복수의 광각카메라(700)는 각각 차량의 사이드미러, 라디에이터 그릴, 트렁크 등에 장착된 것일 수 있으며, 이때 서라운드 뷰 이미지는 가상의 시점, 예컨대 상공에서 차량을 바라보는 시점에 해당하는 이미지가 될 수 있다. The surround view generator 720 generates a surround view image by synthesizing and signal processing images captured by the plurality of wide-angle cameras 700 . The plurality of wide-angle cameras 700 may each be mounted on a vehicle's side mirror, radiator grille, trunk, etc. In this case, the surround view image may be an image corresponding to a virtual viewpoint, for example, a viewpoint viewing the vehicle from above. .

깊이영상 생성부(730)는 깊이카메라(710)가 촬영하는 이미지를 이용하여 3D 입체영상인 깊이영상을 생성한다. 깊이영상은 촬영된 물체표면으로부터의 거리 정보가 담겨있는 이미지를 나타낼 수 있다. 예컨대, 깊이카메라(710)로부터 가까이 있는 표면은 밝은 색으로, 깊이카메라(710)로부터 멀리 있는 표면은 어두운 색으로 표현함으로써, 거리 정보를 나타낼 수 있다. 따라서, 깊이카메라(710)를 이용하여 차량 주변의 장애물과 장애물까지의 거리 등을 용이하게 감지할 수 있다. 또한, 깊이카메라(710)를 이용하여 장애물을 감지할 수 있을 뿐만 아니라 씽크홀(sink hole)의 유무도 감지할 수 있다.The depth image generator 730 generates a depth image, which is a 3D stereoscopic image, by using the image captured by the depth camera 710 . The depth image may represent an image containing distance information from the photographed object surface. For example, the distance information may be represented by expressing a surface close to the depth camera 710 with a bright color and a surface far from the depth camera 710 with a dark color. Accordingly, it is possible to easily detect obstacles around the vehicle and the distance to the obstacles using the depth camera 710 . In addition, by using the depth camera 710, not only can an obstacle be detected, but also the presence or absence of a sink hole can be detected.

주차공간 검출부(740)는 복수의 광각카메라(700)로부터 획득한 서라운드 뷰 영상을 기초로 주차선을 식별하여 차량 주변의 주차공간을 검출한다. 여기서, 주차공간은 지면 상에 존재하는 직사각형의 공간을 의미하고, 직사각형의 공간은 주차선 내부에 있는 공간을 말한다. 이때, 직사각형의 공간은, 서라운드 뷰 영상 내에서 주차선을 식별하고, 식별된 주차선들이 교차하는 4개의 지점을 기초로 검출될 수 있다. The parking space detection unit 740 detects a parking space around the vehicle by identifying a parking line based on the surround view image obtained from the plurality of wide-angle cameras 700 . Here, the parking space means a rectangular space existing on the ground, and the rectangular space means a space inside the parking line. In this case, the rectangular space may be detected based on four points at which parking lines are identified in the surround view image and the identified parking lines intersect.

주차공간의 검출을 위해, 주차공간 검출부(740)는 윤곽선 추출부(contour extraction unit, 742) 및 주차선 식별부(parking line detection unit, 744)를 포함할 수 있다. For detection of a parking space, the parking space detection unit 740 may include a contour extraction unit 742 and a parking line detection unit 744 .

또한, 도 7에는 도시되어 있지는 않으나, 주차공간 검출부(740)는, 3D 입체영상을 2D 이미지로 변환하는 과정에서 왜곡되어 보일 수 있는 곡선을 직선으로 보정하기 위한 왜곡보정부(distortion correction unit, 미도시)를 더 포함할 수 있다. In addition, although not shown in FIG. 7 , the parking space detection unit 740 includes a distortion correction unit (not shown) for correcting a curve that may be distorted in the process of converting a 3D stereoscopic image into a 2D image into a straight line. city) may be further included.

윤곽선 추출부(742)는 주차공간에 대한 윤곽선을 추출한다. 예컨대, 왜곡보정부에 의해서 보정된 이미지로부터 예컨대, 캐니 윤곽선 검출방법(Canny edge detection method)을 이용하여 차량 및 주차선에 대한 윤곽을 추출할 수 있다. The outline extraction unit 742 extracts the outline for the parking space. For example, from the image corrected by the distortion correction unit, contours for the vehicle and the parking line may be extracted using, for example, a Canny edge detection method.

주차선 식별부(744)는 윤곽선 추출부(742)가 추출한 윤곽선의 내부에 대해서 예컨대, 허프변환(Hough transform)을 적용하여 주차선을 식별한다. 허프변환은 영상 이미지 내에서 직선을 찾기 위한 알고리즘 중 하나이며, 이를 이용하여 윤곽선 내부의 직선을 추출할 수 있고, 추출된 직선을 주차선으로 식별할 수 있다.The parking line identification unit 744 identifies the parking line by applying, for example, Hough transform to the inside of the outline extracted by the outline extraction unit 742 . The Hough transform is one of the algorithms for finding a straight line in a video image, and by using it, a straight line inside the outline can be extracted, and the extracted straight line can be identified as a parking line.

장애물 감지부(750)는 복수의 깊이카메라(710)로부터 획득한 주차공간 내의 깊이영상을 기초로 차량 주변의 장애물을 감지한다. 즉, 주차공간 검출부(740)가 검출한 주차공간 내부에 장애물이 있는 경우, 깊이영상에서 장애물이 있는 부분의 색상이 주변과 다르게 나타나게 되고, 장애물 감지부(750)는 이를 기초로 주차공간 내의 장애물 유무를 감지할 수 있다. 또한, 장애물 감지부(750)는 위와 같은 방식으로 씽크홀 유무를 감지할 수도 있다. The obstacle detecting unit 750 detects obstacles around the vehicle based on the depth image in the parking space obtained from the plurality of depth cameras 710 . That is, if there is an obstacle inside the parking space detected by the parking space detection unit 740, the color of the part with the obstacle in the depth image is displayed differently from the surroundings, and the obstacle detecting unit 750 is an obstacle in the parking space based on this. presence can be detected. Also, the obstacle detecting unit 750 may detect the presence or absence of a sink hole in the same manner as above.

장애물 감지를 위해, 장애물 감지부(750)는 히스토그램 계산부(histogram calculation unit, 752) 및 화소비교부(pixel comparison unit, 754)를 포함할 수 있다.For obstacle detection, the obstacle detection unit 750 may include a histogram calculation unit 752 and a pixel comparison unit 754 .

히스토그램 계산부(752)는 주차공간 내의 깊이영상에 대한 히스토그램을 계산한다. 예컨대, 히스토그램 계산부(752)는 주차공간을 일정 간격으로 분할하여 분할구역마다 픽셀값에 대한 히스토그램을 계산하고, 분할구역 간에 히스토그램의 차이가 얼마나 나는지 등을 계산할 수 있다. 이러한 히스토그램의 차이를 기초로 장애물 감지부(750)는 주차공간 내에 존재하는 장애물(obstacle)을 감지할 수 있다. The histogram calculation unit 752 calculates a histogram of the depth image in the parking space. For example, the histogram calculation unit 752 may divide the parking space at regular intervals to calculate a histogram of pixel values for each divided area, and calculate how much the histogram differs between the divided areas. Based on the difference in the histogram, the obstacle detecting unit 750 may detect an obstacle existing in the parking space.

화소비교부(754)는 주차공간 내의 깊이영상에 대한 수직 및 수평 스캐닝(scanning)을 이용하여 이웃한 픽셀 간의 유사성을 비교한다. 예컨대, 깊이영상 내에 장애물이 있는 경우, 장애물이 있는 영역의 픽셀은 이웃한 픽셀과 비교했을 때, 큰 차이가 나타나게 되고, 픽셀값을 수직 및 수평 스캐닝함으로써, 이러한 큰 차이를 파악할 수 있다. 따라서, 장애물 감지부(750)는 이웃한 픽셀 간의 유사성을 기초로 주차공간 내의 장애물을 감지할 수 있다. The pixel comparison unit 754 compares the similarity between neighboring pixels by using vertical and horizontal scanning of the depth image in the parking space. For example, when there is an obstacle in the depth image, a large difference appears between the pixels in the area with the obstacle compared with the neighboring pixels, and this large difference can be recognized by scanning the pixel values vertically and horizontally. Accordingly, the obstacle detecting unit 750 may detect an obstacle in the parking space based on the similarity between neighboring pixels.

주차가능성 판단부(760)는 주차공간의 크기 및 장애물 감지여부를 기초로 차량의 주차가 가능한지 여부를 판단한다. The parking possibility determination unit 760 determines whether the vehicle can be parked based on the size of the parking space and whether obstacles are detected.

주차가능성 판단부(760)는 우선 주차공간 검출부(740)가 검출한 주차공간의 크기가 차량의 주차가 가능한 크기인지 여부를 판단한다. 따라서, 주차가능성 판단부(760)에는 운전자가 탑승한 차량의 크기에 대한 정보가 저장되어 있을 수 있으며, 이에 따라 주차공간 검출부(740)에 의해 검출된 직사각형의 주차공간이 차량의 크기에 비해 충분히 크지 못한 경우, 주차가 불가능하다고 판단할 수 있다. The parking possibility determination unit 760 first determines whether the size of the parking space detected by the parking space detection unit 740 is the size in which the vehicle can be parked. Accordingly, the parking possibility determination unit 760 may store information about the size of the vehicle the driver is riding in, and accordingly, the rectangular parking space detected by the parking space detection unit 740 is sufficiently large compared to the size of the vehicle. If it is not large, it may be determined that parking is impossible.

또한, 주차가능성 판단부(760)는 장애물 감지부(750)가 장애물을 감지하였는지 여부에 따라 검출된 주차공간이 주차가 가능한 영역인지를 판단할 수 있다. 예컨대, 주차공간의 크기가 주차하고자 하는 차량의 크기에 비해 충분히 큰 경우라도, 주차공간 내에 장애물이 있거나 씽크홀이 존재하는 경우, 주차가 불가능할 수 있으므로 이 경우, 주차가능성 판단부(760)는 주차가 불가능한 영역이라고 판단할 수 있다. In addition, the parking possibility determination unit 760 may determine whether the detected parking space is a parking area according to whether the obstacle detection unit 750 detects an obstacle. For example, even when the size of the parking space is sufficiently large compared to the size of the vehicle to be parked, if there is an obstacle or a sink hole in the parking space, parking may not be possible. It can be considered as an impossible area.

다만, 주차가능성 판단부(760)는 장애물 감지부(750)에 의해 감지된 장애물 및/또는 씽크홀이 감지된 경우에도, 장애물 및/또는 씽크홀의 위치가 예컨대, 주차공간의 가장자리에 존재하여, 장애물 및/또는 씽크홀의 존재에도 불구하고 충분한 주차공간이 확보되는 경우, 주차가 가능한 영역이라고 판단할 수도 있다. 이때, 장애물 및/또는 씽크홀의 위치는 히스토그램 계산부(752) 및 화소비교부(754)의 계산 및 비교를 기초로 판단할 수 있다.However, even when the obstacle and/or the sink hole detected by the obstacle detection unit 750 is detected, the parking possibility determination unit 760 may determine that the position of the obstacle and/or the sink hole is, for example, at the edge of the parking space. When a sufficient parking space is secured despite the presence of an obstacle and/or a sinkhole, it may be determined that the parking area is available. In this case, the position of the obstacle and/or the sinkhole may be determined based on the calculation and comparison of the histogram calculation unit 752 and the pixel comparison unit 754 .

디스플레이부(770)는 차량 내부에 구비되어, 주차가능성 판단부(760)가 주차가 가능하다고 판단한 경우, 운전자에게 주차가능 표시를 하도록 구성된다. 디스플레이부(770)는 차량의 클러스터(cluster), 센터페시아(center fascia) 등에 구비될 수 있으나, 운전자가 주차가능 표시를 볼 수 있는 한, 반드시 위와 같은 위치에 한정되는 것은 아니다. The display unit 770 is provided inside the vehicle, and when the parking possibility determination unit 760 determines that parking is possible, the display unit 770 is configured to display a parking possibility to the driver. The display unit 770 may be provided in a vehicle cluster, a center fascia, or the like, but is not necessarily limited to the above position as long as the driver can see the parking available indication.

알람부(780)는 차량 내부에 구비되어, 주차가능성 판단부(760)가 주차가 가능하다고 판단한 경우, 운전자에게 주차가능 알림을 울리도록 구성된다.The alarm unit 780 is provided inside the vehicle, and when the parking possibility determination unit 760 determines that parking is possible, it is configured to sound a parking available notification to the driver.

본 개시의 일 실시예에 따른 주차보조 장치는 차량용 카메라를 이용하고, 위와 같은 구성을 포함함으로써, 주차공간 인식은 물론 주차공간 내 장애물 감지를 보다 정확하게 하여 주차를 보조할 수 있다.The parking assistance device according to an embodiment of the present disclosure may assist parking by using a vehicle camera and including the above configuration to more accurately detect obstacles in a parking space as well as recognize a parking space.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and a person skilled in the art to which this embodiment belongs may make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.

10: 차량용 카메라 100: 외부커버
105: 적외선 통과부 110: 렌즈 모듈
120: 제1 방수부재 130: 제2 방수부재
140: 깊이카메라 모듈 142: 적외선 조명부
144: 적외선 수광부 150: 커넥터
160: 전방하우징 170: 이미지센서
180: 회로기판 190: 후방하우징
300: 입출력 단자 400: 사이드미러
500: 라디에이터 그릴 600: 트렁크
700: 광각카메라 710: 깊이카메라
720: 서라운드 뷰 생성부 730: 깊이영상 생성부
740: 주차공간 검출부 742: 윤곽선 추출부
744: 주차선 식별부 750: 장애물 감지부
752: 히스토그램 계산부 754: 화소비교부
760: 주차가능성 판단부 770: 디스플레이부
780: 알람부
10: vehicle camera 100: outer cover
105: infrared passing unit 110: lens module
120: first waterproof member 130: second waterproof member
140: depth camera module 142: infrared lighting unit
144: infrared light receiving unit 150: connector
160: front housing 170: image sensor
180: circuit board 190: rear housing
300: input/output terminal 400: side mirror
500: radiator grill 600: trunk
700: wide-angle camera 710: depth camera
720: surround view generator 730: depth image generator
740: parking space detection unit 742: contour extraction unit
744: parking line identification unit 750: obstacle detection unit
752: histogram calculation unit 754: pixel comparison unit
760: parking possibility determination unit 770: display unit
780: alarm unit

Claims (16)

복수의 렌즈가 렌즈배럴(lens barrel)에 조립된 렌즈 모듈(lens module);
상기 렌즈 모듈을 통과하여 입사된 빛을 전기적 신호로 변환하도록 구성된 이미지센서(image sensor)를 포함하는 회로기판(circuit board);
전방에 상기 렌즈 모듈이 조립되고, 후방에 상기 회로기판이 조립되도록 구성된 전방하우징(front housing);
상기 전방하우징의 후방에 결합되어, 상기 회로기판을 둘러싸도록 구성된 후방하우징(rear housing);
상기 렌즈 모듈의 적어도 일부를 감싸도록 중공형(hollow type)으로 구성되고, 적외선이 통과할 수 있도록 구성된 적어도 하나의 적외선 통과부(infrared passing portion)를 구비한 외부커버(outer cover); 및
상기 외부커버의 내부에 포함되고, 상기 전방하우징의 전방에 조립되어 상기 적외선 통과부를 이용하여 차량 주변의 장애물 감지를 위한 깊이영상(depth map)을 촬영하도록 구성된 깊이카메라 모듈(depth camera module)
을 포함하는 것을 특징으로 하는 차량용 카메라.
a lens module in which a plurality of lenses are assembled to a lens barrel;
a circuit board including an image sensor configured to convert light incident through the lens module into an electrical signal;
a front housing configured such that the lens module is assembled in the front and the circuit board is assembled in the rear;
a rear housing coupled to the rear of the front housing and configured to surround the circuit board;
an outer cover configured as a hollow type to surround at least a portion of the lens module and having at least one infrared passing portion configured to allow infrared rays to pass therethrough; and
A depth camera module included in the outer cover, assembled in front of the front housing and configured to take a depth map for detecting obstacles around a vehicle using the infrared passing part.
A vehicle camera comprising a.
제 1항에 있어서,
상기 깊이카메라 모듈 및 상기 회로기판을 전기적으로 연결시키되, 상기 깊이카메라 모듈의 위치를 고정시키도록 구성된 커넥터(connector)를 더 포함하는 것을 특징으로 하는 차량용 카메라.
The method of claim 1,
Doedoe electrically connecting the depth camera module and the circuit board, the vehicle camera characterized in that it further comprises a connector (connector) configured to fix the position of the depth camera module.
제 1항에 있어서,
상기 렌즈 모듈 및 상기 외부커버가 조립되는 공간 사이가 수밀되도록 구성된 제1 방수부재(first waterproof member)를 더 포함하는 것을 특징으로 하는 차량용 카메라.
The method of claim 1,
The vehicle camera, characterized in that it further comprises a first waterproof member (first waterproof member) configured to be watertight between the space in which the lens module and the outer cover are assembled.
제 1항에 있어서,
상기 렌즈 모듈 및 상기 전방하우징이 조립되는 공간 사이가 수밀(watertight)되도록 구성된 제2 방수부재(second waterproof member)를 더 포함하는 것을 특징으로 하는 차량용 카메라.
The method of claim 1,
Vehicle camera, characterized in that it further comprises a second waterproof member (second waterproof member) configured to be watertight (watertight) between the space in which the lens module and the front housing are assembled.
제 1항에 있어서,
상기 깊이카메라 모듈은,
적외선을 조사하도록 구성된 적외선 조명부(infrared lighting unit); 및
조사된 적외선이 물체에 부딪혀 반사되어 돌아오는 적외선을 수광하도록 구성된 적외선 수광부(infrared receiving unit)를 포함하는 것을 특징으로 하는 차량용 카메라.
The method of claim 1,
The depth camera module,
an infrared lighting unit configured to irradiate infrared; and
A vehicle camera, comprising: an infrared receiving unit configured to receive infrared rays that are reflected by irradiated infrared rays hitting an object and returned.
제 5항에 있어서,
상기 적외선 통과부는 2개로 구성되고,
각각의 상기 적외선 통과부는 상기 적외선 조명부 및 상기 적외선 수광부의 위치에 대응되도록 배치되는 것을 특징으로 하는 차량용 카메라.
6. The method of claim 5,
The infrared passing part is composed of two,
Each of the infrared passing units is a vehicle camera, characterized in that it is arranged to correspond to the position of the infrared illuminator and the infrared light receiving unit.
제 1항에 있어서,
상기 전방하우징, 상기 후방하우징 및 상기 외부커버는 플라스틱(plastic) 소재로 이루어지되,
상기 전방하우징과 상기 후방하우징 및 상기 전방하우징과 상기 외부커버는 초음파(ultrasonic wave) 또는 레이저(laser)를 이용하여 융착(fusion)결합되는 것을 특징으로 하는 차량용 카메라.
The method of claim 1,
The front housing, the rear housing and the outer cover are made of a plastic material,
The vehicle camera, characterized in that the front housing and the rear housing, and the front housing and the outer cover are fusion-bonded using an ultrasonic wave or a laser.
제 1항에 있어서,
상기 전방하우징, 상기 후방하우징 및 상기 외부커버는 금속(metal) 소재로 이루어지되,
상기 전방하우징과 상기 후방하우징 및 상기 전방하우징과 상기 외부커버는 레이저를 이용하여 용접(welding)결합되는 것을 특징으로 하는 차량용 카메라.
The method of claim 1,
The front housing, the rear housing and the outer cover are made of a metal material,
The vehicle camera, characterized in that the front housing and the rear housing, and the front housing and the outer cover are welded (welding) using a laser.
제 1항에 따른 차량용 카메라가 차량의 사이드미러(side mirror), 라디에이터 그릴(radiator grill) 및 트렁크(trunk)에 장착되는 것을 특징으로 하는 자동차.The vehicle camera according to claim 1, characterized in that the vehicle is mounted on the side mirror (side mirror), the radiator grill (radiator grill) and the trunk (trunk) of the vehicle. 차량용 카메라를 이용한 주차보조 장치에 있어서,
차량에 장착되어 상기 차량 주변의 공간을 촬영하도록 구성된 복수의 광각카메라(wide angle camera);
상기 차량에 장착되어 상기 차량 주변의 깊이영상을 촬영하도록 구성된 복수의 깊이카메라;
상기 복수의 광각카메라로부터 획득한 서라운드 뷰(surround view) 영상을 기초로 주차선을 식별하여 상기 차량 주변의 주차공간을 검출하는 주차공간 검출부(parking space detection unit);
상기 복수의 깊이카메라로부터 획득한 상기 주차공간 내의 깊이영상을 기초로 상기 차량 주변의 장애물을 감지하는 장애물 감지부(obstacle detection unit); 및
상기 주차공간의 크기 및 장애물 감지여부를 기초로 상기 차량의 주차가 가능한지 여부를 판단하는 주차가능성 판단부(parking availability determining unit)
를 포함하는 것을 특징으로 하는 주차보조 장치.
In the parking assist device using a vehicle camera,
a plurality of wide angle cameras mounted on the vehicle and configured to photograph a space around the vehicle;
a plurality of depth cameras mounted on the vehicle and configured to capture depth images around the vehicle;
a parking space detection unit for detecting a parking space around the vehicle by identifying a parking line based on a surround view image obtained from the plurality of wide-angle cameras;
an obstacle detection unit configured to detect an obstacle around the vehicle based on the depth image in the parking space obtained from the plurality of depth cameras; and
A parking availability determining unit that determines whether the vehicle can be parked based on the size of the parking space and whether obstacles are detected
A parking assist device comprising a.
제 10항에 있어서,
상기 주차공간 검출부는,
상기 주차공간에 대한 윤곽선을 추출하는 윤곽선 추출부(contour extraction unit); 및
상기 윤곽선 추출부가 추출한 윤곽선의 내부에 대해서 허프변환(Hough transform)을 적용하여 주차선을 식별하는 주차선 식별부(parking line detection unit)
를 포함하는 것을 특징으로 하는 주차보조 장치.
11. The method of claim 10,
The parking space detection unit,
a contour extraction unit for extracting a contour for the parking space; and
A parking line detection unit that identifies a parking line by applying a Hough transform to the inside of the outline extracted by the outline extraction unit
A parking assist device comprising a.
제 10항에 있어서,
상기 주차공간 검출부는,
식별된 주차선들이 교차하는 4개의 지점을 기초로 한 직사각형을 주차공간으로 검출하는 것을 특징으로 하는 주차보조 장치.
11. The method of claim 10,
The parking space detection unit,
A parking assist device, characterized in that it detects a rectangle based on four points where the identified parking lines intersect as a parking space.
제 10항에 있어서,
상기 장애물 감지부는,
상기 주차공간 내의 깊이영상에 대한 히스토그램을 계산하는 히스토그램 계산부(histogram calculation unit)를 포함하고,
상기 히스토그램 계산부가 계산한 히스토그램을 기초로 상기 주차공간 내에 장애물을 감지하는 것을 특징으로 하는 주차보조 장치.
11. The method of claim 10,
The obstacle detection unit,
and a histogram calculation unit for calculating a histogram for the depth image in the parking space,
Parking assistance device, characterized in that for detecting an obstacle in the parking space based on the histogram calculated by the histogram calculation unit.
제 10항에 있어서,
상기 장애물 감지부는,
상기 주차공간 내의 깊이영상에 대한 수직 및 수평 스캐닝(scanning)을 이용하여 이웃한 픽셀 간의 유사성을 계산하는 화소비교부(pixel comparison unit)를 포함하되,
이웃한 픽셀 간의 유사성을 기초로 상기 주차공간 내에 장애물을 감지하는 것을 특징으로 하는 주차보조 장치.
11. The method of claim 10,
The obstacle detection unit,
A pixel comparison unit for calculating the similarity between neighboring pixels by using vertical and horizontal scanning of the depth image in the parking space,
A parking assist device, characterized in that it detects an obstacle in the parking space based on the similarity between neighboring pixels.
제 10항에 있어서,
상기 차량 내부에 구비되어, 상기 주차가능성 판단부가 주차가 가능하다고 판단한 경우, 운전자에게 주차가능 표시를 하도록 구성된 디스플레이부(display unit); 및
상기 차량 내부에 구비되어, 상기 주차가능성 판단부가 주차가 가능하다고 판단한 경우, 운전자에게 주차가능 알람을 울리도록 구성된 알람부(alarm unit)
를 더 포함하는 것을 특징으로 하는 주차보조 장치.
11. The method of claim 10,
a display unit provided inside the vehicle and configured to display a parking available display to the driver when the parking possibility determination unit determines that parking is possible; and
An alarm unit provided inside the vehicle and configured to sound a parking available alarm to the driver when the parking possibility determination unit determines that parking is possible
Parking assist device, characterized in that it further comprises.
제 10항에 있어서,
상기 광각카메라와 상기 깊이카메라는 일체형으로 구성되어 하나의 모듈(module)을 형성하는 것을 특징으로 하는 주차보조 장치.
11. The method of claim 10,
The wide-angle camera and the depth camera are integrally configured to form a single module (module).
KR1020200179860A 2020-12-21 2020-12-21 Camera for Vehicle And Parking Assistance Apparatus Having the Same KR20220089787A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200179860A KR20220089787A (en) 2020-12-21 2020-12-21 Camera for Vehicle And Parking Assistance Apparatus Having the Same
US17/501,913 US11816904B2 (en) 2020-12-21 2021-10-14 Camera for vehicle and parking assistance apparatus having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200179860A KR20220089787A (en) 2020-12-21 2020-12-21 Camera for Vehicle And Parking Assistance Apparatus Having the Same

Publications (1)

Publication Number Publication Date
KR20220089787A true KR20220089787A (en) 2022-06-29

Family

ID=82023200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200179860A KR20220089787A (en) 2020-12-21 2020-12-21 Camera for Vehicle And Parking Assistance Apparatus Having the Same

Country Status (2)

Country Link
US (1) US11816904B2 (en)
KR (1) KR20220089787A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024072048A1 (en) * 2022-09-29 2024-04-04 엘지이노텍 주식회사 Camera module and vehicle comprising same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375476A1 (en) * 2013-06-24 2014-12-25 Magna Electronics Inc. Vehicle alert system
KR101770872B1 (en) 2013-12-27 2017-08-23 주식회사 만도 TOF camera for vehicle and method for driving thereof
US9703176B2 (en) * 2014-01-20 2017-07-11 Lg Innotek Co., Ltd. Camera module for providing operational convenience
KR101621370B1 (en) * 2014-08-13 2016-05-17 고려대학교 산학협력단 Method and Apparatus for detecting lane of road
KR102012776B1 (en) * 2017-08-29 2019-08-21 엘지전자 주식회사 Around view monitoring apparatus for vehicle and vehicle
US11195331B2 (en) * 2019-03-16 2021-12-07 Nvidia Corporation Object detection using skewed polygons suitable for parking space detection
KR20210050055A (en) * 2019-10-25 2021-05-07 현대모비스 주식회사 Sensor-cluster apparatus
TWI745175B (en) * 2020-08-13 2021-11-01 大陽科技股份有限公司 Driving device, camera module and electronic device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024072048A1 (en) * 2022-09-29 2024-04-04 엘지이노텍 주식회사 Camera module and vehicle comprising same

Also Published As

Publication number Publication date
US20220198202A1 (en) 2022-06-23
US11816904B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
US20210291751A1 (en) Vehicular driver monitoring system with camera having micro lens array
US10324297B2 (en) Heads up display system for vehicle
US10504241B2 (en) Vehicle camera calibration system
US11836989B2 (en) Vehicular vision system that determines distance to an object
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US20170280034A1 (en) Vehicle vision system camera with enhanced imager and lens assembly
US10137842B2 (en) Camera system for a vehicle
US11648877B2 (en) Method for detecting an object via a vehicular vision system
WO2006036398A2 (en) Method and apparatus for producing a fused image
US20140009589A1 (en) Vehicle having a device for detecting the surroundings of said vehicle
US20210241492A1 (en) Vehicular vision system with camera calibration using calibration target
US20210286082A1 (en) Distance measuring device and distance measuring device control method
CN110750153A (en) Dynamic virtualization device of unmanned vehicle
CN114424022A (en) Distance measuring apparatus, distance measuring method, program, electronic device, learning model generating method, manufacturing method, and depth map generating method
KR20220089787A (en) Camera for Vehicle And Parking Assistance Apparatus Having the Same
US11718243B2 (en) Vehicular camera system with forward viewing camera
KR101868293B1 (en) Apparatus for Providing Vehicle LIDAR
US10440249B2 (en) Vehicle vision system camera with semi-reflective and semi-transmissive element
US11021102B2 (en) Vehicular rain sensing system using forward viewing camera
KR20220089788A (en) Method And Apparatus for Parking Assistance Using Camera for Vehicle
CN211032395U (en) Autonomous vehicle
US20230169678A1 (en) Apparatus and method for processing an image of a vehicle
US20230311770A1 (en) Vehicular camera focus test system using light collimator in controlled test chamber
JP4381394B2 (en) Obstacle detection device and method
KR20220153804A (en) LIDAR apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right