KR102251573B1 - Vehicle-side multi-camera device and vehicle surroundings information providing device - Google Patents
Vehicle-side multi-camera device and vehicle surroundings information providing device Download PDFInfo
- Publication number
- KR102251573B1 KR102251573B1 KR1020200029756A KR20200029756A KR102251573B1 KR 102251573 B1 KR102251573 B1 KR 102251573B1 KR 1020200029756 A KR1020200029756 A KR 1020200029756A KR 20200029756 A KR20200029756 A KR 20200029756A KR 102251573 B1 KR102251573 B1 KR 102251573B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- unit
- camera
- area
- information
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000005286 illumination Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000000926 separation method Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000005294 ferromagnetic effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910001172 neodymium magnet Inorganic materials 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/2257—
-
- H04N5/247—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/42—
-
- B60W2420/52—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
본 발명은 멀티 카메라 장치 및 이를 이용한 차량 주변 상황 정보 제공 장치에 관한 것으로써, 보다 상세하게는 차량에 탈착가능하게 부착되는 차량 측면 부착형 멀티 카메라 장치 및 이를 이용한 차량 주변 상황 정보 제공 장치에 관한 것이다.The present invention relates to a multi-camera device and a device for providing situation information around a vehicle using the same, and more particularly, to a vehicle side-attached multi-camera device detachably attached to a vehicle, and a device for providing situation information around a vehicle using the same. .
운전자는 운전할 경우에 차량 주변의 다양한 상황 변화를 감지하면서 변화된 상황에 대응해야 한다. 만약 운전자가 상황 변화를 제대로 감지하지 못하면, 위험한 상황에 놓일 수 있고, 이러한 위험한 상황으로 인하여 교통 사고등이 발생할 수 있다. 운전자가 주변 상황 변화를 인지하려 노력하더라도, 주변 상황이 열악한 경우에는 운전자의 감각만으로는 상황 변화를 감지하기 어렵게 되고, 큰 위험에 노출될 수 있다.When driving, the driver must respond to the changed situation while detecting changes in various situations around the vehicle. If the driver does not properly detect the change in the situation, it may be in a dangerous situation, and a traffic accident may occur due to such a dangerous situation. Even if the driver tries to recognize the change in the surrounding situation, when the surrounding situation is poor, it becomes difficult to detect the change in the situation only by the driver's sense, and may be exposed to a great risk.
사각지대는 'Blind Spot'이라고 부르고, 눈에 보이지 않는 곳을 의미한다. 군사용어로 'Dead Zone'이라고도 부르는 사각지대는 죽음을 부르는 장소를 의미한다. 차량의 경우에 사이드미러(side-mirror)로 볼 수 없는 운전 사각지대도 죽음을 부르는 곳이라고 볼 수 있다. 사이드미러의 사각지대는 밤이 긴 겨울에 더 무서운 존재가 된다. 밤에는 사각지대가 넓어지기 때문이다. 사물이 어둠에 묻히거나 화려한 네온사인에 사각지대 쪽으로 오는 자동차의 전조등을 제대로 파악하기 어려워지기 때문이다. 썬팅을 짙게 했거나 눈비라도 내린다면 더욱 심각한 상황이 발생될 수 있다.The blind spot is called'Blind Spot' and means a place that is invisible. The blind spot, also called'Dead Zone' in military terminology, means a place that calls for death. In the case of vehicles, driving blind spots that cannot be seen through side-mirrors can be seen as a place of death. The blind spot of the side mirror becomes more scary in the winter when the night is long. This is because the blind spot widens at night. This is because it becomes difficult to properly grasp the headlights of cars coming toward the blind spot due to objects being buried in the dark or flashy neon signs. A more serious situation can occur if you have darkened tinting or even snow and rain.
이러한 심각한 상황의 발생을 예방하거나 감소시키기 위해서 차량의 사이드미러에 보조 유리를 장착하거나 각종의 센서 및 카메라 등을 설치하여 사각지대의 범위를 줄여주거나 없애주려는 다양한 시도가 이루어지고 있다.In order to prevent or reduce the occurrence of such a serious situation, various attempts have been made to reduce or eliminate the range of blind spots by installing an auxiliary glass on the side mirror of a vehicle or by installing various sensors and cameras.
운전자가 주변 상황 변화를 즉각적으로 감지하고, 위험한 상황에 대응하기 위해서 운전자의 감각에만 의존할 수 없기 때문에 운전자를 도울 수 있는 각종의 센서 및 카메라 등의 안전 편의 장비를 차량에 설치하여 운영하고 있다.Since the driver cannot rely solely on the driver's senses to immediately detect changes in surrounding conditions and respond to dangerous situations, safety convenience equipment such as various sensors and cameras that can help the driver are installed and operated in the vehicle.
이러한 안전 편의 장비들은 운전자의 주의 노력을 경감시켜줘서 운전의 피로도를 감소시켜주고, 사각지대의 영역을 줄여줌으로써 교통사고 발생율을 낮춰주며, 대형 사고로 발전하는 것을 방지할 수 있는 새로운 타입의 차량 부착형 멀티 카메라 장치에 대한 개발의 필요성이 있다.These safety convenience devices reduce driver's attention and effort, reduce driving fatigue, reduce the area of blind spots, reduce the incidence of traffic accidents, and attach a new type of vehicle that can prevent the development of large-scale accidents. There is a need to develop a multi-camera device.
상술한 필요성에 의해서 안출된 본 발명은 차량의 사이드미러 인접 영역에 설치되서, 차량의 전방 및 측방에서 발생되는 각종의 상황 정보를 운전자에게 즉각적이고, 직관적인 방식으로 제공하기 위한 차량 주변에사 발생되는 주변 상황 정보를 획득할 수 있는 차량 측면 부착형 멀티 카메라 장치를 제공하는 것을 목적으로 한다.The present invention conceived by the necessity described above is installed in the area adjacent to the side mirror of the vehicle, and is generated around the vehicle to provide the driver with various situational information generated in the front and side of the vehicle in an immediate and intuitive manner. An object of the present invention is to provide a vehicle side-attached multi-camera device capable of acquiring information on surrounding conditions.
상기 목적을 달성하기 위하여 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치에 있어서, 차량의 사이드미러 주변 영역에 탈착가능하게 설치되는 몸체부; 상기 차량의 전방을 지향하는 상기 몸체부의 제1 면에 구비되고, 상기 차량의 전방 영역을 촬상할 수 있는 전방 카메라부; 상기 전방 카메라부가 설치된 상기 제1 면의 일 영역에 구비되고, 상기 차량의 전방에 위치하는 물체를 감지하는 물체 감지부; 상기 차량의 후방을 지향하는 상기 몸체부의 제2 면의 일 영역에 구비되고, 상기 차량의 후방 영역을 촬상할 수 있는 후방 카메라부; 상기 몸체의 상기 제2 면의 일 영역에 구비되고, 상기 차량의 후방 영역에 대한 디스패리티 맵을 생성하기 위한 영상을 촬상할 수 있도록 2개의 카메라 렌즈를 구비하는 스테레오 카메라부; 상기 스테레오 카메라부의 2개의 카메라 렌즈 사이에 위치하고, 후방 방향으로 조명을 조사하는 조명부; 상기 몸체부의 내부에 실장되고, 인터페이스모듈, 제어모듈, 통신모듈을 포함하는 제어부; 및 상기 몸체부를 상기 차량의 일 측면에 탈착가능하게 부착시키는 탈착부;를 포함한다.In order to achieve the above object, there is provided a vehicle side-mounted multi-camera device according to an embodiment of the present invention, comprising: a body portion detachably installed in an area around a side mirror of a vehicle; A front camera unit provided on a first surface of the body portion facing the front of the vehicle and capable of capturing a front area of the vehicle; An object detection unit provided in an area of the first surface in which the front camera unit is installed and configured to detect an object positioned in front of the vehicle; A rear camera unit provided in an area of the second surface of the body portion facing the rear of the vehicle and capable of capturing a rear area of the vehicle; A stereo camera unit provided on an area of the second surface of the body and including two camera lenses to capture an image for generating a disparity map for a rear area of the vehicle; An illumination unit positioned between the two camera lenses of the stereo camera unit and irradiating illumination in a rearward direction; A control unit mounted inside the body and including an interface module, a control module, and a communication module; And a detachable part detachably attaching the body part to one side of the vehicle.
이 경우에, 상기 몸체부는, 상기 차량의 설치면에 대해서 외부로 일정 높이로 돌출되고, 돌출 높이는 조절가능하다.In this case, the body portion protrudes to the outside with respect to the installation surface of the vehicle at a predetermined height, and the protrusion height is adjustable.
한편, 상기 전방 카메라부는, RGB 카메라이다.Meanwhile, the front camera unit is an RGB camera.
한편, 상기 물체 감지부는, LiDar 센서 또는 Radar 센서 또는 이들의 조합된 구성된다.On the other hand, the object detection unit is configured with a LiDar sensor or a radar sensor, or a combination thereof.
한편, 상기 스테레오 카메라부는, 상기 2개의 카메라에서 각각 촬상된 2개의 영상을 이용하여 디스패리티 맵을 생성하고, 상기 생성된 디스패리티 맵에 기초하여 차량의 일측 후방 영역에 위치하는 물체 검지 및 차량과의 거리를 측정하며, 상기 후방 카메라부는 차선 감지를 위한 영상을 촬상한다.Meanwhile, the stereo camera unit generates a disparity map using two images respectively captured by the two cameras, and detects an object located in a rear area of a vehicle and a vehicle based on the generated disparity map. The distance is measured, and the rear camera unit captures an image for lane detection.
한편, 상기 제어부는, 상기 전방 카메라부, 상기 물체 감지부, 상기 후방 카메라부 및 상기 스테레오 카메라부로부터 수신된 차량 주변에 관한 다양한 상황 정보를 이용하여 통합 알림 정보를 생성한다.Meanwhile, the control unit generates integrated notification information by using various situational information about the vehicle surroundings received from the front camera unit, the object detection unit, the rear camera unit, and the stereo camera unit.
한편, 상기 통합 알림 정보를 사용자에게 제공하는 정보 제공부;를 더 포함하고, 상기 정보 제공부는 상기 몸체부와 일체형 또는 분리형으로 구성될 수 있다.Meanwhile, an information providing unit for providing the integrated notification information to a user may be further included, and the information providing unit may be configured as an integral or separate type with the body unit.
본 발명의 다른 실시 예에 따른 차량의 사이드미러 주변 영역에 탈착가능하게 설치되는 몸체부; 상기 차량의 전방을 지향하는 상기 몸체부의 제1 면에 구비되고, 상기 차량의 전방 영역을 촬상할 수 있는 전방 카메라부; 상기 전방 카메라부가 설치된 상기 제1 면의 일 영역에 구비되고, 상기 차량의 전방에 위치하는 물체를 감지하는 물체 감지부; 상기 차량의 후방을 지향하는 상기 몸체부의 제2 면의 일 영역에 구비되고, 상기 차량의 후방 영역을 촬상할 수 있는 후방 카메라부; 상기 몸체의 상기 제2 면의 일 영역에 구비되고, 상기 차량의 후방 영역에 대한 디스패리티 맵을 생성하기 위한 영상을 촬상할 수 있는 스테레오 카메라부; 상기 스테레오 카메라부의 2개의 카메라 렌즈 사이에 위치하고, 후방 방향으로 광을 조사하는 조명부; 상기 몸체부의 내부에 실장되고, 인터페이스모듈, 제어모듈, 통신모듈을 포함하는 제어부; 및 상기 몸체부를 상기 차량의 일 측면에 탈착가능하게 부착시키는 탈착부;를 포함하는 차량 측면 부착형 멀티 카메라 장치를 이용한 차량 주변 상황 정보 제공 장치는, 상기 차량의 안쪽에 설치되는 라인 조명부; 및 상기 몸체부와 일체형 또는 분리형으로 구성되고, 운전자에게 종합 알림 정보를 제공하는 정보 제공부;를 포함하고, 상기 제어부는 상기 후방 카메라부로부터 수신된 차선 검지 정보와 상기 스테레오 카메라를 통해서 수신된 물체 검지 및 거리 정보를 이용하여 해당 차량의 차선 변경 여부에 따라 상기 라인 조명부의 조명 방식을 다르게 제어하거나 상기 정보 제공부를 통해서 상기 종합 알림 정보를 제공한다.A body portion detachably installed in a region around a side mirror of a vehicle according to another embodiment of the present invention; A front camera unit provided on a first surface of the body portion facing the front of the vehicle and capable of capturing a front area of the vehicle; An object detection unit provided in an area of the first surface in which the front camera unit is installed and configured to detect an object positioned in front of the vehicle; A rear camera unit provided in an area of the second surface of the body portion facing the rear of the vehicle and capable of capturing a rear area of the vehicle; A stereo camera unit provided in an area of the second surface of the body and capable of capturing an image for generating a disparity map for a rear area of the vehicle; An illumination unit positioned between the two camera lenses of the stereo camera unit and irradiating light in a rearward direction; A control unit mounted inside the body and including an interface module, a control module, and a communication module; And a detachable unit for detachably attaching the body part to one side of the vehicle, comprising: a line lighting unit installed inside the vehicle; And an information providing unit configured integrally or separate from the body unit and providing comprehensive notification information to the driver, wherein the control unit includes lane detection information received from the rear camera unit and an object received through the stereo camera. The lighting method of the line lighting unit is differently controlled according to whether or not a lane of a corresponding vehicle is changed using detection and distance information, or the comprehensive notification information is provided through the information providing unit.
이 경우에, 상기 제어부는, 상기 차량의 후방에 감지된 차량의 거리에 따라 상기 라인 조명부의 라인 조명의 일부 또는 전부를 조명하도록 제어하고, 조명되는 라인의 길이에 따라 다른 색을 이용하여 조명하도록 제어한다.In this case, the control unit controls to illuminate a part or all of the line illumination of the line lighting unit according to the distance of the vehicle detected at the rear of the vehicle, and to illuminate using a different color according to the length of the illuminated line. Control.
한편, 상기 제어부는, 차량의 다양한 위치에 설치된 복수의 카메라로부터 실시간으로 영상을 수신하고, 수신된 영상을 이용하여 적응적 상황 정보를 운전자에게 상기 정보 제공부를 통해서 시각적 또는 비시각적 방식으로 제공한다.Meanwhile, the controller receives images in real time from a plurality of cameras installed at various locations of the vehicle, and provides adaptive situation information to the driver in a visual or non-visual manner through the information providing unit using the received images.
본 발명의 다양한 실시 예에 따르면, 차량의 전방 및 측방 영역 중 운전자가 인지하기 어려운 사이드미러 사각지대에서 발생되는 상황에 대한 정보를 획득하여 운전자에게 직관적이고 즉각적인 방식으로 제공함으로써, 운전자가 사각지대를 인지하지 못하여 발생되는 사고 발생율을 낮춰주는 효과를 발휘하고,According to various embodiments of the present disclosure, information about a situation occurring in a blind spot in a side mirror that is difficult for the driver to recognize among the front and side regions of a vehicle is obtained and provided to the driver in an intuitive and immediate manner, so that the driver can provide the blind spot. It has the effect of lowering the incidence of accidents caused by unawareness,
또한, 차량의 측면에 간편한 방식으로 설치되고, 차량의 다른 안전 장비와도 연동하여 차량에 대한 종합적인 주변 상황 정보를 제공함으로써, 사용자의 운전 편의성이 향상되는 효과를 발휘한다. In addition, it is installed on the side of the vehicle in a simple manner, and by interlocking with other safety equipment of the vehicle to provide comprehensive surrounding situation information about the vehicle, the user's driving convenience is improved.
도 1은 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치를 예시적으로 설명하는 도면,
도 2는 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치의 후방 영역을 예시적으로 도시한 도면,
도 3은 도 2에 도시된 차량 측면 부착형 멀티 카메라 장치를 A방향에서 바라본 예시적 도면,
도 4는 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치의 전방 영역을 예시적으로 도시한 도면,
도 5는 도 4에 도시된 차량 측면 부착형 멀티 카메라 장치를 B방향에서 바라본 예시적 도면,
도 6은 본 발명의 일 실시 예에 따라 차량 측면 부착형 멀티 카메라 장치를 이용하여 사각지대를 감소시켜주는 일 예를 예시적으로 설명하는 도면,
도 7은 사이드미러의 사각지대가 발생하는 일 예를 설명하는 도면,
도 8은 본 발명의 일 실시 예에 따라 차량 측면 부착형 멀티 카메라 장치를 이용하여 사이드미러의 사각지대를 감소시켜주는 일 예를 설명하는 도면,
도 9는 본 발명의 다른 실시 예에 따라 운전자에게 주변 상황 정보를 제공하는 일 예를 도시한 도면,
도 10은 본 발명의 다른 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치를 이용한 차량 주변 상황 정보 제공 장치를 예시적으로 설명하는 블럭도.1 is a view exemplarily illustrating a vehicle side-attached multi-camera device according to an embodiment of the present invention;
2 is a diagram illustrating a rear area of a vehicle side-attached multi-camera device according to an embodiment of the present invention;
FIG. 3 is an exemplary view of the vehicle side-attached multi-camera device shown in FIG. 2 as viewed from a direction A;
4 is a diagram illustrating a front area of a vehicle side-attached multi-camera device according to an embodiment of the present invention;
5 is an exemplary view of the vehicle side-attached multi-camera device shown in FIG. 4 viewed from a direction B;
6 is a view exemplarily illustrating an example of reducing a blind spot using a vehicle side-attached multi-camera device according to an embodiment of the present invention;
7 is a diagram illustrating an example in which a blind spot of a side mirror occurs;
8 is a view for explaining an example of reducing a blind spot of a side mirror by using a vehicle side-attached multi-camera device according to an embodiment of the present invention;
9 is a diagram illustrating an example of providing information on surrounding conditions to a driver according to another embodiment of the present invention;
10 is a block diagram exemplarily illustrating an apparatus for providing situation information around a vehicle using a multi-camera device attached to the side of a vehicle according to another embodiment of the present invention.
이하에서 도면을 참고하여 본 발명의 바람직한 실시 예에 대해서 설명한다. 이하에서 설명하는 바람직한 실시 예는 본 발명이 속하는 기술 분야의 통상의 지식을 가진 사람이 본 발명의 기술적 사상 범위에서 다양하게 설계변경할 수 있다.Hereinafter, a preferred embodiment of the present invention will be described with reference to the drawings. The preferred embodiments described below may be variously changed in design by a person having ordinary knowledge in the technical field to which the present invention pertains within the scope of the technical idea of the present invention.
도 1은 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치를 예시적으로 설명하는 도면이다. 도 1을 참고하면, 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치(100)는 직육면체형이고 부착면을 제외하고는 모서리가 라운드처리된 형태이다. 차량 측면 부착형 멀티 카메라 장치(100)는 차량의 측면에 부착되므로, 좌측 부착형, 우측 부착형으로 구분될 수 있다. 도 1에서는 좌측 부착형인 멀티 카메라 장치(100)를 예시적으로 도시하고 있다. 차량 측면 부착형 멀티 카메라 장치(100)는 몸체부(110), 전방 카메라부(120), 물체 감지부(130), 후방 카메라부(140), 스테레오 카메라부(150), 조명부(160), 제어부(미도시) 및 부착부(180)를 포함한다.1 is a diagram exemplarily illustrating a vehicle side-attached multi-camera device according to an exemplary embodiment of the present invention. Referring to FIG. 1, a vehicle side-attached
몸체부(110)는 가로(x), 세로(y)로 구성된 단면 형태가 사각형이고, 기 결정된 높이(h)로 구성된다. 높이(h)가 가로(x) 및 세로(y)의 길이보다 크게 설계될 수 있다. 몸체부(110)는 플라스틱, 금속제, 이들의 조합된 형태로 구성될 수 있다. 몸체부(110)는 차량에 장착되는 접촉면, 차량의 전방과 후방 영역을 지향하는 전방명, 후방면, 차량의 상부와 하부 영역을 지향하는 상부면, 하부면, 차량과의 접촉면과 반대측에 위치하는 반대면이 존재하다. 이러한 몸체부(110)는 차량의 측면 안쪽에 매립되서 노출 높이가 조절되도록 설계될 수 있다. 또는 몸체부(110)는 차량의 측면 안쪽에 감춰져 있다가 사용자의 조작에 따라 외부로 노출되도록 구성될 수 있다. 몸체부(110)의 내부에는 이하에서 설명하는 다양한 카메라, 센서 및 이들을제어하는 제어부 등을 포함한다.The
전방 카메라부(120)는 차량의 전방 영역에 대한 영상 이미지를 촬상한다. 전방 카메라부(120)는 차량의 전방 영역에 존재하는 물체의 움직임 등을 촬상하기 위해서 RGB 카메라, RGB-d 카메라로 구현될 수 있다.The
물체 감지부(130)는 차량의 전방 영역에 존재하는 물체를 감지한다. 물체 감지부(130)는 Lidar, Radar 등의 기술을 이용하여 차량 전방에 위치하는 물체의 유무, 거리 등 감지할 수 있다. 물체 감지부(130)는 전방 및 전방 측방에 위치한 물체의 유무 및 물체와의 거리를 감지하여 제어부(170)로 전달한다.The
후방 카메라부(140)는 차량의 후방 영역에 존재하는 물체를 감지하기 위하여 후방 영역을 촬상한다. 후방 카메라부(140)는 차량의 후방 또는 후방 측방에 위치하는 물체에 대한 영상 정보를 획득하여 이를 실시간으로 제어부(170)로 전달한다. 후방 카메라부(140)는 차량의 후방 영역에 존재하는 사각지대를 커버하기 위하여 시야각이 넓은 카메라렌즈를 사용하여 후방 영역에 대한 영상을 촬상한다. The
스테레오 카메라부(150)는 제1 카메라 모듈, 제2 카메라 모듈, 디스패리티 맵 구성 모듈 등을 포함할 수 있다. 스테레오 카메라부(150)는 차량의 후방 및 후측방 영역에 대한 이미지를 2개의 카메라 모듈을 이용하여 촬상한다. 스테레오 카메라부(140)는 차량 후방에 대한 디스패리티 맵(Disparity Map)을 확보할 수 있다. 디스패리티 맵(disparity map) 구성 모듈은 제1 카메라 모듈에 의해서 촬상된 제1 이미지의 윤곽 및 제2 카메라 모듈에 의해서 촬상된 제2 이미지의 윤곽에 대한 윤곽 디스패리티 맵을 생성한다. 디스패리티 맵 구성 모듈은 로컬 알고리즘을 기반으로 윈도우(window)를 이용하여 제1 이미지의 윤곽 및 제2 이미지의 윤곽에 대해서 대응점의 거리 차이를 계산하여 윤곽 디스패리티 맵을 생성할 수 있다.The
조명부(160)는 스테레오 카메라부(150)를 구성하는 제1 카메라 모듈(151)과 제2 카메라 모듈(152) 사이에 위치할 수 있다. 실시 예에 따라서는 조명부(160)는 싱글 LED로 구성되거나 2개 이상의 LED로 구성될 수도 있다.The
제어부(170)는 이상에서 설명하는 각종의 구성 요소의 동작을 제어한다. 제어부(170)는 PCB 기판, MPU(Main Processing Unit), 각종의 전자 부품, 각종의 인터페이스 부품을 포함하고, MPU 상에 구동되는 오퍼레이팅 시스템, 펌웨어, 어플리케이션을 설치할 수 있는 통합형 MCU 보드로 구현될 수 있다.The
탈착부(180)는 멀티 카메라 장치(100)를 차량의 측면에 고정되도록 설치하는 기능을 수행한다. 탈착부(180)는 볼트-너트 체결방식으로 구현될 수도 있다. 탈착부(180)는 강자성의 자석(예, 네오디옴 자석)으로 구성될 수도 있다. 또는 탈착부(180)는 접착체를 이용하여 멀티 카메라 장치(100)를 차량 측면에 부착할 수도 있다. 또는 탈착부(180)는 차량의 측면부와 용접되어 체결될 수 있다.The
도 2는 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치의 후방 영역을 예시적으로 도시한 도면이다. 도 2를 참고하면, 차량 측면 부착형 멀티 카메라 장치(100)는 차량의 사이드미러(Side Mirror)에 인접한 위치에 설치될 수 있다. 도 2에 도시된 차량 측면 부착형 멀티 카메라 장치(100)는 좌측 사이드 미러(LSM)의 아랫부분에 인접하게 위치한다. 차량(Car_1)의 운전석 도어의 일 영역에 매립된 상태로 설치될 수 있다. 매립설치의 경우에는 제조사가 차량 제조 과정에서 본 발명의 멀티 카메라 장치를 운전석 도어 또는 조수석 도어에 매립되도록 제조할 수 있다. 매립설치되는 경우에는 별도의 구조에 의해서 멀티 카메라 장치(100)를 외부로 노출시키는 높이를 조절할 수 있다. 차량의 제조 과정에서 설치되지 않을 경우에는 멀티 카메라 장치(100)를 차량의 도어의 일 영역에 탈착부(180)를 접촉시키고, 볼트-너트를 이용하거나, 강자성 자석을 이용하거나, 접착제를 이용하여 차량의 측면에 멀티 카메라 장치(100)를 부착시킬 수 있다.2 is a diagram illustrating a rear area of a vehicle side-attached multi-camera device according to an embodiment of the present invention. Referring to FIG. 2, the vehicle side-attached
도 3은 도 2에 도시된 차량 측면 부착형 멀티 카메라 장치를 A방향에서 바라본 예시적 도면이다. 도 3을 참고하면, 멀티 카메라 장치(100)는 후방 영역에 대한 주변 상황 정보를 획득하기 위하여 후방 카메라부(140) 및 스테레오 카메라부(150)를 구비한다. 또한 후방 영역에 대한 주변 상황 정보를 획득할 경우에 광량을 보충하기 위하여 조명부(160)를 더 구비한다.FIG. 3 is an exemplary view of the vehicle side-attached multi-camera device shown in FIG. 2 as viewed from A direction. Referring to FIG. 3, the
도 4는 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치의 전방 영역을 예시적으로 도시한 도면이다. 도 4를 참고하면, 차량 측면 부착형 멀티 카메라 장치(100)는 좌측 사이드 미러(LSM)의 아랫쪽에 위치하고, 차량의 뒷쪽으로 일정한 거리로 떨어트려서 설치할 수 있다. 일반적으로 차량의 사이드미러는 시야각이 결정되어 있으나, 사이드 미러(LSM)보다 아랫-뒷쪽에 멀티 카메라 장치(100)를 설치함으로써, 사이드 미러(LSM)과는 다른 시점에서 후방 및 전방을 관측할 수 있게 된다. 특히, 차량의 높이 중간 위치에 멀티 카메라 장치(100)를 설치함으로써, 전방 측방에 위치하는 물체를 감지할 수 있는 범위가 넒어지고, 후방 측방에 대한 영상 및 이미지를 보다 넓은 광각에서 얻을 수 있게 된다.4 is a diagram illustrating a front area of a vehicle side-attached multi-camera device according to an embodiment of the present invention. Referring to FIG. 4, the vehicle side-attached
도 5는 도 4에 도시된 차량 측면 부착형 멀티 카메라 장치를 B방향에서 바라본 예시적 도면이다. 도 5를 참고하면, 차량 측면 부착형 멀티 카메라 장치(100)는 부착면으로부터 소정의 거리 이상 돌출되지 않으므로, 사이드미러에서 발생하는 풍절음에 비하여 훨씬 낮은 풍절음이 발생하므로 연비를 떨어트리지 않는다.FIG. 5 is an exemplary view of the vehicle side-attached multi-camera device shown in FIG. 4 as viewed from a B direction. Referring to FIG. 5, since the vehicle side-attached
도 6은 본 발명의 일 실시 예에 따라 차량 측면 부착형 멀티 카메라 장치를 이용하여 사각지대를 감소시켜주는 일 예를 예시적으로 설명하는 도면이다. 도 6을 참고하면, 운전자는 사이드미러에만 의존할 경우에 후방 차량에 대한 시야각이 좁아지게 된다. 예컨대, 사이드 미러만을 이용할 경우에는 차량(Car_1)으로부터 제1 수평 이격 거리(W1)만큼 이격된 차량(Car_2)에 대해서만 시야에 들어오기 때문에 제1 수평 이격 거리를 벗어난 거리에 위치한 차량(미도시)을 인지할 수 없게 된다. 6 is a diagram illustrating an example of reducing a blind spot using a vehicle side-attached multi-camera device according to an embodiment of the present invention. Referring to FIG. 6, when the driver relies only on the side mirror, the viewing angle of the rear vehicle is narrowed. For example, in the case of using only the side mirror, a vehicle located at a distance outside the first horizontal separation distance (not shown) because the vehicle (Car_2) separated by the first horizontal separation distance W1 from the vehicle (Car_1) enters the view. Becomes unrecognizable.
반면에, 본 발명의 일 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치(100)를 차량의 측면에 설치하면, 차량(Car_1)의 후방 영역에 위치하는 차량(Car_2)과의 제2 수평 이격 거리(W2)에 위치하는 차량에 대해서도 운전자가 인지할 수 있는 차량 주변 상황 정보를 제공함으로써, 운전자의 안전 운행에 도움을 줄 수 있다.On the other hand, when the vehicle side-attached
도 7은 사이드미러의 사각지대가 발생하는 일 예를 설명하는 도면이다. 도 7을 참고하면, 제1 차량(Car_1)이 운행하고 있는 중에 좌측에 위치하는 제2 차량(Car_2)은 사이드 미러에 의존해서도 충분히 확인이 가능하다. 하지만, 제3 차량(Car_3)의 경우에는 사이드미러 사각지대(DP_R)에 위치하고 있다. 즉, 제3 차량은 제1 차량의 후미를 기준으로 측방 방향으로 제1 수평 이격 거리(W1) 만큼 떨어져 있다. 이러한 위치에 있는 제3 차량(Car_3)은 제1 차량(Car_1)의 후방에서 빠른 속도로 진행하고 있음에도, 제1 차량(Car_1)의 운전자는 사이드 미러를 통해서 확인할 수 없다. 제3 차량(Car_3)이 차선을 좌측으로 변경하는 제1 이벤트(Event_1)가 발생되고, 그와 동시에 제1 차량(Car_1)이 차선을 우측으로 변경하는 제2 이벤트(Event_2)가 발생되면, 제1 차량(Car_1)의 제2 이벤트로 인하여 제1 차량과 제3 차량이 추돌사고가 발생될 수 있다. 이러한 추돌 사고는 제1 차량(Car_1)의 운전자가 사이드미러 사각지대를 인지하지 못하여 발생하게 된다.7 is a diagram illustrating an example in which a blind spot of a side mirror occurs. Referring to FIG. 7, while the first vehicle Car_1 is running, the second vehicle Car_2 positioned on the left side can be sufficiently checked by relying on the side mirrors. However, in the case of the third vehicle (Car_3), it is located in the side mirror blind spot (DP_R). That is, the third vehicle is separated by the first horizontal separation distance W1 in the lateral direction based on the rear of the first vehicle. Although the third vehicle Car_3 in this position is moving at a high speed from the rear of the first vehicle Car_1, the driver of the first vehicle Car_1 cannot be identified through the side mirror. When the first event (Event_1) in which the third vehicle (Car_3) changes the lane to the left and at the same time, the second event (Event_2) in which the first vehicle (Car_1) changes the lane to the right occurs, A collision accident may occur between the first vehicle and the third vehicle due to the second event of the first vehicle (Car_1). Such a collision accident occurs when the driver of the first vehicle Car_1 does not recognize the blind spot of the side mirror.
본 발명에 따른 차량 측면 부착형 멀티 카메라 장치를 이용하여 제1 차량(Car_1)의 차량 주변 상황 정보를 획득하는 범위를 넓히면 이러한 추돌 사고를 예방할 수 있게 된다. 이에 대한 자세한 설명은 별도의 도면을 참고하여 설명한다.By using the multi-camera device attached to the side of the vehicle according to the present invention, it is possible to prevent such a collision accident by expanding the range of acquiring information on the surrounding situation of the vehicle of the first vehicle (Car_1). A detailed description of this will be described with reference to separate drawings.
도 8은 본 발명의 일 실시 예에 따라 차량 측면 부착형 멀티 카메라 장치를 이용하여 사이드미러의 사각지대를 감소시켜주는 일 예를 설명하는 도면이다. 도 8을 참고하면, 제1 차량(Car_1)은 멀티 카메라 장치(100)를 설치함으로써, 후방 시야각(Δθ2)이 사이드 미러 시야각(Δθ1)보다 커지므로, 후방 영역에서 발생하는 사각지대 영역이 감소하게 된다.8 is a diagram illustrating an example of reducing a blind spot of a side mirror by using a vehicle side-attached multi-camera device according to an embodiment of the present invention. Referring to FIG. 8, by installing the
구체적으로 제1 차량(Car_1)은 제1 수평 이격 거리(W1)보다 더 이격된 제2 수평 이격 거리(W2) 만큼 떨어져 있고, 제1 차량(Car_1)에서 후방 거리(L2)에 떨어져 있는 제3 차량(Car_3)에 대해서도 넓은 시야각을 이용한 멀티 카메라 장치(100)에 의해서 사각지대 영역이 줄어들게 된다.Specifically, the first vehicle (Car_1) is spaced apart by a second horizontal separation distance (W2) more spaced apart than the first horizontal separation distance (W1), and the third vehicle is separated from the rear distance (L2) from the first vehicle (Car_1). Even for the vehicle (Car_3), the blind spot area is reduced by the
이 경우에 제3 차량(Car_3)이 우측으로 차선을 변경하는 제3 이벤트(Event_3)가 발생된 후, 즉시 제1 차량(Car_1)이 좌측으로 차선을 변경하는 제4 이벤트(Event_4)를 실행할 경우에, 제1 차량(Car_1)의 운전자에게 제3 차량(Car_3)과의 충돌 가능성 여부를 알려주게 되므로, 차량 추돌 사고를 예방할 수 있다. 이러한 차량 주변 상황 정보를 제공하는 방식에 대해서는 이하에서 별도로 설명한다.In this case, when a third event (Event_3) in which the third vehicle (Car_3) changes lanes to the right occurs, and immediately executes the fourth event (Event_4) in which the first vehicle (Car_1) changes lanes to the left In addition, since the driver of the first vehicle Car_1 is informed of the possibility of a collision with the third vehicle Car_3, a vehicle collision accident can be prevented. A method of providing the situation information around the vehicle will be separately described below.
도 9는 본 발명의 다른 실시 예에 따라 운전자에게 주변 상황 정보를 제공하는 일 예를 도시한 도면이다. 도 9(a)를 참고하면, 도 8에 도시된 제3 차량(Car_3)과 제1 차량(Car_1)의 전후방 거리가 원거리에 있으면 제1 차량(Car_1)의 운전자에게 충돌 가능성 정보 중 가장 낮은 정보를 표시한다. 예컨대, 3단 라인 조명에서 첫번째 라인을 노란색으로 발광시키고, 나머지 2개 라인을 파란색으로 발광시킨다. 9 is a diagram illustrating an example of providing information on surrounding conditions to a driver according to another embodiment of the present invention. Referring to FIG. 9(a), when the front and rear distances of the third vehicle Car_3 and the first vehicle Car_1 shown in FIG. 8 are at a long distance, the lowest information among collision probability information to the driver of the first vehicle Car_1 Is displayed. For example, in a three-stage line light, the first line is emitted in yellow and the remaining two lines are emitted in blue.
도 9(b)을 참고하면, 도 8에 도시된 제3 차량(Car_3)과 제1 차량(Car_1)의 전후방 거리가 중거리에 있으면 제1 차량(Car_1)의 운전자에게 충돌 가능성 정보 중 보통 수준을 나타내는 정보를 표시한다. 예컨대, 3단 라인 조명에서 첫번째 및 두번째 라인을 오렌지색으로 발광시키고, 나머지 1개 라인을 파란색으로 발광시킨다. Referring to FIG. 9(b), if the front and rear distances of the third vehicle Car_3 and the first vehicle Car_1 shown in FIG. 8 are at an intermediate distance, the driver of the first vehicle Car_1 is given a normal level of collision probability information. Display the indicated information. For example, in the three-stage line illumination, the first and second lines are emitted in orange, and the remaining one line is emitted in blue.
도 9(c)을 참고하면, 도 8에 도시된 제3 차량(Car_3)과 제1 차량(Car_1)의 전후방 거리가 근거리에 있으면 제1 차량(Car_1)의 운전자에게 충돌 가능성 정보 중 가장 위급한 상황을 나타내는 정보를 표시한다. 예컨대, 3단 라인 조명에서 모든 라인을 빨간색으로 발광시킨다.Referring to FIG. 9(c), if the front and rear distances of the third vehicle Car_3 and the first vehicle Car_1 shown in FIG. 8 are in a short distance, the driver of the first vehicle Car_1 is the most urgent among the information on the possibility of collision. Display information indicating the situation. For example, in a three-stage line light, all lines are illuminated in red.
도 10은 본 발명의 다른 실시 예에 따른 차량 측면 부착형 멀티 카메라 장치를 이용한 차량 주변 상황 정보 제공 장치를 예시적으로 설명하는 블럭도이다. 도 10을 참고하면, 몸체부(110)는 차량의 사이드미러 주변 영역에 탈착가능하게 설치되는 하우징 부재이다. 전방 카메라부(120)는 차량의 전방을 지향하는 몸체부(110)의 제1 면에 구비되고, 차량의 전방 영역을 촬상할 수 있다. 물체 감지부(130)는 전방 카메라부(120)가 설치된 제1 면의 일 영역에 구비되고, 차량의 전방에 위치하는 물체를 감지할 수 있다. 후방 카메라부(140)는 차량의 후방을 지향하는 몸체부(110)의 제2 면의 일 영역에 구비되고, 차량의 후방 영역을 촬상할 수 있다. 스테레오 카메라부(150)는 몸체부의 제2 면의 일 영역에 구비되고, 차량의 후방 영역에 대한 디스패리티 맵을 생성하기 위한 영상을 촬상할 수 있다. 조명부(160)는 스테레오 카메라부(150)의 2개의 카메라 렌즈 사이에 위치하고, 후방 방향으로 광을 조사한다. 10 is a block diagram exemplarily illustrating an apparatus for providing situation information around a vehicle using a multi-camera device attached to the side of a vehicle according to another embodiment of the present invention. Referring to FIG. 10, the
제어부(170)는 몸체부(110)의 내부에 실장되고, 인터페이스모듈(131), 제어모듈(132), 통신모듈(133)을 포함한다. 제어부(170)는 차량의 후방에 감지된 차량의 거리에 따라 라인 조명부(200)의 라인 조명의 일부 또는 전부를 조명하도록 제어하고, 조명되는 라인의 길이에 따라 다른 색을 이용하여 조명하도록 제어한다. 또한 제어부(170)는 인터페이스 모듈(131)을 통해서 차량에 설치된 디스플레이를 통해 실시간으로 위험 정보를 제공할 수 있다. 제어부(170)는 인터페이스 모듈(131)을 통해서 차량의 스피커를 통해 실시간으로 위험 정보를 제공할 수 있다. 제어부(170)는 인터페이스 모듈(131)을 통해서 차량의 ECU(Electronic Control Unit)와 연동하여 차량의 다양한 편의 장비(시트, 핸들, 와이퍼, 대시보드, 실내 조명등 등)를 통해서 운전자에게 위험 정보를 바이브레이션, 사운드, 시각적 방식 등으로 제공할 수 있다. 여기서 디스플레이, 사운드바, 내장형 스피커, 네비게이션 등을 통합형 또는 분리형으로 설치할 수 있고, 이렇게 운전자에게 종합 알림 정보를 제공하는 것을 정보 제공부로 통합하여 설계할 수 있다. The
탈착부(180)는 몸체부(110)를 차량의 일 측면에 탈착가능하게 부착한다. 디스플레이부(190)는 몸체부(110)와 일체형으로 구성될 수 있다. 또는 실시 예에 따라서는 디스플레이부(190)는 몸체부(110)와 독립된 형태로 구성될 수 있다. 디스플레이부(190)는 다양한 카메라 및 센서에서 수집된 정보를 이용하여 생성된 차량 주변 상황에 대한 통합 알림 정보를 운전자에게 제공한다. 라인 조명부(200)는 차량의 안쪽에 설치되고, 선조명이 가능하며, 운전자에게 선조명을 조절하여 차량 주변 상황 정보를 제공할 수 있다.The
100 : 차량 측면 부착형 멀티 카메라 장치
110 : 몸체부
120 : 전방 카메라부
130 : 물체감지부
140 : 후방 카메라부
150 : 스테레오 카메라부
160 : 조명부
170 : 제어부
180 : 탈착부
190 : 디스플레이부
200 : 라인 조명부100: vehicle side-mounted multi-camera device
110: body
120: front camera unit
130: object detection unit
140: rear camera unit
150: stereo camera unit
160: lighting unit
170: control unit
180: detachable part
190: display unit
200: line lighting unit
Claims (10)
차량의 사이드미러 주변 영역에 탈착가능하게 설치되는 몸체부;
상기 차량의 전방을 지향하는 상기 몸체부의 제1 면에 구비되고, 상기 차량의 전방 영역을 촬상할 수 있는 전방 카메라부;
상기 전방 카메라부가 설치된 상기 제1 면의 일 영역에 구비되고, 상기 차량의 전방에 위치하는 물체를 감지하는 물체 감지부;
상기 차량의 후방을 지향하는 상기 몸체부의 제2 면의 일 영역에 구비되고, 상기 차량의 후방 영역을 촬상할 수 있는 후방 카메라부;
상기 몸체의 상기 제2 면의 일 영역에 구비되고, 상기 차량의 후방 영역에 대한 디스패리티 맵을 생성하기 위한 영상을 촬상할 수 있도록 2개의 카메라 렌즈를 구비하는 스테레오 카메라부;
상기 스테레오 카메라부의 2개의 카메라 렌즈 사이에 위치하고, 후방 방향으로 조명을 조사하는 조명부;
상기 몸체부의 내부에 실장되고, 인터페이스모듈, 제어모듈, 통신모듈을 포함하는 제어부;
상기 몸체부를 상기 차량의 일 측면에 탈착가능하게 부착시키는 탈착부; 및
상기 몸체부와 분리형으로 구성되고, 차량에 설치된 핸들, 시트, 와이퍼, 대시보드, 실내 조명등, 스피커 또는 디스플레이를 통해서 진동, 사운드, 발광, 영상 또는 이들의 조합된 방식 중 어느 하나로 종합 알림 정보를 운전자에게 제공하는 정보 제공부;를 포함하고,
상기 제어부는, 상기 전방 카메라부, 상기 물체 감지부, 상기 후방 카메라부 및 상기 스테레오 카메라부로부터 수신된 차량 주변에 관한 다양한 상황 정보를 이용하여 상기 종합 알림 정보를 생성하고,
상기 제어부는 상기 후방 카메라부로부터 수신된 차선 검지 정보와 상기 스테레오 카메라를 통해서 수신된 물체 검지 및 거리 정보를 이용하여 해당 차량의 차선 변경 여부에 따라 상기 정보 제공부를 통해서 상기 종합 알림 정보를 제공하는 것을 특징으로 하는 차량 측면 부착형 멀티 카메라 장치.
In the vehicle side-mounted multi-camera device,
A body portion detachably installed in the area around the side mirror of the vehicle;
A front camera unit provided on a first surface of the body portion facing the front of the vehicle and capable of capturing a front area of the vehicle;
An object detection unit provided in an area of the first surface in which the front camera unit is installed and configured to detect an object positioned in front of the vehicle;
A rear camera unit provided in an area of the second surface of the body portion facing the rear of the vehicle and capable of capturing a rear area of the vehicle;
A stereo camera unit provided on an area of the second surface of the body and including two camera lenses to capture an image for generating a disparity map for a rear area of the vehicle;
An illumination unit positioned between the two camera lenses of the stereo camera unit and irradiating illumination in a rearward direction;
A control unit mounted inside the body and including an interface module, a control module, and a communication module;
A detachable part detachably attaching the body part to one side of the vehicle; And
It is composed of the body part and a separate type, and the driver provides comprehensive notification information in any one of vibration, sound, light emission, video, or a combination thereof through steering wheel, seat, wiper, dashboard, indoor lighting, speaker or display installed in the vehicle Including; information providing unit to provide to,
The control unit generates the comprehensive notification information using various situation information about the vehicle surroundings received from the front camera unit, the object detection unit, the rear camera unit, and the stereo camera unit,
The control unit provides the comprehensive notification information through the information providing unit according to whether the vehicle has changed lanes using the lane detection information received from the rear camera unit and the object detection and distance information received through the stereo camera. Vehicle side-mounted multi-camera device, characterized in that.
상기 몸체부는, 상기 차량의 설치면에 대해서 외부로 일정 높이로 돌출되고, 돌출 높이는 조절가능한 것을 특징으로 하는 차량 측면 부착형 멀티 카메라 장치.
The method of claim 1,
The body portion is a vehicle side-mounted multi-camera device, characterized in that the protruding to the outside with respect to the installation surface of the vehicle to a predetermined height, the protrusion height is adjustable.
상기 전방 카메라부는, RGB 카메라로 구성되는 것을 특징으로 하는 차량 측면 부착형 멀티 카메라 장치.
The method of claim 1,
The front camera unit, a vehicle side-mounted multi-camera device, characterized in that consisting of an RGB camera.
상기 물체 감지부는, LiDar 센서 또는 Radar 센서 또는 이들의 조합된 구성인 것을 특징으로 하는 차량 측면 부착형 멀티 카메라 장치.
The method of claim 1,
The object detection unit is a vehicle side-mounted multi-camera device, characterized in that a LiDar sensor or a radar sensor, or a combination thereof.
상기 스테레오 카메라부는, 상기 2개의 카메라에서 각각 촬상된 2개의 영상을 이용하여 디스패리티 맵을 생성하고, 상기 생성된 디스패리티 맵에 기초하여 차량의 일측 후방 영역에 위치하는 물체 검지 및 차량과의 거리를 측정하며,
상기 후방 카메라부는 차선 감지를 위한 영상을 촬상하는 것을 특징으로 하는 차량 측면 부착형 멀티 카메라 장치.
The method of claim 1,
The stereo camera unit generates a disparity map using two images respectively captured by the two cameras, and detects an object located in one rear area of the vehicle and a distance to the vehicle based on the generated disparity map. Is measured,
The rear camera unit, a vehicle side-attached multi-camera device, characterized in that for capturing an image for detecting a lane.
상기 차량의 안쪽에 설치되는 라인 조명부; 및
상기 몸체부와 분리형으로 구성되고, 차량에 설치된 핸들, 시트, 와이퍼, 대시보드, 실내 조명등, 스피커 또는 디스플레이를 통해서 진동, 사운드, 발광, 영상 또는 이들의 조합된 방식 중 어느 하나로 종합 알림 정보를 운전자에게 제공하는 정보 제공부;를 포함하고,
상기 제어부는 상기 후방 카메라부로부터 수신된 차선 검지 정보와 상기 스테레오 카메라를 통해서 수신된 물체 검지 및 거리 정보를 이용하여 해당 차량의 차선 변경 여부에 따라 상기 라인 조명부의 조명 방식을 다르게 제어하거나 상기 정보 제공부를 통해서 상기 종합 알림 정보를 제공하고,
상기 제어부는, 차량의 다양한 위치에 설치된 복수의 카메라로부터 실시간으로 영상을 수신하고, 수신된 영상을 이용하여 적응적 상황 정보를 상기 종합 알림 정보로 상기 정보 제공부로 제공하는 것을 특징으로 하는 차량 주변 상황 정보 제공 장치.
A body portion detachably installed in the area around the side mirror of the vehicle; A front camera unit provided on a first surface of the body portion facing the front of the vehicle and capable of capturing a front area of the vehicle; An object detection unit provided in an area of the first surface in which the front camera unit is installed and configured to detect an object positioned in front of the vehicle; A rear camera unit provided in an area of the second surface of the body portion facing the rear of the vehicle and capable of capturing a rear area of the vehicle; A stereo camera unit provided on an area of the second surface of the body and capable of capturing an image for generating a disparity map for a rear area of the vehicle; An illumination unit positioned between the two camera lenses of the stereo camera unit and irradiating light in a rearward direction; A control unit mounted inside the body and including an interface module, a control module, and a communication module; And a detachable unit for detachably attaching the body part to one side of the vehicle, comprising:
A line lighting unit installed inside the vehicle; And
It is composed of the body part and a separate type, and the driver provides comprehensive notification information in any one of vibration, sound, light emission, video, or a combination thereof through steering wheel, seat, wiper, dashboard, indoor lighting, speaker or display installed in the vehicle Including; information providing unit to provide to,
The control unit uses the lane detection information received from the rear camera unit and the object detection and distance information received through the stereo camera to differently control the lighting method of the line lighting unit or provide the information according to whether the vehicle has changed lanes. Provide the above comprehensive notification information through the department,
The control unit receives images in real time from a plurality of cameras installed at various locations of the vehicle, and provides adaptive situation information as the comprehensive notification information to the information providing unit using the received images. Information provision device.
상기 제어부는, 상기 차량의 후방에 감지된 차량의 거리에 따라 상기 라인 조명부의 라인 조명의 일부 또는 전부를 조명하도록 제어하고, 조명되는 라인의 길이에 따라 다른 색을 이용하여 조명하도록 제어하는 것을 특징으로 하는 차량 주변 상황 정보 제공 장치.
The method of claim 8,
The control unit controls to illuminate a part or all of the line illumination of the line illumination unit according to the distance of the vehicle sensed at the rear of the vehicle, and control to illuminate using a different color according to the length of the illuminated line. A device that provides information about the situation around the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200029756A KR102251573B1 (en) | 2020-03-10 | 2020-03-10 | Vehicle-side multi-camera device and vehicle surroundings information providing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200029756A KR102251573B1 (en) | 2020-03-10 | 2020-03-10 | Vehicle-side multi-camera device and vehicle surroundings information providing device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102251573B1 true KR102251573B1 (en) | 2021-05-20 |
Family
ID=76143052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200029756A KR102251573B1 (en) | 2020-03-10 | 2020-03-10 | Vehicle-side multi-camera device and vehicle surroundings information providing device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102251573B1 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100996615B1 (en) | 2009-02-03 | 2010-11-25 | (주)이앤제이 | Rotation synchronized safety camera for vehicle with side mirror |
KR20140006305A (en) * | 2012-07-03 | 2014-01-16 | 현대자동차주식회사 | Apparatus and method for displaying dead zone of vehicle |
JP2015205618A (en) * | 2014-04-22 | 2015-11-19 | 株式会社ビートソニック | Mounting method of on-vehicle side camera and on-vehicle side camera |
KR101760050B1 (en) | 2010-11-29 | 2017-07-20 | 엘지이노텍 주식회사 | Side mirror of vehicle auto folding system and method using camera module |
KR101789984B1 (en) | 2016-07-13 | 2017-10-25 | 엠엠피씨 주식회사 | Side Mirror Camera System For Vehicle |
KR101828154B1 (en) | 2016-06-16 | 2018-02-09 | 박권식 | Camera type side mirror of vehicle |
KR20180136230A (en) | 2017-06-14 | 2018-12-24 | 김상현 | A combination of side camera and black box |
JP2019117197A (en) * | 2016-09-15 | 2019-07-18 | 株式会社小糸製作所 | Sensor system |
-
2020
- 2020-03-10 KR KR1020200029756A patent/KR102251573B1/en active IP Right Grant
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100996615B1 (en) | 2009-02-03 | 2010-11-25 | (주)이앤제이 | Rotation synchronized safety camera for vehicle with side mirror |
KR101760050B1 (en) | 2010-11-29 | 2017-07-20 | 엘지이노텍 주식회사 | Side mirror of vehicle auto folding system and method using camera module |
KR20140006305A (en) * | 2012-07-03 | 2014-01-16 | 현대자동차주식회사 | Apparatus and method for displaying dead zone of vehicle |
JP2015205618A (en) * | 2014-04-22 | 2015-11-19 | 株式会社ビートソニック | Mounting method of on-vehicle side camera and on-vehicle side camera |
KR101828154B1 (en) | 2016-06-16 | 2018-02-09 | 박권식 | Camera type side mirror of vehicle |
KR101789984B1 (en) | 2016-07-13 | 2017-10-25 | 엠엠피씨 주식회사 | Side Mirror Camera System For Vehicle |
JP2019117197A (en) * | 2016-09-15 | 2019-07-18 | 株式会社小糸製作所 | Sensor system |
KR20180136230A (en) | 2017-06-14 | 2018-12-24 | 김상현 | A combination of side camera and black box |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11975659B2 (en) | Vehicular camera monitoring system | |
US11479165B2 (en) | System for detecting surrounding conditions of moving body | |
US11012666B2 (en) | Surround camera system for autonomous driving | |
CN106331446B (en) | Camera device and in-vehicle system | |
US7287884B2 (en) | Vehicle operation supporting device and vehicle operation supporting system | |
EP2717238B1 (en) | Vehicular field of view assistance device | |
JP3390289B2 (en) | Alarm device | |
US20180222387A1 (en) | Blind Zone Monitoring Method, License Plate Frame Device with Blind Zone Monitoring Function and Rearview Mirror | |
US8599259B2 (en) | Exterior mirror for vehicle | |
KR101778173B1 (en) | A rearview assembly of a vehicle for displaying images | |
EP2431225A1 (en) | Method for an automotive hazardous detection and information system | |
KR101842815B1 (en) | Method for operating a rearview camera system of a motor vehicle after detection of a headlight flasher, rearview camera system and motor vehicle | |
CN104175954A (en) | Vehicle blind area monitoring and alarming system | |
US9776559B2 (en) | Vehicular display system | |
JP2017013784A (en) | On-board display system for vehicles such as commercial vehicles | |
US20140078291A1 (en) | Driver Assisting System and Method for a Motor Vehicle | |
KR20160091293A (en) | Side Mirror Camera System For Vehicle | |
CN110901536A (en) | Blind area detection alarm system and working method thereof | |
JP4731177B2 (en) | Infrared imaging display device and infrared imaging display method for vehicle | |
JP2006232024A (en) | Safety monitoring system, safety device, and alarm device | |
KR20160134608A (en) | Cell phone camera lens that can address a blind spot in electric car configured with blinking light and sensor data recorder monitor | |
KR101496322B1 (en) | Device To Notify The Dangerous Factor Of Vehicle Blind Spot | |
KR102251573B1 (en) | Vehicle-side multi-camera device and vehicle surroundings information providing device | |
CN109987025A (en) | Vehicle drive assist system and method for night environment | |
JP2006311216A (en) | Monitoring system for periphery of vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |