KR102606126B1 - Apparatus and method for processing an around-view monitor image to perform an object detection operation considering the correlation between the image distortion area and the camera - Google Patents
Apparatus and method for processing an around-view monitor image to perform an object detection operation considering the correlation between the image distortion area and the camera Download PDFInfo
- Publication number
- KR102606126B1 KR102606126B1 KR1020230107171A KR20230107171A KR102606126B1 KR 102606126 B1 KR102606126 B1 KR 102606126B1 KR 1020230107171 A KR1020230107171 A KR 1020230107171A KR 20230107171 A KR20230107171 A KR 20230107171A KR 102606126 B1 KR102606126 B1 KR 102606126B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- object detection
- correlation
- detection result
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 18
- 238000010219 correlation analysis Methods 0.000 claims abstract description 9
- 238000003672 processing method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Abstract
본 발명은 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치 및 방법에 관한 것으로, 이는 차량의 전후좌우에 분산 설치되어 다수개 카메라 영상을 동시에 획득하여 출력하는 다수의 카메라; 다수의 카메라 영상을 정합하여 하나의 AVM(Around View Monitor) 영상을 생성하는 AVM 영상 생성부; 입력 영상과 객체 검출 결과간의 상관관계가 사전 학습된 인공지능 모델을 구비하고, 인공지능 모델을 통해 카메라 영상에 상응하는 객체 검출 결과를 각각 획득 및 출력하는 다수의 객체 검출부; 영상 왜곡 영역과 카메라간 상관성을 사전 정의 및 등록하고, 상기 상관성에 따라 영상 왜곡 영역에 존재하는 객체가 두 개의 카메라 영상을 통해 중복 검출되는지 확인하여 최종 객체 검출 결과를 획득 및 제공하는 상관성 분석부; 및 상기 AVM 영상과 상기 최종 객체 검출 결과를 동시 표시하는 화면을 구성 및 디스플레이하는 데이터 출력부를 포함할 수 있다. The present invention relates to an around-view monitor image processing device and method that performs an object detection operation considering the correlation between image distortion areas and cameras, which are distributedly installed on the front, left, right, and left sides of a vehicle to simultaneously acquire and output images from multiple cameras. 's camera; An AVM image generator that generates one AVM (Around View Monitor) image by matching multiple camera images; A plurality of object detection units including an artificial intelligence model in which the correlation between the input image and the object detection result is pre-learned, and respectively acquiring and outputting object detection results corresponding to the camera image through the artificial intelligence model; A correlation analysis unit that predefines and registers the correlation between the image distortion area and the camera, and determines whether the object present in the image distortion area is redundantly detected through the two camera images according to the correlation, and obtains and provides a final object detection result; and a data output unit configured to configure and display a screen that simultaneously displays the AVM image and the final object detection result.
Description
본 발명은 차량 주변에 위치하는 객체를 검출할 수 있도록 하며, 특히 영상 왜곡 영역과 카메라간 상관성을 고려하여 영상 왜곡 영역에 존재하는 객체를 보다 정확하게 검출할 수 있도록 하는 상관성을 고려한 객체 검출 동작을 수행하는 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치 및 방법에 관한 것이다.The present invention enables detection of objects located around a vehicle, and in particular, performs an object detection operation taking into account correlation to more accurately detect objects present in the image distortion area by considering the correlation between the image distortion area and the camera. The present invention relates to an around-view monitor image processing device and method that performs an object detection operation considering the correlation between image distortion areas and cameras.
최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 자동차의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.Due to the recent development of the automobile industry, the spread of automobiles has become commercialized to the extent that it is said to be an era of one car per household, and various cutting-edge electronic technologies are being applied to automobiles to improve automobile safety and promote driver convenience.
이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써, 운전자가 자동차의 주변 환경을 육안으로 편리하게 확인할 수 있는 AVM 영상제공 장치(Around View Monitoring, AVM)가 있다.Among these advanced electronic technologies, there is an Around View Monitoring (AVM) video device that allows the driver to conveniently check the surrounding environment of the car with the naked eye by filming and displaying the surrounding environment of the car.
AVM 영상 제공 장치는 도 1과 같이 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 다수의 영상을 합성하여 AVM 영상을 생성한 후, 이를 차량에 구비된 디스플레이 장치에 제공하도록 한다.As shown in Figure 1, the AVM image providing device captures the surrounding environment through cameras installed on the front, rear, left, and right sides of the car, synthesizes the multiple captured images to create an AVM image, and then displays the Provide it to the display device.
이에 따라 운전자는 표시된 주변 환경을 통해 차량의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.As a result, drivers can accurately recognize the vehicle's surroundings through the displayed surroundings, and can park conveniently without looking at the side mirror or rear mirror.
한편, AVM 영상을 이용하여 차량 주변에 존재하는 객체를 검출 및 통보함으로써 객체 충돌에 의한 안전 사고 발생을 사전에 방지하는 기술이 제안된 바 있다. Meanwhile, a technology has been proposed to prevent safety accidents caused by object collisions by detecting and notifying objects existing around the vehicle using AVM images.
그러나 AVM 영상제공 장치에서 구비되는 카메라는 어안 카메라와 같은 광각 카메라로 구현되어, 도 1의 A, B, C, D 영역과 같이 카메라 양측면 영역에 존재하는 객체는 매우 큰 왜곡율을 가진 상태로 촬영되게 되고, 그 결과 해당 영상 왜곡 영역에 위치하는 객체의 정확한 검출이 힘들어지는 문제가 존재한다. However, the camera provided in the AVM image providing device is implemented as a wide-angle camera such as a fisheye camera, so objects existing on both sides of the camera, such as areas A, B, C, and D in Figure 1, are captured with a very high distortion rate. As a result, there is a problem that it becomes difficult to accurately detect objects located in the image distortion area.
본 발명은 AVM 영상 제공 장치에 구비되는 카메라의 특성상 영상 왜곡 영역 각각을 촬영하는 카메라를 파악하고, 이들의 상관성을 확인 및 반영하여 영상 왜곡 영역에 존재하는 객체를 보다 정확하게 검출할 수 있도록 하는 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치 및 방법을 제공하고자 한다.Due to the nature of the camera provided in the AVM image providing device, the present invention identifies the camera that captures each image distortion area, confirms and reflects their correlation, and provides image distortion to more accurately detect objects present in the image distortion area. The aim is to provide an around-view monitor image processing device and method that performs an object detection operation considering the correlation between areas and cameras.
상기와 같은 목적을 달성하기 위한 본 발명에 일 실시예에 따른 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치는, 차량의 전후좌우에 분산 설치되어 다수개 카메라 영상을 동시에 획득하여 출력하는 다수의 카메라; 다수의 카메라 영상을 정합하여 하나의 AVM(Around View Monitor) 영상을 생성하는 AVM 영상 생성부; 입력 영상과 객체 검출 결과간의 상관관계가 사전 학습된 인공지능 모델을 구비하고, 인공지능 모델을 통해 카메라 영상에 상응하는 객체 검출 결과를 각각 획득 및 출력하는 다수의 객체 검출부; 영상 왜곡 영역과 카메라간 상관성을 사전 정의 및 등록하고, 상기 상관성에 따라 영상 왜곡 영역에 존재하는 객체가 두 개의 카메라 영상을 통해 중복 검출되는지 확인하여 최종 객체 검출 결과를 획득 및 제공하는 상관성 분석부; 및 상기 AVM 영상과 상기 최종 객체 검출 결과를 동시 표시하는 화면을 구성 및 디스플레이하는 데이터 출력부를 포함할 수 있다. In order to achieve the above object, an around-view monitor image processing device that performs an object detection operation considering the correlation between image distortion areas and cameras according to an embodiment of the present invention is distributedly installed on the front, left, and right sides of the vehicle and includes a plurality of cameras. Multiple cameras that acquire and output images simultaneously; An AVM image generator that generates one AVM (Around View Monitor) image by matching multiple camera images; A plurality of object detection units including an artificial intelligence model in which the correlation between the input image and the object detection result is pre-learned, and respectively acquiring and outputting object detection results corresponding to the camera image through the artificial intelligence model; A correlation analysis unit that predefines and registers the correlation between the image distortion area and the camera, and determines whether the object present in the image distortion area is redundantly detected through the two camera images according to the correlation, and obtains and provides a final object detection result; and a data output unit configured to configure and display a screen that simultaneously displays the AVM image and the final object detection result.
상기 인공지능 모델은 카메라 영상을 입력 조건으로 가지고 객체 검출 결과를 출력 조건으로 가지는 대용량의 학습 데이터를 반복 학습하여 입력 영상에 상응하는 객체의 검출 결과를 인공지능 방식으로 예측 및 출력하는 것을 특징으로 한다. The artificial intelligence model is characterized by predicting and outputting the detection results of objects corresponding to the input images in an artificial intelligence manner by repeatedly learning a large amount of learning data with camera images as input conditions and object detection results as output conditions. .
상기 상관성 분석부는 차량 이동 방향을 추가 고려하여, 영상 왜곡 영역 및 차량 이동 방향별로 객체 유무를 인식할 제1 카메라 영상과 객체 상세 정보를 검출할 제2 카메라 영상을 세분화하여 상관성을 파악 및 정의하는 기능을 더 포함하는 것을 특징으로 한다. The correlation analysis unit further considers the direction of vehicle movement and identifies and defines the correlation by segmenting the first camera image to recognize the presence or absence of an object and the second camera image to detect detailed object information by image distortion area and vehicle movement direction. It is characterized in that it further includes.
상기 상관성 분석부는 상기 상관성에 따라 제1 카메라 영상의 객체 검출 결과와 상기 제2 카메라 영상의 객체 검출 결과를 다단 분석함으로써, 최종 객체 검출 결과를 획득 및 제공하는 기능을 더 포함하는 것을 특징으로 한다. The correlation analysis unit may further include a function of obtaining and providing a final object detection result by performing a multi-stage analysis of the object detection result of the first camera image and the object detection result of the second camera image according to the correlation.
상기와 같은 목적을 달성하기 위한 본 발명에 다른 실시예에 따른 AVM(Around View Monitor) 영상 장치의 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 방법은, 차량에 분산 배치된 다수의 카메라를 통해 다수개 카메라 영상을 동시에 획득하는 단계; 상기 다수의 카메라 영상을 정합하여 하나의 AVM(Around View Monitor) 영상을 생성하는 단계; 입력 영상과 객체 검출 결과간의 상관관계가 사전 학습된 인공지능 모델을 통해 카메라 영상에 상응하는 객체 검출 결과를 각각 획득한 후, 영상 왜곡 영역과 카메라간 상관성에 기반하여 영상 왜곡 영역에 존재하는 객체가 두 개의 카메라 영상을 통해 중복 검출되는지 확인하여 최종 객체 검출 결과를 획득 및 제공하는 단계; 및 상기 AVM 영상과 상기 최종 객체 검출 결과를 동시 표시하는 화면을 구성 및 디스플레이하는 단계를 포함할 수 있다.In order to achieve the above object, an around view monitor image processing method that performs an object detection operation considering the correlation between the image distortion area of the AVM (Around View Monitor) imaging device and the camera according to another embodiment of the present invention, Simultaneously acquiring multiple camera images through multiple distributed cameras; Generating one AVM (Around View Monitor) image by matching the multiple camera images; After obtaining each object detection result corresponding to the camera image through an artificial intelligence model in which the correlation between the input image and the object detection result is pre-learned, the object existing in the image distortion area is identified based on the correlation between the image distortion area and the camera. Obtaining and providing a final object detection result by checking whether duplicate detection is performed through two camera images; and configuring and displaying a screen that simultaneously displays the AVM image and the final object detection result.
본 발명에서는 AVM 영상 제공 장치에 구비되는 카메라의 특성에 의해 필수적으로 발생하는 영상 왜곡 영역에 존재하는 객체를 보다 신뢰성있고 정확하게 검출할 수 있도록 한다. The present invention enables more reliable and accurate detection of objects present in the image distortion area that is essentially caused by the characteristics of the camera provided in the AVM image providing device.
또한 영상 왜곡 영역 및 차량 이동 방향 중 어느 하나에 따라 카메라 상관성을 다양하게 설정할 수 있도록 하여, 차량 운행 환경 변화에 유연하게 대처할 수 있도록 한다. In addition, camera correlation can be set in various ways depending on either the image distortion area or the direction of vehicle movement, allowing flexibly responding to changes in the vehicle driving environment.
도 1은 일반적인 AVM 영상 제공 장치의 카메라 배치 구조와 카메라별 영상 촬영 범위를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 왜곡 영역과 카메라간 상관성을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 영상 왜곡 영역과 카메라간 상관성을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 데이터 제공 화면을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 방법을 설명하기 위한 도면이다. Figure 1 is a diagram showing the camera arrangement structure of a general AVM image providing device and the image capture range for each camera.
FIG. 2 is a diagram illustrating an around-view monitor image processing device that performs an object detection operation considering the correlation between image distortion areas and cameras according to an embodiment of the present invention.
Figure 3 is a diagram for explaining the correlation between an image distortion area and a camera according to an embodiment of the present invention.
Figure 4 is a diagram for explaining the correlation between an image distortion area and a camera according to another embodiment of the present invention.
Figure 5 is a diagram for explaining a data provision screen according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an around-view monitor image processing method that performs an object detection operation considering the correlation between image distortion areas and cameras according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면 상에서 동일 부호는 동일한 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the attached drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms. These embodiments only serve to ensure that the disclosure of the present invention is complete and to convey the scope of the invention to those skilled in the art. It is provided for complete information. In the drawings, like symbols refer to like elements.
도 2는 본 발명의 일 실시예에 따른 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치를 설명하기 위한 도면이다. FIG. 2 is a diagram illustrating an around-view monitor image processing device that performs an object detection operation considering the correlation between image distortion areas and cameras according to an embodiment of the present invention.
도 2를 참고하면, 본 발명의 AVM(Around View Monitor) 영상 처리 장치(100)는 다수의 카메라(110), AVM 영상 생성부(120), 다수의 객체 검출부(130), 상관성 분석부(140) 및 데이터 출력부(150) 등을 포함한다. Referring to FIG. 2, the AVM (Around View Monitor) image processing device 100 of the present invention includes a plurality of cameras 110, an AVM image generator 120, a plurality of object detection units 130, and a correlation analysis unit 140. ) and a data output unit 150.
다수의 카메라(110)는 차량의 전후좌우에 분산되어, 서로 상이한 촬영 시점을 가지는 다수의 영상을 동시에 획득 및 출력한다. 이때, 카메라는 어안 카메라와 같은 광각 카메라로 구현되나, 이에 한정될 필요는 없다. Multiple cameras 110 are distributed on the front, left, and right sides of the vehicle, and simultaneously acquire and output multiple images with different shooting viewpoints. At this time, the camera is implemented as a wide-angle camera such as a fisheye camera, but is not limited to this.
AVM 영상 생성부(120)는 차량에 분산 설치된 카메라 각각의 캘리브레이션 정보를 사전에 획득 및 구비하고, 이에 기반하여 다수의 카메라 영상을 정합하여 하나의 AVM(Around View Monitor) 영상을 생성한다. The AVM image generator 120 acquires and provides calibration information for each camera distributed in the vehicle in advance, and based on this, matches multiple camera images to generate one AVM (Around View Monitor) image.
이때, 캘리브레이션 정보는 차량 제조사로부터 배포되는 정보일 수 있으나, 필요한 경우 차량 단위로 카메라 캘리브레이션을 직접 수행함으로써 획득할 수도 있음은 물론 당연하다. At this time, the calibration information may be information distributed by the vehicle manufacturer, but of course it can also be obtained by directly performing camera calibration on a vehicle basis, if necessary.
객체 검출부(130)는 카메라 영상과 객체 검출 결과간 상관관계가 사전 학습된 인공지능 모델을 구비하고, 인공지능 모델을 통해 카메라 영상 각각에 상응하는 객체 검출 결과를 각각 획득 및 출력한다. The object detection unit 130 is provided with an artificial intelligence model in which the correlation between camera images and object detection results is pre-learned, and obtains and outputs object detection results corresponding to each camera image through the artificial intelligence model.
이때, 객체 검출 결과는 객체의 존재 여부, 위치, 종류, 형상 정보 중 적어도 하나일 수 있다. 그리고 인공지능 모델은 NN(Artifical Neural Network), DNN(Deep Neural Network), CNN(Convolution Neural Network), RNN(Recurrent Neural Network) 등으로 구현된 인공지능 모델로 구현될 수 있으며, 카메라 영상을 입력 조건으로, 객체 검출 결과를 출력 조건으로 가지는 대용량의 학습 데이터를 반복 학습하여, 입력 영상에 상응하는 객체의 검출 결과를 인공지능 방식으로 예측 및 출력할 수 있도록 한다. At this time, the object detection result may be at least one of the existence, location, type, and shape information of the object. And the artificial intelligence model can be implemented as an artificial intelligence model implemented with NN (Artifical Neural Network), DNN (Deep Neural Network), CNN (Convolution Neural Network), RNN (Recurrent Neural Network), etc., and input camera images as input conditions. By repeatedly learning a large amount of learning data with object detection results as output conditions, the detection results of objects corresponding to the input images can be predicted and output using artificial intelligence.
상관성 분석부(140)는 도 1의 A,B,C,D 영역에서와 같이 영상 왜곡이 심하게 발생하는 영역을 파악하고, 영상 왜곡 영역별로 해당 영역을 촬영하는 카메라들(130)을 확인 및 등록하여 상관성 정보를 생성 및 저장한다. The correlation analysis unit 140 identifies areas where severe image distortion occurs, as in areas A, B, C, and D of FIG. 1, and identifies and registers cameras 130 that photograph the corresponding areas for each image distortion area. to generate and store correlation information.
그리고 객체 검출부(130)의 객체 검출 결과를 상기의 상관성 정보에 기반하여 교차 분석하여 서로 상관성이 있는 두 개의 카메라가 동일한 영상 왜곡 영역에 존재하는 객체를 동시에 검출함을 확인하면, 해당 객체 검출 결과를 유효 정보로써 최종 획득 및 출력하도록 한다. Then, if the object detection results of the object detection unit 130 are cross-analyzed based on the above correlation information and it is confirmed that two cameras that are correlated with each other simultaneously detect objects existing in the same image distortion area, the corresponding object detection results are Be sure to obtain and output the final information as valid information.
데이터 출력부(150)는 AVM 영상과 객체 검출 결과를 동시 표시하는 화면을 구성하고, 이를 차량내 멀티미디어 장치를 통해 시청각적으로 디스플레이하도록 한다. The data output unit 150 configures a screen that simultaneously displays the AVM image and the object detection result, and displays it audio-visually through an in-vehicle multimedia device.
본 발명의 객체 검출 결과는 AVM 영상에 오버레이되어 객체 위치를 알려주는 경계 박스와, 경계 박스에 인접 위치되어 객체 종류를 알려주는 텍스트 등을 이용하여 안내될 수 있으나, 이에 한정될 필요는 없다. The object detection results of the present invention can be guided using a bounding box that is overlaid on the AVM image to indicate the object location and text that is located adjacent to the bounding box to indicate the object type, but is not limited to this.
도 3은 본 발명의 일 실시예에 따른 영상 왜곡 영역과 카메라간 상관성을 설명하기 위한 도면이다. Figure 3 is a diagram for explaining the correlation between an image distortion area and a camera according to an embodiment of the present invention.
도 3을 참고하면, 차량의 전방, 우측, 후방, 좌측에 카메라가 분산 설치되는 경우, A, B, C, D 영역과 같이 서로 인접되는 카메라가 의해 중복 촬영되나 객체 왜곡이 심하게 발생하는 영상 중복 영역이 발생하게 된다. Referring to FIG. 3, when cameras are distributedly installed on the front, right, rear, and left sides of a vehicle, adjacent cameras such as areas A, B, C, and D take overlapping images, but overlapping images cause severe object distortion. A zone arises.
이에 본 발명에서는 A 영역을 촬영하는 전방 카메라(111)와 우측 카메라(112)는 A 영역에 대해 상관성을 가진다고 판단하고, 동일한 원리로 나머지 B, C, D 영역에 대한 카메라 상관성을 모두 파악할 수 있게 된다. Accordingly, in the present invention, it is determined that the front camera 111 and the right camera 112, which photograph area A, have a correlation with area A, and the camera correlation for the remaining areas B, C, and D can be determined using the same principle. do.
그리고 영상 왜곡 영역과 카메라간 상관성에 기반하여 특정 영상 왜곡 영역에 상관되는 두 개의 카메라가 동시에 객체를 검출하는 경우에만, 해당 객체가 실제로 존재한다고 판단하도록 한다. And, based on the correlation between the image distortion area and the cameras, it is determined that the object actually exists only when two cameras correlated to a specific image distortion area detect the object at the same time.
즉, 전방 카메라(111)와 우측 카메라(112)가 A 영역에 존재하는 객체를 동시에 검출하는 경우, 후방 카메라(113)와 우측 카메라(112)가 B 영역에 존재하는 객체를 동시에 검출하는 경우, 후방 카메라(113)와 좌측 카메라(114)가 C 영역에 존재하는 객체를 동시에 검출하는 경우, 전방 카메라(111)와 좌측 카메라(114)가 D 영역에 존재하는 객체를 동시에 검출하는 경우에만, 해당 영역에서 객체가 실제로 존재한다고 판단하도록 한다. That is, when the front camera 111 and the right camera 112 simultaneously detect an object existing in area A, and when the rear camera 113 and the right camera 112 simultaneously detect an object existing in area B, Only when the rear camera 113 and the left camera 114 simultaneously detect objects existing in area C, and only when the front camera 111 and the left camera 114 simultaneously detect objects existing in area D, It determines that an object actually exists in the area.
더하여, 본 발명은 차량 이동 방향에 따라 카메라별 객체 왜곡율이 달라짐을 고려하여, 차량 이동 방향을 추가 반영하여 영상 왜곡 영역과 카메라간 상관성을 보다 세분화할 수도 있도록 한다. In addition, the present invention considers that the object distortion rate for each camera varies depending on the vehicle movement direction, and further reflects the vehicle movement direction to further refine the correlation between the image distortion area and the cameras.
도 4는 본 발명의 다른 실시예에 따른 카메라 영상간 상관성을 설명하기 위한 도면이다. Figure 4 is a diagram for explaining correlation between camera images according to another embodiment of the present invention.
차량 이동 방향에 따라 객체 충돌로 인한 안전 사고 발생 가능성이 높은 위치가 달라질 수 있다. 즉, (1) 전방 우회전시에는 A 영역이, (2) 후방 좌회전시에는 B 영역이, (3) 후방 우회전시에는 C 영역이, (4) 전방 좌회전시에는 D 영역이 사각 지대 발생으로 인한 객체 충돌로 인한 안전 사고 발생 가능성이 높아진다. Depending on the direction of vehicle movement, the location where safety accidents due to object collisions are likely to occur may vary. That is, (1) area A when turning right ahead, (2) area B when turning left backwards, (3) area C when turning right backwards, and (4) area D when turning left ahead due to blind spots. The likelihood of safety accidents due to object collision increases.
한편, (1) 전방 우회전시에는 A 영역에 위치하는 객체는 우측 카메라를 통해, (2) 후방 좌회전시에는 B 영역에 위치하는 객체는 우측 카메라를 통해, (3) 후방 우회전시에는 C 영역에 위치하는 객체는 좌측 카메라를 통해, (4) 전방 좌회전시에는 D 영역에 위치하는 객체는 좌측 카메라를 통해 보다 작은 왜곡 상태로 촬영되게 된다. Meanwhile, (1) when turning right forward, objects located in area A are viewed through the right camera, (2) when turning left backwards, objects located in area B are viewed through the right camera, and (3) when turning right backwards, objects located in area C are viewed through the right camera. Objects located are photographed through the left camera, and (4) when turning left, objects located in area D are photographed with less distortion through the left camera.
이에 본 발명에서는 (1) 전방 우회전 운행시에는 전방 카메라 영상을 통해 객체 유무만을 인식하고 우측 카메라 영상을 통해 객체 상세 정보(예를 들어, 객체 위치 및 종류)를 검출하고, (2) 후방 좌회전 운행시에는 후방 카메라 영상을 통해서는 객체 유무만을 인식하고 우측 카메라 영상을 통해서는 객체 상세 정보를 검출할 수 있도록 하고, (3) 후방 우회전 운행시에는 후방 카메라 영상을 통해 객체 유무만을 인식하고 좌측 카메라 영상을 통해 객체 종류와 같은 객체 상세 정보를 검출하고, (4) 전방 좌회전 운행시에는 전방 카메라 영상을 통해서는 객체 유무만을 인식하고 좌측 카메라 영상을 통해서는 객체 상세 정보를 검출할 수 있도록 한다. Accordingly, in the present invention, (1) when making a front right turn, only the presence or absence of an object is recognized through the front camera image and detailed object information (e.g., object location and type) is detected through the right camera image, and (2) when making a rear left turn. When driving, only the presence or absence of an object is recognized through the rear camera image and detailed object information can be detected through the right camera image. (3) When making a rear right turn, only the presence or absence of an object is recognized through the rear camera image and the left camera image. Through this, detailed object information such as object type is detected, and (4) when making a left turn, only the presence or absence of an object is recognized through the front camera image and detailed object information can be detected through the left camera image.
다시 말해, 본 발명은 영상 왜곡 영역과 차량 이동 방향에 따라 차량 이동 방향을 추가 고려하여 객체 유무를 인식할 제1 카메라 영상과 객체 상세 정보를 검출할 제2 카메라 영상을 세분화하여 상관성을 파악 및 정의한 후, 제1 카메라 영상의 객체 검출 결과와 상기 제2 카메라 영상의 객체 검출 결과를 다단 분석함으로써, 객체 검출 성능이 더욱 향상될 수 있도록 한다. In other words, the present invention further considers the direction of vehicle movement according to the image distortion area and the direction of vehicle movement, and subdivides the first camera image to recognize the presence or absence of an object and the second camera image to detect detailed object information to identify and define the correlation. Then, the object detection result of the first camera image and the object detection result of the second camera image are analyzed in multiple stages, so that object detection performance can be further improved.
도 5는 본 발명의 일 실시예에 따른 데이터 제공 화면을 설명하기 위한 도면이다. Figure 5 is a diagram for explaining a data provision screen according to an embodiment of the present invention.
도 5에서와 같이, 본 발명은 AVM 영상과 객체 검출 결과를 동시 표시하는 화면을 구성하여 제공할 수 있다. As shown in Figure 5, the present invention can provide a screen that simultaneously displays the AVM image and the object detection results.
이때, 객체 검출 결과는 AVM 영상에 오버레이되어 객체 위치를 알려주는 경계 박스와 경계 박스에 인접 위치되어 객체 종류를 알려주는 텍스트 등을 이용하여 시청각적으로 안내되거나, 객체 위치와 객체 종류를 음성을 통해 청각적으로 안내될 수 있다. At this time, the object detection results are guided audio-visually using a boundary box that is overlaid on the AVM image to indicate the object location and text that is located adjacent to the boundary box to indicate the object type, or the object location and object type are announced through voice. Can be guided auditorily.
또한 필요한 경우, 객체 위치와 종류에 따라 위험 정도를 세분화하여 정의한 정보를 사전에 획득 및 저장하고, 이에 기반하여 현재의 객체 검출 결과에 상응하는 위험 정도를 산출 및 경고할 수도 있도록 한다. In addition, if necessary, information that defines the degree of risk by segmenting it according to the location and type of the object is acquired and stored in advance, and based on this, the degree of risk corresponding to the current object detection result can be calculated and warned.
그리고 위험 정도에 따라 사용자 안내 강도를 달리할 수도 있도록 한다. 예를 들어, 사용자 안내 강도는 (1) 안내 멘트에 포함된 내용을 달리하거나, (2) 안내 멘트의 제공 횟수 또는 소리 크기를 증가하거나, (3) 이미지 및 텍스트의 표시 방법을 달리하는 방식으로 그 강도를 차별화할 수 있으나, 이에 한정될 필요는 없다. Additionally, the intensity of user guidance can be varied depending on the level of risk. For example, the intensity of user guidance can be changed by (1) varying the content included in guidance comments, (2) increasing the number of times guidance comments are provided or their sound volume, or (3) changing the display method of images and text. The intensity can be differentiated, but need not be limited to this.
도 6은 본 발명의 일 실시예에 따른 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 방법을 설명하기 위한 도면이다. FIG. 6 is a diagram illustrating an around-view monitor image processing method that performs an object detection operation considering the correlation between image distortion areas and cameras according to an embodiment of the present invention.
도 6을 참고하면, 본 발명의 방법은 차량에 분산 배치된 다수의 카메라를 통해 다수개 카메라 영상을 동시에 획득하는 단계(S1), 상기 다수의 카메라 영상을 정합하여 하나의 AVM(Around View Monitor) 영상을 생성하는 단계(S2), 입력 영상과 객체 검출 결과간의 상관관계가 사전 학습된 인공지능 모델을 통해 카메라 영상에 상응하는 객체 검출 결과를 각각 획득한 후, 영상 왜곡 영역과 카메라간 상관성에 기반하여 영상 왜곡 영역에 존재하는 객체가 두 개의 카메라 영상을 통해 중복 검출되는지 확인하여 최종 객체 검출 결과를 획득 및 제공하는 단계(S3) 및 상기 AVM 영상과 상기 최종 객체 검출 결과를 동시 표시하는 화면을 구성 및 디스플레이하는 단계(S4) 등을 포함한다. Referring to FIG. 6, the method of the present invention includes a step (S1) of simultaneously acquiring multiple camera images through multiple cameras distributed in a vehicle, and matching the multiple camera images to form an Around View Monitor (AVM). In the step of generating an image (S2), the object detection results corresponding to the camera images are obtained through an artificial intelligence model in which the correlation between the input image and the object detection result is pre-learned, and then based on the correlation between the image distortion area and the camera. A step (S3) of obtaining and providing a final object detection result by checking whether an object present in the image distortion area is repeatedly detected through the two camera images, and configuring a screen to simultaneously display the AVM image and the final object detection result. and a display step (S4).
또한, 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. Additionally, the method according to the present invention can be implemented as computer-readable code on a computer-readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system.
기록매체의 예로는 ROM, RAM, CD ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치, 하드 디스크, 플래시 드라이브 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Examples of recording media include ROM, RAM, CD ROM, magnetic tape, floppy disks, optical data storage devices, hard disks, flash drives, etc., and can also be implemented in the form of a carrier wave (e.g. transmission via the Internet). Includes. Additionally, computer-readable recording media can be distributed across networked computer systems so that computer-readable code can be stored and executed in a distributed manner.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely an illustrative explanation of the technical idea of the present invention, and various modifications and variations will be possible to those skilled in the art without departing from the essential characteristics of the present invention.
따라서 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be construed as being included in the scope of rights of the present invention.
Claims (5)
다수의 카메라 영상을 정합하여 하나의 AVM(Around View Monitor) 영상을 생성하는 AVM 영상 생성부;
입력 영상과 객체 검출 결과간의 상관관계가 사전 학습된 인공지능 모델을 구비하고, 인공지능 모델을 통해 카메라 영상에 상응하는 객체 검출 결과를 각각 획득 및 출력하는 다수의 객체 검출부;
영상 왜곡 영역과 카메라간 상관성을 사전 정의 및 등록하고, 상기 상관성에 따라 영상 왜곡 영역에 존재하는 객체가 두 개의 카메라 영상을 통해 중복 검출되는지 확인하여 최종 객체 검출 결과를 획득 및 제공하는 상관성 분석부; 및
상기 AVM 영상과 상기 최종 객체 검출 결과를 동시 표시하는 화면을 구성 및 디스플레이하는 데이터 출력부를 포함하는 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치.Multiple cameras distributed on the front, left, and right sides of the vehicle to acquire and output images from multiple cameras simultaneously;
An AVM image generator that generates one AVM (Around View Monitor) image by matching multiple camera images;
A plurality of object detection units including an artificial intelligence model in which the correlation between the input image and the object detection result is pre-learned, and respectively acquiring and outputting object detection results corresponding to the camera image through the artificial intelligence model;
A correlation analysis unit that predefines and registers the correlation between the image distortion area and the camera, and determines whether the object present in the image distortion area is redundantly detected through the two camera images according to the correlation, and obtains and provides a final object detection result; and
An around-view monitor image processing device that performs an object detection operation considering the correlation between an image distortion area and a camera, including a data output unit that configures and displays a screen that simultaneously displays the AVM image and the final object detection result.
카메라 영상을 입력 조건으로 가지고 객체 검출 결과를 출력 조건으로 가지는 대용량의 학습 데이터를 반복 학습하여 입력 영상에 상응하는 객체의 검출 결과를 인공지능 방식으로 예측 및 출력하는 것을 특징으로 하는 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치.The method of claim 1, wherein the artificial intelligence model is
An image distortion area and camera characterized by repeatedly learning a large amount of learning data with camera images as input conditions and object detection results as output conditions, and predicting and outputting the detection results of objects corresponding to the input images using artificial intelligence. An around-view monitor image processing device that performs object detection operations considering correlation between objects.
차량 이동 방향을 추가 고려하여, 영상 왜곡 영역 및 차량 이동 방향별로 객체 유무를 인식할 제1 카메라 영상과 객체 상세 정보를 검출할 제2 카메라 영상을 세분화하여 상관성을 파악 및 정의하는 기능을 더 포함하는 것을 특징으로 하는 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치.The method of claim 1, wherein the correlation analysis unit
By further considering the direction of vehicle movement, the first camera image to recognize the presence or absence of an object by image distortion area and vehicle movement direction and the second camera image to detect detailed object information are segmented to determine and define the correlation. An around-view monitor image processing device that performs an object detection operation considering the correlation between image distortion areas and cameras.
상기 상관성에 따라 제1 카메라 영상의 객체 검출 결과와 상기 제2 카메라 영상의 객체 검출 결과를 다단 분석함으로써, 최종 객체 검출 결과를 획득 및 제공하는 기능을 더 포함하는 것을 특징으로 하는 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치.The method of claim 3, wherein the correlation analysis unit
An image distortion area and a camera further comprising a function of obtaining and providing a final object detection result by analyzing the object detection result of the first camera image and the object detection result of the second camera image according to the correlation in multiple stages. An around-view monitor image processing device that performs object detection operations considering correlation between objects.
차량에 분산 배치된 다수의 카메라를 통해 다수개 카메라 영상을 동시에 획득하는 단계;
상기 다수의 카메라 영상을 정합하여 하나의 AVM(Around View Monitor) 영상을 생성하는 단계;
입력 영상과 객체 검출 결과간의 상관관계가 사전 학습된 인공지능 모델을 통해 카메라 영상에 상응하는 객체 검출 결과를 각각 획득한 후, 영상 왜곡 영역과 카메라간 상관성에 기반하여 영상 왜곡 영역에 존재하는 객체가 두 개의 카메라 영상을 통해 중복 검출되는지 확인하여 최종 객체 검출 결과를 획득 및 제공하는 단계; 및
상기 AVM 영상과 상기 최종 객체 검출 결과를 동시 표시하는 화면을 구성 및 디스플레이하는 단계를 포함하는 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출 동작을 수행하는 어라운드 뷰 모니터 영상 처리 방법. In the around view monitor image processing method that performs an object detection operation considering the correlation between the image distortion area of the AVM (Around View Monitor) imaging device and the camera,
Simultaneously acquiring multiple camera images through multiple cameras distributed in a vehicle;
Generating one AVM (Around View Monitor) image by matching the multiple camera images;
After obtaining each object detection result corresponding to the camera image through an artificial intelligence model in which the correlation between the input image and the object detection result is pre-learned, the object existing in the image distortion area is identified based on the correlation between the image distortion area and the camera. Obtaining and providing a final object detection result by checking whether duplicate detection is performed through two camera images; and
An around-view monitor image processing method for performing an object detection operation considering the correlation between an image distortion area and a camera, comprising the step of configuring and displaying a screen that simultaneously displays the AVM image and the final object detection result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230107171A KR102606126B1 (en) | 2023-08-16 | 2023-08-16 | Apparatus and method for processing an around-view monitor image to perform an object detection operation considering the correlation between the image distortion area and the camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230107171A KR102606126B1 (en) | 2023-08-16 | 2023-08-16 | Apparatus and method for processing an around-view monitor image to perform an object detection operation considering the correlation between the image distortion area and the camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102606126B1 true KR102606126B1 (en) | 2023-11-24 |
Family
ID=88972177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230107171A KR102606126B1 (en) | 2023-08-16 | 2023-08-16 | Apparatus and method for processing an around-view monitor image to perform an object detection operation considering the correlation between the image distortion area and the camera |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102606126B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160074107A (en) * | 2014-12-18 | 2016-06-28 | 현대모비스 주식회사 | vehicle and control method thereof |
| KR20170099252A (en) * | 2016-02-23 | 2017-08-31 | 두산인프라코어 주식회사 | Display system |
| KR20190018949A (en) * | 2017-08-16 | 2019-02-26 | 엘지전자 주식회사 | Driving assistance system and vehicle |
| KR20220025997A (en) * | 2020-08-24 | 2022-03-04 | 오토아이티(주) | Apparatus for providing vehicle AVM image for collision prevention of approaching objects |
-
2023
- 2023-08-16 KR KR1020230107171A patent/KR102606126B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160074107A (en) * | 2014-12-18 | 2016-06-28 | 현대모비스 주식회사 | vehicle and control method thereof |
| KR20170099252A (en) * | 2016-02-23 | 2017-08-31 | 두산인프라코어 주식회사 | Display system |
| KR20190018949A (en) * | 2017-08-16 | 2019-02-26 | 엘지전자 주식회사 | Driving assistance system and vehicle |
| KR20220025997A (en) * | 2020-08-24 | 2022-03-04 | 오토아이티(주) | Apparatus for providing vehicle AVM image for collision prevention of approaching objects |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11453335B2 (en) | Intelligent ultrasonic system and rear collision warning apparatus for vehicle | |
| KR102481289B1 (en) | Apparatus for providing vehicle AVM image for collision prevention of approaching objects | |
| US10817751B2 (en) | Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium | |
| CN109671006B (en) | Traffic accident handling method, device and storage medium | |
| EP3229172A1 (en) | Driver assistance system with variable image resolution | |
| US11126875B2 (en) | Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium | |
| US9183449B2 (en) | Apparatus and method for detecting obstacle | |
| US20140160289A1 (en) | Apparatus and method for providing information of blind spot | |
| CN103730026A (en) | Apparatus and method for determining parking area | |
| KR101729486B1 (en) | Around view monitor system for detecting blind spot and method thereof | |
| KR20160135482A (en) | Apparatus and method for predicting moving of on-road obstable | |
| KR20160075135A (en) | Vehicle System for Detecting Objects and Detecting Method | |
| CN109318799B (en) | Automobile, automobile ADAS system and control method thereof | |
| CN109070882B (en) | Utilize the driving information providing method and device of camera image | |
| JP7233572B2 (en) | METHOD AND APPARATUS FOR ACTION PREDICTION USING EXPLAINABLE SELF-FOCUS ATTENTION | |
| KR20190115501A (en) | a vehicle recognizing system | |
| US11106214B2 (en) | Artificial neural network-based projection information recognition apparatus and method thereof | |
| KR102606126B1 (en) | Apparatus and method for processing an around-view monitor image to perform an object detection operation considering the correlation between the image distortion area and the camera | |
| KR102616565B1 (en) | Compact Apparatus and method for around view monitor image processing | |
| WO2023071874A1 (en) | Roadside assistance working node determining method and apparatus, electronic device, and storage medium | |
| KR102623726B1 (en) | Apparatus and method for processing an around-view monitor image having seam-line scanning function | |
| KR101738025B1 (en) | System for Deciding Accident using Black Box and Driving Method Thereof | |
| CN112542060A (en) | Rear side alarm device for vehicle | |
| US11580332B2 (en) | Method and device for reliably identifying objects in video images | |
| KR20200072590A (en) | Method And Apparatus for Detection of Parking Loss for Automatic Parking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |