KR20200070136A - Around view monitor system for multi-purpose video - Google Patents

Around view monitor system for multi-purpose video Download PDF

Info

Publication number
KR20200070136A
KR20200070136A KR1020190162340A KR20190162340A KR20200070136A KR 20200070136 A KR20200070136 A KR 20200070136A KR 1020190162340 A KR1020190162340 A KR 1020190162340A KR 20190162340 A KR20190162340 A KR 20190162340A KR 20200070136 A KR20200070136 A KR 20200070136A
Authority
KR
South Korea
Prior art keywords
image
vehicle
avm
infrared
mode
Prior art date
Application number
KR1020190162340A
Other languages
Korean (ko)
Inventor
박성령
엄태정
하수영
성동진
정명환
Original Assignee
아진산업(주)
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 오토아이티(주) filed Critical 아진산업(주)
Publication of KR20200070136A publication Critical patent/KR20200070136A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera

Abstract

An objective of the present invention is to provide an around-view monitor (AVM) system for providing a multipurpose image which can improve the quality of an image of a front area of a vehicle. According to an embodiment of the present invention, the around-view monitor system comprises: a plurality of general cameras installed on a vehicle to acquire and output a plurality of general images obtained by photographing the vicinity of a vehicle; a high-quality camera installed on the vehicle to acquire and output a high-quality image obtained by photographing the front of the vehicle in high quality; an infrared camera installed on the vehicle to acquire and output an infrared image obtained by photographing the front of the vehicle in infrared light; and a control device to generate an AVM image by using the plurality of general images, output the AVM image in a general mode, overlay the high-quality image on the AVM image to output the high-quality image in a high-quality mode, and overlay the infrared image on the AVM image to output the infrared image in an infrared mode.

Description

다목적 영상 제공용 어라운드 뷰 모니터 시스템{Around view monitor system for multi-purpose video}Around view monitor system for multi-purpose video}

본 출원은 보다 다양한 정보 제공이 가능하도록 하는 다목적 영상 제공용 어라운드 뷰 모니터 시스템에 관한 것이다.The present application relates to a multi-purpose image providing surround view monitor system that enables more diverse information to be provided.

어라운드 뷰 모니터(Around View Monitor; AVM) 시스템이란, 차량에 부착된 카메라가 촬영한 차량 주변의 영상을 차량 내에 있는 모니터에 표시하여, 운전자가 모니터의 영상을 통해 차량 주변의 상황을 인지한 상태에서 운전을 할 수 있게 해주는 시스템을 말한다.An Around View Monitor (AVM) system is a state in which a driver attached to a vehicle displays an image of a vehicle surrounding a vehicle on a monitor in the vehicle, and the driver recognizes the situation around the vehicle through the monitor image. A system that allows you to drive.

일반적으로 어라운드 뷰 모니터 시스템은 모니터를 통해 차량의 전방 영상과 더불어 차량의 위에서 내려다본 탑뷰(Top View)를 표시해 줌으로써, 운전자가 차량의 전방뿐만 아니라, 좌측, 우측 및 후방의 상황도 인지할 수 있게 한다.In general, the Around View Monitor System displays the front view of the vehicle along with the front view of the vehicle through the monitor, so that the driver can recognize not only the front of the vehicle but also the left, right, and rear situations. do.

그러나, 기존의 어라운드 뷰 모니터 시스템을 위해 차량에 설치된 카메라만으로는 차량의 전방 방향의 영상을 획득하는데 한계가 있어서, 차량의 전방 방향으로 넓은 영역에 대한 영상이 필요한 경우에는 고품질의 영상을 제공할 수 없다는 문제가 있다.However, there is a limitation in acquiring an image in the front direction of the vehicle only with a camera installed in the vehicle for the existing around view monitor system, and thus it is impossible to provide a high quality image when an image for a wide area in the front direction of the vehicle is required. there is a problem.

따라서, 당해 기술분야에서는 어라운드 뷰 모니터 시스템에 있어서, 고화질 카메라를 추가 이용하여 차량의 전방 영역의 영상의 품질을 향상시킬 수 있도록 하는 다목적 영상 제공용 어라운드 뷰 모니터 시스템을 제공하고자 한다. Accordingly, in the related art, an around-view monitor system for providing a multi-purpose image, which can improve the quality of an image in a front area of a vehicle by using a high-definition camera in an around-view monitor system, is provided.

또한 차량의 전방 영역의 영상을 적외선 영상 형태로 제공함으로써, 차량 주변 조도가 너무 낮아 영상 획득이 불가능한 상태에서도 차량의 전방 영역의 영상의 품질을 그대로 유지할 수 있도록 하는 다목적 영상 제공용 어라운드 뷰 모니터 시스템을 제공하고자 한다.In addition, by providing an image of the front area of the vehicle in the form of an infrared image, the Around View Monitor System for providing a multi-purpose image that maintains the quality of the image in the front area of the vehicle is maintained even when the ambient light around the vehicle is too low to acquire an image. Want to provide.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 어라운드 뷰 모니터 시스템을 제공한다.In order to solve the above problems, an embodiment of the present invention provides an around view monitor system.

상기 어라운드 뷰 모니터 시스템은, 차량에 설치되어, 차량 주변을 촬영한 복수의 일반 영상을 획득 및 출력하는 복수의 일반 카메라; 상기 차량에 설치되어, 차량 전방을 고화질 촬영한 고화질 영상을 획득 및 출력하는 고화질 카메라; 상기 차량에 설치되어, 차량 전방을 적외선 촬영한 적외선 영상을 획득 및 출력하는 적외선 카메라; 상기 복수의 일반 영상을 이용하여 AVM(Around View Monitor) 영상을 생성하되, 일반 모드에서는 상기 AVM 영상을 그대로 출력하고, 고화질 모드에서는 상기 AVM 영상에 상기 고화질 영상을 오버레이시켜 출력하고, 적외선 모드에서는 상기 AVM 영상에 적외선 영상을 오버레이시켜 출력하는 제어 장치를 포함할 수 있다. The around view monitor system includes a plurality of general cameras installed in a vehicle to acquire and output a plurality of general images taken around the vehicle; A high-definition camera installed in the vehicle to acquire and output a high-definition image taken in front of the vehicle; An infrared camera installed in the vehicle to acquire and output an infrared image obtained by infrared photographing the front of the vehicle; An AVM (Around View Monitor) image is generated using the plurality of general images, but the AVM image is output as it is in the normal mode, and the high-definition image is overlaid on the AVM image in the high-definition mode, and the infrared mode is the An overlay of the infrared image on the AVM image may include a control device for output.

상기 제어 장치는 상기 복수의 일반 영상을 수신 및 이용하여 AVM 영상을 생성하는 AVM 영상 생성부; 사용자 제어값, 차량 센서 센싱값, ECU 정보 중 적어도 하나를 이용하여 동작 모드를 결정하는 모드 결정부; 및 일반 모드에서는 상기 AVM 영상을 그대로 출력하고, 고화질 모드에서는 상기 AVM 영상에 상기 고화질 영상을 오버레이시켜 출력하고, 적외선 모드에서는 상기 AVM 영상에 적외선 영상을 오버레이시켜 출력하는 AVM 영상 편집부를 포함하는 것을 특징으로 한다. The control device includes an AVM image generating unit that receives and uses the plurality of general images to generate an AVM image; A mode determination unit for determining an operation mode using at least one of a user control value, a vehicle sensor sensing value, and ECU information; And an AVM image editing unit for outputting the AVM image as it is in the normal mode, overlaying the high-definition image to the AVM image in the high-definition mode, and overlaying the infrared image to the AVM image in the infrared mode. Is done.

상기 AVM 영상 편집부는 차량 운행 시간, 주변 조도 중 적어도 하나에 기반하여 고화질 모드 및 적외선 모드의 활성화 여부를 허용하는 기능을 포함하는 것을 특징으로 한다. The AVM image editing unit is characterized in that it includes a function that allows whether to activate the high-definition mode and the infrared mode based on at least one of the vehicle driving time and the ambient light.

상기 일반 카메라는 어안 카메라인 것을 특징으로 한다.The general camera is characterized in that it is a fisheye camera.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.In addition, the solution means of the above-mentioned subject does not list all the characteristics of this invention. Various features of the present invention and advantages and effects thereof may be understood in more detail with reference to specific embodiments below.

본 발명의 일 실시예에 따르면, 차량의 전방 영상의 영상 품질을 선택적으로 향상시킬 수 있도록 한다. According to an embodiment of the present invention, it is possible to selectively improve the image quality of the front image of the vehicle.

또한 차량 주변 조도가 너무 낮아 가시광선 영역에서만 구동 가능한 고화질 카메라를 이용하여 정상적인 영상 획득이 불가능해지면, 고화질 카메라 대신에 적외선 카메라를 추가 이용할 수 있도록 함으로써, 차량의 전방 영역의 영상의 품질을 그대로 유지할 수 있도록 한다. In addition, if the normal surroundings of the vehicle is too low to obtain a normal image using a high-definition camera that can be driven only in the visible light region, an infrared camera can be additionally used instead of the high-definition camera, thereby maintaining the quality of the image in the front region of the vehicle. To make.

도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템의 구성도이다.
도 2는 차량에 설치된 카메라에 의해 획득한 차량 주변 영상을 도시하는 도면이다.
도 3은 일반적인 어라운드 뷰 화면과 특수 목적의 어라운드 뷰 화면을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라 3대의 일반 카메라와 고화질 카메라와 적외선 카메라의 설치 위치를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따라 일반 카메라 영상과 고화질 카메라 영상, 또는 일반 카메라 영상과 적외선 카메라 영상을 이용하여 AVM 영상의 전방 방향 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템의 상세 구성도이다. 1 is a block diagram of an around view monitor system according to an embodiment of the present invention.
2 is a view showing an image around a vehicle obtained by a camera installed in the vehicle.
3 is a diagram showing a general around view screen and a special purpose around view screen.
4 is a view showing the installation positions of three general cameras, a high-definition camera, and an infrared camera according to an embodiment of the present invention.
5 is a diagram for explaining a method of generating a forward direction image of an AVM image using a general camera image and a high-definition camera image, or a general camera image and an infrared camera image according to an embodiment of the present invention.
6 is a detailed configuration diagram of an around view monitor system according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily implement the present invention. However, in the detailed description of a preferred embodiment of the present invention, when it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is said to be'connected' to another part, it is not only'directly connected', but also'indirectly connected' with another element in between. Includes. In addition, "including" a component means that other components may be further included instead of excluding other components, unless otherwise stated.

도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템의 구성도이다.1 is a block diagram of an around view monitor system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템은 차량에 설치된 복수의 카메라(100), 제어 장치(200), 그리고 모니터(300) 등을 포함한다. Referring to FIG. 1, an around view monitor system according to an embodiment of the present invention includes a plurality of cameras 100, a control device 200, and a monitor 300 installed in a vehicle.

카메라(100)는 차량에 분산 배치된 복수의 일반 카메라(110) 이외에 차량 전방에 배치된 고화질 카메라(120)와 적외선 카메라(130)를 더 포함할 수 있다. The camera 100 may further include a high-definition camera 120 and an infrared camera 130 disposed in front of the vehicle in addition to the plurality of general cameras 110 distributed in the vehicle.

일반 카메라(110)는 보다 넓은 범위의 영상을 저해상도로 획득하기 위한 카메라로, 대표적인 예로 일반 카메라 등이 있을 수 있다. The general camera 110 is a camera for acquiring a wider range of images at a lower resolution, and a typical camera may be a typical camera.

고화질 카메라(120)는 차량 전방의 고품질의 영상을 획득하기 위한 카메라이다.The high-definition camera 120 is a camera for obtaining high-quality images in front of the vehicle.

적외선 카메라(130)는 차량 전방을 적외선 촬영한 영상을 획득하기 위한 카메라이다. The infrared camera 130 is a camera for acquiring an infrared photographed image of the front of the vehicle.

제어 장치(200)는 일반 카메라(110)를 통해 획득된 일반 영상들을 이용하여 AVM 영상을 생성하되, 필요시에는 고화질 카메라(120) 또는 적외선 카메라(130)의 촬영 영상을 추가적으로 이용하여 AVM 영상을 생성 및 제공할 수 있도록 한다. 이의 구체적인 구성 및 기능은 도 5 및 도 6을 참조하여 후술한다.The control device 200 generates an AVM image using the general images acquired through the general camera 110, but if necessary, additionally uses the captured image of the high-definition camera 120 or the infrared camera 130 to generate the AVM image. Create and provide. The specific configuration and function thereof will be described later with reference to FIGS. 5 and 6.

모니터(300)는 제어 장치(200)으로부터 제공된 AVM 영상을 표시할 수 있다. 예를 들어, 모니터(300)는 차량에 구비된 디스플레이 패널, 차량의 내부에 설치된 디스플레이 장치 등으로 구현될 수 있다.The monitor 300 may display an AVM image provided from the control device 200. For example, the monitor 300 may be implemented as a display panel provided in a vehicle, a display device installed inside the vehicle, or the like.

도 2는 차량에 설치된 카메라에 의해 획득한 차량 주변 영상을 도시하는 도면이다.2 is a view showing an image around a vehicle obtained by a camera installed in the vehicle.

도 2를 참조하면, 차량의 전방(상좌), 후방(하우), 좌측(하좌) 및 우측(상우)의 영상을 각각 획득하기 위해 설치된 4대의 카메라에 의해 획득한 영상을 도시한다. Referring to FIG. 2, an image obtained by four cameras installed to acquire images of the front (upper left), rear (lower right), left (lower left) and right (upper right) of a vehicle is shown.

도 3은 일반적인 어라운드 뷰 화면과 특수 목적의 어라운드 뷰 화면을 도시하는 도면이다.3 is a view showing a general around view screen and a special purpose around view screen.

도 3을 참조하면, 일반적인 어라운드 뷰 화면(즉, AVM 영상)은 차량을 중심으로 제한된 영역의 주변 영역에 대한 영상만을 표시한다.Referring to FIG. 3, a general around view screen (ie, an AVM image) displays only an image of a surrounding area of a limited area centered on a vehicle.

그러나, 도 3의 우측에 도시된 바와 같이 특수 목적의 어라운드 뷰 화면은 차량의 전방 방향으로 넓은 영역에 대한 영상이 필요할 수 있으며, 이 경우 도 2에 도시된 4대의 카메라 만으로는 원본 영상에서 외곽 부위에 많은 정보를 얻을 수 없어서 계단 현상이 발생하므로 고품질의 영상을 제공할 수 없다는 문제가 있다.However, as shown on the right side of FIG. 3, the special purpose around view screen may require an image for a wide area in the front direction of the vehicle. In this case, only the four cameras shown in FIG. 2 are used to connect to the outer part of the original image. There is a problem that a high quality image cannot be provided because a lot of information cannot be obtained and a staircase phenomenon occurs.

따라서, 본 발명의 실시예에 따르면, 차량의 전방 영역의 영상의 품질을 향상시키기 위해서 후술하는 바와 같이 고화질 카메라를 추가 설치하여 사용할 수 있다.Therefore, according to an embodiment of the present invention, in order to improve the quality of the image in the front area of the vehicle, a high-definition camera may be additionally installed and used as described below.

다만, 고화질 카메라는 가시광선 영역에서만 구동 가능한 카메라이므로 주변 조도가 높은 환경에서 적합하나, 주변 조도가 낮아질 때에는 고화질 카메라를 이용해서도 전방 영역의 고품질 영상을 획득하기가 어려워진다. However, since a high-definition camera is a camera that can only be driven in the visible light region, it is suitable in an environment with high ambient light, but when the ambient light is low, it is difficult to obtain a high-quality image of the front region even with a high-definition camera.

이에 본 발명은 고화질 카메라 대신에, 낮은 조도하에서도 고화질의 영상을 촬영할 수 있는 적외선 카메라를 추가 설치 및 이용함으로써, 낮은 조도하에서도 전방 영역의 영상 품질을 유지할 수 있도록 한다. Accordingly, the present invention, instead of a high-definition camera, by installing and using an infrared camera that can shoot a high-quality image even under low light, it is possible to maintain the image quality of the front region even under low light.

도 4는 본 발명의 일 실시예에 따라 4대의 일반 카메라와 1대의 고화질 카메라, 1대의 적외선 카메라의 설치 위치를 도시하는 도면이다.4 is a view showing the installation positions of four general cameras, one high-definition camera, and one infrared camera according to an embodiment of the present invention.

도 4를 참조하면, 차량 전방, 후방, 좌측, 우측에 위치하도록 일반 카메라가 분산 설치되고, 차량의 전방 유리 내측에 고화질 카메라 및 적외선 카메라가 추가로 설치될 수 있다. 예를 들어, 고화질 카메라 및 적외선 카메라는 통상적으로 차량의 블랙박스가 설치되는 위치에 설치될 수 있다.Referring to FIG. 4, a general camera is distributedly installed to be located in front, rear, left, and right of a vehicle, and a high-definition camera and an infrared camera may be additionally installed inside the front glass of the vehicle. For example, a high-definition camera and an infrared camera may be installed at a location where a black box of a vehicle is installed.

도 5는 본 발명의 일 실시예에 따라 일반 카메라 영상과 고화질 카메라 영상, 또는 일반 카메라 영상과 적외선 카메라 영상을 이용하여 AVM 영상의 전방 방향 영상을 생성하는 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a method of generating a forward direction image of an AVM image using a general camera image and a high-definition camera image, or a general camera image and an infrared camera image according to an embodiment of the present invention.

도 5를 참조하면, AVM 영상의 전방 방향 영상에서 초록색으로 표시된 영역은 일반 카메라를 통해 획득한 영상을 이용하고, 노란색으로 표시된 영역은 고화질 카메라를 통해 획득한 영상을 이용하여 전방 방향 영상을 생성할 수 있다.Referring to FIG. 5, in the forward direction image of the AVM image, the area indicated in green uses an image acquired through a general camera, and the yellow area indicates an forward direction image using an image acquired through a high-definition camera. Can be.

그리고, 일반 카메라에 의해 획득한 영상과 고화질 카메라에 의해 획득한 영상을 결합함에 있어 두 영상이 인접하는 영역이 자연스럽게 연결될 수 있도록 영상을 처리할 수 있다.In addition, in combining an image obtained by a general camera and an image obtained by a high-definition camera, an image may be processed so that adjacent regions of two images can be naturally connected.

또한 이와 동일한 방법으로, AVM 영상의 전방 방향 영상에서 초록색으로 표시된 영역은 일반 카메라를 통해 획득한 영상을 이용하고, 노란색으로 표시된 영역은 적외선 카메라를 통해 획득한 영상을 이용하여 전방 방향 영상을 생성할 수도 있을 것이다. Also, in the same way, in the forward direction image of the AVM image, the area indicated in green uses an image acquired through a general camera, and the yellow area indicates an forward direction image using an image acquired through an infrared camera. It might be.

도 6은 본 발명의 일 실시예에 따른 제어 장치의 상세 구성도이다. 6 is a detailed configuration diagram of a control device according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 제어 장치(200)는 AVM 영상 생성부(210), 동작 모드 결정부(220) 및 AVM 영상 편집부(230) 등을 포함하여 구성될 수 있다. Referring to FIG. 6, the control device 200 according to an embodiment of the present invention may include an AVM image generation unit 210, an operation mode determination unit 220, an AVM image editing unit 230, and the like. .

AVM 영상 생성부(210)는 차량에 설치된 복수의 일반 카메라(110)가 획득 및 제공하는 차량 주변 영상, 즉 전방, 후방, 좌측 및 우측을 촬영한 일반 영상을 수신한다. 그리고 복수의 카메라 각각의 캘리브레이션 정보(즉, 카메라 내외부 파라미터)를 사전 획득 및 저장하고, 이를 기반으로 복수의 일반 영상들을 합성하여 하나의 AVM 영상을 생성하고, AVM 영상을 모니터(300)를 통해 표시한다.The AVM image generating unit 210 receives a vehicle surrounding image acquired by and provided by a plurality of general cameras 110 installed in a vehicle, that is, a general image photographing front, rear, left, and right sides. And the calibration information of each of the plurality of cameras (ie, the internal and external parameters of the camera) is pre-acquired and stored, and based on this, a plurality of general images are synthesized to generate one AVM image, and the AVM image is displayed through the monitor 300 do.

동작 모드 결정부(220)는 사용자 제어 패널, 차량 내장 센서, ECU 등을 통해 획득 및 제공되는 제어값에 응답하여, 동작 모드를 결정한다. The operation mode determination unit 220 determines an operation mode in response to a control value obtained and provided through a user control panel, an in-vehicle sensor, an ECU, and the like.

특히, 차량 운행 시간, 주변 조도 중 적어도 하나에 기반하여 차량 운행 환경을 파악하고, 주변 조도가 높은 환경하에서는 고화질 모드를 자동 활성화시키고, 주변 조도가 낮은 환경하에서는 고화질 모드 대신에 적외선 모드를 자동 활성화시킬 수 있도록 한다. In particular, the vehicle operation environment is identified based on at least one of the vehicle driving time and the ambient light, and the high-definition mode is automatically activated in an environment with high ambient light, and the infrared mode is automatically activated in place of the high-definition mode in environments with low ambient light. Make it possible.

AVM 영상 편집부(230)는 일반 모드에서는 AVM 영상 생성부(210)를 통해 생성된 AVM 영상을 그대로 출력하되, 고화질 모드에서는 AVM 영상에 고화질 영상을 오버레이시켜 출력하고, 적외선 모드에서는 AVM 영상에 적외선 영상을 오버레이시켜 출력하도록 한다. The AVM image editing unit 230 outputs the AVM image generated through the AVM image generation unit 210 in the normal mode, but outputs the high-definition image overlaid on the AVM image in the high-definition mode, and the infrared image to the AVM image in the infrared mode. Overlay to print.

이때, 영상 오버레이 위치는 관련 카메라들간 위치 관계에 의해 자동 결정되며, 관련 카메라들간 위치 관계는 해당 카메라 각각의 캘리브레이션 정보(즉, 카메라 내외부 파라미터)를 이용하여 자동 산출 가능할 것이다. 물론, 필요시에는 영상 오버레이 위치를 사용자가 수동 설정할 수도 있도록 한다. At this time, the position of the image overlay is automatically determined by the positional relationship between the related cameras, and the positional relationship between the related cameras may be automatically calculated by using calibration information (ie, internal and external parameters) of each camera. Of course, if necessary, the user can also manually set the image overlay position.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.The present invention is not limited by the above-described embodiments and accompanying drawings. For those skilled in the art to which the present invention pertains, it will be apparent that components according to the present invention can be substituted, modified and changed without departing from the technical spirit of the present invention.

100: 카메라
110: 일반 카메라
120: 고화질 카메라
130: 적외선 카메라
200: 제어 장치
210: AVM 영상 생성부
220: 동작 모드 결정부
230: AVM 영상 편집부
300: 모니터100: camera
110: normal camera
120: high definition camera
130: infrared camera
200: control unit
210: AVM image generation unit
220: operation mode determination unit
230: AVM video editing department
300: monitor

Claims (4)

차량에 설치되어, 차량 주변을 촬영한 복수의 일반 영상을 획득 및 출력하는 복수의 일반 카메라;
상기 차량에 설치되어, 차량 전방을 고화질 촬영한 고화질 영상을 획득 및 출력하는 고화질 카메라;
상기 차량에 설치되어, 차량 전방을 적외선 촬영한 적외선 영상을 획득 및 출력하는 적외선 카메라; 및
상기 복수의 일반 영상을 이용하여 AVM(Around View Monitor) 영상을 생성하되, 일반 모드에서는 상기 AVM 영상을 그대로 출력하고, 고화질 모드에서는 상기 AVM 영상에 상기 고화질 영상을 오버레이시켜 출력하고, 적외선 모드에서는 상기 AVM 영상에 적외선 영상을 오버레이시켜 출력하는 제어 장치를 포함하는 다목적 영상 제공용 어라운드 뷰 모니터 시스템.A plurality of general cameras installed in the vehicle to acquire and output a plurality of general images taken around the vehicle;
A high-definition camera installed in the vehicle to acquire and output a high-definition image taken in front of the vehicle;
An infrared camera installed in the vehicle to acquire and output an infrared image obtained by infrared photographing the front of the vehicle; And
An AVM (Around View Monitor) image is generated using the plurality of general images, but the AVM image is output as it is in the normal mode, and the high-definition image is overlaid on the AVM image in the high-definition mode, and the infrared mode is the Around image monitor system for providing multi-purpose images including a control device that outputs an infrared image overlaid on an AVM image. 제1항에 있어서, 상기 제어 장치는
상기 복수의 일반 영상을 수신 및 이용하여 AVM 영상을 생성하는 AVM 영상 생성부;
사용자 제어값, 차량 센서 센싱값, ECU 정보 중 적어도 하나를 이용하여 동작 모드를 결정하는 모드 결정부; 및
일반 모드에서는 상기 AVM 영상을 그대로 출력하고, 고화질 모드에서는 상기 AVM 영상에 상기 고화질 영상을 오버레이시켜 출력하고, 적외선 모드에서는 상기 AVM 영상에 적외선 영상을 오버레이시켜 출력하는 AVM 영상 편집부를 포함하는 것을 특징으로 하는 다목적 영상 제공용 어라운드 뷰 모니터 시스템.The method of claim 1, wherein the control device
An AVM image generating unit receiving and using the plurality of general images to generate an AVM image;
A mode determination unit for determining an operation mode using at least one of a user control value, a vehicle sensor sensing value, and ECU information; And
In the normal mode, the AVM image is output as it is, and in the high-definition mode, the high-definition image is overlaid on the AVM image, and in the infrared mode, an AVM image editing unit is provided to overlay and output the infrared image to the AVM image. Around view monitor system for providing multipurpose video. 제2항에 있어서, 상기 AVM 영상 편집부는
차량 운행 시간, 주변 조도 중 적어도 하나에 기반하여 고화질 모드 및 적외선 모드의 활성화 여부를 허용하는 기능을 포함하는 것을 특징으로 하는 다목적 영상 제공용 어라운드 뷰 모니터 시스템.The method of claim 2, wherein the AVM video editing unit
Around view monitor system for providing a multi-purpose image, characterized in that it comprises a function that allows the activation of a high-definition mode and an infrared mode based on at least one of vehicle driving time and ambient light. 제1항에 있어서, 상기 일반 카메라는
어안 카메라인 것을 특징으로 하는 다목적 영상 제공용 어라운드 뷰 모니터 시스템.The method of claim 1, wherein the general camera
Around view monitor system for providing multi-purpose images, which is a fisheye camera.
KR1020190162340A 2018-12-07 2019-12-09 Around view monitor system for multi-purpose video KR20200070136A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180157421 2018-12-07
KR1020180157421 2018-12-07

Publications (1)

Publication Number Publication Date
KR20200070136A true KR20200070136A (en) 2020-06-17

Family

ID=71405668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190162340A KR20200070136A (en) 2018-12-07 2019-12-09 Around view monitor system for multi-purpose video

Country Status (1)

Country Link
KR (1) KR20200070136A (en)

Similar Documents

Publication Publication Date Title
KR101766077B1 (en) System and Method for Providing Vehicle Around View
US10506178B2 (en) Image synthesis device for electronic mirror and method thereof
US8031225B2 (en) Surroundings monitoring system for a vehicle
JP4254887B2 (en) Image display system for vehicles
JP4611899B2 (en) Camera lens dirt detection device and image display system
US20060244829A1 (en) Vehicular image display apparatus
CN105960355B (en) For operating method, rear-camera head system and the motor vehicles of motor vehicles rear-camera head system after detection car light flash of light
WO2013077138A1 (en) Image generation device for monitoring vehicle periphery
US20120154590A1 (en) Vehicle surrounding monitor apparatus
US20120154589A1 (en) Vehicle surrounding monitor apparatus
KR20190047027A (en) How to provide a rearview mirror view of the vehicle's surroundings in the vehicle
JP6507660B2 (en) Vision support device
TWM562412U (en) Panorama detection system of vehicle
JP6857695B2 (en) Rear display device, rear display method, and program
WO2018155038A1 (en) Display device for vehicle
JP3961969B2 (en) Vehicle periphery image processing system
WO2018155040A1 (en) Display device for vehicle
WO2019053929A1 (en) Vehicle device, calibration result determination system, calibration result determination method, and program
KR20200070136A (en) Around view monitor system for multi-purpose video
JP2009083744A (en) Synthetic image adjustment device
JP6617733B2 (en) Vehicle display device
JP2016136326A (en) Information display apparatus and information display method
JPWO2022181767A5 (en)
KR101750156B1 (en) Apparatus and method for displaying panorama image of vehicle
KR20190045542A (en) Apparatus for camera of vehicle and control method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application