KR102409857B1 - Apparatus and method for monitoring environment of vehicle - Google Patents

Apparatus and method for monitoring environment of vehicle Download PDF

Info

Publication number
KR102409857B1
KR102409857B1 KR1020150185279A KR20150185279A KR102409857B1 KR 102409857 B1 KR102409857 B1 KR 102409857B1 KR 1020150185279 A KR1020150185279 A KR 1020150185279A KR 20150185279 A KR20150185279 A KR 20150185279A KR 102409857 B1 KR102409857 B1 KR 102409857B1
Authority
KR
South Korea
Prior art keywords
image
area
region
camera
luminance
Prior art date
Application number
KR1020150185279A
Other languages
Korean (ko)
Other versions
KR20170075518A (en
Inventor
이상헌
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020150185279A priority Critical patent/KR102409857B1/en
Publication of KR20170075518A publication Critical patent/KR20170075518A/en
Application granted granted Critical
Publication of KR102409857B1 publication Critical patent/KR102409857B1/en

Links

Images

Classifications

    • H04N5/23277—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량용 주변 감시 장치 및 방법에 관한 것으로서, 카메라가 촬영한 영상을 분석하여 카메라의 오동작 여부를 판단하는 차량용 주변 감시 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 차량용 주변 감시 장치는 카메라로부터 영상을 입력 받는 입력부와, 상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 영상 처리부와, 상기 상부 영상과 상기 하부 영상의 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 영상 분석부, 및 상기 판단 결과에 따른 경보를 출력하는 출력부를 포함한다.The present invention relates to an apparatus and method for monitoring a vehicle's surroundings, and to a vehicle surrounding monitoring apparatus and method for determining whether a camera malfunctions by analyzing an image captured by a camera.
A vehicle peripheral monitoring apparatus according to an embodiment of the present invention includes an input unit receiving an image from a camera, an image processing unit dividing the input image into an upper image and a lower image, and whether the upper image and the lower image are similar. and an image analysis unit for determining whether the camera malfunctions, and an output unit for outputting an alert according to the determination result.

Description

차량용 주변 감시 장치 및 방법{Apparatus and method for monitoring environment of vehicle}Apparatus and method for monitoring environment of vehicle}

본 발명은 차량용 주변 감시 장치 및 방법에 관한 것으로서, 더욱 상세하게는 카메라가 촬영한 영상을 분석하여 카메라의 오동작 여부를 판단하는 차량용 주변 감시 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for monitoring a vehicle's surroundings, and more particularly, to a vehicle surrounding monitoring apparatus and method for determining whether a camera malfunctions by analyzing an image captured by a camera.

차량의 주변에 대한 정보를 운전자에게 제공하기 위하여 적어도 하나의 카메라가 차량에 구비될 수 있다. 카메라에 의하여 촬영된 영상은 그대로 운전자에게 제공되거나 가공되어 별도의 형태로 제공될 수 있다.At least one camera may be provided in the vehicle to provide the driver with information about the vehicle's surroundings. The image captured by the camera may be provided to the driver as it is, or may be processed and provided in a separate form.

카메라에 의하여 촬영된 영상은 상대 차량 및 보행자와 같은 주변 환경에 대한 것뿐만 아니라, 카메라를 장착하고 있는 본 차량의 환경도 포함된다.The image captured by the camera includes not only the surrounding environment, such as an opposing vehicle and pedestrians, but also the environment of the present vehicle in which the camera is mounted.

한편, 카메라에 하드웨어적인 결함이 발생한 경우 카메라에서 발생되는 전기적인 신호를 이용하여 감지할 수 있는 반면, 소프트웨어적인 결함이 발생한 경우 이를 감지하는 것은 용이하지 않다.On the other hand, when a hardware defect occurs in the camera, it can be detected using an electrical signal generated from the camera, whereas when a software defect occurs, it is not easy to detect it.

따라서, 카메라에 소프트웨어적인 결함이 발생한 경우에도 이를 감지할 수 있도록 하는 발명의 등장이 요구된다.Accordingly, there is a need for an invention capable of detecting a software defect in the camera.

대한민국 공개특허공보 제 10-2008-0050655호 (2008.06.10)Republic of Korea Patent Publication No. 10-2008-0050655 (2008.06.10)

본 발명의 해결하고자 하는 과제는 카메라가 촬영한 영상을 분석하여 카메라의 오동작 여부를 판단하는 것이다.The problem to be solved by the present invention is to determine whether the camera malfunctions by analyzing an image captured by the camera.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The tasks of the present invention are not limited to the tasks mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 실시예에 따른 차량용 주변 감시 장치는 카메라로부터 영상을 입력 받는 입력부와, 상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 영상 처리부와, 상기 상부 영상의 제 1 영역과 상기 하부 영상의 제 2 영역간의 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 영상 분석부, 및 상기 판단 결과에 따른 경보를 출력하는 출력부를 포함한다.A peripheral monitoring apparatus for a vehicle according to an embodiment of the present invention includes an input unit for receiving an image from a camera, an image processing unit for dividing the input image into an upper image and a lower image, and a first area of the upper image and the lower image. and an image analyzer that determines whether the camera malfunctions with reference to whether the second regions are similar, and an output unit that outputs an alert according to a result of the determination.

본 발명의 실시예에 따른 차량용 주변 감시 방법은 카메라로부터 영상을 입력 받는 단계와, 상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 단계와, 상기 상부 영상과 상기 하부 영상의 유사 여부를 판단하는 단계와, 상기 판단된 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 단계, 및 상기 판단 결과에 따른 경보를 출력하는 단계를 포함한다.A vehicle surrounding monitoring method according to an embodiment of the present invention includes receiving an image from a camera, dividing the input image into an upper image and a lower image, and determining whether the upper image and the lower image are similar. and determining whether the camera malfunctions with reference to the determined similarity, and outputting an alert according to the determination result.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

상기한 바와 같은 본 발명의 실시예에 따른 차량용 주변 감시 장치 및 방법 에 따르면 카메라가 촬영한 영상을 분석하여 카메라의 오동작 여부를 판단함으로써 카메라에 소프트웨어적인 결함이 발생한 경우에도 이를 감지하는 장점이 있다.According to the apparatus and method for monitoring a vehicle's surroundings according to an embodiment of the present invention as described above, there is an advantage in detecting a software defect in the camera by analyzing the image captured by the camera to determine whether the camera malfunctions.

도 1은 본 발명의 실시예에 따른 차량에 카메라가 부착된 것을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 오동작 감시 시스템을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 차량용 주변 감시 장치를 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 영상이 분할된 것을 나타낸 도면이다.
도 5 내지 도 7은 본 발명의 실시예에 따른 영상 영역을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 영상 영역에 포함된 화소의 휘도별 개수를 나타낸 그래프이다.
도 9는 본 발명의 실시예에 따른 영상 영역의 지점별 에지 강도를 나타낸 그래프이다.
도 10은 본 발명의 실시예에 따른 영상 영역에서 특정 색상을 갖는 화소의 색도별 개수를 나타낸 그래프이다.
도 11은 본 발명의 실시예에 따른 영상 영역의 지점별 휘도를 나타낸 그래프이다.
도 12는 본 발명의 실시예에 따른 영상 영역의 행별 휘도의 누적값을 나타낸 그래프이다.
도 13은 본 발명의 실시예에 따른 영상 영역의 열별 휘도의 누적값을 나타낸 그래프이다.
도 14는 본 발명의 실시예에 따른 차량용 주변 감시 방법을 나타낸 흐름도이다.1 is a view showing a camera attached to a vehicle according to an embodiment of the present invention.
2 is a view showing a malfunction monitoring system according to an embodiment of the present invention.
3 is a block diagram illustrating a peripheral monitoring apparatus for a vehicle according to an embodiment of the present invention.
4 is a diagram illustrating a split image according to an embodiment of the present invention.
5 to 7 are views showing an image area according to an embodiment of the present invention.
8 is a graph showing the number of pixels included in an image area for each luminance according to an embodiment of the present invention.
9 is a graph illustrating edge strength for each point of an image area according to an embodiment of the present invention.
10 is a graph showing the number of pixels each having a specific color in an image area according to an embodiment of the present invention.
11 is a graph showing luminance of each point of an image area according to an embodiment of the present invention.
12 is a graph showing accumulated values of luminance for each row of an image area according to an embodiment of the present invention.
13 is a graph showing accumulated values of luminance for each column of an image area according to an embodiment of the present invention.
14 is a flowchart illustrating a method for monitoring surroundings for a vehicle according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments published below, but may be implemented in various different forms, and only these embodiments allow the publication of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly defined in particular.

도 1은 본 발명의 실시예에 따른 차량에 카메라가 부착된 것을 나타낸 도면이다.1 is a view showing a camera attached to a vehicle according to an embodiment of the present invention.

도 1을 참조하면, 차량(10)은 적어도 하나의 카메라(20)를 구비할 수 있다. 카메라(20)는 피사체를 촬영하여 피사체에 대한 영상을 생성하는 역할을 수행한다. 카메라(20)의 영상 센서는 아날로그 영상 신호를 입력 받는 것으로서, 영상 신호을 입력 받기 위하여 영상 센서에는 촬상 소자가 구비되어 있을 수 있다. 촬상 소자로는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)가 사용될 수 있으나 이에 한정되지는 않는다.Referring to FIG. 1 , a vehicle 10 may include at least one camera 20 . The camera 20 serves to generate an image of the subject by photographing the subject. The image sensor of the camera 20 receives an analog image signal, and in order to receive the image signal, an image sensor may be provided in the image sensor. A charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) may be used as the imaging device, but is not limited thereto.

차량(10)의 적어도 하나의 위치에 카메라(20)가 부착될 수 있다. 도 1은 차량(10)의 전면, 후면, 상부면 및 양측면에 카메라(20)가 구비된 것을 도시하고 있으나, 카메라(20)가 부착되는 위치가 이에 한정되는 것은 아니다. 또한, 유사한 위치에 복수의 카메라(20)가 구비될 수도 있으며, 이러한 경우 각 카메라(20)가 향하는 방향은 서로 상이할 수 있다.The camera 20 may be attached to at least one location of the vehicle 10 . 1 illustrates that the camera 20 is provided on the front, rear, upper surface and both sides of the vehicle 10 , the position at which the camera 20 is attached is not limited thereto. In addition, a plurality of cameras 20 may be provided at similar positions, and in this case, directions in which each camera 20 faces may be different from each other.

카메라(20)는 차량(10)의 주변을 촬영하거나 차량(10) 자체를 촬영할 수도 있다. 예를 들어, 카메라(20)는 차량(10)의 주변에 존재하는 상대 차량 또는 보행자를 촬영할 수 있으며, 차량(10)의 일측을 촬영할 수도 있다.The camera 20 may photograph the surroundings of the vehicle 10 or photograph the vehicle 10 itself. For example, the camera 20 may photograph an opposing vehicle or a pedestrian existing in the vicinity of the vehicle 10 , or may photograph one side of the vehicle 10 .

도 2는 본 발명의 실시예에 따른 오동작 감시 시스템을 나타낸 도면이다.2 is a diagram illustrating a malfunction monitoring system according to an embodiment of the present invention.

도 2를 참조하면, 오동작 감시 시스템(1)은 차량용 주변 감시 장치(100) 및 카메라(20)를 포함하여 구성된다.Referring to FIG. 2 , the malfunction monitoring system 1 includes a vehicle peripheral monitoring device 100 and a camera 20 .

카메라(20)는 촬영하여 생성된 영상을 차량용 주변 감시 장치(100)로 송신할 수 있다. 이를 위하여, 카메라(20)와 차량용 주변 감시 장치(100)간에는 유선 또는 무선 채널이 형성될 수 있다.The camera 20 may transmit the captured image to the vehicle surrounding monitoring apparatus 100 . To this end, a wired or wireless channel may be formed between the camera 20 and the vehicle peripheral monitoring device 100 .

본 발명에서 카메라(20)는 촬영된 피사체에 대한 정지 영상 또는 동영상을 생성할 수 있다. 동영상이 생성되는 경우 카메라(20)는 동영상을 구성하는 복수의 영상 프레임을 차량용 주변 감시 장치(100)로 송신할 수 있다.In the present invention, the camera 20 may generate a still image or a moving image of the photographed subject. When a moving picture is generated, the camera 20 may transmit a plurality of image frames constituting the moving picture to the vehicle surrounding monitoring apparatus 100 .

한편, 정지 영상이 생성되는 경우 카메라(20)는 이벤트가 발생될 때마다 정지 영상을 송신할 수 있다. 예를 들어, 차량용 주변 감시 장치(100)는 영상 송신 명령을 카메라(20)에게 전달할 수 있는데, 카메라(20)는 영상 송신 명령의 수신에 대응하여 피사체를 촬영하여 정지 영상을 생성하고, 생성된 정지 영상을 차량용 주변 감시 장치(100)로 송신할 수 있는 것이다. 또는, 카메라(20)는 주기적으로 정지 영상을 차량용 주변 감시 장치(100)로 송신할 수도 있다.Meanwhile, when a still image is generated, the camera 20 may transmit the still image whenever an event occurs. For example, the vehicle surrounding monitoring apparatus 100 may transmit an image transmission command to the camera 20 , and the camera 20 generates a still image by photographing a subject in response to the reception of the image transmission command, and the generated It is possible to transmit a still image to the vehicle surrounding monitoring device 100 . Alternatively, the camera 20 may periodically transmit a still image to the vehicle surrounding monitoring apparatus 100 .

차량용 주변 감시 장치(100)는 카메라(20)로부터 수신된 영상을 분석하여 해당 카메라(20)의 오동작 여부를 판단하는 역할을 수행한다. 본 발명에서 차량용 주변 감시 장치(100)는 차량(10)에 장착된 것일 수 있으나, 이에 한정되지는 않는다. 예를 들어, 스마트폰과 같은 사용자의 휴대용 단말기가 차량용 주변 감시 장치(100)의 역할을 수행할 수 있다. 사용자가 휴대용 단말기를 소지하여 차량(10)에 인접한 경우 카메라(20)는 휴대용 단말기와 통신 채널을 구성하고 영상을 송신할 수 있다. 이에, 휴대용 단말기는 수신된 영상을 분석하여 카메라(20)의 오동작 여부를 판단할 수 있다.The vehicle peripheral monitoring apparatus 100 analyzes an image received from the camera 20 to determine whether the corresponding camera 20 malfunctions. In the present invention, the vehicle surrounding monitoring apparatus 100 may be mounted on the vehicle 10 , but is not limited thereto. For example, a user's portable terminal such as a smart phone may serve as the vehicle surrounding monitoring apparatus 100 . When the user possesses the portable terminal and is adjacent to the vehicle 10 , the camera 20 may establish a communication channel with the portable terminal and transmit an image. Accordingly, the portable terminal may determine whether the camera 20 is malfunctioning by analyzing the received image.

카메라(20)에 하드웨어적인 결함이 발생한 경우 그 결함 유무를 확인하는 것이 가능하다. 예를 들어, 카메라(20)의 내부에 포함된 회로의 특정 도선이 단락되거나 단선된 경우 이를 감지하는 감지 수단(미도시)을 구비함으로써 도선의 단락 또는 단선이 감지될 수 있는 것이다.When a hardware defect occurs in the camera 20, it is possible to check whether the defect exists. For example, when a specific conductive wire of a circuit included in the camera 20 is short-circuited or disconnected, the short-circuit or disconnection of the conductive wire may be detected by providing a sensing means (not shown) for detecting the short-circuit or disconnection.

한편, 카메라(20)를 동작시키는 소프트웨어의 결함 또는 카메라(20)의 외부 요인에 의한 결함이 발생한 경우 그 결함 유무를 확인하는 것은 용이하지 않다. 예를 들어, 소프트웨어의 결함이 발생된 경우 정상적인 영상이 생성되지 못하고, 잘못된 화소값이 포함되어 영상이 생성될 수 있다. 또는, 외부적인 요인으로서 진흙과 같은 오물이 카메라(20)의 렌즈에 존재하는 경우 정상적인 피사체의 영상이 아닌 잘못된 정보가 포함된 영상이 생성될 수 있다.On the other hand, when a defect in software for operating the camera 20 or a defect caused by an external factor of the camera 20 occurs, it is not easy to check whether the defect exists. For example, when a software defect occurs, a normal image may not be generated, and an image may be generated because incorrect pixel values are included. Alternatively, when dirt, such as mud, is present in the lens of the camera 20 as an external factor, an image containing incorrect information, not an image of a normal subject, may be generated.

이와 같이, 소프트웨어적인 결함 또는 카메라(20)의 외부 요인에 의한 결함이 반영된 영상은 동일하거나 유사한 복수의 패턴을 포함할 수 있다. 예를 들어, 영상 전체 또는 일부가 하나의 색상만으로 구성되거나, 유사한 패턴으로 구성될 수 있는 것이다.As such, an image in which a software defect or a defect caused by an external factor of the camera 20 is reflected may include a plurality of identical or similar patterns. For example, all or part of an image may be configured with only one color or a similar pattern.

본 발명의 실시예에 따른 차량용 주변 감시 장치(100)는 카메라(20)로부터 수신된 영상을 분석하여 해당 영상을 송신한 카메라(20)에 소프트웨어적인 결함 또는 외부 요인에 의한 결함이 존재하는지 여부를 판단할 수 있다. 이를 위하여, 차량용 주변 감시 장치(100)는 영상 내에서 유사한 영역이 포함되는지 여부를 확인할 수 있다. 즉, 차량용 주변 감시 장치(100)는 영상 내에서 유사한 영역이 포함된 경우 카메라(20)에 결함이 존재하는 것으로 판단하고, 영상 내에서 유사한 영역이 포함되어 있지 않은 경우 카메라(20)에 결함이 존재하지 않는 것으로 판단할 수 있다.The peripheral monitoring apparatus 100 for a vehicle according to an embodiment of the present invention analyzes the image received from the camera 20 to determine whether there is a software defect or a defect due to external factors in the camera 20 that has transmitted the image. can judge To this end, the vehicle surrounding monitoring apparatus 100 may check whether a similar area is included in the image. That is, the vehicle peripheral monitoring apparatus 100 determines that a defect exists in the camera 20 when a similar region is included in the image, and when a similar region is not included in the image, the camera 20 has a defect. It can be judged as non-existent.

이하, 차량용 주변 감시 장치(100)의 동작에 대하여 자세히 설명하기로 한다.Hereinafter, the operation of the peripheral monitoring apparatus 100 for a vehicle will be described in detail.

도 3은 본 발명의 실시예에 따른 차량용 주변 감시 장치를 나타낸 블록도이다.3 is a block diagram illustrating a peripheral monitoring apparatus for a vehicle according to an embodiment of the present invention.

도 3을 참조하면, 차량용 주변 감시 장치(100)는 입력부(110), 영상 처리부(120), 저장부(130), 제어부(140), 영상 분석부(150) 및 출력부(160)를 포함하여 구성된다.Referring to FIG. 3 , the vehicle peripheral monitoring apparatus 100 includes an input unit 110 , an image processing unit 120 , a storage unit 130 , a control unit 140 , an image analysis unit 150 , and an output unit 160 . is composed by

입력부(110)는 카메라(20)로부터 영상을 입력 받는 역할을 수행한다. 이를 위하여, 입력부(110)와 카메라(20)간에는 유선 또는 무선 통신 채널이 구성될 수 있다. 전술한 바와 같이, 차량(10)에는 적어도 하나의 카메라(20)가 구비될 수 있는데, 입력부(110)는 각 카메라(20)별로 통신 채널을 구성할 수 있다.The input unit 110 serves to receive an image from the camera 20 . To this end, a wired or wireless communication channel may be configured between the input unit 110 and the camera 20 . As described above, at least one camera 20 may be provided in the vehicle 10 , and the input unit 110 may configure a communication channel for each camera 20 .

영상 처리부(120)는 입력부(110)를 통하여 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 역할을 수행한다. 그리고, 영상 분석부(150)는 상부 영상과 하부 영상의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다.The image processing unit 120 divides the image input through the input unit 110 into an upper image and a lower image. In addition, the image analyzer 150 may determine whether the camera 20 malfunctions with reference to whether the upper image and the lower image are similar.

도 4에 도시된 바와 같이, 영상(200)은 상부 영상(210) 및 하부 영상(220)으로 분할될 수 있다. 분할 경계(B)는 영상(200)의 중심일 수 있으나, 이에 한정되지는 않는다.As shown in FIG. 4 , the image 200 may be divided into an upper image 210 and a lower image 220 . The division boundary B may be the center of the image 200 , but is not limited thereto.

전술한 바와 같이, 본 발명의 카메라(20)는 차량(10)의 주변을 촬영할 수 있다. 즉, 카메라(20)는 차량(10)의 외측 방향으로 촬영을 수행할 수 있는 것이다. 이러한 경우 카메라(20)에 의하여 촬영된 영상(200)에는 지표선이 포함될 수 있다. 그리고, 지표선의 상측에는 하늘이 포함되고, 지표산의 하측에는 지면이 포함될 수 있다. 즉, 지표선을 기준으로 영상(200) 내에 포함될 수 있는 객체는 서로 상이할 수밖에 없는 것이다.As described above, the camera 20 of the present invention may photograph the surroundings of the vehicle 10 . That is, the camera 20 may perform photographing in the outward direction of the vehicle 10 . In this case, the image 200 captured by the camera 20 may include an index line. And, the sky may be included in the upper side of the surface line, and the ground may be included in the lower side of the surface mountain. That is, objects that can be included in the image 200 based on the index line are inevitably different from each other.

이에, 본 발명의 실시예에 따른 영상 분석부(150)는 영상(200)의 상부 영상(210) 및 하부 영상(220)간의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다. 예를 들어, 상부 영상(210)과 하부 영상(220)의 유사 여부가 임계치를 초과하는 경우 영상 분석부(150)는 카메라(20)가 오동작하는 것으로 판단할 수 있다.Accordingly, the image analysis unit 150 according to an embodiment of the present invention may determine whether the camera 20 malfunctions with reference to whether the upper image 210 and the lower image 220 of the image 200 are similar. . For example, when the similarity between the upper image 210 and the lower image 220 exceeds a threshold, the image analyzer 150 may determine that the camera 20 malfunctions.

전술한 바와 같이, 카메라(20)에 소프트웨어적인 결함 또는 외부 요인에 의한 결함이 발생된 경우 동일하거나 유사한 색상 또는 패턴이 영상 전반에 걸쳐 포함될 수 있다. 또한, 정상적으로 피사체가 촬영되어 영상이 생성된 경우 객체의 상이함으로 인하여 상부 영상(210)과 하부 영상(220)간에는 차이가 존재하여야 한다. 이에, 영상 분석부(150)는 상부 영상(210)과 하부 영상(220)이 유사한 경우 해당 영상을 생성한 카메라(20)에 결함이 존재하는 것으로 판단할 수 있다.As described above, when a software defect or a defect caused by an external factor occurs in the camera 20, the same or similar color or pattern may be included throughout the image. In addition, when a subject is normally photographed and an image is generated, a difference must exist between the upper image 210 and the lower image 220 due to differences in objects. Accordingly, when the upper image 210 and the lower image 220 are similar, the image analysis unit 150 may determine that a defect exists in the camera 20 that has generated the corresponding image.

상부 영상(210) 및 하부 영상(220)의 유사 여부를 판단함에 있어서, 영상 분석부(150)는 상부 영상(210)의 제 1 영역(211) 및 하부 영상(220)의 제 2 영역(221)간의 유사 여부를 판단할 수 있다.In determining whether the upper image 210 and the lower image 220 are similar, the image analyzer 150 performs the first region 211 of the upper image 210 and the second region 221 of the lower image 220 . ) to determine whether they are similar or not.

도 5 내지 도 7은 상부 영상(210) 및 하부 영상(220)에 각각 포함된 제 1 영역(211) 및 제 2 영역(221)을 도시하고 있다. 영상 분석부(150)는 상부 영상(210)의 특정 영역인 제 1 영역(211)과 하부 영상(220)의 특정 영역인 제 2 영역(221)간의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다.5 to 7 illustrate a first region 211 and a second region 221 included in the upper image 210 and the lower image 220, respectively. The image analyzer 150 refers to the similarity between the first region 211 , which is a specific region of the upper image 210 , and the second region 221 , which is a specific region of the lower image 220 , to cause malfunction of the camera 20 . can determine whether

제 1 영역(211)은 상부 영상(210)의 좌측 상단 또는 우측 상단에 포함되고, 제 2 영역(221)은 하부 영상(220)의 우측 하단 또는 좌측 하단에 포함될 수 있다. 도 5는 제 1 영역(211)이 상부 영상(210)의 좌측 상단에 포함되고, 제 2 영역(221)이 하부 영상(220)의 우측 하단에 포함된 것을 도시하고 있다. 또한, 도 6은 제 1 영역(211)이 상부 영상(210)의 우측 상단에 포함되고, 제 2 영역(221)이 하부 영상(220)의 좌측 하단에 포함된 것을 도시하고 있다.The first region 211 may be included in the upper left or upper right of the upper image 210 , and the second region 221 may be included in the lower right or lower left of the lower image 220 . FIG. 5 illustrates that the first region 211 is included in the upper left of the upper image 210 and the second region 221 is included in the lower right of the lower image 220 . 6 illustrates that the first region 211 is included in the upper right of the upper image 210 and the second region 221 is included in the lower left of the lower image 220 .

또는, 도 7에 도시된 바와 같이, 제 1 영역(211) 및 제 2 영역(221)은 각각 상부 영상(210) 및 하부 영상(220)의 임의의 위치에 포함될 수 있다.Alternatively, as shown in FIG. 7 , the first region 211 and the second region 221 may be included in arbitrary positions of the upper image 210 and the lower image 220 , respectively.

제 1 영역(211) 및 제 2 영역(221)의 크기는 동일하며, 그 크기는 사전에 설정될 수 있다. 또는, 사용자에 의하여 제 1 영역(211) 및 제 2 영역(221)의 크기가 결정될 수도 있다. 사용자에 의하여 결정된 제 1 영역(211) 및 제 2 영역(221)의 크기는 입력부(110)를 통하여 입력될 수 있다.The first area 211 and the second area 221 have the same size, and the size may be set in advance. Alternatively, the sizes of the first area 211 and the second area 221 may be determined by the user. The sizes of the first area 211 and the second area 221 determined by the user may be input through the input unit 110 .

이상은 제 1 영역(211) 및 제 2 영역(221)의 위치가 사전에 설정되거나 임의로 설정된 것을 설명하였으나, 사용자에 의하여 설정될 수도 있다. 사용자는 제 1 영역(211) 및 제 2 영역(221)의 위치를 입력할 수 있으며, 영상 분석부(150)는 상부 영상(210) 및 하부 영상(220)의 해당 위치에서 추출한 제 1 영역(211) 및 제 2 영역(221)의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다. 사용자에 의하여 선택된 제 1 영역(211) 및 제 2 영역(221)의 위치는 입력부(110)를 통하여 입력될 수 있다.Although it has been described above that the positions of the first region 211 and the second region 221 are preset or arbitrarily set, they may be set by the user. The user may input the positions of the first region 211 and the second region 221 , and the image analyzer 150 extracts the first region ( ) from the corresponding positions of the upper image 210 and the lower image 220 . 211 ) and the second region 221 , it is possible to determine whether the camera 20 malfunctions. The positions of the first region 211 and the second region 221 selected by the user may be input through the input unit 110 .

본 발명의 일 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)에 포함된 화소의 휘도별 개수를 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.According to an embodiment of the present invention, the image analyzer 150 compares the number of pixels included in the first region 211 and the second region 221 by luminance for each luminance in the first region 211 and the second region. (221) can be determined whether similarity.

도 8은 본 발명의 실시예에 따른 영상 영역에 포함된 화소의 휘도별 개수를 나타낸 그래프로서, 제 1 영역(211)에 포함된 화소의 휘도별 개수를 나타낸 그래프(이하, 제 1 휘도별 개수 그래프라 한다)(310) 및 제 2 영역(221)에 포함된 화수의 휘도별 개수를 나타낸 그래프(이하, 제 2 휘도별 개수 그래프라 한다)(320)를 도시하고 있다.8 is a graph showing the number of pixels included in an image region for each luminance according to an embodiment of the present invention. A graph (hereinafter, referred to as a graph) 310 and a graph indicating the number of calls per luminance included in the second region 221 (hereinafter referred to as a second number per luminance graph) 320 are shown.

휘도별 개수 그래프(310, 320)는 영상 영역에 포함된 화소 중 특정 휘도를 갖는 화소의 수를 그래프로 나타낸 것이다. 예를 들어, 휘도의 범위는 0~255일 수 있는데, 휘도가 0인 화소의 개수, 휘도가 1인 화소의 개수, ... , 휘도가 255인 화소의 개수로 휘도별 개수 그래프(310, 320)가 형성될 수 있다.The number graphs 310 and 320 for each luminance are graphs showing the number of pixels having a specific luminance among pixels included in the image area. For example, the range of luminance may be 0 to 255. The number of pixels with luminance 0, the number of pixels with luminance 1, ... , the number of pixels with luminance 255. 320) may be formed.

영상 분석부(150)는 제 1 휘도별 개수 그래프(310)와 제 2 휘도별 개수 그래프(320)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 휘도별 개수 그래프(310)와 제 2 휘도별 개수 그래프(320)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 특정 휘도를 갖는 화소의 개수간 차이를 산출하는 것으로서, 화소의 개수간 차이는 전체 휘도에 걸쳐 산출될 수 있다.The image analyzer 150 may compare the number graph 310 by first luminance and the number graph 320 by second luminance. For example, the image analyzer 150 may calculate a difference between the first number-by-luminance graph 310 and the second number-by-luminance graph 320 . That is, as calculating a difference between the number of pixels having a specific luminance in the first region 211 and the second region 221 , the difference between the number of pixels may be calculated over the entire luminance.

그리고, 영상 분석부(150)는 산출된 휘도별 화소의 개수 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 휘도별 화소의 개수 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 휘도별 화소의 개수 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.In addition, the image analysis unit 150 may determine whether the first region 211 and the second region 221 are similar by summing up all the calculated differences in the number of pixels for each luminance and comparing it with a preset threshold. have. That is, when the sum of the difference in the number of pixels for each luminance is less than or equal to the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are similar. Meanwhile, when the sum of the difference in the number of pixels for each luminance exceeds the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are not similar.

본 발명의 다른 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)의 각 지점별 에지 강도를 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.According to another embodiment of the present invention, the image analyzer 150 compares the edge strengths for each point of the first region 211 and the second region 221 to the first region 211 and the second region 221 . ) to determine whether they are similar or not.

도 9는 본 발명의 실시예에 따른 영상 영역의 지점별 에지 강도를 나타낸 그래프로서, 제 1 영역(211)의 지점별 에지 강도를 나타낸 그래프(이하, 제 1 에지 강도 그래프라 한다)(410) 및 제 2 영역(221)의 지점별 에지 강도를 나타낸 그래프(이하, 제 2 에지 강도 그래프라 한다)(420)를 도시하고 있다.9 is a graph showing edge strength for each point of the image area according to an embodiment of the present invention, and is a graph showing edge strength for each point of the first region 211 (hereinafter referred to as a first edge strength graph) 410 . and a graph (hereinafter, referred to as a second edge strength graph) 420 showing edge strength for each point of the second region 221 .

에지 강도 그래프(410, 420)는 영상 영역의 특정 지점의 에지 강도를 그래프로 나타낸 것이다. 여기서, 에지 강도가 산출되는 지점(이하, 에지 산출 지점이라 한다)은 각 영상 영역의 일부 화소일 수 있고, 전체 화소일 수도 있다. 에지 산출 지점이 영상 영역의 일부 화소인 경우 제 1 영역(211)과 제 2 영역(221)의 에지 산출 지점은 동일한 위치의 화소일 수 있다.The edge strength graphs 410 and 420 are graphs of edge strength at a specific point in the image area. Here, a point at which the edge intensity is calculated (hereinafter, referred to as an edge calculation point) may be some pixels or all pixels of each image area. When the edge calculation point is a partial pixel of the image area, the edge calculation point of the first area 211 and the second area 221 may be pixels at the same location.

따라서, 에지 산출 지점이 10개인 경우 제 1 지점의 에지 강도, 제 2 지점의 에지 강도, ... , 제 10 지점의 에지 강도로 에지 강도 그래프(410, 420)가 형성될 수 있다.Accordingly, when there are 10 edge calculation points, the edge strength graphs 410 and 420 may be formed with the edge strength of the first point, the edge strength of the second point, ... , the edge strength of the tenth point.

에지는 수평 에지, 수직 에지 및 대각 에지 중 하나일 수 있으며, 제 1 영역(211) 및 제 2 영역(221)에 대하여 동일한 방식으로 형성된 에지의 에지 강도가 산출될 수 있다.The edge may be one of a horizontal edge, a vertical edge, and a diagonal edge, and the edge strength of the edge formed in the same manner with respect to the first area 211 and the second area 221 may be calculated.

영상 분석부(150)는 제 1 에지 강도 그래프(410)와 제 2 에지 강도 그래프(420)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 에지 강도 그래프(410)와 제 2 에지 강도 그래프(420)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 전체 에지 산출 지점에서의 에지 강도간 차이를 산출하는 것이다.The image analyzer 150 may compare the first edge intensity graph 410 and the second edge intensity graph 420 . For example, the image analyzer 150 may calculate a difference between the first edge intensity graph 410 and the second edge intensity graph 420 . That is, the difference between the edge strengths at all edge calculation points in the first area 211 and the second area 221 is calculated.

그리고, 영상 분석부(150)는 산출된 지점별 에지 강도간 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 지점별 에지 강도간 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 지점별 에지 강도간 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.In addition, the image analyzer 150 may determine whether the first region 211 and the second region 221 are similar by summing up all the calculated differences between the edge strengths for each point and comparing it with a preset threshold. have. That is, when the sum of the differences between edge intensities for each point is less than or equal to the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are similar. Meanwhile, when the sum of the differences between edge intensities for each point exceeds the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are not similar.

본 발명의 또 다른 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)에 포함되어 특정 색상을 갖는 화소의 색도별 개수를 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.According to another embodiment of the present invention, the image analyzer 150 compares the number of pixels included in the first region 211 and the second region 221 for each chromaticity having a specific color in the first region 211 . ) and the similarity between the second region 221 may be determined.

도 10은 본 발명의 실시예에 따른 영상 영역에서 특정 색상을 갖는 화소의 색도별 개수를 나타낸 그래프로서, 제 1 영역(211)에서 특정 색상을 갖는 화소의 색도별 개수를 나타낸 그래프(이하, 제 1 색도별 개수 그래프라 한다)(510) 및 제 2 영역(221)에서 특정 색상을 갖는 화소의 색도별 개수를 나타낸 그래프(이하, 제 2 색도별 개수 그래프라 한다)(520)를 도시하고 있다. 여기서, 제 1 영역(211)에서의 특정 색상과 제 2 영역(221)에서의 특정 색상은 동일한 색상일 수 있다.10 is a graph showing the number of pixels having a specific color in an image region according to chromaticity according to an embodiment of the present invention, and is a graph showing the number of pixels having a specific color in the first region 211 by chromaticity. 510) and a graph (hereinafter referred to as the number graph for each second chromaticity) 520 showing the number of pixels having a specific color per chromaticity in the second region 221 are shown. . Here, the specific color in the first area 211 and the specific color in the second area 221 may be the same color.

색도별 개수 그래프(510, 520)는 영상 영역에서 특정 색상을 갖는 화소의 색도별 개수를 그래프로 나타낸 것이다. 예를 들어, 색상은 Cr일 수 있고, 색도의 범위는 0~255일 수 있는데, 색상이 Cr이고 색도가 0인 화소의 개수, 색상이 Cr이고 색도가 1인 화소의 개수, ... , 색상이 Cr이고 색도가 255인 화소의 개수로 색도별 개수 그래프(510, 520)가 형성될 수 있다.The number graphs 510 and 520 for each chromaticity are graphs showing the number of pixels having a specific color in an image area for each chromaticity. For example, the color may be Cr, and the chromaticity range may be 0 to 255, the number of pixels having the color Cr and chromaticity 0, the number of pixels having the color Cr and chromaticity 1, ... , The number graphs 510 and 520 for each chromaticity may be formed with the number of pixels having a color of Cr and a chromaticity of 255.

영상 분석부(150)는 제 1 색도별 개수 그래프(510)와 제 2 색도별 개수 그래프(520)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 색도별 개수 그래프(510)와 제 2 색도별 개수 그래프(520)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 특정 색상을 갖는 화소의 색도별 개수간 차이를 산출하는 것으로서, 화소의 색도별 개수간 차이는 전체 색도에 걸쳐 산출될 수 있다.The image analyzer 150 may compare the number graph 510 for each first chromaticity and the number graph 520 for each second chromaticity. For example, the image analyzer 150 may calculate a difference between the number graph 510 for each first chromaticity and the graph 520 for the number for each second chromaticity. That is, the difference between the number of pixels having a specific color for each chromaticity is calculated in the first region 211 and the second region 221 , and the difference between the number of pixels for each chromaticity may be calculated over the entire chromaticity.

그리고, 영상 분석부(150)는 산출된 색도별 화소의 개수 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 색도별 화소의 개수 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 색도별 화소의 개수 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.In addition, the image analyzer 150 may determine whether the first region 211 and the second region 221 are similar by summing up all the calculated differences in the number of pixels for each chromaticity and comparing the difference with a preset threshold. have. That is, when the sum of the difference in the number of pixels for each chromaticity is less than or equal to the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are similar. Meanwhile, when the sum of the difference in the number of pixels for each chromaticity exceeds the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are not similar.

본 발명의 또 다른 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)의 각 지점별 휘도를 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.According to another embodiment of the present invention, the image analyzer 150 compares the luminance of each point of the first area 211 and the second area 221 to the first area 211 and the second area 221 . ) to determine whether they are similar or not.

도 11은 본 발명의 실시예에 따른 영상 영역의 지점별 휘도를 나타낸 그래프로서, 제 1 영역(211)의 지점별 휘도를 나타낸 그래프(이하, 제 1 지점별 휘도 그래프라 한다)(610) 및 제 2 영역(221)의 지점별 휘도를 나타낸 그래프(이하, 제 2 지점별 휘도 그래프라 한다)(620)를 도시하고 있다.11 is a graph showing the luminance for each point of the image area according to an embodiment of the present invention, and a graph showing the luminance for each point of the first area 211 (hereinafter referred to as a luminance graph for each first point) 610 and A graph (hereinafter, referred to as a luminance graph for each second point) 620 showing the luminance for each point of the second area 221 is shown.

지점별 휘도 그래프(610, 620)는 영상 영역의 특정 지점의 휘도를 그래프로 나타낸 것이다. 여기서, 휘도가 산출되는 지점(이하, 휘도 산출 지점이라 한다)은 각 영상 영역의 일부 화소일 수 있고, 전체 화소일 수도 있다. 휘도 산출 지점이 영상 영역의 일부 화소인 경우 제 1 영역(211)과 제 2 영역(221)의 휘도 산출 지점은 동일한 위치의 화소일 수 있다.The luminance graphs 610 and 620 for each point are graphs showing the luminance of a specific point in the image area. Here, the point at which the luminance is calculated (hereinafter, referred to as the point at which the luminance is calculated) may be some pixels or all pixels of each image area. When the luminance calculation point is a partial pixel of the image area, the luminance calculation point of the first area 211 and the second area 221 may be a pixel at the same location.

따라서, 휘도 산출 지점이 10개인 경우 제 1 지점의 휘도, 제 2 지점의 휘도, ... , 제 10 지점의 휘도로 지점별 휘도 그래프(610, 620)가 형성될 수 있다.Accordingly, when there are ten luminance calculation points, the luminance graphs 610 and 620 for each point may be formed with the luminance of the first point, the luminance of the second point, ... , the luminance of the tenth point.

영상 분석부(150)는 제 1 지점별 휘도 그래프(610)와 제 2 지점별 휘도 그래프(620)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 지점별 휘도 그래프(610)와 제 2 지점별 휘도 그래프(620)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 전체 휘도 산출 지점에서의 휘도간 차이를 산출하는 것이다.The image analyzer 150 may compare the luminance graph 610 for each first point and the luminance graph 620 for each second point. For example, the image analyzer 150 may calculate a difference between the luminance graph 610 for each first point and the luminance graph 620 for each second point. That is, the difference between the luminances at all luminance calculation points in the first region 211 and the second region 221 is calculated.

그리고, 영상 분석부(150)는 산출된 지점별 휘도간 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 지점별 휘도간 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 지점별 휘도간 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.In addition, the image analyzer 150 may determine whether the first region 211 and the second region 221 are similar by summing up all the calculated differences between the luminances for each point and comparing it with a preset threshold. . That is, when the sum of the differences between luminances for each point is less than or equal to the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are similar. Meanwhile, when the sum of differences between luminances for each point exceeds the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are not similar.

본 발명의 또 다른 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)의 행별 휘도의 누적값을 비교하거나, 제 1 영역(211) 및 제 2 영역(221)의 열별 휘도의 누적값을 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.According to another embodiment of the present invention, the image analyzer 150 compares the accumulated values of luminance for each row of the first region 211 and the second region 221 , or the first region 211 and the second region The similarity between the first region 211 and the second region 221 may be determined by comparing the accumulated values of luminance for each column of 221 .

도 12는 본 발명의 실시예에 따른 영상 영역의 행별 휘도의 누적값을 나타낸 그래프이고, 도 13은 본 발명의 실시예에 따른 영상 영역의 열별 휘도의 누적값을 나타낸 그래프이다.12 is a graph showing the cumulative value of the luminance for each row of the image area according to an embodiment of the present invention, and FIG. 13 is a graph showing the cumulative value of the luminance for each column of the image area according to the embodiment of the present invention.

이하, 제 1 영역(211)의 행별 휘도의 누적값을 나타낸 그래프를 제 1 행별 휘도 그래프(710)라 하고, 제 2 영역(221)의 행별 휘도의 누적값을 나타낸 그래프를 제 2 행별 휘도 그래프(720)라 한다. 이와 마찬가지로, 제 1 영역(211)의 열별 휘도의 누적값을 나타낸 그래프를 제 1 열별 휘도 그래프(810)라 하고, 제 2 영역(221)의 열별 휘도의 누적값을 나타낸 그래프를 제 2 열별 휘도 그래프(820)라 한다.Hereinafter, a graph showing the cumulative luminance values for each row of the first region 211 is referred to as a first row luminance graph 710 , and a graph showing the cumulative luminance values for each row of the second region 221 is referred to as a luminance graph for each second row. It is called (720). Similarly, a graph showing the accumulated luminance values for each column of the first region 211 is referred to as a first column luminance graph 810 , and a graph showing the accumulated luminance values for each column of the second region 221 is referred to as a second column luminance graph. It is referred to as a graph 820 .

행별 휘도 그래프(710, 720)는 영상 영역의 특정 행의 휘도 누적값을 그래프로 나타낸 것이다. 여기서, 휘도 누적값이 산출되는 행(이하, 휘도 산출 행이라 한다)은 각 영상 영역의 일부 행일 수 있고, 전체 행일 수도 있다. 휘도 산출 행이 영상 영역의 일부 행인 경우 제 1 영역(211)과 제 2 영역(221)의 휘도 산출 행은 동일한 위치의 행일 수 있다.The luminance graphs 710 and 720 for each row are graphs showing the accumulated luminance values of a specific row of the image area. Here, the row in which the cumulative luminance value is calculated (hereinafter, referred to as a luminance calculation row) may be a partial row of each image area or an entire row. When the luminance calculation row is a partial row of the image region, the luminance calculation row of the first region 211 and the second region 221 may be at the same position.

따라서, 휘도 산출 행이 10개인 경우 제 1 행의 휘도 누적값, 제 2 행의 휘도 누적값, ... , 제 10 행의 휘도 누적값으로 행별 휘도 그래프(710, 720)가 형성될 수 있다.Accordingly, when there are 10 luminance calculation rows, the luminance graphs 710 and 720 for each row may be formed with the accumulated luminance values of the first row, the accumulated luminance values of the second row, ... , and the accumulated luminance values of the tenth row. .

영상 분석부(150)는 제 1 행별 휘도 그래프(710)와 제 2 행별 휘도 그래프(720)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 행별 휘도 그래프(710)와 제 2 행별 휘도 그래프(720)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 전체 휘도 산출 행에서의 휘도 누적값간 차이를 산출하는 것이다.The image analyzer 150 may compare the luminance graph 710 for each first row and the luminance graph 720 for each second row. For example, the image analyzer 150 may calculate a difference between the luminance graph 710 for each first row and the luminance graph 720 for each second row. That is, the difference between the accumulated luminance values in all luminance calculation rows in the first region 211 and the second region 221 is calculated.

그리고, 영상 분석부(150)는 산출된 행별 휘도 누적값간 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 행별 휘도 누적값간 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 행별 휘도 누적값간 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.Then, the image analyzer 150 may determine whether the first area 211 and the second area 221 are similar by summing up all the calculated differences between the accumulated luminance values for each row and comparing the difference with a preset threshold. . That is, when the sum of the differences between the accumulated luminance values for each row is equal to or less than the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are similar. Meanwhile, when the sum of the differences between the accumulated luminance values for each row exceeds the threshold, the image analyzer 150 may determine that the first region 211 and the second region 221 are not similar.

행별 휘도 그래프(710, 720)를 이용하여 제 1 영역(211)과 제 2 영역(221)의 유사 여부를 판단하는 것과 마찬가지로, 영상 분석부(150)는 열별 휘도 그래프(810, 820)를 이용하여 제 1 영역(211)과 제 2 영역(221)의 유사 여부를 판단할 수 있다. 열별 휘도 그래프(810, 820)를 이용한 영상 영역의 유사 여부 판단은 행별 휘도 그래프(710, 720)를 이용한 영상 영역의 유사 여부 판단과 유사하므로 자세한 설명은 생략하기로 한다.Similarly to determining whether the first region 211 and the second region 221 are similar by using the luminance graphs 710 and 720 for each row, the image analyzer 150 uses the luminance graphs 810 and 820 for each column. Thus, it is possible to determine whether the first region 211 and the second region 221 are similar. Since determining whether image regions are similar using the luminance graphs 810 and 820 for each column is similar to determining whether image regions are similar using the luminance graphs 710 and 720 for each row, a detailed description will be omitted.

저장부(130)는 입력부(110)를 통하여 입력된 영상을 임시적으로 또는 영구적으로 저장하는 역할을 수행한다. 또한, 저장부(130)는 입력부(110)를 통하여 입력된 다양한 정보 및 차량용 주변 감시 장치(100)의 내부에서 전달되는 각종 데이터를 임시적으로 또는 영구적으로 저장할 수도 있다.The storage unit 130 serves to temporarily or permanently store the image input through the input unit 110 . Also, the storage unit 130 may temporarily or permanently store various information input through the input unit 110 and various data transmitted from the inside of the vehicle surrounding monitoring apparatus 100 .

운전석 부근에 구비된 출력부(160)는 영상 분석부(150)에 의하여 판단된 카메라(20)의 오동작 경보를 출력하는 역할을 수행한다. 출력부(160)는 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나의 방식으로 카메라(20)의 오동작 경보를 출력할 수 있다. 출력부(160)는 영상 출력 수단(미도시), 음성 출력 수단(미도시) 및 진동 출력 수단(미도시)을 포함할 수 있으며, 각 출력 수단을 통하여 카메라(20)의 오동작 경보를 출력할 수 있다.The output unit 160 provided near the driver's seat serves to output a malfunction warning of the camera 20 determined by the image analysis unit 150 . The output unit 160 may output a malfunction warning of the camera 20 in at least one of a visual method, an auditory method, and a tactile method. The output unit 160 may include an image output means (not shown), an audio output means (not shown) and a vibration output means (not shown), and may output a malfunction alert of the camera 20 through each output means. can

예를 들어, 출력부(160)는 특정 카메라(20)가 오동작하고 있음을 출력할 수 있다. 이 때, 출력부(160)는 해당 카메라(20)의 식별 정보를 출력할 수 있다. 카메라(20)는 자신의 식별 정보를 포함시켜 영상을 생성할 수 있는데, 출력부(160)는 영상에 포함된 식별 정보를 이용하여 오동작하는 카메라(20)의 식별 정보를 출력할 수 있는 것이다. 또한, 영상 출력 수단을 포함하는 경우 출력부(160)는 해당 카메라(20)에 의하여 촬영된 영상을 출력할 수도 있다.For example, the output unit 160 may output that the specific camera 20 is malfunctioning. In this case, the output unit 160 may output identification information of the corresponding camera 20 . The camera 20 may generate an image by including its identification information, and the output unit 160 may output identification information of the malfunctioning camera 20 using the identification information included in the image. In addition, when an image output means is included, the output unit 160 may output an image photographed by the corresponding camera 20 .

오동작 경보를 제공 받음에 따라 사용자는 해당 카메라(20)에 대한 조치를 취할 수 있게 된다.As the malfunction alert is provided, the user can take action on the corresponding camera 20 .

제어부(140)는 입력부(110), 영상 처리부(120), 저장부(130), 영상 분석부(150) 및 출력부(160)에 대한 전반적인 제어를 수행한다.The controller 140 performs overall control of the input unit 110 , the image processing unit 120 , the storage unit 130 , the image analysis unit 150 , and the output unit 160 .

도 14는 본 발명의 실시예에 따른 차량용 주변 감시 방법을 나타낸 흐름도이다.14 is a flowchart illustrating a method for monitoring surroundings for a vehicle according to an embodiment of the present invention.

카메라(20)의 오동작을 감시하기 위하여 입력부(110)는 카메라(20)로부터 영상을 입력 받을 수 있다(S910). 입력부(110)는 통신 채널이 구성된 적어도 하나의 카메라(20)로부터 순차적으로 또는 동시에 영상을 입력 받을 수 있다.In order to monitor the malfunction of the camera 20 , the input unit 110 may receive an image from the camera 20 ( S910 ). The input unit 110 may receive images sequentially or simultaneously from at least one camera 20 configured with a communication channel.

영상이 입력됨에 따라 영상 처리부(120)는 입력된 영상을 상부 영상(210) 및 하부 영상(220)으로 분할할 수 있다(S920).As an image is input, the image processing unit 120 may divide the input image into an upper image 210 and a lower image 220 ( S920 ).

그리고, 영상 분석부(150)는 상부 영상(210)과 하부 영상(220)을 비교하여 유사 여부를 판단하고(S930), 그 결과를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다(S940). 이 때, 영상 분석부(150)는 상부 영상(210)의 제 1 영역(211) 및 하부 영상(220)의 제 2 영역(221)간의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다.Then, the image analysis unit 150 may compare the upper image 210 and the lower image 220 to determine whether they are similar ( S930 ), and determine whether the camera 20 malfunctions with reference to the result ( S930 ). S940). At this time, the image analyzer 150 determines whether the camera 20 malfunctions with reference to whether the first region 211 of the upper image 210 and the second region 221 of the lower image 220 are similar. can do.

영상 분석부(150)는 각 영상 영역의 휘도, 색도 및 에지 강도 등을 비교하여 그 유사 여부를 판단할 수 있다.The image analyzer 150 may compare the luminance, chromaticity, and edge intensity of each image region to determine whether they are similar.

그리하여, 카메라(20)가 오동작하는 것으로 판단되는 경우 출력부(160)는 오동작 경보를 출력할 수 있다(S950).Thus, when it is determined that the camera 20 is malfunctioning, the output unit 160 may output a malfunction warning (S950).

오동작 경보가 출력됨에 따라 사용자는 해당 카메라(20)에 대한 적절한 조치를 취할 수 있게 된다.As the malfunction alarm is output, the user can take appropriate action for the camera 20 .

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described with reference to the above and the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can practice the present invention in other specific forms without changing its technical spirit or essential features. You can understand that there is Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

110: 입력부
120: 영상 처리부
130: 저장부
140: 제어부
150: 영상 분석부
160: 출력부110: input unit
120: image processing unit
130: storage
140: control unit
150: image analysis unit
160: output unit

Claims (9)

카메라로부터 영상을 입력 받는 입력부;
상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 영상 처리부;
상기 상부 영상의 제 1 영역과 상기 하부 영상의 제 2 영역간의 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 영상 분석부; 및
상기 판단 결과에 따른 경보를 출력하는 출력부를 포함하되,
상기 상부 영상은 상기 영상의 일측 말단에서 타측 말단을 가로지르는 분할 경계의 상부 전체 영역을 나타내고, 상기 하부 영상은 상기 분할 경계의 하부 전체 영역을 나타내는 차량용 주변 감시 장치.an input unit receiving an image from the camera;
an image processing unit dividing the input image into an upper image and a lower image;
an image analysis unit that determines whether the camera malfunctions with reference to whether the first region of the upper image and the second region of the lower image are similar; and
An output unit for outputting an alarm according to the determination result,
The upper image represents the entire upper area of the division boundary crossing from one end to the other end of the image, and the lower image represents the entire lower area of the division boundary. 제 1항에 있어서,
상기 제 1 영역은 상기 상부 영상의 좌측 상단 또는 우측 상단에 포함되고,
상기 제 2 영역은 상기 하부 영상의 우측 하단 또는 좌측 하단에 포함되는 차량용 주변 감시 장치.The method of claim 1,
The first region is included in the upper left or upper right of the upper image,
The second area is a peripheral monitoring device for a vehicle included in the lower right or lower left of the lower image. 제 1항에 있어서,
상기 제 1 영역 및 상기 제 2 영역은 각각 상기 상부 영상 및 상기 하부 영상의 임의의 위치에 포함되는 차량용 주변 감시 장치.The method of claim 1,
The first area and the second area are each included in an arbitrary position of the upper image and the lower image. 제 1항에 있어서,
상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역에 포함된 화소의 휘도별 개수를 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.The method of claim 1,
The image analyzer compares the number of pixels included in the first area and the second area for each luminance to determine whether the first area and the second area are similar. 제 1항에 있어서,
상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역의 각 지점별 에지 강도를 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.The method of claim 1,
The image analyzer compares edge strengths for each point of the first area and the second area to determine whether the first area and the second area are similar to each other. 제 1항에 있어서,
상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역에 포함되어 특정 색상을 갖는 화소의 색도별 개수를 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.The method of claim 1,
The image analyzer compares the number of pixels included in the first area and the second area for each chromaticity having a specific color to determine whether the first area and the second area are similar. 제 1항에 있어서,
상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역의 각 지점별 휘도를 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.The method of claim 1,
The image analyzer compares the luminance of each point of the first area and the second area to determine whether the first area and the second area are similar to each other. 제 7항에 있어서,
상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역의 행별 휘도의 누적값을 비교하거나, 상기 제 1 영역 및 상기 제 2 영역의 열별 휘도의 누적값을 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.8. The method of claim 7,
The image analyzer compares the accumulated luminance values for each row of the first region and the second region or compares the accumulated luminance values for each column of the first region and the second region between the first region and the second region. A peripheral monitoring device for a vehicle that determines whether there is a similarity of 카메라로부터 영상을 입력 받는 단계;
상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 단계;
상기 상부 영상의 제 1 영역과 상기 하부 영상의 제 2 영역간의 유사 여부를 판단하는 단계;
상기 판단된 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 단계; 및
상기 판단 결과에 따른 경보를 출력하는 단계를 포함하되,
상기 상부 영상은 상기 영상의 일측 말단에서 타측 말단을 가로지르는 분할 경계의 상부 전체 영역을 나타내고, 상기 하부 영상은 상기 분할 경계의 하부 전체 영역을 나타내는 차량용 주변 감시 방법.receiving an image from a camera;
dividing the input image into an upper image and a lower image;
determining whether a first area of the upper image and a second area of the lower image are similar;
determining whether the camera malfunctions with reference to the determined similarity; and
outputting an alarm according to the determination result,
The upper image represents the entire upper area of the division boundary crossing from one end to the other end of the image, and the lower image represents the entire lower area of the division boundary.
KR1020150185279A 2015-12-23 2015-12-23 Apparatus and method for monitoring environment of vehicle KR102409857B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150185279A KR102409857B1 (en) 2015-12-23 2015-12-23 Apparatus and method for monitoring environment of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150185279A KR102409857B1 (en) 2015-12-23 2015-12-23 Apparatus and method for monitoring environment of vehicle

Publications (2)

Publication Number Publication Date
KR20170075518A KR20170075518A (en) 2017-07-03
KR102409857B1 true KR102409857B1 (en) 2022-06-16

Family

ID=59358134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150185279A KR102409857B1 (en) 2015-12-23 2015-12-23 Apparatus and method for monitoring environment of vehicle

Country Status (1)

Country Link
KR (1) KR102409857B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384940B1 (en) * 2020-12-23 2022-04-08 주식회사 텔레칩스 Apparatus for detecting malfunction of cameras and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085638A (en) * 2006-09-27 2008-04-10 Fujifilm Corp Photographing device and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260109A (en) * 1997-03-17 1998-09-29 Hitachi Ltd Method for evaluating picture quality of color display device and manufacture of color display device using the same
KR100848183B1 (en) 2006-12-04 2008-07-28 주식회사 후후 Diagnosis apparatus for radiation tolerant camera system and method thereof
KR101327078B1 (en) * 2012-04-27 2013-11-07 엘지이노텍 주식회사 Camera and method for processing image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085638A (en) * 2006-09-27 2008-04-10 Fujifilm Corp Photographing device and method

Also Published As

Publication number Publication date
KR20170075518A (en) 2017-07-03

Similar Documents

Publication Publication Date Title
EP2919197B1 (en) Object detection device and object detection method
US8488041B2 (en) Image pickup device having abnormality warning function based on brightness dispersions of two picked-up images, and warning method and recording medium for the same
JP4803376B2 (en) Camera tampering detection method
JP5171723B2 (en) Obstacle detection device and vehicle equipped with the device
US8792681B2 (en) Imaging system and imaging method
KR102410016B1 (en) Apparatus for processing image and image processing system adopting the same
US10853692B2 (en) Vicinity supervising device and method for supervising vicinity of vehicle
US11530993B2 (en) Deposit detection device and deposit detection method
KR102066290B1 (en) Image recognition apparatus and method thereof
KR102409857B1 (en) Apparatus and method for monitoring environment of vehicle
US11250553B2 (en) Deposit detection device and deposit detection method
JP6313999B2 (en) Object detection device and object detection system
JP2019029750A (en) Imaging apparatus
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP2009025050A (en) Quality discrimination device of visual field, quality discrimination method of visual field and computer program
KR101553707B1 (en) Image stain detection method for camera module defect determination
JP2008244812A (en) Unidentified object monitor
KR20150009842A (en) System for testing camera module centering and method for testing camera module centering using the same
JP2017059904A (en) Imaging device
JP2017059905A (en) Imaging device
KR101722969B1 (en) Apparatus for detecting moving object and method for controlling the same
US20240320839A1 (en) Image processing apparatus and image processing method
KR101451070B1 (en) Method to recognize license plates by removing recognition error by shadow and license plate recognition system
CN112822496B (en) Video analysis method and device
CN109788217B (en) Method and apparatus for compensating defective pixels

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant