KR20170075518A - 차량용 주변 감시 장치 및 방법 - Google Patents

차량용 주변 감시 장치 및 방법 Download PDF

Info

Publication number
KR20170075518A
KR20170075518A KR1020150185279A KR20150185279A KR20170075518A KR 20170075518 A KR20170075518 A KR 20170075518A KR 1020150185279 A KR1020150185279 A KR 1020150185279A KR 20150185279 A KR20150185279 A KR 20150185279A KR 20170075518 A KR20170075518 A KR 20170075518A
Authority
KR
South Korea
Prior art keywords
image
area
camera
region
luminance
Prior art date
Application number
KR1020150185279A
Other languages
English (en)
Other versions
KR102409857B1 (ko
Inventor
이상헌
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020150185279A priority Critical patent/KR102409857B1/ko
Publication of KR20170075518A publication Critical patent/KR20170075518A/ko
Application granted granted Critical
Publication of KR102409857B1 publication Critical patent/KR102409857B1/ko

Links

Images

Classifications

    • H04N5/23277—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량용 주변 감시 장치 및 방법에 관한 것으로서, 카메라가 촬영한 영상을 분석하여 카메라의 오동작 여부를 판단하는 차량용 주변 감시 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 차량용 주변 감시 장치는 카메라로부터 영상을 입력 받는 입력부와, 상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 영상 처리부와, 상기 상부 영상과 상기 하부 영상의 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 영상 분석부, 및 상기 판단 결과에 따른 경보를 출력하는 출력부를 포함한다.

Description

차량용 주변 감시 장치 및 방법{Apparatus and method for monitoring environment of vehicle}
본 발명은 차량용 주변 감시 장치 및 방법에 관한 것으로서, 더욱 상세하게는 카메라가 촬영한 영상을 분석하여 카메라의 오동작 여부를 판단하는 차량용 주변 감시 장치 및 방법에 관한 것이다.
차량의 주변에 대한 정보를 운전자에게 제공하기 위하여 적어도 하나의 카메라가 차량에 구비될 수 있다. 카메라에 의하여 촬영된 영상은 그대로 운전자에게 제공되거나 가공되어 별도의 형태로 제공될 수 있다.
카메라에 의하여 촬영된 영상은 상대 차량 및 보행자와 같은 주변 환경에 대한 것뿐만 아니라, 카메라를 장착하고 있는 본 차량의 환경도 포함된다.
한편, 카메라에 하드웨어적인 결함이 발생한 경우 카메라에서 발생되는 전기적인 신호를 이용하여 감지할 수 있는 반면, 소프트웨어적인 결함이 발생한 경우 이를 감지하는 것은 용이하지 않다.
따라서, 카메라에 소프트웨어적인 결함이 발생한 경우에도 이를 감지할 수 있도록 하는 발명의 등장이 요구된다.
대한민국 공개특허공보 제 10-2008-0050655호 (2008.06.10)
본 발명의 해결하고자 하는 과제는 카메라가 촬영한 영상을 분석하여 카메라의 오동작 여부를 판단하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 차량용 주변 감시 장치는 카메라로부터 영상을 입력 받는 입력부와, 상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 영상 처리부와, 상기 상부 영상의 제 1 영역과 상기 하부 영상의 제 2 영역간의 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 영상 분석부, 및 상기 판단 결과에 따른 경보를 출력하는 출력부를 포함한다.
본 발명의 실시예에 따른 차량용 주변 감시 방법은 카메라로부터 영상을 입력 받는 단계와, 상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 단계와, 상기 상부 영상과 상기 하부 영상의 유사 여부를 판단하는 단계와, 상기 판단된 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 단계, 및 상기 판단 결과에 따른 경보를 출력하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 실시예에 따른 차량용 주변 감시 장치 및 방법 에 따르면 카메라가 촬영한 영상을 분석하여 카메라의 오동작 여부를 판단함으로써 카메라에 소프트웨어적인 결함이 발생한 경우에도 이를 감지하는 장점이 있다.
도 1은 본 발명의 실시예에 따른 차량에 카메라가 부착된 것을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 오동작 감시 시스템을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 차량용 주변 감시 장치를 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 영상이 분할된 것을 나타낸 도면이다.
도 5 내지 도 7은 본 발명의 실시예에 따른 영상 영역을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 영상 영역에 포함된 화소의 휘도별 개수를 나타낸 그래프이다.
도 9는 본 발명의 실시예에 따른 영상 영역의 지점별 에지 강도를 나타낸 그래프이다.
도 10은 본 발명의 실시예에 따른 영상 영역에서 특정 색상을 갖는 화소의 색도별 개수를 나타낸 그래프이다.
도 11은 본 발명의 실시예에 따른 영상 영역의 지점별 휘도를 나타낸 그래프이다.
도 12는 본 발명의 실시예에 따른 영상 영역의 행별 휘도의 누적값을 나타낸 그래프이다.
도 13은 본 발명의 실시예에 따른 영상 영역의 열별 휘도의 누적값을 나타낸 그래프이다.
도 14는 본 발명의 실시예에 따른 차량용 주변 감시 방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 차량에 카메라가 부착된 것을 나타낸 도면이다.
도 1을 참조하면, 차량(10)은 적어도 하나의 카메라(20)를 구비할 수 있다. 카메라(20)는 피사체를 촬영하여 피사체에 대한 영상을 생성하는 역할을 수행한다. 카메라(20)의 영상 센서는 아날로그 영상 신호를 입력 받는 것으로서, 영상 신호을 입력 받기 위하여 영상 센서에는 촬상 소자가 구비되어 있을 수 있다. 촬상 소자로는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)가 사용될 수 있으나 이에 한정되지는 않는다.
차량(10)의 적어도 하나의 위치에 카메라(20)가 부착될 수 있다. 도 1은 차량(10)의 전면, 후면, 상부면 및 양측면에 카메라(20)가 구비된 것을 도시하고 있으나, 카메라(20)가 부착되는 위치가 이에 한정되는 것은 아니다. 또한, 유사한 위치에 복수의 카메라(20)가 구비될 수도 있으며, 이러한 경우 각 카메라(20)가 향하는 방향은 서로 상이할 수 있다.
카메라(20)는 차량(10)의 주변을 촬영하거나 차량(10) 자체를 촬영할 수도 있다. 예를 들어, 카메라(20)는 차량(10)의 주변에 존재하는 상대 차량 또는 보행자를 촬영할 수 있으며, 차량(10)의 일측을 촬영할 수도 있다.
도 2는 본 발명의 실시예에 따른 오동작 감시 시스템을 나타낸 도면이다.
도 2를 참조하면, 오동작 감시 시스템(1)은 차량용 주변 감시 장치(100) 및 카메라(20)를 포함하여 구성된다.
카메라(20)는 촬영하여 생성된 영상을 차량용 주변 감시 장치(100)로 송신할 수 있다. 이를 위하여, 카메라(20)와 차량용 주변 감시 장치(100)간에는 유선 또는 무선 채널이 형성될 수 있다.
본 발명에서 카메라(20)는 촬영된 피사체에 대한 정지 영상 또는 동영상을 생성할 수 있다. 동영상이 생성되는 경우 카메라(20)는 동영상을 구성하는 복수의 영상 프레임을 차량용 주변 감시 장치(100)로 송신할 수 있다.
한편, 정지 영상이 생성되는 경우 카메라(20)는 이벤트가 발생될 때마다 정지 영상을 송신할 수 있다. 예를 들어, 차량용 주변 감시 장치(100)는 영상 송신 명령을 카메라(20)에게 전달할 수 있는데, 카메라(20)는 영상 송신 명령의 수신에 대응하여 피사체를 촬영하여 정지 영상을 생성하고, 생성된 정지 영상을 차량용 주변 감시 장치(100)로 송신할 수 있는 것이다. 또는, 카메라(20)는 주기적으로 정지 영상을 차량용 주변 감시 장치(100)로 송신할 수도 있다.
차량용 주변 감시 장치(100)는 카메라(20)로부터 수신된 영상을 분석하여 해당 카메라(20)의 오동작 여부를 판단하는 역할을 수행한다. 본 발명에서 차량용 주변 감시 장치(100)는 차량(10)에 장착된 것일 수 있으나, 이에 한정되지는 않는다. 예를 들어, 스마트폰과 같은 사용자의 휴대용 단말기가 차량용 주변 감시 장치(100)의 역할을 수행할 수 있다. 사용자가 휴대용 단말기를 소지하여 차량(10)에 인접한 경우 카메라(20)는 휴대용 단말기와 통신 채널을 구성하고 영상을 송신할 수 있다. 이에, 휴대용 단말기는 수신된 영상을 분석하여 카메라(20)의 오동작 여부를 판단할 수 있다.
카메라(20)에 하드웨어적인 결함이 발생한 경우 그 결함 유무를 확인하는 것이 가능하다. 예를 들어, 카메라(20)의 내부에 포함된 회로의 특정 도선이 단락되거나 단선된 경우 이를 감지하는 감지 수단(미도시)을 구비함으로써 도선의 단락 또는 단선이 감지될 수 있는 것이다.
한편, 카메라(20)를 동작시키는 소프트웨어의 결함 또는 카메라(20)의 외부 요인에 의한 결함이 발생한 경우 그 결함 유무를 확인하는 것은 용이하지 않다. 예를 들어, 소프트웨어의 결함이 발생된 경우 정상적인 영상이 생성되지 못하고, 잘못된 화소값이 포함되어 영상이 생성될 수 있다. 또는, 외부적인 요인으로서 진흙과 같은 오물이 카메라(20)의 렌즈에 존재하는 경우 정상적인 피사체의 영상이 아닌 잘못된 정보가 포함된 영상이 생성될 수 있다.
이와 같이, 소프트웨어적인 결함 또는 카메라(20)의 외부 요인에 의한 결함이 반영된 영상은 동일하거나 유사한 복수의 패턴을 포함할 수 있다. 예를 들어, 영상 전체 또는 일부가 하나의 색상만으로 구성되거나, 유사한 패턴으로 구성될 수 있는 것이다.
본 발명의 실시예에 따른 차량용 주변 감시 장치(100)는 카메라(20)로부터 수신된 영상을 분석하여 해당 영상을 송신한 카메라(20)에 소프트웨어적인 결함 또는 외부 요인에 의한 결함이 존재하는지 여부를 판단할 수 있다. 이를 위하여, 차량용 주변 감시 장치(100)는 영상 내에서 유사한 영역이 포함되는지 여부를 확인할 수 있다. 즉, 차량용 주변 감시 장치(100)는 영상 내에서 유사한 영역이 포함된 경우 카메라(20)에 결함이 존재하는 것으로 판단하고, 영상 내에서 유사한 영역이 포함되어 있지 않은 경우 카메라(20)에 결함이 존재하지 않는 것으로 판단할 수 있다.
이하, 차량용 주변 감시 장치(100)의 동작에 대하여 자세히 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 차량용 주변 감시 장치를 나타낸 블록도이다.
도 3을 참조하면, 차량용 주변 감시 장치(100)는 입력부(110), 영상 처리부(120), 저장부(130), 제어부(140), 영상 분석부(150) 및 출력부(160)를 포함하여 구성된다.
입력부(110)는 카메라(20)로부터 영상을 입력 받는 역할을 수행한다. 이를 위하여, 입력부(110)와 카메라(20)간에는 유선 또는 무선 통신 채널이 구성될 수 있다. 전술한 바와 같이, 차량(10)에는 적어도 하나의 카메라(20)가 구비될 수 있는데, 입력부(110)는 각 카메라(20)별로 통신 채널을 구성할 수 있다.
영상 처리부(120)는 입력부(110)를 통하여 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 역할을 수행한다. 그리고, 영상 분석부(150)는 상부 영상과 하부 영상의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다.
도 4에 도시된 바와 같이, 영상(200)은 상부 영상(210) 및 하부 영상(220)으로 분할될 수 있다. 분할 경계(B)는 영상(200)의 중심일 수 있으나, 이에 한정되지는 않는다.
전술한 바와 같이, 본 발명의 카메라(20)는 차량(10)의 주변을 촬영할 수 있다. 즉, 카메라(20)는 차량(10)의 외측 방향으로 촬영을 수행할 수 있는 것이다. 이러한 경우 카메라(20)에 의하여 촬영된 영상(200)에는 지표선이 포함될 수 있다. 그리고, 지표선의 상측에는 하늘이 포함되고, 지표산의 하측에는 지면이 포함될 수 있다. 즉, 지표선을 기준으로 영상(200) 내에 포함될 수 있는 객체는 서로 상이할 수밖에 없는 것이다.
이에, 본 발명의 실시예에 따른 영상 분석부(150)는 영상(200)의 상부 영상(210) 및 하부 영상(220)간의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다. 예를 들어, 상부 영상(210)과 하부 영상(220)의 유사 여부가 임계치를 초과하는 경우 영상 분석부(150)는 카메라(20)가 오동작하는 것으로 판단할 수 있다.
전술한 바와 같이, 카메라(20)에 소프트웨어적인 결함 또는 외부 요인에 의한 결함이 발생된 경우 동일하거나 유사한 색상 또는 패턴이 영상 전반에 걸쳐 포함될 수 있다. 또한, 정상적으로 피사체가 촬영되어 영상이 생성된 경우 객체의 상이함으로 인하여 상부 영상(210)과 하부 영상(220)간에는 차이가 존재하여야 한다. 이에, 영상 분석부(150)는 상부 영상(210)과 하부 영상(220)이 유사한 경우 해당 영상을 생성한 카메라(20)에 결함이 존재하는 것으로 판단할 수 있다.
상부 영상(210) 및 하부 영상(220)의 유사 여부를 판단함에 있어서, 영상 분석부(150)는 상부 영상(210)의 제 1 영역(211) 및 하부 영상(220)의 제 2 영역(221)간의 유사 여부를 판단할 수 있다.
도 5 내지 도 7은 상부 영상(210) 및 하부 영상(220)에 각각 포함된 제 1 영역(211) 및 제 2 영역(221)을 도시하고 있다. 영상 분석부(150)는 상부 영상(210)의 특정 영역인 제 1 영역(211)과 하부 영상(220)의 특정 영역인 제 2 영역(221)간의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다.
제 1 영역(211)은 상부 영상(210)의 좌측 상단 또는 우측 상단에 포함되고, 제 2 영역(221)은 하부 영상(220)의 우측 하단 또는 좌측 하단에 포함될 수 있다. 도 5는 제 1 영역(211)이 상부 영상(210)의 좌측 상단에 포함되고, 제 2 영역(221)이 하부 영상(220)의 우측 하단에 포함된 것을 도시하고 있다. 또한, 도 6은 제 1 영역(211)이 상부 영상(210)의 우측 상단에 포함되고, 제 2 영역(221)이 하부 영상(220)의 좌측 하단에 포함된 것을 도시하고 있다.
또는, 도 7에 도시된 바와 같이, 제 1 영역(211) 및 제 2 영역(221)은 각각 상부 영상(210) 및 하부 영상(220)의 임의의 위치에 포함될 수 있다.
제 1 영역(211) 및 제 2 영역(221)의 크기는 동일하며, 그 크기는 사전에 설정될 수 있다. 또는, 사용자에 의하여 제 1 영역(211) 및 제 2 영역(221)의 크기가 결정될 수도 있다. 사용자에 의하여 결정된 제 1 영역(211) 및 제 2 영역(221)의 크기는 입력부(110)를 통하여 입력될 수 있다.
이상은 제 1 영역(211) 및 제 2 영역(221)의 위치가 사전에 설정되거나 임의로 설정된 것을 설명하였으나, 사용자에 의하여 설정될 수도 있다. 사용자는 제 1 영역(211) 및 제 2 영역(221)의 위치를 입력할 수 있으며, 영상 분석부(150)는 상부 영상(210) 및 하부 영상(220)의 해당 위치에서 추출한 제 1 영역(211) 및 제 2 영역(221)의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다. 사용자에 의하여 선택된 제 1 영역(211) 및 제 2 영역(221)의 위치는 입력부(110)를 통하여 입력될 수 있다.
본 발명의 일 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)에 포함된 화소의 휘도별 개수를 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.
도 8은 본 발명의 실시예에 따른 영상 영역에 포함된 화소의 휘도별 개수를 나타낸 그래프로서, 제 1 영역(211)에 포함된 화소의 휘도별 개수를 나타낸 그래프(이하, 제 1 휘도별 개수 그래프라 한다)(310) 및 제 2 영역(221)에 포함된 화수의 휘도별 개수를 나타낸 그래프(이하, 제 2 휘도별 개수 그래프라 한다)(320)를 도시하고 있다.
휘도별 개수 그래프(310, 320)는 영상 영역에 포함된 화소 중 특정 휘도를 갖는 화소의 수를 그래프로 나타낸 것이다. 예를 들어, 휘도의 범위는 0~255일 수 있는데, 휘도가 0인 화소의 개수, 휘도가 1인 화소의 개수, ... , 휘도가 255인 화소의 개수로 휘도별 개수 그래프(310, 320)가 형성될 수 있다.
영상 분석부(150)는 제 1 휘도별 개수 그래프(310)와 제 2 휘도별 개수 그래프(320)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 휘도별 개수 그래프(310)와 제 2 휘도별 개수 그래프(320)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 특정 휘도를 갖는 화소의 개수간 차이를 산출하는 것으로서, 화소의 개수간 차이는 전체 휘도에 걸쳐 산출될 수 있다.
그리고, 영상 분석부(150)는 산출된 휘도별 화소의 개수 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 휘도별 화소의 개수 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 휘도별 화소의 개수 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.
본 발명의 다른 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)의 각 지점별 에지 강도를 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.
도 9는 본 발명의 실시예에 따른 영상 영역의 지점별 에지 강도를 나타낸 그래프로서, 제 1 영역(211)의 지점별 에지 강도를 나타낸 그래프(이하, 제 1 에지 강도 그래프라 한다)(410) 및 제 2 영역(221)의 지점별 에지 강도를 나타낸 그래프(이하, 제 2 에지 강도 그래프라 한다)(420)를 도시하고 있다.
에지 강도 그래프(410, 420)는 영상 영역의 특정 지점의 에지 강도를 그래프로 나타낸 것이다. 여기서, 에지 강도가 산출되는 지점(이하, 에지 산출 지점이라 한다)은 각 영상 영역의 일부 화소일 수 있고, 전체 화소일 수도 있다. 에지 산출 지점이 영상 영역의 일부 화소인 경우 제 1 영역(211)과 제 2 영역(221)의 에지 산출 지점은 동일한 위치의 화소일 수 있다.
따라서, 에지 산출 지점이 10개인 경우 제 1 지점의 에지 강도, 제 2 지점의 에지 강도, ... , 제 10 지점의 에지 강도로 에지 강도 그래프(410, 420)가 형성될 수 있다.
에지는 수평 에지, 수직 에지 및 대각 에지 중 하나일 수 있으며, 제 1 영역(211) 및 제 2 영역(221)에 대하여 동일한 방식으로 형성된 에지의 에지 강도가 산출될 수 있다.
영상 분석부(150)는 제 1 에지 강도 그래프(410)와 제 2 에지 강도 그래프(420)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 에지 강도 그래프(410)와 제 2 에지 강도 그래프(420)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 전체 에지 산출 지점에서의 에지 강도간 차이를 산출하는 것이다.
그리고, 영상 분석부(150)는 산출된 지점별 에지 강도간 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 지점별 에지 강도간 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 지점별 에지 강도간 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)에 포함되어 특정 색상을 갖는 화소의 색도별 개수를 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.
도 10은 본 발명의 실시예에 따른 영상 영역에서 특정 색상을 갖는 화소의 색도별 개수를 나타낸 그래프로서, 제 1 영역(211)에서 특정 색상을 갖는 화소의 색도별 개수를 나타낸 그래프(이하, 제 1 색도별 개수 그래프라 한다)(510) 및 제 2 영역(221)에서 특정 색상을 갖는 화소의 색도별 개수를 나타낸 그래프(이하, 제 2 색도별 개수 그래프라 한다)(520)를 도시하고 있다. 여기서, 제 1 영역(211)에서의 특정 색상과 제 2 영역(221)에서의 특정 색상은 동일한 색상일 수 있다.
색도별 개수 그래프(510, 520)는 영상 영역에서 특정 색상을 갖는 화소의 색도별 개수를 그래프로 나타낸 것이다. 예를 들어, 색상은 Cr일 수 있고, 색도의 범위는 0~255일 수 있는데, 색상이 Cr이고 색도가 0인 화소의 개수, 색상이 Cr이고 색도가 1인 화소의 개수, ... , 색상이 Cr이고 색도가 255인 화소의 개수로 색도별 개수 그래프(510, 520)가 형성될 수 있다.
영상 분석부(150)는 제 1 색도별 개수 그래프(510)와 제 2 색도별 개수 그래프(520)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 색도별 개수 그래프(510)와 제 2 색도별 개수 그래프(520)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 특정 색상을 갖는 화소의 색도별 개수간 차이를 산출하는 것으로서, 화소의 색도별 개수간 차이는 전체 색도에 걸쳐 산출될 수 있다.
그리고, 영상 분석부(150)는 산출된 색도별 화소의 개수 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 색도별 화소의 개수 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 색도별 화소의 개수 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)의 각 지점별 휘도를 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.
도 11은 본 발명의 실시예에 따른 영상 영역의 지점별 휘도를 나타낸 그래프로서, 제 1 영역(211)의 지점별 휘도를 나타낸 그래프(이하, 제 1 지점별 휘도 그래프라 한다)(610) 및 제 2 영역(221)의 지점별 휘도를 나타낸 그래프(이하, 제 2 지점별 휘도 그래프라 한다)(620)를 도시하고 있다.
지점별 휘도 그래프(610, 620)는 영상 영역의 특정 지점의 휘도를 그래프로 나타낸 것이다. 여기서, 휘도가 산출되는 지점(이하, 휘도 산출 지점이라 한다)은 각 영상 영역의 일부 화소일 수 있고, 전체 화소일 수도 있다. 휘도 산출 지점이 영상 영역의 일부 화소인 경우 제 1 영역(211)과 제 2 영역(221)의 휘도 산출 지점은 동일한 위치의 화소일 수 있다.
따라서, 휘도 산출 지점이 10개인 경우 제 1 지점의 휘도, 제 2 지점의 휘도, ... , 제 10 지점의 휘도로 지점별 휘도 그래프(610, 620)가 형성될 수 있다.
영상 분석부(150)는 제 1 지점별 휘도 그래프(610)와 제 2 지점별 휘도 그래프(620)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 지점별 휘도 그래프(610)와 제 2 지점별 휘도 그래프(620)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 전체 휘도 산출 지점에서의 휘도간 차이를 산출하는 것이다.
그리고, 영상 분석부(150)는 산출된 지점별 휘도간 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 지점별 휘도간 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 지점별 휘도간 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 분석부(150)는 제 1 영역(211) 및 제 2 영역(221)의 행별 휘도의 누적값을 비교하거나, 제 1 영역(211) 및 제 2 영역(221)의 열별 휘도의 누적값을 비교하여 제 1 영역(211) 및 제 2 영역(221)간의 유사 여부를 판단할 수 있다.
도 12는 본 발명의 실시예에 따른 영상 영역의 행별 휘도의 누적값을 나타낸 그래프이고, 도 13은 본 발명의 실시예에 따른 영상 영역의 열별 휘도의 누적값을 나타낸 그래프이다.
이하, 제 1 영역(211)의 행별 휘도의 누적값을 나타낸 그래프를 제 1 행별 휘도 그래프(710)라 하고, 제 2 영역(221)의 행별 휘도의 누적값을 나타낸 그래프를 제 2 행별 휘도 그래프(720)라 한다. 이와 마찬가지로, 제 1 영역(211)의 열별 휘도의 누적값을 나타낸 그래프를 제 1 열별 휘도 그래프(810)라 하고, 제 2 영역(221)의 열별 휘도의 누적값을 나타낸 그래프를 제 2 열별 휘도 그래프(820)라 한다.
행별 휘도 그래프(710, 720)는 영상 영역의 특정 행의 휘도 누적값을 그래프로 나타낸 것이다. 여기서, 휘도 누적값이 산출되는 행(이하, 휘도 산출 행이라 한다)은 각 영상 영역의 일부 행일 수 있고, 전체 행일 수도 있다. 휘도 산출 행이 영상 영역의 일부 행인 경우 제 1 영역(211)과 제 2 영역(221)의 휘도 산출 행은 동일한 위치의 행일 수 있다.
따라서, 휘도 산출 행이 10개인 경우 제 1 행의 휘도 누적값, 제 2 행의 휘도 누적값, ... , 제 10 행의 휘도 누적값으로 행별 휘도 그래프(710, 720)가 형성될 수 있다.
영상 분석부(150)는 제 1 행별 휘도 그래프(710)와 제 2 행별 휘도 그래프(720)를 비교할 수 있다. 예를 들어, 영상 분석부(150)는 제 1 행별 휘도 그래프(710)와 제 2 행별 휘도 그래프(720)간의 차를 산출할 수 있다. 즉, 제 1 영역(211) 및 제 2 영역(221)에서 전체 휘도 산출 행에서의 휘도 누적값간 차이를 산출하는 것이다.
그리고, 영상 분석부(150)는 산출된 행별 휘도 누적값간 차이를 모두 합산하고, 이를 사전에 설정된 임계치와 비교하여 제 1 영역(211)과 제 2 영역(221)간의 유사 여부를 판단할 수 있다. 즉, 행별 휘도 누적값간 차이의 합이 임계치의 이하인 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사한 것으로 판단할 수 있다. 한편, 행별 휘도 누적값간 차이의 합이 임계치를 초과하는 경우 영상 분석부(150)는 제 1 영역(211)과 제 2 영역(221)이 유사하지 않은 것으로 판단할 수 있다.
행별 휘도 그래프(710, 720)를 이용하여 제 1 영역(211)과 제 2 영역(221)의 유사 여부를 판단하는 것과 마찬가지로, 영상 분석부(150)는 열별 휘도 그래프(810, 820)를 이용하여 제 1 영역(211)과 제 2 영역(221)의 유사 여부를 판단할 수 있다. 열별 휘도 그래프(810, 820)를 이용한 영상 영역의 유사 여부 판단은 행별 휘도 그래프(710, 720)를 이용한 영상 영역의 유사 여부 판단과 유사하므로 자세한 설명은 생략하기로 한다.
저장부(130)는 입력부(110)를 통하여 입력된 영상을 임시적으로 또는 영구적으로 저장하는 역할을 수행한다. 또한, 저장부(130)는 입력부(110)를 통하여 입력된 다양한 정보 및 차량용 주변 감시 장치(100)의 내부에서 전달되는 각종 데이터를 임시적으로 또는 영구적으로 저장할 수도 있다.
운전석 부근에 구비된 출력부(160)는 영상 분석부(150)에 의하여 판단된 카메라(20)의 오동작 경보를 출력하는 역할을 수행한다. 출력부(160)는 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나의 방식으로 카메라(20)의 오동작 경보를 출력할 수 있다. 출력부(160)는 영상 출력 수단(미도시), 음성 출력 수단(미도시) 및 진동 출력 수단(미도시)을 포함할 수 있으며, 각 출력 수단을 통하여 카메라(20)의 오동작 경보를 출력할 수 있다.
예를 들어, 출력부(160)는 특정 카메라(20)가 오동작하고 있음을 출력할 수 있다. 이 때, 출력부(160)는 해당 카메라(20)의 식별 정보를 출력할 수 있다. 카메라(20)는 자신의 식별 정보를 포함시켜 영상을 생성할 수 있는데, 출력부(160)는 영상에 포함된 식별 정보를 이용하여 오동작하는 카메라(20)의 식별 정보를 출력할 수 있는 것이다. 또한, 영상 출력 수단을 포함하는 경우 출력부(160)는 해당 카메라(20)에 의하여 촬영된 영상을 출력할 수도 있다.
오동작 경보를 제공 받음에 따라 사용자는 해당 카메라(20)에 대한 조치를 취할 수 있게 된다.
제어부(140)는 입력부(110), 영상 처리부(120), 저장부(130), 영상 분석부(150) 및 출력부(160)에 대한 전반적인 제어를 수행한다.
도 14는 본 발명의 실시예에 따른 차량용 주변 감시 방법을 나타낸 흐름도이다.
카메라(20)의 오동작을 감시하기 위하여 입력부(110)는 카메라(20)로부터 영상을 입력 받을 수 있다(S910). 입력부(110)는 통신 채널이 구성된 적어도 하나의 카메라(20)로부터 순차적으로 또는 동시에 영상을 입력 받을 수 있다.
영상이 입력됨에 따라 영상 처리부(120)는 입력된 영상을 상부 영상(210) 및 하부 영상(220)으로 분할할 수 있다(S920).
그리고, 영상 분석부(150)는 상부 영상(210)과 하부 영상(220)을 비교하여 유사 여부를 판단하고(S930), 그 결과를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다(S940). 이 때, 영상 분석부(150)는 상부 영상(210)의 제 1 영역(211) 및 하부 영상(220)의 제 2 영역(221)간의 유사 여부를 참조하여 카메라(20)의 오동작 여부를 판단할 수 있다.
영상 분석부(150)는 각 영상 영역의 휘도, 색도 및 에지 강도 등을 비교하여 그 유사 여부를 판단할 수 있다.
그리하여, 카메라(20)가 오동작하는 것으로 판단되는 경우 출력부(160)는 오동작 경보를 출력할 수 있다(S950).
오동작 경보가 출력됨에 따라 사용자는 해당 카메라(20)에 대한 적절한 조치를 취할 수 있게 된다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
110: 입력부
120: 영상 처리부
130: 저장부
140: 제어부
150: 영상 분석부
160: 출력부

Claims (9)

  1. 카메라로부터 영상을 입력 받는 입력부;
    상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 영상 처리부;
    상기 상부 영상의 제 1 영역과 상기 하부 영상의 제 2 영역간의 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 영상 분석부; 및
    상기 판단 결과에 따른 경보를 출력하는 출력부를 포함하는 차량용 주변 감시 장치.
  2. 제 1항에 있어서,
    상기 제 1 영역은 상기 상부 영상의 좌측 상단 또는 우측 상단에 포함되고,
    상기 제 2 영역은 상기 하부 영상의 우측 하단 또는 좌측 하단에 포함되는 차량용 주변 감시 장치.
  3. 제 1항에 있어서,
    상기 제 1 영역 및 상기 제 2 영역은 각각 상기 상부 영상 및 상기 하부 영상의 임의의 위치에 포함되는 차량용 주변 감시 장치.
  4. 제 1항에 있어서,
    상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역에 포함된 화소의 휘도별 개수를 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.
  5. 제 1항에 있어서,
    상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역의 각 지점별 에지 강도를 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.
  6. 제 1항에 있어서,
    상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역에 포함되어 특정 색상을 갖는 화소의 색도별 개수를 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.
  7. 제 1항에 있어서,
    상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역의 각 지점별 휘도를 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.
  8. 제 7항에 있어서,
    상기 영상 분석부는 상기 제 1 영역 및 상기 제 2 영역의 행별 휘도의 누적값을 비교하거나, 상기 제 1 영역 및 상기 제 2 영역의 열별 휘도의 누적값을 비교하여 상기 제 1 영역 및 상기 제 2 영역간의 유사 여부를 판단하는 차량용 주변 감시 장치.
  9. 카메라로부터 영상을 입력 받는 단계;
    상기 입력된 영상을 상부 영상 및 하부 영상으로 분할하는 단계;
    상기 상부 영상의 제 1 영역과 상기 하부 영상의 제 2 영역간의 유사 여부를 판단하는 단계;
    상기 판단된 유사 여부를 참조하여 상기 카메라의 오동작 여부를 판단하는 단계; 및
    상기 판단 결과에 따른 경보를 출력하는 단계를 포함하는 차량용 주변 감시 방법.
KR1020150185279A 2015-12-23 2015-12-23 차량용 주변 감시 장치 및 방법 KR102409857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150185279A KR102409857B1 (ko) 2015-12-23 2015-12-23 차량용 주변 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150185279A KR102409857B1 (ko) 2015-12-23 2015-12-23 차량용 주변 감시 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170075518A true KR20170075518A (ko) 2017-07-03
KR102409857B1 KR102409857B1 (ko) 2022-06-16

Family

ID=59358134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150185279A KR102409857B1 (ko) 2015-12-23 2015-12-23 차량용 주변 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102409857B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384940B1 (ko) * 2020-12-23 2022-04-08 주식회사 텔레칩스 카메라 오동작 탐지 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260109A (ja) * 1997-03-17 1998-09-29 Hitachi Ltd カラーディスプレイ装置の画質評価方法およびそれを用いたカラーディスプレイ装置の製造方法
JP2008085638A (ja) * 2006-09-27 2008-04-10 Fujifilm Corp 撮影装置及び撮影方法
KR20080050655A (ko) 2006-12-04 2008-06-10 주식회사 후후 내방사선 카메라 시스템의 고장진단 장치 및 그 방법
KR20130121621A (ko) * 2012-04-27 2013-11-06 엘지이노텍 주식회사 카메라 및 이의 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260109A (ja) * 1997-03-17 1998-09-29 Hitachi Ltd カラーディスプレイ装置の画質評価方法およびそれを用いたカラーディスプレイ装置の製造方法
JP2008085638A (ja) * 2006-09-27 2008-04-10 Fujifilm Corp 撮影装置及び撮影方法
KR20080050655A (ko) 2006-12-04 2008-06-10 주식회사 후후 내방사선 카메라 시스템의 고장진단 장치 및 그 방법
KR20130121621A (ko) * 2012-04-27 2013-11-06 엘지이노텍 주식회사 카메라 및 이의 영상 처리 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384940B1 (ko) * 2020-12-23 2022-04-08 주식회사 텔레칩스 카메라 오동작 탐지 장치 및 그 방법

Also Published As

Publication number Publication date
KR102409857B1 (ko) 2022-06-16

Similar Documents

Publication Publication Date Title
US8155385B2 (en) Image-processing system and image-processing method
JP4803376B2 (ja) カメラ妨害検知方式
US8184196B2 (en) System and method to generate depth data using edge detection
US8767074B2 (en) System and method of assisting visibility of driver
US8792681B2 (en) Imaging system and imaging method
US9137498B1 (en) Detection of mobile computing device use in motor vehicle
US10853692B2 (en) Vicinity supervising device and method for supervising vicinity of vehicle
JP2001211466A (ja) 自己診断機能を有する画像処理システム
KR102066290B1 (ko) 차량의 영상인식장치 및 그 방법
JP2013242686A (ja) 信号機検出装置及び信号機検出方法
JP6265602B2 (ja) 監視カメラシステム、撮像装置及び撮像方法
JP2007139564A (ja) 障害物検出システム、障害物検出方法及びコンピュータプログラム
US10540756B2 (en) Vehicle vision system with lens shading correction
KR102409857B1 (ko) 차량용 주변 감시 장치 및 방법
JP5074067B2 (ja) 不審物監視装置
JP2019029750A (ja) 撮像装置
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
KR101553707B1 (ko) 카메라 모듈 결함 판정용 이미지 스테인 검출 방법
JP2012039440A (ja) 暗領域ノイズ補正装置
KR20150009842A (ko) 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법
CN112770021B (zh) 摄影机与滤片切换方法
JP6313999B2 (ja) 物体検出装置、及び、物体検出システム
KR20170032157A (ko) 촬상 장치
KR20160066314A (ko) 아날로그 또는 디지털 ｃｃｔｖ 영상을 이용한 소프트웨어 방식의 주차 검지 시스템 및 방법
KR101722969B1 (ko) 이동 물체 검출 장치 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant