KR20180136895A - 이상 검출 장치 및 차량 시스템 - Google Patents

이상 검출 장치 및 차량 시스템 Download PDF

Info

Publication number
KR20180136895A
KR20180136895A KR1020180066726A KR20180066726A KR20180136895A KR 20180136895 A KR20180136895 A KR 20180136895A KR 1020180066726 A KR1020180066726 A KR 1020180066726A KR 20180066726 A KR20180066726 A KR 20180066726A KR 20180136895 A KR20180136895 A KR 20180136895A
Authority
KR
South Korea
Prior art keywords
image
abnormality
area
detection unit
camera
Prior art date
Application number
KR1020180066726A
Other languages
English (en)
Inventor
유끼 가지와라
고스께 미야가와
마사끼 니시부
겐따로 사사하라
Original Assignee
르네사스 일렉트로닉스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르네사스 일렉트로닉스 가부시키가이샤 filed Critical 르네사스 일렉트로닉스 가부시키가이샤
Publication of KR20180136895A publication Critical patent/KR20180136895A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

이상 검출 장치는 공통 알고리즘에 따라 영상 특징을 추출하도록 구성된 특징 추출 유닛, 흐름 계산 유닛, 제1 이상 검출 유닛, 및 제2 이상 검출 유닛을 포함한다. 영상 특징에 대한 추출 범위는 제1 영상 내의 미리 결정된 제1 부분 영역, 제2 영상 내의 미리 결정된 제2 부분 영역, 및 특징 점의 목적지들로서 예측된 제1 및 제2 영상들 내의 장소들에 가까운 영역들로 구성된다. 제1 이상 검출 유닛은 제1(제2) 부분 영역 내의 특징 점에 대한 광학 흐름에 기초하여 제1(제2) 영상의 이상을 검출한다. 제2 이상 검출 유닛은 제1 중첩된 영역에서 정해진 제1 중첩된 추출 영역 내의 특징 점 및 제2 중첩된 영역에서 정해진 제2 중첩된 추출 영역 내의 특징 점을 사용하여 이상을 검출한다.

Description

이상 검출 장치 및 차량 시스템{ABNORMALITY DETECTION APPARATUS AND VEHICLE SYSTEM}
본 개시내용은 이상 검출 장치 및 차량 시스템에 관한 것이다.
카메라의 이상을 검출하는 장치가 공지되어 있다. 예를 들어, 일본 미심사 특허 출원 공개 번호들 제2016-15638호 및 평11-177964호에 개시된 기술들에서, 카메라의 이상이 각각의 카메라들에 의해 찍힌 복수의 영상 내의 중첩된 영역을 지정 또는 추출하고 영상들의 중첩된 영역 내의 특징들을 비교함으로써 검출된다. 이러한 기술들에서, 적어도 2개의 카메라들의 촬영 범위들이 서로 중첩할 필요가 있다. 그러므로, 그 촬영 범위가 다른 카메라들 중 어느 것과 중첩하지 않는 카메라의 이상을 검출하는 것이 불가능하다.
이러한 카메라의 이상을 검출하기 위해, 광학 흐름의 연속성을 사용하는 이상 검출 방법이 있다. 이 방법에서, 영상 내의 특징 점이 미리 결정된 알고리즘(예를 들어, Jianbo Shi and Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, 1994, pages 593-600에 개시된 알고리즘)에 따라 추출되고 이 특징 점은 시간적 연속 영상들을 통해 추적된다. 다음에, 이 특징 점의 이동의 연속성이 유지되는지 여부를 결정함으로써, 그 촬영 범위가 다른 카메라들 중 어느 것과도 중첩하지 않는 카메라의 이상을 검출하는 것이 가능하다.
본 발명자들은 다음의 문제를 발견하였다. 적어도 2개의 카메라들의 촬영 범위들이 서로 중첩할 때, 영상들의 중첩된 영역 내의 특징들에 기초하여 이들 카메라의 이상을 검출하는 것이 가능하고 위에 설명된 광학 흐름을 사용하여 각각의 카메라의 이상을 검출하는 것이 또한 가능한다. 그러나, 이상이 이들 2가지 방법들 둘 다를 사용하여 검출될 때, 검출을 위한 처리 시간이 증가할 수 있다.
다른 문제들 및 신규한 특징들이 본 명세서의 설명 및 첨부 도면으로부터 분명해질 것이다.
한 실시예에 따르면, 이상 검출 장치는 공통 추출 알고리즘에 따라 특징 점 및 특징 값을 추출하도록 구성된 특징 추출 유닛, 흐름 계산 유닛, 제1 이상 검출 유닛, 및 제2 이상 검출 유닛을 포함한다. 특징 추출 유닛에 의해 추출된 특징 점 및 특징 값에 대한 추출 범위는 제1 카메라에 의해 찍힌 제1 영상 내의 미리 결정된 제1 부분 영역, 제2 카메라에 의해 찍힌 제2 영상 내의 미리 결정된 제2 부분 영역, 및 특징 점의 목적지들로서 예측된 제1 및 제2 영상들 내의 장소들에 가까운 영역들로 구성된다는 점에 주목한다. 또한, 제1 이상 검출 유닛은 제1 부분 영역 내의 특징 점에 대한 광학 흐름에 기초하여 제1 영상의 이상을 검출하고 제2 부분 영역 내의 특징 점에 대한 광학 흐름에 기초하여 제2 영상의 이상을 검출한다. 또한, 제2 이상 검출 유닛은 제1 중첩된 영역에서 정해진 제1 중첩된 추출 영역 내의 특징 점 및 제2 중첩된 영역에서 정해진 제2 중첩된 추출 영역 내의 특징 점을 사용하여 이상을 검출한다.
위에 설명된 실시예에 따르면, 적어도 2개의 카메라들의 촬영 범위들이 서로 중첩할 때, 처리 부하를 감소시키면서 제1 이상 검출 유닛에 의해 수행된 하나의 카메라로부터 취득된 영상을 사용하는 이상 검출과 제2 이상 검출 유닛에 의해 수행된 각각의 카메라들로부터 취득된 적어도 2개의 영상들 사이의 비교에 의한 이상 검출 둘 다를 수행하는 것이 가능하다.
상기 및 다른 양태들, 장점들 및 특징들이 첨부 도면과 함께 이루어진 소정의 실시예들의 다음의 설명으로부터 보다 분명해질 것이다.
도 1은 실시예의 개요에 따른 이상 검출 장치의 구성의 예를 도시한 블록도이고;
도 2는 제1 실시예에 따른 차량 시스템을 구성하는 요소들 간의 위치 관계의 예를 도시한 개략도이고;
도 3은 제1 실시예에 따른 차량 시스템의 하드웨어 구성의 예를 도시한 블록도이고;
도 4는 제1 실시예에 따른 차량 시스템 내의 기능적 구성의 예를 도시한 블록도이고;
도 5는 촬영 범위들, 특징 추출 범위들, 흐름 추적 범위들, 및 중첩된 추출 영역들 간의 관계를 도시한 개략도이고;
도 6은 카메라들에 의해 찍힌 영상들 내의 범위들 간의 관계를 도시한 개략도이고;
도 7은 제1 실시예에 따른 차량 시스템에 의해 수행되는 이상 결정 처리를 위한 동작의 예를 도시한 플로우차트이고;
도 8은 제2 실시예에 따른 비교 영역들을 도시한 개략도이고;
도 9는 제3 실시예에 따른 차량 시스템의 하드웨어 구성의 예를 도시한 블록도이고;
도 10은 제3 실시예에 따른 차량 시스템 내의 기능적 구성의 예를 도시한 블록도이고;
도 11은 제3 실시예에 따른 차량 시스템에 의해 수행되는 이상 결정 처리를 위한 동작의 예를 도시한 플로우차트이다.
설명을 분명히 하기 위해, 다음의 설명 및 도면이 적절한 대로 부분적으로 생략되고 간소화된다. 동일한 부호들이 도면 전체에 걸쳐 동일한 요소들에 할당되고 중복되는 설명들은 적절한 대로 생략된다.
<실시예의 개요>
실시예의 상세들을 설명하기 전에, 먼저, 실시예의 개요가 주어진다. 도 1은 실시예의 개요에 따른 이상 검출 장치(1)의 구성의 예를 도시한 블록도이다. 이상 검출 장치(1)는 특징 추출 유닛(2), 흐름 계산 유닛(3), 제1 이상 검출 유닛(4), 및 제2 이상 검출 유닛(5)을 포함한다.
특징 추출 유닛(2)은 제1 카메라에 의해 찍힌 제1 영상 및 제2 카메라에 의해 찍힌 제2 영상을 수신하고, 그로부터 영상 특징들(보다 구체적으로, 특징 점들 및 특징 값들)을 추출한다. 제1 및 제2 카메라들은 동영상들을 찍는 카메라들이라는 점에 주목한다. 또한, 제1 및 제2 카메라들의 촬영 범위들은 서로 부분적으로 중첩한다. 특징 추출 유닛(2)은 미리 결정된 추출 알고리즘에 따라 제1 영상 내의 특징 점 및 특징 값 및 제2 영상 내의 특징 점 및 특징 값을 추출한다. 즉, 이 미리 결정된 추출 알고리즘은 이상이 제1 이상 검출 유닛(4)에 의해 검출될 때와 이상이 제2 이상 검출 유닛(5)에 의해 검출될 때 공통으로 사용되는 알고리즘이다. 바꾸어 말하면, 제1 이상 검출 유닛(4)에 의해 수행되는 이상 검출에 필요한 특징 점 및 특징 값을 추출하는 알고리즘은 제2 이상 검출 유닛(5)에 의해 수행되는 이상 검출에 필요한 특징 점 및 특징 값을 추출하는 알고리즘과 동일하다.
특징 추출 유닛(2)에 의해 추출된 특징 점 및 특징 값에 대한 추출 범위는 제1 영상 내의 미리 결정된 제1 부분 영역, 제2 영상 내의 미리 결정된 제2 부분 영역, 및 특징 점의 목적지들로서 예측된 제1 및 제2 영상들의 장소들에 가까운 영역들로 구성된다는 점에 주목한다.
흐름 계산 유닛(3)은 특징 점의 특징 값에 기초하여 특징 추출 유닛(2)에 의해 추출된 특징 점에 대한 광학 흐름을 계산한다. 광학 흐름은 시간적 연속 시계열 영상들 내의 특징 점의 이동을 표시하는 벡터라는 점에 주목한다. 즉, 광학 흐름은 특정한 카메라에 의해 찍힌 동영상들의 연속 프레임들을 통하는 특징 점의 이동을 표시하는 벡터이다. 예를 들어, 카메라의 피사체 또는 카메라 자체가 일정한 속도로 직선으로 이동할 때, 피사체에 대응하는 특징 점들은 시간적으로 인접한 영상 프레임들을 통해 일정한 속도로 고정된 방향으로 이동한다.
제1 이상 검출 유닛(4)은 흐름 계산 유닛(3)에 의해 제1 영상에 대해 계산된 광학 흐름에 기초하여 제1 영상의 이상을 검출한다. 또한, 제1 이상 검출 유닛(4)은 흐름 계산 유닛(3)에 의해 제2 영상에 대해 계산된 광학 흐름에 기초하여 제2 영상의 이상을 검출한다. 구체적으로, 제1 이상 검출 유닛(4)은 위에 설명된 제1 부분 영역(즉, 특징 점 및 특징 값이 추출되는 제1 영상 내의 영역) 내의 특징 점에 대한 광학 흐름에 기초하여 제1 영상의 이상을 검출하고 제2 부분 영역(즉, 특징 점 및 특징 값이 추출되는 제2 영상 내의 영역) 내의 특징 점에 대한 광학 흐름에 기초하여 제2 영상의 이상을 검출한다. 보다 구체적으로, 제1 이상 검출 유닛(4)은 미리 결정된 영역 내의 위에 설명된 제1 부분 영역에 위치한 특징 점을 추적함으로써 획득된 광학 흐름에 기초하여 제1 영상의 이상을 검출하고 미리 결정된 영역 내의 제2 부분 영역에 위치한 특징 점을 추적함으로써 획득된 광학 흐름에 기초하여 제2 영상의 이상을 검출한다.
영상의 이상은 그 영상을 찍는 데 사용되었던 카메라의 이상(또는 고장)에 의해 발생될 수 있고, 또는 영상 정보가 카메라로부터 출력될 때부터 이 영상 정보가 특징 추출 유닛(2)에 입력될 때까지 수행되는 처리들 중 하나에서의 이상(즉, 이 처리를 수행하는 장치의 고장)에 의해 발생될 수 있다는 점에 주목한다. 위에 설명된 바와 같이, 제1 이상 검출 유닛(4)에 의해 수행된 이상 검출은 이 카메라의 이상 또는 이 카메라로부터 출력된 영상 정보에 대해 수행된 특정한 처리의 이상을 검출하기 위해 하나의 카메라로부터 취득된 영상을 사용하여 수행된다.
제2 이상 검출 유닛(5)은 제1 영상 내의 제1 중첩된 영역 내의 특징 점에 대한 제1 인덱스 값과 제2 영상 내의 제2 중첩된 영역 내의 특징 점에 대한 제2 인덱스 값 사이의 비교의 결과에 기초하여 제1 또는 제2 영상의 이상을 검출한다. 제1 중첩된 영역은 제1 및 제2 영상들의 촬영 범위들이 서로 중첩하는 제1 영상 내의 중첩된 영역이라는 점에 주목한다. 제2 중첩된 영역은 제1 및 제2 영상들의 촬영 범위들이 서로 중첩하는 제2 영상 내의 중첩된 영역이다. 그러므로, 동일한 피사체가 제1 및 제2 중첩된 영역들 내에 존재한다.
보다 구체적으로, 제2 이상 검출 유닛(5)은 제1 중첩된 영역에서 정의된 제1 중첩된 추출 영역 내의 특징 점 및 제2 중첩된 영역에서 정의된 제2 중첩 추출 영역 내의 특징 점을 사용하여 이상을 검출한다. 제1 중첩된 추출 영역은 제2 부분 영역에 대응하는 제1 부분 영역 내의 영역이라는 점에 주목한다. 제1 중첩된 추출 영역은 또한 제2 부분 영역과 중첩하는 제1 부분 영역 내의 영역으로서 간주될 수 있다는 점에 주목한다. 또한, 제2 중첩된 추출 영역은 제1 부분 영역에 대응하는 제2 부분 영역 내의 영역이라는 점에 주목한다. 제2 중첩된 추출 영역은 또한 제1 부분 영역과 중첩하는 제2 부분 영역 내의 영역으로서 간주될 수 있다는 점에 주목한다. 즉, 영상 내의 중첩된 추출 영역 내에 존재하는 피사체는 특징들이 제1 및 제2 영상들 둘 다에서 추출되는 물체이다.
제1 이상 검출 유닛(4)과 유사하게, 제2 이상 검출 유닛(5)에 의해 검출된 영상의 이상은 그 영상을 찍는 데 사용되었던 카메라의 이상(또는 고장)에 의해 발생될 수 있고, 또는 영상 정보가 카메라로부터 출력될 때부터 이 영상 정보가 특징 추출 유닛(2)에 입력될 때까지 수행된 처리들 중 하나에서의 이상(즉, 이 처리를 수행하는 장치의 고장)에 의해 발생될 수 있다는 점에 주목한다.
또한, 한 예로서, 위에 설명된 인덱스 값은 제1 중첩된 영역 내의 그 특징 점으로부터 시작하는 특징 점에 대한 광학 흐름이다. 그러나, 인덱스 값은 제1 중첩된 영역 내의 특징 점의 특징 값일 수 있다. 도 1에서, 제2 이상 검출 유닛(5)으로 연장하는 파선 화살표들은 인덱스 값의 이러한 선택성을 표시한다는 점에 주목한다. 즉, 위에 설명된 인덱스 값이 광학 흐름일 때, 흐름 계산 유닛(3)으로부터 제2 이상 검출 유닛(5)으로 연장하는 경로가 존재할 수 있지만, 특징 추출 유닛(2)으로부터 제2 이상 검출 유닛(5)으로 연장하는 경로는 존재하지 않을 수 있다. 또한, 인덱스 값이 특징 값일 때, 흐름 계산 유닛(3)으로부터 제2 이상 검출 유닛(5)으로 연장하는 경로가 존재하지 않을 수 있지만, 특징 추출 유닛(2)으로부터 제2 이상 검출 유닛(5)으로 연장하는 경로는 존재할 수 있다.
도 1에서, 요소들을 연결하는 화살표들은 단지 요소들 간의 관계들의 예들이고 보다 쉬운 이해를 위해 도시된다는 점에 주목하여야 한다. 즉, 그들은 도 1에 도시한 이상 검출 장치(1)에 도시한 것들 이외의 요소들 간의 관계들을 배제하도록 도시되지 않는다.
위에 설명된 바와 같이, 이상 검출 장치(1)에서, 제1 이상 검출 유닛(4)은 하나의 카메라로부터 취득된 영상들을 사용하여 이상 검출을 수행하고 제2 이상 검출 유닛(5)은 각각의 카메라들로부터 취득된 적어도 2개의 영상들을 비교함으로써 이상 검출을 수행한다. 즉, 이상 검출 장치(1)는 2가지 유형의 이상 검출 기능들, 즉, 제1 이상 검출 유닛(4)에 의한 이상 검출 및 제2 이상 검출 유닛(5)에 의한 이상 검출을 갖기 때문에, 이상 검출의 정확도가 단지 한가지 유형의 이상 검출이 수행되는 경우에 비해 개선된다.
또한, 이상 검출 장치(1)에서, 제1 이상 검출 유닛(4)에 의해 수행된 이상 검출에 필요한 영상 특징들 및 제2 이상 검출 유닛(5)에 의해 수행된 이상 검출에 필요한 것들이 반드시 상이한 추출 알고리즘들을 사용하여 추출되지 않는다. 그러므로, 특징 추출 유닛(2)에 의해 획득된 추출 결과는 제1 이상 검출 유닛(4)에 의해 수행된 이상 검출과 제2 이상 검출 유닛(5)에 의해 수행된 이상 검출 둘 다에 사용될 수 있다. 즉, 공통 추출 알고리즘을 사용함으로써, 복잡한 처리들을 수행하지 않고서 영상 특징 추출 처리를 수행하는 것이 가능하다. 또한, 이상 검출 장치(1)에서, 전체 영상 영역을 사용하는 것 대신에, 부분 영역이 영상 특징들에 대한 추출 범위로서 사용된다. 그러므로, 영상 특징 추출 처리에 필요한 부하를 감소시키는 것이 가능하다.
위에 설명된 바와 같이, 이상 검출 장치(1)는 적어도 2개의 카메라들의 촬영 범위들이 서로 중첩할 때, 처리 부하를 감소시키면서, 제1 이상 검출 유닛(4)에 의한 이상 검출과 제2 이상 검출 유닛(5)에 의한 이상 검출 둘 다를 수행하는 것을 가능하게 한다.
<제1 실시예>
다음에, 실시예의 상세들이 설명된다. 도 2는 제1 실시예에 따른 차량 시스템(10)을 구성하는 요소들 간의 위치 관계의 예를 도시한 개략도이다. 차량 시스템(10)은 차량(100) 내에 설치되는 정보 입력 디바이스들 및 차량(100) 내에 설치되는 다른 소자들로서 카메라들(101A 내지 101D)을 포함한다. 도 2에 도시한 예에서, 4개의 카메라들이 도시된다는 점에 주목한다. 그러나, 차량 시스템(10)에는 단지 2개 이상의 카메라들이 장치될 필요가 있다. 도 2에 도시한 예에서, 브레이크(102) 및 스티어링 휠(103)과 같은 제어 디바이스들, 및 경고 디스플레이 디바이스(104)와 같은 정보 출력 디바이스가 다른 소자들로서 도시된다. 또한, 차량 시스템(10)은 ECU(전자 제어 유닛)(105)를 포함한다.
카메라들(101A 내지 101D), 브레이크(102), 스티어링 휠(103), 및 경고 디스플레이 유닛(104)은 정보를 인식하고, 차량 상태를 결정하고, 차량을 제어하고, 통신을 수행하는 ECU(105)에 접속된다. ECU(105)는 단일 소자일 수 있거나 각각의 기능들을 위한 복수의 소자로 구성될 수 있다. ECU(105)가 복수의 소자로 구성될 때, 이들 소자는 정보가 그들 간에 상호적으로 교환될 수 있도록 접속된다.
카메라들(101A 내지 101D)은 차량(100)의 주변들의 동영상들(즉, 차량(100) 주위의 장면)을 찍는 카메라들이다. 카메라(101A)는 그것의 주 촬영 범위가 차량(100)의 앞에 있도록 차량(100)의 앞측 상에 설치된 카메라이다. 카메라(101B)는 그것의 주 촬영 범위가 차량(100)의 우측에 있도록 차량(100)의 우측 상에 설치된 카메라이다. 카메라(101C)는 그것의 주 촬영 범위가 차량(100)의 뒤에 있도록 차량(100)의 뒤측 상에 설치된 카메라이다. 카메라(101D)는 그것의 주 촬영 범위가 차량(100)의 좌측에 있도록 차량(100)의 좌측 상에 설치된 카메라이다.
카메라(101A)는 그것의 촬영 범위가 카메라(101B)의 촬영 범위와 부분적으로 중첩하고 카메라(101D)의 촬영 범위와 부분적으로 중첩하도록 차량(100) 내에 설치된다는 점에 주목한다. 카메라(101B)는 그것의 촬영 범위가 카메라(101A)의 촬영 범위와 부분적으로 중첩하고 카메라(101C)의 촬영 범위와 부분적으로 중첩하도록 차량(100) 내에 설치된다. 카메라(101C)는 그것의 촬영 범위가 카메라(101B)의 촬영 범위와 부분적으로 중첩하고 카메라(101D)의 촬영 범위와 부분적으로 중첩하도록 차량(100) 내에 설치된다. 카메라(101D)는 그것의 촬영 범위가 카메라(101C)의 촬영 범위와 부분적으로 중첩하고 카메라(101A)의 촬영 범위와 부분적으로 중첩하도록 차량(100) 내에 설치된다. 카메라들의 중첩된 범위들은 시간에 따라 변화하지 않는다고 가정한다.
다음에, 차량 시스템(10)의 구성이 도 3을 참조하여 보다 상세한 방식으로 설명된다. 도 3은 차량 시스템(10)의 하드웨어 구성의 예를 도시한 블록도이다. 도 3에 도시한 바와 같이, ECU(105)는 인식 MCU(마이크로 컨트롤러 유닛)(110), 결정 MCU(111), 및 제어 MCU들(112 및 113)을 포함한다. 차량 시스템(10)이 동영상들을 찍도록 추가된 확장 카메라(106)의 접속을 지원할 때, ECU(105)는 확장-카메라 MCU(114)를 추가로 포함한다는 점에 주목한다. 하나 보다 많은 확장 카메라(106)가 추가될 수 있다는 점에 주목한다. 추가된 확장 카메라(106)는 그것의 촬영 범위가 다른 확장 카메라들(106) 중 적어도 하나 또는 카메라들(101A 내지 101D) 중 적어도 하나의 촬영 범위와 중첩하도록 차량(100) 내에 설치될 수 있다는 점에 주목하여야 한다.
인식 MCU(110)는 카메라들(101A 내지 101D)에 의해 찍힌 영상들 및 확장 카메라(106)에 의해 찍힌 영상들을 인식하는 MCU이다. 인식 MCU(110)는 버스들(120A 내지 120D)을 통해 각각 카메라들(101A 내지 101D)에 접속된다.
결정 MCU(111)는 차량(100)의 상태를 결정하는 MCU이다. 결정 MCU(111)는 버스(121)를 통해 경고 디스플레이 디바이스(104)에 접속되고 경고 디스플레이 디바이스(104)에 디스플레이되는 콘텐츠를 제어한다.
제어 MCU(112)는 스티어링 휠(103)로부터의 입력에 따라 차량(100)을 제어하는 MCU이고 버스(122)를 통해 스티어링 휠(103)에 접속된다. 제어 MCU(113)는 브레이크(102)로부터의 입력에 따라 차량(100)을 제어하는 MCU이고 버스(123)를 통해 브레이크(102)에 접속된다. 제어 MCU들(112 및 113)은 반드시 별개의 MCU들일 필요는 없다. 즉, 그들은 하나의 MCU로서 형성될 수 있다.
확장-카메라 MCU(114)는 확장 카메라(106)로부터 입력된 신호들을 처리하는 MCU이다. 확장-카메라 MCU(114)는 예를 들어, (나중에 설명되는) 카메라 I/F들(142A 내지 142D) 및 캡처 유닛(143)에 의해 수행되는 것들과 유사한 처리를 수행하고 영상 데이터를 발생한다. 또한, 확장-카메라 MCU(114)는 차량 내 네트워크(125)로 출력되는 데이터의 양을 감소시키기 위해 영상 데이터를 압축한다. 확장-카메라 MCU(114)로부터 출력된 영상 데이터는 차량 내 네트워크(125) 및 인식 MCU(110)를 통해 내부 메모리(130) 내에 저장된다는 점에 주목한다. 확장-카메라 MCU(114)가 제공될 때, 확장 카메라(106)는 버스(124)를 통해 확장-카메라 MCU(114)에 접속된다.
인식 MCU(110), 결정 MCU(111), 제어 MCU들(112 및 113), 및 확장-카메라 MCU(114)는 차량 내 네트워크(125)에 접속된다.
또한, ECU(105)는 외부 메모리(130)를 포함한다. 외부 메모리(130)는 카메라들(101A 내지 101D)에 의해 찍힌 영상들 및 확장 카메라(106)에 의해 찍힌 영상들이 저장되는 메모리이다.
인식 MCU(110)의 구성의 상세들이 이후 설명된다. 인식 MCU(110)는 차량 내 네트워크 I/F(140), 외부 메모리 I/F(141), 카메라 I/F들(142A 내지 142D), 캡처 유닛(143), 영상 처리 프로세서(150), 영상 인식 프로세서(160), 및 CPU(중앙 처리 장치)(170)를 포함한다.
차량 내 네트워크 I/F(140)는 차량 내 네트워크(125)로부터/에 정보를 입력/출력하기 위한 인터페이스이다. 외부 메모리 I/F(141)는 외부 메모리(130)로부터/에 정보를 입력/출력하기 위한 인터페이스이다. 카메라 I/F들(142A 내지 142D)은 카메라들(101A 내지 101D)에서 캡처된 신호들을 캡처 유닛(143)에 의해 수용될 수 있는 신호 형식의 신호들로 변환하기 위한 인터페이스들이다. 예를 들어, 카메라 I/F들(142A 내지 142D)은 입력 직렬 신호들을 병렬 신호들로 변환하고 그들을 캡처 유닛(143)에 출력하기 위한 인터페이스들이다.
이들 인터페이스들은 전용 네트워크에 접속될 수 있거나, CAN(제어기 영역 네트워크) 또는 이더넷과 같은 범용 네트워크에 접속될 수 있다는 점에 주목한다. 또한, 동일한 버스를 시분할 방식 등으로 스위치함으로써 범용 네트워크에의 접속을 구현하는 것이 또한 가능하다.
캡처 유닛(143)은 카메라들(101A 내지 101D)로부터 출력된 신호들에 기초하여 영상 데이터를 발생하는 회로이다. 캡처 유닛(143)으로부터 출력된 영상 데이터는 외부 메모리 I/F(141)를 통해 외부 메모리(130) 내에 저장된다.
영상 처리 프로세서(150)는 카메라들(101A 내지 101D) 및 확장 카메라(106)에 의해 찍힌 영상들에 대해 미리 결정된 영상 처리를 수행하는 회로이다. 영상 처리 프로세서(150)는 외부 메모리 I/F(141)를 통해 외부 메모리(130) 내에 저장된 영상 데이터를 판독하고, 미리 결정된 영상 처리를 수행하고, 다음에 결과 영상 데이터, 즉, 영상 처리된 데이터를 외부 메모리 I/F(141)를 통해 외부 메모리(130) 내에 저장한다. 영상 처리 프로세서(150)에 의해 수행된 미리 결정된 영상 처리의 예들은 디코딩 압축된 영상 데이터에 대한 처리 및 찍혀진 영상 데이터의 왜곡에 대한 정정을 포함한다는 점에 주목한다. 그러나, 미리 결정된 영상 처리는 이들 예들로 제한되지 않는다.
영상 인식 프로세서(160)는 영상 인식 처리를 수행하는 회로이다. 영상 인식 프로세서(160)는 영상 처리 프로세서(150)에 의해 처리된 영상들에 대해 영상 인식 처리를 수행한다. 영상 인식 프로세서(160)는 외부 메모리 I/F(141)를 통해 외부 메모리(130) 내에 저장된 영상 데이터를 판독하고, 미리 결정된 영상 처리를 수행하고, 다음에 외부 메모리 I/F(141)를 통해 외부 메모리(130) 내에 영상 인식 처리의 결과를 저장한다. 구체적으로, 영상 인식 처리로서, 영상 인식 프로세서(160)는 영상 특징들(보다 구체적으로, 특징 점 및 특징 값)을 추출하고 그에 대한 광학 흐름을 계산한다.
CPU(170)는 외부 메모리(130) 또는 다른 메모리들 내에 저장된 프로그램을 실행함으로써 다양한 처리들을 수행한다. CPU(170)는 영상 인식 프로세서(160)에 의해 획득된 영상 인식 결과에 기초하여 영상의 이상을 검출하는 이상 검출 처리를 수행한다.
본 실시예에서, 영상 인식 프로세서(160) 및 CPU(170)는 도 1에 도시한 이상 검출 장치(1)에 대응한다. 즉, 영상 인식 프로세서(160) 및 CPU(170)는 영상 인식 프로세서(150)에 의해 수행된 영상 처리된 영상 데이터에 기초하여 이상 검출 처리를 수행한다. 예를 들어, 카메라들(101A 내지 101D), 카메라 I/F들(142A 내지 142D), 캡처 유닛(143), 및 영상 처리 프로세서(150) 중 하나에서 고장이 발생할 때, 영상 인식 프로세서(160)에 입력된 영상에서 이상이 발생한다. 본 실시예에서, 카메라들(101A 내지 101D), 카메라 I/F들(142A 내지 142D), 캡처 유닛(143), 및 영상 처리 프로세서(150)에서의 고장이 그 고장이 이들 회로에서 발생할 때 발생하는 영상의 이상에 기초하여 검출된다. 확장 카메라(106)가 사용될 때, 확장 카메라(106) 및 확장 카메라 MCU(114)는 또한 고장이 검출되는 대상 회로들 내에 포함된다는 점에 주목한다.
다음에, 이상 검출 처리에 관련된 차량 시스템(10)의 기능적 구성이 설명된다. 도 4는 차량 시스템(10)에서 수행되는 이상 검출 처리에 관련된 기능적 구성의 예를 도시한 블록도이다. 도 4에 도시한 바와 같이, 차량 시스템(10)은 이상 검출 장치의 구성으로서 특징 추출 유닛(200), 흐름 계산 유닛(201), 제1 이상 검출 유닛(202), 제2 이상 검출 유닛(203), 및 포괄적 결정 유닛(204)을 포함한다. 특징 추출 유닛(200) 및 흐름 계산 유닛(201)은 영상 인식 프로세서(160)에 의해 구현된다는 점에 주목한다. 또한, 제1 이상 검출 유닛(202), 제2 이상 검출 유닛(203), 및 포괄적 결정 유닛(204)은 CPU(170)에 의해 구현된다.
특징 추출 유닛(200)은 도 1에 도시한 특징 추출 유닛(2)에 대응한다. 즉, 특징 추출 유닛(200)은 미리 결정된 추출 알고리즘에 따라 각각의 카메라(즉, 카메라들(101A 내지 101D) 및 확장 카메라(106) 각각)에 의해 찍힌 영상의 영상 특징들(즉, 특징 점 및 특징 값)을 추출한다. 카메라들(101A 내지 101D) 및 확장 카메라(106)가 동영상들을 찍기 때문에, 특징 추출 유닛(200)은 시간적 연속 영상 프레임들 각각에 대한 영상 특징들을 추출한다는 점에 주목한다. 본 실시예에서, 특징 추출 유닛(200)은 영상 처리 프로세서(150)에 의해 수행된 영상 처리된 영상들 내의 영상 특징들을 추출한다.
앞서 언급된 미리 결정된 추출 알고리즘의 예들은 Harris and GoodFeaturesToTrack와 같은 과학 논문지들에서 개시된 공지된 알고리즘들을 포함한다. 특징 점들에 관해, 예를 들어, 피사체의 윤곽이 영상들에서 취득될 수 있고 프레임들을 통한 그 이동들이 트레이스될 수 있는 점들이 추출된다. 이러한 특징 점들은 예를 들어, 모서리들 내에 존재하지만, 모서리들로 한정되지 않는다. 또한, 특징 추출 유닛(200)은 앞서 언급된 미리 결정된 추출 알고리즘에 따라 추출된 특징 점들에 대한 특징 값들을 계산한다.
특징 추출 유닛(200)은 각각의 카메라에 대해 미리 정해진 특징 추출 범위(도 5 및 6 내의 특징 추출 범위들 R1A 및 R1B 참조) 내의 영역에 대한 그리고 특징 점의 목적지들로서 추정된 장소들에 가까운 영역들에 대한 추출 처리를 수행한다. 특징 추출 범위와 다른 범위들 간의 관계가 도 5 및 6을 참조하여 나중에 설명될 것이라는 점에 주목한다. 특징 점의 목적지들로서 추정된 영상 내의 위치들이 예를 들어, 흐름 계산 유닛(201)에 의해 추정된다.
흐름 계산 유닛(201)은 도 1에 도시한 흐름 계산 유닛(3)에 대응한다. 흐름 계산 유닛(201)은 특징 점의 특징 값에 기초하여 특징 추출 유닛(200)에 의해 추출된 특징 점에 대한 광학 흐름을 계산한다. 구체적으로, (n-1)번째 영상 프레임 In-1 내의 특징 점이 특징 점 An-1로서 표현될 때, 흐름 계산 유닛(201)은 특징 점들의 특징 값들을 비교함으로써 영상 프레임 In-1 다음의 프레임인 n번째 프레임 In에서 추출된 대응하는 특징 점 An이 어느 방향으로 이동하였는지를 계산(및 결정)한다. 이 방식으로, 흐름 계산 유닛(201)은 복수의 프레임을 통하는 특징 점의 이동을 표시하는 벡터를 계산한다. 예를 들어, 흐름 계산 유닛(201)은 (OpticalFlowLK와 같은) 과학 논문지들에서 개시된 공지된 알고리즘을 사용하여 광학 흐름을 계산한다. 흐름 계산 유닛(201)은 각각의 카메라에 대해 미리 정해진 흐름 추적 범위(도 5 및 6 내의 추적 범위들 R2A 및 R2B 참조) 내의 특징 추출 유닛(200)에 의해 추출된 특징 점으로부터 시작하는 광학 흐름을 계산(즉, 결정)한다는 점에 주목한다. 흐름 추적 범위와 다른 범위들 간의 관계가 나중에 설명될 것이라는 점에 주목한다.
또한, 흐름 계산 유닛(201)은 특징 점의 목적지의 장소를 추정한다. 흐름 계산 유닛(201)은 n번째 영상 프레임까지의 영상 프레임들에 기초하여 이미 계산된 광학 흐름으로부터 (n+1)번째 영상 프레임 In+1 내의 특징 점 An+1의 장소를 추정한다. 예를 들어, 흐름 계산 유닛(201)은 피사체 또는 카메라가 실질적으로 일정한 속도로 직선으로 이동한다는 가정 하에서 (n+1)번째 영상 프레임 In+1 내의 특징 점 An+1의 장소를 추정한다. 다음에, 특징 추출 유닛(200)은 흐름 계산 유닛(201)에 의해 추정된 장소에 가까운 영역에 대한(예를 들어, 추정된 장소로부터 미리 결정된 거리 내의 영상 영역에 대한) 영상 특징을 추출하는 처리를 수행한다.
제1 이상 검출 유닛(202)은 도 1에 도시한 제1 이상 검출 유닛(4)에 대응한다. 즉, 제1 이상 검출 유닛(202)은 흐름 계산 유닛(201)에 의해 카메라(101A)로부터의 영상에 대해 계산된 광학 흐름에 기초하여 카메라(101A)로부터 취득된 영상의 이상을 검출한다. 또한, 제1 이상 검출 유닛(202)은 흐름 계산 유닛(201)에 의해 카메라(101B)로부터의 영상에 대해 계산된 광학 흐름에 기초하여 카메라(101B)로부터 취득된 영상의 이상을 검출한다. 또한, 제1 이상 검출 유닛(202)은 흐름 계산 유닛(201)에 의해 카메라(101C)로부터의 영상에 대해 계산된 광학 흐름에 기초하여 카메라(101C)로부터 취득된 영상의 이상을 검출한다. 또한, 제1 이상 검출 유닛(202)은 흐름 계산 유닛(201)에 의해 카메라(101D)로부터의 영상에 대해 계산된 광학 흐름에 기초하여 카메라(101D)로부터 취득된 영상의 이상을 검출한다. 또한, 확장 카메라(106)가 제공될 때, 제1 이상 검출 유닛(202)은 확장 카메라(106)로부터의 영상에 대한 광학 흐름에 기초하여 확장 카메라(106)로부터 취득된 영상의 이상을 검출한다. 이 방식으로, 제1 이상 검출 유닛(202)은 이 카메라로부터의 영상을 사용하여 하나의 카메라로부터 취득된 영상의 이상을 검출한다.
제1 이상 검출 유닛(202)에 의해 수행되는 이상 검출이 추가로 설명된다. 카메라(101A)로부터 취득된 영상에 대한 이상 검출이 이후 예로서 설명되지만, 다른 카메라들로부터 취득된 영상들에 대한 이상 검출이 유사한 방식으로 수행된다는 점에 주목한다. 제1 이상 검출 유닛(202)은 특징 추출 범위 R1 내의 특징 점으로부터 시작하는 광학 흐름에 기초하여 카메라(101A)로부터 취득된 영상의 이상을 검출한다. 제1 이상 검출 유닛(202)은 피사체 또는 카메라가 실질적으로 일정한 속도로 직선으로 이동할 때 동영상들이 카메라에 의해 취득된다는 가정에서 광학 흐름의 연속성을 검출함으로써 영상의 이상을 검출한다.
제1 이상 검출 유닛(202)에 의해 이루어지는 광학 흐름의 연속성의 결정이 이후 설명된다. 카메라로부터 취득된 영상 내의 광학 흐름의 이동 방향 및 이동량의 시간적 변화들(즉, 시간에 따른 변화들)이 미리 결정된 범위들 내에 있을 때, 제1 이상 검출 유닛(202)은 카메라로부터의 영상이 정상이라고 결정한다. 이와 반대로, 광학 흐름의 이동 방향 및 이동량의 시간적 변화들이 미리 결정된 범위들 내에 있지 않을 때와 같이, 이동 방향 및 이동량의 그 시간적 변화들이 미리 결정된 범위들 내에 있는 카메라로부터 취득된 영상 내의 광학 흐름이 획득될 수 없을 때, 제1 이상 검출 유닛(202)은 카메라로부터의 영상이 이상이라고 결정한다.
카메라(101A)의 피사체 또는 카메라(101A) 자체가 실질적으로 일정한 속도로 직선으로 이동할 때, 미리 결정된 프레임 레이트로 카메라(101A)로부터 취득된 시간적으로 인접한 프레임들을 통한 특징 점의 이동 방향 및 이동량은 일정하게 된다. 그러므로, 제1 이상 검출 유닛(202)은 이동 방향 Pn과 이동 방향 Pn +1 사이의 차이가 허용가능한 범위 PR 내에 있는지 여부를 결정하고 이동 거리 Qn과 이동 거리 Qn +1이 허용가능한 범위 QR 내에 있는지 여부를 결정한다. 이동 방향 Pn은 (n-1)번째 영상 프레임 In-1 내의 특징 점 An-1로부터 n번째 영상 프레임 In 내의 그것의 대응하는 특징 점 An으로의 이동 방향이라는 점에 주목한다. 이동 방향 Pn +1은 특징 점 An으로부터 영상 프레임 In+1 내의 그것의 대응하는 특징 점 An+1로의 이동 방향이다. 또한, 이동 거리 Qn은 특징 점 An-1로부터 특징 점 An까지의 이동 거리이고, 이동 거리 Qn+1은 특징 점 An으로부터 특징 점 An+1까지의 이동 거리이다.
이동 방향들 Pn과 Pn +1 사이의 차이가 허용가능한 범위 PR 내에 있고 이동 거리들 Qn과 Qn +1 사이의 차이가 허용가능한 범위 QR 내에 있을 때, 제1 이상 검출 유닛(202)은 영상이 정상이라고 결정한다. 또한, 제1 이상 검출 유닛(202)은 영상이 모든 다른 경우들에서 이상이라고 결정한다. 예를 들어, 일부 고장이 카메라(101A)와 영상 인식 프로세서(160) 사이에 또는 카메라(101A) 자체 내에 배치된 회로들의 어느 것에서 발생하므로 영상들이 일정 간격들로 카메라(101A)로부터 공급되지 않을 때, 이동 방향 및 이동량의 시간적 변화들이 미리 결정된 범위들 내에 있는 광학 흐름이 획득될 수 없다. 그러므로, 제1 이상 검출 유닛(202)은 영상의 이상을 검출한다. 제1 이상 검출 유닛(202)에 의한 이상 검출에서, 피사체 또는 카메라는 반드시 절대적으로 일정한 속도로 직선으로 이동할 필요는 없다는 점에 주목한다. 즉, 제1 이상 검출 유닛(202)에 의한 이상 검출에 대한 유일한 요건은 피사체 또는 카메라가 이동하여야 한다는 것이다. 바꾸어 말하면, 피사체 또는 카메라의 이동 방향 및 이동 속도는 변화될 수 있다. 이것은 인접한 영상 프레임들 간의 시간이 충분히 작고 허용가능한 범위가 위에 설명된 것과 같은 결정에 대해 정해지기 때문이다.
제2 이상 검출 유닛(203)은 도 1에 도시한 제2 이상 검출 유닛(5)에 대응한다. 즉, 제2 이상 검출 유닛(203)은 각각의 카메라들에 의해 찍힌 복수의 영상의 중첩된 영역 내의 특징 점에 대한 광학 흐름을 사용하여 영상의 이상을 검출한다. 제2 이상 검출 유닛(203)은 영상의 이상을 검출하기 위해서 촬영 범위들이 서로 부분적으로 중첩하는 적어도 2개의 카메라들을 필요로 한다. 제2 이상 검출 유닛(203)의 상세들이 그 촬영 범위들이 서로 부분적으로 중첩하는 카메라(101A)와 카메라(101B)를 사용하여 이후 설명된다. 그러나, 제2 이상 검출 유닛(203)은 그 촬영 범위들이 서로 중첩하는 카메라들의 다른 조합들에 대해 유사한 처리를 수행한다.
제2 이상 검출 유닛(203)은 카메라(101A)로부터의 영상 내의 중첩된 영역 내의 특징 점에 대한 광학 흐름(도 5 및 6 내의 중첩된 추출 영역 R3A 참조)과 카메라(101B)로부터의 영상 내의 중첩된 영역 내의 특징 점에 대한 광학 흐름(도 5 및 6 내의 중첩된 추출 영역 R3B 참조) 사이의 비교의 결과에 기초하여 카메라(101A 또는 101B)로부터 취득된 영상의 이상을 검출한다. 카메라(101A)로부터 취득된 영상 내의 중첩된 추출 영역은 위에 설명된 제1 중첩된 추출 영역에 대응하고, 카메라(101B)로부터 취득된 영상 내의 특징 추출 범위(도 5 및 6 내의 특징 추출 범위 R1B 참조)에 대응하는 카메라(101A)로부터의 영상 내의 특징 추출 범위(도 5 및 6 내의 특징 추출 범위 R1A 참조) 내의 영역이라는 점에 주목한다. 바꾸어 말하면, 카메라(101B)로부터 취득된 영상 내의 중첩된 추출 영역은 위에 설명된 제2 중첩된 추출 영역에 대응하고, 카메라(101A)로부터 취득된 영상 내의 특징 추출 범위(도 5 및 6 내의 특징 추출 범위 R1A 참조)에 대응하는 카메라(101B)로부터의 영상 내의 특징 추출 범위(도 5 및 6 내의 특징 추출 범위 R1B 참조) 내의 영역이다.
촬영 범위, 특징 추출 범위, 흐름 추적 범위, 및 중첩된 추출 영역 간의 관계가 도 5 및 6을 참조하여 이후 설명된다. 도 5는 촬영 범위들, 특징 추출 범위들, 흐름 추적 범위들, 및 중첩된 추출 영역들 간의 관계를 도시한 개략도이다. 도 5는 차량(100) 위에서 볼 때의 관계를 도시한다는 점에 주목한다. 도 6은 카메라(101A)(도 6의 좌측)에 의해 찍힌 영상들 내의 범위들 간의 관계 및 카메라(101B)(도 6의 우측)에 의해 찍힌 영상들 내의 범위들 간의 관계를 도시한 개략도이다. 도 6에 도시한 영상들은 영상 처리 프로세서(150)를 사용하여 카메라로부터 취득된 영상들에 대한 디코딩 처리 및 왜곡 정정과 같은 미리 결정된 영상 처리를 수행함으로써 획득된 직사각형 영상들이라는 점에 주목한다. 특징 추출 유닛(200) 및 흐름 계산 유닛(201)은 이러한 직사각형 영상들을 처리한다. 도 5 및 6이 카메라들(101A 및 101B)에만 관련된 범위들을 도시하지만, 유사하게 범위들이 다른 카메라들에 대해 정해진다. 범위들 간의 관계가 도 5 및 6을 참조하여 이후 설명된다.
도 5에서, 카메라(101A)의 촬영 범위 RA 및 카메라(101B)의 촬영 범위 RB는 두꺼운 실선들로 둘러싸인 범위들에 의해 표시된다. 도 6에서, 촬영 범위들 RA 및 RB 각각은 가장 바깥쪽의 직사각형 프레임에 의해 표시된 영역이다. 도 5에서, 촬영 범위들 RA 및 RB는 서로 부분적으로 중첩한다. 특징 추출 범위 R1A는 촬영 범위 RA의 영역의 부분으로서 미리 정해진다. 유사하게, 특징 추출 범위 R1B는 촬영 범위 RB의 영역의 부분으로서 미리 정해진다. 특히, 특징 추출 범위 R1A는 다른 카메라(101B)의 촬영 범위 RB 내로 부분적으로 연장하고 그와 중첩한다. 유사하게, 특징 추출 범위 R1B는 다른 카메라(101A)의 촬영 범위 RA 내로 부분적으로 연장하고 그와 중첩한다. 바꾸어 말하면, 특징 추출 범위의 적어도 일부가 다른 카메라의 촬영 범위와 중첩하는 영역의 적어도 일부에서 정해진다. 도 5 및 6에서, 특징 추출 범위들(R1A 및 R1B)이 미세한 빗금에 의해 표시된다는 점에 주목한다. 특징 추출 범위 R1A는 또한 제1 부분 영역이라고 하고 특징 추출 범위 R1B는 또한 제2 부분 영역이라고 한다.
카메라(101A)에 대해, 특징 추출 범위 R1A는 촬영 범위 RA의 양측 상에서 정해진다. 특징 추출 범위 R1A의 하나는 카메라(101B)의 촬영 범위 RB와 중첩하는 영역의 일부를 포함하도록 정해진 특징 추출 범위이고, 다른 특징 추출 범위 R1A는 카메라(101D)의 촬영 범위(도시 안됨)와 중첩하는 영역의 일부를 포함하도록 정해진 특징 추출 범위이다. 유사하게, 카메라(101B)에 대해, 특징 추출 범위 R1B는 촬영 범위 RB의 양측 상에서 정해진다. 특징 추출 범위 R1B의 하나는 카메라(101A)의 촬영 범위 RA와 중첩하는 영역의 일부를 포함하도록 정해진 특징 추출 범위이고, 다른 특징 추출 범위 R1B는 카메라(101C)의 촬영 범위(도시 안됨)와 중첩하는 영역의 일부를 포함하도록 정해진 특징 추출 범위이다. 도 5에 도시한 예에서, 특징 추출 범위는 양 카메라의 촬영 범위들이 서로 중첩하는 영역의 부분에서 정해진다는 점에 주목한다. 그러나, 특징 추출 범위는 양 카메라의 촬영 범위들이 서로 중첩하는 전체 영역에 걸쳐 정해질 수 있다.
도 5 및 6에서, 흐름 추적 범위들이 점들로 채워진 영역들(R2A 및 R2B)에 의해 표시된다. 흐름 추적 범위는 그 안에 특징 추출 범위들을 포함하도록 정해진다. 바꾸어 말하면, 흐름 추적 범위는 특징 추출 범위보다 더 넓은 영역에서 정해진다. 구체적으로, 카메라(101A)에 대한 흐름 추적 범위 R2A는 양 측 상에 배치된 특징 추출 범위 R1A의 둘 다를 포함하도록 정해진다. 유사하게, 카메라(101B)에 대한 흐름 추적 범위 R2B는 양 측 상에 배치된 특징 추출 범위 R1B의 둘 다를 포함하도록 정해진다. 그러므로, 특징 추출 범위 R1A는 또한 흐름 추적 범위 R2A(그것의 일부)이다. 또한, 특징 추출 범위 R1B는 또한 흐름 추적 범위 R2B(그것의 일부)라는 점에 주목한다. 도 5 및 6에서, 흐름 추적 범위는 카메라의 촬영 범위의 영역의 일부에 정해진다는 점에 주목한다. 그러나, 흐름 추적 범위는 카메라의 전체 촬영 범위에 걸쳐 정해질 수 있다.
도 5 및 6에서, 중첩된 추출 영역들(R3A 및 R3B)은 거친 빗금에 의해 표시된 영역들이다. 중첩된 추출 영역은 카메라들 중 하나에 의해 찍힌 영상 내의 특징 추출 범위와 다른 카메라에 의해 찍힌 영상 내의 특징 추출 범위가 촬영 범위에서 서로 중첩하는 부분이다. 카메라(101A)에 대한 중첩된 추출 영역 R3A는 또한 특징 추출 범위 R1A(그것의 일부) 및 흐름 추적 범위 R2A(그것의 일부)이다. 유사하게, 카메라(101B)에 대한 중첩된 추출 영역 R3B는 또한 특징 추출 범위 R1B(그것의 일부) 및 흐름 추적 범위 R2B(그것의 일부)이다.
제2 이상 검출 유닛(203)은 그 광학 흐름에 대한 추적 범위로서 카메라(101B)에 의해 찍힌 영상과 중첩하는 카메라(101A)에 의해 찍힌 영상 내의 중첩된 영역 내의 미리 결정된 영역을 사용하여 획득된 광학 흐름 및 그 광학 흐름에 대한 추적 범위로서 카메라(101A)에 의해 찍힌 영상과 중첩하는 카메라(101B)에 의해 찍힌 영상 내의 중첩된 영역 내의 미리 결정된 영역을 사용하여 획득된 광학 흐름을 사용하여 영상의 이상을 검출한다. 즉, 제2 이상 검출 유닛(203)에 의해 수행된 이상 검출 처리에 대해, 카메라(101A)의 영상 내의 특징 점이 카메라(101A)의 영상의 중첩된 영역 내의 미리 결정된 영역 내에서 추적된다. 유사하게, 제2 이상 검출 유닛(203)에 의해 수행된 이상 검출 처리에 대해, 카메라(101B)의 영상 내의 특징 점이 카메라(101B)의 영상의 중첩된 영역 내의 미리 결정된 영역 내에서 추적된다. 다음의 설명에서, 중첩된 영역 내의 이 미리 결정된 영역은 또한 비교 영역이라고 한다. 영상들의 하나의 영상 내의 비교 영역의 촬영 범위는 다른 영상 내의 비교 영역의 촬영 범위에 대응한다는 점에 주목한다. 즉, 영상들의 하나의 영상의 비교 영역 내에 존재하는 피사체는 또한 다른 영상들의 비교 영역 내에 존재한다. 본 실시예에서, 비교 영역은 중첩된 추출 영역들 R3A 및 R3B에서 정해진 직사각형 영역들 R4A 및 R4B이다(도 6 참조). 그러나, 비교 영역은 중첩된 추출 영역들 R3A 및 R3B일 수 있다. 직사각형 영역들 R4A 및 R4B의 상세들이 나중에 설명될 것이라는 점에 주목한다.
이와 반대로, 제1 이상 검출 유닛(202)은 그것의 추적 범위로서 제2 이상 검출 유닛(203)에서 사용된 추적 범위보다 더 넓은 범위를 사용하여 획득된 광학 흐름을 사용하여 카메라(101A 및 101B)에 의해 찍힌 영상들의 이상을 검출한다. 구체적으로, 제1 이상 검출 유닛(202)에 의해 수행된 이상 검출 처리에 대해, 카메라(101A)의 영상 내의 특징 점이 흐름 추적 범위 R2A에서 추적된다. 유사하게, 제1 이상 검출 유닛(202)에 의해 수행된 이상 검출 처리에 대해, 카메라(101B)의 영상 내의 특징 점이 흐름 추적 범위 R2B에서 추적된다.
제2 이상 검출 유닛(203)에 의해 수행된 이상 검출의 상세들이 추가로 설명된다. 제2 이상 검출 유닛(203)은 카메라(101A)로부터 취득된 영상 내의 비교 영역의 특징 점에 대한 광학 흐름에 대한 각각의 방향에 대한 샘플들의 수(주파수)를 표시하는 제1 주파수 분포와 카메라(101B)로부터 취득된 영상 내의 비교 영역의 특징 점에 대한 광학 흐름에 대한 각각의 방향에 대한 샘플들의 수(주파수)를 표시하는 제2 주파수 분포를 비교함으로써 이상을 검출한다. 본 실시예에서, 비교 영역은 위에 설명된 바와 같이 직사각형 영역들 R4A 및 R4B라는 점에 주목한다. 그러나, 비교 영역은 중첩된 추출 영역들 R3A 및 R3B일 수 있다.
예를 들어, 앞서 언급된 제1 주파수 분포로서, 제2 이상 검출 유닛(203)은 비교 영역 내의 특징 점의 광학 흐름에 대한 이동 방향들의 히스토그램을 생성한다. 또한, 앞서 언급된 제2 주파수 분포로서, 제2 이상 검출 유닛(203)은 비교 영역 내의 특징 점의 광학 흐름에 대한 이동 방향들의 히스토그램을 생성한다. 다음에, 제2 이상 검출 유닛(203)은 양쪽 히스토그램의 요소들 간의 표준화된 상호 상관을 계산하고 양쪽 히스토그램이 서로 유사한지 여부를 결정한다. 제2 이상 검출 유닛(203)이 양쪽 히스토그램이 서로 유사하다고, 즉, 제1과 제2 주파수 분포들이 서로 유사하다고 결정할 때, 카메라들(101A 및 101B)로부터 취득된 영상들 둘 다가 정상이라고 결정한다. 제2 이상 검출 유닛(203)이 양쪽 히스토그램이 서로 유사하지 않다고, 즉, 제1과 제2 주파수 분포들이 서로 유사하지 않다고 결정할 때, 카메라들(101A 및 101B)로부터 취득된 영상들 중 하나가 이상이라고 결정한다. 제2 이상 검출 유닛(203)은 비교를 수행함으로써 이상을 검출하기 때문에, 카메라들(101A 및 101B)의 영상들 중 어느 것이 이상인지를 결정할 수 없다는 점에 주목한다.
위에 설명된 바와 같이, 본 실시예에서, 제2 이상 검출 유닛(203)은 중첩된 추출 영역 내의 미리 지정된 직사각형 영역 내의 특징 점에 대한 광학 흐름을 사용하여 주파수 분포를 생성한다는 점에 주목한다. 즉, 도 6에서, 결정 처리는 중첩된 추출 영역 R3A 내의 두꺼운 실선 프레임으로 표시된 미리 결정된 비교 영역인 직사각형 영역 R4A 내의 특징 점 및 중첩된 추출 영역 R3B 내의 두꺼운 실선 프레임으로 표시된 미리 결정된 비교 영역인 직사각형 영역 R4B 내의 특징 점을 사용함으로써 수행된다. 위에 설명된 바와 같이, 본 실시예에서, 제2 이상 검출 유닛(203)에 의해 수행된 처리에서, 위에 놓인 추출 영역 내에 포함된 미리 결정된 직사각형 영역 내의 특징 점이 사용된다. 그러나, 전체 중첩된 추출 영역 내의 특징 점 또는 중첩된 추출 영역 내의 미리 결정된 임의 형상을 갖는 영역 내의 특징 점이 사용될 수 있다. 중첩된 추출 영역 내의 미리 결정된 임의 형상을 갖는 영역은 예를 들어, 차량 시스템(10)의 설계 상태에서 미리 정의되어 그것은 중첩된 추출 영역의 외부로 연장하지 않는다는 점에 주목한다.
카메라(101A)의 촬영 방향이 본 실시예의 경우에서와 같이 카메라(101B)의 것과 상이할 때, 카메라(101A)의 영상 내의 피사체의 이동 방향은 카메라(101B)의 영상 내의 그 피사체의 이동 방향과 상이하다는 점에 주목하여야 한다. 즉, 주어진 피사체가 방향 X로 공간적으로 이동했을 때, 카메라(101A)로부터 취득된 영상 내의 피사체의 특징 점은 예를 들어, 방향 XA로 이동하는 반면, 카메라(101B)로부터 취득된 영상 내의 피사체의 특징 점은 예를 들어, 방향 XB로 이동한다. 그러므로, 카메라들(101A 및 101B)의 촬영 방향들이 서로 상이할 때, 제2 이상 검출 유닛(203)은 이동 방향이 표준화되는 광학 흐름에 대한 히스토그램을 생성한다. 그러므로, 회전 처리가 방향 XA가 방향 X로 표준화되도록 광학 흐름에 대해 수행되고, 회전 처리가 방향 XB가 방향 X로 표준화되도록 광학 흐름에 대해 수행된다. 회전 처리에서의 회전 각도는 각각의 카메라에 대해 그리고 각각의 카메라의 촬영 방향에 따라 상이하다. 예를 들어, 회전 각도는 차량 시스템(10)의 설계 단계에서 미리 정해진다. 그러므로, 카메라들(101A 및 101B)의 촬영 방향들이 서로 상이할 때, 제2 이상 검출 유닛(203)은 예를 들어, 카메라(101A)의 영상 내의 특징 점에 대한 흐름 계산 유닛(201)에 의해 계산된 이동 방향을 미리 정해진 제1 각도만큼 회전하고 다음에 주파수 분포를 생성한다. 유사하게, 제2 이상 검출 유닛(203)은 카메라(101B)의 영상 내의 특징 점에 대한 흐름 계산 유닛(201)에 의해 계산된 이동 방향을 미리 정해진 제2 각도만큼 회전하고 다음에 주파수 분포를 생성한다. 그러나, 카메라들(101A 및 101B)의 촬영 방향들이 서로 동일할 때, 위에 설명된 회전 처리는 불필요하다.
다음에, 포괄적 결정 유닛(204)이 설명된다. 포괄적 결정 유닛(204)은 제1 및 제2 이상 검출 유닛들(202 및 203)의 검출 결과들에 기초하여 영상의 이상의 유무에 관한 최종 결정을 한다. 그러므로, 제1 및 제2 이상 검출 유닛들(202 및 203)에 의해 이루어진 이상의 유무에 관한 결정들이 최종 결정 전에 이루어지는 임시(또는 일시적) 결정들인 것으로 고려될 수 있다.
포괄적 결정 유닛(204)은 미리 결정된 최종 결정 규칙에 따라 제1 및 제2 이상 검출 유닛들(202 및 203)의 검출 결과들에 기초하여 결정을 할 수 있다. 어떤 임의의 규칙이 최종 결정 규칙으로서 사용될 수 있다. 그러나, 예로서, 포괄적 결정 유닛(204)은 다음의 규칙에 따라 최종 결정을 한다.
본 실시예에서, 포괄적 결정 유닛(204)은 제1 이상 검출 유닛(202)의 검출 결과에보다 제2 이상 검출 유닛(203)의 검출 결과에 더 높은 우선순위를 주면서 최종 결정을 한다. 즉, 주어진 카메라의 영상에 대해 제1 이상 검출 유닛(202)의 검출 결과가 제2 이상 검출 유닛(203)의 검출 결과와 일치하지 않을 때, 포괄적 결정 유닛(204)은 이 카메라의 영상이 제2 이상 검출 유닛(203)의 검출 결과를 채택함으로써 이상인지 여부에 관한 최종 결정을 한다. 이것은 제1 이상 검출 유닛(202)에 의한 검출은 단지 하나의 카메라에 의해 찍힌 영상들을 사용하는 이상 결정인 반면, 제2 이상 검출 유닛(203)에 의한 검출은 적어도 2개의 카메라들에 의해 찍힌 영상들을 비교함으로써 수행되기 때문이다. 그러므로, 비교될 영상들 둘 다에서 유사한 이상들이 발생할 가능성이 작다는 사실에 비추어서, 제2 이상 검출 유닛(203)에 의해 수행된 검출에 대한 결정 정확도가 제1 이상 검출 유닛(202)의 것보다 높다.
또한, 본 실시예에서, 포괄적 결정 유닛(204)은 제2 이상 검출 유닛(203)에 의해 수행된 검출을 다음과 같이 다룬다. 다음의 설명들은 제2 이상 검출 유닛(203)에서 비교될 영상들로서 카메라들(101A 및 101B)에 의해 찍힌 영상들을 사용하여 주어진다는 점에 주목한다. 그러나, 포괄적 결정 유닛(204)은 그 촬영 범위들이 서로 중첩하는 카메라들의 다른 조합들 각각에 대해 유사한 처리를 수행한다.
포괄적 결정 유닛(204)은 카메라(101A)의 영상에 대한 주파수 분포(히스토그램) 내의 샘플들의 수(즉, 각각의 방향에 대한 광학 흐름들의 총수) 및 카메라(101B)의 영상에 대한 주파수 분포(히스토그램) 내의 샘플들의 수(즉, 각각의 방향에 대한 광학 흐름들의 총수)에 기초하여 카메라들(101A 및 101B)의 영상들에 대한 제2 이상 검출 유닛(203)의 검출 결과가 최종 결정에 사용되어야 하는지 여부를 결정한다.
주파수 분포 내의 샘플들의 수가 미리 결정된 수보다 적을 때, 이 주파수 분포를 사용하는 비교의 결과의 신뢰성은 낮은 것으로 고려된다. 그러므로, 예를 들어, 카메라(101A)의 영상의 주파수 분포 내의 샘플들의 수와 카메라(101B)의 영상의 주파수 분포 내의 샘플들의 수가 둘 다 미리 결정된 수보다 적을 때, 포괄적 결정 유닛(204)은 이들 주파수 분포에 기초하여 획득된 제2 이상 검출 유닛(203)의 검출 결과를 최종 결정을 위해 사용하지 않는다. 주파수 분포들 내의 샘플들의 수들이 둘 다 미리 결정된 수보다 적을 때, 제2 이상 검출 유닛(203)에 의해 수행되는 비교 처리는 스킵될 수 있다는 점에 주목한다.
반면에, 예를 들어, 카메라(101A)의 영상의 주파수 분포 내의 샘플들의 수와 카메라(101B)의 영상의 주파수 분포 내의 샘플들의 수가 둘 다 미리 결정된 수 이상일 때, 포괄적 결정 유닛(204)은 이들 주파수 분포에 기초하여 획득된 제2 이상 검출 유닛(203)의 검출 결과를 최종 결정을 위해 사용한다. 즉, 이 경우에, 포괄적 결정 유닛(204)은 이들 주파수 분포에 기초한 제2 이상 검출 유닛(203)의 검출 결과를 고려하면서 최종 결정을 한다.
비교될 영상들 중 하나의 영상의 주파수 분포 내의 샘플들의 수가 미리 결정된 수보다 적고 비교될 영상들 중 다른 하나의 영상의 주파수 분포 내의 샘플들의 수가 미리 결정된 수 이상일 때, 포괄적 결정 유닛(204)은 이들 주파수 분포에 기초하여 획득된 제2 이상 검출 유닛(203)의 검출 결과를 다음과 같이 다룬다는 점에 주목한다. 이 경우에, 제2 이상 검출 유닛(203)이 카메라들(101A 및 101B)의 영상들이 정상이라고 결정할 때, 포괄적 결정 유닛(204)은 최종 결정에 이들 주파수 분포들에 기초하여 획득된 제2 이상 검출 유닛(203)의 검출 결과를 사용한다. 반면에, 제2 이상 검출 유닛(203)이 카메라들(101A 또는 101B)의 영상이 이상이라고 결정할 때, 포괄적 결정 유닛(204)은 최종 결정에 이들 주파수 분포들에 기초하여 획득된 제2 이상 검출 유닛(203)의 검출 결과를 사용하지 않는다.
카메라들(101A 및 101B)의 영상들의 주파수 분포들 사이의 비교에 의해 획득된 검출 결과가 포괄적 결정 유닛(204)에서 사용되지 않을 때에도, 카메라(101A)의 영상의 주파수 분포와 카메라(101A)에 인접하여 배치된 카메라(101D)의 영상의 주파수 분포 사이의 비교에 의해 획득된 검출 결과는 포괄적 결정 유닛(204)에서 사용될 수 있다는 점에 주목한다. 이것은 카메라(101A)의 비교 영역들 중 하나 내의 특징 점에 대한 광학 흐름들의 총수가 작은 반면, 다른 비교 영역 내의 특징 점에 대한 광학 흐름들의 총수가 더 큰 경우들이 있기 때문이다. 유사하게, 카메라(101B)의 영상의 주파수 분포와 카메라(101B)에 인접하여 배치된 카메라(101C)의 영상의 주파수 분포 사이의 비교에 의해 획득된 검출 결과는 포괄적 결정 유닛(204)에서 사용될 수 있다.
다음에, 본 실시예에 따른 차량 시스템(10)에 의해 수행되는 이상 결정 처리를 위한 동작이 설명된다. 도 7은 제1 실시예에 따른 차량 시스템(10)에 의해 수행되는 이상 결정 처리를 위한 동작의 예를 도시한 플로우차트이다. 도 7에 도시한 플로우차트를 참조하여 차량 시스템(10)에 의해 수행되는 이상 결정 처리를 위한 동작이 이후 설명된다.
단계 100(S100)에서, 카메라들(101A 내지 101D)에 의해 찍힌 동영상들의 영상들이 영상 인식 프로세서(160)에 입력된다. 확장 카메라(106)가 제공될 때, 확장 카메라(106)에 의해 찍힌 동영상들의 영상들이 또한 영상 인식 프로세서(160)에 입력된다는 점에 주목한다.
다음에, 단계 101(S101)에서, 특징 추출 유닛(200)은 각각의 카메라에 의해 찍힌 영상들의 영상 특징들을 추출한다.
다음에, 단계 102(S101)에서, 흐름 계산 유닛(201)은 특징 추출 유닛(200)에 의해 추출된 특징 점들에 대한 광학 흐름들을 계산한다.
다음에, 단계들 103 및 104(S103 및 S104)에서의 처리가 수행된다. 단계들 103 및 104(S103 및 S104)에서의 처리들은 도 7에 도시한 바와 같이 서로 병렬로 수행될 수 있거나, 차례로 수행될 수 있다는 점에 주목한다.
단계 103에서, 제1 이상 검출 유닛(202)은 단계 102에서 획득된 광학 흐름을 사용하여 이상 검출 처리를 수행한다. 또한, 단계 104에서, 제2 이상 검출 유닛(203)은 단계 102에서 획득된 광학 흐름을 사용하여 이상 검출 처리를 수행한다. 즉, 단계들 101 및 102에서의 처리들의 결과는 제1 및 제2 이상 검출 유닛(202 및 203) 둘 다에 의해 공유(즉, 사용)된다.
다음에, 단계 105(S105)에서, 포괄적 결정 유닛(204)은 제1 및 제2 이상 검출 유닛들(202 및 203)의 검출 결과들에 기초하여 영상의 이상의 유무에 관한 최종 결정을 한다. 영상이 포괄적 결정 유닛(204)에 의해 이상인 것으로 결정될 때(단계 106(S106)에서 예), 즉, 고장이 발생한 것으로 결정될 때, 미리 결정된 고장 안전 처리가 수행된다(단계 107(S107)). 예를 들어, 포괄적 결정 유닛(204)이 영상이 이상이라고 최종적으로 결정할 때, 그것은 결정 MCU(111)에 이상의 발생을 통지한다. 이상의 발생에 관한 통지를 수신할 때, 결정 MCU(111)는 경고 디스플레이 디바이스(104)에 경고를 디스플레이하고 인식 MCU(110)를 초기화하는 것과 같은 고장 안전 처리를 수행한다. 영상이 포괄적 결정 유닛(204)에 의해 정상인 것으로 결정될 때(단계 106(S106)에서 아니오), 정상 동작이 수행된다(즉, 계속된다)(단계 108(S108)).
제1 실시예가 위에 설명되었다. 차량 시스템(10)에서, 제1 이상 검출 유닛(202)은 하나의 카메라로부터 취득된 영상들을 사용하여 이상 검출을 수행하고 제2 이상 검출 유닛(203)은 각각의 카메라들로부터 취득된 적어도 2개의 영상들을 비교함으로써 이상 검출을 수행한다. 그러므로, 이상 검출의 정확도가 단지 하나의 유형의 이상 검출이 수행되는 경우에 비해 개선될 수 있다. 또한, 제1 이상 검출 유닛(202)에 대한 영상 특징들과 제2 이상 검출 유닛(203)에 대한 것들 둘 다가 공통 추출 알고리즘을 사용하여 추출된다. 그러므로, 영상 특징들을 추출하는 처리를 효율적으로 수행하는 것이 가능하다. 또한, 차량 시스템(10)에서, 영상의 전체 영역보다는, 영상 내의 부분 영역이 광학 흐름의 시작 점에 대한 영상 특징에 대한 추출 범위로서 사용된다. 그러므로, 영상 특징들을 추출하는 처리를 위한 부하를 감소시키는 것이 가능하다. 그러므로, 차량 시스템(10)은 처리 부하를 감소시키면서, 제1 이상 검출 유닛(202)에 의한 이상 검출과 제2 이상 검출 유닛(203)에 의한 이상 검출 둘 다를 수행하는 것을 가능하게 한다.
또한, 제1 이상 검출 유닛(202)은 하나의 카메라로부터 취득된 영상들로부터 획득된 광학 흐름의 시간적 변화들에 기초하여 영상의 이상을 검출한다. 그러므로, 하나의 카메라로부터 취득된 영상들을 사용하여 이상 검출을 수행하는 것이 가능하다.
또한, 제2 이상 검출 유닛(203)은 각각의 카메라들로부터 취득된 복수의 영상의 중첩된 영역 내의 특징 점에 대한 광학 흐름을 사용하여 영상의 이상을 검출한다. 그러므로, 제1 및 제2 이상 검출 유닛(202 및 203) 둘 다가 광학 흐름을 사용하여 영상의 이상을 검출하기 때문에, 광학 흐름을 계산하는 처리의 결과가 제1 및 제2 이상 검출 유닛들(202 및 203) 둘 다에 의해 공유(즉, 사용)될 수 있다. 즉, 이상 검출에 관련된 처리를 위한 부하를 감소시키는 것이 가능하다.
또한, 제1 이상 검출 유닛(202)은 그것의 추적 범위로서 제2 이상 검출 유닛(203)에서 사용된 추적 범위보다 더 넓은 범위를 사용하여 획득된 광학 흐름을 사용하여 영상의 이상을 검출한다. 제2 이상 검출 유닛(203)에 의한 검출은 복수의 영상의 중첩된 영역들을 비교함으로써 수행된다. 그러므로, 검출을 위해 사용될 수 있는 영역은 제한된다. 이와 반대로, 제1 이상 검출 유닛(202)에 의한 검출에서, 중첩된 영역 외에 더 넓은 영역을 사용하여 이상 검출을 수행하는 것이 가능하다. 추적 영역은 광학 흐름을 신뢰성있게 검출하기 위해서 큰 것이 바람직하다. 본 실시예에서, 위에 설명된 바와 같이, 제1 이상 검출 유닛(202)은 그것의 추적 범위로서 제2 이상 검출 유닛(203)에서 사용된 추적 범위보다 더 넓은 범위를 사용한다. 그러므로, 제1 이상 검출 유닛(202)이 그것의 추적 범위로서 제2 이상 검출 유닛(203)에서 사용된 추적 범위와 동일한 범위를 사용하는 경우에 비해 보다 신뢰성있게 제1 이상 검출 유닛(202)이 광학 흐름을 검출하는 것이 가능하다. 바꾸어 말하면, 제1 및 제2 이상 검출 유닛들(202 및 203)의 추적 범위들이 서로 동일한 경우에 비해 제1 이상 검출 유닛(202)에 의해 수행된 이상 검출의 정확도를 개선시키는 것이 가능하다.
또한, 제2 이상 검출 유닛(203)은 영상들의 하나의 영상 내의 광학 흐름에 대한 주파수 분포를 다른 영상 내의 광학 흐름의 주파수 분포와 비교함으로써 이상을 검출한다. 그러므로, 광학 흐름들을 사용하여 영상들을 비교하는 것이 가능하다.
또한, 포괄적 결정 유닛(204)은 주파수 분포들 내의 샘플들의 수에 기초하여 제2 이상 검출 유닛(203)에 의한 이상 검출의 결과가 최종 결정에 사용되어야 하는지 여부를 결정한다. 그러므로, 주파수 분포 내의 샘플들의 수가 작고 그러므로 주파수 분포의 신뢰성이 낮을 때, 제2 이상 검출 유닛(203)에 의한 이상 검출의 결과가 최종 결정에 반영(즉, 사용)되는 것을 방지하는 것이 가능하다.
또한, 포괄적 결정 유닛(204)은 제1 이상 검출 유닛(202)의 검출 결과에보다 제2 이상 검출 유닛(203)의 검출 결과에 더 높은 우선순위를 주면서 최종 결정을 한다. 그러므로, 적어도 2개의 카메라들의 영상들이 비교되고 그러므로 그 신뢰성이 하나의 카메라를 사용하는 결정 기술에서의 것보다 높은, 제2 이상 검출 유닛(203)에 의한 검출 결과가 우선적으로 사용된다. 그러므로, 보다 더 신뢰성있는 최종 결정을 하는 것이 가능하다.
<제2 실시예>
다음에, 제2 실시예가 설명된다. 제1 실시예에서, 비교 영역은 직사각형 형상을 갖는다. 즉, 제2 이상 검출 유닛(203)은 중첩된 추출 영역 내의 미리 지정된 직사각형 영역(예를 들어, 직사각형 영역 R4A 또는 R4B) 내의 특징 점에 대한 광학 흐름을 사용하여 주파수 분포를 생성한다. 이와 반대로, 비교 영역은 제2 실시예에서 원형 형상을 갖는다. 즉, 제2 실시예에서, 주파수 분포는 중첩된 추출 영역 내의 미리 지정된 원형 영역(예를 들어, 도 8 내의 직사각형 영역 R5A 또는 R5B) 내의 특징 점에 대한 광학 흐름을 사용하여 생성된다. 제2 실시예가 이후 설명된다. 그러나, 제1 실시예의 것들과 유사한 구성들 및 동작들의 설명들은 생략된다.
위에 설명된 바와 같이, 비교될 복수의 카메라의 촬영 방향들이 서로 상이할 때, 이동 방향들이 표준화되는 광학 흐름들의 히스토그램을 생성하는 것이 필요하다. 즉, 각각의 카메라에 대해 미리 결정된 각도만큼 회전하는 처리를 수행하고 다음에 히스토그램을 생성하는 것이 필요하다. 그러므로, 본 실시예에서, 카메라들에 의해 찍힌 영상들에 대한 비교 영역은 그것의 중심 좌표들(x, y), 반경 r, 및 회전 각도 θ에 의해 특정된다. 회전 각도 θ는 이동 방향을 표준화하는 각도이고 그것의 촬영 방향에 기초하여 각각의 카메라에 대해 미리 결정되는 각도라는 점에 주목한다.
도 8은 제2 실시예에 따른 비교 영역을 도시한 개략도이다. 도 8에 도시한 바와 같이, 제2 실시예에 따른 제2 이상 검출 유닛(203)은 카메라(101A)에 의해 찍힌 영상들에 대해 흐름 계산 유닛(201)에 의해 계산된 특징 점들에 대한 광학 흐름들 중에서, 중심 좌표들(xA , yA) 및 반경 rA에 의해 결정된 범위를 각도 θA만큼 회전함으로써 획득된 원형 영역 R5A 내의 특징 점들에 대한 광학 흐름들을, 비교될 광학 흐름들로서 사용하고, 그렇게 함으로써, 광학 흐름들의 이동 방향들이 각도 θA만큼 회전되는 주파수 분포를 생성한다. 유사하게, 제2 실시예에 따른 제2 이상 검출 유닛(203)은 카메라(101B)에 의해 찍힌 영상들에 대해 흐름 계산 유닛(201)에 의해 계산된 특징 점들에 대한 광학 흐름들 중에서, 중심 좌표들(xB , yB) 및 반경 rB에 의해 결정된 범위를 각도 θB만큼 회전함으로써 획득된 원형 영역 R5B 내의 특징 점들에 대한 광학 흐름들을, 비교될 광학 흐름들로서 사용하고, 그렇게 함으로써, 광학 흐름들의 이동 방향들이 각도 θB만큼 회전되는 주파수 분포를 생성한다. 다음에, 제2 이상 검출 유닛(203)은 이들 주파수 분포를 비교함으로써 영상의 이상을 검출한다. 본 실시예에서, 비교 영역이 원형 형상을 갖기 때문에, 비교 영역의 범위는 비교 영역이 각도 θA 또는 θB만큼 회전될 때에도 변화하지 않는다는 점에 주목한다.
제1 실시예에서, 비교 영역은 직사각형 형상을 갖는다. 이 경우에, 예를 들어, 카메라에 의해 찍힌 영상에 대한 비교 영역이 그것의 상좌 모서리의 좌표들(x, y), 직사각형의 폭 w, 직사각형의 높이 h, 및 회전 각도 θ에 의해 특정된다고 가정한다. 대안적으로, 비교 영역이 그것의 상좌 모서리의 좌표들(x0, y0), 하우 모서리의 좌표들(x1, y1), 및 회전 각도 θ에 의해 특정된다고 가정한다. 이 경우에, 회전 각도 θ만큼 좌표들에 의해 특정된 직사각형 영역을 회전함으로써 획득된 영역은 좌표들에 의해 특정된 직사각형 범위와 상이한 범위로 된다. 그러므로, 좌표들에 기초하여 정해진 범위는 실제로 비교된 범위와 일치하지 않는다. 결과적으로, 카메라(101A)의 비교 영역이 카메라(101B)의 비교 영역에 대응하지 않을 가능성이 있다. 이와 반대로, 본 실시예에서, 비교 영역은 원형 형상을 갖고 그것의 범위는 그것이 회전될 때에도 변화하지 않는다. 그러므로, 카메라(101A)의 비교 영역이 카메라(101B)의 비교 영역에 대응하게 하고 그럼으로써 이상을 보다 정확하게 검출하는 것이 가능하다.
<제3 실시예>
다음에, 제3 실시예가 설명된다. 제1 및 제2 실시예들에서, 이상이 단지 영상들로부터 획득된 정보에 기초하여 결정된다. 이와 반대로, 본 실시예에서, 차량의 이동에 관한 정보가 카메라로부터 취득된 영상의 이상의 결정에 고려된다. 제3 실시예가 이후 설명된다. 그러나, 제1 및 제2 실시예들의 것들과 유사한 구성들 및 동작들의 설명들은 생략된다.
도 9는 제3 실시예에 따른 차량 시스템(11)의 하드웨어 구성의 예를 도시한 블록도이다. 차량 시스템(11)은 차량 시스템(11)이 GNSS 디바이스(107) 및 위치 파악 MCU(115)를 추가로 포함한다는 점에서 도 3에 도시한 차량 시스템(10)과 상이하다.
GNSS 디바이스(107)는 GNSS(전지구 내비게이션 위성 시스템) 신호에 기초하여 차량(100)의 위치 정보를 취득하는 단말기이다. 위치 파악 MCU(115)는 ECU(105) 내에 제공된다. 위치 파악 MCU(115)는 버스(126)를 통해 GNSS 디바이스(107)에 접속되고 GNSS 디바이스(107)에 의해 취득된 위치 정보에 기초하여 차량(100)의 이동 방향을 표시하는 방향 정보 및 차량(100)의 이동 속도를 표시하는 속도 정보를 계산한다. 또한, 위치 파악 MCU(115)는 차량 내 네트워크(125)에 접속되고 계산 결과를 인식 MCU(110)에 출력한다.
도 10은 차량 시스템(11)에서 수행되는 이상 검출 처리에 관련된 기능적 구성의 예를 도시한 블록도이다. 도 10에 도시한 바와 같이, 차량 시스템(11)은 이상 검출 장치의 구성으로서 특징 추출 유닛(200), 흐름 계산 유닛(201), 정보 취득 유닛(205), 제1 이상 검출 유닛(202), 제2 이상 검출 유닛(203), 제3 이상 검출 유닛(206), 및 포괄적 결정 유닛(204)을 포함한다. 즉, 차량 시스템(11)의 구성은 정보 취득 유닛(205) 및 제3 이상 검출 유닛(206)이 차량 시스템(11)에 추가된다는 점에서 도 4에 도시한 것과 상이하다. 제1 및 제2 이상 검출 유닛들(202 및 203), 및 포괄적 결정 유닛(204)과 유사하게, 정보 취득 유닛(205) 및 제3 이상 검출 유닛(206)은 CPU(170)에 의해 구현된다.
정보 취득 유닛(205)은 차량(100)의 이동 방향을 표시하는 방향 정보 및 차량(100)의 이동 속도를 표시하는 속도 정보를 취득한다. 구체적으로, 정보 취득 유닛(205)은 위치 파악 MCU(115)에 의해 계산된 방향 정보 및 속도 정보를 취득한다. 그러나, 정보 소스는 위에 설명된 예로 제한되지 않는다. 즉, 정보 취득 유닛(205)은 기타 디바이스들로부터 차량의 방향 정보 및 속도 정보를 취득할 수 있다. 예를 들어, 정보 취득 유닛(205)은 스티어링 휠(103)에 의해 측정된 조종 각도에 기초하여 제어 MCU(112)에 의해 계산된 차량(100)의 이동 방향을 취득할 수 있고, 차량 속도 센서(도시 안됨)로부터 출력된 속도 정보를 취득할 수 있다.
차량의 이동 속도와 이동 방향, 및 카메라의 촬영 방향이 획득될 때, 이 카메라에 의해 찍힌 영상 내에 포함된 특징 점의 이동 벡터가 계산될 수 있다. 그러므로, 제3 이상 검출 유닛(206)은 정보 취득 유닛(205)에 의해 취득된 정보 및 카메라의 미리 결정된 촬영 방향에 기초하여 이 카메라의 영상에 대한 광학 흐름을 추정한다. 다음에, 제3 이상 검출 유닛(206)은 추정된 광학 흐름을 흐름 계산 유닛(201)에 의해 계산된 카메라의 영상에 대한 실제 광학 흐름과 비교함으로써 이 카메라의 영상의 이상을 검출한다. 제3 이상 검출 유닛(206)은 각각의 카메라에 대해 영상의 이상을 검출하는 처리를 수행한다.
제3 이상 검출 유닛(206)은 특징 추출 범위로부터 추출된 특징 점에 대한 광학 흐름에 대한 각각의 방향에 대한 샘플들의 수(주파수)를 표시하는 주파수 분포(히스토그램)와 정보 취득 유닛(205)으로부터 취득된 정보로부터 추정된 광학 흐름에 대한 각각의 방향에 대한 샘플들의 수(주파수)를 표시하는 주파수 분포(히스토그램)를 비교함으로써 영상의 이상을 검출한다. 구체적으로, 제3 이상 검출 유닛(206)은 양 주파수 분포의 요소들 간의 상호 상관을 계산하고 양 주파수 분포가 서로 유사한지 여부를 결정한다. 양 주파수 분포가 서로 유사할 때, 제3 이상 검출 유닛(206)은 비교될 영상이 정상이라고 결정한다. 양 주파수 분포가 서로 유사하지 않을 때, 제3 이상 검출 유닛(206)은 비교될 영상이 이상이라고 결정한다. 예를 들어, 주어진 카메라에 의해 찍힌 영상 내에 포함된 특징 점이 차량(100)이 이동할 때에도 시간에 따라 이동하지 않을 때, 제3 이상 검출 유닛(206)은 이 카메라에 의해 찍힌 영상에서 이상이 발생하였다고 검출할 수 있다.
제2 이상 검출 유닛(203)에 의한 이상 검출에서, 검출된 이상이 그 안에 발생한 비교될 영상들 중 어느 것을 특정하는 것은 불가능하다는 점에 주목한다. 이와 반대로, 제3 이상 검출 유닛(206)에 의한 이상 검출에서, 제1 이상 검출 유닛(202)의 경우에서와 같이 이상이 그 안에 발생한 카메라들의 영상들 중 어느 것을 특정하는 것이 가능하다.
본 실시예에 따른 포괄적 결정 유닛(204)은 제1, 제2 및 제3 이상 검출 유닛들(202, 203 및 206)의 검출 결과들에 기초하여 영상의 이상의 유무에 관한 최종 결정을 한다. 그러므로, 제1, 제2 및 제3 이상 검출 유닛들(202, 203 및 206)에 의해 이루어진 이상의 유무에 관한 결정들이 최종 결정 전에 이루어지는 임시(또는 일시적) 결정들인 것으로 고려될 수 있다.
포괄적 결정 유닛(204)은 미리 결정된 최종 결정 규칙에 따라 제1, 제2 및 제3 이상 검출 유닛들(202, 203 및 206)의 검출 결과들에 기초하여 결정을 할 수 있다. 어떤 임의의 규칙이 최종 결정 규칙으로서 사용될 수 있다.
위에 설명된 바와 같이, 제2 이상 검출 유닛(203)에 의한 결정 결과에 관해, 주파수 분포 내의 샘플들의 수가 미리 결정된 수보다 적을 때, 신뢰성있는 검출 결과가 제2 이상 검출 유닛(203)으로부터 획득될 수 없다. 또한, 제1 이상 검출 유닛(202)에 의해 결정에서, 영상 내의 특징 점이 이동하지 않는다면 올바른 결정이 획득될 수 없다. 그러므로, 예를 들어, 포괄적 결정 유닛(204)은 신뢰성있는 결정 결과가 제2 이상 검출 유닛(203)으로부터 획득될 수 없고 결정 결과가 또한 제1 이상 검출 유닛(202)으로부터 획득될 수 없을 때 최종 결정으로서 제3 이상 검출 유닛(206)에 의해 이루어진 결정을 사용할 수 있다.
다음에, 본 실시예에 따른 차량 시스템(11)에 의해 수행되는 이상 결정 처리를 위한 동작이 설명된다. 도 11은 제3 실시예에 따른 차량 시스템(11)에 의해 수행되는 이상 결정 처리를 위한 동작의 예를 도시한 플로우차트이다. 도 11에 도시한 플로우차트가 도 7에 도시한 플로우차트에 단계 150(S150) 및 단계 151(S151)을 추가함으로써 획득된다. 또한, 도 11에 도시한 플로우차트에서, 도 7의 플로우차트에 도시한 단계 105(S105)가 단계 152(S152)로 대체된다. 도 11에 도시한 다른 단계들은 도 7의 것들과 유사하다. 도 7에 도시한 플로우차트와의 상이점들이 이후 설명되고, 중복되는 설명들은 생략된다.
차량 시스템(11)에 의해 수행되는 이상 결정 처리를 위한 동작에서, 정보 취득 유닛(205)은 단계 150(S150)에서 차량(100)의 이동 방향을 표시하는 방향 정보 및 차량(100)의 이동 속도를 표시하는 속도 정보를 취득한다. 도 11에 도시한 예에서, 단계 150은 단계 102 이후에 수행된다는 점에 주목한다. 그러나, 단계 150은 단계 151에서 제3 이상 검출 유닛(206)에 의해 수행된 처리 전의 임의의 타이밍에서 수행될 수 있다.
단계 150 이후에, 제3 이상 검출 유닛(206)은 단계 150에서 획득된 정보로부터 광학 흐름을 추정하고 단계 151(S151)에서 추정된 광학 흐름을 단계 102에서 계산된 광학 흐름과 비교함으로써 이상을 검출한다. 제3 이상 검출 유닛(206)은 각각의 카메라에 대해 이상 검출 처리를 수행한다는 점에 주목한다.
단계들 103, 104 및 150에서의 처리들이 도 11에 도시한 바와 같이 서로 병렬로 수행될 수 있거나, 차례로 수행될 수 있다는 점에 주목한다.
다음에, 단계 152(S152)에서, 포괄적 결정 유닛(204)은 제1, 제2 및 제3 이상 검출 유닛들(202, 203 및 206)의 검출 결과들에 기초하여 영상의 이상의 유무에 관한 최종 결정을 한다.
제3 실시예가 위에 설명되었다. 본 실시예에 따른 차량 시스템(11)은 제1 및 제2 이상 검출 유닛(202 및 203) 외에 제3 이상 검출 유닛(206)을 포함한다. 그러므로, 영상의 이상을 보다 더 신뢰성있게 검출하는 것이 가능하다.
본원의 발명자들에 의해 만들어진 본 개시내용이 실시예들에 기초하여 구체적인 방식으로 위에 설명되었다. 그러나, 본 개시내용은 위에 설명된 실시예들로 제한되지 않고, 물론, 다양한 수정들이 본 개시내용의 취지 및 범위에서 벗어나지 않고서 이루어질 수 있다. 예를 들어, 도 1, 4 및 10에 도시한 각각의 소자는 하드웨어 회로에 의해 부분적으로 또는 전체적으로 구현될 수 있거나, 소프트웨어에 의해 구현될 수 있다. 소자가 소프트웨어에 의해 구현될 때, 예를 들어, CPU와 같은 프로세서가 메모리 내에 로드된 프로그램을 실행하게 함으로써 구현될 수 있다.
또한, 프로그램은 임의 유형의 비일시적 컴퓨터 판독가능 매체를 사용하여 컴퓨터에 저장 및 제공될 수 있다. 비일시적 컴퓨터 판독가능 매체는 임의 유형의 실재적인 저장 매체를 포함한다. 비일시적 컴퓨터 판독가능 매체의 예들은 (플로피 디스크들, 자기 테이프들, 하드 디스크 드라이브들 등과 같은) 자기 저장 매체, 광자기 저장 매체(예를 들어, 자기-광 디스크들), CD-ROM(컴팩트 디스크 리드 온리 메모리), CD-R(컴팩트 디스크 기록가능), CD-R/W(컴팩트 디스크 재기입가능) 및 (마스크 ROM, PROM(프로그래머블 ROM), EPROM(소거가능한 PROM), 플래시 ROM, RAM(랜덤 액세스 메모리) 등과 같은) 반도체 메모리들을 포함한다. 프로그램은 임의 유형의 일시적 컴퓨터 판독가능 매체를 사용하여 컴퓨터에 제공될 수 있다. 일시적 컴퓨터 판독가능 매체의 예들은 전기 신호들, 광학 신호들, 및 전자기 파들을 포함한다. 일시적 컴퓨터 판독가능 매체는 유선 통신 선(예를 들어, 전기 배선들, 및 광 섬유들) 또는 무선 통신 선을 통해 프로그램을 컴퓨터에 제공할 수 있다.
제1 내지 제3 실시예들이 본 기술 분야의 통상의 기술자에 의해 바람직한 것으로 조합될 수 있다.
본 개시내용이 몇가지 실시예들과 관련하여 설명되었지만, 본 기술 분야의 통상의 기술자들은 본 개시내용이 첨부된 청구범위의 취지 및 범위 내에서 다양한 수정들로 실시될 수 있고 본 개시내용은 위에 설명된 예들로 제한되지 않는다는 것을 인식할 것이다.
또한, 청구범위의 범위는 위에 설명된 실시예들에 의해 제한되지 않는다.
또한, 출원인의 의도는 진행 중에 나중에 보정되더라도, 모든 청구범위 요소들의 등가물들을 포함하는 것이라는 점에 주목한다.

Claims (10)

  1. 이상 검출 장치로서,
    미리 결정된 추출 알고리즘에 따라 제1 카메라에 의해 찍힌 제1 영상 내의 특징 점 및 특징 값 및 제2 카메라에 의해 찍힌 제2 영상 내의 특징 점 및 특징 값을 추출하도록 구성된 특징 추출 유닛 - 상기 제2 카메라의 촬영 범위는 상기 제1 카메라의 촬영 범위와 부분적으로 중첩함 -;
    상기 특징 점의 상기 특징 값에 기초하여 상기 특징 추출 유닛에 의해 추출된 상기 특징 점에 대한 광학 흐름을 계산하도록 구성된 흐름 계산 유닛;
    상기 흐름 계산 유닛에 의해 계산된 상기 제1 영상에 대한 상기 광학 흐름에 기초하여 상기 제1 영상의 이상을 검출하고 상기 흐름 계산 유닛에 의해 계산된 상기 제2 영상에 대한 상기 광학 흐름에 기초하여 상기 제2 영상의 이상을 검출하도록 구성된 제1 이상 검출 유닛; 및
    제1 중첩된 영역 내의 상기 특징 점에 대한 제1 인덱스 값과 제2 중첩된 영역 내의 상기 특징 점에 대한 제2 인덱스 값 사이의 비교의 결과에 기초하여 상기 제1 또는 제2 영상의 이상을 검출하도록 구성된 제2 이상 검출 유닛 - 상기 제1 중첩된 영역은 상기 제2 영상과 중첩하는 상기 제1 영상 내의 영역이고, 상기 제2 중첩된 영역은 상기 제1 영상과 중첩하는 상기 제2 영상 내의 영역임 - 을 포함하고,
    상기 특징 추출 유닛에 의해 추출된 상기 특징 점 및 상기 특징 값에 대한 추출 범위는 상기 제1 영상 내의 미리 결정된 부분 영역인 제1 부분 영역, 상기 제2 영상 내의 미리 결정된 부분 영역인 제2 부분 영역, 및 상기 특징 점의 목적지들로서 예측된 상기 제1 및 제2 영상들 내의 장소들에 가까운 영역들로 구성되고,
    상기 제1 이상 검출 유닛은 상기 제1 부분 영역 내의 상기 특징 점에 대한 상기 광학 흐름에 기초하여 상기 제1 영상의 이상을 검출하고 상기 제2 부분 영역 내의 상기 특징 점에 대한 상기 광학 흐름에 기초하여 제2 영상의 이상을 검출하고,
    상기 제2 이상 검출 유닛은 상기 제1 중첩된 영역에서 정해진 제1 중첩된 추출 영역 내의 상기 특징 점 및 상기 제2 중첩된 영역에서 정해진 상기 제2 중첩된 추출 영역 내의 상기 특징 점을 사용하여 이상을 검출하고,
    상기 제1 중첩된 추출 영역은 상기 제2 부분 영역에 대응하는 상기 제1 부분 영역 내의 영역이고, 상기 제2 중첩된 추출 영역은 상기 제1 부분 영역에 대응하는 상기 제2 부분 영역 내의 영역이고,
    상기 미리 결정된 추출 알고리즘은 이상이 상기 제1 이상 검출 유닛에 의해 검출될 때와 이상이 상기 제2 이상 검출 유닛에 의해 검출될 때 공통으로 사용되는
    이상 검출 장치.
  2. 제1항에 있어서,
    상기 제1 인덱스 값은 상기 제1 중첩된 추출 영역 내의 상기 특징 점에 대한 상기 광학 흐름이고,
    상기 제2 인덱스 값은 상기 제2 중첩된 추출 영역 내의 상기 특징 점에 대한 상기 광학 흐름인 이상 검출 장치.
  3. 제2항에 있어서, 상기 제2 이상 검출 유닛은 상기 제1 중첩된 추출 영역에서 지정된 미리 결정된 원형 영역 내의 상기 특징 점에 대한 광학 흐름을 상기 제2 중첩된 영역 및 상기 제2 부분 영역에서 지정된 미리 결정된 원형 영역 내의 상기 특징 점에 대한 광학 흐름과 비교하는 이상 검출 장치.
  4. 제2항에 있어서,
    상기 제2 이상 검출 유닛은 그 광학 흐름에 대한 추적 범위로서 상기 제1 중첩된 영역 내의 미리 결정된 영역을 사용하여 획득된 광학 흐름 및 그 광학 흐름에 대한 추적 범위로서 상기 제2 중첩된 영역 내의 미리 결정된 영역을 사용하여 획득된 광학 흐름을 사용하고,
    상기 제1 이상 검출 유닛은 그것의 추적 범위로서 상기 제2 이상 검출 유닛에서 사용된 상기 추적 범위보다 더 넓은 범위를 사용하여 획득된 광학 흐름을 사용하여 상기 제1 및 제2 영상들의 이상을 검출하는 이상 검출 장치.
  5. 제2항에 있어서, 상기 제2 이상 검출 유닛은 제1 주파수 분포와 제2 주파수 분포를 비교함으로써 이상을 검출하고, 상기 제1 주파수 분포는 상기 제1 중첩된 추출 영역 내의 상기 특징 점에 대한 상기 광학 흐름에 대한 각각의 방향에 대한 샘플들의 수들에 대한 주파수 분포이고, 상기 제2 주파수 분포는 상기 제2 중첩된 추출 영역 내의 상기 특징 점에 대한 상기 광학 흐름에 대한 각각의 방향에 대한 샘플들의 수들에 대한 주파수 분포인 이상 검출 장치.
  6. 제5항에 있어서, 상기 제1 및 제2 이상 검출 유닛들의 검출 결과들에 기초하여 상기 제1 또는 제2 영상의 이상의 유무에 관한 최종 결정을 하도록 구성된 포괄적 결정 유닛을 추가로 포함하고,
    상기 포괄적 결정 유닛은 상기 제1 주파수 분포 내의 샘플들의 수 및 상기 제2 주파수 분포 내의 샘플들의 수에 기초하여 상기 제2 이상 검출 유닛의 검출 결과가 상기 최종 결정에 사용되어야 하는지 여부를 결정하는 이상 검출 장치.
  7. 제1항에 있어서, 상기 제1 및 제2 이상 검출 유닛들의 검출 결과들에 기초하여 상기 제1 또는 제2 영상의 이상의 유무에 관한 최종 결정을 하도록 구성된 포괄적 결정 유닛을 추가로 포함하고,
    상기 포괄적 결정 유닛은 상기 제1 이상 검출 유닛의 상기 검출 결과에보다 상기 제2 이상 검출 유닛의 상기 검출 결과에 더 높은 우선순위를 주면서 상기 최종 결정을 하는 이상 검출 장치.
  8. 제1항에 있어서, 상기 제1 이상 검출 유닛은 상기 제1 영상에 대한 상기 광학 흐름의 이동 방향 및 이동량의 시간적 변화들이 미리 결정된 범위들 내에 있는지 여부에 기초하여 상기 제1 영상의 이상을 검출하고, 상기 제2 영상에 대한 상기 광학 흐름의 이동 방향 및 이동량의 시간적 변화들이 미리 결정된 범위들 내에 있는지 여부에 기초하여 상기 제2 영상의 이상을 검출하는 이상 검출 장치.
  9. 차량 시스템으로서,
    차량 내에 배치되고, 상기 차량의 주위를 촬영하도록 구성된 제1 카메라;
    촬영 범위가 상기 제1 카메라의 촬영 범위와 부분적으로 중첩하도록 상기 차량에 배치되고, 상기 차량의 주위를 촬영하도록 구성된 제2 카메라;
    미리 결정된 추출 알고리즘에 따라 제1 카메라에 의해 찍힌 제1 영상 내의 특징 점 및 특징 값 및 제2 카메라에 의해 찍힌 제2 영상 내의 특징 점 및 특징 값을 추출하도록 구성된 특징 추출 유닛;
    상기 특징 점의 상기 특징 값에 기초하여 상기 특징 추출 유닛에 의해 추출된 상기 특징 점에 대한 광학 흐름을 계산하도록 구성된 흐름 계산 유닛;
    상기 흐름 계산 유닛에 의해 계산된 상기 제1 영상에 대한 상기 광학 흐름에 기초하여 상기 제1 영상의 이상을 검출하고 상기 흐름 계산 유닛에 의해 계산된 상기 제2 영상에 대한 상기 광학 흐름에 기초하여 상기 제2 영상의 이상을 검출하도록 구성된 제1 이상 검출 유닛; 및
    제1 중첩된 영역 내의 상기 특징 점에 대한 제1 인덱스 값과 제2 중첩된 영역 내의 상기 특징 점에 대한 제2 인덱스 값 사이의 비교의 결과에 기초하여 상기 제1 또는 제2 영상의 이상을 검출하도록 구성된 제2 이상 검출 유닛 - 상기 제1 중첩된 영역은 상기 제2 영상과 중첩하는 상기 제1 영상 내의 영역이고, 상기 제2 중첩된 영역은 상기 제1 영상과 중첩하는 상기 제2 영상 내의 영역임 - 을 포함하고,
    상기 특징 추출 유닛에 의해 추출된 상기 특징 점 및 상기 특징 값에 대한 추출 범위는 상기 제1 영상 내의 미리 결정된 부분 영역인 제1 부분 영역, 상기 제2 영상 내의 미리 결정된 부분 영역인 제2 부분 영역, 및 상기 특징 점의 목적지들로서 예측된 상기 제1 및 제2 영상들 내의 장소들에 가까운 영역들로 구성되고,
    상기 제1 이상 검출 유닛은 상기 제1 부분 영역 내의 상기 특징 점에 대한 상기 광학 흐름에 기초하여 상기 제1 영상의 이상을 검출하고 상기 제2 부분 영역 내의 상기 특징 점에 대한 상기 광학 흐름에 기초하여 제2 영상의 이상을 검출하고,
    상기 제2 이상 검출 유닛은 상기 제1 중첩된 영역에서 정해진 제1 중첩된 추출 영역 내의 상기 특징 점 및 상기 제2 중첩된 영역에서 정해진 제2 중첩된 추출 영역 내의 상기 특징 점을 사용하여 이상을 검출하고,
    상기 제1 중첩된 추출 영역은 상기 제2 부분 영역에 대응하는 상기 제1 부분 영역 내의 영역이고, 상기 제2 중첩된 추출 영역은 상기 제1 부분 영역에 대응하는 상기 제2 부분 영역 내의 영역이고,
    상기 미리 결정된 추출 알고리즘은 이상이 상기 제1 이상 검출 유닛에 의해 검출될 때와 이상이 상기 제2 이상 검출 유닛에 의해 검출될 때 공통으로 사용되는
    차량 시스템.
  10. 제9항에 있어서,
    상기 차량의 이동 방향을 표시하는 방향 정보 및 상기 차량의 이동 속도를 표시하는 속도 정보를 취득하도록 구성된 정보 취득 유닛; 및
    상기 정보 취득 유닛에 의해 취득된 정보 및 상기 제1 카메라의 촬영 방향으로부터 추정된 상기 제1 영상에 대한 광학 흐름을 상기 흐름 계산 유닛에 의해 계산된 상기 제1 영상에 대한 광학 흐름과 비교함으로써 상기 제1 영상의 이상을 검출하고, 상기 정보 취득 유닛에 의해 취득된 상기 정보 및 상기 제2 카메라의 촬영 방향으로부터 추정된 상기 제2 영상에 대한 광학 흐름을 상기 흐름 계산 유닛에 의해 계산된 상기 제2 영상에 대한 광학 흐름과 비교함으로써 상기 제2 영상의 이상을 검출하도록 구성된 제3 검출 유닛을 추가로 포함하는 차량 시스템.
KR1020180066726A 2017-06-15 2018-06-11 이상 검출 장치 및 차량 시스템 KR20180136895A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2017-117746 2017-06-15
JP2017117746A JP6751691B2 (ja) 2017-06-15 2017-06-15 異常検出装置及び車両システム

Publications (1)

Publication Number Publication Date
KR20180136895A true KR20180136895A (ko) 2018-12-26

Family

ID=62684601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180066726A KR20180136895A (ko) 2017-06-15 2018-06-11 이상 검출 장치 및 차량 시스템

Country Status (5)

Country Link
US (2) US10679102B2 (ko)
EP (1) EP3416100A3 (ko)
JP (1) JP6751691B2 (ko)
KR (1) KR20180136895A (ko)
CN (1) CN109151452B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム
JP2019191806A (ja) * 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法
DE102018209898A1 (de) * 2018-06-19 2019-12-19 Robert Bosch Gmbh Verfahren zur Bestimmung von zueinander korrespondierenden Bildpunkten, SoC zur Durchführung des Verfahrens, Kamerasystem mit dem SoC, Steuergerät und Fahrzeug
DE102018115334B3 (de) * 2018-06-26 2019-05-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Kalibrieren einer elektromagnetische Strahlung abstrahlenden Vorrichtung mittels einer Sensoreinheit
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7036057B2 (ja) 2019-02-14 2022-03-15 日本電信電話株式会社 信号転送装置、信号転送方法、信号転送制御装置、信号転送制御方法および信号転送プログラム
JP7400222B2 (ja) * 2019-06-14 2023-12-19 マツダ株式会社 外部環境認識装置
JP7363118B2 (ja) * 2019-06-14 2023-10-18 マツダ株式会社 外部環境認識装置
JP7298323B2 (ja) * 2019-06-14 2023-06-27 マツダ株式会社 外部環境認識装置
CN114067554B (zh) * 2020-08-05 2023-06-20 北京万集科技股份有限公司 路侧终端异常检测方法、装置、计算机设备和存储介质
CN117459688B (zh) * 2023-12-26 2024-05-03 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262375A (ja) * 1994-03-25 1995-10-13 Toshiba Corp 移動体検出装置
JP3516127B2 (ja) 1997-12-09 2004-04-05 オムロン株式会社 画像処理方法およびその装置
JP2001211466A (ja) * 2000-01-27 2001-08-03 Toshiba Corp 自己診断機能を有する画像処理システム
JP2002308030A (ja) * 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置
US20030103663A1 (en) * 2001-11-23 2003-06-05 University Of Chicago Computerized scheme for distinguishing between benign and malignant nodules in thoracic computed tomography scans by use of similar images
JP4346275B2 (ja) * 2002-02-28 2009-10-21 株式会社東芝 映像診断装置および車載型映像監視装置
JP4130435B2 (ja) * 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
US7689016B2 (en) * 2005-05-27 2010-03-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
JP5072693B2 (ja) * 2007-04-11 2012-11-14 キヤノン株式会社 パターン識別装置及びその制御方法、異常パターン検出装置及びその制御方法、プログラム、記憶媒体
WO2011123758A1 (en) * 2010-04-03 2011-10-06 Centeye, Inc. Vision based hover in place
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法
JP6119097B2 (ja) * 2011-12-28 2017-04-26 富士通株式会社 路面調査プログラム及び路面調査装置
JP5776545B2 (ja) * 2011-12-28 2015-09-09 富士通株式会社 路面調査プログラム及び路面調査装置
CN105100688B (zh) * 2014-05-12 2019-08-20 索尼公司 图像处理方法、图像处理装置和监视系统
JP6183305B2 (ja) * 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
US9525865B2 (en) * 2014-10-23 2016-12-20 Texas Instruments Incorporated Fault detection and method of detecting faults in digital imaging systems
CN106557765A (zh) * 2015-09-29 2017-04-05 欧姆龙株式会社 注意检测装置以及注意检测方法
US10346982B2 (en) * 2016-08-22 2019-07-09 Koios Medical, Inc. Method and system of computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム

Also Published As

Publication number Publication date
US20200285905A1 (en) 2020-09-10
CN109151452B (zh) 2021-10-29
US11562175B2 (en) 2023-01-24
JP6751691B2 (ja) 2020-09-09
CN109151452A (zh) 2019-01-04
JP2019004329A (ja) 2019-01-10
US20180365524A1 (en) 2018-12-20
EP3416100A2 (en) 2018-12-19
US10679102B2 (en) 2020-06-09
EP3416100A3 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
KR20180136895A (ko) 이상 검출 장치 및 차량 시스템
EP3420530B1 (en) A device and method for determining a pose of a camera
US10275661B2 (en) Image processing apparatus, image processing method, and computer program product
US9547795B2 (en) Image processing method for detecting objects using relative motion
US10853950B2 (en) Moving object detection apparatus, moving object detection method and program
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
JP2019124683A (ja) オブジェクト速度推定方法と装置及び画像処理機器
EP2756482B1 (en) Resolving homography decomposition ambiguity based on orientation sensors
US20140037212A1 (en) Image processing method and device
US11210773B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
US10200607B2 (en) Image capturing apparatus, method of controlling the same, monitoring camera system, and storage medium
KR101920281B1 (ko) 차량 내에서 입력 영상 데이터로부터 객체를 검출하는 장치 및 방법
JP6035095B2 (ja) 車両の衝突判定装置
JP4848097B2 (ja) 移動体の監視方法および装置
JPWO2017094140A1 (ja) 物体検出装置及び物体検出方法
JP6799325B2 (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
KR101828710B1 (ko) 객체 가려짐 검출 장치 및 그 방법
US11756215B2 (en) Image processing device, image processing method, and image processing program
JP6394216B2 (ja) 動き検出方法、動き検出装置、及び動き検出プログラム
KR101554811B1 (ko) 영상의 국부 영역에 대한 복사 및 이동 변조 탐지 방법 및 시스템
US20230196773A1 (en) Object detection device, object detection method, and computer-readable storage medium
JP2017016425A (ja) 画像処理装置、画像処理方法及び評価方法
WO2022163216A1 (ja) 移動体、情報処理方法およびプログラム
CN116740149A (zh) 摄像头跟踪方法、装置及存储介质