KR20160059934A - 동화상 감시 시스템, 장치 및 방법 - Google Patents

동화상 감시 시스템, 장치 및 방법 Download PDF

Info

Publication number
KR20160059934A
KR20160059934A KR1020150057137A KR20150057137A KR20160059934A KR 20160059934 A KR20160059934 A KR 20160059934A KR 1020150057137 A KR1020150057137 A KR 1020150057137A KR 20150057137 A KR20150057137 A KR 20150057137A KR 20160059934 A KR20160059934 A KR 20160059934A
Authority
KR
South Korea
Prior art keywords
image
frame
image block
line
module
Prior art date
Application number
KR1020150057137A
Other languages
English (en)
Inventor
첸-추 슈
챠오-룽 루오
청-리앙 첸
Original Assignee
엠스타 세미콘덕터인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠스타 세미콘덕터인크 filed Critical 엠스타 세미콘덕터인크
Publication of KR20160059934A publication Critical patent/KR20160059934A/ko

Links

Images

Classifications

    • G06K9/00791—
    • G06K9/00798—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 화상 취득 모듈과, 특징 판독 모듈과, 프레임 분석 모듈과, 연산 모듈을 포함하는 동화상 감시 시스템을 제공한다. 동화상 감시 방법은 이 시스템의 동작 방법이다. 화상 취득 모듈은, 화상 프레임의 스트림을 특징 판독 모듈에 출력하고, 특징 기하학적 요소의 생성에 제공한다. 프레임 분석 모듈은, 특징 기하학적 요소에 의해 보조선을 결정하고, 또한 보조선 및 상기 특징 기하학적 요소 중 적어도 하나에 의해 해당시점의 화상 프레임을 제1 화상 블록 및 제2 화상 블록으로 분할한다. 연산 모듈은, 제1 화상 블록 및 제2 화상 블록에 대하여 각각 다른 제1 처리 및 제2 처리를 행한다.

Description

동화상 감시 시스템, 장치 및 방법{Image Monitoring system, device, and method}
본 발명은 동화상 감시 시스템에 관한 것으로, 특히 교통 수송 수단에 적용하는 동화상 감시 시스템에 관한 것이다.
과학기술의 진보를 따라, 각종 주행 안전 지원 기술도 급속히 발전하고 있다. 특히 화상 분석을 이용하여 차량 밖의 상황을 감시하는 기술은, 최근에 점점 주목받고 있다. 예를 들면 차선 일탈 경보 및 전방 차량간 거리 경보 등은, 모두 이러한 기술에 속한다.
그러나, 화상기술의 향상을 따라, 고해상도 화상의 응용도 점점 보급되고 있다. 주행안전지원에 관한 시스템 및 장치에 응용될 경우, 화상의 고해상도에 따라, 처리할 필요가 있는 데이터가 대폭 증가한다. 한정된 시간 내에 고해상도 화상의 처리를 완성하기 위하여, 항상 보다 빠른 프로세서를 사용할 필요가 있다. 그러나, 고속 프로세서는 시스템 전체의 전력소모량을 증가시키고, 결과적으로 비용이 상승한다.
한편, 보다 효율적인 알고리즘을 채용하여 시스템의 처리 속도를 향상하는 방법도 고려할 수 있다. 그러나, 알고리즘을 변경함에 있어서는, 알고리즘의 합리성 및 시스템의 신뢰성을 고려할 필요도 있다. 이 고해상도 화상에 의한 문제에 대해서, 더욱더 연구와 개선이 필요하다고 생각된다.
이에 감안하여, 본 발명의 목적은, 연산 처리의 속도를 향상시킬 수 있는 동화상 감시 시스템, 장치 및 방법을 제공하는 데에 있다.
본 발명의 또 다른 목적은, 시스템의 신뢰성을 향상시킬 수 있는 동화상 감시 시스템, 장치 및 방법을 제공하는 데에 있다.
본 발명의 동화상 감시 시스템은, 화상 취득 모듈과, 특징 판독 모듈과, 프레임 분석 모듈과, 연산 모듈을 포함하고, 동화상 감시 방법은 이 시스템의 동작 방법이다. 화상 취득 모듈은, 적어도 하나의 화상 프레임을 포함하는 화상 스트림을 특징 판독 모듈에 출력한다. 특징 판독 모듈은 화상 스트림을 수신함과 동시에, 화상 프레임을 판독하여 적어도 하나의 특징 기하학적 요소, 예를 들면 차선 구분선 또는 횡단보도를 생성한다. 프레임 분석 모듈은 상기 특징 기하학적 요소에 의해 보조선을 결정하고, 또한 보조선 및 상기 특징 기하학적 요소 중 적어도 하나에 의해 해당시점의 화상 프레임을 제1 화상 블록 및 제2 화상 블록으로 분할한다. 연산 모듈은 제1 화상 블록에 대하여 제1 처리를 행하는 동시에, 제2 화상 블록에 대하여 제1 처리와 다른 제2 처리를 행한다.
동화상 감시 장치는 화상 취득 유닛 및 프로세스 유닛을 포함한다. 화상 취득 유닛은, 적어도 하나의 화상 프레임을 포함하는 화상 스트림을 출력한다. 프로세스 유닛은, 주로, 특징 판독 프로세스, 프레임 분석 프로세스 및 연산 프로세스라고 하는 3개의 프로세스를 실행한다. 특징 판독 프로세스, 프레임 분석 프로세스 및 연산 프로세스의 실행 내용은, 상기 특징 판독 모듈, 프레임 분석 모듈 및 연산 모듈의 작업 내용과 거의 동일하므로, 여기서는 반복하지 않는다.
이 설계에 의하면, 제1 화상 블록 및 제2 화상 블록의 각각에 대하여, 상응하며 또한 적합한 화상처리를 직접 행할 수 있고, 그것에 의해, 필요가 없는 처리 방법을 중요하지 않은 화상 블록에 이용하는 것이 생략되고, 시간 및 자원을 절약할 수 있다. 또, 각 분석을 행할 필요가 있는 화상면적 및 화소수가 감소하기 때문에, 시간 및 시스템 자원을 절약하는 효과를 달성하고, 시스템 전체의 효율을 향상시킬 수 있다.
도 1은 본 발명의 동화상 감시 방법의 실시예의 플로차트이다.
도 2는 본 발명의 동화상 감시 시스템의 실시예의 모식도이다.
도 3은 화상 프레임 및 특징 기하학적 요소의 실시예의 모식도이다.
도 4는 화상 프레임, 특징 기하학적 요소 및 보조선의 실시예의 모식도이다.
도 5a는 주 차선선분 및 인접 차선선분이 같은 점에서 교차하는 실시예의 모식도이다.
도 5b는 주 차선선분 및 인접 차선선분이 다른 점에서 교차하는 실시예의 모식도이다.
도 5c는 주 차선선분 및 인접 차선선분이 다른 점에서 교차하는 다른 실시예의 모식도이다.
도 6은 주 차선 및 인접 차선을 다른 화상 블록으로 분할하는 실시예의 모식도이다.
도 7은 가상 교차점 괘선을 보조선으로 하는 실시예의 모식도이다.
도 8은 화상 스트림에 전(前)화상 프레임이 포함되는 실시예의 모식도이다.
도 9는 화상 스트림에 전화상 프레임이 포함되는 다른 실시예의 모식도이다.
도 10은 본 발명의 동화상 감시 장치의 실시예의 모식도이다.
이하, 도면과 문자를 함께 참조하면서 본 발명의 복수의 실시예를 설명하여 개시한다. 설명을 명확하게 하기 위하여, 이하의 기술에서 실무상의 상세상황을 함께 설명한다. 그러나, 이들 실무상의 상세상황은 본 발명을 한정하는 것이 아니다. 또한, 도면을 간소화하기 위하여, 일부 주지의 구조와 소자는 도면에 있어서 간단한 방법으로 모식적으로 나타낸다.
본 발명은, 주행기록장치 또는 다른 교통 수단의 감시 장치에 적합하게 응용 가능한 동화상 감시 시스템 및 동화상 감시 방법을 제공한다. 또, 본 발명은, 주행기록장치 또는 다른 교통 수단의 감시 장치로서 바람직한 동화상 감시 장치를 제공한다. 이하의 각 실시예는 주로 주행기록장치에 응용되는 경우를 예시로 하지만, 이에 한정되는 것은 아니다.
도 1은 본 발명의 동화상 감시 방법의 실시예의 플로차트이며, 도 2에 나타낸 동화상 감시 시스템에 맞추어 실시될 수 있다. 스텝(1010)에 있어서, 화상 취득 모듈(100)은, 적어도 하나의 화상 프레임(210)을 포함하는 화상 스트림(200)을 특징 판독 모듈(300)에 출력한다. 여기서 말하는 「화상 스트림(200)을 특징 판독 모듈(300)에 출력한다」란, 바람직하게는, 먼저 화상 스트림(200)을 기억 유닛(800)에 기억 또는 캐시하고 나서, 특징 판독 모듈(300)이 이를 액세스하는 것이다. 기억 유닛(800)은, 바람직하게는, 별개의 메모리, 복수의 동일 또는 다른 종류의 메모리 조합, 프로세서에 있어서의 캐시 기억 영역, 상기 조합 또는 다른 기억장치이다. 화상 취득 모듈(100)은, 바람직하게는, 촬영 렌즈(110) 또는 다른 화상을 촬영 또는 기록 가능한 장치를 포함하고, 더욱 바람직하게는, 촬영 렌즈(110)가 생성한 화상 스트림에 노이즈 억제, 교정 또는 다른 화상처리를 행하는 화상 프로세서(130)를 포함한다. 또한, 화상 취득 모듈(100)은, 직접 기존의 화상신호 또는 데이터로부터 일부를 취득하고, 화상 스트림(200)을 생성하여 특징 판독 모듈(300)에 출력할 수도 있다. 이상과 같이, 화상 취득 모듈(100)은, 바람직하게는, 하드웨어 장치로 구성되지만, 소프트웨어와 함께 또는 직접 소프트웨어로 실현할 수도 있다.
화상 스트림(200)은 시계열을 따라 배열된 일련의 화상 프레임(210)으로 이루어진다. 다른 규격 요구에 의해, 화상 스트림(200)은 1초마다 30매, 60매 또는 이외의 다른 매수의 화상 프레임(210)을 포함하여도 된다. 또한, 각 화상 프레임(210)의 해상도가 1280x720, 1920x1080 또는 이외의 다른 사이즈이어도 된다.
도 1 및 도 2에 나타낸 바와 같이, 스텝(1030)에 있어서, 특징 판독 모듈(300)이 화상 취득 모듈(100)에서 화상 스트림(200)을 수신하고, 화상 프레임(210)을 판독하여 적어도 하나의 특징 기하학적 요소(310)를 생성한다. 바람직한 실시예에 있어서, 특징 판독 모듈(300)은 소프트웨어 프로세스로 구성되어 동작하지만, 이에 한정되는 것은 아니다. 특징 판독 모듈(300)은, 바람직하게는, 화상 스트림(200)에 있어서의 매 화상 프레임(210)을 판독하고, 매 화상 프레임(210)의 특징 기하학적 요소를 취득하고 나서, 매 화상 프레임(210)의 특징 기하학적 요소(310)를 기억 유닛(800)에 일시 기억 또는 기억한다. 특징 기하학적 요소(310)는 좌표, 함수 또는 다른 형식으로 몇 개의 식별 코드와 함께 나타내고, 일시 기억 또는 기억될 수 있다.
도 3은 화상 프레임(210)의 일 실시예이다. 화상 프레임(210)의 내용은 차선선분(211), 예를 들면 연속된 백색 또는 황색의 단일선과 이중선, 또는 간격선분 또는 점선선분을 포함하는 것이 가능하다. 또, 화상 프레임(210)은, 예를 들면, 횡단보도와 같은 횡방향으로 간격을 두고 배열된 복수의 다각형 조합(212)을 포함하는 것도 가능하다. 상기 차선선분(211) 및 다각형 조합(212)은 모두 특징 판독 모듈(300)에서 판독된 특징 기하학적 요소(310)로 될 수 있다. 또, 횡방향의 정지선도 판독된 특징 기하학적 요소(310)로 될 수 있다. 특징 판독 모듈(300)은, 각종 공지의 에지 검출 또는 형상 검출 알고리즘으로 상기 화상 내용에 대하여 특징 기하학적 요소(310)를 판독할 수 있는 것이면 되고, 특별히 한정되지 않는다. 다른 실시예에 있어서, 화상 프레임(210)에 있어서의 건물의 정단 접속선도 특징 기하학적 요소(310)로서 검출될 수 있다.
도 1 및 도 2에 나타낸 바와 같이, 특징 기하학적 요소(310)가 생성된 후의 스텝(1050)에 있어서, 프레임 분석 모듈(500)은 특징 기하학적 요소(310)에 의해 보조선(510)을 결정한다. 바람직한 실시예에 있어서, 프레임 분석 모듈(500)은 소프트웨어 프로세스 방식으로 구성되어 동작하지만, 이에 한정되는 것은 아니다. 프레임 분석 모듈(500)은, 바람직하게는, 화상 스트림(200)에 있어서의 매 화상 프레임(210)의 특징 기하학적 요소(310)에 대하여 계산을 행함으로써, 보조선(510)을 취득한다. 화면 분석 모듈(500)은, 특징 기하학적 요소(310)의 종류에 의해 다른 연산을 행하고, 이것에 의해 얻은 보조선(510)을 기억 유닛(800)에 일시 기억 또는 기억한다. 보조선(510)은, 좌표, 함수 또는 다른 형식으로 몇 개의 식별 코드와 함께 나타내고, 일시 기억 또는 기억될 수 있다.
도 4의 실시예를 예로 설명한다. 특징 기하학적 요소(310)가 복수개의 차선선분(211)인 경우, 프레임 분석 모듈(500)은 차선선분(211) 연장선의 교점(215)을 판단하고, 또한 교점(215)에 의해 하나의 가상 스카이라인을 보조선(510)으로서 판단한다. 바람직하게는, 프레임 분석 모듈(500)은 교점(215)에서 화상 프레임(210)의 횡방향(X)을 따라 연장함으로써, 상기 가상 스카이라인을 형성한다. 상기 화상 프레임(210)의 횡방향(X)은, 바람직하게는, 화상 프레임(210)의 바닥변 또는 정상변에 평행하고, 또한 화상 프레임(210) 전체에 걸쳐있다. 다른 실시예에 있어서, 프레임 분석 모듈(500)은 다른 파라메타 또는 판단 결과에 의해 가상 스카이라인의 연장 방향을 조정할 수가 있고, 예를 들면 횡방향(X)과 5도보다도 작은 좁은 각을 이루어도 된다.
보조선(510)이 결정된 후의 스텝(1070)에 있어서, 프레임 분석 모듈(500)은, 보조선(510) 및 특징 기하학적 요소(310) 중 적어도 하나에 의해 화상 프레임(210)을 적어도 제1 화상 블록(231) 및 제2 화상 블록(232)으로 분할한다. 프레임 분석 모듈(500)은, 특징 기하학적 요소(310) 및 보조선(510)의 종류에 의해 화상 프레임(210)에 다른 블록 분할을 행하고, 분할한 제1 화상 블록(231) 및 제2 화상 블록(232)을 기억 유닛(800)에 일시 기억 또는 기억한다. 제1 화상 블록(231) 및 제2 화상 블록(232)은 좌표, 함수 또는 다른 형식으로 몇 개의 식별 코드와 함께 나타내고, 일시 기억 또는 기억될 수 있다.
도 4에 나타낸 실시예에서는, 가상 스카이라인을 보조선(510)으로 할 경우, 프레임 분석 모듈(500)은 보조선(510)을 경계선으로 하고, 제1 화상 블록(231)이 보조선(510)의 하방에 위치하고, 제2 화상 블록(232)이 보조선(510) 상부에 위치한다. 바꾸어 말하면, 화상 프레임(210)은 상하 2개의 블록으로 분할된다. 이 실시예에 있어서, 단일 보조선(510)으로 제1 화상 블록(231) 및 제2 화상 블록(232)으로 분할하지만, 다른 실시예에 있어서, 복수의 보조선(510) 또는 보조선(510)과 특징 기하학적 요소(310)와의 조합으로 제1 화상 블록(231) 및 제2 화상 블록(232)의 분할을 행할 수도 있다. 또한, 본 실시예에 있어서, 제1 화상 블록(231) 및 제2 화상 블록(232)은 서로 인접해서 보조선(510)을 경계선으로 하지만, 다른 실시예에 있어서, 선택된 보조선(510) 또는 특징 기하학적 요소(310)에서 소정 피치 떨어진 위치를 제1 화상 블록(231) 또는 제2 화상 블록(232)의 경계선으로 설정할 수도 있고, 직접 보조선(510) 또는 특징 기하학적 요소(310)를 경계선으로 하는 데에 한정되지 않는다.
스텝(1090)에 있어서, 연산 모듈(700)은 제1 화상 블록(231)에 대하여 제1 처리를 행하는 동시에, 제2 화상 블록(232)에 대하여 제1 처리와 다른 제2 처리를 행한다. 이 설계에 의하면, 제1 화상 블록(231) 및 제2 화상 블록(232)의 각각에 대하여 상응하며 또한 적합한 화상처리를 직접 행할 수 있고, 이것에 의해 필요가 없는 처리 방법을 중점이 아닌 화상 블록에 사용되는 시간 및 자원을 절약하고, 시스템 전체의 효율을 향상시킬 수 있다.
도 4에 나타내는 실시예에서는, 제1 화상 블록(231)은 보조선(510)으로서의 가상 스카이라인의 하방에 위치하므로, 대부분의 면적은 차선영역일 것이다. 이때, 제1 처리는, 바람직하게는, 제1 화상 블록(231)내에 있어서의 일부 화상에 대한 비교 분석, 예를 들면 제1 화상 블록(231)내의 화상 데이터와 화상 스트림(200)에 있어서의 화상 프레임(210)의 전에 위치하는 적어도 하나의 전(前)화상 프레임내의 화상 데이터를 비교하는 것을 포함한다. 예를 들면, 제1 처리는, 먼저 제1 화상 블록(231)내의 차량 인식을 행하고 나서, 전의 수매의 전화상 프레임내의 차량 인식 결과와 비교함으로써, 제1 화상 블록(231)내의 차량운동을 판단하여 감시할 수 있다. 또한, 화상의 비교 분석은, 상기 특징 기하학적 요소(310)를 본체로 하여 전의 화상 프레임과 비교함으로써, 차량의 전진 방향이 차선으로부터 일탈하였는지 여부를 판단하는 것을 포함하여도 된다.
그러나, 제2 화상 블록(232)은 보조선(510)으로서의 가상 스카이라인 상에 위치하므로, 대부분의 면적은 공간 또는 다른 비차선 영역일 것이다. 이와 같은 영역은 비교적 감시할 필요가 없다. 이때, 제2 처리는, 바람직하게는, 제2 화상 블록(232)내의 화상 데이터를 무시하고, 상기 화상비교 분석을 행하지 않는 것을 포함한다. 이 설계에 의하면, 분석할 필요가 있는 화상면적 및 화소수가 감소하므로, 시간 및 시스템 자원을 절약하는 효과를 달성할 수 있다. 그러나, 다른 실시예에서는, 제2 화상 블록(232)에 대하여 다른 비(非) 제1 처리의 제2 처리를 행하여도 되고, 예를 들면 제2 화상 블록(232)내의 화상의 평균 휘도를 판단함으로써, 해당 시점의 날씨상태를 판단하고, 그 판단 결과를 다른 용도에 이용할 수도 있다.
도 5a에 나타낸 실시예에 있어서, 복수개의 차선선분(211)은 복수개의 주 차선선분(2111)과 주 차선선분(2111)의 양측에 위치하는 복수의 인접 차선선분(2113)을 포함한다. 이때, 프레임 분석 모듈(500)은, 바람직하게는, 복수의 주 차선선분(211)이 연장되어 교차하는 제1 교점(217)의 위치, 및 복수의 인접 차선선분(2113)이 연장되어 교차하는 제2 교점(219)의 위치를 판단한다. 도5A에 나타낸 바와 같이, 제1 교점(217)과 제2 교점(219)의 위치가 겹치면, 프레임 분석 모듈(500)은, 제1 교점(217)에서 화상 프레임(210)의 횡방향(X)을 따라 연장하게 되고, 상기 보조선(510)으로서의 가상 스카이라인을 형성한다. 제1 교점(217)과 제2 교점(219)의 위치가 겹치지 않으면, 도 5b에 나타낸 바와 같이, 프레임 분석 모듈(500)은, 바람직하게는, 제1 교점(217)과 제2 교점(219)과의 사이에서 일점(예를 들면 중간점)을 선택하고, 화상 프레임(210)의 횡방향(X)을 따라 연장함으로써, 상기 보조선(510)으로서의 가상 스카이라인을 형성한다. 상기 화상 프레임(210)의 횡방향(X)은, 바람직하게는, 화상 프레임(210)의 바닥변 또는 정상변에 평행하고, 동시에 화상 프레임(210) 전체에 걸쳐있다.
또한, 도 5c에 나타낸 실시예에 있어서, 프레임 분석 모듈(500)은 제1 교점(217)과 제2 교점(219)과의 상대적인 위치 관계에 의해 가상 스카이라인의 연장 방향을 판단할 수 있다. 도 5c에 도시한 바와 같이, 제1 교점(217)과 제2 교점(219)이 화상 프레임(210)의 횡방향(X) 및 종방향(Y)에 모두 모여있지 않으므로, 이에 의해 화상 프레임(210)을 촬영할 때의 실제 수평면에 대해서 경사지는 각도를 추정하고, 이에 의해 보조선(510)으로서의 가상 스카이라인의 연장 방향을 결정할 수 있다.
도 6에 나타낸 실시예에 있어서, 복수개의 차선선분(211)은 2개의 주 차선선분(2111)과 주 차선선분(2111)의 일측에 위치하는 인접 차선선분(2113)을 포함한다. 이때, 프레임 분석 모듈(500)은, 바람직하게는, 2개의 주 차선선분(2111) 사이의 영역을 제1 화상 블록(231)으로 하고, 인접 차선선분(2113)과 가장 가까운 하나의 주 차선선분(2111) 사이의 영역을 제2 화상 블록(232)으로 한다. 제1 화상 블록(231)의 범위는 자동차가 주행하는 주 차선을 나타내므로, 바람직하게는 제1 처리로 주 차선에 화상 분석을 행한다. 바람직한 실시예에 있어서, 주 차선의 화상 분석은 전방 차간거리의 분석을 포함하여도 되고, 제1 처리는, 먼저 제1 화상 블록(231)내의 전(前)차 윤곽인식을 행하는 동시에 전차와의 거리를 판단하고, 다음에 이전의 1매 또는 수매의 전화상 프레임내의 전방 차간거리의 판단 결과와 비교한다. 비교 결과에 의해, 연산 모듈(700)은, 또한 제1 화상 블록(231)내의 전차의 운동을 판단하여 전방 차간거리의 감시를 행할 수 있다.
한편, 제2 화상 블록(232)의 범위는 인접차가 주행하는 인접 차선을 나타내므로, 바람직하게는 제2 처리로 인접 차선에 화상 분석을 행한다. 바람직한 실시예에 있어서, 인접 차선의 화상 분석은 전차 일탈 분석을 포함해도 되고, 제2 처리는, 우선 제2 화상 블록(232)내의 전차 윤곽인식을 행하는 동시에, 주 차선선분(2111) 간의 거리를 판단하고, 다음에 이전의 1매 또는 복수매의 전화상 프레임내의 전차 위치의 판단 결과와 비교한다. 비교 결과에 의해, 연산 모듈(700)은 또한 제1 화상 블록(231)내의 인접 차선의 전차의 운동을 판단하여 전방 차간거리의 감시를 행할 수 있다. 인접 차선의 전차가 주 차선선분(2111)을 건너서 제1 화상 블록(231)내에 들어갈지 또는 그러한 경향이 있으면, 경보신호가 발생한다. 이 설계에 의하면, 제1 화상 블록(231) 및 제2 화상 블록(232)에 대하여 각각 적합한 화상 분석을 행하고, 필요가 없는 화상 분석을 적용하지 않는 화상 블록에 추가하지 않음으로써, 연산 시간 및 시스템 자원을 절약할 수 있다.
도 7은 본 발명의 다른 실시예이다. 이 실시예에 있어서의 특징 기하학적 요소(310)는 간격을 두고 배열된 복수의 다각형 조합을 포함한다. 구체적으로 말하면, 특징 기하학적 요소(310)는 화상 프레임(210)의 횡방향(X)을 따라 배열된 복수의 사변형이며, 또한 바람직하게는 백색이다. 교통 표식에서는, 이와 같은 형상 조합은 횡단보도를 나타낸다. 이때, 프레임 분석 모듈(500)은 이들 다각형의 상측 에지(바람직하게는 프레임의 정상변을 상방으로 한다) 접속선(511)에 의해 가상 교차점 괘선을 보조선(510)으로 판단한다. 종방향(Y)에서의 상이한 거리에 횡단보도를 나타내는 다각형 조합이 2개 존재하면, 근위의 다각형 조합의 상측 에지 및 원위의 다각형 조합의 하측 에지에서 각각 보조선(510)을 형성할 수 있다. 바람직하게는, 프레임 분석 모듈(500)은 직접 다각형의 상측 에지 접속선(511)을 가상 교차점 괘선에 있어서의 하부 괘선으로 하고, 특징 기하학적 요소(310)에 있어서의 횡방향(X)의 가장 넓은 변 가장자리에서 종방향(Y)을 따라 측변 괘선(513)을 나타낸다. 단, 다른 실시예에 있어서, 다각형의 상측 에지 접속선(511)에서 일정 피치 떨어진 선분을 가상 교차점 괘선에 있어서의 하부 괘선으로 할 수도 있고, 다른 규칙에 따라 다른 측변 괘선(513) 및 상부 괘선(515)을 설정할 수도 있다. 또한, 다른 실시예에서는, 횡단보도에 보행자가 있으므로, 종방향(Y)에서의 다른 거리에 횡단보도를 나타내는 다각형 조합이 2개 존재하면, 근위의 다각형 조합의 하측 에지 및 원위의 다각형 조합의 상측 에지에서 각각 보조선(510)을 형성함으로써, 횡단보도 영역이 가상 교차점 괘선내에 포함되게 할 수도 있다.
도 7에 나타낸 실시예에서는, 제1 화상 블록(231)은 보조선(510)으로서의 가상 교차점 괘선내에 위치하므로, 대부분의 면적이 교차점 영역일 것이다. 이때, 제1 처리는, 바람직하게는, 제1 화상 블록(231)내에 있어서의 일부 화상에 대하여 물체의 횡방향 통과 분석을 하는 것을 포함한다. 예를 들면, 제1 처리는, 우선 제1 화상 블록(231)내의 물체 인식, 예를 들면 보행자 또는 차량 인식을 행하고, 다음에 이전의 복수매의 전화상 프레임내의 물체 인식 결과와 비교함으로써, 제1 화상 블록(231)내에 횡방향으로 통과하는 물체의 유무를 판단하고, 감시할 수 있다. 일반적인 차선에 대해서는, 교차점 영역에 횡방향으로 통과하는 물체가 출현하기 쉬우므로, 이와 같은 화상 분석 및 감시를 비교적 필요로 한다.
한편, 제2 화상 블록(232)은 보조선(510)으로서의 가상 교차점 괘선 밖에 위치하므로, 대부분의 면적이 비교차점 영역이며, 이와 같은 영역에 횡방향에서의 물체 통과 감시를 비교적 필요로 하지 않는다. 이때, 제2 처리는, 바람직하게는, 상기 물체의 횡방향 통과 분석을 행하지 않고, 물체의 횡방향 통과 분석 이외의 다른 화상처리를 행하는 것을 포함한다. 이 설계에 의하면, 분석할 필요가 있는 화상 면적 및 화소수가 감소하기 때문에, 시간 및 시스템 자원을 절약하는 효과를 달성할 수 있다.
도 8에 나타낸 바와 같이, 화상 스트림(200)은 화상 프레임(210)의 전에 배열된 적어도 하나의 전화상 프레임(220)을 포함한다. 화상 프레임(210)의 경우와 마찬가지로, 특징 판독 모듈(300)은 마찬가지로 전화상 프레임(220)내의 화상 데이터를 판독하여, 적어도 하나의 전(前)특징 기하학적 요소(330)를 생성 및 캐시한다. 전특징 기하학적 요소(330)는 기본적으로 상기 특징 기하학적 요소(310)의 성질과 동일하고, 그 주된 상위점은, 전특징 기하학적 요소(330)가 전화상 프레임(220)을 분석해서 얻어진 것으로, 화상 프레임(210)으로부터의 것은 아니다. 특징 판독 모듈(300)은 전특징 기하학적 요소(330)를 생성한 후, 전특징 기하학적 요소(330)를 캐쉬 메모리 또는 다른 기억 유닛(800)에 캐시 또는 기억한다. 특징 판독 모듈(300)은, 현재의 화상 프레임(210)에 대해서 판독할 때, 캐시 또는 기억된 전특징 기하학적 요소(330)를 액세스하고, 전특징 기하학적 요소(330)를 참고로 하여 특징 기하학적 요소(310)를 생성한다. 예를 들면, 특징 판독 모듈(300)은, 바람직하게는, 이전 4쌍의 전특징 기하학적 요소(330)을 액세스하고, 현재의 화상 프레임(210)의 데이터와 비교하고 나서, 현재의 화상 프레임(210)의 특징 기하학적 요소(310)를 생성할 수 있다. 이 설계에 의하면, 어느 화상 프레임의 화상 데이터가 화상품질의 불량에 의해 정확하게 판단할 수 없어도, 전특징 기하학적 요소(330)를 참고함으로써 일정 정도로 정확한 결과를 취득하는 것에 의해, 시스템의 안정성을 확보할 수 있다.
또, 도 9에 나타낸 바와 같이, 현재의 화상 프레임(210)의 경우와 마찬가지로, 프레임 분석 모듈(500)은 마찬가지로 전특징 기하학적 요소(330)에 의해 전(前)보조선(530)을 결정하여 캐시 또는 일시 기억한다. 프레임 분석 모듈(500)은, 현재의 화상 프레임(210)의 보조선(510)을 결정할 때, 캐시 또는 기억된 전보조선(530)을 액세스하고, 전보조선(530)을 참고로 하여 현재의 화상 프레임(210)의 보조선(510)을 결정한다. 예를 들면, 프레임 분석 모듈(500)은, 바람직하게는, 이전 4쌍의 전보조선(530)을 액세스함으로써 그 종류 및 위치를 참고한 후, 현재의 화상 프레임(210)의 보조선(510)을 생성할 수 있다. 이 설계에 의하면, 어느 화상 프레임의 화상 데이터가 화상품질의 불량에 의해 정확하게 판단할 수 없어도, 전보조선(530)을 참고함으로써 일정 정도로 정확한 결과를 취득함하는 것에 의해 시스템의 안정성을 확보할 수 있다.
도 10은 본 발명의 동화상 감시 장치의 실시예의 모식도이다. 동화상 감시 장치는 화상 취득 유닛(10) 및 프로세스 유닛(90)을 포함한다. 화상 취득 유닛(10)은, 바람직하게는, 촬영 렌즈 또는 다른 화상을 촬영 또는 기록 가능한 장치이어도 되고, 더욱 바람직하게는 화상을 교정 및 노이즈 처리하는 화상 프로세서를 포함해도 된다. 화상 취득 유닛(10)은, 적어도 하나의 화상 프레임(210)을 포함하는 화상 스트림(200)을 출력한다. 프로세스 유닛(90)은, 바람직하게는, 센트럴 프로세서 또는 센트럴 프로세서내의 로직 유닛이며, 특징 판독 프로세스(30), 프레임 분석 프로세스(50) 및 연산 프로세스(70)와의 3개의 프로세스를 실행한다. 특징 판독 프로세스(30), 프레임 분석 프로세스(50) 및 연산 프로세스(70)는, 바람직하게는, 소프트웨어 프로세스 방식으로 기억 유닛(80)에 기억되어 프로세스 유닛(90)에 의해 실행되고, 또한 기억 유닛(80)과 함께 데이터 기억 및 액세스 대상으로 된다. 기억 유닛(80)은, 바람직하게는, 별개의 메모리, 복수의 동일 또는 다른 종류의 메모리 조합, 프로세스 유닛(90)에 있어서의 캐시 기억 영역, 상기 조합 또는 다른 기억장치이어도 된다. 특징 판독 프로세스(30), 프레임 분석 프로세스(50) 및 연산 프로세스(70)가 실행하는 내용은 상기 특징 판독 모듈(300), 프레임 분석 모듈(500) 및 연산 모듈(700)의 작업 내용과 동일하므로, 여기서는 반복하지 않는다.
이 설계에 의하면, 각 화상 블록 각각에 대해서, 상응하고 동시에 적합한 화상처리를 직접 행하고, 이에 의해 필요가 없는 처리 방법을 중점이 아닌 화상 블록에 사용되는 시간 및 자원을 절약할 수 있다. 또, 각 분석을 행할 필요가 있는 화상 면적 및 화소수가 감소하므로, 시간 및 시스템 자원을 절약하는 효과를 달성하고, 시스템 전체의 효율을 향상시킬 수 있다.
본 발명의 특징과 취지를 명확하게 나타내기 위하여, 이상 구체적인 실시예에서 상세하게 설명하였으나, 이상의 기재에 있어서의 바람직한 구체 실시예는, 본 발명의 범위를 제한하는 것은 아니다. 당업자라면, 본 발명의 취지와 범위로부터 일탈하지 않고 각종 변경이나 수식을 더할 수 있다. 본 발명의 청구 범위는, 특허청구의 범위에서 지정한 내용을 기준으로 한 것이다.
10: 화상 취득 유닛 80: 기억 유닛
90: 프로세스 유닛 100: 화상 취득 모듈
110: 촬영 렌즈 130: 화상 프로세서
200: 화상 스트림 210: 화상 프레임
211: 차선선분 2111: 주 차선선분
2113: 인접 차선선분 212: 다각형 조합
215: 교점 217: 제1 교점
219: 제2 교점 220: 전화상 프레임
231: 제1 화상 블록 232: 제2 화상 블록
300: 특징 판독 모듈 310: 특징 기하학적 요소
330: 전특징 기하학적 요소 500: 프레임 분석 모듈
510: 보조선 511: 상측 에지 접속선
513: 측변 괘선 515: 상부 괘선
530: 전보조선 700: 연산 모듈
800: 기억 유닛

Claims (13)

  1. 적어도 하나의 화상 프레임을 포함하는 화상 스트림을 출력하는 화상 취득 모듈과,
    상기 화상 취득 모듈로부터 상기 화상 스트림을 수신하고, 상기 화상 프레임을 판독함으로써 적어도 하나의 특징 기하학적 요소를 생성하는 특징 판독 모듈과,
    상기 특징 기하학적 요소에 의해 보조선을 결정하고, 상기 보조선 및 상기 특징 기하학적 요소 중 적어도 하나에 의해 상기 화상 프레임을 적어도 제1 화상 블록 및 제2 화상 블록으로 분할하는 프레임 분석 모듈과,
    상기 제1 화상 블록에 대하여 제1 처리를 행하는 동시에, 상기 제2 화상 블록에 대하여 상기 제1 처리와 다른 제2 처리를 행하는 연산 모듈을 포함하는 동화상 감시 시스템.
  2. 제1 항에 있어서,
    상기 특징 기하학적 요소는 복수개의 차선선분을 포함하고, 상기 프레임 분석 모듈은 상기 복수 개의 차선선분 연장선의 적어도 하나의 교점에서 가상 스카이라인을 상기 보조선으로서 판단하는 동화상 감시 시스템.
  3. 제2 항에 있어서,
    상기 프레임 분석 모듈은 상기 교점에서 상기 화상 프레임의 횡방향을 따라 연장하여 상기 가상 스카이라인을 형성하는 동화상 감시 시스템.
  4. 제2 항에 있어서,
    상기 복수개의 차선선분은, 복수개의 주 차선선분과 이들 주 차선선분의 양측에 위치하는 복수 개의 인접 차선선분을 포함하고, 이들 주 차선선분의 연장선이 제1 교점에서 교차하고, 이들 인접 차선선분의 연장선이 제2 교점에서 교차하고, 상기 프레임 분석 모듈은 상기 제1 교점 및 상기 제2 교점간의 한점에서 상기 화상 프레임의 횡방향을 따라 연장되어 상기 가상 스카이라인을 형성하는 동화상 감시 시스템.
  5. 제2 항에 있어서,
    상기 복수개의 차선선분은 복수개의 주 차선선분과 이들 주 차선선분의 양측에 위치하는 복수개의 인접 차선선분을 포함하고, 이들 주 차선선분의 연장선이 제1 교점에서 교차하고, 이들 인접 차선선분의 연장선이 제2 교점에서 교차하고, 상기 프레임 분석 모듈은 상기 제1 교점과 상기 제2 교점과의 상대적인 위치 관계에 의해 상기 가상 스카이라인의 연장 방향을 판단하는 동화상 감시 시스템.
  6. 제2 항에 있어서,
    상기 제1 화상 블록이 상기 보조선의 하방에 위치하고, 상기 제1 처리는 상기 제1 화상 블록내에 있어서의 화상에 대한 비교 분석을 포함하고, 상기 제2 화상 블록이 상기 보조선의 상부에 위치하고, 상기 제2 처리는 상기 제2 화상 블록내에 있어서의 화상 데이터를 무시하여 상기 화상의 비교 분석을 행하지 않는 것을 포함하는 동화상 감시 시스템.
  7. 제6 항에 있어서,
    상기 화상 스트림은, 상기 화상 프레임의 전에 배열된 적어도 하나의 전화상 프레임을 포함하고, 상기 화상의 비교 분석은, 상기 제1 화상 블록내의 화상 데이터와 상기 전화상 프레임내의 화상 데이터를 비교해서 분석 결과를 생성하는 것을 포함하는 동화상 감시 시스템.
  8. 제1 항에 있어서,
    상기 특징 기하학적 요소는, 2개의 주 차선선분 및 하나의 인접 차선선분을 포함하고, 상기 제1 화상 블록은 상기 2개의 주 차선선분간에 위치하고, 상기 제1 처리는 상기 제1 화상 블록내에 있어서의 화상에 대한 주 차선 화상 분석을 포함하고, 상기 제2 화상 블록은 상기 인접 차선선분 및 상기 인접 차선선분에 가장 가까운 상기 주 차선선분에 위치하고, 상기 제2 처리는, 상기 제2 화상 블록내에 있어서의 화상에 대한 인접 차선 화상 분석을 포함하는 동화상 감시 시스템.
  9. 제1 항에 있어서,
    상기 특징 기하학적 요소는, 간격을 두고 배열된 복수의 다각형 조합을 포함하고, 상기 프레임 분석 모듈은, 간격을 두고 배열된 상기 복수의 다각형 조합의 상측 에지에 의해 가상 교차점 괘선을 상기 보조선으로서 판단하는 동화상 감시 시스템.
  10. 제9 항에 있어서,
    상기 제1 화상 블록은 상기 보조선내에 위치하고, 상기 제1 처리는, 상기 제1 화상 블록내에 있어서의 화상에 대하여 물체의 횡방향 통과 분석을 행하는 것을 포함하는 동화상 감시 시스템.
  11. 제1 항에 있어서,
    상기 화상 스트림은 상기 화상 프레임의 전에 배열된 적어도 하나의 전화상 프레임을 포함하고, 상기 특징 판독 모듈은 상기 전화상 프레임을 판독함으로써, 적어도 하나의 전특징 기하학적 요소를 생성하여 캐시 또는 기억하고, 또한 상기 전특징 기하학적 요소를 참고로 하여 상기 화상 프레임을 판독해서 상기 특징 기하학적 요소를 생성하는 동화상 감시 시스템.
  12. 제11 항에 있어서,
    상기 프레임 분석 모듈은, 상기 전특징 기하학적 요소에 의해 전보조선을 결정하여 캐시 또는 기억하고, 또한 상기 전보조선을 참고로 하고, 상기 특징 기하학적 요소에 의해 상기 보조선을 결정하는 동화상 감시 시스템.
  13. 화상 취득 모듈에서, 적어도 하나의 화상 프레임을 포함하는 화상 스트림을 출력하는 스텝(a)과,
    특징 판독 모듈에서, 상기 화상 취득 모듈로부터 상기 화상 스트림을 수신하고, 상기 화상 프레임을 판독하여 적어도 하나의 특징 기하학적 요소를 생성하는 스텝(b)과,
    프레임 분석 모듈에서, 상기 특징 기하학적 요소에 의해 보조선을 결정하고, 상기 보조선 및 상기 특징 기하학적 요소 중 적어도 하나에 의해 상기 화상 프레임을 적어도 제1 화상 블록 및 제2 화상 블록으로 분할하는 스텝(c)과,
    연산 모듈에서 상기 제1 화상 블록에 대하여 제1 처리를 행하는 동시에, 상기 제2 화상 블록에 대하여 상기 제1 처리와 다른 제2 처리를 행하는 스텝(d)을 포함하는 동화상 감시 방법.
KR1020150057137A 2014-11-19 2015-04-23 동화상 감시 시스템, 장치 및 방법 KR20160059934A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103140095A TWI502166B (zh) 2014-11-19 2014-11-19 動態影像監測系統及方法
TW103140095 2014-11-19

Publications (1)

Publication Number Publication Date
KR20160059934A true KR20160059934A (ko) 2016-05-27

Family

ID=54851732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150057137A KR20160059934A (ko) 2014-11-19 2015-04-23 동화상 감시 시스템, 장치 및 방법

Country Status (3)

Country Link
JP (1) JP2016099997A (ko)
KR (1) KR20160059934A (ko)
TW (1) TWI502166B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI658431B (zh) 2017-10-02 2019-05-01 緯創資通股份有限公司 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
CN109300322B (zh) * 2018-10-31 2021-05-04 百度在线网络技术（北京）有限公司 引导线绘制方法、装置、设备和介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3666332B2 (ja) * 2000-01-07 2005-06-29 日産自動車株式会社 歩行者検知装置
JP2002314989A (ja) * 2001-04-10 2002-10-25 Yazaki Corp 車両用周辺監視装置
JP4615536B2 (ja) * 2007-03-19 2011-01-19 本田技研工業株式会社 表示装置
TWI451990B (zh) * 2011-08-29 2014-09-11 Univ Nat Chiao Tung 車道定位系統、車道定位方法及路面標記
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
JP2013186664A (ja) * 2012-03-07 2013-09-19 Toyota Motor Corp 横断歩道認識装置および横断歩道認識方法
TWI439973B (zh) * 2012-03-07 2014-06-01 Mitac Int Corp 雲端導航裝置及雲端導航方法
JP2014191685A (ja) * 2013-03-28 2014-10-06 Nissan Motor Co Ltd 画像処理装置および画像処理方法
TWI534028B (zh) * 2013-05-03 2016-05-21 Driveway with lane departure (LDWS) and front vehicle distance (FCWS) warning function (EDR)

Also Published As

Publication number Publication date
TW201619577A (zh) 2016-06-01
TWI502166B (zh) 2015-10-01
JP2016099997A (ja) 2016-05-30

Similar Documents

Publication Publication Date Title
JP7228652B2 (ja) 物体検出装置、物体検出方法およびプログラム
US9117115B2 (en) Exterior environment recognition device and exterior environment recognition method
US10580155B2 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
US20180373942A1 (en) Object detecting apparatus, object detecting method, and computer program product
US9721460B2 (en) In-vehicle surrounding environment recognition device
JP6274557B2 (ja) 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム
US10565438B2 (en) Vehicle periphery monitor device
US10142595B2 (en) Driving assistance device and method of detecting vehicle adjacent thereto
US9454704B2 (en) Apparatus and method for determining monitoring object region in image
US9734581B2 (en) On-vehicle control device
US9798939B2 (en) Detecting device, detecting method, and program
US20160202355A1 (en) Object detecting device, radar device, and object detection method
JP2010039634A (ja) 画像処理装置
JP2004144671A (ja) 車載用レーダ装置
CN107491065B (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
JP2008262333A (ja) 路面判別装置および路面判別方法
KR20200045696A (ko) 주행 정보를 결정하는 방법 및 장치
JP2006350699A (ja) 画像処理装置及び方法
US20150178573A1 (en) Ground plane detection
JP6483360B2 (ja) 対象物認識装置
JP2012150595A (ja) 一時停止線検出装置及びプログラム
JP5353531B2 (ja) 車両灯火認識装置及びプログラム
KR20160059934A (ko) 동화상 감시 시스템, 장치 및 방법
JP5125214B2 (ja) 障害物検出方法および障害物検出装置
JP2017045261A (ja) 情報取得装置及び情報取得方法並びに情報取得用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal