KR102339512B1 - 영상 인식 장치 및 영상 인식 방법 - Google Patents

영상 인식 장치 및 영상 인식 방법 Download PDF

Info

Publication number
KR102339512B1
KR102339512B1 KR1020140141124A KR20140141124A KR102339512B1 KR 102339512 B1 KR102339512 B1 KR 102339512B1 KR 1020140141124 A KR1020140141124 A KR 1020140141124A KR 20140141124 A KR20140141124 A KR 20140141124A KR 102339512 B1 KR102339512 B1 KR 102339512B1
Authority
KR
South Korea
Prior art keywords
image
disturbance
unit
result
luminance
Prior art date
Application number
KR1020140141124A
Other languages
English (en)
Other versions
KR20160045480A (ko
Inventor
이성주
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140141124A priority Critical patent/KR102339512B1/ko
Priority to CN201510663308.9A priority patent/CN105530404B/zh
Priority to US14/885,197 priority patent/US9928444B2/en
Publication of KR20160045480A publication Critical patent/KR20160045480A/ko
Application granted granted Critical
Publication of KR102339512B1 publication Critical patent/KR102339512B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량의 전방 영상 및 후방 영상 중 적어도 하나의 영상을 출력하는 카메라부, 상기 영상의 가시성을 고려하여 외란으로 추정되는 영상을 출력하는 외란추정부, 상기 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하는 외란분류부, 상기 외란 발생 원인의 누적에 따라 상기 영상의 외란 여부를 판단하는 외란결과판단부 및 상기 영상에 외란이 발생할 때 영상 인식이 불가능함을 운전자에게 알려주는 영상인식부를 포함하는 영상 인식 장치에 관한 것이다.

Description

영상 인식 장치 및 영상 인식 방법{Apparatus and method for vision recognition}
본 발명은 영상 인식 장치 및 영상 인식 방법에 관한 것으로, 보다 상세하게는 차량 영상의 가시성을 고려하여 외란으로 추정되는 영상을 출력하여, 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하며, 외란 발생 원인이 된 결과를 결과 버퍼에 누적 저장하여 외란 유무를 최종적으로 판단하여 운전자에게 영상의 외란을 알려주는 영상 인식 장치 및 영상 인식 방법에 관한 것이다.
최근 차량에는 차량 전방 영상을 획득하여 차량이 주행하는 차선을 인식하여 차량이 차선을 이탈하는 경우 운전자에게 경고해주거나, 차량 전방 영상에서 보행자 또는 물체를 감지하여 운전자에게 경고해주는 기술 등이 채택되고 있다. 이러한 기술을 구현하기 위해 정확한 차량 전방 영상을 획득하는 것은 필수적이다.
이에 최근에는 차량 전방 영상에 이물질 등의 영상 외란이 존재할 때 이를 고속으로 감지하여 운전자에게 알려주는 기술이 연구 중에 있다.
본 발명이 해결하고자 하는 과제는 차량 영상의 가시성을 고려하여 외란으로 추정되는 영상을 출력하여, 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하며, 외란 발생 원인이 된 결과를 결과 버퍼에 누적 저장하여 외란 유무를 최종적으로 판단하여 운전자에게 영상의 외란을 알려주는 영상 인식 장치 및 영상 인식 방법을 제공함에 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 영상 인식 장치는, 차량의 전방 영상 및 후방 영상 중 적어도 하나의 영상을 출력하는 카메라부, 상기 영상의 가시성을 고려하여 외란으로 추정되는 영상을 출력하는 외란추정부, 상기 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하는 외란분류부, 상기 외란 발생 원인의 누적에 따라 상기 영상의 외란 여부를 판단하는 외란결과판단부 및 상기 영상에 외란이 발생할 때 영상 인식이 불가능함을 운전자에게 알려주는 영상인식부를 포함한다.
상기 외란추정부는 상기 영상의 인접하는 화소 간 휘도 변화량을 측정하여 외란으로 추정되는 영상을 출력한다.
상기 외란분류부는 상기 외란 추정 영상의 설정된 영역에서 설정된 휘도값 이상의 상기 화소의 비율이 소정의 임계값을 넘을 때 상기 외란 추정 영상이 포화된 것으로 판단한다.
상기 외란분류부는 상기 외란 추정 영상에서 설정된 휘도값 이하의 상기 화소의 개수가 설정된 비율을 넘을 때 상기 외란 추정 영상이 저조도인 것으로 판단한다.
상기 외란결과판단부는 상기 외란 추정 영상의 외란 판단 시, 결과 버퍼에 상기 외란 여부를 저장하여 상기 영상의 외란 결과를 판단한다.
본 발명의 실시예에 따른 영상 인식 방법은, 차량의 전방 영상 및 후방 영상 중 적어도 하나의 영상을 출력하는 단계, 상기 영상의 가시성을 고려하여 외란으로 추정되는 영상을 출력하는 단계, 상기 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하는 단계, 상기 외란 발생 원인의 누적에 따라 상기 영상의 외란 여부를 판단하는 단계 및 상기 영상에 외란이 발생할 때 영상 인식이 불가능함을 운전자에게 알려주는 단계를 포함한다.
상기 외란 추정 영상 출력 단계는 상기 영상의 인접하는 화소 간 휘도 변화량을 측정하여 외란으로 추정되는 영상을 출력한다.
상기 외란 발생 원인 출력 단계는 상기 외란 추정 영상의 설정된 영역에서 설정된 휘도값 이상의 상기 화소의 비율이 소정의 임계값을 넘을 때 상기 외란 추정 영상이 포화된 것으로 판단한다.
상기 외란 발생 원인 출력 단계는 상기 외란 추정 영상에서 설정된 휘도값 이하의 상기 화소의 개수가 설정된 비율을 넘을 때 상기 외란 추정 영상이 저조도인 것으로 판단한다.
상기 외란 여부 판단 단계는 상기 외란 추정 영상의 외란 판단 시, 결과 버퍼에 상기 외란 여부를 저장하여 상기 영상의 외란 결과를 판단한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 영상 인식 장치 및 영상 인식 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째,　외란추정부가 영상의 가시성을 고려하여 외란으로 추정되는 영상을 우선적으로 출력함으로써 빠른 속도로 외란 추정 영상을 출력하는 장점이 있다.
둘째,　외란 발생 원인의 누적에 따라 영상의 외란 여부를 판단함으로써 정확하게 영상의 외란 유무를 판단하는 장점도 있다.
셋째,　외란 추정 영상의 외란 판단 시, 결과 버퍼에 외란 여부를 저장하여 영상의 외란 결과를 판단함으로써 영상의 오인식 및 미인식을 방지하는 장점도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시례에 따른 영상 인식 장치의 구성을 도시한 구성도이다.
도 2는 도 1에 도시한 외란결과판단부의 결과 버퍼 구조 및 일실시례에 따른 외란 결과 판단 과정을 도시한 것이다.
도 3은 도 1의 일실시례에 따른 영상 인식 장치의 구성의 제어 흐름을 도시한 제어 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 영상 인식 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 도 1은 본 발명의 일실시례에 따른 영상 인식 장치의 구성을 도시한 구성도이다.
본 발명의 일실시례에 따른 영상 인식 장치는 카메라부(100), 외란추정부(200), 외란분류부(300), 안개검출부(400), 렌즈이물질검출부(500), 외란결과판단부(600) 및 영상인식부(700)를 포함한다.
카메라부(100)는 차량의 전방 영상 및 후방 영상 중 적어도 하나의 영상을 출력한다. 카메라부(100)는 영상을 외란추정부(200)에 출력한다.
외란추정부(200)는 영상의 가시성을 고려하여 외란으로 추정되는 영상을 출력한다. 외란추정부(200)는 영상의 인접하는 화소 간 휘도 변화량을 측정하여 외란으로 추정되는 영상을 출력한다. 외란추정부(200)는 외란추정부(200)는 변환된 그레이 영상에서 인접한 화소 간 휘도 변화량(MoG)을 측정하여 휘도 변화량 맵(map)을 산출한다. 외란추정부(200)는 영상의 가시성을 화소 간 변화량인 MoG를 통하여 측정한다. 외란추정부(200)는 화소 간 변화량(MoG)의 값이 설정된 임계치 이상이면 정상 영상으로 판단한다. 외란추정부(200)는 인접 화소 간 변화량(MoG)의 값이 설정된 임계치 미만이면 외란 추정 영상으로 판단한다.
외란추정부(200)는 (수학식 1)에서 화소 간 변화량(MoG)를 산출한다.
Figure 112014099346123-pat00001
외란추정부(200)가 이용하는 (수학식 1)에서 I(x, y)는 좌표 (x, y)에 있는 화소의 휘도를 의미한다. 외란추정부(200)가 이용하는 (수학식 1)에서 m은 설정된 관심영역의 가로 길이이며, n은 설정된 관심영역의 세로 길이이다.
외란추정부(200)는 수신한 영상을 그레이 영상으로 변환한다. 외란추정부(200)는 휘도 변화량 맵에서 관심영역을 설정한다. 외란추정부(200)는 그레이 영상에서 관심영역을 설정할 수 있다. 외란추정부(200)는 관심영역에서 인접 화소 간 휘도 변화량(MoG)의 최소값이 설정된 임계치를 초과하는지 판단한다. 외란추정부(200)가 관심영역에서 인접 화소 간 휘도 변화량(MoG)의 최소값이 설정된 임계치 이하이면 외란분류부(300)에 외란 추정 영상을 출력한다.
외란분류부(300)는 외란추정부(200)가 출력한 외란 추정 영상을 수신한다. 외란분류부(300)는 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력한다. 외란분류부(300)는 외란 추정 영상의 설정된 영역에서 설정된 휘도값 이상의 화소의 비율이 소정의 임계값을 넘을 때 외란 추정 영상이 포화된 것으로 판단한다. 외란분류부(300)는 외란 추정 영상에서 설정된 휘도값 이하의 화소의 개수가 설정된 비율을 넘을 때 외란 추정 영상이 저조도인 것으로 판단한다.
외란분류부(300)는 외란 추정 영상에 영상 포화 현상이 있는지 판단한다. 외란분류부(300)가 판단하는 영상 포화 현상은 차량 정면에서 다가오는 차량의 헤드라이트에 의해 발생할 수 있다. 외란분류부(300)가 판단하는 영상 포화 현상은 차량이 터널에서 빠져나올 때 발생할 수 있다. 외란분류부(300)는 영상 포화 여부를 판단하기 위해 외란 추정 영상에서 설정된 관심영역에서 휘도값이 임계값 이상인 화소의 비율을 측정한다. 외란분류부(300)는 설정된 임계값 이상인 화소의 비율이 설정된 임계값 이상이면 외란 추정 영상에 영상 포화가 발생한 것으로 판단한다.
외란분류부(300)는 외란 추정 영상에서 저(低)조도 여부를 판단한다. 외란분류부(300)가 판단하는 영상의 저조도는 터널 진입 시 또는 야간 조명이 없는 곳에서 발생할 수 있다. 외란분류부(300)는 외란 추정 영상에서 설정된 임계치 이하인 화소의 비율을 측정하여 판단할 수 있다. 외란분류부(300)는 1 프레임 당 5번의 결과를 외란결과판단부(600)의 결과 버퍼 TB1에 출력할 수 있다.
안개검출부(400)는 영상에서 안개가 검출되는지 판단한다. 안개검출부(400)는 안개가 검출되면 외란결과판단부(600)에 안개 검출 결과를 출력한다. 안개검출부(400)는 1 프레임 당 5번의 결과를 외란결과판단부(600)의 결과 버퍼 TB1에 출력할 수 있다. 안개검출부(400)는 외란 추정 영상에서 안개가 검출되면 외란결과판단부(600)의 결과 버퍼 TB1에 안개(FG)를 출력한다. 안개검출부(400)는 외란 추정 영상에서 안개가 검출되지 않으면 외란결과판단부(600)의 결과 버퍼 TB1에 정상(N)을 출력한다. 안개검출부(400)는 외란 추정 영상에서 광원의 위치를 추정한다. 안개검출부(400)는 거리별 가로등의 불빛 영역을 검출한다. 안개검출부(400)는 불빛 영역이 검출된 영역에서 불빛 분산 크기를 검출하여 외란 추정 영상에서 안개를 검출할 수 있다.
렌즈이물질검출부(500)는 외란 추정 영상을 분석하여 카메라부(100)의 렌즈의 이물질 존재 유무를 판단한다. 렌즈이물질검출부(500)는 카메라부(100)의 렌즈에 이물질이 존재하는지 판단하여 렌즈 이물질 유무 판단 결과를 외란결과판단부(600)에 출력한다. 렌즈이물질검출부(500)가 카메라부(100)의 렌즈에 이물질이 있는 것으로 판단하면 외란결과판단부(600)의 결과 버퍼 TB2에 이물질(C)을 출력한다. 렌즈이물질검출부(500)는 외란 추정 영상에서 백색광이 조사되는 것을 감지한다. 렌즈이물질검출부(500)는 백색광이 조사되는 것을 감지하면 센싱 신호에서 복수의 휘도/색채 데이터로 변환한다. 렌즈이물질검출부(500)는 복수의 휘도/색채 데이터를 비교하여 카메라부(100)의 렌즈의 이물질 존재 유무를 판단한다. 렌즈이물질검출부(500)는 1 프레임 당 5 번의 판단결과를 출력할 수 있다.
외란추정부(200)가 관심영역에서 인접한 화소 간 휘도 변화량()의 최소값이 설정된 임계치를 초과하는지 판단하면 외란추정부(200)는 외란결과판단부(600)의 결과 버퍼 TB1에 정상(N)을 출력한다. 외란결과판단부(600)는 결과 버퍼 TB1에 정상(N), 저조도(LC) 및 안개(FG)를 저장한다. 외란결과판단부(600)의 결과 버퍼 TB1에 저장되는 정상(N)은 외란추정부(200) 또는 외란분류부(300)가 판단한 영상이 외란이나 이물질이 없는 정상 영상일 때 저장된다. 외란결과판단부(600)의 결과 버퍼 TB1에 저장되는 저조도(LC)는 외란분류부(300)가 판단한 외란 추정 영상이 포화된 것으로 판단될 때 저장된다. 외란결과판단부(600)의 결과 버퍼 TB1에 저장되는 안개(FG)는 안개검출부(400)가 판단한 외란 추정 영상이 안개가 있는 것으로 판단될 때 저장된다.
외란결과판단부(600)는 외란 발생 원인의 누적에 따라 외란 추정 영상의 외란 결과를 판단한다. 외란결과판단부(600)는 외란 추정 영상의 외란 판단 시, 결과 버퍼에 외란 여부를 저장하여 외란 추정 영상의 외란 결과를 판단한다. 외란결과판단부(600)는 외란분류부(300), 안개검출부(400) 및 렌즈이물질검출부(500) 중 적어도 하나에서 출력한 결과를 동시에 병렬적으로 저장할 수 있다. 외란결과판단부(600)는 일실시례에 따른 결과 버퍼를 포함한다.
외란결과판단부(600)는 외란결과판단부(600)의 결과 버퍼에 일실시례에 따라 외란분류부(300), 안개검출부(400) 및 렌즈이물질검출부(500)가 출력한 5번의 결과를 저장한다. 외란결과판단부(600)의 결과 버퍼가 저장하는 결과의 횟수는 설정에 의해 변경될 수 있다. 외란결과판단부(600)는 외란분류부(300)가 출력한 영상 포화 판단 결과 및 저조도 판단 결과를 일실시례에 따라 1 프레임(frame)마다 저장한다. 외란결과판단부(600)는 안개검출부(400)가 출력한 안개 검출 결과를 일실시례에 따라 1 프레임마다 저장한다. 외란결과판단부(600)는 렌즈이물질검출부(500)가 출력한 렌즈 이물질 유무 판단 결과를 일실시례에 따라 5 프레임마다 저장한다. 외란결과판단부(600)가 결과 버퍼에 외란분류부(300), 안개검출부(400) 및 렌즈이물질검출부(500)가 출력한 결과를 저장하여 외란 결과를 산출하는 과정은 도 2에서 설명한다.
영상인식부(700)는 영상에 외란이 발생할 때 영상 인식이 불가능함을 운전자에게 알려준다. 영상인식부(700)는 음향 및/또는 화면으로 운전자에게 영상 인식이 불가능함을 알려줄 수 있다.
도 2는 도 1에 도시한 외란결과판단부(600)의 결과 버퍼 구조 및 일실시례에 따른 외란 결과 판단 과정을 도시한 것이다. 외란결과판단부(600)의 결과 버퍼는 일실시례에 따라 외란분류부(300), 안개검출부(400) 및 렌즈이물질검출부(500)가 출력한 5번의 결과를 저장한다. 즉 외란분류부(300) 및 안개검출부(400)는 1 프레임 당 5번의 결과를 외란결과판단부(600)의 결과 버퍼 TB1에 출력할 수 있다. 외란결과판단부(600)의 결과 버퍼가 저장하는 결과의 횟수는 설정에 의해 변경될 수 있다. 외란결과판단부(600)는 외란분류부(300)가 출력한 영상 포화 판단 결과 및 저조도 판단 결과를 일실시례에 따라 1 프레임(frame)마다 저장한다. 외란결과판단부(600)는 안개검출부(400)가 출력한 안개 검출 결과를 일실시례에 따라 1 프레임마다 저장한다. 외란결과판단부(600)는 렌즈이물질검출부(500)가 출력한 렌즈 이물질 유무 판단 결과를 일실시례에 따라 5 프레임마다 저장한다. 렌즈이물질검출부(500)는 1 프레임 당 5 번의 판단결과를 출력할 수 있다.
외란결과판단부(600)는 결과 버퍼 TB1에 외란결과판단부(600)는 안개검출부(400)가 출력한 안개 검출 결과를 저장한다. 외란결과판단부(600)는 N 번째 프레임(Frame N)을 수신할 때, 결과 버퍼 TB1에 외란분류부(300) 및 안개검출부(400)가 출력한 결과를 저장한다. 외란결과판단부(600)는 결과 버퍼 TB2에 는 렌즈이물질검출부(500)가 출력한 렌즈 이물질 유무 판단 결과를 저장한다.
일실시례에 따라 외란결과판단부(600)는 결과 버퍼 TB1 및 결과 버퍼 TB2에 저장된 결과의 횟수를 카운트한다. 일실시례에 따라 외란결과판단부(600)는 결과 버퍼 TB1 및 결과 버퍼 TB2에서 가장 많이 감지된 결과를 외란 결과로 출력한다.
외란결과판단부(600)가 N 번째 프레임(Frame N)내지 (N+4)번째 프레임(Frame N+4)(Frame N+4)을 수신할 때, 결과 버퍼 TB1에 외란분류부(300) 및 안개검출부(400)가 출력한 결과를 저장하여 외란 결과를 판단한다. 일실시례에 따라 외란분류부(300)가 N번째 프레임(FRAME N)의 추정 영상에서 외란 추정 영상이 저조도임을 판단하여 4번 저조도(LC)를 출력하면 외란결과판단부(600)는 저조도(LC)를 저장한다. 외란분류부(300)가 외란 추정 영상이 정상이라고 판단하면 정상(N)을 출력하면 외란결과판단부(600)는 정상(N)을 저장한다. 외란결과판단부(600)는 결과 버퍼 TB1에서 저조도(LC)가 가장 많으므로 저조도인 것으로 최종 결론을 산출한다. 외란결과판단부(600)는 N번째 프레임(Frame N)에서 렌즈이물질검출부(500)가 출력한 두 번의 정상(N) 및 세 번의 이물질(C)을 저장한다. 외란결과판단부(600)는 결과 버퍼 TB2에서 가장 많이 저장된 것이 이물질(C)이므로 렌즈에 이물질이 존재함을 최종결론으로 출력한다.
일실시례에 따라 (N+1)번째 프레임(Frame N+1) 내지 (N+4)번째 프레임(Frame N+4)에서 렌즈이물질검출부(500)는 외란결과판단부(600)에 렌즈에 이물질 존재 결과를 출력하지 않을 수 있다.
(N+1)번째 프레임(Frame N+1) 내지 (N+4)번째 프레임(Frame N+4)에서 외란분류부(300) 및 안개검출부(400)는 판단 결과를 외란결과판단부(600)의 결과 버퍼 TB1에 출력한다. 외란결과판단부(600)는 일실시례에 따라 (N+1)번째 프레임(Frame N+1)에서 결과 버퍼 TB1에 두 번의 정상(N) 및 세 번의 저조도(LC)를 저장한다. 외란결과판단부(600)는 저조도(LC)가 가장 많으므로, 저조도인 것으로 외란 결과를 출력한다.
외란결과판단부(600)는 일실시례에 따라 (N+2)번째 프레임(Frame N+2)에서 결과 버퍼 TB1에 세 번의 정상(N) 및 두번의 저조도(LC)를 저장한다. 외란결과판단부(600)는 정상(N)이 가장 많으므로, 정상인 것으로 외란 결과를 출력한다.
외란결과판단부(600)는 일실시례에 따라 (N+3)번째 프레임(Frame N+3)에서 결과 버퍼 TB1에 네 번의 정상(N) 및 한번의 저조도(LC)를 저장한다. 외란결과판단부(600)는 정상(N)이 가장 많으므로, 정상인 것으로 외란 결과를 출력한다.
외란결과판단부(600)는 일실시례에 따라 (N+4)번째 프레임(Frame N+4)에서 결과 버퍼 TB1에 다섯 번의 정상(N)을 저장한다. 외란결과판단부(600)는 정상(N)이 가장 많으므로, 정상인 것으로 외란 결과를 출력한다.
외란분류부(300), 안개검출부(400) 및 렌즈이물질검출부(500)는 (N+5)번째 프레임(Frame N+5)에서 외란결과판단부(600)에 결과를 출력한다. 외란결과판단부(600)는 일실시례에 따라 (N+5)번째 프레임(Frame N+5)에서 결과 버퍼 TB1에 한번의 저조도(LC) 및 네 번의 정상(N)을 저장한다. 외란결과판단부(600)는 정상(N)이 가장 많으므로, 정상인 것으로 외란 결과를 출력한다. 외란결과판단부(600)는 일실시례에 따라 (N+5)번째 프레임(Frame N+5)에서 결과 버퍼 TB2에 세 번의 정상(N) 및 두번의 이물질(C)을 저장한다. 외란결과판단부(600)는 정상(N)이 가장 많으므로 정상인 것으로 외란 결과를 출력한다.
상기와 같이 구성되는 본 발명의 일실시례에 따른 영상 인식 방법의 작용을 설명하면 다음과 같다. 도 3은 도 1의 일실시례에 따른 영상 인식 장치의 구성의 제어 흐름을 도시한 제어 흐름도이다.
카메라부(100)는 차량의 전방 영상 및 후방 영상 중 적어도 하나의 영상을 출력한다(S100).
외란추정부(200)는 수신한 영상을 그레이 영상으로 변환한다(S110).
외란추정부(200)는 변환된 그레이 영상에서 인접한 화소 간 휘도 변화량(MoG)을 측정하여 휘도 변화량 맵(map)을 산출한다(S120). 외란추정부(200)가 (수학식 1)을 통해 휘도 변화량 맵을 산출하는 과정은 위에서 설명하였다.
외란추정부(200)는 휘도 변화량 맵에서 관심영역을 설정한다(S130). 외란추정부(200)는 그레이 영상에서 관심영역을 설정할 수 있다.
외란추정부(200)는 관심영역에서 인접한 화소 간 휘도 변화량()의 최소값이 설정된 임계치를 초과하는지 판단한다(S140). 외란추정부(200)가 관심영역에서 인접한 화소 간 휘도 변화량(MoG)의 최소값이 설정된 임계치를 초과하면 외란추정부(200)는 외란결과판단부(600)의 결과 버퍼 TB1에 정상(N)을 출력한다.
외란추정부(200)가 관심영역에서 인접한 화소 간 휘도 변화량(MoG)의 최소값이 설정된 임계치 이하이면 외란분류부(300) 및 렌즈이물질검출부(500)에 영상을 출력한다.
외란분류부(300)는 외란 추정 영상에 영상 포화 현상이 있는지 판단한다(S150). 외란분류부(300)는 외란 추정 영상의 설정된 영역에서 설정된 휘도값 이상의 화소의 비율이 소정의 임계값을 넘을 때 외란 추정 영상이 포화된 것으로 판단한다.
외란분류부(300)는 외란 추정 영상에 영상 포화 현상이 있을 때 외란결과판단부(600)의 결과 버퍼 TB1에 영상포화(OC)를 출력한다(S160).
외란분류부(300)는 외란 추정 영상에 영상 포화 현상이 없으면 영상의 조도가 낮은지 판단한다(S170). 외란분류부(300)는 외란 추정 영상에서 설정된 휘도값 이하의 화소의 개수가 설정된 비율을 넘을 때 외란 추정 영상이 저조도인 것으로 판단한다.
외란분류부(300)는 영상의 조도가 저조도이면 외란결과판단부(600)의 결과 버퍼 TB1에 저조도(LC)를 출력한다(S180).
외란분류부(300)는 영상의 조도가 낮지 않을 때 안개검출부(400)는 외란 추정 영상에서 안개가 검출되는지 판단한다(S190).
안개검출부(400)는 외란 추정 영상에서 안개가 검출될 때 외란결과판단부(600)의 결과 버퍼 TB1에 안개(FG)를 출력한다(S200).
안개검출부(400)는 외란 추정 영상에서 안개가 검출되지 않으면 외란결과판단부(600)의 결과 버퍼 TB1에 정상(N)을 출력한다(S210).
렌즈이물질검출부(500)는 외란 추정 영상을 분석하여 카메라부(100)의 렌즈의 이물질 존재 유무를 판단한다(S220).
렌즈이물질검출부(500)가 카메라부(100)의 렌즈에 이물질이 있는 것으로 판단하면 외란결과판단부(600)의 결과 버퍼 TB2에 이물질(C)을 출력한다(S230).
렌즈이물질검출부(500)가 카메라부(100)의 렌즈에 이물질이 없는 것으로 판단하면 외란결과판단부(600)의 결과 버퍼 TB2에 정상(N)을 출력한다(S240).
외란결과판단부(600)는 외란추정부(200)가 관심영역에서 인접한 화소 간 휘도 변화량(MoG)의 최소값이 설정된 임계치를 초과한 것으로 판단하면 결과 버퍼 TB1에 정상(N)을 저장한다(S250). 외란결과판단부(600)는 결과 버퍼 TB1에 외란분류부(300)가 출력한 정상(N)을 저장한다. 외란결과판단부(600)는 결과 버퍼 TB1에 외란분류부(300)가 출력한 저조도(LC)를 저장한다. 외란결과판단부(600)는 결과 버퍼 TB1에 안개검출부(400)가 출력한 안개(FG)를 저장한다. 외란결과판단부(600)는 결과 버퍼 TB1에 안개검출부(400)가 출력한 정상(N)을 저장한다. 외란결과판단부(600)는 결과 버퍼 TB2에 렌즈이물질검출부(500)가 출력한 이물질(C)을 저장한다. 외란결과판단부(600)는 결과 버퍼 TB2에 렌즈이물질검출부(500)가 출력한 정상(N)을 저장한다.
외란결과판단부(600)는 외란분류부(300), 안개검출부(400) 및 렌즈이물질검출부(500) 중 적어도 하나에서 출력한 결과를 동시에 병렬적으로 저장할 수 있다.
외란결과판단부(600)가 가장 많이 저장된 결과에서 가장 많은 결과를 판단하여 외란 결과를 산출하는 것은 도 2에서 설명하였다.
영상인식부(700)는 외란결과판단부(600)가 출력한 외란 결과에 따라, 영상에 외란이 발생할 때 영상 인식이 불가능함을 운전자에게 알려준다(S260). 영상인식부(700)는 음향 및/또는 화면으로 운전자에게 영상 인식이 불가능함을 알려줄 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 카메라부
200 : 외란추정부
300 : 외란분류부
400 : 안개검출부
500 : 렌즈이물질검출부
600 : 외란결과판단부
700 : 영상인식부

Claims (10)

  1. 차량의 전방 영상 및 후방 영상 중 적어도 하나의 영상을 출력하는 카메라부;
    상기 출력한 영상을 그레이 영상으로 변환하고,상기 변환된 그레이 영상에서 인접한 화소 간 휘도 변화량을 측정하여 휘도 변화량 맵을 산출하고, 상기 휘도 변화량 맵에서 관심영역을 설정하고, 설정된 관심영역에서 상기 휘도 변화량의 최소값이 설정된 임계치를 초과하는지 여부를 판단하여, 상기 휘도 변화량의 최소값이 설정된 임계치를 초과하면 결과 버퍼에 정상을 출력하고, 임계치 이하이면 영상의 가시성을 고려하여 외란으로 추정되는 영상(이하, 외란 추정 영상)을 출력하는 외란추정부;
    상기 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하는 외란분류부;
    상기 외란 추정 영상에서 불빛 분산 크기를 산출하여 안개를 검출하는 안개 검출부;
    상기 외란 추정 영상에서 백색광 조사를 감지하고, 휘도/색채 데이터를 비교하여 상기 카메라부의 렌즈의 이물질을 검출하는 이물질검출부;
    상기 외란 발생 원인의 누적에 따라 상기 영상의 외란 여부를 판단하는 외란결과판단부; 및
    상기 영상에 외란이 발생할 때 영상 인식이 불가능함을 운전자에게 알려주는 영상인식부; 를 포함하고,
    상기 외란분류부는, 상기 외란 추정 영상에서 설정된 관심영역에서의 설정된 휘도값 이상의 상기 화소의 비율이 소정의 임계값을 넘을 때 상기 외란 추정 영상이 포화된 것으로 판단하고, 상기 외란 추정 영상에서 설정된 휘도값 이하의 상기 화소의 개수가 설정된 비율을 넘을 때 상기 외란 추정 영상이 저조도인 것으로 판단하고,
    상기 외란결과판단부는 상기 외란 추정 영상의 프레임 당 복수회의 상기 영상 포화, 저조도 및 안개 검출 결과를 제1 결과버퍼(TB1)에 누적 저장하고, 이물질의 검출 횟수를 제2 결과 버퍼(TB2)에 누적 저장하고, 상기 제1 및 제2 결과버퍼에서의 각 영상 포화, 저조도, 안개 및 이물질의 검출 횟수가 복수회 저장되도록 설정된 각 결과버퍼의 횟수 내에서 다른 검출 결과의 검출 횟수를 초과하는지 여부를 판단하여 상기 영상의 외란 여부를 판단하는 영상 인식 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 차량의 전방 영상 및 후방 영상 중 적어도 하나의 영상을 출력하는 단계;
    상기 출력한 영상을 그레이 영상으로 변환하는 단계;
    상기 변환된 그레이 영상에서 인접한 화소 간 휘도 변화량을 측정하여 휘도 변화량 맵을 산출하는 단계;
    상기 휘도 변화량 맵에서 관심영역을 설정하고, 설정된 관심영역에서 상기 휘도 변화량의 최소값이 설정된 임계치를 초과하는지 여부를 판단하는 단계;
    상기 휘도 변화량의 최소값이 설정된 임계치를 초과하면 결과 버퍼에 정상을 출력하고, 임계치 이하이면 영상의 가시성을 고려하여 외란으로 추정되는 영상(이하, 외란 추정 영상)을 출력하는 단계;
    상기 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하는 단계;
    상기 외란 추정 영상에서 불빛 분산 크기를 산출하여 안개를 검출하는 단계;
    상기 외란 추정 영상에서 백색광 조사를 감지하고, 휘도/색채 데이터를 비교하여 상기 영상을 촬영하는 카메라의 렌즈의 이물질을 검출하는 단계;
    상기 외란 발생 원인의 누적에 따라 상기 영상의 외란 여부를 판단하는 단계; 및
    상기 영상에 외란이 발생할 때 영상 인식이 불가능함을 운전자에게 알려주는 단계; 를 포함하고,
    상기 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하는 단계는,
    상기 외란 추정 영상에서 설정된 관심영역에서의 설정된 휘도값 이상의 상기 화소의 비율이 소정의 임계값을 넘을 때 상기 외란 추정 영상이 포화된 것으로 판단하고, 상기 외란 추정 영상에서 설정된 휘도값 이하의 상기 화소의 개수가 설정된 비율을 넘을 때 상기 외란 추정 영상이 저조도인 것으로 판단하고,
    상기 영상의 외란 여부를 판단하는 단계는,
    상기 외란 추정 영상의 프레임 당 복수회의 상기 영상 포화, 저조도 및 안개 검출 결과를 제1 결과버퍼(TB1)에 누적 저장하고, 이물질의 검출 결과를 제2 결과버퍼(TB2)에 누적 저장하고, 상기 제1 및 제2 결과버퍼에서의 각 영상 포화, 저조도, 안개 및 이물질의 검출 횟수가 복수회 저장되도록 설정된 각 결과버퍼의 횟수 내에서 다른 검출 결과의 검출 횟수를 초과하는지 여부를 판단하여 상기 영상의 외란 여부를 판단하는 영상 인식 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020140141124A 2014-10-17 2014-10-17 영상 인식 장치 및 영상 인식 방법 KR102339512B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140141124A KR102339512B1 (ko) 2014-10-17 2014-10-17 영상 인식 장치 및 영상 인식 방법
CN201510663308.9A CN105530404B (zh) 2014-10-17 2015-10-14 影像识别装置及影像识别方法
US14/885,197 US9928444B2 (en) 2014-10-17 2015-10-16 Image recognizing apparatus and method that informs the driver that the image is not recognized when it is determined that a disturbance occurs in the image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140141124A KR102339512B1 (ko) 2014-10-17 2014-10-17 영상 인식 장치 및 영상 인식 방법

Publications (2)

Publication Number Publication Date
KR20160045480A KR20160045480A (ko) 2016-04-27
KR102339512B1 true KR102339512B1 (ko) 2021-12-16

Family

ID=55749317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140141124A KR102339512B1 (ko) 2014-10-17 2014-10-17 영상 인식 장치 및 영상 인식 방법

Country Status (3)

Country Link
US (1) US9928444B2 (ko)
KR (1) KR102339512B1 (ko)
CN (1) CN105530404B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016111858A1 (de) 2015-11-30 2017-06-01 Electronics And Telecommunications Research Institute DLMS-Server, DLMS-Client und Verfahren für die DLMS-Kommunikationssicherheit
CN106203272B (zh) * 2016-06-29 2018-07-20 上海小蚁科技有限公司 确定可移动对象的移动的方法和装置
CN106845346A (zh) * 2016-12-16 2017-06-13 北京无线电计量测试研究所 一种用于机场跑道异物检测的图像检测方法
JP7163766B2 (ja) * 2018-12-28 2022-11-01 株式会社デンソーテン 付着物検出装置および付着物検出方法
US11367169B2 (en) 2019-04-26 2022-06-21 Lg Electronics Inc. Method for processing picture of automatic driving vehicle
CN113989200A (zh) * 2021-10-14 2022-01-28 上海原能细胞生物低温设备有限公司 样本干扰识别装置、方法、电子设备及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008197863A (ja) * 2007-02-13 2008-08-28 Hitachi Ltd 車載用走行環境認識装置
US20100172542A1 (en) 2007-12-06 2010-07-08 Gideon Stein Bundling of driver assistance systems

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5615862B2 (ja) * 2012-03-07 2014-10-29 クラリオン株式会社 車両周囲監視装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008197863A (ja) * 2007-02-13 2008-08-28 Hitachi Ltd 車載用走行環境認識装置
US20100172542A1 (en) 2007-12-06 2010-07-08 Gideon Stein Bundling of driver assistance systems

Also Published As

Publication number Publication date
US20160110606A1 (en) 2016-04-21
CN105530404B (zh) 2018-12-28
CN105530404A (zh) 2016-04-27
US9928444B2 (en) 2018-03-27
KR20160045480A (ko) 2016-04-27

Similar Documents

Publication Publication Date Title
KR102339512B1 (ko) 영상 인식 장치 및 영상 인식 방법
US9904860B2 (en) Vehicle exterior environment recognition apparatus
US7566851B2 (en) Headlight, taillight and streetlight detection
US9317757B2 (en) Method and apparatus for detecting a rear vehicle light
US9892330B2 (en) Night-time front vehicle detection and location measurement system using single multi-exposure camera and method therefor
KR101610036B1 (ko) 터널 판단 장치 및 터널 판단 방법
US10220782B2 (en) Image analysis apparatus and image analysis method
US10037473B2 (en) Vehicle exterior environment recognition apparatus
KR20100104495A (ko) 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
US10121083B2 (en) Vehicle exterior environment recognition apparatus
RU2013132011A (ru) Устройство помощи при вождении и способ обнаружения транспортного средства рядом с ним
RU2015106690A (ru) Устройство обнаружения капель воды и устройство обнаружения трехмерных объектов с использованием устройства обнаружения капель воды
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
KR20150022076A (ko) 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치
KR102066290B1 (ko) 차량의 영상인식장치 및 그 방법
JP6672202B2 (ja) 車載カメラシステム、付着物検出装置、付着物除去方法、及び付着物検出プログラム
WO2019021500A1 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
KR101263158B1 (ko) 차량의 검출 방법 및 장치
JP2015215645A (ja) 解析装置、解析方法、及び、プログラム
JP5056679B2 (ja) ナイトビューシステム
KR102188162B1 (ko) 안개 상황에서 차량 검출 방법 및 시스템
KR20140054922A (ko) 전방 차량 인식 방법 및 장치
KR101547239B1 (ko) 배경영상 추출 기반 카메라 영상밝기 조절 시스템 및 방법
KR102028837B1 (ko) 전방 차량 출발 알림 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)