KR20090009944A - 오염 검출 장치 - Google Patents

오염 검출 장치 Download PDF

Info

Publication number
KR20090009944A
KR20090009944A KR1020087029606A KR20087029606A KR20090009944A KR 20090009944 A KR20090009944 A KR 20090009944A KR 1020087029606 A KR1020087029606 A KR 1020087029606A KR 20087029606 A KR20087029606 A KR 20087029606A KR 20090009944 A KR20090009944 A KR 20090009944A
Authority
KR
South Korea
Prior art keywords
image
pixel
contamination
pollution degree
pollution
Prior art date
Application number
KR1020087029606A
Other languages
English (en)
Other versions
KR101078474B1 (ko
Inventor
미츠아키 후쿠다
소이치 하마
다카히로 아오키
도시오 엔도
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20090009944A publication Critical patent/KR20090009944A/ko
Application granted granted Critical
Publication of KR101078474B1 publication Critical patent/KR101078474B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

가동계를 갖지 않고 정점(定點)에 고정한 화상 촬영부에서 촬영한 촬영 화상 중에서 피사체 영역 추출부에서 비교의 대상으로 하는 피사체를 자동적으로 검출하고, 그 피사체 내측의 화상 영역을 추출한다. 피사체 내측의 화상 영역을 추출한 최근의 복수의 영역 추출 화상을 영역 추출 화상 기억부에서 유지한다. 그리고 오염도 산출부에서 유지한 영역 추출 화상을 비교한다. 오염도 산출부에서는, 유지한 피사체 영역 화상을 화소마다 비교하고, 오염이 부착되었을 때에 발생할 가능성이 높은 상황을 나타내고 있는 경우에, 오염도 기억부에 기억되어 있는 그 화소의 오염도의 값을 올리고, 반대의 경우는 오염도 기억부에 기억되어 있는 그 화소의 오염도의 값을 내리는 처리를 행한다. 화상을 촬영할 때마다 피사체 영역 추출과 오염도 산출을 행하고, 오염도 기억부의 정보를 갱신한다. 오염 판정부에서는, 오염도 기억부에 저장된 오염도의 정보를 기초로 오염이 부착되어 있는지의 여부, 또는, 오염의 부착 정도를 판정 결과로서 출력한다.

Description

오염 검출 장치{UNCLEANNESS DETECTING DEVICE}
본 발명은, 정점(定點)에 설치한 감시 카메라나 검사 장치 등에 사용되는 화상을 촬영하는 장치의 외부에 노출된 이미지 센서 표면에 부착된 오염이나 이물의 검출 기술에 관한 것이다.
감시 카메라나 검사 장치의 용도에 있어서는, 이미지 센서의 성능의 범위에 있어서 가능한 한 선명한 화상을 촬영하는 것이 중요하다. 그러나, 장치의 외부에 노출된 센서 표면에 부착된 오염이나 이물은 선명한 화상 촬영의 장해가 되고, 그와 같은 조건으로 촬영한 화상을 이용하여 처리를 행하면 장치의 오동작 등으로 이어질 가능성이 있다.
제조물의 검사 장치 등으로, 동일한 형상의 물체를 촬영하는 경우는, 미리 이전에 촬영한 기준 화상과 비교함으로써, 다르게 비쳐지고 있는 부분이 있으면, 그것은 오염이나 이물의 혼입이라고 판단할 수 있으나, 다른 형상의 물체를 검사하는 경우는, 미리 촬영한 기준 화상과의 비교는 불가능하다. 또한, 오염 검출을 위해서 정기적으로 동일한 기준 화상을 촬영하여 비교하는 경우는, 동일한 기준 화상을 촬영하기 위한 시간이나 수고가 필요하고, 또한 기준 화상의 촬영이 불가능한 용도에서는 이 방법을 취할 수 없다.
또한 특허 문헌 1에 기재된 센서 표면에 부착된 오염이나 이물의 검출 기술은, 감시 카메라의 센서 표면이 촬영 화상의 단(端)에 비치도록 거울을 설치하고, 그 촬영 화상을 화상 처리함으로써 오염·이물을 검출하는 것이다. 이 종래 기술은, 센서 밖에 거울을 설치하기 때문에 장치의 대형화나 비용 상승으로 이어지고, 또한, 촬영 화상의 일부가 숨는 것에 의한 감시 카메라로서의 성능 저하도 초래한다는 과제가 있었다.
또한 특허 문헌 2에 기재된 센서 표면에 부착된 오염이나 이물의 검출 기술은, 렌즈나 조리개 등 촬상계를 구동하여 다른 촬영 조건을 만들어 내어 복수 화상을 촬영하고, 그 복수 화상 간의 불변 부분을 오염이나 이물이라고 판정하는 것이다. 이 종래 기술은, 렌즈나 조리개 등의 가동부를 가짐으로써 비용이 상승하고, 또한 복수 화상 간에 있어서의 불변 부분을 오염이라고 판정하기 때문에, 본래 오염이 아닌 배경을 불변 부분이라고 하여 잘못해서 오염이라고 판정해 버릴 가능성이 있다는 과제가 있었다.
특허 문헌 1: 일본 특허 공개 제2001-8193호 공보
특허 문헌 2: 일본 특허 공개 제2004-172820호 공보
본 발명은, 가동계를 갖지 않고 정점에 고정한 화상 촬영부에서 촬영한 촬영 화상 중에서 피사체 영역 추출부에서 비교의 대상으로 하는 피사체를 자동적으로 검출하고, 그 피사체 내측의 화상 영역을 추출한다. 이에 따라 잘못해서 배경 등을 오염이라고 잘못 판정하는 것을 억제한다. 또한 피사체 내측의 화상 영역을 추출한 최근의 복수의 영역 추출 화상을 영역 추출 화상 기억부에서 유지한다. 그리고 오염도 산출부에서 유지한 영역 추출 화상을 비교한다. 오염도 산출부에서는, 유지한 피사체 영역 화상을 화소마다 비교하고, 오염이 부착되었을 때에 발생할 가능성이 높은 상황을 나타내고 있는 경우에, 오염도 기억부에 기억되어 있는 그 화소의 오염도의 값을 올리는 처리를 행한다. 오염이 아니라고 할 가능성이 높은 상황을 나타낸 경우는, 반대로 오염도 기억부에 기억되어 있는 그 화소의 오염도의 값을 내리는 처리를 행한다. 이렇게 해서, 화상을 촬영할 때마다 피사체 영역 추출과 오염도 산출을 행하고, 오염도 기억부의 정보를 갱신한다. 최종적으로 오염 판정부에서는, 오염도 기억부에 저장된 오염도의 정보를 기초로 오염이 부착되어 있는지의 여부, 또는, 오염의 부착 정도를 판정 결과로서 출력한다.
본 발명에 따르면, 복수의 촬영 화상의 화소값을 비교하기 전에, 각 촬영 화상 중의 피사체 영역 추출을 행함으로써, 촬영하고 싶은 피사체에 겹쳐져 처리의 방해가 되는 오염만을 확실하게 검출할 수 있게 된다. 종래 기술과 달리 배경 등을 잘못해서 오염이라고 판정하는 것을 방지할 수 있다. 또한 오염도 산출부는 복수 화상의 비교를 반복하여 오염의 확률이 높은 화소를 추출하고, 그 확률 정보를 기초로 오염 판정부에서 오염 부착인지의 여부를 판정하도록 하고 있기 때문에, 1장의 촬영 화상으로부터는 언뜻 보아 오염처럼 보이는 화상 중의 모양을 잘못해서 오염이라고 판정하는 일이 없다.
또한, 본 발명에 따르면, 종래 기술과 달리, 운용 전에 미리 기준 화상(기준지 등)을 촬영해 둔다고 하는 것과 같은 초기 설정(캘리브레이션)이 불필요해져, 매우 간단하게 운용을 개시할 수 있다. 사용자는 오염 판정부의 출력을 보고 장치의 청소나 교환 등을 행함으로써, 오염이 부착된 채로 운용을 계속하는 것에 의한 감시 장치 등의 성능의 저하 등을 방지할 수 있다. 또한, 판정 결과를 이용하여 장치의 사용을 자동적으로 정지하는 것도 가능하여, 오염이 부착된 채로 운용하는 것에 의한 단점을 방지할 수 있다.
또한 종래 기술과 달리, 오염 검출 전용의 하드웨어가 불필요하고, 또한 촬상계를 기계적으로 구동하여 다른 촬영 조건을 설정할 필요가 없으며, 구동부가 없는 장치로 이물을 검출하는 것이 가능해져, 구동계를 갖는 것에 의한 메인터넌스 작업의 일손 및 수고를 삭감할 수 있기 때문에 종래 기술보다도 저비용화가 가능하다.
도 1은 본 발명의 제1 실시형태에 따른 오염 검출 방식의 구성을 도시하는 블록도이다.
도 2A는 본 발명의 제1 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 2B는 본 발명의 제1 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 3은 본 발명의 제1 실시형태에 따른 오염 검출 방식의 개념적 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시형태에서 이용하는 오염도 함수의 일례를 도시하는 그 래프이다.
도 5는 본 발명의 실시형태에서 이용하는 오염도를 산출하는 표이다.
도 6은 본 발명의 실시형태에서 이용하는 특정 화소의 근방을 참조하여 오염도를 산출하는 설명도이다.
도 7은 본 발명의 실시형태에 따른 오염 판정부에서 실시하는 제1 오염 판정 방법을 설명하기 위한 도면이다.
도 8은 도 7에 도시한 제1 오염 판정 방법의 동작을 설명하기 위한 플로우차트이다.
도 9는 본 발명의 실시형태에 따른 오염 판정부에서 실시하는 제2 오염 판정 방법을 설명하기 위한 도면이다.
도 10은 도 9에 도시한 제2 오염 판정 방법의 동작을 설명하기 위한 플로우차트이다.
도 11은 본 발명의 제2 실시형태에 따른 오염 검출 방식의 구성을 도시하는 블록도이다.
도 12A는 본 발명의 제2 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 12B는 본 발명의 제2 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 13은 본 발명의 제3 실시형태에 따른 오염 검출 방식의 구성을 도시하는 블록도이다.
도 14A는 본 발명의 제3 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 14B는 본 발명의 제3 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 14C는 본 발명의 제3 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 15는 본 발명의 제4 실시형태에 따른 오염 검출 방식의 구성을 도시하는 블록도이다.
도 16A는 본 발명의 제4 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 16B는 본 발명의 제4 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트이다.
도 17은 본 발명의 제4 실시형태에 따른 오염도 기억 초기화부의 동작을 설명하기 위한 플로우차트이다.
이하, 본 발명의 실시형태를, 도면을 참조하면서 상세히 설명한다.
[제1 실시형태]
도 1은 본 발명의 제1 실시형태에 따른 오염 검출 방식의 구성을 도시하는 블록도이다. 도 1에 있어서 본 발명의 제1 실시형태에 따른 오염 검출 방식은, 감시 등의 목적으로 가동계를 갖지 않고 항상 화상을 계속 촬영하는 정점에 고정한 화상 촬영부(11)와, 화상 촬영부(11)가 촬영한 화상을 기억하는 촬영 화상 기억부(12)와, 촬영 화상 기억부(12)가 기억한 촬영 화상 중에 목적의 피사체(예컨대 차량 등)가 비치고 있는 것을 검출하고 상기 피사체의 영역을 뽑아내어 영역 추출 화상을 생성하는 피사체 영역 추출부(13)와, 피사체 영역 추출부(13)가 영역 추출한 최근의 2장 이상의 촬영 화상을 축적하는 영역 추출 화상 기억부(14)와, 영역 추출 화상 기억부(14)에 축적된 복수의 영역 추출 화상을 화소마다 비교하여 오염도를 산출하는 오염도 산출부(15)와, 산출한 오염도를 화소마다 기억하는 오염도 기억부(16)와, 오염도 기억부(16)로부터 독출된 화소마다의 오염도를 평가하여 오염 부착의 유무 또는 오염 정도를 출력하는 오염 판정부(17)를 구비하여 구성된다.
도 2A 및 도 2B는, 본 발명의 제1 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트를 도시하는 도면이다. 도 2A의 단계 S11에 있어서 화상 촬상부(11)는 최신의 화상 I1을 촬영한다. 다음으로 단계 S12에서는 촬영한 화상 I1을 촬영 화상 기억부(12)에 보존한다. 단계 S13에서는 피사체 영역 추출부(13)가 촬영 화상 기억부(12)에 보존한 화상 I1을 화상 처리하고, 촬영 대상인 피사체의 영역을 뽑아내어, 영역 추출 화상 E1을 생성한다. 단계 S14에서는 뽑아낸 피사체 영역의 화상 E1을, 영역 추출 화상 기억부(14)에 보존한다. 이미 영역 추출 화상 기억부(14)에 화상 E1으로서 기억되어 있는 화상이 있으면, 그것은 하나 앞의 화상 E2로서 보존한다.
단계 S15에서는 오염도 산출부(15)가 화상 중의 임의의 1화소를 가리키는 화소 좌표 변수 (X, Y)를, 최초의 화소(좌측 상단 등)를 나타내도록 초기화한다. 단계 S16에서는 영역 추출 화상 기억부(14)에 기억되어 있는 최신의 화상 E1으로부터 화소 좌표 변수 (X, Y)가 가리키는 화소의 화소값 A1을 독출한다. 단계 S17에서는 영역 추출 화상 기억부(14)에 기억되어 있는 1회 앞의 화상 E2로부터 화소 좌표 변수 (X, Y)가 가리키는 화소의 화소값 A2를 독출한다. 단계 S18에서는 화소값 A1, A2를 기초로, 그 화소에 오염이 부착되어 있는지의 여부를 나타내는 오염도 P1을 산출한다. 오염도 P1은, 화소값 A1, A2의 함수로서, P1=F(A1, A2)로 표시할 수 있다.
도 2B의 단계 S19에서는 오염도 기억부(16)의 화소 좌표 변수 (X, Y)가 나타내는 화소의 오염도 P2를 독출한다. 단계 S20에서는 오염도 P1, P2로부터, 새로운 오염도 P3를 산출한다. 오염도 P3는, 오염도 P1, P2의 함수로서, P3=G(P1, P2)로 표시할 수 있다. 그리고 단계 S21에서는 오염도 기억부(16)의 화소 좌표 변수 (X, Y)가 가리키는 화소의 오염도의 값으로서, P3를 기록한다.
단계 S22에서는 화소 좌표 변수 (X, Y)는 화상 중의 최후의 화소인지, 즉 전체 화소를 처리했는지를 판정한다. 전체 화소를 처리하고 있지 않으면 단계 S23으로 진행되고, 단계 S23에서 화소 좌표 변수 (X, Y)를 다음의 화소를 가리키도록 갱신하고, 도 2A의 단계 S16으로 되돌아간다. 한편, 전체 화소를 처리하고 있으면 단 계 S24로 진행되고, 단계 S24에서, 오염 판정부(17)는 오염도 기억부(16)에 기억된 전체 화소의 오염도를 합계한 값 P를 구하고, 오염 판정 임계값 Pth와 비교한다. 단계 S25에서는 값 P가 임계값 Pth보다 큰지를 판정한다. 크다면, 단계 S26으로 진행되고, 단계 S26에서 「오염이 부착되어 있다」고 판정하고, 판정 결과를 출력하며, 그 후에 처리를 종료한다. 한편, 크지 않으면, 단계 S27로 진행되고, 단계 S27에서 「오염이 부착되어 있지 않다」고 판정하고, 그 후, 도 2A의 단계 S11로 되돌아간다.
이와 같이 본 발명의 제1 실시형태에 따른 오염 검출 방식에 따르면, 복수의 촬영 화상의 화소값을 비교하기 전에, 각 촬영 화상 중의 피사체 영역 추출을 행함으로써, 촬영하고 싶은 피사체에 겹쳐져 처리의 방해가 되는 오염만을 확실하게 검출할 수 있게 된다. 종래 기술과 달리 배경 등을 잘못해서 오염이라고 판정하는 것을 방지할 수 있다. 또한 오염도 산출부는 복수 화상의 비교를 반복하여 오염의 확률이 높은 화소를 추출하고, 그 확률 정보를 기초로 오염 판정부에서 오염 부착인지의 여부를 판정하도록 하고 있기 때문에, 1장의 촬영 화상으로부터는 언뜻 보아 오염처럼 보일 것 같은 화상 중의 모양을 잘못해서 오염이라고 판정하는 일이 없다.
또한, 본 발명에 따르면, 종래 기술과 달리, 운용 전에 미리 기준 화상(기준지 등)을 촬영해 둔다고 하는 것과 같은 초기 설정(캘리브레이션)이 불필요해져, 매우 간단하게 운용을 개시할 수 있다. 사용자는 오염 판정부의 출력을 보고 장치 의 청소나 교환 등을 행함으로써, 오염이 부착된 채로 운용을 계속하는 것에 의한 감시 장치 등의 성능의 저하 등을 방지할 수 있다. 또한, 판정 결과를 이용하여 장치의 사용을 자동적으로 정지하는 것도 가능하여, 오염이 부착된 채로 운용하는 것에 의한 단점을 방지할 수 있다.
또한 종래 기술과 달리, 오염 검출 전용의 하드웨어가 불필요하고, 또한 촬상계를 기계적으로 구동하여 다른 촬영 조건을 설정할 필요가 없으며, 구동부가 없는 장치로 이물을 검출하는 것이 가능해져, 구동계를 갖는 것에 의한 메인터넌스 작업의 일손 및 수고를 삭감할 수 있기 때문에 종래 기술보다도 저비용화가 가능하다.
도 3은 상술한 본 발명의 제1 실시형태에 따른 오염 검출 방식의 개념적 동작을 설명하기 위한 흐름도이다. 본 도면에서는, 화상 촬영부(11)가 정점 고정 카메라인 예이며, 상기 카메라로 화상을 계속 촬영하고, 촬영한 화상을 촬상 화상 기억부(12)에 계속 축적한다. 목적의 피사체가 차량이라고 하여 피사체 영역 추출부(13)는 피사체 영역만을 추출 처리하고, 영역 추출 화상 기억부(14)에 기억한다. 본 실시형태에서는 촬영 대상으로 하는 피사체의 영역만을 오염 검출의 대상 영역으로 하고, 피사체에 겹쳐져 비치는 오염·이물만을 검출하여, 피사체 주위에 비치고 있는 배경 화상을 오염·이물로 잘못 검출하지 않도록 하고 있다.
오염도 산출부(15)는, 2장 이상의 촬영 화상 중에서 각각 추출된 영역 내에 있어서 화소마다 비교한다. 부착된 오염은 다른 피사체를 찍은 경우라도 동일한 위치에 동일한 화소값으로 비치는 성질을 이용하여, 화소값이 동일한 화소를 오염 후 보로서 오염도 기억부(16)에 기록한다. 이때에 단순히 1회의 비교로 오염 부착이라고 판정하지 않고, 비교 결과에 입각하여 오염도를 올렸다 내렸다 한다. 이와 같은 화상의 비교를 몇 회나 반복함으로써, 각 화소에 있어서의 오염도가 서서히 수속되어, 진짜 오염 부위의 오염도는 높아지고, 오염이 아닌 부분의 오염도는 낮아진다. 이에 따라, 대상으로 하는 피사체가 비교적 비슷한 화상이고 오염·이물 이외의 부분에서 비슷한 화소값을 갖는 영역이 있었던 경우라도, 많은 화상의 비교 결과를 누적함으로써, 오염·이물 이외의 화소 부분은 상쇄되어 오염도가 낮아지지만, 진짜 오염·이물의 화소는 오염도가 높아지기 때문에, 오검출을 방지할 수 있다.
여기서 본 발명의 실시형태에 따른 오염도의 산출법에 대해서 설명한다. 본 실시형태에서는, 이하에 나타내는 몇 가지의 오염도 산출법을 이용할 수 있다.
(제1 오염도 산출법)
오염도를 P, 최신의 촬영 화상의 임의 좌표 (x, y)의 화소값을 A(x, y), 하나 앞의 촬영 화상의 임의 좌표 (x, y)의 화소값을 B(x, y)로 했을 때, 오염도 P는,
P=F(A(x, y), B(x, y))
라고 하는 함수에 의해 오염도를 산출한다.
함수의 내용은 임의이지만, 화소값의 차 (A(x, y)-B(x, y))의 절대값이 작을 때에, 오염도 P가 최대가 되는, 예컨대, 도 4에 도시하는 바와 같은 특성을 갖는 함수를 이용한다.
(제2 오염도 산출법)
최신의 촬영 화상의 임의 좌표 (x, y)의 화소값 A(x, y) 및 하나 앞의 촬영 화상의 임의 좌표 (x, y)의 화소값 B(x, y)를 각각 세로축, 가로축의 값으로 하고, 도 5에 도시하는 바와 같은 표를 참조하여, 그 값을 오염도 P의 값으로서 이용한다(도 5의 표 중에 없는 경우는 근방의 값을 기초로 보간하고, 그 보간값을 오염도의 값으로 함). 도 5는, 화소가 흑색에 가깝고, 또한, A(x, y), B(x, y)가 가까운 값인 경우에 오염도 P가 커지는 것과 같은 오염 검출 필터 처리를 행하는 표이다.
(제3 오염도 산출법)
도 6은 제3 오염도 산출법을 설명하는 도면이며, 최신의 촬영 화상의 임의 좌표 (x, y)의 오염도를 산출할 때에, 그 좌표 (x, y)의 화소값뿐 만이 아니라, 좌표 (x, y) 근방의 화소값도 이용하여, 오염도 P를 산출한다. 그 경우, 도 6의 (a)에 도시되는 바와 같이, 중심 화소가 동일한 화소값이고, 근방의 화소도 포함해서 비슷할 때에만, 오염도가 크다고 판단한다. 또한, 도 6의 (c)에 도시되는 바와 같이, 오염 부착 시에 특징적인 화상 패턴이 아닐 때는, 주위의 패턴이 비슷해도 오염도는 작다고 판단한다. 즉, 중심 화소는 동일한 화소값이지만, 주위도 포함해서 보면 오염 부착 시에 보여지는 특징적인 화상 패턴이 아닐 때에는 오염도는 작다고 판단한다. 또, 도 6의 (b)에 도시되는 바와 같이, 중심 화소는 동일한 화소값이지만, 근방의 화소는 비슷하지 않을 때는, 오염도는 작다고 판단한다.
다음으로 본 발명의 실시형태에 따른 오염 판정부에서 실시하는 오염 판정 방법에 대해서 설명한다. 본 실시형태에서는, 이하에 나타내는 몇 가지의 오염 판정 방법을 채용할 수 있다.
(제1 오염 판정 방법)
본 발명의 실시형태에 따른 제1 오염 판정 방법은, 도 7에 도시하는 바와 같이, 오염도 기억부에 기억된 화상 전체의 오염도의 합계를 구하고, 그 합계값이 미리 결정된 임계값 P_sum_thresh를 상회하고 있으면, 오염이 부착되어 있다고 판정하는 것이다. 이 판정 방법을 이용하면, 센서 표면에 전체적으로 얇은 혹은 미세한 오염이 부착된 경우에 오염이라고 판정할 수 있다.
도 8은 본 발명의 실시형태에 따른 제1 오염 판정 방법을 설명하기 위한 플로우차트이다. 도 8의 단계 S31에서는 화상 전체의 오염도의 합계값 P_sum을 초기화한다. 계속해서 단계 S32에서는 화상 중의 임의의 1화소를 가리키는 화소 좌표 변수 (x, y)를, 최초의 화소(좌측 상단 등)를 나타내도록 초기화한다. 단계 S33에서는 오염도 기억부로부터 화소 좌표 변수 (x, y)의 오염도 P(x, y)를 독출한다. 단계 S34에서는 화상 전체의 오염도의 합계값 P_sum과 독출한 오염도 P(x, y)를 총계하고, 화상 전체의 오염도의 합계값 P_sum을 갱신한다. 단계 S35에서는 화소 좌표 변수 (x, y)는 화상 중의 최후의 화소인지, 즉 전체 화소를 처리했는지를 판정한다.
전체 화소를 처리하고 있지 않으면, 단계 S36으로 진행되고, 단계 S36에서 화소 좌표 변수 (x, y)를 다음의 화소를 가리키도록 갱신하고 단계 S33으로 되돌아간다. 한편, 전체 화소를 처리하고 있으면, 단계 S37로 진행되고, 단계 S37에서 화상 전체의 오염도의 합계값 P_sum이 임계값 P_sum_thresh를 상회하고 있는지를 판정한다. 임계값을 상회하고 있으면, 단계 S38로 진행되고, 단계 S38에서 「오염이 부착되어 있다」고 판정하여 오염 판정을 종료한다. 한편, 임계값을 상회하고 있지 않으면, 단계 S39로 진행되고, 단계 S39에서 「오염이 부착되어 않지 않다」고 판정하여 오염 판정을 종료한다.
(제2 오염 판정 방법)
본 발명의 실시형태에 따른 제2 오염 판정 방법은, 도 9에 도시하는 바와 같이, 오염도 기억부에 기억된 화상 전체의 오염도를 순서대로 조사하고, 미리 결정한 임계값 P_thresh보다도 큰 오염도로 되어 있는 화소의 수 N을 세어, 그 화소수 N이 미리 결정된 임계값 N_thresh를 상회하고 있으면, 오염이 부착되어 있다고 판정한다. 이 판정 방법을 이용하면, 짙은 오염이나 명확하게 오염이라고 판단할 수 있는 부분이 있는 경우에 오염이라고 판정할 수 있다. 또, 상술한 임계값보다도 큰 오염도로 되어 있는 화소의 총 수 N을 대신하여, 임계값보다도 큰 오염도로 되어 있는 화소의 총 면적으로 판정하도록 해도 좋다.
도 10은 본 발명의 실시형태에 따른 제2 오염 판정 방법을 설명하기 위한 플로우차트이다. 도 10의 단계 S41에서는 임계값 P_thresh보다도 큰 오염도로 되어 있는 화소의 수 N을 초기화한다. 계속해서 단계 S42에서는 화상 중의 임의의 1화소를 가리키는 화소 좌표 변수 (x, y)를, 최초의 화소(좌측 상단 등)를 나타내도록 초기화한다. 단계 S43에서는 오염도 기억부로부터 화소 좌표 변수 (x, y)의 오염도 P(x, y)를 독출한다. 단계 S44에서는 오염도 P(x, y)가 임계값 P_thresh보다도 큰지를 판정한다.
단계 S44의 판정으로 임계값 P_thresh보다도 크지 않으면, 단계 S45로 진행 되고, 단계 S45에서 화소 좌표 변수 (x, y)를 다음의 화소를 나타내도록 갱신하고 단계 S43으로 되돌아간다. 한편, 단계 S44의 판정으로 임계값 P_thresh보다도 크다면, 단계 S46으로 진행되고, 단계 S46에서 화소의 수 N을 인크리먼트한다. 계속해서 단계 S47에서는 화소 좌표 변수 (x, y)는 화상 중의 최후의 화소인지, 즉 전체 화소를 처리했는지를 판정한다.
전체 화소를 처리하고 있지 않으면, 단계 S45로 되돌아가고, 단계 S45에서 화소 좌표 변수 (x, y)를 다음의 화소를 나타내도록 갱신하고 단계 S43으로 되돌아간다. 한편, 전체 화소를 처리하고 있으면, 단계 S48로 진행되고, 단계 S48에서 화소수 N이 미리 결정한 임계값 N_thresh를 상회하고 있는지를 판정한다. 임계값 N_thresh를 상회하고 있으면, 단계 S49로 진행되고, 단계 S49에서 「오염이 부착되어 있다」고 판정하여 오염 판정을 종료한다. 한편, 미리 결정한 임계값 N_thresh를 상회하고 있지 않으면, 단계 S50으로 진행되고, 단계 S50에서 「오염이 부착되어 있지 않다」고 판정하여 오염 판정을 종료한다.
이와 같이 오염 판정부는 상기한 바와 같이 하여 오염을 판정한 후에, 오염 판정부는, 오염의 부착 유무와 함께 오염의 부착 정도를 출력한다. 오염 판정부가 오염의 부착 유무 및 오염의 부착 정도를 출력하기 때문에, 확실하게 오염 부착이라고 판정하기 전에 경고할 수 있다. 또한 이들을 로그 기록함으로써 센서의 상태 변화를 체크하는 것도 가능해진다.
[제2 실시형태]
도 11은 본 발명의 제2 실시형태에 따른 오염 검출 방식의 구성을 도시하는 블록도이다. 도 11에 있어서 본 발명의 제2 실시형태에 따른 오염 검출 방식은, 감시 등의 목적으로 가동계를 갖지 않고 항상 화상을 계속 촬영하는 정점에 고정한 화상 촬영부(21)와, 화상 촬영부(21)가 촬영한 화상을 기억하는 촬영 화상 기억부(22)와, 촬영 화상 기억부(22)가 기억한 촬영 화상 중에 목적의 피사체가 비치고 있는 것을 검출하고 상기 피사체의 영역을 뽑아내어 영역 추출 화상을 생성하는 피사체 영역 추출부(23)와, 피사체 영역 추출부(23)가 영역 추출한 최근의 2장 이상의 촬영 화상을 축적하는 영역 추출 화상 기억부(24)와, 영역 추출 화상 전체 화소의 휘도 합계를 산출하고, 미리 설정한 휘도 기준에 합치하도록 휘도 보정하여 영역 추출 화상 기억부(24)에 재축적하는 영역 추출 화상 보정부(25)와, 영역 추출 화상 기억부(24)에 휘도 보정하여 축적된 복수의 영역 추출 화상을 비교해서 화소마다 오염도를 산출하는 오염도 산출부(26)와, 산출한 오염도를 화소마다 기억하는 오염도 기억부(27)와, 오염도 기억부(27)로부터 독출된 화소마다의 오염도를 평가하여 오염 부착의 유무 또는 오염 정도를 출력하는 오염 판정부(28)를 구비하여 구성된다.
도 12A 및 도 12B는, 본 발명의 제2 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트를 도시하는 도면이다. 도 12A의 단계 S51에 있어서 화상 촬상부(21)는 최신의 화상 I1을 촬영한다. 다음으로 단계 S52에서는 촬영한 화상 I1을 촬영 화상 기억부(22)에 보존한다. 단계 S53에서는 피사체 영역 추출부(23)가 촬영 화상 기억부(22)에 보존한 화상 I1을 화상 처리하고, 촬영 대상인 피사체의 영역을 뽑아내어, 영역 추출 화상 E1을 생성한다. 단계 S54에서는 뽑아낸 피사체 영역의 화상 E1을, 영역 추출 화상 기억부(24)에 보존한다. 이미 영역 추출 화상 기억부(24)에 화상 E1으로서 기억되어 있는 화상이 있으면, 그것은 하나 앞의 화상 E2로서 보존한다. 단계 S55에서는 영역 추출 화상 보정부(25)에 있어서, 영역 추출 화상 E1의 전체 화소의 휘도 합계 V1을 산출하고, 미리 결정한 기준 휘도 V0에 합치하도록, 영역 추출 화상의 전체 화소를 V0/V1배하여 휘도 보정을 행하며, 영역 추출 화상 기억부(24)에 다시 보존한다.
단계 S56에서는 오염도 산출부(26)가 화상 중의 임의의 1화소를 가리키는 화소 좌표 변수 (X, Y)를, 최초의 화소(좌측 상단 등)를 나타내도록 초기화한다. 단계 S57에서는 영역 추출 화상 기억부(24)에 기억되어 있는 최신의 화상 E1으로부터 화소 좌표 변수 (X, Y)가 가리키는 화소의 화소값 A1을 독출한다. 단계 S58에서는 영역 추출 화상 기억부(24)에 기억되어 있는 1회 앞의 화상 E2로부터 화소 좌표 변수 (X, Y)가 가리키는 화소의 화소값 A2를 독출한다.
도 12B의 단계 S59에서는 화소값 A1, A2를 기초로, 그 화소에 오염이 부착되어 있는지의 여부를 나타내는 오염도 P1을 산출한다. 오염도 P1은, 화소값 A1, A2의 함수로서, P1=F(A1, A2)로 표시할 수 있다. 단계 S60에서는 오염도 기억부(27)의 화 소 좌표 변수 (X, Y)가 나타내는 화소의 오염도 P2를 독출한다. 단계 S61에서는 오염도 P1, P2로부터, 새로운 오염도 P3를 산출한다. 오염도 P3는, 오염도 P1, P2의 함수로서, P3=G(P1, P2)로 표시할 수 있다. 그리고 단계 S62에서는 오염도 기억부(27)의 화소 좌표 변수 (X, Y)가 가리키는 화소의 오염도의 값으로서, P3를 기록한다.
단계 S63에서는 화소 좌표 변수 (X, Y)는 화상 중의 최후의 화소인지, 즉 전체 화소를 처리했는지를 판정한다. 전체 화소를 처리하고 있지 않으면 단계 S64로 진행되고, 단계 S64에서 화소 좌표 변수 (X, Y)를 다음의 화소를 가리키도록 갱신하고, 도 12A의 단계 S57로 되돌아간다. 한편, 전체 화소를 처리하고 있으면 단계 S65로 진행되고, 단계 S65에서, 오염 판정부(28)는 오염도 기억부(27)에 기억된 전체 화소의 오염도를 합계한 값 P를 구하고, 오염 판정 임계값 Pth와 비교한다. 단계 S66에서는 값 P가 임계값 Pth보다 큰지를 판정한다. 크다면, 단계 S67로 진행되고, 단계 S67에서 「오염이 부착되어 있다」고 판정하고, 판정 결과를 출력하며, 그 후에 처리를 종료한다. 한편, 크지 않으면, 단계 S68로 진행되고, 단계 S68에서 「오염이 부착되어 있지 않다」고 판정하고, 그 후, 도 12A의 단계 S51로 되돌아간다.
이와 같이 본 발명의 제2 실시형태에 따른 오염 검출 방식에 따르면, 오염도 산출 전에 영역 추출 화상의 휘도의 고저에 의해 비교하는 화소값을 보정함으로써, 촬영 조건이 동일하지 않아도 동일한 촬영 조건으로 촬영한 것에 가까운 화소 비교를 행함으로써 적절한 오염도의 산출을 행할 수 있다. 또한 오염도 산출 전에 영역 추출 화상에 대해서 휘도가 높은 화소 등 명확하게 오염에 의한 영향이 아니라고 판정할 수 있는 화소값을 나타내는 화소의 오염도를 내리도록 해서 오염 판정의 정밀도를 향상시킬 수 있다.
[제3 실시형태]
도 13은 본 발명의 제3 실시형태에 따른 오염 검출 방식의 구성을 도시하는 블록도이다. 도 13에 있어서 본 발명의 제3 실시형태에 따른 오염 검출 방식은, 감시 등의 목적으로 가동계를 갖지 않고 항상 화상을 계속 촬영하는 정점에 고정한 화상 촬영부(31)와, 화상 촬영부(31)가 촬영한 화상을 기억하는 촬영 화상 기억부(32)와, 촬영 화상 기억부(32)가 기억한 촬영 화상 중에 목적의 피사체가 비치고 있는 것을 검출하고 상기 피사체의 영역을 뽑아내어 영역 추출 화상을 생성하는 피사체 영역 추출부(33)와, 피사체 영역 추출부(33)가 영역 추출한 복수의 최근의 촬영 화상과 영역 추출의 경계에 관한 화소가 피사체 영역 내인지의 여부를 구별하는 추출 영역 마스크 정보를 축적하는 영역 추출 화상 기억부(34)와, 영역 추출 화상 기억부(34)에 축적된 복수의 최근의 영역 추출 화상을 화소마다 비교하여 오염도를 산출하는 오염도 산출부(35)와, 산출한 오염도를 화소마다 기억하는 오염도 기억부(36)와, 오염도 기억부(36)에 기억되는 각 화소의 오염도를 참조할 때에, 영역 추출 화상 기억부(34)에 기억된 추출 영역 마스크 정보를 참조함으로써, 상기 화소가 피사체 영역 내인지의 여부를 판정하고, 상기 화소가 피사체 영역 내인 경우에는, 상기 화소의 오염도의 비중을 높게 해서 오염의 부착을 판정하는 오염 판정부(37)를 구비하여 구성된다.
도 14A, 도 14B 및 도 14C는, 본 발명의 제3 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트를 도시하는 도면이다. 도 14A의 단계 S71에 있어서 화상 촬상부(31)는 최신의 화상 I1을 촬영한다. 다음으로 단계 S72에서는 촬영한 화상 I1을 촬영 화상 기억부(32)에 보존한다. 단계 S73에서는 피사체 영역 추출부(33)가 촬영 화상 기억부(72)에 보존한 화상 I1을 화상 처리하고, 촬영 대상인 피사체의 영역을 뽑아내어, 영역 추출 화상 E1과 추출 영역 마스크 정보 M1을 생성한다. 단계 S74에서는 뽑아낸 피사체 영역의 화상 E1과 추출 영역 마스크 정보 M1을, 영역 추출 화상 기억부(74)에 보존한다. 이미 영역 추출 화상 기억부(74)에 화상과 마스크 정보 E1·M1으로서 기억되어 있던 화상과 마스크 정보는 하나 앞의 화상과 마스크 정보 E2·M2로서 보존한다.
단계 S75에서는 오염도 산출부(35)가 화상 중의 임의의 1화소를 가리키는 화소 좌표 변수 (X, Y)를, 최초의 화소(좌측 상단 등)를 나타내도록 초기화한다. 단계 S76에서는 영역 추출 화상 기억부(34)에 기억되어 있는 최신의 화상 E1으로부터 화소 좌표 변수 (X, Y)가 가리키는 화소의 화소값 A1을 독출한다. 단계 S77에서는 영역 추출 화상 기억부(34)에 기억되어 있는 1회 앞의 화상 E2로부터 화소 좌표 변수 (X, Y)가 가리키는 화소의 화소값 A2를 독출한다. 단계 S78에서는 화소값 A1, A2 를 기초로, 그 화소에 오염이 부착되어 있는지의 여부를 나타내는 오염도 P1을 산출한다. 오염도 P1은, 화소값 A1, A2의 함수로서, P1=F(A1, A2)로 표시할 수 있다.
도 14B의 단계 S79에서는 오염도 기억부(36)의 화소 좌표 변수 (X, Y)가 나타내는 화소의 오염도 P2를 독출한다. 단계 S80에서는 오염도 P1, P2로부터, 새로운 오염도 P3를 산출한다. 오염도 P3는, 오염도 P1, P2의 함수로서, P3=G(P1, P2)로 표시할 수 있다. 그리고 단계 S81에서는 오염도 기억부(36)의 화소 좌표 변수 (X, Y)가 가리키는 화소의 오염도의 값으로서, P3를 기록한다. 단계 S82에서는 화소 좌표 변수 (X, Y)는 화상 중의 최후의 화소인지, 즉 전체 화소를 처리했는지를 판정한다. 전체 화소를 처리하고 있지 않으면 단계 S83으로 진행되고, 단계 S83에서 화소 좌표 변수 (X, Y)를 다음의 화소를 가리키도록 갱신하고, 도 14A의 단계 S76으로 되돌아간다. 한편, 전체 화소를 처리하고 있으면 단계 S84로 진행되고, 단계 S84에서, 오염 판정부(37)는 화상 중의 임의의 1화소를 가리키는 화소 좌표 변수 (x, y)를, 최초의 화소(좌측 상단 등)를 나타내도록 초기화한다. 그리고 단계 S85에서는 오염도 기억부(36)로부터 화소 좌표 변수 (x, y)의 오염도 P(x, y)를 독출한다. 또한 단계 S86에서는 영역 추출 화상 기억부(34)로부터 화소 좌표 변수 (x, y)의 추출 영역 마스크 정보 M(x, y)를 독출한다.
도 14C의 단계 S87에서는 추출 영역 마스크 정보 M(x, y)가 0보다 크다면, 오염도 P(x, y)를 계수 K1배하여 새로운 오염도 P(x, y)로 하고, 또한 추출 영역 마 스크 정보 M(x, y)가 0이면, 오염도 P(x, y)를 K2배하여 새로운 오염도 P(x, y)로 한다. 단, 계수 K1은 계수 K2보다도 크다고 하고, 양 계수 K1, K2는 1과 0 사이에 있는 것으로 한다. 다시 말하면 단계 S87에서는, 화소 좌표 변수 (x, y)의 추출 영역 마스크 정보 M(x, y)가 0보다 큰 경우, 즉 피사체 영역의 경계에 관한 화소가 피사체 영역 내인 경우에는, 상기 화소 좌표 변수 (x, y)의 오염도의 비중을, 화소 좌표 변수 (x, y)의 추출 영역 마스크 정보 M(x, y)가 0인 경우, 즉 피사체 영역의 경계에 관한 화소가 피사체 영역 내가 아닌 경우보다도 높게 해서 오염도를 평가한다.
단계 S88에서는 화소 좌표 변수 (x, y)는 화상 중의 최후의 화소인지, 즉 전체 화소를 처리했는지를 판정한다. 전체 화소를 처리하고 있지 않으면 단계 S89로 진행되고, 단계 S89에서 화소 좌표 변수 (x, y)를 다음의 화소를 가리키도록 갱신하고, 도 14B의 단계 S85로 되돌아간다. 한편, 전체 화소를 처리하고 있으면 단계 S90으로 진행되고, 단계 S90에서는 전체 화소의 오염도 P(x, y)를 합계하여 값 P를 산출하며, 오염 판정 임계값 Pth와 비교한다. 단계 S91에서는 값 P가 임계값 Pth보다 큰지를 판정한다. 크다면, 단계 S92로 진행되고, 단계 S92에서 「오염이 부착되어 있다」고 판정하고, 판정 결과를 출력하며, 그 후에 처리를 종료한다. 한편, 크지 않으면, 단계 S93으로 진행되고, 단계 S93에서 「오염이 부착되어 있지 않다」고 판정하고, 그 후, 도 14A의 단계 S71로 되돌아간다.
이와 같이 본 발명의 제3 실시형태에 따른 오염 검출 방식에 따르면, 오염 판정부에서 오염이 부착되어 있다고 판정할 때에, 피사체 영역 추출부에서 피사체 영역으로서 추출한 화소의 오염도를, 피사체 영역 밖의 화소의 오염도보다도 중시하여, 오염 판정 시에 가중을 두어 오염 판정을 행함으로써, 화상의 단 등 피사체에 겹쳐지지 않아 그다지 중요하지 않은 부분에 부착된 오염이 아니라, 주로 피사체에 겹쳐지는 오염을 중시하여 검출할 수 있게 된다.
[제4 실시형태]
도 15는 본 발명의 제4 실시형태에 따른 오염 검출 방식의 구성을 도시하는 블록도이다. 도 15에 있어서 본 발명의 제4 실시형태에 따른 오염 검출 방식은, 감시 등의 목적으로 가동계를 갖지 않고 항상 화상을 계속 촬영하는 정점에 고정한 화상 촬영부(41)와, 화상 촬영부(41)가 촬영한 화상을 기억하는 촬영 화상 기억부(42)와, 촬영 화상 기억부(42)가 기억한 촬영 화상 중에 목적의 피사체(예컨대 차량 등)가 비치고 있는 것을 검출하고 상기 피사체의 영역을 뽑아내어 영역 추출 화상을 생성하는 피사체 영역 추출부(43)와, 피사체 영역 추출부(43)가 영역 추출한 최근의 2장 이상의 촬영 화상을 축적하는 영역 추출 화상 기억부(44)와, 영역 추출 화상 기억부(44)에 축적된 복수의 영역 추출 화상을 화소마다 비교하여 오염도를 산출하는 오염도 산출부(45)와, 산출한 오염도를 화소마다 기억하는 오염도 기억부(46)와, 오염도 기억부(46)로부터 독출된 화소마다의 오염도를 평가하여 오염 부착의 유무 또는 오염 정도를 출력하는 오염 판정부(47)와, 타이머(49)에 의해 기동되어 정기적으로 오염도 기억부(46)의 기억된 전체 화소의 오염도 정보를 초기화하는 오염도 기억 초기화부(48)와, 정기적인 타이머 출력을 오염도 기억 초기화 부(48)에 출력하는 타이머(49)를 구비하여 구성된다.
도 16A 및 도 16B는, 본 발명의 제4 실시형태에 따른 오염 검출 방식의 동작을 설명하기 위한 플로우차트를 도시하는 도면이다. 도 16A의 단계 S101에 있어서 화상 촬상부(41)는 최신의 화상 I1을 촬영한다. 다음으로 단계 S102에서는 촬영한 화상 I1을 촬영 화상 기억부(42)에 보존한다. 단계 S103에서는 피사체 영역 추출부(43)가 촬영 화상 기억부(42)에 보존한 화상 I1을 화상 처리하고, 촬영 대상인 피사체의 영역을 뽑아내어, 영역 추출 화상 E1을 생성한다. 단계 S104에서는 뽑아낸 피사체 영역의 화상 E1을, 영역 추출 화상 기억부(44)에 보존한다. 이미 영역 추출 화상 기억부(44)에 화상 E1으로서 기억되어 있는 화상이 있으면, 그것은 하나 앞의 화상 E2로서 보존한다.
단계 S105에서는 오염도 기억부(46)가 로크되어 있는지를 조사하고, 오염도 기억부(46)가 로크되어 있지 않은 것을 확인하고 단계 S106으로 진행된다. 단계 S106에서는 오염도 기억부(46)를 로크한다. 이들 동작에 관련되는 오염도 기억부(46)의 초기화 동작에 대해서는 도 17에서 상세히 서술한다. 그리고 단계 S107에서는 오염도 산출부(45)가 화상 중의 임의의 1화소를 가리키는 화소 좌표 변수 (X, Y)를, 최초의 화소(좌측 상단 등)를 나타내도록 초기화한다. 단계 S108에서는 영역 추출 화상 기억부(44)에 기억되어 있는 최신의 화상 E1으로부터 화소 좌표 변수 (X, Y)가 가리키는 화소의 화소값 A1을 독출한다. 단계 S109에서는 영역 추출 화상 기억부(44)에 기억되어 있는 1회 앞의 화상 E2로부터 화소 좌표 변수 (X, Y)가 가리키는 화소의 화소값 A2를 독출한다.
도 16B의 단계 S110에서는 화소값 A1, A2를 기초로, 그 화소에 오염이 부착되어 있는지의 여부를 나타내는 오염도 P1을 산출한다. 오염도 P1은, 화소값 A1, A2의 함수로서, P1=F(A1, A2)로 표시할 수 있다. 단계 S111에서는 오염도 기억부(46)의 화소 좌표 변수 (X, Y)가 나타내는 화소의 오염도 P2를 독출한다. 단계 S112에서는 오염도 P1, P2로부터, 새로운 오염도 P3를 산출한다. 오염도 P3는, 오염도 P1, P2의 함수로서, P3=G(P1, P2)로 표시할 수 있다. 그리고 단계 S113에서는 오염도 기억부(46)의 화소 좌표 변수 (X, Y)가 가리키는 화소의 오염도의 값으로서, P3를 기록한다.
단계 S114에서는 화소 좌표 변수 (X, Y)는 화상 중의 최후의 화소인지, 즉 전체 화소를 처리했는지를 판정한다. 전체 화소를 처리하고 있지 않으면 단계 S115로 진행되고, 단계 S115에서 화소 좌표 변수 (X, Y)를 다음의 화소를 가리키도록 갱신하고, 도 16A의 단계 S108로 되돌아간다. 한편, 전체 화소를 처리하고 있으면 단계 S116으로 진행되고, 단계 S116에서, 오염 판정부(47)는 오염도 기억부(46)에 기억된 전체 화소의 오염도를 합계한 값 P를 구하고, 오염 판정 임계값 Pth와 비교 한다. 또한 단계 S117에서는 오염도 기억부(46)의 로크를 해제한다. 단계 S118에서는 값 P가 임계값 Pth보다 큰지를 판정한다. 크다면, 단계 S119로 진행되고, 단계 S119에서 「오염이 부착되어 있다」고 판정하고, 판정 결과를 출력하며, 그 후에 처리를 종료한다. 한편, 크지 않으면, 단계 S120으로 진행되고, 단계 S120에서 「오염이 부착되어 있지 않다」고 판정하고, 그 후, 도 16A의 단계 S101로 되돌아간다.
도 17은 본 발명의 제4 실시형태에 따른 오염도 기억 초기화부의 동작을 설명하기 위한 플로우차트를 도시하는 도면이다. 도 17에 있어서 우선 오염도 기억 초기화부(48)는, 타이머(49)의 정기적인 타이머 출력에 의해 기동되는 것을 전제로 하고 있다. 그리고 단계 S121에서는 오염도 기억부(46)가 로크되어 있는지를 판정함으로써 오염도 기억부(46)가 로크되어 있지 않은 것을 확인하고 단계 S122로 진행된다. 단계 S122에서는 오염도 기억부(46)를 로크한다. 그리고 단계 S123에서는 오염도 기억부(46)의 전체 화소의 오염도의 값을 0으로 초기화한다. 단계 S124에서는 오염도 기억부(46)의 로크를 해제한다. 이에 따라 오염도 기억 초기화의 동작을 종료한다.
이와 같이 본 발명의 제4 실시형태에 따른 오염 검출 방식에 따르면, 정기적으로 오염도 기억부의 기억 내용을 초기화함으로써, 장기간에 걸쳐 처리를 계속한 결과로서 오염도 기억부에 부정한 정보가 계속 남아 버리는 것을 방지하여, 오염 판정의 정밀도를 유지할 수 있다.
상기에서는 오로지 감시 장치에 있어서의 용도에서의 적용을 설명하였으나, 이것에의 적용에 한정되지 않고, 화상 센서를 이용하는 제조물의 검사 장치, 생체 인증 장치 등에서의 다방면에서의 적용도 가능하다.

Claims (10)

  1. 가동계를 갖지 않고 항상 화상을 계속 촬영하는 정점(定點)에 고정한 화상 촬영부와, 상기 화상 촬영부가 촬영한 화상을 기억하는 촬영 화상 기억부와, 상기 촬영 화상 기억부가 기억한 촬영 화상 중에 목적의 피사체가 비치고 있는 것을 검출하고 상기 피사체의 영역을 뽑아내어 영역 추출 화상을 생성하는 피사체 영역 추출부와, 상기 피사체 영역 추출부가 영역 추출한 복수의 최근의 촬영 화상을 축적하는 영역 추출 화상 기억부와, 상기 영역 추출 화상 기억부에 축적된 상기 복수의 최근의 영역 추출 화상을 화소마다 비교하여 오염의 가능성을 나타내는 오염도를 산출하는 오염도 산출부와, 산출한 오염도를 화소마다 기억하는 오염도 기억부와, 상기 오염도 기억부로부터 독출한 화소마다의 오염도를 평가하여 오염의 부착을 판정하는 오염 판정부를 구비하는 것을 특징으로 하는 오염 검출 장치.
  2. 제1항에 있어서, 상기 오염 판정부에서 오염이 부착되어 있다고 판정할 때에, 화상 전체의 상기 오염도의 총계가 미리 설정한 임계값을 초과했는지의 여부로 판정을 행하는 것을 특징으로 하는 오염 검출 장치.
  3. 제1항에 있어서, 상기 오염 판정부에서 오염이 부착되어 있다고 판정할 때에, 상기 오염도가 미리 설정한 임계값을 초과하여 오염이라고 확정할 수 있는 화소의 총량으로 판정을 행하는 것을 특징으로 하는 오염 검출 장치.
  4. 제1항에 있어서, 상기 오염도 산출부가 각 화소의 오염도를 산출할 때에, 상기 복수의 최근의 영역 추출 화상의 동일한 위치의 화소를 비교하여, 화소값이 가까운 경우에 그 화소의 오염도를 올리고, 화소값이 떨어져 있는 경우에 그 화소의 오염도를 내리는 처리를 행하는 것을 특징으로 하는 오염 검출 장치.
  5. 제1항에 있어서, 상기 오염도 산출부는, 주목 화소의 주변부의 화소값과의 비교에 의해 오염일 확률이 높은 화소를 검출하는 오염 검출 필터를 구비하고, 상기 오염 검출 필터의 출력이 높은 경우에 그 화소의 오염도를 올리고, 상기 오염 검출 필터의 출력이 작은 경우에 그 화소의 오염도를 내리는 처리를 행하는 것을 특징으로 하는 오염 검출 장치.
  6. 가동계를 갖지 않고 항상 화상을 계속 촬영하는 정점에 고정한 화상 촬영부와, 상기 화상 촬영부가 촬영한 화상을 기억하는 촬영 화상 기억부와, 상기 촬영 화상 기억부가 기억한 촬영 화상 중에 목적의 피사체가 비치고 있는 것을 검출하고 상기 피사체의 영역을 뽑아내어 영역 추출 화상을 생성하는 피사체 영역 추출부와, 상기 피사체 영역 추출부가 영역 추출한 복수의 최근의 촬영 화상을 축적하는 영역 추출 화상 기억부와, 축적된 상기 영역 추출 화상의 전체 화소의 휘도 합계를 산출하고, 미리 설정한 휘도 기준에 합치하도록 휘도 보정하여 상기 영역 추출 화상 기억부에 재축적하는 영역 추출 화상 보정부와, 상기 영역 추출 화상 기억부에 휘도 보정하여 축적된 상기 복수의 최근의 영역 추출 화상을 화소마다 비교해서 오염의 가능성을 나타내는 오염도를 산출하는 오염도 산출부와, 산출한 상기 오염도를 화소마다 기억하는 오염도 기억부와, 상기 오염도 기억부로부터 독출한 화소마다의 오염도를 평가하여 오염의 부착을 판정하는 오염 판정부를 구비하는 것을 특징으로 하는 오염 검출 장치.
  7. 제6항에 있어서, 상기 오염도 산출부가 각 화소의 오염도를 산출할 때에, 휘도가 높은 화소 등 명확하게 오염이 아니라고 단정할 수 있는 화소값을 나타내는 화소의 오염도를 내리는 것을 특징으로 하는 오염 검출 장치.
  8. 가동계를 갖지 않고 항상 화상을 계속 촬영하는 정점에 고정한 화상 촬영부와, 상기 화상 촬영부가 촬영한 화상을 기억하는 촬영 화상 기억부와, 상기 촬영 화상 기억부가 기억한 촬영 화상 중에 목적의 피사체가 비치고 있는 것을 검출하고 상기 피사체의 영역을 뽑아내어 영역 추출 화상을 생성하는 피사체 영역 추출부와, 상기 피사체 영역 추출부가 영역 추출한 복수의 최근의 촬영 화상과 영역 추출의 경계에 관한 화소가 피사체 영역 내인지의 여부를 구별하는 추출 영역 마스크 정보를 축적하는 영역 추출 화상 기억부와, 상기 영역 추출 화상 기억부에 축적된 상기 복수의 최근의 영역 추출 화상을 화소마다 비교하여 오염의 가능성을 나타내는 오염도를 산출하는 오염도 산출부와, 산출한 상기 오염도를 화소마다 기억하는 오염도 기억부와, 상기 오염도 기억부에 기억되는 각 화소의 오염도를 참조할 때에, 상 기 영역 추출 화상 기억부에 기억된 상기 추출 영역 마스크 정보를 참조함으로써, 상기 화소가 피사체 영역 내인지의 여부를 판정하고, 상기 화소가 피사체 영역 내인 경우에는, 상기 화소의 오염도의 비중을 높게 해서 오염의 부착을 판정하는 오염 판정부를 구비하는 것을 특징으로 하는 오염 검출 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 오염도 기억부의 기억 내용을 초기화하는 오염도 기억 초기화 수단을 구비하고, 상기 오염도 기억 초기화 수단을 정기적으로 기동하여 상기 오염도 기억부의 기억 내용을 초기화하는 것을 특징으로 하는 오염 검출 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 오염 판정부는 오염 판정 결과로서 오염의 부착 유무와 함께 오염의 부착 정도를 출력하는 것을 특징으로 하는 오염 검출 장치.
KR1020087029606A 2006-06-08 2006-06-08 오염 검출 장치 KR101078474B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/311527 WO2007141858A1 (ja) 2006-06-08 2006-06-08 汚れ検出方式

Publications (2)

Publication Number Publication Date
KR20090009944A true KR20090009944A (ko) 2009-01-23
KR101078474B1 KR101078474B1 (ko) 2011-10-31

Family

ID=38801130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087029606A KR101078474B1 (ko) 2006-06-08 2006-06-08 오염 검출 장치

Country Status (6)

Country Link
US (1) US8098302B2 (ko)
EP (1) EP2031557B1 (ko)
JP (1) JP4644283B2 (ko)
KR (1) KR101078474B1 (ko)
CN (1) CN101460971B (ko)
WO (1) WO2007141858A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157005B1 (ko) * 2019-12-12 2020-09-16 주식회사 제이시스 영상 필터링 기법을 적용한 딥러닝 결과영상의 정확성 향상방법

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5188293B2 (ja) * 2008-07-03 2013-04-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US8665347B2 (en) 2009-07-21 2014-03-04 Nikon Corporation Image processing device, image processing program, and imaging device computing brightness value and color phase value
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
CN102782724A (zh) * 2010-03-04 2012-11-14 日本电气株式会社 异物判定装置、异物判定方法及异物判定程序
JP5953658B2 (ja) * 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
US9726883B2 (en) * 2012-07-27 2017-08-08 Nissan Motor Co., Ltd Three-dimensional object detection device and foreign matter detection device
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10638093B2 (en) 2013-09-26 2020-04-28 Rosemount Inc. Wireless industrial process field device with imaging
US10823592B2 (en) 2013-09-26 2020-11-03 Rosemount Inc. Process device with process variable measurement using image capture device
US11076113B2 (en) 2013-09-26 2021-07-27 Rosemount Inc. Industrial process diagnostics using infrared thermal sensing
CN105389577A (zh) * 2014-08-25 2016-03-09 中兴通讯股份有限公司 一种污物的检测方法、装置及终端
US10914635B2 (en) 2014-09-29 2021-02-09 Rosemount Inc. Wireless industrial process monitor
KR101672116B1 (ko) * 2015-02-02 2016-11-02 울산대학교 산학협력단 세차시스템 장치 및 그 세차 방법
CN104867159B (zh) * 2015-06-05 2018-04-10 北京大恒图像视觉有限公司 一种数字相机传感器污点检测及分级方法与装置
US10311314B2 (en) 2016-11-23 2019-06-04 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
CN106803252A (zh) * 2017-01-16 2017-06-06 广东容祺智能科技有限公司 一种输电线路塔号牌污浊定位与自动检测方法
US10290158B2 (en) 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
US10509974B2 (en) * 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
JP7092984B2 (ja) 2017-12-01 2022-06-29 富士通株式会社 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム
US10803264B2 (en) 2018-01-05 2020-10-13 Datamax-O'neil Corporation Method, apparatus, and system for characterizing an optical system
US10834283B2 (en) 2018-01-05 2020-11-10 Datamax-O'neil Corporation Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer
US10546160B2 (en) 2018-01-05 2020-01-28 Datamax-O'neil Corporation Methods, apparatuses, and systems for providing print quality feedback and controlling print quality of machine-readable indicia
US10795618B2 (en) 2018-01-05 2020-10-06 Datamax-O'neil Corporation Methods, apparatuses, and systems for verifying printed image and improving print quality
IL260417B (en) * 2018-07-04 2021-10-31 Tinyinspektor Ltd System and method for automatic visual inspection
AU2020228229B2 (en) * 2019-02-27 2023-06-22 Daikin Industries, Ltd. Information providing system
CN109862202B (zh) * 2019-03-29 2021-11-30 富士施乐实业发展（中国）有限公司 一种用于复合机的输稿器的控制方法及装置
CN109936676B (zh) * 2019-03-29 2020-12-18 富士施乐实业发展（中国）有限公司 一种用于复合机的输稿器的控制方法及装置
CN110166769B (zh) * 2019-06-27 2020-10-02 信利光电股份有限公司 检测摄像模组输出错位的方法、装置、系统及存储介质
JP7156224B2 (ja) * 2019-09-20 2022-10-19 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN111275022B (zh) * 2020-03-19 2023-05-16 山东宜佳成新材料有限责任公司 基于遗忘因子型经验模态分解的污渍检测分析方法及应用
CN111739012A (zh) * 2020-06-30 2020-10-02 重庆盛泰光电有限公司 基于转盘的摄像头模组白斑检测系统
KR20220006895A (ko) * 2020-07-09 2022-01-18 현대자동차주식회사 자동차 및 그를 위한 실내 청결 관리 방법
CN111812341A (zh) * 2020-07-22 2020-10-23 英华达（上海）科技有限公司 自动化设备检测系统和检测自动化设备内部运作的方法
CN113458072B (zh) * 2021-07-06 2022-01-18 广东固特超声股份有限公司 一种智能终端控制的眼镜超声波清洗方法及清洗机

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60124783A (ja) 1983-12-10 1985-07-03 Meidensha Electric Mfg Co Ltd 画像処理装置
JP3271458B2 (ja) * 1995-01-31 2002-04-02 いすゞ自動車株式会社 車線逸脱警報装置
JPH11195121A (ja) 1997-12-29 1999-07-21 Canon Inc 画像評価装置および方法
JP3947324B2 (ja) 1999-06-24 2007-07-18 セコム株式会社 画像センサ
JP3655541B2 (ja) * 2000-09-18 2005-06-02 トヨタ自動車株式会社 レーン検出装置
JP2002290994A (ja) 2001-03-26 2002-10-04 Sharp Corp 小型カメラモジュールの異物検査方法およびその異物検査装置
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
JP3807331B2 (ja) * 2002-03-06 2006-08-09 日産自動車株式会社 カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2003295281A (ja) * 2002-04-03 2003-10-15 Canon Inc 撮像装置及び動作処理方法及びプログラム及び記憶媒体
JP4179079B2 (ja) 2002-08-30 2008-11-12 株式会社ニコン 電子カメラ及びその制御プログラム
JP2004153422A (ja) * 2002-10-29 2004-05-27 Toshiba Corp 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法
JP3826878B2 (ja) 2002-11-19 2006-09-27 コニカミノルタフォトイメージング株式会社 撮像装置
US7676110B2 (en) * 2003-09-30 2010-03-09 Fotonation Vision Limited Determination of need to service a camera based on detection of blemishes in digital images
JP4245452B2 (ja) 2003-10-06 2009-03-25 富士通株式会社 レンズの汚れ判定方法及び装置
JP2007215151A (ja) * 2006-01-12 2007-08-23 Canon Inc 撮像装置及びその制御方法及びプログラム
JP4764265B2 (ja) * 2006-06-20 2011-08-31 キヤノン株式会社 撮像装置
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157005B1 (ko) * 2019-12-12 2020-09-16 주식회사 제이시스 영상 필터링 기법을 적용한 딥러닝 결과영상의 정확성 향상방법

Also Published As

Publication number Publication date
JPWO2007141858A1 (ja) 2009-10-15
US20090087022A1 (en) 2009-04-02
KR101078474B1 (ko) 2011-10-31
CN101460971A (zh) 2009-06-17
WO2007141858A1 (ja) 2007-12-13
EP2031557B1 (en) 2017-12-27
CN101460971B (zh) 2012-06-27
US8098302B2 (en) 2012-01-17
EP2031557A4 (en) 2014-04-16
JP4644283B2 (ja) 2011-03-02
EP2031557A1 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
KR101078474B1 (ko) 오염 검출 장치
US8472744B2 (en) Device and method for estimating whether an image is blurred
KR100362322B1 (ko) 안면 화상처리장치
JP4533836B2 (ja) 変動領域検出装置及びその方法
EP2549738B1 (en) Method and camera for determining an image adjustment parameter
KR101223046B1 (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
CN111524091B (zh) 信息处理装置、信息处理方法和存储介质
JP2014057303A (ja) 深度推定手順において改善されたシーン検出を利用するためのシステム及び方法
WO2009012364A1 (en) Device and method for estimating if an image is blurred
JP5207057B2 (ja) 撮影装置の汚れを検知する汚れ検知装置及び同検知方法
WO2019146097A1 (ja) 欠陥のある撮影データの検知装置及び検知システム
CN110766745B (zh) 投影仪镜头前干扰物的检测方法、投影仪和存储介质
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
JP5920608B2 (ja) 画像の鮮明度を評価する撮像システムおよび方法
JP2008042227A (ja) 撮像装置
JP4466017B2 (ja) 画像処理装置および画像処理プログラム
KR20220029364A (ko) 영상의 진위를 결정하기 위한 방법 및 장치
JP4401842B2 (ja) 画像処理装置及び侵入者検出装置
JP2021190515A (ja) ワーク取り残し判定システム
JP2011061651A (ja) 不審物検知システム
CN107147845B (zh) 对焦方法、装置和终端设备
US20190104298A1 (en) Method for adjusting a stereoscopic imaging device
CN117835053B (zh) 宽动态模式的切换方法和装置
Jakovčević et al. A stereo approach to wildfire smoke detection: the improvement of the existing methods by adding a new dimension
JP2004191198A (ja) ３次元形状計測装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141007

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151002

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 6