KR20150028967A - 대상 검출 장치 및 대상 검출 방법 - Google Patents

대상 검출 장치 및 대상 검출 방법 Download PDF

Info

Publication number
KR20150028967A
KR20150028967A KR1020147036504A KR20147036504A KR20150028967A KR 20150028967 A KR20150028967 A KR 20150028967A KR 1020147036504 A KR1020147036504 A KR 1020147036504A KR 20147036504 A KR20147036504 A KR 20147036504A KR 20150028967 A KR20150028967 A KR 20150028967A
Authority
KR
South Korea
Prior art keywords
data
level
evaluation value
information
unit
Prior art date
Application number
KR1020147036504A
Other languages
English (en)
Other versions
KR101588995B1 (ko
Inventor
타카하루 쿠로카와
타쿠미 무네카타
Original Assignee
세콤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세콤 가부시키가이샤 filed Critical 세콤 가부시키가이샤
Publication of KR20150028967A publication Critical patent/KR20150028967A/ko
Application granted granted Critical
Publication of KR101588995B1 publication Critical patent/KR101588995B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

입력된 데이터로부터 검출 대상을 검출하는 정밀도를 향상시킬 수 있는 대상 검출 장치 및 대상 검출 방법을 제공한다. 대상 검출 장치(10)는, 데이터 입력부(150)로부터 취득한 입력 데이터로부터, 검출 대상을 표현하는 정도인 정보 레벨이 서로 다른 복수의 데이터를 생성하는 멀티 레벨 데이터 생성부(152); 복수의 데이터 각각에 대해, 검출 대상에 유사한 정도를 나타내는 평가값을 산출하는 평가값 산출부(153); 및 정보 레벨이 서로 다른 복수의 데이터 각각에 대해 산출한 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도가, 입력 데이터에 검출 대상이 포함되는 경우의 상승 정도의 하한값 이상인 경우, 입력 데이터에 검출 대상이 포함되는 것으로 판정하는 대상 판정부(154)를 구비한다.

Description

대상 검출 장치 및 대상 검출 방법{OBJECT DETECTION DEVICE AND OBJECT DETECTION METHOD}
본 발명은, 입력된 데이터로부터 검출 대상을 검출하는 대상 검출 장치 및 대상 검출 방법에 관한 것이다.
종래부터, 방범, 사진 혹은 비디오의 촬영 검색 또는 정리 등의 다양한 목적을 위해, 화상, 음성 또는 센서 신호와 같은 데이터로부터 얼굴, 인물 등의 검출 대상을 검출하는 기술이 연구되고 있다. 특히 최근에는 기계학습에 의해 생성한 식별기(classifier)를 사용하여 화상으로부터 검출 대상을 검출하는 기술이 널리 연구되고 있다. 예를 들면, 화상에 인물이 촬영되어 있는지 여부를 판정하는 식별기(classifier)는, 인물이 촬영되어 있는 다수의 학습용 화상과 인물이 촬영되어 있지 않은 다수의 학습용 화상 각각으로부터 추출한 특징량을 사용하여, 특징량 공간에 있어서 인물의 특징량이 분포되는 공간과 그 이외의 공간을 나누는 식별 경계를 기계학습하는 것에 의해 생성된다. 이 식별기(classifier)는, 화상으로부터 추출한 특징량이 입력되면, 그 특징량이 특징량 공간에 있어서 식별 경계의 어느 쪽에 위치하는지에 의해 그 화상에 인물이 촬영되어 있는지 여부를 판정한다.
하지만, 인물이 촬영되어 있는 화상 및 인물이 촬영되어 있지 않은 화상은 다양하여, 일반적으로 이들을 완전히 분리할 수 있는 식별 경계를 찾는 것은 곤란하다. 특히, 예를 들면 행거에 건 윗도리 등과 같이 인물과 유사한 것이 촬영되어 있는 화상으로부터 추출한 특징량은 식별 경계에 대해 인물의 특징량이 분포되는 공간측에 위치할 가능성이 높아, 그 화상에 인물이 촬영되어 있는 것으로 오판정될 우려가 있다.
여기서, 예를 들면, 특허문헌 1에는, 장치의 설치 환경의 특성에 맞춰 식별기(classifier)를 학습시키는 물체 검출 장치가 제안되어 있다. 이 물체 검출 장치는, CCTV를 설치했을 때 CCTV로부터의 화상을 사용하여 식별기(classifier)를 학습시킨다.
일본국 공개특허공보 2009-230284호 공보
특허문헌 1에 기재된 물체 검출 장치는, CCTV를 설치한 후에 CCTV로부터의 화상을 사용하여 식별기(classifier)를 학습시키는 것에 의해, 설치 장소에 존재하는 행거에 건 윗도리와 같이, 검출 대상의 일례인 인물에 유사한 물건을 인물로 오판정하는 것을 저감할 수 있다. 하지만, 특허문헌 1에 기재된 물체 검출 장치는, 식별기(classifier)를 학습시킨 후에 새로 검출 대상에 유사한 물건이 배치된 경우에는, 그 물건이 촬영되어 있는 화상을 사용하여 식별기(classifier)를 학습시키지 않았기 때문에, 그 물건을 검출 대상으로 오판정할 가능성이 있다.
물체 검출 장치는, 많은 화상을 사용하여 기계학습을 하는 것에 의해 검출 대상의 검출 정밀도를 향상시킬 수 있다. 그러나, 검출 대상 이외의 물건이 촬영되어 있는 화상은 다종다양하여, 검출 대상이 촬영되어 있는 화상으로부터 추출되는 특징량과 유사한 특징량을 구비하는 물체가 촬영되어 있는 화상 모두에 대해 오판정을 완전히 방지하도록 식별기(classifier)를 학습시키는 것은 곤란하다. 이와 같은 오판정을 일으키는 문제는, 식별기(classifier)를 사용하여 검출 대상을 검출하는 경우뿐만 아니라, 패턴 매칭법 등의 다른 방법에 의해 검출 대상을 검출하는 경우에도 공통되는 문제이고, 또한, 화상으로부터 검출 대상을 검출하는 경우뿐만 아니라, 음성이나 센서 신호 등의 각종 데이터로부터 검출 대상을 검출하는 경우에도 공통되는 문제이다.
본 발명은, 입력된 데이터로부터 검출 대상을 검출하는 정밀도를 향상시킬 수 있는 대상 검출 장치 및 대상 검출 방법을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위한 본 발명은, 데이터 입력부로부터 취득한 입력 데이터에 검출 대상이 포함되는지 여부를 판정하는 대상 검출 장치를 제공한다. 상기 대상 검출 장치는, 입력 데이터로부터, 검출 대상을 표현하는 정도인 정보 레벨이 서로 다른 복수의 데이터를 생성하는 멀티 레벨 데이터 생성부; 복수의 데이터 각각에 대해, 검출 대상에 유사한 정도를 나타내는 평가값을 산출하는 평가값 산출부; 및 정보 레벨이 서로 다른 복수의 데이터 각각에 대해 산출한 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도가, 입력 데이터에 검출 대상이 포함되는 경우의 상승 정도의 하한값 이상인 경우, 입력 데이터에 검출 대상이 포함되는 것으로 판정하는 대상 판정부를 구비한다.
또한, 정보 레벨은, 복수의 데이터 각각이 검출 대상을 표현하는 상세함의 정도인 것이 바람직하다.
또는, 정보 레벨은, 복수의 데이터 각각이 검출 대상의 특징 표현에 적합한 정도인 것이 바람직하다.
또한, 대상 판정부는, 정보 레벨마다 그 정보 레벨에 관한 평가값에서 그 정보 레벨보다 소정 단계 낮은 정보 레벨에 관한 평가값을 뺀 차(差)를 구하고, 구한 차의 합계값 및 최대값 중 어느 하나를 상승 정도로서 구하는 것이 바람직하다.
또는, 대상 판정부는, 정보 레벨이 낮은 것부터 차례로 그 정보 레벨에 관한 평가값에서 그 정보 레벨보다 소정 단계 낮은 정보 레벨에 관한 평가값을 뺀 차를 구하고, 그 차를 구할 때마다, 구한 차의 누적값을 상승 정도로서 구하고, 구한 상승 정도가 하한값 이상인지 여부를 판정하고, 구한 상승 정도가 하한값 이상인 경우, 입력 데이터에 검출 대상이 포함되는 것으로 판정하는 것이 바람직하다.
또는, 대상 판정부는, 모든 정보 레벨에 관한 평가값의 최대값에서 최소값을 뺀 차, 및 모든 정보 레벨에 관한 평가값의 최소값에 대한 최대값의 비 중 어느 하나를 상승 정도로서 구하는 것이 바람직하다.
또는, 대상 판정부는, 상승 정도가 하한값 이상이고, 또한 정보 레벨이 서로 다른 복수의 데이터 각각에 대해 산출한 평가값에 관한 통계적 대표값인 대표 평가값이 소정값 이상인 경우, 입력 데이터에 검출 대상이 포함되는 것으로 판정하고, 상승 정도가 하한값 미만인 경우, 또는 대표 평가값이 소정값 미만인 경우, 입력 데이터에 검출 대상이 포함되지 않는 것으로 판정하는 것이 바람직하다.
또한, 입력 데이터는, 화상 데이터이고, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 선예도가 높고, 정보 레벨이 낮을수록 선예도가 낮은, 선예도가 서로 다른 복수의 데이터를 생성하는 것이 바람직하다.
또한, 멀티 레벨 데이터 생성부는, 선예도가 서로 다른 복수의 데이터로서, 입력 데이터에, 정보 레벨이 높을수록 필터 사이즈가 작고, 정보 레벨이 낮을수록 필터 사이즈가 큰 평균화 필터를 각각 적용시킨 복수의 데이터를 생성하는 것이 바람직하다.
또는, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 입력 데이터에, 정보 레벨이 높을수록 적은 양의 노이즈를, 정보 레벨이 낮을수록 많은 양의 노이즈를 각각 중첩한 복수의 데이터를 생성하는 것이 바람직하다.
또는, 입력 데이터는, 화상 데이터이고, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 화상의 명료도가 높고, 정보 레벨이 낮을수록 화상의 명료도가 낮은, 화상의 명료도가 서로 다른 복수의 데이터를 생성하는 것이 바람직하다.
또한, 멀티 레벨 데이터 생성부는, 화상의 명료도가 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 입력 데이터의 화소값의 계조수를 많게 하고, 정보 레벨이 낮을수록 입력 데이터의 화소값의 계조수를 적게 한 복수의 데이터를 생성하는 것이 바람직하다.
또는, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 입력 데이터에 있어서 검출 대상이 표현되는 부분을 마스킹하는 정도를 낮게 하고, 정보 레벨이 낮을수록 입력 데이터에 있어서 검출 대상이 표현되는 부분을 마스킹하는 정도를 높게 한 복수의 데이터를 생성하는 것이 바람직하다.
또는, 멀티 레벨 데이터 생성부는, 검출 대상에 관한 특징량을 생성하고, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 특징량이 나타내는 정보량이 많아지고， 정보 레벨이 낮을수록 정보량이 적어지도록, 특징량에 대해 정보량을 서로 다르게 한 복수의 데이터를 생성하는 것이 바람직하다.
또한, 멀티 레벨 데이터 생성부는, 정보량을 서로 다르게 한 복수의 데이터로서 특징량에, 정보 레벨이 높을수록 크고, 정보 레벨이 낮을수록 작은 1 이하의 양의 계수를 각각 곱한 복수의 데이터를 생성하는 것이 바람직하다.
또는, 입력 데이터는, 화상 데이터이고, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 입력 데이터를 작은 정도로 기하 변환하고, 정보 레벨이 낮을수록 입력 데이터를 큰 정도로 기하 변환하여 복수의 데이터를 생성하는 것이 바람직하다.
또한, 기하 변환은, 화상을 회전시키는 변환이고, 멀티 레벨 데이터 생성부는, 기하 변환한 복수의 데이터로서, 정보 레벨이 높을수록 화상의 회전 각도가 작고, 정보 레벨이 낮을수록 화상의 회전 각도가 큰 복수의 데이터를 생성하는 것이 바람직하다.
혹은, 기하 변환은, 화상을 사다리꼴로 변환하는 변환이고, 멀티 레벨 데이터 생성부는, 기하 변환한 복수의 데이터로서, 정보 레벨이 높을수록 사다리꼴의 저변과 상변의 비가 1에 가깝고, 정보 레벨이 낮을수록 사다리꼴의 저변과 상변의 비가 1에서 떨어진 복수의 데이터를 생성하는 것이 바람직하다.
또는, 입력 데이터는, 시계열 신호이고, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 입력 데이터에, 정보 레벨이 높을수록 통과 대역이 넓고, 정보 레벨이 낮을수록 통과 대역이 좁은 대역 통과 필터를 각각 적용시킨 복수의 데이터를 생성하는 것이 바람직하다.
또는, 입력 데이터는, 시계열 신호이고, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 입력 데이터를, 정보 레벨이 높을수록 높은 샘플링 주파수로, 정보 레벨이 낮을수록 낮은 샘플링 주파수로 각각 샘플링한 복수의 데이터를 생성하는 것이 바람직하다.
또는, 입력 데이터는, 시계열 신호이고, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 입력 데이터의 진폭이 커지고, 정보 레벨이 낮을수록 입력 데이터의 진폭이 작아지도록, 입력 데이터의 진폭을 각각 감쇠시킨 복수의 데이터를 생성하는 것이 바람직하다.
또는, 입력 데이터는, 음향 신호이고, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 입력 데이터의 진폭이 작아지고, 정보 레벨이 낮을수록 입력 데이터의 진폭이 커지도록, 입력 데이터의 진폭을 각각 증폭시켜 클리핑을 생성시킨 복수의 데이터를 생성하는 것이 바람직하다.
또는, 입력 데이터는, 시계열 신호이고, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 입력 데이터를, 정보 레벨이 높을수록 입력 데이터의 값을 취할 수 있는 범위를 분할하는 단계수를 많게 하고, 정보 레벨이 낮을수록 단계수를 적게 하여 각각 양자화한 복수의 데이터를 생성한다.
또한, 평가값 산출부는, 멀티 레벨 데이터 생성부가 생성하는 데이터가 입력되면 평가값을 출력하도록, 적어도 검출 대상이 포함되는 데이터를 사용하여 미리 학습된 식별기(classifier)를 구비하는 것이 바람직하다.
또는, 미리 검출 대상이 포함되는 데이터로부터 생성된 참조 데이터를 기억하는 기억부를 더 구비하고, 평가값 산출부는, 멀티 레벨 데이터 생성부가 생성하는 데이터가 참조 데이터와 유사한 정도를 평가값으로서 산출하는 것이 바람직하다.
상기 과제를 해결하기 위한 본 발명 다른 형태에 의하면, 대상 검출 장치에 있어서, 데이터 입력부로부터 취득한 입력 데이터에 검출 대상이 포함되는지 여부를 판정하는 대상 검출 방법이 제공된다. 상기 대상 검출 방법은, 입력 데이터로부터, 검출 대상을 표현하는 정도인 정보 레벨이 서로 다른 복수의 데이터를 생성하고, 복수의 데이터 각각에 대해, 검출 대상에 유사한 정도를 나타내는 평가값을 산출하고, 정보 레벨이 서로 다른 복수의 데이터 각각에 대해 산출한 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도가, 입력 데이터에 검출 대상이 포함되는 경우의 상승 정도의 하한값 이상인 경우, 입력 데이터에 검출 대상이 포함되는 것으로 판정하는 것을 포함한다.
상기 과제를 해결하기 위한 본 발명 다른 형태에 의하면, 대상 검출 장치에, 데이터 입력부로부터 취득한 입력 데이터에 검출 대상이 포함되는지 여부를 판정시키는 대상 검출용 컴퓨터 프로그램이 제공된다. 상기 대상 검출용 컴퓨터 프로그램은, 입력 데이터로부터, 검출 대상을 표현하는 정도인 정보 레벨이 서로 다른 복수의 데이터를 생성하고, 복수의 데이터 각각에 대해, 검출 대상에 유사한 정도를 나타내는 평가값을 산출하고, 정보 레벨이 서로 다른 복수의 데이터 각각에 대해 산출한 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도가, 입력 데이터에 검출 대상이 포함되는 경우의 상승 정도의 하한값 이상인 경우, 입력 데이터에 검출 대상이 포함되는 것으로 판정하는, 것을 컴퓨터에 실행시키는 명령을 포함한다.
본 발명에 따른 대상 검출 장치 및 대상 검출 방법은, 입력된 데이터로부터 검출 대상을 검출하는 정밀도를 향상시킬 수 있다.
도 1a는 정보 레벨과 평가값의 관계의 일례를 나타내는 그래프이다.
도 1b는 정보 레벨과 평가값의 관계의 일례를 나타내는 그래프이다.
도 2는 제1의 실시형태에 따른 인터폰의 개략 구성도이다.
도 3은 제1의 실시형태에 따른 인터폰의 제어부의 개략 구성도이다.
도 4a는 인물의 얼굴이 촬영되어 있는 화상의 예이다.
도 4b는 인물의 얼굴이 촬영되어 있지 않은 화상의 예이다.
도 5는 필터 사이즈와 평가값의 관계의 일례를 나타내는 그래프이다.
도 6a는 인물의 얼굴이 촬영되어 있는 화상의 예이다.
도 6b는 인물의 얼굴이 촬영되어 있지 않은 화상의 예이다.
도 7은 필터 사이즈와 평가값의 관계의 일례를 나타내는 그래프이다.
도 8은 필터 사이즈와 평가값의 차분 누적값의 관계의 일례를 나타내는 그래프이다.
도 9는 필터 사이즈와 평가값의 차분 누적값의 관계의 일례를 나타내는 그래프이다.
도 10은 제1의 실시형태에 따른 인터폰의 대상 검출 처리의 동작을 나타내는 플로우차트이다.
도 11은 마스킹 영역에 대해 설명하기 위한 모식도이다.
도 12는 제2의 실시형태에 따른 인터폰의 대상 검출 처리의 동작을 나타내는 플로우차트이다.
도 13은 제3의 실시형태에 따른 감시 시스템의 개략 구성도이다.
도 14는 제3의 실시형태에 따른 감시 장치의 제어부의 개략 구성도이다.
도 15는 제3의 실시형태에 따른 감시 장치의 대상 검출 처리의 동작을 나타내는 플로우차트이다.
도 16은 제4의 실시형태에 따른 감시 시스템의 개략 구성도이다.
도 17은 제4의 실시형태에 따른 센터 장치의 제어부의 개략 구성도이다.
도 18은 제4의 실시형태에 따른 센터 장치의 대상 검출 처리의 동작을 나타내는 플로우차트이다.
도 19는 제5의 실시형태에 따른 비명 센서의 개략 구성도이다.
도 20은 제5의 실시형태에 따른 비명 센서의 제어부의 개략 구성도이다.
도 21은 제5의 실시형태에 따른 비명 센서의 대상 검출 처리의 동작을 나타내는 플로우차트이다.
도 22는 제6의 실시형태에 따른 인체 센서의 개략 구성도이다.
도 23은 제6의 실시형태에 따른 인체 센서의 제어부의 개략 구성도이다.
도 24는 제6의 실시형태에 따른 인체 센서의 대상 검출 처리의 동작을 나타내는 플로우차트이다.
이하, 본 발명의 일 실시형태에 따른 대상 검출 장치에 대해 도면을 참조하면서 설명한다.
대상 검출 장치는, 검출 처리의 대상이 되는 입력 데이터로부터 검출 대상에 특유한 특징량을 구하고, 구한 특징량을 기계학습에 의해 생성한 식별기(classifier)에 입력하여 검출 대상에 유사한 정도를 나타내는 평가값을 산출하고, 산출한 평가값으로부터 입력 데이터에 검출 대상이 포함되는지 여부를 판정한다. 발명자는, 예의 검토를 거듭하여, 입력 데이터로부터 정보 레벨이 서로 다른 복수의 데이터를 생성하고, 복수의 데이터 각각으로부터 평가값을 산출하면, 그 정보 레벨이 변화되는 것에 의한 평가값의 변화 형태가, 검출 대상을 포함하는 입력 데이터와 검출 대상을 포함하지 않는 입력 데이터에서 크게 다르다는 지견을 얻었다. 데이터의 정보 레벨은, 해당 데이터가 검출 대상의 특징을 표현하는 정도이고, 해당 데이터가 검출 대상의 특징을 표현하는 상세함의 정도(표현 가능한 정도), 또는 해당 데이터가 검출 대상의 특징 표현에 적합한 정도이다.
도 1a 및 도 1b에, 데이터의 정보 레벨과 데이터의 검출 대상에 유사한 정도를 나타내는 평가값의 관계의 일례를 나타낸다. 도 1a의 그래프(100)는, 입력 데이터에 검출 대상이 포함되는 경우의 정보 레벨과 평가값의 관계의 일례를 나타내고, 도 1b의 그래프(101)는, 입력 데이터에 검출 대상이 포함되지 않는 경우의 정보 레벨과 평가값의 관계의 일례를 나타낸다. 도 1a 및 도 1b에 있어서, 횡축이 정보 레벨이고, 종축이 평가값이다. 도 1a에 나타내는 바와 같이, 입력 데이터에 검출 대상이 포함되는 경우, 정보 레벨이 상승했을 때에 평가값은 급격한 상승을 나타내는 경향이 있다. 한편, 도 1b에 나타내는 바와 같이, 입력 데이터에 검출 대상이 포함되지 않는 경우, 정보 레벨이 상승해도, 평가값은 입력 데이터에 검출 대상이 포함되는 경우만큼 급격한 상승을 나타내지 않는다. 또한, 이와 같은 경향은, 평가값 자체의 높이에 관계 없이 나타난다. 즉, 입력 데이터에 검출 대상이 포함되는데도 불구하고, 입력 데이터로부터 구한 검출 대상에 관한 특징량이 특징량 공간에 있어서 식별 경계에 대해 검출 대상이 아닌 측에 위치하는 경우에도, 평가값은 정보 레벨이 상승했을 때에 급격한 상승을 나타내는 경향이 있다. 한편, 입력 데이터에 검출 대상이 포함되어 있지 않는데도 불구하고, 입력 데이터로부터 구한 검출 대상에 관한 특징량이 특징량 공간에 있어서 식별 경계에 대해 검출 대상측에 위치하는 경우에도, 그 평가값은 정보 레벨이 상승해도 급격한 상승을 나타내지 않는 경향이 있다.
여기서, 본 발명의 일 실시형태에 따른 대상 검출 장치는, 입력 데이터로부터 정보 레벨이 서로 다른 복수의 데이터를 생성하고, 생성한 데이터마다 검출 대상에 관한 특징량을 구하고, 구한 특징량을 기계학습에 의해 생성한 식별기(classifier)에 입력하여 평가값을 각각 산출한다. 그리고, 대상 검출 장치는, 산출한 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 입력 데이터에 검출 대상이 포함되는 경우의 상승 정도의 하한값 이상인 경우, 입력 데이터에 검출 대상이 포함되는 것으로 판정한다. 즉, 대상 검출 장치는, 검출 대상에 관한 특징량이 특징량 공간에 있어서 식별 경계에 대해 어느 쪽에 위치하는지가 아닌, 정보 레벨을 변경했을 때의 특징량의 식별 경계에 대한 위치의 변화에 의해, 입력 데이터에 검출 대상이 포함되는지 여부를 판정한다. 이에 의해, 대상 검출 장치는, 입력 데이터로부터 검출 대상을 검출하는 정밀도의 향상을 실현한다.
이하, 본 발명의 제1의 실시형태에 따른 대상 검출 장치가 실장(實裝)된 인터폰에 대해 도면을 참조하면서 설명한다. 이 인터폰은, 현관 등에 설치되어, 호출 버튼이 눌러졌을 때에 현관 등을 촬영하여, 촬영한 화상에 사람의 얼굴이 촬영되어 있는지 여부를 판정한다. 그리고, 이 인터폰은, 촬영한 화상에 사람의 얼굴이 촬영되어 있는 경우에는, 실내에 설치된 부저를 명동(鳴動)시켜 집안의 사람에게 내방자의 방문을 통지하고, 한편, 촬영한 화상에 사람의 얼굴이 촬영되어 있지 않은 경우에는, 장난으로 호출 버튼이 눌러진 것으로 판정하여 부저를 명동시키지 않는다. 즉, 본 실시형태에 따른 인터폰은, 입력 데이터를 화상 데이터로 하고, 검출 대상을 인물의 얼굴로 한다.
도 2는 본 실시형태에 따른 인터폰의 개략 구성을 나타내는 도면이다. 인터폰(10)은, 도 2에 나타내는 바와 같이, 촬상부(11), 출력부(12), 인터페이스부(13), 기억부(14) 및 제어부(15)를 구비한다. 이하, 인터폰(10)의 각 부(部)에 대해 상세하게 설명한다.
촬상부(11)는, 인터폰(10)이 설치되어 있는 현관 등을 촬영하는 카메라이고, 예를 들면, 2차원으로 배열되고, 수광한 광량에 따른 전기 신호를 출력하는 광전 변환 소자(예를 들면, CCD 센서, C-MOS 등)와, 그 광전 변환 소자상에 감시 영역의 상을 결상하기 위한 결상 광학계를 구비한다. 촬상부(11)는, 인터페이스부(13)와 접속되고, 촬영한 촬영 화상을 인터페이스부(13)에 전달한다.
촬영 화상은, 그레이 스케일 또는 컬러의 다계조 화상으로 할 수 있다. 본 실시형태에서는, 촬영 화상을, 가로 320화소×세로 240화소를 구비하고, 8비트의 휘도 분해능을 갖는 그레이 스케일 화상으로 했다. 다만, 촬영 화상으로서, 이 실시형태 이외의 해상도 및 계조를 구비하는 것을 사용해도 좋다.
출력부(12)는, 보고부의 일례이고, 예를 들면 부저를 구비한다. 출력부(12)는, 가옥내에 배치되어 있고, 인터페이스부(13)와 접속되고, 인터페이스부(13)로부터 부저 명동 신호가 입력되면 부저를 명동시켜 내방자의 방문을 집안의 사람에게 보고한다.
인터페이스부(13)는, 촬상부(11) 및 출력부(12)와 접속되는 인터페이스 회로, 예를 들면 비디오 인터페이스 및 오디오 인터페이스 혹은 USB(Universal Serial Bus)와 같은 시리얼 버스(Serial Bus)에 준하는 인터페이스 회로를 구비한다. 인터페이스부(13)는, 제어부(15)와 예를 들면 버스를 통해 접속되고, 촬상부(11)로부터 받은 촬영 화상을 제어부(15)에 보낸다. 또한, 인터페이스부(13)는, 제어부(15)로부터 받은 부저 명동 신호를 출력부(12)에 출력한다.
기억부(14)는, ROM(Read Only Memory), RAM(Random Access Memory) 등의 반도체 메모리를 구비한다. 기억부(14)는, 인터폰(10)을 제어하기 위한 컴퓨터 프로그램 및 각종 데이터를 기억하고, 제어부(15)와의 사이에서 이들의 정보를 입출력한다. 각종 데이터에는 얼굴의 참조 데이터가 포함된다.
제어부(15)는, 대상 검출 장치의 예이고, CPU(Central Processing Unit), DSP(Digital Signal Processor), MCU(Micro Control Unit) 등의 적어도 하나의 프로세서 및 그 주변 회로를 구비한다. 제어부(15)는, 인터페이스부(13)로부터 받은 촬영 화상을 기억부(14)에 기억한다. 그리고, 제어부(15)는, 기억부(14)에 기억한 촬영 화상을 판독하여 그 촬영 화상에 얼굴이 촬영되어 있는지 여부를 판정하는 한편, 출력부(12)의 부저 명동을 제어한다.
도 3은 제어부(15)의 개략 구성을 나타내는 도면이다. 도 3에 나타내는 바와 같이 제어부(15)는, 프로세서상에서 동작하는 소프트웨어에 의해 실장되는 기능 모듈로서, 데이터 입력부(150), 잘라내기부(151), 멀티 레벨 데이터 생성부(152), 평가값 산출부(153), 대상 판정부(154) 및 명동 제어부(155)를 구비한다.
한편, 제어부(15)가 구비하는 이들의 각 부는, 독립된 집적 회로, 펌웨어, 마이크로프로세서 등으로 구성되어도 좋다.
이하, 제어부(15)의 각 부에 대해 상세하게 설명한다.
데이터 입력부(150)는, 기억부(14)로부터 촬영 화상을 판독하고, 잘라내기부(151)에 보낸다.
잘라내기부(151)는, 데이터 입력부(150)로부터 취득한 촬영 화상으로부터 검출 처리의 대상으로 하는 소정 사이즈의 화상을 차례로 잘라내고, 잘라낸 화상을 멀티 레벨 데이터 생성부(152)에 보낸다. 잘라내기부(151)는, 촬영 화상내에 잘라내기 위치를 복수 설정하는 한편, 촬상부(11)의 설치 상태와 내방자의 개인차로부터 상정되는 촬영 화상 상의 내방자의 얼굴 사이즈의 범위내에서 잘라내는 화상의 사이즈를 복수 설정하고, 설정한 위치와 사이즈의 조합의 수의 부분 화상을 차례로 잘라낸다. 예를 들면, 잘라내기 위치는, 촬영 화상의 좌상단에서 수평 방향으로 잘라내는 화상의 수평 방향의 길이의 절반씩 떼어 놓은 위치, 및 그들의 위치부터 더욱 수직 방향으로 잘라내는 화상의 수직 방향의 길이의 절반씩 떼어 놓은 위치로 설정할 수 있다. 이하, 잘라내기부(151)가 잘라낸 화상을 부분 화상이라 한다. 본 실시형태에서는 부분 화상이 입력 데이터의 예이다.
멀티 레벨 데이터 생성부(152)는, 입력 데이터로부터, 정보 레벨이 서로 다른 복수의 데이터를 생성하고, 생성한 데이터를 정보 레벨과 대응시켜 평가값 산출부(153)에 보낸다. 이하, 정보 레벨이 서로 다른 복수의 데이터를 멀티 레벨 데이터라 한다. 본 실시형태에 따른 멀티 레벨 데이터 생성부(152)는, 입력 데이터인 촬영 화상으로부터 잘라내어진 부분 화상으로부터, 정보 레벨이 서로 다른 화상(이하, 개별 레벨 화상이라 한다)을 복수 생성하고, 원래의 부분 화상 및 생성한 개별 레벨 화상을 멀티 레벨 데이터로서 생성한다.
본 실시형태에 따른 멀티 레벨 데이터 생성부(152)는, 멀티 레벨 데이터로서, 정보 레벨이 높을수록 선예도가 높고, 정보 레벨이 낮을수록 선예도가 낮은, 선예도가 서로 다른 복수의 화상을 생성한다. 멀티 레벨 데이터 생성부(152)는, 부분 화상에 평균화 처리를 실시하는 것에 의해 선예도를 낮게 한 개별 레벨 화상을 생성한다. 예를 들면, 멀티 레벨 데이터 생성부(152)는, 부분 화상에, 정보 레벨이 높을수록 필터 사이즈가 작고, 정보 레벨이 낮을수록 필터 사이즈가 큰 평균화 필터를 각각 적용하는 것에 의해, 선예도가 서로 다른 복수의 개별 레벨 화상을 생성한다. 평균화 필터의 필터 사이즈를 n(예를 들면 n은 2~30의 정수)으로 하면, 개별 레벨 화상의 각 화소에는 부분 화상에 있어서 대응하는 화소를 중심으로 하는 n화소×n화소의 범위에 있는 화소의 화소값의 평균값이 설정된다. 즉, 필터 사이즈를 크게 할수록, 그 평균화 필터의 통과 대역은 좁아져, 그 개별 레벨 화상은 희미해진 화상이 되어 선예도가 낮아지기 때문에, 그 개별 레벨 화상이 얼굴의 특징을 표현 가능한 정도는 낮아져서 정보 레벨은 낮아진다. 예를 들면, 정보 레벨은, 1에서 30까지 30단계로 정해진다. 그리고, 정보 레벨이 1일 때 필터 사이즈는 30으로 설정되고, 정보 레벨이 1 커질 때마다 필터 사이즈는 1 작은 값으로 설정된다. 또한, 정보 레벨이 가장 높은 값인 30일 때는, 평균화 필터가 적용되지 않은 원래의 부분 화상이 이용된다.
평가값 산출부(153)는, 멀티 레벨 데이터에 포함되는 각 데이터마다, 검출 대상에 유사한 정도를 나타내는 평가값을 산출하고, 각 평가값을 정보 레벨과 대응시켜 대상 판정부(154)에 보낸다. 본 실시형태에 따른 평가값 산출부(153)는, 인물의 얼굴 식별에 유용한 하나 이상의 특징량인 얼굴 특징량으로서 Haar-Like 특징량을 사용한 Real-Adaboost 식별기(classifier)를 구비한다. Haar-Like 특징량은, 화상 영역중에 임의로 설정된 복수의 인접 사각 영역간의 휘도차이다. Haar-Like 특징량의 상세에 대해서는, 예를 들면, Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol. 1, pp. 511-518, 2001에 개시되어 있다.
Real-Adaboost 식별기(classifier)는, 복수의 약식별기(weak classifier)와, 각 약식별기(weak classifier)의 판정 결과를 통합하여 판정하는 강식별기(strong classifier)로 구성된다. 각 약식별기(weak classifier)에는, 각 약식별기(weak classifier)마다 미리 결정된 Haar-Like 특징량을 사용하여 화상으로부터 특징량을 산출한다. 각 약식별기(weak classifier)는, 대응하는 부분 화상에 얼굴이 촬영되어 있을 가능성이 높을수록 높고, 가능성이 낮을수록 낮은 값을 출력한다. 한편, 강식별기(strong classifier)는, 각 약식별기(weak classifier)에 의한 출력값의 총합을 평가값으로서 출력한다. 한편, 이 평가값은, 적어도 3값 이상의 값을 취하고, 예를 들면 연속값이다.
한편, 어느 인접 사각 영역에 관한 Haar-Like 특징량을 각 약식별기(weak classifier)로서 이용할지는, 얼굴이 촬영되어 있는 복수의 학습용 얼굴 화상 및 얼굴이 촬영되어 있지 않은 복수의 학습용 비얼굴 화상(이하, 학습용 얼굴 화상 및 학습용 비얼굴 화상을 합쳐서 학습용 화상이라 한다)으로부터 사전 학습에 의해 결정된다. 학습 순서의 개략은 아래와 같다.
(1) 사전 학습을 하는 컴퓨터는, 각 학습용 화상에 대해, 화상 영역중에 복수의 인접 사각 영역을 설정하고, 설정한 각 인접 사각 영역에 관한 Haar-Like 특징량을 각각 산출한다.
(2) 컴퓨터는, 각 학습용 화상에 대한 가중치를 결정한다. 가중치의 초기값은, 각 학습용 화상에 대해 동일 값으로 한다.
(3) 컴퓨터는, 설정한 인접 사각 영역 각각에 대해, 그 인접 사각 영역에 관한 Haar-Like 특징량마다, 학습용 얼굴 화상에 대해 설정된 가중치로부터 학습용 얼굴 화상의 확률 밀도 분포 W+j를 산출한다. 여기서, j는 Haar-Like 특징량의 값에 대응하는 번호이다. 마찬가지로, 컴퓨터는, 설정한 인접 사각 영역 각각에 대해, 그 인접 사각 영역에 관한 Haar-Like 특징량의 값마다, 학습용 비얼굴 화상에 대해 설정된 가중치로부터 학습용 비얼굴 화상의 확률 밀도 분포 W-j를 산출한다. 한편, 컴퓨터는, 각 Haar-Like 특징량을 그 값의 취할 수 있는 범위를 복수로 분할하는 것에 의해 양자화하고, 확률 밀도 분포 W+j 및 확률 밀도 분포 W-j를 산출해도 좋다.
(4) 컴퓨터는, 각 Haar-Like 특징량에 대해, 학습용 얼굴 화상의 확률 밀도 분포 W+j와 학습용 비얼굴 화상의 확률 밀도 분포 W-j로부터 평가값 Z를 이하의 식에 의해 산출한다.
Figure pct00001
한편, 이 결합도 Z가 작을수록 학습용 얼굴 화상의 분포와 학습용 비얼굴 화상의 분포가 분리되어 있는 것을 의미한다. 그 때문에, 컴퓨터는, 평가값 Z가 최소가 되는 인접 사각 영역에 관한 Haar-Like 특징량을 하나의 약식별기(weak classifier)로서 선택한다. 약식별기(weak classifier)의 출력 h(x)는, 이하의 식으로 표현된다.
Figure pct00002
여기서, x는 약식별기(weak classifier)에 입력하는 Haar-Like 특징량의 값이고, ε은 분모가 0이 되는 것을 방지하기 위한 상수(예를 들면 10-10)이다. 식 (2)에 표현되는 바와 같이, 약식별기(weak classifier)는, 입력값(Haar-Like 특징량)에 대응하는, 학습용 얼굴 화상의 확률 밀도 분포 W+j가 클수록 큰 값을 출력하고, 입력값에 대응하는, 학습용 비얼굴 화상의 확률 밀도 분포 W-j가 클수록 작은 값을 출력한다. 그리고, 약식별기(weak classifier)는, 학습용 얼굴 화상의 확률 밀도 분포 W+j가 학습용 비얼굴 화상의 확률 밀도 분포 W-j보다 클 때 양의 값을 출력하고, 작을 때 음의 값을 출력하고, 동일할 때 0을 출력한다.
(5) 컴퓨터는, 선택한 Haar-Like 특징량을 사용한 약식별기(weak classifier)가 식별에 실패한 학습용 화상의 가중치를 크게 하고, 식별에 성공한 학습용 화상의 가중치를 작게 한다. 그리고, 모든 학습용 화상의 가중치의 합이 1이 되도록 학습용 화상의 가중치를 정규화한다.
(6) 컴퓨터는 (3)~(5)의 순서를 소정 회수 반복한다.
이와 같이하여 결정된 각 약식별기(weak classifier)로서 사용하는 Haar-Like 특징량의 정보와 인접 사각 영역을 나타내는 정보와, 각 약식별기(weak classifier)의 출력 함수를 나타내는 정보는, 얼굴의 참조 데이터로서 기억부(14)에 기억된다.
평가값 산출부(153)는, (4)에서 선택된 각 약식별기(weak classifier)의 출력값의 총합을 평가값으로 한다. 이 평가값은, Haar-Like 특징량이 특징량 공간에 있어서 식별 경계에 대해 얼굴측의 영역에 위치할 때 양의 값이 되고, 비얼굴측의 영역에 위치할 때 음의 값이 되고, 그 위치가 식별 경계에서 멀수록 그 절대값은 커지고, 가까울수록 절대값은 작아진다.
도 4a 및 도 4b에 부분 화상의 예를 나타낸다. 도 4a에 나타내는 부분 화상(400)은 인물의 얼굴이 촬영되어 있는 것이 명확한 화상이다. 도 4b에 나타내는 부분 화상(410)은 인물의 얼굴이 촬영되어 있지 않은 것이 명확한 화상이다.
부분 화상(400) 및 부분 화상(410)에 대해, 멀티 레벨 데이터 생성부(152)가 적용하는 평균화 필터의 필터 사이즈와, 그 필터 사이즈의 평균화 필터를 적용하여 생성한 화상으로부터 평가값 산출부(153)가 산출한 평가값의 관계의 일례를 도 5에 나타낸다. 도 5에 있어서, 횡축이 필터 사이즈이고, 종축이 평가값이다. 한편, 필터 사이즈가 2 이상인 경우, 필터 사이즈를 n(n은 2에서 30의 정수)으로 하면, 부분 화상에 n화소×n화소 사이즈의 평균화 필터를 적용한 개별 레벨 화상에 대해 평가값이 산출되고, 필터 사이즈가 1인 경우, 평균화 필터를 적용하지 않은 원래의 부분 화상에 대해 평가값이 산출된다. 이 필터 사이즈가 1일 때 평가값, 즉 원래의 부분 화상에 대한 평가값은, 정답의 부호를 나타내고 있다. 그 때문에, 부분 화상(400) 및 부분 화상(410)에 대해서는, 원래의 부분 화상에 대한 평가값을 사용해도 얼굴이 촬영되어 있는지 여부를 정확하게 판별할 수 있다.
한편, 도 6a 및 도 6b에 부분 화상의 다른 예를 나타낸다. 도 6a에 나타내는 부분 화상(600)에는 인물의 얼굴(601)이 촬영되어 있지만, 이 인물은 고개를 숙이고 있어, 부분 화상(600)은 인물의 얼굴이 촬영되어 있는지 여부를 알기 어려운 화상이다. 또한, 도 6b에 나타내는 부분 화상(610)에는 인물의 얼굴이 촬영되어 있지 않지만, 인물의 얼굴로 오인하기 쉬운 물건(611)이 촬영되어 있다.
부분 화상(600) 및 부분 화상(610)에 대해, 멀티 레벨 데이터 생성부(152)가 적용하는 평균화 필터의 필터 사이즈와, 그 필터 사이즈의 평균화 필터를 적용하여 생성한 화상으로부터 평가값 산출부(153)가 산출한 평가값의 관계의 일례를 도 7에 나타낸다. 도 7에 있어서, 횡축이 필터 사이즈이고, 종축이 평가값이다. 이 필터 사이즈가 1일 때 평가값, 즉 원래의 부분 화상에 대한 평가값은, 정부가 역전되어 틀린 값이 되어 있다. 그 때문에, 부분 화상(600) 및 부분 화상(610)에 대해서는, 원래의 부분 화상에 대한 평가값으로부터 얼굴이 촬영되어 있는지 여부를 정확하게 판별하는 것은 곤란하다.
한편, 도 5의 그래프(500)에서는, 필터 사이즈가 9에서 1에 걸쳐 평가값이 급격하게 상승하고, 도 7의 그래프(700)에서는, 필터 사이즈가 7에서 2에 걸쳐 평가값이 급격하게 상승하고 있다. 그에 대해, 그래프(501)의 평가값 및 그래프(701)의 평가값은, 그래프(500)의 평가값 및 그래프(700)의 평가값만큼 상승하지 않았다.
도 8 및 도 9에, 부분 화상에 적용하는 평균화 필터의 필터 사이즈를 변경해 갔을 때의 평가값의 상승 정도를 나타내는 그래프를 나타낸다. 한편, 평균화 필터는, 필터 사이즈가 홀수일 때는, 필터의 중심 위치에 있는 요소가 부분 화상내의 필터를 적용하는 영역의 중심 화소에 대응되도록 적용되지만, 필터 사이즈가 짝수일 때는, 필터의 중심 위치에 요소가 존재하지 않기 때문에, 수평 방향 및 수직 방향으로 각각 0.5화소분씩 떼어 놓은 상태로 적용된다. 여기서, 도 8 및 도 9에서는, 필터 사이즈가 홀수일 때와 짝수일 때 부정합성을 제거하기 위해, 각 필터 사이즈에 대응하는 평가값을, 그 필터 사이즈보다 2만 작은 필터 사이즈에 대응하는 평가값에서 뺀 차를 필터 사이즈가 큰 측에서 차례로 누적한 누적값(이하, 차분 누적값이라 한다)을 종축으로 하고, 필터 사이즈를 횡축으로 하고 있다. 도 8의 그래프(800)는 도 5의 그래프(500)의 평가값에 관한 차분 누적값을 나타내고, 그래프(801)는 그래프(501)의 평가값에 관한 차분 누적값을 나타낸다. 또한, 도 9의 그래프(900)는 도 7의 그래프(700)로부터 구해진 평가값에 관한 차분 누적값을 나타내고, 그래프(901)는 그래프(701)로부터 구해진 평가값에 관한 차분 누적값을 나타낸다.
도 5의 그래프(500)에서는, 필터 사이즈가 9에서 1에 걸쳐서 평가값이 상승해 가기 때문에, 9에서 3의 필터 사이즈에 대응하는 각 평가값을 각각 7에서 1의 필터 사이즈에 대응하는 각 평가값에서 뺀 차는 양의 값이 된다. 그 때문에, 도 8의 그래프(800)에서는, 차분 누적값은 필터 사이즈가 9에서 3에 걸쳐서 상승하여, 특히 필터 사이즈가 6 이하의 범위에서는 충분히 큰 값이 되어 있다. 한편, 도 5의 그래프(501)의 평가값은, 그래프(500)의 평가값만큼 상승하지 않고, 그 때문에, 도 8의 그래프(801)의 차분 누적값은, 모든 필터 사이즈에 걸쳐 그래프(800)의 차분 누적값만큼 큰 값이 되지 않는다.
또한, 도 7의 그래프(700)에서는, 필터 사이즈가 7에서 2에 걸쳐서 평가값이 상승해 가기 때문에, 7에서 4의 필터 사이즈에 대응하는 각 평가값을 각각 5에서 2의 필터 사이즈에 대응하는 각 평가값에서 뺀 차는 양의 값이 된다. 그 때문에, 도 9의 그래프(900)에서는, 차분 누적값은 필터 사이즈가 7에서 4에 걸쳐서 상승하여, 특히 필터 사이즈가 4일 때에는 충분히 큰 값이 되어 있다. 한편, 도 7의 그래프(701)의 평가값은, 그래프(500)의 평가값만큼 상승하지 않고, 그 때문에, 도 9의 그래프(901)의 차분 누적값은, 모든 필터 사이즈에 걸쳐 그래프(900)의 차분 누적값만큼 큰 값이 되지 않는다. 따라서, 제어부(15)는, 차분 누적값에 기초하여, 예를 들면 차분 누적값이 10 이상이 되는 여부에 의해, 부분 화상에 얼굴이 촬영되어 있는지 여부를 판정하면, 각 부분 화상(600, 601, 700, 701)에 대해 얼굴이 촬영되어 있는지 여부를 모두 정확하게 판정할 수 있다.
대상 판정부(154)는, 멀티 레벨 데이터에 포함되는 각 데이터마다 산출한 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가 검출 대상에 관한 상승 정도를 나타내는지 여부에 의해, 입력 데이터에 검출 대상이 포함되는지 여부를 판정하고, 판정 결과를 출력한다. 본 실시형태에 따른 대상 판정부(154)는, 원래의 부분 화상 및 각 개별 레벨 화상으로부터 평가값 산출부(153)가 산출한 평가값에 대해 상승 정도를 산출하고, 그 상승 정도를 미리 설정한 판정 임계값과 비교한다. 그리고, 대상 판정부(154)는, 상승 정도가 판정 임계값 이상이면 부분 화상에 얼굴이 촬영되어 있는 것으로 판정하고, 상승 정도가 판정 임계값 미만이면 부분 화상에 얼굴이 촬영되어 있지 않은 것으로 판정한다. 한편, 판정 임계값으로서, 입력 데이터에 검출 대상이 포함되는 경우의 상승 정도의 하한값이 설정된다. 예를 들면, 사전의 실험에 의해 얼굴이 촬영된 복수의 테스트용 얼굴 화상에 대해 산출된 평가값의 상승 정도와 얼굴이 촬영되어 있지 않은 복수의 테스트용 비얼굴 화상에 대해 산출된 평가값의 상승 정도에 기초하는 이들을 식별 가능한 값을 판정 임계값으로 할 수 있다. 그 경우, 예를 들면, 테스트용 얼굴 화상에 대해 산출된 평가값의 상승 정도의 평균값과, 테스트용 비얼굴 화상에 대해 산출된 평가값의 상승 정도의 평균값의 평균값을 판정 임계값으로 한다. 또는, 테스트용 비얼굴 화상에 대해 산출된 평가값의 상승 정도의 최대값, 혹은 테스트용 얼굴 화상에 대해 산출된 평가값의 상승 정도의 최소값을 판정 임계값으로 해도 좋다.
예를 들면, 대상 판정부(154)는, 정보 레벨마다 그 정보 레벨에 관한 평가값에서 그 정보 레벨보다 소정 단계 낮은 정보 레벨에 관한 평가값을 뺀 차를 구하고, 구한 차의 합계값을 상승 정도로 한다. 이 경우, 대상 판정부(154)는, 필터 사이즈마다, 그 필터 사이즈의 평균화 필터를 사용하여 생성된 각 화상으로부터 산출된 평가값을, 그 필터 사이즈보다 2 작은 필터 사이즈의 평균화 필터를 사용하여 생성된 각 화상으로부터 산출된 평가값에서 뺀 차를 구하고, 그 합계값을 상승 정도로 한다. 이에 의해, 대상 판정부(154)는, 각 평가값을, 그 평가값을 산출한 화상에 적용시킨 평균화 필터의 필터 사이즈가 홀수인 홀수 계열과, 그 필터 사이즈가 짝수인 짝수 계열로 나누어 상승 정도를 산출할 수 있다. 그 때문에, 도 8 및 도 9의 설명에서 기술한 바와 같은, 필터 사이즈가 홀수인 평균화 필터를 적용하는 경우와, 필터 사이즈가 짝수인 평균화 필터를 적용하는 경우에 발생하는 부정합성을 제거할 수 있다. 이하에, 각 평가값을 짝수 계열과 홀수 계열로 나누어 상승 정도를 산출하는 식을 나타낸다.
Δn1=Sn1-2-Sn1 다만, n1=N, N-2, …, 6, 4 (3)
Δn2=Sn2-2-Sn2 다만, n2=N-1, N-3, …, 5, 3 (4)
D=ΣΔn1+ΣΔn2 다만, n1=N, N-2, …, 6, 4, n2=N-1, N-3, …, 5, 3 (5)
여기서, Sn은 필터 사이즈가 n일 때의 평가값이고, n1은 짝수 계열이고, n2는 홀수 계열이고, N은 최대 필터 사이즈이고, Δn은 필터 사이즈가 n일 때의 평가값을 필터 사이즈가 n-2일 때 평가값에서 뺀 차이고, D는 평가값의 상승 정도이다. 한편, 짝수 계열만 또는 홀수 계열만으로 상승 정도를 산출할 수도 있지만, 양쪽의 계열을 사용하는 것에 의해 정보 레벨의 수를 많게 할 수 있고, 각 평가값을 더욱 세밀하게 분석할 수 있다.
혹은, 대상 판정부(154)는, 각 평가값을 짝수 계열과 홀수 계열로 나누지 않고, 각 필터 사이즈의 평균화 필터를 사용하여 생성된 각 화상으로부터 산출된 평가값을, 그 필터 사이즈보다 1 작은 필터 사이즈의 평균화 필터를 사용하여 생성된 각 화상으로부터 산출된 평가값에서 뺀 차의 합계값을 상승 정도로 해도 좋다.
혹은, 대상 판정부(154)는, 정보 레벨이 작은 것부터 차례로, 즉 필터 사이즈가 큰 것부터 차례로, 각 필터 사이즈에 관한 평가값을, 그 필터 사이즈보다 소정 사이즈 작은 필터 사이즈에 관한 평가값에서 뺀 차를 구해 간다. 그리고, 대상 판정부(154)는, 차를 구할 때마다, 구한 차의 누적값을 상승 정도로서 구하고, 그 상승 정도가 판정 임계값 이상인지 여부를 판정하고, 상승 정도가 판정 임계값 이상이 되면 부분 화상에 얼굴이 촬영되어 있는 것으로 판정해도 좋다. 그 경우, 멀티 레벨 데이터 생성부(152), 평가값 산출부(153) 및 대상 판정부(154)는, 모든 정보 레벨에 대해 각 처리를 실시하기 전에 부분 화상에 얼굴이 포함되는 것으로 판정할 수 있고, 검출 처리에 필요한 시간을 짧게 할 수 있다. 한편, 대상 판정부(154)는, 정보 레벨을 높게 해 갈 때 평가값이 높아지는 것을 검출하기 때문에, 정보 레벨이 작은 것부터 차례로 처리를 실시하는 것이 바람직하다.
명동 제어부(155)는, 대상 판정부(154)에 의해 어느 한 부분 화상이 얼굴 화상인 것으로 판정되었을 때, 출력부(12)에 부저 명동 신호를 입력하여 부저를 명동시킨다.
이하, 도 10에 나타낸 플로우차트를 참조하면서, 본 실시형태에 따른 인터폰(10)에 의한 대상 검출 처리의 동작을 설명한다. 한편, 이하에 설명하는 동작의 플로우는, 기억부(14)에 기억되고, 제어부(15)에 읽어들인 프로그램에 따라, 제어부(15)에 의해 제어된다.
우선, 내방자에 의해 도시하지 않는 호출 버튼이 눌러지면, 제어부(15)는, 촬상부(11)에 현관 등을 촬영시켜, 촬영 화상을 인터페이스부(13)를 통해 취득하고, 기억부(14)에 기억한다. 그리고, 데이터 입력부(150)는, 촬영 화상을 기억부(14)로부터 판독하여, 잘라내기부(151)에 보낸다(스텝 S1001). 그 다음, 잘라내기부(151)는, 취득한 촬영 화상으로부터 부분 화상을 잘라내고, 잘라낸 부분 화상을 멀티 레벨 데이터 생성부(152)에 보낸다(스텝 S1002). 한편, 제어부(15)는, 잘라내기부(151)가 잘라내는 부분 화상의 수만큼 스텝 S1002~S1011의 처리를 실행한다.
그 다음, 제어부(15)는, 정보 레벨을 설정한다(스텝 S1003). 한편, 제어부(15)는 미리 정해진 정보 레벨을 낮은 것부터 차례로 설정하고, 설정하는 정보 레벨의 수만큼 스텝 S1003~S1007의 처리를 실행한다.
멀티 레벨 데이터 생성부(152)는, 스텝 S1003에서 설정된 정보 레벨에 대응하는 개별 레벨 화상을 생성하고, 생성한 개별 레벨 화상을 정보 레벨과 대응시켜 평가값 산출부(153)에 보낸다(스텝 S1004). 한편, 정보 레벨이 최대값이 아닌 경우, 멀티 레벨 데이터 생성부(152)는, 부분 화상으로부터 그 정보 레벨에 대응하는 개별 레벨 화상을 생성하여 평가값 산출부(153)에 보낸다. 한편, 정보 레벨이 최대값인 경우, 멀티 레벨 데이터 생성부(152)는, 부분 화상을 그대로 평가값 산출부(153)에 보낸다.
그 다음, 평가값 산출부(153)는, 멀티 레벨 데이터 생성부(152)로부터 받은 개별 레벨 화상으로부터, 얼굴 특징량을 추출한다(스텝 S1005). 그 다음, 평가값 산출부(153)는, 추출한 얼굴 특징량으로부터 평가값을 산출하고, 산출한 평가값을 정보 레벨과 대응시켜 대상 판정부(154)에 보낸다(스텝 S1006).
그 다음, 제어부(15)는, 모든 정보 레벨에 대해 스텝 S1003~S1006의 처리를 실행했는지 여부를 판정한다(스텝 S1007). 모든 정보 레벨에 대해 스텝 S1003~S1006의 처리를 실행하지 않았으면(스텝 S1007의 NO), 제어부(15)는, 처리를 스텝 S1003으로 되돌려서 스텝 S1003~S1006의 처리를 반복한다. 한편, 모든 정보 레벨에 대해 스텝 S1003~S1006의 처리를 실행했으면(스텝 S1007의 YES), 대상 판정부(154)는, 그때까지 평가값 산출부(153)로부터 받은 평가값에 대해 정보 레벨의 상승에 따라 상승하는 상승 정도를 산출한다(스텝 S1008).
그 다음, 대상 판정부(154)는, 산출한 상승 정도를 판정 임계값과 비교한다(스텝 S1009). 상승 정도가 판정 임계값 이상이면(스텝 S1009의 YES), 명동 제어부(155)는, 부저 명동 신호를 인터페이스부(13)를 통해 출력부(12)에 출력하여 출력부(12)에 부저를 명동시킨다(스텝 S1010). 부저의 명동이 이루어지면, 제어부(15)는, 일련의 스텝을 종료한다.
한편, 상승 정도가 판정 임계값 미만이면(스텝 S1009의 NO), 제어부(15)는, 미리 정해진 모든 위치 및 크기의 부분 화상을 모두 잘라내었는지 여부를 판정한다(스텝 S1011). 부분 화상을 모두 잘라내지 않았으면(스텝 S1011의 NO), 제어부(15)는, 처리를 스텝 S1002로 되돌려서 스텝 S1002~S1011의 처리를 반복한다. 한편, 부분 화상을 모두 잘라냈으면(스텝 S1011의 YES), 제어부(15)는, 내방자의 얼굴은 검출되지 않은 것으로 하여, 일련의 스텝을 종료한다.
한편, 대상 판정부(154)는, 스텝 S1006에서 평가값 산출부(153)가 평가값을 보낼 때마다, 상승 정도를 산출하고, 산출한 상승 정도를 판정 임계값과 비교해도 좋다. 그 경우, 대상 판정부(154)는, 스텝 S1006에서 평가값 산출부(153)가 평가값을 보낼 때마다, 받은 평가값을 기억부(14)에 기억시킨다. 그리고, 대상 판정부(154)는, 그 평가값과 이미 기억되어 있는 평가값의 차를 산출하고, 산출한 차를 누적값에 가산하여 평가값의 상승 정도로 한다. 한편, 대상 판정부(154)는, 정보 레벨이 최저값인 경우, 누적값을 0으로 초기화한다. 이 경우, 대상 판정부(154)는, 차를 산출하지 않고 누적값을 변경하지 않는다. 한편, 대상 판정부(154)는, 정보 레벨이 최저값이 아닌 경우, 평가값 산출부(153)로부터 받은 평가값과 직전에 받았던 평가값의 차를 산출하여 누적값에 가산한다. 그리고, 대상 판정부(154)는, 누적값을 산출할 때마다, 산출한 누적값을 판정 임계값과 비교하고, 누적값이 판정 임계값 이상이면, 명동 제어부(155)가, 부저 명동 신호를 인터페이스부(13)를 통해 출력부(12)에 출력하여 출력부(12)에 부저를 명동시킨다.
또한, 예를 들면, 촬상부(11)가 촬영하는 촬영 화상에 내방자의 얼굴이 정확히 들어가게 인터폰(10)이 설치되는 바와 같은 경우, 제어부(15)는, 촬영 화상으로부터 부분 화상을 잘라낼 필요가 없기 때문에, 촬영 화상으로부터 직접 개별 레벨 화상을 생성해도 좋다. 그 경우, 제어부(15)에서 잘라내기부(151)가 생략되고, 도 10의 플로우차트에 있어서, 스텝 S1002 및 S1011의 처리가 생략된다.
이상으로 설명한 바와 같이, 본 실시형태에 따른 인터폰은, 촬상부가 촬영한 촬영 화상으로부터 잘라낸 부분 화상 또는 촬영 화상으로부터, 정보 레벨이 서로 다른 복수의 개별 레벨 화상을 생성하고, 생성한 각 개별 레벨 화상으로부터 평가값을 산출한다. 그리고, 인터폰은, 산출한 각 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 부분 화상 또는 촬영 화상에 얼굴이 촬영되어 있는 경우의 상승 정도의 하한값 이상인 경우, 촬영 화상에 얼굴이 촬영되어 있는 것으로 판정한다. 이에 의해, 인터폰은, 촬영 화상으로부터 얼굴을 검출하는 정밀도를 향상시킬 수 있다.
또한, 본 실시형태에 따른 인터폰은, 평가값 자체에 기초하여 부분 화상에 얼굴이 촬영되어 있는지 여부를 판정하는 것이 아닌, 평가값의 상승 정도에 기초하여 부분 화상에 얼굴이 촬영되어 있는지 여부를 판정한다. 즉, 인터폰은, 부분 화상으로부터 추출한 특징량이 특징량 공간에 있어서 식별 경계에 대해 얼굴측에 위치하는지 얼굴이 아닌 측에 위치하는지에 의해 부분 화상에 인물이 촬영되어 있는지 여부를 판정하는 것이 아닌, 정보 레벨의 변화에 따른, 식별 경계에 대한 특징량의 위치의 변화에 기초하여 얼굴을 검출하고 있다. 따라서, 식별 경계 자체를 고정밀도로 학습할 필요가 없기 때문에, 대량의 학습용 화상을 수집할 필요가 없어지고, 장치의 개발 효율을 향상시킬 수 있다.
제1의 실시형태에 있어서의 제1의 변형예에 있어서, 평가값 산출부는, 얼굴 특징량으로서 Haar-Like 특징량 대신 HOG(Histograms of Oriented Gradients) 특징량을 사용한다. 평가값 산출부는, 입력된 화상을 복수의 블록으로 분할하고, 나아가 각 블록을 복수의 셀로 분할한다. 예를 들면, 각 셀은 5화소×5화소의 사각 영역이고, 각 블록은 3셀×3셀의 사각 영역이다. 그리고, 평가값 산출부는, 입력된 화상내의 각 화소에 있어서의 화소값의 구배 방향 및 구배 강도를 산출한다. 한편, 구배 방향은 방향을 고려할 필요가 없기 때문에 0°~180°의 범위에서 산출되고, 예를 들면 22.5°마다 분할된 8방향으로 정해진다. 평가값 산출부는, 셀마다, 각 구배 방향에 대해 각 구배 방향의 구배 강도의 총합을 도수로 한 히스토그램을 구하고, 구한 히스토그램을 블록마다 정규화한 것을 HOG 특징량으로 한다.
얼굴 특징량으로서 HOG 특징량을 사용하는 경우, 평가값 산출부의 각 약식별기(weak classifier)에는, 소정의 블록에 대해 구해진 HOG 특징량이 각각 입력되고, 각 약식별기(weak classifier)는, 입력된 HOG 특징량에 기초하여, 대응하는 부분 화상에 얼굴이 촬영되어 있을 가능성이 높을수록 높고, 가능성이 낮을수록 낮은 값을 출력한다. 한편, 어느 블록의 HOG 특징량을 각 약식별기(weak classifier)에 입력할지는, 얼굴이 촬영되어 있는 복수의 학습용 얼굴 화상과 얼굴이 촬영되어 있지 않은 복수의 학습용 비얼굴 화상으로부터 사전 학습에 의해 결정된다. 학습 순서는 얼굴 특징량으로서 Haar-Like 특징량을 사용하는 경우와 동일하기 때문에, 설명을 생략한다. 사전 학습에 의해 결정된 각 약식별기(weak classifier)로서 사용하는 HOG 특징량을 나타내는 정보와, 각 약식별기(weak classifier)의 출력 함수를 나타내는 정보는, 얼굴의 참조 데이터로서 기억부에 기억된다.
제1의 실시형태에 있어서의 제2의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 화상에 적용하는 평균화 필터의 필터 사이즈를 변경하는 대신, 평균화 필터의 필터 처리 회수를 변경하는 것에 의해 선예도가 서로 다른 복수의 화상을 생성한다. 그 경우, 멀티 레벨 데이터 생성부는, 고정 사이즈(예를 들면 3×3)의 평균화 필터를 사용하여, 필터 처리를 1회 실시한 화상, 2회 실시한 화상, …, n회 실시한 화상을 각각 생성한다. 생성되는 화상은 필터 처리를 반복할수록 더욱 희미해진 화상이 되기 때문에, 필터 처리의 회수가 많을수록 선예도가 낮아지고, 필터 처리의 회수가 적을수록 선예도가 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 화상에 적용하는 필터의 필터 계수를 변경하는 것에 의해 선예도가 서로 다른 복수의 화상을 생성해도 좋다. 그 경우, 멀티 레벨 데이터 생성부는, 고정 사이즈(예를 들면 5×5)의 필터에 대해 필터의 중앙부에 가까울수록 가중치가 커지게 가중을 하고, 그 가중이 서로 다른 필터를 사용하여 선예도가 서로 다른 복수의 화상을 생성한다. 적용하는 필터의 에지부에서 중앙부로의 가중치의 변화 정도가 완만할수록 생성되는 화상의 선예도는 낮아지고, 에지부에서 중앙부로의 가중치의 변화 정도가 가파를수록 그 선예도는 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 화상내의 각 화소를 화소값이 서로 유사한 인접 화소의 집합(세그먼트)으로 분할하고, 각 세그먼트마다, 그 세그먼트를 구성하는 화소의 화소값을 동일한 값으로 치환하는 것에 의해 선예도가 서로 다른 복수의 화상을 생성해도 좋다. 그 경우, 멀티 레벨 데이터 생성부는, 화소값의 차의 절대값이 임계값 이하인 인접 화소의 집합을 세그먼트로 하고, 각 세그먼트를 구성하는 화소의 화소값을 그 세그먼트에 있어서의 평균 화소값으로 치환한다. 멀티 레벨 데이터 생성부는, 이 임계값을 다양하게 변경하는 것에 의해, 선예도가 서로 다른 복수의 화상을 생성한다. 인접 화소를 집합하기 위한 임계값이 높을수록 생성되는 화상의 선예도는 낮아지고, 인접 화소를 집합하기 위한 임계값이 낮을수록 그 선예도는 높아진다.
제1의 실시형태에 있어서의 제3의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 화상으로서, 입력된 화상에, 정보 레벨이 높을수록 적은 양의 노이즈를, 정보 레벨이 낮을수록 많은 양의 노이즈를 각각 중첩한 복수의 화상을 생성한다. 이 경우, 멀티 레벨 데이터 생성부는, 입력된 화상내의 소정수의 화소를 랜덤으로 선택하고, 선택한 화소의 값을 랜덤한 값으로 변경하는 것에 의해 노이즈를 중첩한다. 멀티 레벨 데이터 생성부는, 값을 변경하는 화소의 수를 다양하게 변경하는 것에 의해, 서로 다른 양의 노이즈를 각각 중첩한 복수의 화상을 생성한다. 중첩하는 노이즈량이 많을수록 생성되는 화상의 SN(signal to noise) 비는 낮아져서 정보 레벨이 낮아지고, 중첩하는 노이즈량이 적을수록 SN 비는 높아져서 정보 레벨이 높아진다.
또는, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 화상으로서, 정보 레벨이 높을수록 화상의 명료도가 높고, 정보 레벨이 낮을수록 화상의 명료도가 낮은, 화상의 명료도가 서로 다른 복수의 화상을 생성해도 좋다. 그 경우, 예를 들면, 멀티 레벨 데이터 생성부는, 화상의 명료도가 서로 다른 복수의 화상으로서, 정보 레벨이 높을수록 화상내의 화소값의 계조수를 많게 하고, 정보 레벨이 낮을수록 화상내의 화소값의 계조수를 적게 한 복수의 화상을 생성한다. 계조수가 적을수록 생성되는 화상의 명료도는 낮아지기 때문에 정보 레벨은 낮아지고, 계조수가 많을수록 명료도는 높아지기 때문에 정보 레벨은 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 화상의 명료도가 서로 다른 복수의 화상으로서, 정보 레벨이 높을수록 콘트라스트를 높게 하고, 정보 레벨이 낮을수록 콘트라스트를 낮게 한 복수의 화상을 생성해도 좋다. 그 경우, 멀티 레벨 데이터 생성부는, 입력된 화상에 대해, 화상내의 전체 화소의 휘도값의 표준 편차가 작아지도록 각 화소의 휘도값을 변환한 화상을 생성한다. 화상내의 각 화소의 휘도값의 표준 편차가 작아질수록 생성되는 화상의 명료도가 낮아지기 때문에 정보 레벨은 낮아지고, 표준 편차가 클수록 명료도가 높아지기 때문에 정보 레벨은 높아진다.
제1의 실시형태에 있어서의 제4의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 입력 데이터에 있어서 검출 대상이 표현되는 부분을 마스킹하는 정도(이하, 마스킹 정도라고 한다)를 낮게 하고, 정보 레벨이 낮을수록 마스킹 정도를 높게 한, 마스킹 정도가 서로 다른 복수의 데이터를 생성한다. 입력 데이터가 화상 데이터인 경우, 멀티 레벨 데이터 생성부는, 입력된 화상에 있어서 검출 대상인 인물의 얼굴이 표현되는 부분에 관한 마스킹 정도가 서로 다른 복수의 화상을 생성한다. 그 경우, 멀티 레벨 데이터 생성부는, 화상의 일부를 마스킹하는 소정 사이즈의 마스킹 영역을 그 화상내에 설정하고, 그 화상에 있어서의 마스킹 영역내의 화소값을 고정값으로 치환한다. 그리고, 멀티 레벨 데이터 생성부는, 마스킹 정도가 서로 다른 복수의 화상으로서, 마스킹 영역의 사이즈가 서로 다른 복수의 화상을 생성한다.
도 11에 마스킹 영역에 대해 설명하기 위한 모식도를 나타낸다. 도 11에 나타내는 예에서는, 사이즈가 서로 다른 마스킹 영역 1100, 1101, 1102는, 각 마스킹 영역의 중앙 위치가, 각각 화상 1103의 중앙 위치 1104에 일치하게 설정된다.
마스킹 영역의 사이즈가 클수록 생성되는 화상의 마스킹 정도가 높아져서 그 화상에 나타나는 얼굴의 특징의 정확성이 낮아지기 때문에 정보 레벨은 낮아지고, 마스킹 영역의 사이즈가 작을수록 그 마스킹 정도가 낮아져서 그 정보 레벨은 높아진다. 한편, 마스킹 정도가 가장 낮은 화상으로서, 마스킹 영역의 사이즈가 0인 화상, 즉 원래의 화상을 이용할 수 있다.
혹은, 멀티 레벨 데이터 생성부는, 마스킹 정도가 서로 다른 복수의 화상으로서, 마스킹 영역의 위치가 서로 다른 복수의 화상을 생성해도 좋다. 상술한 바와 같이, 예를 들면, 촬상부가 촬영하는 촬영 화상에 내방자의 얼굴이 정확히 들어가게 인터폰이 설치되는 바와 같은 경우, 제어부는, 촬영 화상으로부터 부분 화상을 잘라낼 필요가 없기 때문에, 촬영 화상으로부터 직접 개별 레벨 화상을 생성해도 좋다. 이 경우, 촬영 화상에 있어서, 눈, 코, 입 등의 얼굴의 특징적인 부위는, 촬영 화상의 에지부보다 중앙부 부근에 더 많이 존재할 가능성이 높다. 그 때문에, 이 경우에는, 마스킹 영역의 위치를 에지부에서 중앙부로 변경해 가는 것에 의해, 그 화상이 얼굴의 특징 표현에 적합한 정도를 낮게 해 갈 수 있다. 이 경우, 마스킹 영역의 위치가 중앙부에 가까울수록 생성되는 화상의 마스킹 정도는 높아지고, 마스킹 영역의 위치가 에지부에 가까울수록 그 마스킹 정도는 낮아진다.
이와 같이, 마스킹 정도가 서로 다른 복수의 화상을 생성하여 각 화상으로부터 평가값을 산출하고, 마스킹 정도의 저하에 따라 평가값이 상승하는 상승 정도에 기초하여 부분 화상에 얼굴이 촬영되어 있는지 여부를 판정하는 것에 의해서도, 검출 대상의 검출 정밀도를 향상시킬 수 있다.
제1의 실시형태에 있어서의 제5의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 검출 대상에 관한 특징량을 생성하고, 그 특징량에 대해, 그 특징량이 나타내는 정보량의 레벨(이하, 분석 레벨이라 한다)을 서로 다르게 한 복수의 데이터를 생성한다. 분석 레벨이 서로 다른 복수의 데이터에 있어서, 각 데이터가 검출 대상의 특징을 표현 가능한 정도는 서로 다르다. 여기서, 본 변형예에서는, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 분석 레벨이 높고, 정보 레벨이 낮을수록 분석 레벨이 낮은, 분석 레벨을 서로 다르게 한 복수의 데이터를 사용한다. 이 경우, 사전 학습에 의해 결정된, 평가값 산출부의 각 약식별기(weak classifier)에 입력하는 특징량은, 평가값 산출부가 아닌, 멀티 레벨 데이터 생성부가 구하고, 멀티 레벨 데이터 생성부는, 구한 특징량의 분석 레벨을 다양하게 변경한다.
예를 들면, 멀티 레벨 데이터 생성부는, 분석 레벨을 서로 다르게 한 복수의 데이터로서, 입력된 화상에 대해 구한 각 Haar-Like 특징량에, 분석 레벨이 높을수록 크고, 분석 레벨이 낮을수록 작은 1 이하의 양의 계수 α(0<α≤1.0)를 각각 곱한 복수의 데이터를 생성한다. 멀티 레벨 데이터 생성부는, 계수 α를 예를 들면 0.1, 0.2, 0.3, …, 1.0로, 미리 설정된 범위에서 다양하게 변경한다. α가 작을수록 얼굴의 특징이 상실되어 가기 때문에 구해지는 특징량의 정보 레벨은 낮아지고, 반대로 α가 클수록 그 정보 레벨은 높아진다.
이 경우, 도 10의 플로우차트의 스텝 S1004에 있어서, 멀티 레벨 데이터 생성부는, 부분 화상으로부터, 평가값 산출부의 각 약식별기(weak classifier)에 입력하는 Haar-Like 특징량을 구하고, 각 Haar-Like 특징량에 대해 스텝 S1003에서 설정된 정보 레벨에 대응하는 계수 α를 곱해서, 평가값 산출부에 보낸다. 그리고, 스텝 S1005는 생략되고, 스텝 S1006에 있어서, 평가값 산출부는, 멀티 레벨 데이터 생성부로부터 받은 Haar-Like 특징량으로부터 평가값을 산출한다.
또한, 예를 들면, 얼굴 특징량으로서 HOG 특징량을 사용하는 경우, 멀티 레벨 데이터 생성부는, 분석 레벨을 서로 다르게 한 복수의 데이터로서, 분석 레벨이 높을수록 특징량을 표현하는 양자화수를 많게 하고, 분석 레벨이 낮을수록 특징량을 표현하는 양자화수를 적게 한 복수의 데이터를 생성해도 좋다. 제1의 변형예에서 설명한 바와 같이, 얼굴 특징량으로서 HOG 특징량을 사용하는 경우, 화상내의 각 셀에 있어서의 각 구배 방향의 구배 강도의 총합의 히스토그램이 HOG 특징량으로서 구해진다. 멀티 레벨 데이터 생성부는, 히스토그램의 양자화수, 즉 구배 방향의 수를 2, 3, 4, …, 9로, 미리 설정된 범위에서 다양하게 변경하는 것에 의해, 분석 레벨을 변경한다. 양자화수가 적을수록 얼굴의 특징이 상실되어 가기 때문에 추출되는 특징량의 정보 레벨은 낮아지고, 반대로 양자화수가 많을수록 그 정보 레벨은 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 각 특징량에 대해 가중을 하는 것에 의해, 분석 레벨을 변경해도 좋다. 예를 들면, 특징 데이터로서 HOG 특징량을 사용하는 경우, 멀티 레벨 데이터 생성부는, 부분 화상의 중심 위치에 가까운 셀과 부분 화상의 중심 위치에서 떨어져 있는 에지부의 셀에 서로 다른 가중 계수를 설정하고, 각 셀의 히스토그램에 이 가중 계수를 곱하는 것에 의해 분석 레벨을 변경한다. 이 경우, 부분 화상의 중심 위치의 셀과 에지부의 셀에서 가중 계수의 차가 클수록 얼굴의 특징이 상실되어 가기 때문에 추출되는 특징량의 정보 레벨은 낮아지고, 반대로 가중 계수의 차가 작을수록 그 정보 레벨은 높아진다.
이와 같이, 분석 레벨이 서로 다른 특징량을 구하여 각 특징량으로부터 평가값을 산출하고, 평가값이 분석 레벨의 상승에 따라 상승하는 상승 정도에 기초하여 화상에 얼굴이 촬영되어 있는지 여부를 판정하는 것에 의해서도, 검출 대상의 검출 정밀도를 향상시킬 수 있다.
제1의 실시형태에 있어서의 제6의 변형예에 있어서, 평가값 산출부는, Real-Adaboost 식별기(classifier) 대신 Adaboost 식별기(classifier)를 구비한다. 이 식별기(classifier)는, 복수의 약식별기(weak classifier)와, 각 약식별기(weak classifier)의 판정 결과를 통합하여 판정하는 강식별기(strong classifier)로 구성된다. 각 약식별기(weak classifier)에는, 각 약식별기(weak classifier)마다 미리 결정된 특징량이 각각 입력되고, 각 약식별기(weak classifier)는, 입력된 특징량에 기초하여, 대응하는 부분 화상에 얼굴이 촬영되어 있는 것으로 판정한 경우, 1을 출력하고, 얼굴이 촬영되어 있지 않은 것으로 판정한 경우, -1을 출력한다. 한편, 강식별기(strong classifier)는, 각 약식별기(weak classifier)에 의한 출력값을 각각 가중하여, 그 가중의 합을 구하여 평가값으로서 출력한다. 한편, 어느 특징량을 각 약식별기(weak classifier)에 입력할 것인지, 및 각 약식별기(weak classifier)에 대한 가중치는, 얼굴이 촬영되어 있는 복수의 학습용 얼굴 화상과 얼굴이 촬영되어 있지 않은 복수의 학습용 비얼굴 화상으로부터 산출된 특징량을 사용한 사전 학습에 의해 결정된다.
혹은, 평가값 산출부는, SVM(Support Vector Machine), 3층 이상의 층을 갖는 퍼셉트론 또는 랜덤 포레스트 등을 사용하여 평가값을 산출해도 좋다. 그 경우, 평가값 산출부는, 미리 복수의 학습용 얼굴 화상과 복수의 학습용 비얼굴 화상으로부터 각각 하나 이상의 특징량을 추출하고, 추출한 특징량을 사용하여 사전 학습을 한다. 이 사전 학습은, 특정의 화상으로부터 추출된 특징량이 입력되었을 때, 특정의 화상에 얼굴이 촬영되어 있는지 여부를 판별하도록 이루어진다. SVM을 사용하는 경우, 평가값 산출부는, 특징량 공간에 있어서, 특징량이, 사전 학습에 의해 구한 식별 경계에 대해 얼굴측의 영역에 위치할 때 양의 값이 되고, 비얼굴측의 영역에 위치할 때 음의 값이 되고, 그 특징량의 위치와 식별 경계의 거리에 상당하는 값을 평가값으로서 산출한다. 또한, 3층 이상의 층을 갖는 퍼셉트론을 사용하는 경우, 평가값 산출부는, 출력층의 뉴런으로의 입력의 총합을 평가값으로 한다. 또한, 랜덤 포레스트를 사용하는 경우, 평가값 산출부는, 사전 학습에 의해 생성한 각 결정 트리의 출력을, 화상에 얼굴이 촬영되어 있을 확률이 높을수록 높아지도록 결합하여 평가값으로 한다.
혹은, 평가값 산출부는, 선형 판별 분석법을 사용하여 평가값을 출력해도 좋다. 그 경우, 평가값 산출부는, 미리 복수의 학습용 얼굴 화상과 복수의 학습용 비얼굴 화상으로부터 각각 하나 이상의 특징량을 추출하고, 추출한 특징량을 사용하여 선형 판별 함수를 작성한다. 평가값 산출부는, 특정의 화상으로부터 추출된 특징량이 입력되었을 때, 그 화상에 얼굴이 촬영되어 있을 확률이 높을수록 높은 값을 출력하도록, 선형 판별 함수를 작성하고, 그 출력값을 평가값으로 한다.
혹은, 평가값 산출부는, 혼합 정규 분포(Gaussian mixture distribution)를 사용하여 평가값을 출력해도 좋다. 그 경우, 평가값 산출부는, 미리 복수의 학습용 얼굴 화상으로부터 각각 하나 이상의 특징량을 추출하고, 추출한 특징량을 사용하여 혼합 정규 분포(Gaussian mixture distribution)를 작성한다. 평가값 산출부는, 작성한 혼합 정규 분포(Gaussian mixture distribution)에, 특정의 화상으로부터 추출된 특징량을 입력했을 때 얻어지는 확률을 평가값으로 한다. 혼합 정규 분포(Gaussian mixture distribution)를 사용하는 경우에는, 검출 대상의 학습용 데이터만을 사용하여 사전 학습을 하기 때문에, 검출 대상 이외의 학습용 데이터, 즉 얼굴이 촬영되어 있지 않은 학습용 비얼굴 화상을 수집할 필요가 없어진다.
또한, 예를 들면, 평가값 산출부는, 상이한 학습 데이터를 사용하여 기계학습을 한 복수의 식별기(classifier)를 사용하여 평가값을 산출해도 좋다. 그 경우, 평가값 산출부는, 각 식별기(classifier)를 직렬로 접속하고, 제1단째의 식별기(classifier)로부터 차례로 식별 처리를 실행하고, 어느 한 식별기(classifier)가 화상에 인물의 얼굴이 촬영되어 있지 않은 것으로 판정할 때까지 식별 처리를 반복한다. 한편, 평가값 산출부는, 각 식별기(classifier)로부터의 출력값이 임계값 이하인 경우에, 그 식별기(classifier)가 화상에 인물의 얼굴이 촬영되어 있지 않은 것으로 판정한 것으로 판단한다. 이 임계값은, 사전의 실험에 의해 얼굴이 촬영되어 있는 복수의 테스트용 얼굴 화상에 대해 산출된 출력값과 얼굴이 촬영되어 있지 않은 복수의 테스트용 비얼굴 화상에 대해 산출된 출력값에 기초하여 이들을 식별 가능한 값으로 설정해 놓을 수 있다. 그리고, 평가값 산출부는, 화상에 인물의 얼굴이 촬영되어 있는 것으로 판정한 식별기(classifier)의 수를 평가값으로 한다.
제1의 실시형태에 있어서의 제7의 변형예에 있어서, 평가값 산출부는, 기계학습을 한 식별기(classifier)에 의해 평가값을 산출하는 대신, 패턴 매칭에 의해 평가값을 산출한다. 이 경우, 제어부는, 검출 대상을 나타내는 데이터인 것을 알고 있는 복수의 학습용 데이터에 평균화 처리 등을 실시한 데이터 패턴을 미리 생성하여 참조 데이터로서 기억부에 기억해 둔다. 평가값 산출부는, 멀티 레벨 데이터 생성부로부터 받은 화상의 각각과, 참조 데이터로서 기억해 둔 데이터 패턴의 유사한 정도를 평가값으로서 산출한다. 유사한 정도는, 예를 들면, 각 화상과 참조 데이터의 내적으로 할 수 있다.
제1의 실시형태에 있어서의 제8의 변형예에 있어서, 평가값 산출부는, 기계학습을 한 식별기(classifier)에 의해 평가값을 산출하는 대신, 또는 패턴 매칭에 의해 평가값을 산출하는 대신, 입력 데이터로부터 검출 대상에 특유의 데이터가 추출되는 추출 정도를 평가값으로 한다. 예를 들면, 검출 대상이 얼굴인 경우, 추출하는 데이터는 피부색을 나타내는 화소(이하, 피부색 화소라고 한다)로 할 수 있다. 그 경우, 제어부는, 추출하는 피부색 화소의 화소값의 범위와, 얼굴로 간주할 수 있는 피부색 화소의 표준 비율을 설정하여 기억부에 미리 기억해 둔다. 평가값 산출부는, 멀티 레벨 데이터 생성부로부터 받은 화상으로부터 각각 피부색 화소를 추출한다. 평가값 산출부는, 각 화상내의 전체 화소수에 대한 피부색 화소의 화소수 비율과, 기억부에 미리 기억해 둔 표준 비율의 차의 절대값을 구하고, 구한 절대값의 역수를 평가값으로 한다.
제1의 실시형태에 있어서의 제9의 변형예에 있어서, 평가값 산출부는, 평가값으로서, 검출 대상에 유사한 정도를 출력하는 대신, 검출 대상이 아닐 확률을 나타내는 정도를 출력한다. 이 경우, 대상 판정부는, 정보 레벨을 크게 해 갔을 때 평가값이 크게 감소하는지 여부에 의해 입력 데이터에 검출 대상이 포함되는지 여부를 판정한다. 즉, 대상 판정부는, 정보 레벨의 상승에 따라 하강하는 평가값의 하강 정도가 미리 설정한 판정 임계값 이상이면 입력 데이터에 검출 대상이 포함되는 것으로 판정하고, 하강 정도가 판정 임계값 미만이면 입력 데이터에 검출 대상이 포함되지 않는 것으로 판정한다.
제1의 실시형태에 있어서의 제10의 변형예에 있어서, 대상 판정부는, 정보 레벨마다 그 정보 레벨에 관한 평가값에서 그 정보 레벨보다 소정 단계 낮은 정보 레벨에 관한 평가값을 뺀 차를 구하고, 구한 차의 최대값을 그 평가값의 상승 정도로 한다. 평가값의 차의 최대값을 그 평가값의 상승 정도로 하는 것에 의해, 대상 판정부는, 정보 레벨의 수가 적은 경우에도 평가값의 변화를 적절하게 검출할 수 있다.
혹은, 대상 판정부는, 각 정보 레벨에 대해 구한 모든 평가값의 최대값에서 최소값을 뺀 차, 및 최소값에 대한 최대값의 비 중의 어느 하나를 그 평가값의 상승 정도로 해도 좋다. 이에 의해서도, 정보 레벨의 수가 적은 경우에 평가값의 변화를 적절하게 검출할 수 있다.
혹은, 평가값이 입력 데이터에 검출 대상이 포함되는 것을 나타낼 때 양의 값이 되고, 입력 데이터에 검출 대상이 포함되지 않는 것을 나타낼 때 음의 값이 되는 경우, 입력 데이터에 검출 대상이 포함되지 않을 때는, 각 정보 레벨에 대해 구한 평가값의 부호가 빈번하게 변화되는 경향이 있다. 여기서, 이 경우, 대상 판정부는, 각 정보 레벨에 대해 구한 평가값의 부호 변화 회수의 역수를 그 평가값의 상승 정도로 해도 좋다. 그 경우, 대상 판정부는, 정보 레벨이 낮은 순서로 평가값의 부호가 변화된 회수를 카운트하고, 그 회수의 역수를 평가값의 상승 정도로 한다. 혹은, 대상 판정부는, 부호가 음에서 양으로 변화한 회수의 역수, 및 양에서 음으로 변화한 회수의 역수 중 어느 하나를 평가값의 상승 정도로 해도 좋다. 평가값의 부호 변화 회수의 역수를 그 평가값의 상승 정도로 하는 것에 의해, 특히 정보 레벨의 수가 많은 경우에, 평가값의 상승 정도를 더욱 고정밀도로 검출할 수 있다.
혹은, 대상 판정부는, 각 정보 레벨에 대해 구한 평가값의 분산값을 그 평가값의 상승 정도로 해도 좋다. 그 경우, 대상 판정부는, 구한 분산값이 판정 임계값 이상인 경우, 입력 데이터에 검출 대상이 포함되는 것으로 판정하고, 판정 임계값 미만인 경우, 입력 데이터에 검출 대상이 포함되지 않는 것으로 판정한다.
혹은, 대상 판정부는, 정보 레벨마다 그 정보 레벨에 관한 평가값에서 그 정보 레벨보다 소정 단계 낮은 정보 레벨에 관한 평가값을 뺀 차를 구하고, 구한 차의 최대값으로부터 평균값을 뺀 차를 평가값의 상승 정도로 해도 좋다.
혹은, 대상 판정부는, 각 정보 레벨에 대해 구한 평가값을 정보 레벨순으로 배열한 평가값의 열을 선형근사하는 것에 의해 포락선을 구하고, 정보 레벨마다 그 정보 레벨에 대응하는 포락선의 값에서 그 정보 레벨보다 소정 단계 낮은 정보 레벨에 대응하는 포락선의 값을 뺀 차를 구하고, 구한 차의 합계값 또는 최대값을 평가값의 상승 정도로 해도 좋다. 혹은, 각 정보 레벨에 있어서의 포락선의 최대값에서 최소값을 뺀 차, 및 최소값에 대한 최대값의 비 중의 어느 하나를 평가값의 상승 정도로 해도 좋다. 이에 의해, 각 정보 레벨에 대해 구한 평가값 중에 극단적으로 값이 작은 아웃라이어이가 포함되는 경우에도, 그 아웃라이어에 의한 판정의 미스를 저감할 수 있다.
혹은, 대상 판정부는, 검출 대상을 나타내는 데이터인 것을 알고 있는 학습용 데이터를 사용하여, 각 정보 레벨에 대해 구한 평가값에 대해 포락선을 미리 구하여 기억부에 기억해 둔다. 이 포락선은 검출 대상을 나타내는 데이터로부터 구해졌기 때문에, 정보 레벨이 높아질수록 급격하게 값이 높아져 있다. 그 때문에, 입력 데이터에 대해 구한 포락선과 기억부에 기억해 둔 포락선이 유사한 경우, 입력 데이터에 대해 구한 포락선도 정보 레벨이 높아질수록 급격하게 값이 높아져 있는 것으로 추정된다. 여기서, 대상 판정부는, 입력 데이터에 대해 구한 포락선과, 기억부에 기억해 둔 포락선에 대해 상호 상관을 계산하여 상관값을 구하고, 구한 상관값을 평가값의 상승 정도로 해도 좋다.
제1의 실시형태에 있어서의 제11의 변형예에 있어서, 대상 판정부는, 정보 레벨을 높게 해 갔을 때 평가값이 커지는지 여부가 아닌, 정보 레벨을 낮게 해 갔을 때 평가값이 작아지는지 여부에 의해 입력 데이터가 검출 대상의 데이터인지 여부를 판정한다. 즉, 대상 판정부는, 정보 레벨을 낮게 해 갔을 때의 평가값의 하강 정도를 산출하고, 산출한 하강 정도가 판정 임계값 이상이면 입력 데이터에 검출 대상이 포함되는 것으로 판정하고, 하강 정도가 판정 임계값 미만이면 입력 데이터에 검출 대상이 포함되지 않는 것으로 판정한다. 한편, 평가값이 검출 대상이 아닐 확률을 나타내는 경우, 대상 판정부는, 정보 레벨을 낮게 해 갔을 때 평가값이 커지는지 여부에 의해 입력 데이터에 검출 대상이 포함되는지 여부를 판정한다.
제1의 실시형태에 있어서의 제12의 변형예에 있어서, 대상 판정부는, 평가값의 상승 정도만에 기초하여 입력 데이터에 검출 대상이 포함되는지 여부를 판정하는 것이 아닌, 평가값의 상승 정도와 평가값 자체에 기초하여서 입력 데이터에 검출 대상이 포함되는지 여부를 판정한다. 이 경우, 대상 판정부는, 정보 레벨마다 구한 복수의 평가값의 통계적 대표값인 대표 평가값을 산출하고, 평가값의 상승 정도가 판정 임계값 이상이고, 또한 대표 평가값이 제2의 판정 임계값 이상인 경우에 입력 데이터에 검출 대상이 포함되는 것으로 판정한다. 한편, 대상 판정부는, 평가값의 상승 정도가 판정 임계값 미만인 경우, 또는 대표 평가값이 제2의 판정 임계값 미만인 경우에는 입력 데이터에 검출 대상이 포함되지 않는 것으로 판정한다. 대표 평가값은, 예를 들면 복수의 평가값의 최대값으로 할 수 있다. 혹은, 대표 평가값은, 복수의 평가값의 평균값, 중간값 또는 최소값으로 해도 좋다. 제2의 판정 임계값은, 미리의 실험에 의해, 검출 대상을 포함하는 입력 데이터에 대한 대표 평가값이 분포되는 범위의 하한값으로 할 수 있다. 즉, 제2의 판정 임계값 이상의 값은, 적어도 대표 평가값이 검출 대상인 것을 나타내는 값이 되고, 제2의 판정 임계값 미만의 값은, 적어도 대표 평가값이 검출 대상이 아닌 것을 나타내는 값이 된다. 이와 같이 하는 것에 의해 상승 정도에 대한 판정 임계값에 여유를 부여할 수 있기 때문에 검출 대상의 검출 정밀도가 향상된다.
다음으로, 본 발명의 제2의 실시형태에 따른 대상 검출 장치가 실장된 인터폰에 대해 도면을 참조하면서 설명한다.
본 실시형태에 따른 인터폰은, 입력된 화상으로부터, 화상의 선예도가 서로 다른 복수의 화상을 생성하는 대신, 입력된 화상에 대해 다양하게 기하 변환을 한 복수의 화상을 생성하는 것에 의해, 정보 레벨이 서로 다른 복수의 화상을 생성한다.
제1의 실시형태에서 설명한 바와 같이, 인터폰은, 적어도 검출 대상이 촬영되어 있는 학습용 화상을 사용하여 사전 학습을 한 식별기(classifier)를 사용하여, 부분 화상에 검출 대상이 촬영되어 있는지 여부를 판정한다. 또는, 검출 대상이 촬영되어 있는 학습용 화상과 부분 화상의 패턴 매칭에 의해 부분 화상에 검출 대상이 촬영되어 있는지 여부를 판정한다. 일반적으로, 검출 정밀도를 높이기 위해, 학습용 화상으로서는, 인터폰이 촬영한 촬영 화상에 찍히는 검출 대상에 대해 상정되는 기울기와 동일 정도의 기울기로 검출 대상이 촬영되어 있는 화상이 많이 사용된다. 그 때문에, 예를 들면, 화상을 회전시켜서 검출 대상의 기울기를 변경하면, 회전후의 화상에 있어서의 검출 대상의 기울기는, 많은 학습용 화상이 있어서의 검출 대상의 기울기와 상이한 것이 되고, 그 화상이 검출 대상의 특징 표현에 적합한 정도는 저하된다. 여기서, 본 실시형태에 따른 인터폰은, 정보 레벨이 서로 다른 복수의 화상으로서, 부분 화상을 다양한 각도로 회전시킨 복수의 화상을 생성한다. 이에 의해, 인터폰은, 제1의 실시형태와 마찬가지로, 부분 화상으로부터 얼굴을 검출하는 정밀도의 향상을 실현한다.
제2의 실시형태에 따른 인터폰(10)은, 도 2에 나타낸 제1의 실시형태에 따른 인터폰(10)과 마찬가지로, 촬상부(11), 출력부(12), 인터페이스부(13), 기억부(14) 및 제어부(15)를 구비한다. 촬상부(11), 출력부(12), 인터페이스부(13) 및 기억부(14)에 대해서는, 제1의 실시형태에 따른 인터폰(10)과 동일하기 때문에, 설명을 생략한다. 또한, 제2의 실시형태에 따른 인터폰(10)이 구비하는 제어부(15)는, 대상 검출 장치의 예이고, 도 3에 나타낸 제1의 실시형태에 따른 인터폰(10)이 구비하는 제어부(15)와 마찬가지로, 프로세서상에서 동작하는 소프트웨어에 의해 실장되는 기능 모듈로서, 데이터 입력부(150), 잘라내기부(151), 멀티 레벨 데이터 생성부(152), 평가값 산출부(153), 대상 판정부(154) 및 명동 제어부(155)를 구비한다.
한편, 제어부(15)가 구비하는 이들의 각 부는, 독립된 집적 회로, 펌웨어, 마이크로프로세서 등으로 구성되어도 좋다.
데이터 입력부(150), 잘라내기부(151), 평가값 산출부(153), 대상 판정부(154) 및 명동 제어부(155)에 대해서는, 제1의 실시형태에 따른 인터폰(10)의 데이터 입력부(150), 잘라내기부(151), 평가값 산출부(153), 대상 판정부(154) 및 명동 제어부(155)와 동일하기 때문에 설명을 생략하고, 이하에서는, 멀티 레벨 데이터 생성부(152)에 대해 상세하게 설명한다.
멀티 레벨 데이터 생성부(152)는, 멀티 레벨 데이터로서, 촬영 화상으로부터 잘라내어진 각 부분 화상을, 정보 레벨이 높을수록 작은 정도로 기하 변환하고, 정보 레벨이 낮을수록 큰 정도로 기하 변환하여 복수의 개별 레벨 화상을 생성한다. 그리고, 멀티 레벨 데이터 생성부(152)는, 생성한 개별 레벨 화상을 정보 레벨과 대응시켜 평가값 산출부(153)에 보낸다. 본 실시형태에 따른 멀티 레벨 데이터 생성부(152)는, 기하 변환한 복수의 데이터로서, 정보 레벨이 높을수록 작은 회전 각도로 정보 레벨이 낮을수록 큰 회전 각도로 부분 화상을 각각 회전시킨 복수의 개별 레벨 화상을 생성한다. 이에 의해, 회전후의 화상에 촬영되어 있는 검출 대상의 기울기는 많은 학습용 화상에 촬영되어 있던 검출 대상의 기울기와 상이한 것이 되고, 부분 화상이 검출 대상의 특징 표현에 적합한 정도는 저하된다. 부분 화상을 회전시키는 회전 각도가 클수록 상기 정도는 낮아지고, 생성되는 화상의 정보 레벨은 낮아진다. 예를 들면, 정보 레벨은, 1에서 19까지 19단계로 정해진다. 정보 레벨이 1일 때 회전 각도는 180°로 설정되고, 정보 레벨이 1 커질 때마다 회전 각도는 10° 작은 값으로 설정된다. 또한, 정보 레벨이 가장 높은 값인 19일 때는, 회전시키지 않은 원래의 부분 화상이 이용된다.
이하, 도 12에 나타낸 플로우차트를 참조하면서, 제2의 실시형태에 따른 인터폰에 의한 대상 검출 처리의 동작을 설명한다. 이 플로우차트는, 제2의 실시형태에 따른 인터폰에 있어서, 전술한 도 10에 나타내는 플로우차트 대신에 실행할 수 있다. 한편, 이하에 설명하는 동작의 플로우는, 기억부(14)에 기억되고, 제어부(15)에 읽어들인 프로그램에 따라, 제어부(15)에 의해 제어된다. 도 12에 나타내는 플로우차트의 스텝 S1201~S1202, S1205~S1211의 처리는, 도 10에 나타내는 플로우차트의 스텝 S1001~S1002, S1005~S1011의 처리와 동일하기 때문에, 설명을 생략하고, 이하에서는, 스텝 S1203~S1204의 처리에 대해서만 설명한다.
스텝 S1203에 있어서, 제어부(15)는, 정보 레벨을 설정한다. 한편, 제어부(15)는 미리 정해진 정보 레벨을 낮은 측에서 차례로 설정하고, 설정하는 정보 레벨의 수만큼 스텝 S1204~S1207의 처리를 실행한다.
멀티 레벨 데이터 생성부(152)는, 부분 화상을, 스텝 S1203에서 설정된 정보 레벨에 대응하는 회전 각도로 회전시킨 개별 레벨 화상을 생성하고, 생성한 개별 레벨 화상을 정보 레벨과 대응시켜 평가값 산출부(153)에 보낸다(스텝 S1204). 한편, 정보 레벨이 최대값이 아닌 경우, 멀티 레벨 데이터 생성부(152)는, 부분 화상을 그 정보 레벨에 대응하는 회전 각도로 회전시킨 개별 레벨 화상을 생성하여 평가값 산출부(153)에 보낸다. 한편, 정보 레벨이 최대값인 경우, 멀티 레벨 데이터 생성부(152)는, 부분 화상을 그대로 평가값 산출부(153)에 보낸다.
이상으로 설명한 바와 같이, 본 실시형태에 따른 인터폰은, 정보 레벨이 서로 다른 복수의 화상으로서, 촬상부가 촬영한 촬영 화상으로부터 잘라낸 부분 화상 또는 촬영 화상을 다양한 회전 각도로 회전시킨 복수의 화상을 생성하고, 생성한 각 화상으로부터 평가값을 산출한다. 그리고, 인터폰은, 산출한 각 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 부분 화상 또는 촬영 화상에 얼굴이 촬영되어 있는 경우의 상승 정도의 하한값 이상인 경우, 촬영 화상에 얼굴이 촬영되어 있는 것으로 판정한다. 이에 의해, 인터폰은, 촬영 화상으로부터 얼굴을 검출하는 정밀도를 향상시킬 수 있다.
제2의 실시형태에 있어서의 제1의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 입력된 화상을 회전시키는 대신, 입력된 화상을 사다리꼴로 변환하는 것에 의해 기하 변환을 한다. 예를 들면, 멀티 레벨 데이터 생성부는, 입력된 화상의 4변 중 어느 한 변을 짧게 하는 것에 의해 사다리꼴 변환을 한다. 멀티 레벨 데이터 생성부는, 정보 레벨이 높을수록 변환후의 사다리꼴의 저변과 상변의 비가 1에 가깝고, 정보 레벨이 낮을수록 변환후의 사다리꼴의 저변과 상변의 비가 1에서 떨어진 복수의 데이터를 생성한다. 이에 의해, 변형후의 화상에 촬영되어 있는 검출 대상의 형상이 본래의 형상과 상이한 것이 되고, 변형후의 화상이 검출 대상의 특징 표현에 적합한 정도는 저하된다. 변환후의 사다리꼴에 있어서의 저변과 상변의 비가 1에서 떨어질수록 상기 정도는 낮아지고, 생성되는 화상의 정보 레벨은 낮아진다.
혹은, 멀티 레벨 데이터 생성부는, 입력된 화상을 평행사변형으로 변환하는 것에 의해 기하 변환을 해도 좋다. 예를 들면, 멀티 레벨 데이터 생성부는, 입력된 화상의 4변 중 어느 한 변을 그 맞변과 평행하게 이동시키는 것에 의해 평행사변형으로 변환한다. 그 경우, 멀티 레벨 데이터 생성부는, 정보 레벨이 높을수록 변환후의 평행사변형의 각 각도가 90°에 가깝고, 정보 레벨이 낮을수록 변환후의 평행사변형의 각 각도가 90°에서 떨어진 복수의 데이터를 생성한다. 이 경우에도, 변형후의 화상에 촬영되어 있는 검출 대상의 형상이 본래의 형상과 상이한 것이 되고, 변형후의 화상이 검출 대상의 특징 표현에 적합한 정도는 저하된다. 평행사변형에 있어서의 각 각도가 90°에서 떨어질수록 상기 정도는 낮아지고, 생성되는 화상의 정보 레벨은 낮아진다.
제2의 실시형태에 있어서의 제2의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 기하 변환에 상당하는, 서로 다른 처리를 한 복수의 특징량을 생성한다. 이 경우, 사전 학습에 의해 결정된, 평가값 산출부의 각 약식별기(weak classifier)에 입력하는 특징량은, 평가값 산출부가 아닌, 멀티 레벨 데이터 생성부가 구한다. 예를 들면, 특징량이 Haar-Like 특징량인 경우, 멀티 레벨 데이터 생성부는, 사전 학습에 의해 결정된 각 약식별기(weak classifier)에 입력하는 Haar-Like 특징량에 대응하는 인접 사각 영역마다, 그 인접 사각 영역을 회전시켜, 회전시킨 인접 사각 영역간의 휘도차를 그 약식별기(weak classifier)에 입력하는 Haar-Like 특징량으로서 구한다. 이 경우, 멀티 레벨 데이터 생성부는, 사전 학습에 의해 결정된 각 약식별기(weak classifier)에 입력하는 Haar-Like 특징량에 대응하는 인접 사각 영역마다, 그 인접 사각 영역을 회전시키는 회전 각도를 0°~180° 사이에서 단계적으로 회전시키면서 복수의 Haar-Like 특징량을 구하고, 정보 레벨이 서로 다른 복수의 데이터로서 사용한다. 이에 의해, 입력된 화상을 회전시켜서 Haar-Like 특징량을 구하는 경우와 동일한 효과가 얻어지고, 입력된 화상을 회전시키는 것 보다 저부하로 Haar-Like 특징량을 구할 수 있다.
또한, 특징량이 HOG 특징량인 경우, 멀티 레벨 데이터 생성부는, 입력된 화상을 복수의 셀로 분할하고, 셀마다, 셀내의 각 화소에 있어서의 화소값의 구배 방향 및 구배 강도를 산출하고, 각 구배 방향에 대해 각 구배 방향의 구배 강도의 총합을 도수로 한 히스토그램을 구한다. 그리고, 멀티 레벨 데이터 생성부는, 구한 히스토그램의 각 구배 방향에 대해, 도수, 즉 각 구배 방향의 구배 강도의 총합을 소정의 단계만 순환시킨 것을 HOG 특징량으로서 구한다. 멀티 레벨 데이터 생성부는, 순환시키는 단계수를 서로 다르게 한 복수의 HOG 특징량을 구하고, 정보 레벨이 서로 다른 복수의 데이터로서 사용한다. 이에 의해, 부분 화상을 회전시켰을 때에 얻어지는 HOG 특징량을, 부분 화상을 회전시키는 것 보다 저부하로 구할 수 있다.
한편, 이들의 경우, 도 12의 플로우차트의 스텝 S1204에 있어서, 멀티 레벨 데이터 생성부는, 부분 화상에 대해, 스텝 S1203에서 설정된 정보 레벨에 대응하는 특징량을 구하고, 평가값 산출부에 보낸다. 그리고, 스텝 S1205는 생략되고, 스텝 S1206에 있어서, 평가값 산출부는, 멀티 레벨 데이터 생성부로부터 받은 특징량으로부터 평가값을 산출한다.
또한, 멀티 레벨 데이터 생성부는, 각 부분 화상에 대해 기하 변환을 하는 것에 더하여, 제1의 실시형태에서 설명한 방법에 의해 각 부분 화상의 정보 레벨을 변경해도 좋다. 이에 의해, 정보 레벨이 서로 다른 복수의 데이터 수를 많게 할 수 있고, 각 평가값을 더욱 세밀하게 분석할 수 있다.
또한, 제1의 실시형태에 있어서의 제1~12의 각 변형예를 제2의 실시형태에서도 적용할 수 있다.
다음으로, 본 발명의 제3의 실시형태에 따른 대상 검출 장치가 실장된 감시 시스템에 대해 도면을 참조하면서 설명한다.
본 실시형태에 따른 감시 시스템은, 감시 영역으로의 침입자를 검지하여 경보를 발한다. 이 감시 시스템은, 감시 장치와 센터 장치를 구비한다. 이 감시 장치는, 감시 영역을 촬영한 화상으로부터 잘라낸 부분 화상으로부터, 정보 레벨이 서로 다른 복수의 개별 레벨 화상을 생성하고, 생성한 각 개별 레벨 화상으로부터 평가값을 산출한다. 그리고, 감시 장치는, 산출한 각 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 부분 화상에 인체가 촬영되어 있는 경우의 상승 정도의 하한값 이상인 경우, 촬영 화상에 인체가 촬영되어 있는 것으로 판정한다. 감시 장치는, 촬영 화상에 인체가 촬영되어 있는 것으로 판정하면, 감시 영역에 인물이 침입한 것으로 판정하여 센터 장치에 경보를 발한다. 이에 의해, 감시 시스템은, 인체의 검출 정밀도의 향상을 실현한다.
도 13은 본 실시형태에 따른 감시 시스템의 개략 구성을 나타내는 도면이다. 도 13에 나타내는 바와 같이, 감시 시스템은, 하나 이상의 감시 장치(20)와, 감시 장치(20)와 공중 통신 회선을 통해 접속되는 센터 장치(30)를 구비한다. 감시 장치(20)는, 감시 영역에 침입자를 검지하면, 공중 통신 회선을 통해 접속된 센터 장치(30)에, 침입자가 검지된 것을 나타내는 이상 신호를 송신한다. 감시 장치(20)는, 촬상부(21), 인터페이스부(22), 통신부(23), 기억부(24) 및 제어부(25)를 구비한다. 이하, 감시 장치(20)의 각 부에 대해 상세하게 설명한다.
촬상부(21)는, 소정의 주기(예를 들면 200ms)로 감시 영역을 촬영하는 카메라이고, 예를 들면, 2차원으로 배열되고, 수광한 광량에 따른 전기 신호를 출력하는 광전 변환 소자(예를 들면, CCD 센서, C-MOS 등)와, 그 광전 변환 소자상에 감시 영역의 상을 결상하기 위한 결상 광학계를 구비한다. 촬상부(21)는, 인터페이스부(22)와 접속되고, 촬영한 촬영 화상을 차례로 인터페이스부(22)에 전달한다. 촬영 화상은, 제1의 실시형태에서 설명한 촬영 화상과 동일하기 때문에, 설명을 생략한다. 본 실시형태에서는, 촬영 화상으로부터 잘라내는 부분 화상이 입력 데이터의 예이다.
인터페이스부(22)는, 촬상부(21)와 접속되는 인터페이스 회로, 예를 들면 비디오 인터페이스 혹은 USB와 같은 시리얼 버스에 준하는 인터페이스 회로를 구비한다. 인터페이스부(22)는, 제어부(25)와 예를 들면 버스를 통해 접속되고, 촬상부(21)로부터 받은 촬영 화상을 제어부(25)에 보낸다.
통신부(23)는, 감시 장치(20)를 공중 통신 회선에 접속하는 통신 인터페이스 및 그 제어 회로를 구비하고, 예를 들면 버스를 통해 제어부(25)와 접속된다. 통신부(23)는, 감시 영역에 있어서 침입자가 검지된 것을 통지하는 경우, 제어부(25)의 제어에 따라, 감시 장치(20)와 센터 장치(30) 사이의 접속 처리를 한다. 그리고, 통신부(23)는, 감시 장치(20)와 센터 장치(30) 사이에서 접속이 확립된 후, 제어부(25)로부터 받은 이상 신호를 센터 장치(30)에 송신한다. 통신부(23)는, 이상 신호의 송신이 끝나면, 감시 장치(20)와 센터 장치(30) 사이의 접속을 개방하는 처리를 한다.
기억부(24)는, ROM, RAM 등 반도체 메모리, 혹은 자기 기록 매체 및 그 액세스 장치 혹은 광기록매체 및 그 액세스 장치 등을 구비한다. 기억부(24)는, 감시 장치(20)를 제어하기 위한 컴퓨터 프로그램 및 각종 데이터를 기억하고, 제어부(24)와의 사이에서 이들의 정보를 입출력한다. 한편, 컴퓨터 프로그램은, CD-ROM(Compact Disk Read Only Memory), DVD-ROM(Digital Versatile Disk Read Only Memory) 등의 컴퓨터 판독 가능한 기억 매체로부터 기억부(24)에 인스톨되어도 좋다. 각종 데이터에는 얼굴의 참조 데이터가 포함된다.
제어부(25)는, 대상 검출 장치의 예이고, CPU, DSP, MCU 등의 적어도 하나의 프로세서 및 그 주변 회로를 구비한다. 제어부(25)는, 인터페이스부(22)로부터 받은 촬영 화상을 기억부(24)에 기억한다. 그리고, 제어부(25)는, 기억부(24)에 기억한 촬영 화상을 판독하여 그 촬영 화상에 인체가 포함되는지 여부를 판정한다.
도 14는 제어부(25)의 개략 구성을 나타내는 도면이다. 도 14에 나타내는 바와 같이 제어부(25)는, 프로세서상에서 동작하는 소프트웨어에 의해 실장되는 기능 모듈로서, 데이터 입력부(250), 잘라내기부(251), 멀티 레벨 데이터 생성부(252), 평가값 산출부(253), 대상 판정부(254) 및 통지 제어부(255)를 구비한다.
한편, 제어부(25)가 구비하는 이들의 각 부는, 독립된 집적 회로, 펌웨어, 마이크로프로세서 등으로 구성되어도 좋다.
이하, 제어부(25)의 각 부에 대해 상세하게 설명한다.
데이터 입력부(250)는, 기억부(24)에 촬영 화상이 기억될 때마다, 기억부(24)로부터 촬영 화상을 판독하고, 잘라내기부(251)에 보낸다.
잘라내기부(251)는, 데이터 입력부(250)로부터 촬영 화상을 받을 때마다, 촬영 화상 상의 인체의 사이즈 범위내에서 부분 화상의 잘라내기 처리를 실시한다. 그 이외의 동작에 대해서는, 제1의 실시형태에 따른 잘라내기부(151)와 동일하기 때문에 설명을 생략한다. 또한, 멀티 레벨 데이터 생성부(252)에 대해서는, 제1의 실시형태에 따른 멀티 레벨 데이터 생성부(152) 및 제2의 실시형태에 따른 멀티 레벨 데이터 생성부(152) 중 어느 하나와 동일하기 때문에 설명을 생략한다. 또한, 평가값 산출부(253) 및 대상 판정부(254)에 대해서는, 제1의 실시형태에 따른 평가값 산출부(153) 및 대상 판정부(154)에 있어서 얼굴의 정보 대신에 인체의 정보를 취급한다. 그 이외의 동작에 대해서는 제1의 실시형태에 따른 평가값 산출부(153) 및 대상 판정부(154)와 동일하기 때문에 설명을 생략한다.
통지 제어부(255)는, 대상 판정부(254)에 의해 어느 한 부분 화상에 인체가 촬영되어 있다고 판정되면, 이상 신호를 통신부(23)를 통해 센터 장치(30)에 송신한다.
이하, 도 15에 나타낸 플로우차트를 참조하면서, 본 실시형태에 따른 감시 장치(20)에 의한 대상 검출 처리의 동작을 설명한다. 한편, 이하에 설명하는 동작의 플로우는, 기억부(24)에 기억되고, 제어부(25)에 읽어들인 프로그램에 따라, 제어부(25)에 의해 제어된다. 도 15에 나타내는 플로우차트의 스텝 S1502~S1509, S1511의 처리는, 도 10에 나타내는 플로우차트의 스텝 S1002~S1009, S1011의 처리와 동일하기 때문에, 설명을 생략하고, 이하에서는, 스텝 S1501, S1510의 처리에 대해서만 설명한다.
스텝 S1501에 있어서, 제어부(25)는, 촬상부(21)에 감시 영역을 촬영시켜, 촬영 화상을 인터페이스부(22)를 통해 취득하고, 기억부(24)에 기억한다. 그리고, 데이터 입력부(250)는, 촬영 화상을 기억부(24)로부터 판독하고, 잘라내기부(251)에 보낸다.
또한, 스텝 S1509에 있어서 대상 판정부(254)가 산출한 상승 정도가 판정 임계값 이상이면, 통지 제어부(255)는, 이상 신호를 통신부(23)를 통해 센터 장치(30)에 송신한다(스텝 S1510). 이상 신호가 송신되면, 제어부(25)는, 처리를 스텝 S1501로 되돌려서 스텝 S1501~S1511의 처리를 반복한다.
또한, 스텝 S1511에 있어서, 부분 화상을 모두 잘라낸 경우에도, 제어부(25)는, 처리를 스텝 S1501로 되돌려서 스텝 S1501~S1511의 처리를 반복한다.
이상으로 설명한 바와 같이, 본 실시형태에 따른 감시 장치는, 감시 영역을 촬영한 화상으로부터 잘라낸 부분 화상으로부터, 정보 레벨이 서로 다른 복수의 개별 레벨 화상을 생성하고, 생성한 각 개별 레벨 화상으로부터 평가값을 산출한다. 그리고, 감시 장치는, 산출한 각 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 부분 화상에 인체가 촬영되어 있는 경우의 상승 정도의 하한값 이상인 경우, 촬영 화상에 인체가 촬영되어 있는 것으로 판정한다. 이에 의해, 감시 시스템은, 인체의 검출 정밀도를 향상시킬 수 있다.
다음으로, 본 발명의 제4의 실시형태에 따른 대상 검출 장치가 실장된 감시 시스템에 대해 도면을 참조하면서 설명한다.
본 실시형태에 따른 감시 시스템은, 제3의 실시형태에 따른 감시 시스템과 마찬가지로, 감시 영역으로의 침입자를 검지하여 경보를 발한다. 다만, 본 실시형태에 따른 감시 시스템에서는, 감시 장치는, 감시 영역을 촬영한 화상을 센터 장치에 송신하고, 센터 장치가, 감시 영역에 인물이 침입했는지 여부를 판정한다.
도 16은 본 실시형태에 따른 감시 시스템의 개략 구성을 나타내는 도면이다. 도 16에 나타내는 바와 같이, 감시 시스템은, 하나 이상의 감시 장치(40)와, 감시 장치(40)와 공중 통신 회선을 통해 접속되는 센터 장치(50)를 구비한다.
감시 장치(40)는, 감시 영역에 침입한 인물을 검지하면, 공중 통신 회선을 통해 접속된 센터 장치(50)에, 감시 영역을 촬영한 화상을 송신한다. 감시 장치(40)는, 촬상부(41), 인터페이스부(42), 통신부(43), 기억부(44) 및 제어부(45)를 구비한다. 촬상부(41) 및 인터페이스부(42)에 대해서는, 제3의 실시형태에 따른 감시 장치(20)의 촬상부(21) 및 인터페이스부(22)와 동일하기 때문에, 설명을 생략한다.
통신부(43)는, 제3의 실시형태에 따른 감시 장치(20)의 통신부(23)와 동일하게, 감시 장치(40)를 공중 통신 회선에 접속하는 통신 인터페이스 및 그 제어 회로를 구비하고, 예를 들면 버스를 통해 제어부(45)와 접속된다. 통신부(43)는, 감시 장치(40)가 감시 영역을 감시하는 경우, 제어부(45)의 제어에 따라, 감시 장치(40)와 센터 장치(50) 사이의 접속 처리를 한다. 그리고, 통신부(43)는, 감시 장치(40)와 센터 장치(50) 사이에서 접속이 확립된 후, 촬상부(41)가 촬상하고, 기억부(44)에 기억한 촬영 화상을 센터 장치(50)에 송신한다.
기억부(44)는, 제3의 실시형태에 따른 감시 장치(20)의 기억부(24)와 동일하게, ROM, RAM 등 반도체 메모리, 혹은 자기 기록 매체 및 그 액세스 장치 혹은 광기록매체 및 그 액세스 장치 등을 구비한다. 기억부(44)는, 감시 장치(40)를 제어하기 위한 컴퓨터 프로그램 및 각종 데이터를 기억하고, 제어부(45)와의 사이에서 이들의 정보를 입출력한다. 한편, 컴퓨터 프로그램은, CD-ROM, DVD-ROM 등의 컴퓨터 판독 가능한 기억 매체로부터 기억부(44)에 인스톨되어도 좋다.
제어부(45)는, CPU, DSP, MCU 등의 적어도 하나의 프로세서 및 그 주변 회로를 구비한다. 그리고, 제어부(45)는, 촬상부(41)에 촬상되고, 기억부(44)에 기억된 촬영 화상을 통신부(43)를 통해 센터 장치(50)에 송신한다. 한편, 제어부(45)는, 촬영 화상을 MPEG(Moving Picture Expert Group) 규격 등에 준거한 압축 코드 방식을 사용하여 압축 부호화하고, 압축 부호화한 데이터를 센터 장치(50)에 송신해도 좋다.
센터 장치(50)는, 감시 장치(40)로부터 촬영 화상을 수신하면, 수신한 화상에 인체가 촬영되어 있는지 여부를 판정하는 것에 의해, 감시 영역에 인물이 침입했는지 여부를 판정한다. 센터 장치(50)는, 통신부(51), 표시부(52), 인터페이스부(53), 기억부(54) 및 제어부(55)를 구비한다.
통신부(51)는, 센터 장치(50)를 공중 통신 회선에 접속하는 통신 인터페이스 및 그 제어 회로를 구비하고, 예를 들면 버스를 통해 제어부(55)와 접속된다. 통신부(51)는, 제어부(55)의 제어에 따라, 감시 장치(40)와 센터 장치(50) 사이의 접속 처리를 한다. 그리고, 통신부(51)는, 감시 장치(40)와 센터 장치(50) 사이에서 접속이 확립된 후, 감시 장치(40)로부터 촬영 화상을 수신하면, 수신한 촬영 화상을 기억부(54)에 기억한다.
표시부(52)는, 액정 디스플레이, 터치패널 디스플레이 등의 표시 디바이스로 구성되고, 인터페이스부(53)를 통해 제어부(55)로부터 받은 각종 정보 등을 표시하여, 이용자에게 통지한다.
인터페이스부(53)는, 표시부(52)와 접속되는 인터페이스 회로, 예를 들면 비디오 인터페이스 혹은 USB와 같은 시리얼 버스에 준하는 인터페이스 회로를 구비한다. 인터페이스부(53)는, 제어부(55)와 예를 들면 버스를 통해 접속되고, 제어부(55)로부터 받은 각종 정보를 표시부(52)에 출력한다.
기억부(54)는, ROM, RAM 등의 반도체 메모리, 혹은 자기 기록 매체 및 그 액세스 장치 혹은 광기록매체 및 그 액세스 장치 등을 구비한다. 기억부(54)는, 센터 장치(50)를 제어하기 위한 컴퓨터 프로그램 및 각종 데이터를 기억하고, 제어부(55)와의 사이에서 이들의 정보를 입출력한다. 한편, 컴퓨터 프로그램은, CD-ROM, DVD-ROM 등의 컴퓨터 판독 가능한 기억 매체로부터 기억부(54)에 인스톨되어도 좋다. 각종 데이터에는 인체의 참조 데이터가 포함된다.
제어부(55)는, 대상 검출 장치의 예이고, CPU, DSP, MCU 등의 적어도 하나의 프로세서 및 그 주변 회로를 구비한다. 그리고, 제어부(55)는, 통신부(51)가 감시 장치(40)로부터 수신한 촬영 화상에 인체가 포함되는지 여부를 판정한다. 한편, 감시 장치(40)가, 촬영 화상을 압축 부호화한 데이터를 송신한 경우, 제어부(55)는, 수신한 데이터를 촬영 화상에 디코딩하고, 디코딩한 촬영 화상에 인체가 포함되는지 여부를 판정한다.
도 17은 제어부(55)의 개략 구성을 나타내는 도면이다. 도 17에 나타내는 바와 같이 제어부(55)는, 프로세서상에서 동작하는 소프트웨어에 의해 실장되는 기능 모듈로서, 데이터 입력부(550), 잘라내기부(551), 멀티 레벨 데이터 생성부(552), 평가값 산출부(553), 대상 판정부(554) 및 표시 제어부(555)를 구비한다. 한편, 제어부(55)가 구비하는 이들의 각 부는, 독립된 집적 회로, 펌웨어, 마이크로프로세서 등으로 구성되어도 좋다.
데이터 입력부(550)는, 통신부(51)가 감시 장치(40)로부터 촬영 화상을 수신하여 기억부(54)에 기록할 때마다, 기억부(54)로부터 촬영 화상을 판독하고, 잘라내기부(551)에 보낸다. 잘라내기부(551), 멀티 레벨 데이터 생성부(552), 평가값 산출부(553) 및 대상 판정부(554)는, 제3의 실시형태에 따른 감시 장치(20)의 잘라내기부(251), 멀티 레벨 데이터 생성부(252), 평가값 산출부(253) 및 대상 판정부(254)와 동일하기 때문에, 설명을 생략한다.
표시 제어부(555)는, 대상 판정부(554)에 의해 부분 화상에 인체가 촬영되어 있는 것으로 판정되었을 때, 감시 장치(40)의 감시 영역에 인물이 침입한 사실을 인터페이스부(53)를 통해 표시부(52)에 표시시킨다.
이하, 도 18에 나타낸 플로우차트를 참조하면서, 본 실시형태에 따른 센터 장치(50)에 의한 대상 검출 처리의 동작을 설명한다. 한편, 이하에 설명하는 동작의 플로우는, 기억부(54)에 기억되고, 제어부(55)에 읽어들인 프로그램에 따라, 제어부(55)에 의해 제어된다. 도 18에 나타내는 플로우차트의 스텝 S1802~S1809, S1811의 처리는, 도 10에 나타내는 플로우차트의 스텝 S1002~S1009, S1011의 처리와 동일하기 때문에, 설명을 생략하고, 이하에서는, 스텝 S1801, S1810의 처리에 대해서만 설명한다.
스텝 S1801에 있어서, 데이터 입력부(550)는, 통신부(51)가 감시 장치(40)로부터 수신하여 기억부(54)에 기억한 촬영 화상을 판독하고, 잘라내기부(551)에 보낸다.
또한, 스텝 S1809에 있어서 대상 판정부(554)가 산출한 상승 정도가 판정 임계값 이상이면, 표시 제어부(555)는, 감시 장치(40)의 감시 영역에 인물이 침입한 사실을 인터페이스부(53)를 통해 표시부(52)에 표시시켜, 관리자에게 통지한다(스텝 S1810). 인물이 침입한 사실을 표시부(52)에 표시시키면, 제어부(55)는, 처리를 스텝 S1801로 되돌려서 스텝 S1801~S1811의 처리를 반복한다.
또한, 스텝 S1811에 있어서, 부분 화상을 모두 잘라낸 경우에도, 제어부(55)는, 처리를 스텝 S1801로 되돌려서 스텝 S1801~S1811의 처리를 반복한다.
이상으로 설명한 바와 같이, 본 실시형태에 따른 센터 장치는, 감시 장치로부터 수신한 촬영 화상으로부터 잘라낸 부분 화상으로부터, 정보 레벨이 서로 다른 복수의 개별 레벨 화상을 생성하고, 생성한 각 개별 레벨 화상으로부터 평가값을 산출한다. 그리고, 센터 장치는, 산출한 각 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 부분 화상에 인체가 촬영되어 있는 경우의 상승 정도의 하한값 이상인 경우, 촬영 화상에 인체가 촬영되어 있는 것으로 판정한다. 이에 의해, 감시 시스템은, 인체의 검출 정밀도를 향상시킬 수 있다.
한편, 감시 장치와 센터 장치의 기능 분담은, 제3의 실시형태 또는 제4의 실시형태에 따른 감시 시스템의 예에 한정되지 않는다. 잘라내기부, 멀티 레벨 데이터 생성부, 평가값 산출부 및 대상 판정부 각각을 감시 장치와 센터 장치 중의 어느 것에 배치할지는 적절히 변경 가능하다.
다음으로, 본 발명의 제5의 실시형태에 따른 대상 검출 장치가 실장된 비명 센서에 대해 도면을 참조하면서 설명한다.
본 실시형태에 따른 비명 센서는, 비명의 발생 유무를 감시하는 감시 공간에 있어서의 음으로부터 생성한 음향 신호로부터 유음 구간의 신호를 잘라내고, 잘라낸 신호로부터, 정보 레벨이 서로 다른 복수의 신호를 생성하고, 생성한 각 신호로부터 비명에 유사한 정도를 나타내는 평가값을 산출한다. 그리고, 비명 센서는, 산출한 각 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 음향 신호에 비명이 포함되는 경우의 상승 정도의 하한값 이상인 경우, 음향 신호에 비명이 포함되는 것으로 판정한다. 즉, 본 실시형태에 따른 비명 센서는, 입력 데이터를 시계열 신호인 음향 신호로 하고, 검출 대상을 비명으로 한다. 이에 의해, 비명 센서는, 감시 공간에서 발생한 음으로부터 비명을 검출하는 정밀도의 향상을 실현한다.
도 19는 본 실시형태에 따른 비명 센서의 개략 구성을 나타내는 도면이다. 비명 센서(60)는, 도 19에 나타내는 바와 같이, 집음부(61), 인터페이스부(62), 통신부(63), 기억부(64) 및 제어부(65)를 구비한다. 이하, 비명 센서(60)의 각 부에 대해 상세하게 설명한다.
집음부(61)는, 감시 공간에서 발생한 음을 집음할 수 있는 위치에 설치된다. 집음부(61)는, 마이크로폰, 증폭기 및 A/D 변환기 등을 구비하고, 감시 공간에 있어서의 음을 디지털 신호인 음향 신호로 변환하는 전기 회로이다. 집음부(61)는, 인터페이스부(62)와 접속되고, 음향 신호를 인터페이스부(62)에 출력한다. 한편, 감시 공간에서 비명이 발생했을 때 출력되는 음향 신호의 음량이, 기준 음압인 20μPa를 기준으로 하여 70~100dB의 범위내가 되도록, 증폭기의 증폭율이 설정된다.
인터페이스부(62)는, 집음부(61)와 접속되는 인터페이스 회로, 예를 들면 오디오 인터페이스 혹은 USB와 같은 시리얼 버스에 준하는 인터페이스 회로를 구비한다. 인터페이스부(62)는, 제어부(65)와 예를 들면 버스를 통해 접속되고, 집음부(61)로부터 받은 음향 신호를 제어부(65)에 보낸다.
통신부(63)는, 외부기기 등에 접속하는 통신 인터페이스 및 그 제어 회로를 구비하고, 예를 들면 버스를 통해 제어부(65)와 접속된다. 통신부(63)는, 감시 공간에 있어서 비명이 검지된 것을 통지하는 경우, 제어부(65)의 제어에 따라, 비명 센서(60)와 외부기기 사이의 접속 처리를 한다. 그리고, 통신부(63)는, 비명 센서(60)와 외부기기 사이에서 접속이 확립된 후, 제어부(65)로부터 받은 이상 신호를 외부기기에 송신한다. 통신부(63)는, 이상 신호의 송신이 끝나면, 비명 센서(60)와 외부기기 사이의 접속을 개방하는 처리를 한다.
기억부(64)는, ROM, RAM 등의 반도체 메모리를 구비한다. 기억부(64)는, 비명 센서(60)를 제어하기 위한 컴퓨터 프로그램 및 각종 데이터를 기억하고, 제어부(65)와의 사이에서 이들의 정보를 입출력한다. 각종 데이터에는 비명의 참조 데이터가 포함된다.
제어부(65)는, 대상 검출 장치의 예이고, CPU, DSP, MCU 등의 적어도 하나의 프로세서 및 그 주변 회로를 구비한다. 제어부(65)는, 인터페이스부(62)로부터 받은 음향 신호를 기억부(64)에 기억한다. 그리고, 제어부(65)는, 기억부(64)에 기억한 음향 신호를 판독하여 그 음향 신호에 비명이 포함되는지 여부를 판정한다.
도 20은 제어부(65)의 개략 구성을 나타내는 도면이다. 도 20에 나타내는 바와 같이 제어부(65)는, 프로세서상에서 동작하는 소프트웨어에 의해 실장되는 기능 모듈로서, 데이터 입력부(650), 잘라내기부(651), 멀티 레벨 데이터 생성부(652), 평가값 산출부(653), 대상 판정부(654) 및 통지 제어부(655)를 구비한다.
한편, 제어부(65)가 구비하는 이들의 각 부는, 독립된 집적 회로, 펌웨어, 마이크로프로세서 등으로 구성되어도 좋다.
이하, 제어부(65)의 각 부에 대해 상세하게 설명한다.
데이터 입력부(650)는, 기억부(64)로부터 음향 신호를 판독하고, 잘라내기부(651)에 보낸다.
잘라내기부(651)는, 데이터 입력부(650)로부터 취득한 음향 신호로부터 비명의 검출 처리의 대상으로 하는 유음 구간의 신호를 차례로 잘라내고, 잘라낸 유음 구간의 신호를 멀티 레벨 데이터 생성부(652)에 보낸다. 이하, 잘라내기부(651)가 잘라낸 유음 구간의 신호를 부분 음향 신호라 한다. 본 실시형태에서는 부분 음향 신호가 입력 데이터의 예이다. 한편, 잘라내기부(651)는, 집음부(61)가 집음한 음향 신호를 소정의 프레임 주기마다, 차례로 소정의 프레임 길이를 갖는 프레임 단위로 파워를 산출하고, 파워 임계값 이상의 파워를 구비하는 프레임이 계속 길이 임계값 이상 연속하여 검출된 구간의 신호를 부분 음향 신호로서 차례로 잘라낸다. 예를 들면, 프레임 길이는 20msec, 프레임 주기는 10msec, 파워 임계값은 70dB, 계속 길이 임계값은 20프레임으로 할 수 있다. 한편, 이 경우, 연속하는 부분 음향 신호끼리를 오버랩시켜 잘라내어도 좋다.
멀티 레벨 데이터 생성부(652)는, 멀티 레벨 데이터를 생성하고, 멀티 레벨 데이터를 정보 레벨과 대응시켜 평가값 산출부(653)에 보낸다. 본 실시형태에 따른 멀티 레벨 데이터 생성부(652)는, 입력 데이터인 음향 신호로부터 잘라내어진 부분 음향 신호로부터, 정보 레벨이 서로 다른 신호(이하, 개별 레벨 음향 신호라고 한다)를 복수 생성하고, 원래의 부분 음향 신호 및 생성한 개별 레벨 음향 신호를 멀티 레벨 데이터로서 생성한다. 멀티 레벨 데이터 생성부(652)는, 부분 음향 신호에 백색 잡음을 중첩하여 신호상의 음의 명료도를 낮게 하는 것에 의해 개별 레벨 음향 신호를 생성한다.
본 실시형태에 따른 멀티 레벨 데이터 생성부(652)는, 멀티 레벨 데이터로서, 정보 레벨이 높을수록 음의 명료도가 높고, 정보 레벨이 낮을수록 음의 명료도가 낮은, 음의 명료도가 서로 다른 복수의 신호를 생성한다. 예를 들면, 멀티 레벨 데이터 생성부(652)는, 부분 음향 신호에, 정보 레벨이 높을수록 적은 양의 백색 잡음을, 정보 레벨이 낮을수록 많은 양의 백색 잡음을 각각 중첩하는 것에 의해 복수의 개별 레벨 음향 신호를 생성한다. 예를 들면, 멀티 레벨 데이터 생성부(652)는, 중첩하는 백색 잡음을, 기준 음압을 기준으로 하여, 5dB, 10dB, 15dB, …, 70dB로 차례로 변경하여 복수의 개별 레벨 음향 신호를 생성한다. 중첩하는 백색 잡음의 양이 많을수록, SN 비가 낮아져서 음의 명료도가 낮아지기 때문에, 그 개별 레벨 음향 신호가 비명의 특징 표현에 적합한 정도는 낮아져서 정보 레벨은 낮아진다. 예를 들면, 정보 레벨은, 1에서 15까지 15단계로 정해진다. 그리고, 정보 레벨이 1일 때에 중첩하는 백색 잡음은 70dB로 설정되고, 정보 레벨이 1 커질 때마다 5dB 작은 값으로 설정된다. 정보 레벨이 가장 높은 값인 15일 때는, 백색 잡음이 중첩되어 있지 않은 원래의 부분 음향 신호가 이용된다.
평가값 산출부(653)는, 멀티 레벨 데이터에 포함되는 데이터마다, 검출 대상에 유사한 정도를 나타내는 평가값을 산출하고, 각 평가값을 정보 레벨과 대응시켜 대상 판정부(654)에 보낸다. 본 실시형태에 따른 평가값 산출부(653)는, 멀티 레벨 데이터 생성부(652)로부터 받은 각 신호를 각각 프레임 분석하여 비명의 식별에 유용한 특징량(이하, 비명 특징량이라 한다)을 추출한다. 한편, 평가값 산출부(653)는, 비명 특징량으로서, 비명 어미(語尾)의 주파수 특징량을 나타내는 스펙트럼 포락선의 파라미터를 추출한다. 본 실시형태에서는, 스펙트럼 포락선의 파라미터로서, 8차의 LPC(Linear Predictive Coding) 캡스트럼(Cepstrum)을 사용한다. LPC 캡스트럼은, 선형 예측법에 의해 모델화한 캡스트럼이다. 평가값 산출부(653)는, 멀티 레벨 데이터 생성부(652)로부터 받은 신호를 이산 푸리에 변환에 의해 주파수 변환하고, 선형 예측법에 의해 LPC 계수를 구하고, 구한 LPC 계수를 소정의 재귀식(recursive formula)에 의해 변환하여 LPC 캡스트럼 계수를 산출한다. 0차 성분을 포함시킨 8차의 LPC 캡스트럼은 9개의 계수로 이루어지고, 각 신호에는 음성 프레임이 20프레임씩 포함되기 때문에, 각 비명 특징량은, 9×20차원의 특징 벡터가 된다.
평가값 산출부(653)는, 비명의 참조 데이터로서 9×20차원의 비명 특징량을 사용한 Real-Adaboost 식별기(classifier)를 구비한다. 한편, 평가값 산출부(653)는, 어미의 모음이 /a/인 비명에 유사한 정도를 나타내는 평가값을 출력하는 식별기(classifier)와, 어미의 모음이 /e/인 비명에 유사한 정도를 나타내는 평가값을 출력하는 식별기(classifier)와, 어미의 모음이 /o/인 비명에 유사한 정도를 나타내는 평가값을 출력하는 식별기(classifier)를 구비한다. 각 식별기(classifier)는, 복수의 약식별기(weak classifier)와, 각 약식별기(weak classifier)의 판정 결과를 통합하여 판정하는 강식별기(strong classifier)로 구성된다. 각 약식별기(weak classifier)에는, 비명 특징량내의 특정의 요소가 각각 입력되고, 각 약식별기(weak classifier)는, 입력된 요소에 기초하여, 대응하는 부분 음향 신호에, 그 식별기(classifier)에 대응하는 비명의 어미의 모음이 포함될 가능성이 높을수록 높고, 가능성이 낮을수록 낮은 값을 출력한다. 한편, 강식별기(strong classifier)는, 각 약식별기(weak classifier)에 의한 출력값의 총합을 평가값으로서 출력한다.
한편, 9×20차원의 비명 특징량내의 어느 요소를 각 약식별기(weak classifier)에 입력할지는, 그 비명 어미의 모음을 포함하는 복수의 학습용 비명 음향 신호와, 그 비명 어미의 모음을 포함하지 않는 복수의 학습용 비비명 음향 신호로부터 산출된 비명 특징량을 사용한 사전 학습에 의해 결정된다. 학습 순서는 제1의 실시형태와 동일하기 때문에, 설명을 생략한다. 사전 학습에 의해 결정된 각 약식별기(weak classifier)에 입력하는 비명 특징량내의 요소를 나타내는 정보와, 각 약식별기(weak classifier)의 출력을 나타내는 정보는, 비명의 참조 데이터로서 기억부(64)에 기억된다.
각 식별기(classifier)에 의해 출력되는 평가값은, 입력된 비명 특징량이 특징량 공간에 있어서 식별 경계에 대해 그 비명의 어미측의 영역에 위치할 때 양의 값이 되고, 그 비명의 어미 이외의 어미측의 영역에 위치할 때 음의 값이 되고, 그 위치가 식별 경계에서 멀수록 그 절대값은 커지고, 가까울수록 절대값은 작아진다.
대상 판정부(654)는, 멀티 레벨 데이터에 포함되는 각 데이터마다 산출한 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가 검출 대상에 관한 상승 정도를 나타내는지 여부에 의해, 입력 데이터에 검출 대상이 포함되는지 여부를 판정하고, 판정 결과를 출력한다. 본 실시형태에 따른 대상 판정부(654)는, 원래의 부분 음향 신호 및 각 개별 레벨 음향 신호로부터 평가값 산출부(653)가 산출한 평가값에 대해 상승 정도를 산출하여 그 상승 정도를 미리 설정한 판정 임계값과 비교한다. 그리고, 대상 판정부(654)는, 어느 한 모음에 관한 상승 정도가 판정 임계값 이상이면 부분 음향 신호에 비명이 포함되는 것으로 판정하고, 모든 상승 정도가 판정 임계값 미만이면 부분 음향 신호에 비명이 포함되지 않는 것으로 판정한다. 한편, 판정 임계값으로서, 입력 데이터에 검출 대상이 포함되는 경우의 상승 정도의 하한값이 설정된다. 예를 들면, 사전의 실험에 의해 비명이 포함되는 복수의 테스트용 비명 음향 신호에 대해 산출된 평가값의 상승 정도와 비명이 포함되지 않는 복수의 테스트용 비비명 음향 신호에 대해 산출된 평가값의 상승 정도에 기초하는 이들을 식별 가능한 값을 판정 임계값으로 할 수 있다. 그 경우, 예를 들면, 테스트용 비명 음향 신호에 대해 산출된 평가값의 상승 정도의 평균값과, 테스트용 비비명 음향 신호에 대해 산출된 평가값의 상승 정도의 평균값의 평균값을 판정 임계값으로 한다. 또는, 테스트용 비비명 음향 신호에 대해 산출된 평가값의 상승 정도의 최대값, 혹은 테스트용 비명 음향 신호에 대해 산출된 평가값의 상승 정도의 최소값을 판정 임계값으로 해도 좋다. 평가값의 상승 정도의 산출 방법은, 제1의 실시형태에서 설명한 산출 방법과 동일하기 때문에, 설명을 생략한다.
한편, 대상 판정부(654)는, 판정 정밀도를 향상시키기 위해, 평가값의 상승 정도를 판정 임계값 이상의 부분 음향 신호가 복수 연속하는 것을 조건으로 할 수도 있고, 또는 평가값의 상승 정도가 판정 임계값 이상의 부분 음향 신호가 동일 모음에 대해 복수 연속하는 것을 조건으로 할 수도 있다.
통지 제어부(655)는, 대상 판정부(654)에 의해 부분 음향 신호에 비명이 포함되는 것으로 판정되면, 이상 신호를 통신부(63)를 통해 외부기기에 송신한다.
이하, 도 21에 나타낸 플로우차트를 참조하면서, 본 실시형태에 따른 비명 센서(60)에 의한 대상 검출 처리의 동작을 설명한다. 한편, 이하에 설명하는 동작의 플로우는, 기억부(64)에 기억되고, 제어부(65)에 읽어들인 프로그램에 따라, 제어부(65)에 의해 제어된다.
제어부(65)는, 집음부(61)에 감시 공간에 있어서의 음을 집음시켜서, 음향 신호를 인터페이스부(62)를 통해 취득하고, 기억부(64)에 기억한다. 그리고, 데이터 입력부(650)는, 음향 신호를 기억부(64)로부터 판독하고, 잘라내기부(651)에 보낸다(스텝 S2101). 그 다음, 잘라내기부(651)는, 취득한 음향 신호에 유음 구간이 존재하는지 여부를 판정하고(스텝 S2102), 유음 구간이 존재할 때까지(스텝 S2102의 NO), 스텝 S2101~S2102의 처리를 반복한다. 한편, 취득한 음향 신호에 유음 구간이 존재하는 경우(스텝 S2102의 YES), 잘라내기부(651)는, 그 유음 구간의 신호를 잘라내서 부분 음향 신호를 생성하고, 멀티 레벨 데이터 생성부(652)에 보낸다(스텝 S2103).
그 다음, 제어부(65)는, 정보 레벨을 설정한다(스텝 S2104). 한편, 제어부(65)는 미리 정해진 정보 레벨을 낮은 것부터 차례로 설정하고, 설정하는 정보 레벨의 수만큼 스텝 S2104~S2108의 처리를 실행한다.
멀티 레벨 데이터 생성부(652)는, 스텝 S2104에서 설정된 정보 레벨에 대응하는 개별 레벨 음향 신호를 생성하고, 생성한 개별 레벨 음향 신호를 정보 레벨과 대응시켜 평가값 산출부(653)에 보낸다(스텝 S2105). 한편, 정보 레벨이 최대값이 아닌 경우, 멀티 레벨 데이터 생성부(652)는, 그 정보 레벨에 대응하는 양의 백색 잡음을 부분 음향 신호에 중첩한 개별 레벨 음향 신호를 평가값 산출부(653)에 보낸다. 한편, 정보 레벨이 최대값인 경우, 멀티 레벨 데이터 생성부(652)는, 부분 음향 신호를 그대로 평가값 산출부(653)에 보낸다.
그 다음, 평가값 산출부(653)는, 멀티 레벨 데이터 생성부(652)로부터 받은 개별 레벨 음향 신호로부터 비명 특징량을 추출한다(스텝 S2106). 그 다음, 평가값 산출부(653)는, 추출한 비명 특징량으로부터 평가값을 산출하고, 산출한 평가값을 정보 레벨과 대응시켜 대상 판정부(654)에 보낸다(스텝 S2107).
그 다음, 제어부(65)는, 모든 정보 레벨에 대해 스텝 S2104~S2107의 처리를 실행했는지 여부를 판정한다(스텝 S2108). 모든 정보 레벨에 대해 스텝 S2104~S2107의 처리를 실행하지 않았으면(스텝 S2108의 NO), 제어부(65)는, 처리를 스텝 S2104로 되돌려서 스텝 S2104~S2107의 처리를 반복한다. 한편, 모든 정보 레벨에 대해 스텝 S2104~S2107의 처리를 실행했으면(스텝 S2108의 YES), 대상 판정부(654)는, 비명의 어미의 모음마다, 그때까지 평가값 산출부(653)로부터 받은 평가값에 대해 정보 레벨의 상승에 따라 상승하는 상승 정도를 산출한다(스텝 S2109).
그 다음, 대상 판정부(654)는, 산출한 상승 정도를 판정 임계값과 비교한다(스텝 S2110). 모든 모음에 관한 상승 정도가 판정 임계값 미만이면(스텝 S2110의 NO), 제어부(65)는, 처리를 스텝 S2101로 되돌려서 스텝 S2101~S2111의 처리를 반복한다. 한편, 어느 한 모음에 관한 상승 정도가 판정 임계값 이상이면(스텝 S2110의 YES), 통지 제어부(655)는, 이상 신호를 통신부(63)를 통해 외부기기에 송신한다(스텝 S2111). 이상 신호가 송신되면, 제어부(65)는, 처리를 스텝 S2101로 되돌려서 스텝 S2101~S2111의 처리를 반복한다.
이상으로 설명한 바와 같이, 본 실시형태에 따른 비명 센서는, 감시 공간에 있어서의 음으로부터 생성한 음향 신호로부터 잘라낸 부분 음향 신호로부터, 정보 레벨이 서로 다른 복수의 신호를 생성하고, 생성한 각 신호로부터 평가값을 산출한다. 그리고, 산출한 각 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 음향 신호에 비명이 포함되는 경우의 상승 정도의 하한값 이상인 경우, 음향 신호에 비명이 포함되는 것으로 판정한다. 이에 의해, 비명 센서는, 감시 공간에 있어서의 음으로부터 비명을 검출하는 정밀도를 향상시킬 수 있다.
제5의 실시형태에 있어서의 제1의 변형예에 있어서, 평가값 산출부는, 비명 특징량으로서 LPC 캡스트럼 대신 LPC를 사용한다. 혹은, 평가값 산출부는, 비명 특징량으로서 캡스트럼에 대해 인간의 주파수 지각 특성을 고려한 가중을 한 특징량인 MFCC(Mel-frequency cepstral coefficients)을 사용해도 좋다.
제5의 실시형태에 있어서의 제2의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 음의 명료도가 서로 다른 복수의 신호로서, 입력된 신호에, 정보 레벨이 높을수록 통과 대역이 넓고, 정보 레벨이 낮을수록 통과 대역이 좁은 대역 통과 필터를 각각 적용시킨 복수의 신호를 생성한다. 이 경우, 예를 들면, 비명 센서는, 통과 대역을 설정 가능한 대역 통과 필터를 구비한다. 멀티 레벨 데이터 생성부는, 대역 통과 필터의 통과 대역의 넓이를 다양하게 변경하여, 통과 대역의 넓이가 각각 다른 대역 통과 필터에 부분 음향 신호를 통과시키는 것에 의해, 음의 명료도가 서로 다른 복수의 신호를 생성한다. 대역 통과 필터의 통과 대역이 좁을수록 생성되는 신호의 음의 명료도는 낮아지고, 통과 대역이 넓을수록 그 음의 명료도는 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 음의 명료도가 서로 다른 복수의 신호로서, 정보 레벨이 높을수록 입력된 신호의 진폭이 커지고, 정보 레벨이 낮을수록 입력된 신호의 진폭이 작아지도록, 입력된 신호의 진폭을 각각 감쇠시킨 복수의 신호를 생성해도 좋다. 이 경우, 멀티 레벨 데이터 생성부는, 예를 들면, 입력된 신호의 진폭을 0.5배, 0.25배, 0.125배, …로 감쇠시키는 것에 의해, 음의 명료도가 서로 다른 복수의 신호를 생성한다. 진폭이 작아지도록 감쇠시킬수록 생성되는 신호의 음의 명료도는 낮아진다.
혹은, 멀티 레벨 데이터 생성부는, 음의 명료도가 서로 다른 복수의 신호로서, 정보 레벨이 높을수록 입력된 신호의 진폭이 작아지고, 정보 레벨이 낮을수록 입력된 신호의 진폭이 커지도록, 입력된 신호의 진폭을 각각 증폭시켜 클리핑을 생성시킨 복수의 신호를 생성해도 좋다. 이 경우, 멀티 레벨 데이터 생성부는, 예를 들면, 입력된 신호의 진폭을 1.2배, 1.4배, 1.6배, …, 5배로 증폭시켜 의도적으로 클리핑을 발생시키는 것에 의해, 음의 명료도가 서로 다른 복수의 신호를 생성한다. 진폭을 크게 증폭시킬수록 클리핑의 발생 정도가 커져서 생성되는 신호의 음의 명료도는 낮아진다.
혹은, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 신호로서, 입력된 신호를, 정보 레벨이 높을수록 신호의 값을 취할 수 있는 범위를 분할하는 단계수를 많게 하고, 정보 레벨이 낮을수록 그 단계수를 적게 하여 각각 양자화한 복수의 데이터를 생성해도 좋다. 이 경우, 멀티 레벨 데이터 생성부는, 예를 들면, 65536단계(16비트)로 표현된 신호의 진폭 양자화의 단계수를 2000단계, 4000단계, 6000단계, …, 64000단계로 변화시키는 것에 의해, 정보 레벨이 서로 다른 복수의 신호를 생성한다. 단계수가 적을수록 그 신호가 비명의 특징을 표현 가능한 정도가 낮아지기 때문에 그 정보 레벨은 낮아지고, 단계수가 많을수록 정보 레벨은 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 신호로서, 입력된 신호를, 정보 레벨이 높을수록 높은 샘플링 주파수로, 정보 레벨이 낮을수록 낮은 샘플링 주파수로 각각 샘플링한 복수의 데이터를 생성해도 좋다. 그 경우, 멀티 레벨 데이터 생성부는, 부분 음향 신호를 리샘플링하여 샘플링 주파수를 변경한다. 예를 들면, 집음부가 마이크로폰으로부터 취득한 음을 16kHz로 샘플링하여 음향 신호를 생성한 경우, 멀티 레벨 데이터 생성부는, 부분 음향 신호를 8kHz, 4kHz, 2kHz, 1kHz의 샘플링 주파수로 리샘플링하는 것에 의해, 정보 레벨이 서로 다른 복수의 신호를 생성한다. 리샘플링시의 샘플링 주파수가 낮을수록 그 신호가 비명의 특징을 표현 가능한 정도가 낮아지기 때문에 그 정보 레벨은 낮아지고, 샘플링 주파수가 높을수록 그 정보 레벨은 높아진다.
제5의 실시형태에 있어서의 제3의 변형예에 있어서, 제1의 실시형태에 있어서의 제4의 변형예와 마찬가지로, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 데이터로서, 정보 레벨이 높을수록 마스킹 정도를 낮게 하고, 정보 레벨이 낮을수록 마스킹 정도를 높게 한 복수의 데이터를 생성한다. 이 경우, 멀티 레벨 데이터 생성부는, 입력된 신호의 시간축 방향의 특정 위치를 중심으로 소정 시간폭의 범위를 설정하고, 설정한 범위내의 신호값을 고정값으로 치환한다. 멀티 레벨 데이터 생성부는, 설정하는 범위의 시간폭을 다양하게 변경하는 것에 의해, 정보 레벨이 서로 다른 복수의 신호를 생성한다. 설정하는 범위의 시간폭이 클수록 그 신호가 비명의 특징 표현에 적합한 정도가 낮아지기 때문에 그 정보 레벨은 낮아지고, 설정하는 범위의 시간폭이 작을수록 그 정보 레벨은 높아진다. 한편, 정보 레벨이 가장 높은 신호로서, 설정하는 범위의 시간폭이 0인 신호, 즉 원래의 신호를 이용할 수 있다.
제5의 실시형태에 있어서의 제4의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 검출 대상에 관한 특징량을 생성하고, 그 특징량의 분석 레벨을 서로 다르게 한 복수의 데이터를 생성하고, 정보 레벨이 서로 다른 복수의 데이터로서 사용한다. 이 경우, 사전 학습에 의해 결정된, 평가값 산출부의 각 약식별기(weak classifier)에 입력하는 특징량은, 평가값 산출부가 아닌, 멀티 레벨 데이터 생성부가 구하고, 멀티 레벨 데이터 생성부는, 구한 특징량의 분석 레벨을 다양하게 변경한다.
예를 들면, 멀티 레벨 데이터 생성부는, 분석 레벨을 서로 다르게 한 복수의 데이터로서, 부분 음향 신호에 대해 구하는 LPC 캡스트럼에 대해, 정보 레벨이 높을수록 분석 차수를 높게 하고, 정보 레벨이 낮을수록 분석 차수를 낮게 한 복수의 데이터를 생성한다. 그 경우, 멀티 레벨 데이터 생성부는, 부분 음향 신호에 대해 1차, 2차, 3차, …, 8차의 LPC 캡스트럼을 각각 구한다. 평가값 산출부는, 각 차수의 LPC 캡스트럼으로부터, 각각 평가값을 산출한다. 한편, 어느 차수의 LPC 캡스트럼을 구한 경우에도, 평가값 산출부의 식별기(classifier)에 입력하는 특징 벡터의 요소수는 변경하지 않는 것으로 하고, LPC 캡스트럼 계수가 구해지지 않은 요소에는, 작은 랜덤값을 설정한다. LPC 캡스트럼의 차수가 작을수록 구해지는 특징량의 정보 레벨은 낮아지고, 차수가 클수록 그 정보 레벨은 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 분석 레벨을 서로 다르게 한 복수의 데이터로서, 8차의 LPC 캡스트럼 계수의 각각에, 정보 레벨이 높을수록 크고, 정보 레벨이 낮을수록 작은 1 이하의 양의 계수 α(0<α≤1.0)를 각각 곱한 복수의 데이터를 생성해도 좋다. 멀티 레벨 데이터 생성부는, 계수 α를 예를 들면 0.1, 0.2, 0.3, …, 1.0로, 미리 설정된 범위에서 다양하게 변경한다. α가 작을수록 비명의 특징이 상실되어 가기 때문에 구해지는 특징량의 정보 레벨은 낮아지고, 반대로 α가 클수록 그 정보 레벨은 높아진다.
이들의 경우, 도 21의 플로우차트의 스텝 S2105에 있어서, 멀티 레벨 데이터 생성부는, 부분 음향 신호로부터, 8차의 LPC 캡스트럼 계수를 구하고, 8차의 LPC 캡스트럼 계수의 분석 레벨을 스텝 S2104에서 설정된 정보 레벨에 맞춰 변경하여, 평가값 산출부에 보낸다. 그리고, 스텝 S2106은 생략되고, 스텝 S2107에 있어서, 평가값 산출부는, 멀티 레벨 데이터 생성부로부터 받은 8차의 LPC 캡스트럼 계수로부터 평가값을 산출한다.
이와 같이, 분석 레벨이 서로 다른 특징량을 구하여 각 특징량으로부터 평가값을 산출하고, 평가값이 분석 레벨의 상승에 따라 상승하는 상승 정도에 기초하여 음향 신호에 비명이 포함되는지 여부를 판정하는 것에 의해서도, 비명의 검출 정밀도를 향상시킬 수 있다.
제5의 실시형태에 있어서의 제5의 변형예에 있어서, 평가값 산출부는, Real-Adaboost 식별기(classifier)를 사용하여 평가값을 산출하는 대신, HMM(Hidden Markov Model)을 사용하여 평가값을 산출한다. 그 경우, 비명 센서는, 비명의 어미마다, 그 비명의 어미의 모음을 포함하는 복수의 학습용 비명 음향 신호에 대해 비명 특징량을 미리 추출하고, HMM을 학습해 둔다. 그리고, 평가값 산출부는, 부분 음향 신호로부터 생성한 비명 특징량을 각각의 비명의 어미에 관한 HMM에 입력하고, 그 출력을 각각의 비명의 어미에 관한 평가값으로 한다.
제5의 실시형태에 있어서의 제6의 변형예에 있어서, 평가값 산출부는, 기계학습을 한 식별기(classifier)에 의해 평가값을 산출하는 대신, 패턴 매칭에 의해 평가값을 산출한다. 이 경우, 제어부는, 비명의 어미마다, 그 비명의 어미의 모음을 포함하는 복수의 학습용 비명 음향 신호로부터 비명 특징량을 추출하고, 이들에 평균화 처리 등을 실시한 대표 비명 특징량을 미리 생성하여 참조 데이터로서 기억부에 기억해 둔다. 평가값 산출부는, 부분 음향 신호로부터 생성한 비명 특징량과, 참조 데이터로서 기억해 둔 대표 비명 특징량의 거리값을 구하고, 구한 거리값의 역수를 평가값으로서 출력한다.
또한, 제1의 실시형태에 있어서의 제6, 9~12의 각 변형예를 제5의 실시형태에서도 적용할 수 있다.
또한, 제4의 실시형태에 따른 감시 시스템과 같이, 비명 센서와 접속하는 센터 장치를 마련하고, 비명 센서는, 음향 신호를 센터 장치에 송신하고, 센터 장치가 수신한 음향 신호에 비명이 포함되는지 여부를 판정해도 좋다. 혹은, 잘라내기부, 멀티 레벨 데이터 생성부, 평가값 산출부 및 대상 판정부 각각을 비명 센서와 센터 장치 중의 어느 하나에 임의로 배치하도록 구성해도 좋다.
다음으로, 본 발명의 제6의 실시형태에 따른 대상 검출 장치가 실장된 인체 센서에 대해 도면을 참조하면서 설명한다.
본 실시형태에 따른 인체 센서는, 감시 영역에 전자파를 송신하여 얻어지는 반사파에 포함되는 도플러 성분만을 추출하여, 도플러 신호로 한다. 인체 센서는, 도플러 신호로부터 잘라낸 신호로부터, 정보 레벨이 서로 다른 복수의 신호를 생성하고, 생성한 각 신호로부터 평가값을 산출한다. 그리고, 인체 센서는, 산출한 각 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 도플러 신호가 인체의 이동에 기인하는 경우의 상승 정도의 하한값 이상인 경우, 도플러 신호가 인체의 이동에 기인하는 것으로 판정한다. 즉, 본 실시형태에 따른 인체 센서는, 입력 데이터를 시계열 신호인 도플러 신호로 하고, 검출 대상을 인체로 한다. 이에 의해, 인체 센서는, 인체의 검출 정밀도의 향상을 실현한다.
도 22는 본 실시형태에 따른 인체 센서의 개략 구성을 나타내는 도면이다. 인체 센서(70)는, 도 22에 나타내는 바와 같이, 신호 취득부(71), 인터페이스부(72), 통신부(73), 기억부(74) 및 제어부(75)를 구비한다. 이하, 인체 센서(70)의 각 부에 대해 상세하게 설명한다.
신호 취득부(71)는, 송신기, 수신기, 믹서, 앰프 및 A/D 변환기를 구비하고, 감시 영역내의 물체의 이동에 의해 발생하는 도플러 신호를 취득하는 전기 회로이다. 신호 취득부(71)는, 송신기에 의해 마이크로파대 또는 밀리파대의 송신파를 감시 영역에 보내고, 수신기에 의해 그 반사파를 받는다. 그리고, 신호 취득부(71)는, 믹서에 의해 송신파와 반사파를 믹싱하여 반사파에 포함되는 도플러 성분만을 추출하고, 추출한 도플러 성분의 신호를 앰프에 의해 증폭하고, A/D 변환기에 의해 샘플링하여 디지탈화하여, 도플러 신호로 한다. 신호 취득부(71)는, 인터페이스부(72)와 접속되고, 도플러 신호를 인터페이스부(72)에 출력한다.
인터페이스부(72)는, 신호 취득부(71)와 접속되는 인터페이스 회로, 예를 들면 USB 등의 시리얼 버스에 준하는 인터페이스 회로를 구비한다. 인터페이스부(72)는, 제어부(75)와 예를 들면 버스를 통해 접속되고, 신호 취득부(71)로부터 받은 도플러 신호를 제어부(75)에 보낸다.
통신부(73)는, 외부기기 등에 접속하는 통신 인터페이스 및 그 제어 회로를 구비하고, 예를 들면 버스를 통해 제어부(75)와 접속된다. 통신부(73)는, 감시 영역에 있어서 인체가 검지된 것을 통지하는 경우, 제어부(75)의 제어에 따라, 인체 센서(70)와 외부기기 사이의 접속 처리를 한다. 그리고, 통신부(73)는, 인체 센서(70)와 외부기기 사이에서 접속이 확립된 후, 제어부(75)로부터 받은 이상 신호를 외부기기에 송신한다. 통신부(73)는, 이상 신호의 송신이 끝나면, 인체 센서(70)와 외부기기 사이의 접속을 개방하는 처리를 한다.
기억부(74)는, ROM, RAM 등의 반도체 메모리를 구비한다. 기억부(74)는, 인체 센서(70)를 제어하기 위한 컴퓨터 프로그램 및 각종 데이터를 기억하고, 제어부(75)와의 사이에서 이들의 정보를 입출력한다. 각종 데이터에는 인체의 참조 데이터가 포함된다.
제어부(75)는, 대상 검출 장치의 예이고, CPU, DSP, MCU 등의 적어도 하나의 프로세서 및 그 주변 회로를 구비한다. 제어부(75)는, 인터페이스부(72)로부터 받은 도플러 신호를 기억부(74)에 기억한다. 그리고, 제어부(75)는, 기억부(74)에 기억한 도플러 신호를 판독하여 그 도플러 신호가 인체의 이동에 기인하는 것인지 여부를 판정한다.
도 23은 제어부(75)의 개략 구성을 나타내는 도면이다. 도 23에 나타내는 바와 같이 제어부(75)는, 프로세서상에서 동작하는 소프트웨어에 의해 실장되는 기능 모듈로서, 데이터 입력부(750), 잘라내기부(751), 멀티 레벨 데이터 생성부(752), 평가값 산출부(753), 대상 판정부(754) 및 통지 제어부(755)를 구비한다.
한편, 제어부(75)가 구비하는 이들의 각 부는, 독립된 집적 회로, 펌웨어, 마이크로프로세서 등으로 구성되어도 좋다.
이하, 제어부(75)의 각 부에 대해 상세하게 설명한다.
데이터 입력부(750)는, 기억부(74)로부터 도플러 신호를 판독하고, 잘라내기부(751)에 보낸다.
잘라내기부(751)는, 데이터 입력부(750)로부터 취득한 도플러 신호로부터 검출 처리의 대상으로 하는 구간의 신호를 차례로 잘라내고, 잘라낸 구간의 신호를 멀티 레벨 데이터 생성부(752)에 보낸다. 이하, 잘라내기부(751)가 잘라낸 구간의 신호를 부분 도플러 신호라 한다. 본 실시형태에서는 부분 도플러 신호가 입력 데이터의 예이다. 한편, 잘라내기부(751)는, 미리 설정된 길이의 구간 신호를 부분 도플러 신호로서 차례로 잘라낸다. 예를 들면, 잘라내기부(751)는, 1초마다, 도플러 신호로부터 8초분의 데이터를 부분 도플러 신호로서 잘라낸다. 즉, A/D 변환기에 의한 샘플링 주파수가 11.025kHz인 경우, 11,025데이터마다, 88,200데이터가 부분 도플러 신호로서 잘라내어진다. 한편, 이 경우, 연속하여 잘라내어진 부분 도플러 신호에 있어서, 7초분의 데이터가 오버랩된다.
멀티 레벨 데이터 생성부(752)는, 멀티 레벨 데이터를 생성하고, 멀티 레벨 데이터를 정보 레벨과 대응시켜 평가값 산출부(753)에 보낸다. 본 실시형태에 따른 멀티 레벨 데이터 생성부(752)는, 입력 데이터인 부분 도플러 신호로부터, 정보 레벨이 서로 다른 복수의 신호(이하, 개별 레벨 도플러 신호라고 한다)를 생성하고, 원래의 부분 도플러 신호 및 생성한 개별 레벨 음향 신호를 멀티 레벨 데이터로서 생성한다. 멀티 레벨 데이터 생성부(752)는, 부분 도플러 신호에, 정보 레벨이 높을수록 적은 양의 백색 잡음을, 정보 레벨이 낮을수록 많은 양의 백색 잡음을 각각 중첩하는 것에 의해 복수의 개별 레벨 도플러 신호를 생성한다. 예를 들면, 멀티 레벨 데이터 생성부(752)는, 중첩하는 백색 잡음을, 송신파의 출력을 기준으로 하여, 3dB, 6dB, 9dB, …, 90dB로 차례로 변경하여 복수의 개별 레벨 도플러 신호를 생성한다. 중첩하는 백색 잡음의 양이 많을수록, SN 비가 낮아지기 때문에, 그 신호가 인체의 특징 표현에 적합한 정도는 낮아져서 정보 레벨은 낮아진다. 예를 들면, 정보 레벨은, 1에서 31까지 31단계로 정해진다. 그리고, 정보 레벨이 1일 때 중첩하는 백색 잡음은 90dB로 설정되고, 정보 레벨이 1 커질 때마다 3dB 작은 값으로 설정된다. 정보 레벨이 가장 높은 값인 31일 때는, 백색 잡음이 중첩되어 있지 않은 원래의 부분 도플러 신호가 이용된다.
평가값 산출부(753)는, 멀티 레벨 데이터에 포함되는 각 데이터마다, 검출 대상에 유사한 정도를 나타내는 평가값을 산출하고, 각 평가값을 정보 레벨과 대응시켜 대상 판정부(754)에 보낸다. 본 실시형태에 따른 평가값 산출부(753)는, 멀티 레벨 데이터 생성부(752)로부터 받은 각 신호를 각각 프레임 분석하여 인체의 식별에 유용한 특징량(이하, 인체 특징량이라 한다)을 추출한다. 예를 들면, 평가값 산출부(753)는, 부분 도플러 신호를 프레임 주기 250msec마다, 프레임 길이 1000msec을 갖는 프레임 단위로 분할한다. 한편, 이 경우, 인접하는 프레임에 있어서, 750msec분의 데이터가 오버랩된다. 그리고, 평가값 산출부(753)는, 각 프레임을 고속 푸리에 변환에 의해 주파수 변환하고, 각 프레임의 주파수 스펙트럼에 있어서의 피크 주파수, 피크 파워 및 반치폭을 산출한다. 그리고, 평가값 산출부(753)는, 피크 주파수, 피크 파워 및 반치폭을 시계열로 배열한 벡터를 인체 특징량으로 한다. 부분 도플러 신호는 29프레임으로 이루어지기 때문에, 각 부분 도플러 신호로부터 추출되는 인체 특징량은, 3×29차원의 특징 벡터가 된다. 즉, 인체 특징량은, 피크 주파수의 시간 변동량, 피크 파워의 시간 변동량, 반치폭의 시간 변동량을 나타낸다.
평가값 산출부(753)는, 인체 특징량을 사용한 Real-Adaboost 식별기(classifier)를 구비한다. 이 Real-Adaboost 식별기(classifier)는, 인체에 유사한 정도를 나타내는 평가값을 출력한다. 각 식별기(classifier)는, 복수의 약식별기(weak classifier)와, 각 약식별기(weak classifier)의 판정 결과를 통합하여 판정하는 강식별기(strong classifier)로 구성된다. 각 약식별기(weak classifier)에는, 인체 특징량내의 특정의 요소가 각각 입력되고, 각 약식별기(weak classifier)는, 입력된 요소에 기초하여, 대응하는 부분 도플러 신호가, 인체의 이동에 기인하는 것일 가능성이 높을수록 높고, 가능성이 낮을수록 낮은 값을 출력한다. 한편, 강식별기(strong classifier)는, 각 약식별기(weak classifier)에 의한 출력값의 총합을 평가값으로서 출력한다.
한편, 인체 특징량내의 어느 요소를 각 약식별기(weak classifier)에 입력할지는, 인체의 이동에 기인하는 복수의 학습용 인체 도플러 신호와, 인체의 이동에 기인하지 않는 복수의 학습용 비인체 도플러 신호로부터 산출된 인체 특징량을 사용한 사전 학습에 의해 결정된다. 학습 순서는 제1의 실시형태와 동일하기 때문에, 설명을 생략한다. 사전 학습에 의해 결정된 각 약식별기(weak classifier)에 입력하는 인체 특징량내의 요소를 나타내는 정보와, 각 약식별기(weak classifier)의 출력을 나타내는 정보는, 인체 검지를 위한 참조 데이터로서 기억부(74)에 기억된다.
식별기에 의해 출력되는 평가값은, 구한 인체 특징량이 특징량 공간에 있어서 식별 경계에 대해 인체측의 영역에 위치할 때 양의 값이 되고, 인체가 아닌 측의 영역에 위치할 때 음의 값이 되고, 그 위치가 식별 경계에서 멀수록 그 절대값은 커지고, 가까울수록 절대값은 작아진다.
대상 판정부(754)는, 멀티 레벨 데이터에 포함되는 각 데이터마다 산출한 평가값이 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가 검출 대상에 관한 상승 정도를 나타내는지 여부에 의해, 입력 데이터에 검출 대상이 포함되는지 여부를 판정하고, 판정 결과를 출력한다. 본 실시형태에 따른 대상 판정부(754)는, 원래의 부분 도플러 신호 및 각 개별 레벨 도플러 신호로부터 평가값 산출부(753)가 산출한 평가값에 대해 상승 정도를 산출하여 그 상승 정도를 미리 설정한 판정 임계값과 비교한다. 그리고, 대상 판정부(754)는, 상승 정도가 판정 임계값 이상이면 부분 도플러 신호가 인체의 이동에 기초하는 것으로 판정하고, 상승 정도가 판정 임계값 미만이면 부분 도플러 신호가 인체의 이동에 기초하는 것이 아닌 것으로 판정한다. 한편, 판정 임계값으로서, 입력 데이터에 검출 대상이 포함되는 경우의 상승 정도의 하한값이 설정된다. 예를 들면, 사전의 실험에 의해 인체의 이동에 기초하는 복수의 테스트용 인체 도플러 신호에 대해 산출된 평가값의 상승 정도와 인체의 이동에 기초하지 않는 복수의 테스트용 비인체 도플러 신호에 대해 산출된 평가값의 상승 정도에 기초하는 이들을 식별 가능한 값을 판정 임계값으로 할 수 있다. 그 경우, 예를 들면, 테스트용 인체 도플러 신호에 대해 산출된 평가값의 상승 정도의 평균값과, 테스트용 비인체 도플러 신호에 대해 산출된 평가값의 상승 정도의 평균값의 평균값을 판정 임계값으로 한다. 또는, 테스트용 비인체 도플러 신호에 대해 산출된 평가값의 상승 정도의 최대값, 혹은 테스트용 인체 도플러 신호에 대해 산출된 평가값의 상승 정도의 최소값을 판정 임계값으로 설정해도 좋다. 평가값의 상승 정도의 산출 방법은, 제1의 실시형태에서 설명한 산출 방법과 동일하기 때문에, 설명을 생략한다.
한편, 대상 판정부(754)는, 판정 정밀도를 향상시키기 위해, 평가값의 상승 정도가 판정 임계값 이상인 부분 도플러 신호가 복수 연속하는 것을 조건으로 할 수도 있다.
통지 제어부(755)는, 대상 판정부(754)에 의해 부분 도플러 신호가 인체의 이동에 기초하는 것으로 판정되면, 이상 신호를 통신부(73)를 통해 외부기기에 송신한다.
이하, 도 24에 나타낸 플로우차트를 참조하면서, 본 실시형태에 따른 인체 센서(70)에 의한 대상 검출 처리의 동작을 설명한다. 한편, 이하에 설명하는 동작의 플로우는, 기억부(74)에 기억되고, 제어부(75)에 읽어들인 프로그램에 따라, 제어부(75)에 의해 제어된다.
제어부(75)의 데이터 입력부(750)는, 신호 취득부(71)에 도플러 신호를 생성시켜, 그 도플러 신호를 인터페이스부(72)를 통해 취득하고, 기억부(74)에 기억한다. 이 동작은 도 24의 플로우차트와 독립하여 상시 이루어진다. 잘라내기부(751)는, 기억부(74)의 도플러 신호로부터 부분 도플러 신호를 잘라내서, 멀티 레벨 데이터 생성부(752)에 보낸다(스텝 S2401). 한편, 제어부(75)는, 잘라내기부(751)가 잘라내는 부분 도플러 신호마다 스텝 S2401~S2409의 처리를 실행한다.
그 다음, 제어부(75)는, 정보 레벨을 설정한다(스텝 S2402). 한편, 제어부(75)는 미리 정해진 정보 레벨을 낮은 것부터 차례로 설정하고, 설정하는 정보 레벨의 수만큼 스텝 S2402~S2406의 처리를 실행한다.
멀티 레벨 데이터 생성부(752)는, 스텝 S2402에서 설정된 정보 레벨에 대응하는 개별 레벨 도플러 신호를 생성하고, 생성한 개별 레벨 도플러 신호를 정보 레벨과 대응시켜 평가값 산출부(753)에 보낸다(스텝 S2403). 한편, 정보 레벨이 최대값이 아닌 경우, 멀티 레벨 데이터 생성부(752)는, 그 정보 레벨에 대응하는 양의 백색 잡음을 부분 도플러 신호에 중첩한 개별 레벨 도플러 신호를 평가값 산출부(753)에 보낸다. 한편, 정보 레벨이 최대값인 경우, 멀티 레벨 데이터 생성부(752)는, 부분 도플러 신호를 그대로 평가값 산출부(753)에 보낸다.
그 다음, 평가값 산출부(753)는, 멀티 레벨 데이터 생성부(752)로부터 받은 개별 레벨 도플러 신호로부터 인체 특징량을 추출한다(스텝 S2404). 그 다음, 평가값 산출부(753)는, 추출한 인체 특징량으로부터 평가값을 산출하고, 산출한 평가값을 정보 레벨과 대응시켜 대상 판정부(754)에 보낸다(스텝 S2405).
그 다음, 제어부(75)는, 모든 정보 레벨에 대해 스텝 S2402~S2405의 처리를 실행했는지 여부를 판정한다(스텝 S2406). 모든 정보 레벨에 대해 스텝 S2402~S2405의 처리를 실행하지 않았으면(스텝 S2406의 NO), 제어부(75)는, 처리를 스텝 S2402로 되돌려서 스텝 S2402~S2405의 처리를 반복한다. 한편, 모든 정보 레벨에 대해 스텝 S2402~S2405의 처리를 실행했으면(스텝 S2406의 YES), 대상 판정부(754)는, 그때까지 평가값 산출부(753)로부터 받은 평가값에 대해 정보 레벨의 상승에 따라 상승하는 상승 정도를 산출한다(스텝 S2407).
그 다음, 대상 판정부(754)는, 산출한 상승 정도를 판정 임계값과 비교한다(스텝 S2408). 상승 정도가 판정 임계값 이상이면(스텝 S2408의 YES), 통지 제어부(755)는, 이상 신호를 통신부(73)를 통해 외부기기에 송신한다(스텝 S2409). 이상 신호가 송신되면, 제어부(75)는, 처리를 스텝 S2401로 되돌려서 스텝 S2401~S2409의 처리를 반복한다.
한편, 상승 정도가 판정 임계값 미만이면(스텝 S2408의 NO), 제어부(75)는, 처리를 스텝 S2401로 되돌려서 스텝 S2401~S2409의 처리를 반복한다.
이상으로 설명한 바와 같이, 본 실시형태에 따른 인체 센서는, 감시 영역에 보낸 송신파와 그 반사파로부터 도플러 신호를 생성하고, 도플러 신호로부터 잘라낸 부분 도플러 신호로부터 정보 레벨이 서로 다른 복수의 신호를 생성하고, 생성한 각 신호로부터 평가값을 산출한다. 그리고, 인체 센서는, 정보 레벨의 상승에 따라 상승하는 상승 정도를 구하고, 구한 상승 정도가, 부분 도플러 신호가 인체의 이동에 기인하는 경우의 상승 정도의 하한값 이상인 경우, 부분 도플러 신호가 인체의 이동에 기인하는 것으로 판정한다. 이에 의해, 인체 센서는, 인체를 검출하는 정밀도를 향상시킬 수 있다.
제6의 실시형태에 있어서의 제1의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 신호로서, 입력된 신호에, 정보 레벨이 높을수록 통과 대역이 넓고, 정보 레벨이 낮을수록 통과 대역이 좁은 대역 통과 필터를 각각 적용시킨 복수의 데이터를 생성한다. 이 경우, 예를 들면, 인체 센서는, 통과 대역을 변경 가능한 대역 통과 필터를 구비한다. 멀티 레벨 데이터 생성부는, 대역 통과 필터의 통과 대역의 넓이를 다양하게 변경하고, 통과 대역의 넓이가 각각 다른 대역 통과 필터에 부분 도플러 신호를 통과시키는 것에 의해, 정보 레벨이 서로 다른 복수의 신호를 생성한다. 대역 통과 필터의 통과 대역이 좁을수록 생성되는 신호의 정보 레벨은 낮아지고, 통과 대역이 넓을수록 정보 레벨은 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 신호로서, 정보 레벨이 높을수록 입력된 신호의 진폭이 커지고, 정보 레벨이 낮을수록 입력된 신호의 진폭이 작아지도록, 입력된 신호의 진폭을 각각 감쇠시킨 복수의 신호를 생성해도 좋다. 이 경우, 멀티 레벨 데이터 생성부는, 예를 들면, 입력된 신호의 진폭을 0.5배, 0.25배, 0.125배, …로 감쇠시키는 것에 의해, 정보 레벨이 서로 다른 복수의 신호를 생성한다. 진폭이 작아지도록 감쇠시킬수록 생성되는 신호의 정보 레벨은 낮아진다.
혹은, 멀티 레벨 데이터 생성부는, 정보 레벨이 서로 다른 복수의 신호로서, 입력된 신호를, 정보 레벨이 높을수록 높은 샘플링 주파수로, 정보 레벨이 낮을수록 낮은 샘플링 주파수로 각각 샘플링한 복수의 데이터를 생성해도 좋다. 그 경우, 멀티 레벨 데이터 생성부는, 부분 도플러 신호를 리샘플링하여 샘플링 주파수를 변경한다. 예를 들면, 신호 취득부의 A/D 변환기에 의한 샘플링 주파수가 11.025kHz인 경우, 멀티 레벨 데이터 생성부는, 부분 도플러 신호를 8kHz, 4kHz, 2kHz, 1kHz의 샘플링 주파수로 리샘플링하는 것에 의해, 정보 레벨이 서로 다른 복수의 신호를 생성한다. 리샘플링시의 샘플링 주파수가 낮을수록 생성되는 신호의 정보 레벨은 낮아지고, 샘플링 주파수가 높을수록 정보 레벨은 높아진다.
제6의 실시형태에 있어서의 제2의 변형예에 있어서, 멀티 레벨 데이터 생성부는, 검출 대상에 관한 특징량을 생성하여, 그 특징량의 분석 레벨을 서로 다르게 한 복수의 데이터를 생성하고, 정보 레벨이 서로 다른 복수의 데이터로서 사용한다. 이 경우, 사전 학습에 의해 결정된, 평가값 산출부의 각 약식별기(weak classifier)에 입력하는 특징량은, 평가값 산출부가 아닌, 멀티 레벨 데이터 생성부가 구하고, 멀티 레벨 데이터 생성부는, 구한 특징량의 분석 레벨을 다양하게 변경한다.
예를 들면, 멀티 레벨 데이터 생성부는, 분석 레벨을 서로 다르게 한 복수의 데이터로서, 정보 레벨이 높을수록 입력된 신호를 프레임 분석하기 위한 프레임 길이를 길게 하고, 정보 레벨이 낮을수록 그 프레임 길이를 짧게 한 복수의 데이터를 생성한다. 그 경우, 멀티 레벨 데이터 생성부는, 입력된 신호에 대해, 프레임 주기를 250msec 고정으로 하고, 프레임 길이를 15.625msec, 31.25msec, 62.5msec, 125msec, 250msec, 500msec, 1000msec로 복수 단계로 설정한다. 멀티 레벨 데이터 생성부는, 설정한 각각의 프레임 길이의 프레임에 대해 고속 푸리에 변환에 의해 주파수 변환하고, 각 프레임의 주파수 스펙트럼에 있어서의 피크 주파수, 피크 파워 및 반치폭을 산출하고, 인체 특징량으로 한다. 평가값 산출부는, 각 프레임 길이의 프레임으로부터 구한 인체 특징량으로부터, 각각 평가값을 산출한다. 프레임 길이가 짧을수록 구해지는 특징량의 정보 레벨은 낮아지고, 프레임 길이가 길수록 그 정보 레벨은 높아진다.
혹은, 멀티 레벨 데이터 생성부는, 분석 레벨을 서로 다르게 한 복수의 데이터로서, 인체 특징량의 특징 벡터의 각 요소에, 정보 레벨이 높을수록 크고, 정보 레벨이 낮을수록 작은 1 이하의 양의 계수 α(0<α≤1.0)를 각각 곱한 복수의 데이터를 생성해도 좋다. 멀티 레벨 데이터 생성부는, 계수 α를 예를 들면 0.1, 0.2, 0.3, …, 1.0로, 미리 설정된 범위에서 다양하게 변경한다. α가 작을수록 구해지는 특징량의 정보 레벨은 낮아지고, 반대로 α가 클수록 그 정보 레벨은 높아진다.
이들의 경우, 도 24의 플로우차트의 스텝 S2404에 있어서, 멀티 레벨 데이터 생성부는, 스텝 S2403에서 설정된 정보 레벨에 맞춰, 부분 도플러 신호로부터 인체 특징량을 구하고, 평가값 산출부에 보낸다. 그리고, 스텝 S2405는 생략되고, 스텝 S2406에 있어서, 평가값 산출부는, 멀티 레벨 데이터 생성부로부터 받은 인체 특징량으로부터 평가값을 산출한다.
이와 같이, 분석 레벨이 서로 다른 특징량을 구하여 각 특징량으로부터 평가값을 산출하고, 평가값이 분석 레벨의 상승에 따라 상승하는 상승 정도에 기초하여 도플러 신호가 인체의 이동에 기인하는 것인지 여부를 판정하는 것에 의해서도, 인체의 검출 정밀도를 향상시킬 수 있다.
또한, 제1의 실시형태에 있어서의 제6, 7, 9~12의 각 변형예를 제6의 실시형태에서도 적용할 수 있다.
또한, 제4의 실시형태에 따른 감시 시스템과 같이, 인체 센서와 접속하는 센터 장치를 마련하고, 인체 센서는, 도플러 신호를 센터 장치에 송신하고, 센터 장치가, 수신한 도플러 신호가 인체의 이동에 기인하는 것인지 여부를 판정해도 좋다. 혹은, 잘라내기부, 멀티 레벨 데이터 생성부, 평가값 산출부 및 대상 판정부 각각을 인체 센서와 센터 장치 중의 어느 하나에 임의로 배치하도록 구성해도 좋다.
이상과 같이, 당업자는, 본 발명의 범위내에서, 실시되는 형태에 맞춰 다양한 변경을 할 수 있다.
10: 인터폰
11, 21, 41: 촬상부
12: 출력부
13, 22, 42, 53, 62, 72: 인터페이스부
14, 24, 44, 54, 64, 74: 기억부
15, 25, 45, 55, 65, 75: 제어부
150, 250, 550, 650, 750: 데이터 입력부
151, 251, 551, 651, 751: 잘라내기부
152, 252, 552, 652, 752: 멀티 레벨 데이터 생성부
153, 253, 553, 653, 753: 평가값 산출부
154, 254, 554, 654, 754: 대상 판정부
155: 명동(鳴動) 제어부
20, 40: 감시 장치
23, 43, 51, 63, 73: 통신부
255, 655, 755: 통지 제어부
555: 표시 제어부
30, 50: 센터 장치
52: 표시부
60: 비명(scream) 센서
61: 집음부
70: 인체 센서
71: 신호 취득부

Claims (17)

  1. 데이터 입력부로부터 취득한 입력 데이터에 검출 대상이 포함되는지 여부를 판정하는 대상 검출 장치이고,
    상기 입력 데이터로부터, 상기 검출 대상을 표현하는 정도인 정보 레벨이 서로 다른 복수의 데이터를 생성하는 멀티 레벨 데이터 생성부;
    상기 복수의 데이터 각각에 대해, 상기 검출 대상에 유사한 정도를 나타내는 평가값을 산출하는 평가값 산출부; 및
    상기 정보 레벨이 서로 다른 복수의 데이터 각각에 대해 산출한 상기 평가값이 상기 정보 레벨의 상승에 따라 상승하는 상승 정도가, 상기 입력 데이터에 상기 검출 대상이 포함되는 경우의 상기 상승 정도의 하한값 이상인 경우, 상기 입력 데이터에 상기 검출 대상이 포함되는 것으로 판정하는 대상 판정부를 구비하는 것을 특징으로 하는 대상 검출 장치.
  2. 제1항에 있어서,
    상기 대상 판정부는, 상기 정보 레벨마다 해당 정보 레벨에 관한 상기 평가값에서 해당 정보 레벨보다 소정 단계 낮은 정보 레벨에 관한 상기 평가값을 뺀 차(差)를 구하고, 상기 구한 차의 합계값 및 최대값 중 어느 하나를 상기 상승 정도로서 구하는 대상 검출 장치.
  3. 제1항에 있어서,
    상기 대상 판정부는, 상기 정보 레벨이 낮은 것부터 차례로 해당 정보 레벨에 관한 상기 평가값에서 해당 정보 레벨보다 소정 단계 낮은 정보 레벨에 관한 상기 평가값을 뺀 차를 구하고, 해당 차를 구할 때마다, 상기 구한 차의 누적값을 상기 상승 정도로서 구하고, 구한 상기 상승 정도가 상기 하한값 이상인지 여부를 판정하고, 구한 상기 상승 정도가 상기 하한값 이상인 경우, 상기 입력 데이터에 상기 검출 대상이 포함되는 것으로 판정하는 대상 검출 장치.
  4. 제1항에 있어서,
    상기 대상 판정부는, 모든 상기 정보 레벨에 관한 상기 평가값의 최대값에서 최소값을 뺀 차, 및 모든 상기 정보 레벨에 관한 상기 평가값의 최소값에 대한 최대값의 비 중 어느 하나를 상기 상승 정도로서 구하는 대상 검출 장치.
  5. 제1항에 있어서,
    상기 대상 판정부는, 상기 상승 정도가 상기 하한값 이상이고, 또한 상기 정보 레벨이 서로 다른 복수의 데이터 각각에 대해 산출한 상기 평가값에 관한 통계적 대표값인 대표 평가값이 소정값 이상인 경우, 상기 입력 데이터에 상기 검출 대상이 포함되는 것으로 판정하고, 상기 상승 정도가 상기 하한값 미만인 경우, 또는 상기 대표 평가값이 상기 소정값 미만인 경우, 상기 입력 데이터에 상기 검출 대상이 포함되지 않는 것으로 판정하는 대상 검출 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 정보 레벨은, 상기 복수의 데이터 각각이 상기 검출 대상을 표현하는 상세함의 정도인 대상 검출 장치.
  7. 제6항에 있어서,
    상기 입력 데이터는, 화상 데이터이고,
    상기 멀티 레벨 데이터 생성부는, 상기 정보 레벨이 서로 다른 복수의 데이터로서, 상기 정보 레벨이 높을수록 선예도(sharpness)가 높고, 상기 정보 레벨이 낮을수록 선예도가 낮은, 선예도가 서로 다른 복수의 데이터를 생성하는 대상 검출 장치.
  8. 제7항에 있어서,
    상기 멀티 레벨 데이터 생성부는, 상기 선예도가 서로 다른 복수의 데이터로서, 상기 입력 데이터에, 상기 정보 레벨이 높을수록 필터 사이즈가 작고, 상기 정보 레벨이 낮을수록 필터 사이즈가 큰 평균화 필터를 각각 적용시킨 복수의 데이터를 생성하는 대상 검출 장치.
  9. 제6항에 있어서,
    상기 멀티 레벨 데이터 생성부는, 상기 정보 레벨이 서로 다른 복수의 데이터로서, 상기 입력 데이터에, 상기 정보 레벨이 높을수록 적은 양의 노이즈를, 상기 정보 레벨이 낮을수록 많은 양의 노이즈를 각각 중첩한 복수의 데이터를 생성하는 대상 검출 장치.
  10. 제6항에 있어서,
    상기 입력 데이터는, 화상 데이터이고,
    상기 멀티 레벨 데이터 생성부는, 상기 정보 레벨이 서로 다른 복수의 데이터로서, 상기 정보 레벨이 높을수록 화상의 명료도가 높고, 상기 정보 레벨이 낮을수록 화상의 명료도가 낮은, 화상의 명료도가 서로 다른 복수의 데이터를 생성하는 대상 검출 장치.
  11. 제10항에 있어서,
    상기 멀티 레벨 데이터 생성부는, 상기 화상의 명료도가 서로 다른 복수의 데이터로서, 상기 정보 레벨이 높을수록 상기 입력 데이터의 화소값의 계조수를 많게 하고, 상기 정보 레벨이 낮을수록 상기 입력 데이터의 화소값의 계조수를 적게 한 복수의 데이터를 생성하는 대상 검출 장치.
  12. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 정보 레벨은, 상기 복수의 데이터 각각이 상기 검출 대상의 특징 표현에 적합한 정도인 대상 검출 장치.
  13. 제12항에 있어서,
    상기 멀티 레벨 데이터 생성부는, 상기 정보 레벨이 서로 다른 복수의 데이터로서, 상기 정보 레벨이 높을수록 상기 입력 데이터에 있어서 상기 검출 대상이 표현되는 부분을 마스킹하는 정도를 낮게 하고, 상기 정보 레벨이 낮을수록 상기 입력 데이터에 있어서 상기 검출 대상이 표현되는 부분을 마스킹하는 정도를 높게 한 복수의 데이터를 생성하는 대상 검출 장치.
  14. 제12항에 있어서,
    상기 멀티 레벨 데이터 생성부는, 상기 검출 대상에 관한 특징량을 생성하고, 상기 정보 레벨이 서로 다른 복수의 데이터로서, 상기 정보 레벨이 높을수록 상기 특징량이 나타내는 정보량이 커지고, 상기 정보 레벨이 낮을수록 상기 정보량이 작아지도록, 상기 특징량에 대해 상기 정보량을 서로 다르게 한 복수의 데이터를 생성하는 대상 검출 장치.
  15. 제14항에 있어서,
    상기 멀티 레벨 데이터 생성부는, 상기 정보량을 서로 다르게 한 복수의 데이터로서, 상기 특징량에, 상기 정보 레벨이 높을수록 크고, 상기 정보 레벨이 낮을수록 작은 1 이하의 양의 계수를 각각 곱한 복수의 데이터를 생성하는 대상 검출 장치.
  16. 제12항에 있어서,
    상기 입력 데이터는, 화상 데이터이고,
    상기 멀티 레벨 데이터 생성부는, 상기 정보 레벨이 서로 다른 복수의 데이터로서, 상기 정보 레벨이 높을수록 상기 입력 데이터를 작은 정도로 기하 변환하고, 상기 정보 레벨이 낮을수록 상기 입력 데이터를 큰 정도로 기하 변환하여 복수의 데이터를 생성하는 대상 검출 장치.
  17. 대상 검출 장치에 있어서, 데이터 입력부로부터 취득한 입력 데이터에 검출 대상이 포함되는지 여부를 판정하는 대상 검출 방법이고,
    상기 입력 데이터로부터, 상기 검출 대상을 표현하는 정도인 정보 레벨이 서로 다른 복수의 데이터를 생성하고,
    상기 복수의 데이터 각각에 대해, 상기 검출 대상에 유사한 정도를 나타내는 평가값을 산출하고,
    상기 정보 레벨이 서로 다른 복수의 데이터 각각에 대해 산출한 상기 평가값이 상기 정보 레벨의 상승에 따라 상승하는 상승 정도가, 상기 검출 대상이 상기 입력 데이터에 포함되는 경우의 상기 상승 정도의 하한값 이상인 경우, 상기 입력 데이터에 상기 검출 대상이 포함되는 것으로 판정하는 것을 포함하는 것을 특징으로 하는 대상 검출 방법.
KR1020147036504A 2012-06-29 2013-06-28 대상 검출 장치 및 대상 검출 방법 KR101588995B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012147690 2012-06-29
JPJP-P-2012-147690 2012-06-29
PCT/JP2013/067914 WO2014003182A1 (ja) 2012-06-29 2013-06-28 対象検出装置及び対象検出方法

Publications (2)

Publication Number Publication Date
KR20150028967A true KR20150028967A (ko) 2015-03-17
KR101588995B1 KR101588995B1 (ko) 2016-01-26

Family

ID=49783316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147036504A KR101588995B1 (ko) 2012-06-29 2013-06-28 대상 검출 장치 및 대상 검출 방법

Country Status (6)

Country Link
US (1) US9177203B2 (ko)
JP (1) JP5697803B2 (ko)
KR (1) KR101588995B1 (ko)
CN (1) CN104412302B (ko)
TW (1) TWI556194B (ko)
WO (1) WO2014003182A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230086794A (ko) * 2020-12-08 2023-06-15 미쓰비시덴키 가부시키가이샤 학습 장치, 불량 검지 장치, 및 불량 검지 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6326622B2 (ja) * 2014-03-25 2018-05-23 株式会社明電舎 人物検出装置
JP6627750B2 (ja) 2014-03-31 2020-01-08 日本電気株式会社 画像処理システム、画像処理装置、画像処理方法および記録媒体
JP6444283B2 (ja) * 2015-08-31 2018-12-26 セコム株式会社 姿勢判定装置
WO2017061106A1 (ja) * 2015-10-07 2017-04-13 日本電気株式会社 情報処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
TWI737659B (zh) * 2015-12-22 2021-09-01 以色列商應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統
KR20180092495A (ko) * 2017-02-09 2018-08-20 한국전자통신연구원 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
JP6399122B2 (ja) * 2017-03-01 2018-10-03 オムロン株式会社 顔検出装置およびその制御方法
JP6785181B2 (ja) * 2017-04-12 2020-11-18 株式会社日立製作所 物体認識装置、物体認識システム、及び物体認識方法
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
CN110944815B (zh) * 2017-08-31 2021-10-15 三菱重工机械系统株式会社 监视装置、监视方法及程序
US10535138B2 (en) * 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
TWI712909B (zh) * 2018-04-17 2020-12-11 和碩聯合科技股份有限公司 輔助臉部辨識的防僞方法及系統
CN112578351B (zh) * 2020-02-28 2024-09-13 加特兰微电子科技(上海)有限公司 目标匹配方法、集成电路、无线电器件及设备
WO2021186755A1 (ja) * 2020-03-17 2021-09-23 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
JP7527129B2 (ja) * 2020-04-28 2024-08-02 キヤノン株式会社 焦点調節装置、撮像装置、焦点調節方法、及びプログラム
CN112990132B (zh) * 2021-04-27 2023-01-03 成都中轨轨道设备有限公司 一种轨道标号牌定位识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108990A (ja) * 2005-10-13 2007-04-26 Fujifilm Corp 顔検出方法および装置並びにプログラム
JP2009230284A (ja) 2008-03-19 2009-10-08 Secom Co Ltd 監視装置
JP2010166212A (ja) * 2009-01-14 2010-07-29 Canon Inc 動画像処理装置、動画像処理方法、プログラム及び記憶媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889892B2 (en) * 2005-10-13 2011-02-15 Fujifilm Corporation Face detecting method, and system and program for the methods
CN101021944B (zh) * 2007-03-14 2010-05-26 哈尔滨工业大学 基于小波函数的多尺度显微图像分割处理方法
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
JP5127686B2 (ja) * 2008-12-11 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法、ならびに、撮像装置
US8840889B2 (en) * 2009-08-13 2014-09-23 The Johns Hopkins University Methods of modulating immune function
US8351661B2 (en) * 2009-12-02 2013-01-08 At&T Intellectual Property I, L.P. System and method to assign a digital image to a face cluster
US10424342B2 (en) * 2010-07-28 2019-09-24 International Business Machines Corporation Facilitating people search in video surveillance
US8942434B1 (en) * 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108990A (ja) * 2005-10-13 2007-04-26 Fujifilm Corp 顔検出方法および装置並びにプログラム
JP2009230284A (ja) 2008-03-19 2009-10-08 Secom Co Ltd 監視装置
JP2010166212A (ja) * 2009-01-14 2010-07-29 Canon Inc 動画像処理装置、動画像処理方法、プログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230086794A (ko) * 2020-12-08 2023-06-15 미쓰비시덴키 가부시키가이샤 학습 장치, 불량 검지 장치, 및 불량 검지 방법

Also Published As

Publication number Publication date
TW201403547A (zh) 2014-01-16
US20150146922A1 (en) 2015-05-28
WO2014003182A1 (ja) 2014-01-03
US9177203B2 (en) 2015-11-03
KR101588995B1 (ko) 2016-01-26
TWI556194B (zh) 2016-11-01
CN104412302B (zh) 2016-09-07
CN104412302A (zh) 2015-03-11
JP5697803B2 (ja) 2015-04-08
JPWO2014003182A1 (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
KR101588995B1 (ko) 대상 검출 장치 및 대상 검출 방법
CN110519637B (zh) 基于音频视频监控结合的异常监测方法
US11386916B2 (en) Segmentation-based feature extraction for acoustic scene classification
WO2013157254A1 (en) Sound detecting apparatus, sound detecting method, sound feature value detecting apparatus, sound feature value detecting method, sound section detecting apparatus, sound section detecting method, and program
JP4441879B2 (ja) 信号処理装置および方法、プログラム、並びに記録媒体
US20210247531A1 (en) Early earthquake detection apparatus and method
KR102314824B1 (ko) 딥러닝 기반 감지상황에서의 음향 사건 탐지 방법
AU2013204156B2 (en) Classification apparatus and program
CN113035241B (zh) 多特征融合识别婴儿哭声类别的方法、装置及设备
Leonid et al. Retracted article: statistical–model based voice activity identification for human-elephant conflict mitigation
KR101250668B1 (ko) Ｇｍｍ을 이용한 응급 단어 인식 방법
CN112967733A (zh) 智能识别婴儿哭声类别的方法及装置
CN116959471A (zh) 语音增强方法、语音增强网络的训练方法及电子设备
CN116597864A (zh) 一种嗓音检测方法及装置
Bastas et al. A novel feature extraction algorithm for classification of bird flight calls
KR20130097490A (ko) 음향 정보 기반 상황 인식 장치 및 방법
US11830272B2 (en) Method and apparatus for identifying animal species
CN113496136B (zh) 无人机及其影像识别方法
JP6113018B2 (ja) 対象検出装置
CN113539298A (zh) 一种基于云边端的声音大数据分析计算图像化系统
JP5907487B2 (ja) 情報伝送システム、送信装置、受信装置、情報伝送方法、およびプログラム
Hori et al. Initial evaluation of personal identification system using walking footstep sound of one step
CN112614492A (zh) 基于时空信息融合的声纹识别方法、系统及存储介质
Guediri Development of the Multisense System
Togare et al. Machine Learning Approaches for Audio Classification in Video Surveillance: A Comparative Analysis of ANN vs. CNN vs. LSTM

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 4