KR101429882B1 - 화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체 - Google Patents

화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체 Download PDF

Info

Publication number
KR101429882B1
KR101429882B1 KR1020130008559A KR20130008559A KR101429882B1 KR 101429882 B1 KR101429882 B1 KR 101429882B1 KR 1020130008559 A KR1020130008559 A KR 1020130008559A KR 20130008559 A KR20130008559 A KR 20130008559A KR 101429882 B1 KR101429882 B1 KR 101429882B1
Authority
KR
South Korea
Prior art keywords
identifier
image
dedicated
drug
registered image
Prior art date
Application number
KR1020130008559A
Other languages
English (en)
Other versions
KR20130105322A (ko
Inventor
키요아키 타나카
타카요시 야마시타
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20130105322A publication Critical patent/KR20130105322A/ko
Application granted granted Critical
Publication of KR101429882B1 publication Critical patent/KR101429882B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 어느 화상으로부터 등록화상에 포함되는 대상을 검출하는 처리에 있어서, 그 처리량 또는 처리시간을 경감하기 위한 것이다. 등록화상에 대한 검출 결과가 가장 높은 스코어의 전용 식별기에 포함되는 약식별기의 일부를, 범용 식별기에 포함되는 약식별기로 바꾸어, 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성한다.

Description

화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체{Image Processor, Image Processing Method, Control Program, and Recording Medium}
본 발명은 화상(畵像)으로부터 인간이나 애완동물 등의 대상을 검출하는 화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체에 관한 것이다.
최근, 디지털 카메라 등의 화상 처리장치에는, 촬영 시에, 인간의 얼굴 등을 검출하고, 검출한 대상에 초점을 맞추거나, 검출한 대상의 화이트 밸런스 등을 조정하는 기술이 탑재되어 있다. 이 기술에 있어서는, 화상으로부터 인간의 얼굴 등의 대상을 정확하게 검출할 수 있는 것이 요구된다. 그 때문에, 소정의 대상을 검출하는 기술에 대해서 다양한 것이 개발되어 있다.
예를 들어, 특허문헌 1에는, 대상 데이터가 특정 내용의 데이터인지 아닌지를 식별하는 식별처리에 이용하는 특징량의 종류와 식별조건을, 샘플 데이터를 해석함으로써, 식별처리에서의 식별 정밀도와 계산량의 부담과의 원하는 밸런스에 따라 결정하는 기술이 기재되어 있다.
또, 특허문헌 2에는 교사 데이터에 근거하여, 현재 이용하고 있는 인식기의 조합을 환경에 맞추어 적절하게 갱신하는 기술이 기재되어 있다.
또, 특허문헌 3에는 사전 데이터를 참조하여, 등록 애완동물 화상과의 대조도가 높은 얼굴 패턴을 추출하고, 추출한 얼굴 패턴에 근거하여, 등록 애완동물 화상의 인식 처리를 하는 기술이 기재되어 있다.
특허문헌 1: 일본 특개2005-100121호 공보(2005년 4월 14일 공개) 특허문헌 2: 일본 특개2008-204103호 공보(2008년 9월 4일 공개) 특허문헌 3: 일본 특개2011-124819호 공보(2011년 6월 23일 공개)
여기에서, 종래의 화상 처리장치에서는, 일반적인 인간의 얼굴이나 애완동물의 얼굴 등을 검출하는 범용 검출기인 얼굴 검출기에 의해, 얼굴 검출처리가 실행된다. 많은 경우, 이 얼굴 검출기는 촬영화상에 포함되는 인간이나 애완동물의 얼굴을 검출할 수 있지만, 일부 검출할 수 없는 경우도 있다. 범용 검출기에 의해 검출할 수 없는 대상에 관해서는, 종래 각각의 사용자에게 그 대상을 포함하는 화상을 등록시키고, 그 등록화상에 근거하여 원하는 대상을 검출함으로써, 이 문제를 해결하고 있었다.
예를 들어, 화상에 인간과 애완동물인 시바견이 찍혀 있고, 범용 검출기인 얼굴 검출기에 의해, 시바견의 얼굴을 검출할 수 없었다고 한다. 또, 화상 처리장치는, 범용 검출기에 더하여, 시바견 식별기, 치와와 식별기, 닥스훈트 식별기 등의 범용 검출기의 검출대상을 세분화한 대상을 검출하는 전용 검출기를 미리 갖추고 있는 것으로 한다.
이때, 화상 처리장치는, 등록화상에 대하여 전용 검출기에 의한 검출처리를 실행하여, 검출 결과가 가장 좋은 전용 검출기를, 등록화상에 포함되는 대상을 검출하기 위한 식별기로서 설정한다. 그 때문에, 설정한 식별기에 의한 검출처리를 실행함으로써, 범용 검출기로는 검출할 수 없었던 대상을 검출할 수 있다.
통상, 사용자는 범용 검출기로 검출할 수 없었던 대상만을 등록한다. 그 때문에, 상기 예에서, 화상 처리장치는, 인간 및 시바견이 찍혀 있는 사진에 대하여, 범용 식별기와, 시바견을 검출하기 위한 식별기의 양쪽의 검출처리를 실행하게 된다. 이와 같이, 대상을 등록함으로써, 검출되지 않는 대상도 검출할 수 있지만, 등록하는 대상 수에 따라, 검출처리를 실행하는 식별기의 개수도 증가한다. 그 때문에, 종래의 화상 처리장치는 처리량 또는 처리시간이 증대하는 문제가 있다.
본 발명은, 상기의 문제점에 감안하여 이루어진 것으로, 그 목적은 한 화상으로부터 등록화상에 포함되는 대상을 검출하는 처리에 있어서, 그 처리량 또는 처리시간을 경감하는 화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체를 실현하는데있다.
본 발명에 따른 화상 처리장치는, 상기 과제를 해결하기 위해, 소정의 대분류 대상을 검출하는 범용 식별기로서, 다음 단(次段)의 약(弱)식별기가 전단(前段)의 약식별기의 출력영역에 대하여 검출처리를 실행하는 약식별기를 하나 또는 복수개 갖는 범용 식별기와, 상기 대분류 대상을 세분화한 소분류 대상을 검출하는 전용 식별기로서, 다음 단의 약식별기가 전단의 출력영역에 대하여 검출처리를 실행하는 약식별기를 하나 또는 복수개 갖는 전용 식별기를 갖춘 화상 처리장치로서, 카메라가 촬영한 촬영화상을 취득하는 화상 취득수단, 상기 촬영화상으로부터 사용자가 지정한 영역을 포함하는 등록화상을 추출하는 화상 추출수단, 상기 화상 추출수단이 추출한 등록화상에 대하여, 전용 식별기에 의한 검출처리를 실행시키는 전용 식별기 실행수단, 검출 결과의 우열을 나타내는 지표가 가장 높은 전용 식별기를 선택하는 전용 식별기 선택수단, 상기 전용 식별기 선택수단이 선택한 전용 식별기에 포함되는 약식별기의 일부를, 상기 범용 식별기에 포함되는 약식별기로 바꾸어, 상기 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성하는 식별기 생성수단을 갖춘 것을 특징으로 하고 있다.
본 발명에 따른 화상 처리방법은, 상기 과제를 해결하기 위해, 소정의 대분류 대상을 검출하는 범용 식별기로서, 다음 단의 약식별기가 전단의 출력영역에 대하여 검출처리를 실행하는 약식별기를 하나 또는 복수개 갖는 범용 식별기와, 상기 대분류 대상을 세분화한 소분류 대상을 검출하는 전용 식별기로서, 다음 단의 약식별기가 전단의 출력영역에 대하여 검출처리를 실행하는 약식별기를 하나 또는 복수개 갖는 전용 식별기를 갖춘 화상 처리장치의 화상 처리방법으로서, 카메라가 촬영한 촬영화상을 취득하는 화상 취득단계, 상기 촬영화상으로부터 사용자가 지정한 영역을 포함하는 등록화상을 추출하는 화상 추출단계, 상기 화상 추출단계에서 추출된 등록화상에 대하여, 전용 식별기에 의한 검출처리를 실행시키는 전용 식별기 실행단계, 검출 결과의 우열을 나타내는 지표가 가장 높은 전용 식별기를 선택하는 전용 식별기 선택단계, 상기 전용 식별기 선택단계에서 선택된 전용 식별기에 포함되는 약식별기의 일부를, 상기 범용 식별기에 포함되는 약식별기로 바꾸어, 상기 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성하는 식별기 생성단계를 포함하는 것을 특징으로 하고 있다.
상기 구성에 의하면, 등록화상에 포함되는 대상을 검출할 수 없었던 범용 식별기의 약식별기와, 전용 식별기의 약식별기를 조합시켜 등록화상 식별기가 생성된다.
여기에서, 등록화상에 포함되는 대상과, 범용 식별기에 의해 검출 가능한 대상을 촬영화상으로부터 검출하는 경우, 화상 처리장치는, 등록화상 식별기와 범용 식별기를 양쪽 실행한다. 화상 처리장치는, 2개의 식별기를 실행하지만, 등록화상 식별기의 검출처리 시, 범용 식별기의 약식별기의 검출 결과를 이용함으로써, 등록화상 식별기에 포함되는 범용 식별기의 약식별기를 실행하지 않고 끝난다.
따라서, 화상 처리장치는, 등록화상에 포함되는 대상과, 범용 식별기에 의해 검출 가능한 대상을 촬영화상으로부터 검출하는 경우, 검출처리에 걸리는 처리량 또는 처리시간을 경감할 수 있는 효과를 나타낸다.
본 발명에 따른 화상 처리장치는, 상기 식별기 생성수단은, 상기 등록화상에 대하여 상기 범용 식별기의 약식별기가 검출처리를 실행할 수 있었던 계층까지의 상기 범용 식별기의 약식별기를, 상기 전용 식별기 선택수단이 선택한 전용 식별기의 상기 계층까지의 약식별기로 바꾸어, 상기 등록화상 식별기를 생성하는 것이 바람직하다.
본 발명에 따른 화상 처리장치는, 상기 식별기 생성수단은, 미리 정해진 계층까지의 상기 범용 식별기의 약식별기를, 상기 전용 식별기 선택수단이 선택한 전용 식별기의 상기 계층까지의 약식별기로 바꾸어, 상기 등록화상 식별기를 생성하는 것이 바람직하다.
본 발명에 따른 화상 처리장치는, 상기 전용 식별기 실행수단은, 상기 등록화상에 대하여 전용 식별기에 의한 검출처리를 실행시킨 결과, 어느 전용 식별기도 출력영역을 출력하지 않은 경우, 전용 식별기가 상기 등록화상에 대하여 검출처리를 실행할 수 있었던 계층을 상기 지표로서 출력하고, 상기 전용 식별기 선택수단은, 계층 수가 가장 큰 전용 식별기를 선택하는 것이 바람직하다.
본 발명에 따른 화상 처리장치는, 상기 식별기 생성수단은, 상기 전용 식별기 선택수단이 선택한 전용 식별기의 약식별기 중, 상기 등록화상에 대하여 검출처리를 실행할 수 있었던 계층까지의 상기 전용 식별기의 약식별기를 사용하여, 상기 등록화상 식별기를 생성하는 것이 바람직하다.
또한, 상기 화상 처리장치는, 컴퓨터에 의해 실현해도 좋고, 이 경우에는 컴퓨터를 상기 화상 처리장치의 각 수단으로서 동작시킴으로써, 상기 화상 처리장치를 컴퓨터로 실현시키는 제어 프로그램, 및 그것을 기록한 컴퓨터로 읽어 들일 수 있는 기록매체도 본 발명의 범주에 들어간다.
이상과 같이, 본 발명에 따른 화상 처리장치는, 카메라가 촬영한 촬영화상을 취득하는 화상 취득수단과, 상기 촬영화상으로부터 사용자가 지정한 영역을 포함하는 등록화상을 추출하는 화상 추출수단과, 상기 화상 추출수단이 추출한 등록화상에 대하여, 전용 식별기에 의한 검출처리를 실행시키는 전용 식별기 실행수단과, 검출 결과의 우열을 나타내는 지표가 가장 높은 전용 식별기를 선택하는 전용 식별기 선택수단과, 상기 전용 식별기 선택수단이 선택한 전용 식별기에 포함되는 약식별기의 일부를, 상기 범용 식별기에 포함되는 약식별기로 바꾸어, 상기 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성하는 식별기 생성수단을 갖추고 있는 구성이다.
또, 본 발명에 따른 화상 처리방법은, 카메라가 촬영한 촬영화상을 취득하는 화상 취득단계와, 상기 촬영화상으로부터 사용자가 지정한 영역을 포함하는 등록화상을 추출하는 화상 추출단계와, 상기 화상 추출단계에서 추출된 등록화상에 대하여, 전용 식별기에 의한 검출처리를 실행시키는 전용 식별기 실행단계와, 검출 결과의 우열을 나타내는 지표가 가장 높은 전용 식별기를 선택하는 전용 식별기 선택단계와, 상기 전용 식별기 선택단계에서 선택된 전용 식별기에 포함되는 약식별기의 일부를, 상기 범용 식별기에 포함되는 약식별기로 바꾸어, 상기 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성하는 식별기 생성단계를 포함한다.
따라서, 등록화상에 포함되는 대상과, 범용 식별기에 의해 검출 가능한 대상을 촬영화상으로부터 검출하는 경우, 검출처리에 걸리는 처리량 또는 처리시간을 경감할 수 있는 효과를 나타낸다.
도 1은 본 발명의 실시형태를 나타내는 것으로, 화상 처리장치의 요부 구성의 일례를 나타낸 블록도이다.
도 2는 식별기를 구성하는 약식별기의 검출처리 및 검출 결과의 일례를 나타낸 도면이다.
도 3은 식별기를 구성하는 약식별기의 검출처리 및 검출 결과의 일례를 나타낸 도면이다.
도 4는 식별기를 구성하는 약식별기의 검출처리 및 검출 결과의 일례를 나타낸 도면이다.
도 5는 식별기를 구성하는 약식별기의 검출처리 및 검출 결과의 일례를 나타낸 도면이다.
도 6은 상기 화상 처리장치가 실행하는 등록화상 식별기를 생성하는 식별기 생성처리의 일례를 나타내는 플로우 차트이다.
본 발명의 한 실시형태에 대해서 도 1 내지 도 6에 근거하여 설명하면 하기와 같다.
[화상 처리장치의 구성]
본 발명에 따른 화상 처리장치는, 화상 위에서의 소정의 대상을 검출하는 것이다. 화상 처리장치가 검출하는 대상을 검출대상이라 칭한다. 여기에서, 검출대상이란, 화상 위의 임의의 유형물이고, 예를 들어, 인간의 전신, 얼굴, 눈, 코, 입, 손, 팔 또는 다리 등, 또는 개, 고양이, 새 등의 동물의 전신 또는 얼굴 등, 또는 자동차, 바이크 등의 차체 전체 또는 타이어 등, 또는 빌딩, 가옥 등의 건조물 등, 또는 나무, 구름, 태양 등의 자연물 등이다.
화상 처리장치는, 화상 위에서의 검출대상을 검출하는 것이면 무엇이라도 좋고, 예를 들어, 디지털 카메라, 디지털 비디오카메라, PC, 휴대전화기, PDA(Personal Digital Assistant), 게임기, 사진을 촬영하여 인쇄하는 장치, 화상을 편집하는 장치 등이면 된다.
본 발명에 따른 화상 처리장치는, 입력된 화상으로부터 검출대상을 검출하는 식별기를 갖춘다. 식별기에 입력되는 화상을 입력화상이라 칭한다.
식별기는, 하나 또는 복수의 약식별기로 이루어진다. 식별기를 구성하는 약식별기는, 입력화상 내의 소정의 영역에서의 하나 또는 복수의 특징량이 소정의 기준범위 내인지 아닌지를 판정하여, 그 특징량이 소정의 기준범위 내인 영역을 출력한다. 환언하면, 약식별기는, 입력화상 내의 소정의 영역에 검출대상이 포함되어 있는지 아닌지를 판정하여, 검출대상이 포함되어 있다고 판정한 영역을 출력한다. 또한, 약식별기가 영역으로부터 추출하는 특징량은 임의로 된다. 예를 들어, 휘도값, 엣지정보, 주파수 특성(Gabor, Haar 등), 휘도 구배 특징량(SIFT, HOG 등) 또는 그들의 조합을 특징량으로 해도 좋다.
또, 각 약식별기는, 처리를 실행하는 순서가 설정되어 있어, 다음 단의 약식별기는 전단의 약식별기가 출력하는 출력영역 내의 소정의 영역에 대하여 검출처리를 실행한다. 또한, 초단(初段)의 약식별기는, 식별기에 입력된 입력화상(의 전체영역)에 대하여 검출처리를 실행한다. 또, 마지막 단의 약식별기가 출력하는 출력영역이 식별기의 출력이다. 또한, 전단의 약식별기가 출력하는 출력영역이 없는 경우, 이후의 약식별기는 검출처리를 실행하지 않는다.
여기에서, 약식별기의 검출처리 순서를 계층이라 칭한다. 예를 들어, 식별기에서, 7번째에 검출처리를 실행하는 약식별기는 계층 7의 약식별기라 한다.
식별기의 검출처리에 대해서, 도 2∼도 5에 근거하여 보다 구체적으로 설명한다. 도 2∼도 5는, 식별기를 구성하는 약식별기의 검출처리 및 검출 결과의 일례를 나타낸 도면이다. 도 2∼도 5에 나타낸 식별기는, 10개의 약식별기(L1∼L10)로 이루어지는 것으로 한다. 또, 도 2∼도 5에 나타낸 식별기는, 개를 검출하는 개 식별기인 것으로 한다.
도 2에 나타낸 바와 같이, 우선 약식별기(L1)는, 식별기에 입력된 입력화상(50) 위에서, 소정의 사이즈, 형상의 영역(51)을 설정한다. 약식별기가 설정하는 영역을 처리영역(51)이라 칭한다. 약식별기(L1)는, 입력화상(50) 전체를 처리영역(51)으로 라스터 스캔하고, 스캔한 각 처리영역(51)에서의 하나 또는 복수의 특징량이 소정의 기준범위 내인지 아닌지를 각각 판정하여, 그 특징량이 소정의 기준범위 내인 처리영역(51)을 출력영역으로서 출력한다.
여기에서, 도 3에 나타낸 바와 같이, 약식별기(L1)의 검출처리 결과, 약식별기(L1)가 출력영역으로서, 출력영역(52a, 52b 및 52c)을 출력했다고 한다. 이 상태에서, 약식별기(L2)는, 출력영역(52a, 52b 및 52c)에 대하여, 각각 처리영역(51)을 라스터 스캔하여, 검출처리를 실행한다.
이어서, 약식별기(L3∼L10)의 검출처리를 실행하여, 도 4에 나타낸 바와 같이, 약식별기(L10)가 출력영역으로서, 출력영역(52d 및 52e)을 출력했다고 한다. 결국, 입력화상(50)에 대하여, 약식별기(L1∼L10)로 구성되는 개 식별기의 검출처리를 실행하면, 출력영역(52d 및 52e)이 출력으로서 얻어진다. 즉, 입력화상(50)의 출력영역(52d 및 52e)에 검출대상인 「개」가 포함된다.
또한, 도 5에 나타낸 바와 같이, 약식별기는, 크기가 다른 복수의 처리영역(51a, 51b, 51c)을 설정해도 좋다. 또, 도 2∼도 5에 나타낸 예에서는, 처리영역(51)의 형상이 사각형이지만, 이에 한정되는 것은 아니다. 예를 들어, 처리영역(51)의 형상을 원형으로 해도 좋다. 약식별기가 설정하는 처리영역의 종류 수, 및 처리영역의 사이즈 및 형상은 임의로 된다. 또, 약식별기마다 설정하는 처리영역이 달라도 좋다.
또, 본 발명에 따른 화상 처리장치는, 식별기로서, 범용 식별기와 전용 식별기를 갖춘다. 여기에서, 전용 식별기는, 범용 식별기의 검출대상을 세분화한 대상을 검출하는 것이다. 환언하면, 전용 식별기의 검출대상은, 범용 식별기의 검출대상을 소정의 구분으로 분류한 것이다. 이하에서는, 범용 식별기의 검출대상을 대분류 대상이라 칭하고, 전용 식별기의 검출대상을 소분류 대상이라 칭한다.
예를 들어, 범용 식별기의 검출대상을 「개」라고 하면, 전용 식별기의 검출대상은 개를 개 종류로 분류한 「시바견(柴犬)」, 「치와와」, 「닥스훈트」 등을 검출대상으로 해도 좋다. 이 경우, 범용 식별기는, 임의의 개 종류의 「개」를 검출할 수 있다. 그러나, 각 개 종류의 「개」의 검출률 등의 성능은, 전용 식별기에 비하면 평균적으로 높지는 않다. 또, 검출률 등은 개 종류에 따라 다르다. 한편, 전용 식별기는, 특정의 개 종류로 특화해 있기 때문에, 임의의 개 종류의 「개」를 검출할 수 없다. 그러나 전용 식별기는 검출대상인 「특정의 개 종류의 개(예를 들어, 시바견 등)」의 검출률 등의 성능은 범용 식별기에 비하면 높다.
범용 식별기와 전용 식별기의 차이는, 검출대상이 다를 뿐이다. 어느 식별기가 전용 식별기인지 아닌지는 범용 식별기에 의해 상대적으로 결정되는 것이다. 즉, 전용 식별기는 범용 식별기에 대응되어 있는 것이다.
또, 본 발명에 따른 화상 처리장치는, 적어도 하나의 범용 식별기와, 적어도 하나의 전용 식별기를 갖추고 있으면 된다. 또, 범용 식별기 및 전용 식별기를 구성하는 약식별기의 개수는 임의이고, 그리고 서로 다른 개수의 약식별기로 구성되어 있어도 좋다.
또한, 검출기는 식별기와 동일한 단어이고, 식별기를 캐스케이드라고도 칭한다. 또, 약식별기를 레이어라고도 칭한다.
계속해서, 화상 처리장치의 구성에 대해서 도 1에 근거하여 설명한다. 도 1은, 화상 처리장치(1)의 요부 구성의 일례를 나타내는 블록도이다. 도 1에 나타낸 바와 같이, 화상 처리장치(1)는 제어부(11), 기억부(12), 카메라(13), 표시부(14) 및 조작부(15)를 갖추고 있다. 또한, 화상 처리장치(1)는 다른 장치와 통신하기 위한 통신부, 음성입력부, 음성출력부 등의 부재를 갖추고 있어도 좋지만, 발명의 특징과는 관계가 없기 때문에 그 부재를 도시하지 않는다.
카메라(13)는, 화상을 촬영하는 것이다. 카메라(13)가 촬영한 화상을 촬영화상이라 칭한다. 또한, 본 실시형태가 카메라(13)를 탑재하고 있지만, 이에 한정되는 것은 아니다. 예를 들어, 카메라(13)와 화상 처리장치(1)가 별개여도 좋다. 또, 카메라(13) 대신에, 화상 제공장치여도 좋다. 화상 제공장치는, 보유하고 있는 화상 또는 취득한 화상을 다른 장치에 제공하는 장치라면 무엇이라도 좋다. 예를 들어, 화상 제공장치는, 디지털 카메라, 디지털텔레비전, PC, 휴대전화기, PDA(Personal Digital Assistant), 게임기, USB(Universal Serial Bus) 메모리 등의 기억장치 등이다.
표시부(14)는, 제어부(11)의 지시에 따라 화상을 표시하는 것이다. 표시부(14)는 제어부(11)의 지시에 따라 화상을 표시하는 것이면 되고, 예를 들어 LCD(액정디스플레이), 유기 EL 디스플레이, 플라즈마 디스플레이 등을 적용할 수 있다.
조작부(15)는, 사용자가 화상 처리장치(1)에 지시 신호를 입력하고, 화상 처리장치(1)를 조작하기 위한 것이다. 조작부(15)는 키보드, 마우스, 키패드, 조작버튼 등의 입력기기 등으로 구성되어 있는 것이어도 좋다. 또, 조작부(15)와 표시부(14)가 일체로 되어 있는 터치 패널이어도 좋다. 또, 조작부(15)는 화상 처리장치(1)와 별개의 리모트 컨트롤러 등의 원격제어장치여도 좋다.
제어부(11)는 기억부(12)로부터 일시 기억부(미도시)로 읽어 내어진 프로그램을 실행함으로써, 각종 연산을 함과 동시에, 화상 처리장치(1)가 갖춘 각 부(部)를 총괄적으로 제어하는 것이다.
본 실시형태에서는, 제어부(11)는, 기능 블록으로서, 화상 취득부(화상 취득수단)(21), 범용 식별기 실행부(22), 화상 추출부(화상 추출수단)(23), 전용 식별기 실행부(전용 식별기 실행수단)(24), 전용 식별기 선택부(전용 식별기 선택수단)(25), 식별기 생성부(식별기 생성수단)(26), 등록화상용 식별기 실행부(27) 및 표시제어부(28)를 갖춘 구성이다. 이들 제어부(11)의 각 기능 블록(21∼28)은, CPU(central processing unit)가, ROM(read only memory) 등으로 실현된 기억장치에 기억되어 있는 프로그램을 RAM(random access memory) 등으로 실현된 일시 기억부로 읽어내어 실행함으로써 실현할 수 있다.
화상 취득부(21)는, 카메라(13)로부터 촬영화상을 취득하는 것이다. 화상 취득부(21)는 취득한 촬영화상을 범용 식별기 실행부(22), 전용 식별기 실행부(24), 등록화상 식별기 실행부(27) 및 표시제어부(28)에 출력한다.
범용 식별기 실행부(22)는, 하나 또는 복수의 범용 식별기를 갖추고 있고, 화상 취득부(21)로부터 취득한 촬영화상을 입력화상으로서 범용 식별기에 입력한다. 그리고, 범용 식별기 실행부(22)는 범용 식별기에 검출처리를 실행시킨다. 범용 식별기 실행부(22)는 범용 식별기의 검출 결과를 표시제어부(28)에 출력한다.
또, 범용 식별기 실행부(22)는, 기억부(12)로부터 범용 식별기 정보를 읽어내어, 범용 식별기의 검출대상을 변경하거나, 범용 식별기를 구성하는 약식별기가 검출 시에 사용하는 특징량 및 기준범위를 변경해도 좋다.
화상 추출부(23)는, 조작부(15)에 입력된 사용자의 지시에 근거하여, 화상 취득부(21)로부터 취득한 촬영화상 상의 소정의 영역을 특정하고, 특정한 영역을 등록화상으로서 추출하는 것이다. 화상 추출부(23)는 추출한 등록화상을 전용 식별기 실행부(24)에 출력한다.
전용 식별기 실행부(24)는, 하나 또는 복수의 전용 식별기를 갖추고 있고, 화상 추출부(23)로부터 취득한 등록화상을 입력화상으로서 전용 식별기에 입력한다. 그리고, 전용 식별기 실행부(24)는 전용 식별기에 검출처리를 실행시킨다.
전용 식별기는, 검출 결과로서, 출력영역 대신에, 검출 결과의 우열을 나타내는 지표를 출력한다. 예를 들어, 전용 식별기는, 그 지표로서, 출력영역의 스코어를 출력한다. 즉, 전용 식별기의 마지막 단의 약식별기는, 출력영역의 스코어를 출력한다. 전용 식별기 실행부(24)는 전용 식별기의 검출 결과를 전용 식별기 선택부(25)에 출력한다.
여기에서, 스코어란, 출력영역에 검출대상이 포함되는 확실도를 나타내는 것이다. 예를 들어, 마지막 단의 약식별기는 스코어로서, 영역에 포함되는 대상이 검출대상과 유사한 정도를 나타내는 유사도를 출력해도 좋다.
또한, 출력영역이 없는 경우에는, 스코어를 제로로 하여 출력한다. 다만, 모든 전용 식별기의 검출 결과가 「출력영역 없음」인 경우, 검출처리를 실행한 약식별기의 계층 수를 상기 지표로서 출력해도 좋다.
또, 전용 식별기 실행부(24)는, 기억부(12)로부터 전용 식별기 정보를 읽어내어, 전용 식별기의 검출대상을 변경하거나, 전용 식별기를 구성하는 약식별기가 검출 시에 사용하는 특징량 및 기준범위를 변경해도 좋다.
전용 식별기 선택부(25)는, 전용 식별기 실행부(24)로부터 전용 식별기의 검출 결과를 취득하고, 취득한 검출 결과에 근거하여, 스코어(지표)가 가장 높은 전용 식별기를 선택하는 것이다. 전용 식별기 선택부(25)는 선택한 전용 식별기를 식별기 생성부(26)에 통지한다.
식별기 생성부(26)는, 전용 식별기 선택부(25)가 선택한 전용 식별기에 포함되는 약식별기의 일부를, 범용 식별기에 포함되는 약식별기로 바꾸어, 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성하는 것이다. 식별기 생성부(26)는 생성한 등록화상 식별기를 등록화상에 대응시켜 기억부(12)에 등록화상 식별기 정보로서 격납한다.
구체적으로는, 식별기 생성부(26)는, 등록화상에 대한 범용 식별기의 검출 결과를 범용 식별기 실행부(22)로부터 취득하여, 등록화상에 대하여 범용 식별기의 약식별기가 검출처리를 실행할 수 있었던 계층을 특정한다. 식별기 생성부(26)는, 전용 식별기 선택부(25)가 선택한 전용 식별기에 포함되는 약식별기 중, 특정한 계층까지를 범용 식별기의 약식별기로 바꾸어, 등록화상 식별기를 생성한다.
예를 들어, 범용 식별기 및 전용 식별기가 각각 10 계층의 약식별기로 구성되어 있고, 등록화상에 대하여 범용 식별기의 약식별기가 계층 7까지 검출처리를 실행할 수 있었다고 한다. 이 경우, 식별기 생성부(26)는 전용 식별기의 계층 1에서 계층 7의 약식별기를 범용 식별기의 계층 1에서 계층 7의 약식별기로 바꾼 것을 등록화상 식별기로 한다. 환언하면, 생성된 등록화상 식별기의 계층 1에서 계층 7의 약식별기는, 범용 식별기의 계층 1에서 계층 7의 약식별기이고, 생성된 등록화상 식별기의 계층 8에서 계층 10의 약식별기는 전용 식별기의 계층 8에서 계층 10의 약식별기이다.
또, 식별기 생성부(26)는, 전용 식별기 선택부(25)가 선택한 전용 식별기에 포함되는 약식별기 중, 미리 정해진 계층까지를 범용 식별기의 약식별기로 바꾸어, 등록화상 식별기를 생성해도 좋다.
예를 들어, 계층 5까지를 범용 식별기의 약식별기로 바꾸는 것이 미리 정해져 있는 것으로 한다. 이 경우, 식별기 생성부(26)는, 전용 식별기의 계층 1에서 계층 5의 약식별기를 범용 식별기의 계층 1에서 계층 5의 약식별기로 바꾼 것을 등록화상 식별기로 한다. 환언하면, 생성된 등록화상 식별기의 계층 1에서 계층 5의 약식별기는, 범용 식별기의 계층 1에서 계층 5의 약식별기이고, 생성된 등록화상 식별기의 계층 6에서 계층 10의 약식별기는 전용 식별기의 계층 6에서 계층 10의 약식별기이다.
등록화상 식별기 실행부(27)는, 기억부(12)로부터 등록화상 식별기 정보를 읽어내고, 등록화상 식별기 정보에 근거하여 등록화상 식별기를 생성한다. 등록화상 식별기 실행부(27)는, 화상 취득부(21)로부터 취득한 촬영화상을 입력화상으로서, 생성한 등록화상 식별기에 입력한다. 그리고, 등록화상 식별기 실행부(27)는 등록화상 식별기에 검출처리를 실행시킨다. 등록화상 식별기 실행부(27)는, 등록화상 식별기의 검출 결과를 표시제어부(28)에 출력한다.
표시제어부(28)는 화상 취득부(21)로부터 촬영화상을 취득하고, 취득한 촬영화상을 표시부(14)에 표시시키는 것이다. 또, 범용 식별기 실행부(22) 또는 등록화상 식별기 실행부(27)로부터 검출 결과를 취득하여, 출력영역의 화상 위의 위치를 나타내는 마커를 촬영화상에 겹쳐서 표시한다.
기억부(12)는 제어부(11)가 참조하는 프로그램이나 데이터 등을 격납하는 것으로, 예를 들어 상기 범용 식별기 정보(31), 전용 식별기 정보(32), 등록화상 식별기 정보(33) 등을 격납하고 있다.
범용 식별기 정보(31), 전용 식별기 정보(32) 및 등록화상 식별기 정보(33)는, 각각 소정의 대상을 검출하기 위한 식별기를 생성하기 위한 정보이다. 범용 식별기 정보(31), 전용 식별기 정보(32) 및 등록화상 식별기 정보(33)는, 예를 들어 식별기를 구성하는 약식별기의 개수 및 순서, 및 약식별기가 사용하는 특징량 및 기준범위 등을 나타내는 정보이다.
[등록화상 식별기의 생성처리]
계속해서, 화상 처리장치(1)가 실행하는 등록화상 식별기를 생성하는 식별기 생성처리에 대해서 도 6에 근거하여 설명한다. 도 6은, 화상 처리장치(1)가 실행하는 등록화상 식별기를 생성하는 식별기 생성처리의 일례를 나타낸 플로우 차트이다.
여기에서는, 촬영화상에 대하여 범용 식별기에 의한 검출처리를 하였지만, 사용자가 원하는 대상이 검출되지 않았기 때문에, 사용자가 원하는 대상을 포함하는 영역을 등록화상으로서 등록하는 것으로 하여 설명한다. 또, 전용 식별기 실행부(24)가 5개의 전용 식별기를 갖추고 있는 것으로 한다.
우선, 화상 취득부(21)가 카메라(13)로부터 촬영화상을 취득한다(S1). 상술한 바와 같이, 범용 식별기에 의한 검출처리를 한 결과, 사용자가 원하는 대상이 검출되지 않는다. 여기에서, 사용자가 조작부(15)를 조작하여, 촬영화상 상에서의 원하는 대상을 포함하는 영역이 지정된다. 화상 추출부(23)는, 조작부(15)에 입력된 사용자의 지시에 근거하여, 촬영화상 위의 소정의 영역을 특정하고, 특정한 영역을 등록화상으로서 추출한다(S2). 화상 추출부(23)는 추출한 등록화상을 전용 식별기 실행부(24)에 출력한다.
전용 식별기 실행부(24)는, 화상 추출부(23)로부터 취득한 등록화상을 입력화상으로서 5개의 전용 식별기에 각각 입력한다. 그리고, 전용 식별기 실행부(24)는, 각 전용 식별기에 검출처리를 실행시킨다(S3). 전용 식별기 실행부(24)는 각 전용 식별기의 출력인 스코어를 전용 식별기 선택부(25)에 출력한다.
전용 식별기 선택부(25)는, 전용 식별기 실행부(24)로부터 각 전용 식별기의 스코어를 취득하고, 5개의 전용 식별기 중에서, 출력한 스코어가 가장 높은 전용 식별기를 선택한다(S4). 전용 식별기 선택부(25)는 선택한 전용 식별기를 식별기 생성부(26)에 통지한다.
식별기 생성부(26)는, 전용 식별기 선택부(25)가 선택한 전용 식별기에 포함되는 약식별기의 일부를, 범용 식별기에 포함되는 약식별기로 바꾸어, 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성한다(S5). 식별기 생성부(26)는 생성한 등록화상 식별기를 등록화상에 대응시켜 기억부(12)에 등록화상 식별기 정보로서 격납한다(S6).
[실시예 1]
이어서, 구체적인 사례에 근거하여, 식별기 생성 처리예(실시예 1)에 대해서 설명한다.
실시예 1에서는, 촬영화상에는, 인간인 「아빠」, 「엄마」 및 「아이」, 및 애완동물인 「개」가 찍혀 있는 것으로 한다. 또, 범용 식별기로서, 인간이나 개 등의 동물의 얼굴을 검출하는 얼굴 식별기를 이용하는 것으로 한다. 촬영화상에 대하여 범용 식별기에 의한 검출 처리를 한 결과, 「아빠」, 「엄마」 및 「아이」가 검출되고, 「개」가 검출되지 않은 것으로 한다. 그 결과를 받고, 사용자가 「개」를 포함하는 영역을 등록화상으로서 등록한 것으로 한다.
또, 전용 식별기로서, 「닥스훈트」, 「퍼그」, 「시바견」, 「치와와」, 「파피용」을 각각 검출대상으로 하는 5개의 식별기를 이용하는 것으로 한다. 게다가, 상기의 「개」의 개 종류는 시바견인 것으로 한다.
게다가, 범용 식별기 및 전용 식별기는 10 계층의 약식별기로 구성되어 있는 것으로 한다. 그리고, 등록화상 식별기에 사용하는 범용 식별기의 약식별기는, 미리 계층 1에서 계층 5까지로 정해져 있는 것으로 한다.
이 경우에, 전용 식별기 실행부(24)가 등록화상에 대하여, 각 전용 식별기를 실행한 결과, 닥스훈트 식별기, 퍼그 식별기, 시바견 식별기, 치와와 식별기 및 파피용 식별기의 스코어가 각각 「200」, 「0」, 「900」, 「0」, 「0」이 되었다.
이 결과를 받고, 전용 식별기 선택부(25)는 시바견 식별기를 선택하고, 그것을 식별기 생성부(26)에 통지한다. 식별기 생성부(26)는, 이 통지를 받고, 얼굴 식별기의 계층 1에서 계층 5의 약식별기와, 시바견 식별기의 계층 6에서 계층 10의 약식별기를 조합시켜, 등록화상 식별기를 생성한다.
[실시예 2]
이어서, 다른 식별기 생성 처리예(실시예 2)에 대해서 설명한다.
실시예 2에서는, 실시예 1과 달리, 촬영화상에 찍혀 있는 「개」의 개 종류가 도사견인 것으로 한다. 또, 등록화상 식별기에 사용하는 범용 식별기의 약식별기의 계층을, 등록화상에 대하여 범용 식별기의 약 식별기가 검출처리를 실행할 수 있었던 계층으로 한다. 그 외의 설정은, 실시예 1과 동일한 것으로 한다.
이 경우에, 전용 식별기 실행부(24)가 등록화상에 대하여, 각 전용 식별기를 실행한 결과, 어느 전용 식별기도 「출력영역 없음」이 되었다. 이때, 닥스훈트 식별기, 퍼그 식별기, 시바견 식별기, 치와와 식별기 및 파피용 식별기의 검출처리를 실행할 수 있었던 계층이, 각각 「계층 3」, 「계층 5」, 「계층 9」, 「계층 1」, 「계층 6」이었다. 전용 식별기 실행부(24)는 어느 전용 식별기도 「출력영역 없음」이 되었기 때문에, 지표로서 각 전용 식별기의 검출처리를 실행할 수 있었던 계층 수를 전용 식별기 선택부(25)에 출력하였다.
이 결과를 받고, 전용 식별기 선택부(25)는 시바견 식별기를 선택하고, 그것을 식별기 생성부(26)에 통지한다. 또, 범용 식별기 실행부(22)가 등록화상에 대하여 범용 식별기의 검출처리를 실행한 결과, 계층 5까지 검출할 수 있었다고 한다. 그리고, 범용 식별기 실행부(22)는, 그 결과를 식별기 생성부(26)에 통지한다.
여기에서, 식별기 생성부(26)는 전용 식별기인 시바견 식별기의 계층 6에서 계층 10의 약식별기를 사용해도 좋지만, 등록화상에 대하여 시바견 식별기는 계층 9까지밖에 검출처리를 실행할 수 없었기 때문에, 시바견 식별기의 계층 6에서 계층 9의 약식별기를 사용하는 것으로 한다. 즉, 식별기 생성부(26)는 상기의 통지를 받고, 얼굴 식별기의 계층 1에서 계층 5의 약식별기와, 시바견 식별기의 계층 6에서 계층 9의 약식별기를 조합시켜, 등록화상 식별기를 생성한다.
[등록화상 식별기의 검출처리]
상술한 바와 같이, 등록화상 식별기는, 범용 식별기의 약식별기와 전용 식별기의 약식별기를 조합시킨 것이다. 예를 들어, 상기 실시예 1 및 2와 같이, 등록화상 식별기는, 범용 식별기인 얼굴 식별기의 계층 1에서 계층 5의 약식별기와, 전용 식별기인 시바견 식별기의 계층 6에서 계층 10의 약식별기를 조합시킨 것이다.
여기에서, 등록화상에 포함되는 대상을 단독으로 검출하는 경우, 등록화상 식별기만을 실행시키기 때문에, 얼굴 식별기의 계층 1에서 계층 5의 약식별기와, 시바견 식별기의 계층 6에서 계층 10의 약식별기와의 합 10 계층의 약식별기를 실행한다.
한편, 촬영화상에 「아빠」, 「엄마」 및 「아이」, 및 등록화상에 포함되는 대상인 「개」가 찍혀 있는 경우, 화상 처리장치(1)는 범용 식별기 및 등록화상 식별기를 실행시킨다.
구체적으로는, 우선 촬영화상에 범용 식별기의 계층 1에서 계층 10까지의 약식별기를 실행한다. 범용 식별기로 「아빠」, 「엄마」 및 「아이」가 검출되지만, 「개」는 검출되지 않는다. 이어서, 촬영화상에 대하여 등록화상 식별기를 실행한다. 이때, 이미 촬영화상에 대하여 범용 식별기의 검출처리가 실행되고 있기 때문에, 앞의 검출 결과를 이용한다. 즉, 범용 식별기의 검출처리 시, 계층 5의 약식별기의 검출 결과를 보유해 둔다. 그리고, 등록화상 식별기를 실행할 때, 보유해 둔 검출 결과에 대하여, 등록화상 식별기의 계층 6에서 계층 10의 약식별기의 검출처리를 실행한다.
따라서, 화상 처리장치는, 범용 식별기 및 등록화상 식별기의 2개의 식별기를 실행하고 있지만, 양자의 중복하는 약식별기의 검출처리를 실행하지 않아도 되기 때문에, 검출처리의 처리량 또는 처리시간을 경감할 수 있다.
또, 복수의 등록화상 식별기를 생성하고, 양자의 약식별기가 중복한다고 한다. 이 복수의 등록화상 식별기를 실행하는 경우에도, 검출 결과를 이용함으로써, 검출처리의 처리량 또는 처리시간을 경감할 수 있다.
또, 등록화상 식별기가 범용 식별기의 약식별기를 포함하기 때문에, 범용 식별기와 전용 식별기와의 처리시간 또는 처리속도의 차이와 비교하면, 범용 식별기와 등록화상 식별기와의 처리시간 또는 처리속도의 차이 쪽이 작다. 그 때문에, 등록화상 식별기의 처리시간 또는 처리속도를 범용 식별기의 처리시간 또는 처리속도로부터 예측할 수 있다.
[보충]
본 발명은 상술한 실시형태에 한정되는 것은 아니고, 청구항에 나타낸 범위에서 각종 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜 얻어지는 실시형태에 대해서도 본 발명의 기술적 범위에 포함된다.
마지막으로, 화상 처리장치(1)의 각 블록, 특히 제어부(11)는, 하드웨어 로직에 의해 구성해도 좋고, 다음과 같이 CPU를 이용하여 소프트웨어에 의해 실현해도 좋다.
즉, 화상 처리장치(1)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU(central processing unit), 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억장치(기록매체) 등을 갖추고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 화상 처리장치(1)의 제어 프로그램의 프로그램 코드(실행형식 프로그램, 중간 코드 프로그램, 소스 프로그램)을 컴퓨터로 읽어 들일 수 있게 기록한 기록매체를, 상기 화상 처리장치(1)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록매체에 기록되어 있는 프로그램 코드를 읽어내어 실행함으로써도 달성할 수 있다.
상기 기록매체로는, 예를 들어, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함)/광 카드 등의 카드계, 또는 마스크 ROM/EPROM/EEPROM/플래쉬 ROM 등의 반도체 메모리계 등을 이용할 수 있다.
또, 화상 처리장치(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급해도 좋다. 이 통신 네트워크로는, 특별히 한정되지 않고, 예를 들어, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상전용망(virtual private network), 전화회선망, 이동체 통신망, 위성통신망 등이 이용 가능하다. 또, 통신 네트워크를 구성하는 전송매체로는, 특별히 한정되지 않고, 예를 들어, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선으로도, IrDA나 리모콘과 같은 적외선, Bluetooth(등록상표), 802.11 무선, HDR, 휴대전화망, 위성회선, 지상파 디지털망 등의 무선으로도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 포함된 컴퓨터 데이터 신호의 형태로도 실현될 수 있다.
본 발명은, 화상 위의 소정의 유형물을 검출하는 화상 처리장치에 이용할 수 있다.
1: 화상 처리장치 13: 카메라
21: 화상 취득부(화상 취득수단) 22: 범용 식별기 실행부
23: 화상 추출부(화상 추출수단)
24: 전용 식별기 실행부(전용 식별기 실행수단)
25: 전용 식별기 선택부(전용 식별기 선택수단)
26: 식별기 생성부(식별기 생성수단)
27: 등록화상 식별기 실행부

Claims (7)

  1. 소정의 대분류 대상을 검출하는 범용 식별기로서, 다음 단(次段)의 약식별기가 전단(前段)의 출력영역에 대하여 검출처리를 실행하는 약식별기를 하나 또는 복수개 갖는 범용 식별기; 및
    상기 대분류 대상을 세분화한 소분류 대상을 검출하는 전용 식별기로서, 다음 단의 약식별기가 전단의 출력영역에 대하여 검출처리를 실행하는 약식별기를 하나 또는 복수개 갖는 전용 식별기;
    를 갖는 화상 처리장치로서,
    카메라가 촬영한 촬영화상을 취득하는 화상 취득수단;
    상기 촬영화상으로부터 사용자가 지정한 영역을 포함하는 등록화상을 추출하는 화상 추출수단;
    상기 화상 추출수단이 추출한 등록화상에 대하여, 전용 식별기에 의한 검출처리를 실행시키는 전용 식별기 실행수단;
    검출결과의 우열을 나타내는 지표가 가장 높은 전용 식별기를 선택하는 전용 식별기 선택수단; 및
    상기 전용 식별기 선택수단이 선택한 전용 식별기에 포함되는 약식별기의 일부를, 상기 범용 식별기에 포함되는 약식별기 대신에, 상기 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성하는 식별기 생성수단;
    을 갖는 것을 특징으로 하는 화상 처리장치.
  2. 제1항에 있어서, 상기 식별기 생성수단은, 상기 등록화상에 대하여 상기 범용 식별기의 약식별기가 검출처리를 실행할 수 있었던 계층까지의 상기 범용 식별기의 약식별기를, 상기 전용 식별기 선택수단이 선택한 전용 식별기의 상기 계층까지의 약식별기로 바꾸어, 상기 등록화상 식별기를 생성하는 것을 특징으로 하는 화상 처리장치.
  3. 제1항에 있어서, 상기 식별기 생성수단은, 미리 정해진 계층까지의 상기 범용 식별기의 약식별기를, 상기 전용 식별기 선택수단이 선택한 전용 식별기의 상기 계층까지의 약식별기로 바꾸어, 상기 등록화상 식별기를 생성하는 것을 특징으로 하는 화상 처리장치.
  4. 제1항 내지 제3항의 어느 한 항에 있어서, 상기 전용 식별기 실행수단은, 상기 등록화상에 대하여 전용 식별기에 의한 검출처리를 실행시킨 결과, 어느 전용 식별기도 출력영역을 출력하지 않은 경우, 전용 식별기가 상기 등록화상에 대하여 검출처리를 실행할 수 있었던 계층을 상기 지표로서 출력하고,
    상기 전용 식별기 선택수단은, 계층 수가 가장 큰 전용 식별기를 선택하는 것을 특징으로 하는 화상 처리장치.
  5. 제4항에 있어서, 상기 식별기 생성수단은, 상기 전용 식별기 선택수단이 선택한 전용 식별기의 약식별기 중, 상기 등록화상에 대하여 검출처리를 실행할 수 있었던 계층까지의 상기 전용 식별기의 약식별기를 사용하여, 상기 등록화상 식별기를 생성하는 것을 특징으로 하는 화상 처리장치.
  6. 소정의 대분류 대상을 검출하는 범용 식별기로서, 다음 단의 약식별기가 전단의 출력영역에 대하여 검출처리를 실행하는 약식별기를 하나 또는 복수개 갖는 범용 식별기; 및
    상기 대분류 대상을 세분화한 소분류 대상을 검출하는 전용 식별기로서, 다음 단의 약식별기가 전단의 출력영역에 대하여 검출처리를 실행하는 약식별기를 하나 또는 복수개 갖는 전용 식별기;
    를 갖는 화상 처리장치의 화상 처리방법으로서,
    카메라가 촬영한 촬영화상을 취득하는 화상 취득단계;
    상기 촬영화상으로부터 사용자가 지정한 영역을 포함하는 등록화상을 추출하는 화상 추출단계;
    상기 화상 추출단계에서 추출된 등록화상에 대하여, 전용 식별기에 의한 검출처리를 실행시키는 전용 식별기 실행단계;
    검출 결과의 우열을 나타내는 지표가 가장 높은 전용 식별기를 선택하는 전용 식별기 선택단계; 및
    상기 전용 식별기 선택단계에서 선택된 전용 식별기에 포함되는 약식별기의 일부를, 상기 범용 식별기에 포함되는 약식별기로 바꾸어, 상기 등록화상에 포함되는 대상을 검출하기 위한 등록화상 식별기를 생성하는 식별기 생성단계;
    를 포함하는 것을 특징으로 하는 화상 처리방법.
  7. 청구항 1 내지 3의 어느 한 항에 기재된 화상 처리장치를 작동시키고, 컴퓨터를 상기 화상 처리장치의 각 수단으로서 기능시키기 위한 제어 프로그램을 기록한 컴퓨터-리더블(computer-readable) 기록매체.
KR1020130008559A 2012-03-15 2013-01-25 화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체 KR101429882B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-059388 2012-03-15
JP2012059388A JP5895629B2 (ja) 2012-03-15 2012-03-15 画像処理装置、画像処理方法、制御プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
KR20130105322A KR20130105322A (ko) 2013-09-25
KR101429882B1 true KR101429882B1 (ko) 2014-08-13

Family

ID=47842990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130008559A KR101429882B1 (ko) 2012-03-15 2013-01-25 화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체

Country Status (5)

Country Link
US (1) US9053395B2 (ko)
EP (1) EP2639746B1 (ko)
JP (1) JP5895629B2 (ko)
KR (1) KR101429882B1 (ko)
CN (1) CN103310222B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6779641B2 (ja) * 2016-03-18 2020-11-04 株式会社Spectee 画像分類装置、画像分類システム及び画像分類方法
JP7143661B2 (ja) * 2018-07-24 2022-09-29 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP7377876B2 (ja) 2019-02-01 2023-11-10 ソシエテ・デ・プロデュイ・ネスレ・エス・アー ペットフードを推奨する装置及び方法
JP7354063B2 (ja) * 2020-05-14 2023-10-02 株式会社東芝 分類システム、プログラム及び学習システム
CN111652108B (zh) * 2020-05-28 2020-12-29 中国人民解放军32802部队 抗干扰的信号识别方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689316A (ja) * 1992-01-09 1994-03-29 Nippon Steel Corp シンボル認識システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100121A (ja) 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2008204103A (ja) 2007-02-19 2008-09-04 Yokohama National Univ 画像認識システム
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
JP4891197B2 (ja) * 2007-11-01 2012-03-07 キヤノン株式会社 画像処理装置および画像処理方法
JP5361524B2 (ja) * 2009-05-11 2013-12-04 キヤノン株式会社 パターン認識システム及びパターン認識方法
JP5261312B2 (ja) * 2009-07-30 2013-08-14 富士フイルム株式会社 画像解析装置、画像解析方法およびプログラム
JP2011124819A (ja) 2009-12-11 2011-06-23 Sanyo Electric Co Ltd 電子カメラ
JP5351084B2 (ja) * 2010-03-16 2013-11-27 株式会社デンソーアイティーラボラトリ 画像認識装置及び画像認識方法
CN102184388A (zh) * 2011-05-16 2011-09-14 苏州两江科技有限公司 人脸和车辆自适应快速检测系统及检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689316A (ja) * 1992-01-09 1994-03-29 Nippon Steel Corp シンボル認識システム

Also Published As

Publication number Publication date
US20130243243A1 (en) 2013-09-19
US9053395B2 (en) 2015-06-09
JP2013196045A (ja) 2013-09-30
JP5895629B2 (ja) 2016-03-30
CN103310222B (zh) 2017-04-12
EP2639746A2 (en) 2013-09-18
EP2639746A3 (en) 2015-03-11
CN103310222A (zh) 2013-09-18
EP2639746B1 (en) 2018-07-11
KR20130105322A (ko) 2013-09-25

Similar Documents

Publication Publication Date Title
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
US8792722B2 (en) Hand gesture detection
JP2022023887A (ja) 外観検索のシステムおよび方法
US20190392587A1 (en) System for predicting articulated object feature location
US8750573B2 (en) Hand gesture detection
US8737740B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
US8626782B2 (en) Pattern identification apparatus and control method thereof
KR101429882B1 (ko) 화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체
WO2021051547A1 (zh) 暴力行为检测方法及系统
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
US20170103284A1 (en) Selecting a set of exemplar images for use in an automated image object recognition system
KR101449744B1 (ko) 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
WO2017197593A1 (en) Apparatus, method and computer program product for recovering editable slide
WO2016006090A1 (ja) 電子機器、方法及びプログラム
US10515287B2 (en) Image retrieval apparatus, computer readable medium, and method for specifying an image group and extracting a representative image
KR101413587B1 (ko) 화상처리장치, 화상처리방법, 제어 프로그램 및 기록매체
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107357424B (zh) 一种手势操作的识别方法、设备及计算机可读存储介质
US20230131717A1 (en) Search processing device, search processing method, and computer program product
JP2015187770A (ja) 画像認識装置、画像認識方法及びプログラム
CN116740596A (zh) 视频识别方法、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170720

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180719

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190722

Year of fee payment: 6