KR20110034545A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20110034545A
KR20110034545A KR1020100088731A KR20100088731A KR20110034545A KR 20110034545 A KR20110034545 A KR 20110034545A KR 1020100088731 A KR1020100088731 A KR 1020100088731A KR 20100088731 A KR20100088731 A KR 20100088731A KR 20110034545 A KR20110034545 A KR 20110034545A
Authority
KR
South Korea
Prior art keywords
image
unit
face
priority
processing method
Prior art date
Application number
KR1020100088731A
Other languages
English (en)
Other versions
KR101337060B1 (ko
Inventor
히로시 스께가와
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20110034545A publication Critical patent/KR20110034545A/ko
Application granted granted Critical
Publication of KR101337060B1 publication Critical patent/KR101337060B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Abstract

일 실시 형태에 관한 화상 처리 장치는, 화상이 입력되는 복수의 화상 입력부와, 상기 화상 입력부에 의해 입력된 화상으로부터 물체 영역을 검출하는 검출부와, 상기 얼굴 검출부에 의해 검출된 물체 영역의 화상으로부터 특징량을 추출하는 특징 추출부와, 상기 검출부에 의한 검출 결과에 기초하여, 상기 복수의 화상 입력부에 의해 입력되는 화상에 대하여 상기 검출부 및 상기 특징 추출부에 의해 행하는 처리를 제어하는 제어부를 구비한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGING PROCESSING DEVICE AND IMAGING PROCESSING METHOD}
<관련 출원>
본 출원은 일본 특허 출원 제2009-223223호(2009년 9월 28일)에 기초한 것으로서, 그 우선권을 주장하며, 그 전체 내용이 본 명세서에서 참조로서 인용된다.
본원에 개시된 실시예들은 일반적으로 화상을 촬상하고, 특징량을 산출하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
복수 지점에 설치된 복수의 카메라를 통합하여 감시를 행하는 감시 시스템이 일반적으로 실용화되어 있다. 감시원에 의한 감시를 보다 확실하게 하기 위해, 인물이 찍혀져 있는 영상을 표시하기 위한 기술이 개발되고 있다.
예를 들어, 화상 처리 장치는, 복수의 감시 카메라로부터 입력되는 영상에 대하여 우선도의 결정 방법을 미리 설정한다. 화상 처리 장치는, 설정되는 우선도의 결정 방법에 따라서 영상의 우선도를 결정한다. 화상 처리 장치는, 우선도에 따라서, 「표시를 전환함ㆍ보기 쉽게 함」, 「전송 프레임 레이트ㆍ부호화 방법을 바꿈」, 「전송하는 영상ㆍ카메라의 선택」, 「영상 기록의 우선도를 바꿈」, 「카메라를 PTZ 제어함」 등의 처리를 행한다.
예를 들어, 일본의 특허문헌인 일본 특허 공개 제2005-347942호 공보에는, 복수개의 카메라에 대하여 특정 물체의 계수를 행한 결과에 따라서, 카메라의 감시 장소ㆍ화질ㆍ기록의 유무ㆍ기록 화질ㆍ모니터 표시 화상ㆍ모니터 표시 크기ㆍ감시 전용 내지 계수 전용의 모드를 전환하는 화상 처리 장치가 기재되어 있다. 이 화상 처리 장치는, 감시 카메라에 의해 촬상한 영상을 감시원에 대하여 표시하고, 감시원에 의한 육안 확인을 행하는 영상을 효율적으로 전송하여, 표시하고, 기록한다.
또한, 예를 들어 일본의 특허문헌인 일본 특허 공개 제2007-156541호 공보에는, 감시 영상에 대하여 화상 처리를 행하여 자동적으로 소정의 이벤트를 검지하는 화상 처리 시스템이 기재되어 있다. 이 화상 처리 시스템은, 1개의 카메라로 촬상하는 영상 중에 복수의 인물이 찍혀져 있는 경우, 인식 대상이 되는 인물의 통행 속도, 통행 인원수, 각 통행자와의 거리, 대조 개시로부터의 경과 시간 등의 정보에 기초하여, 화상 처리에 걸릴 수 있는 부하의 정도를 판정한다. 화상 처리 시스템은, 판정한 부하 정도에 따라서 처리의 정밀도 및 검색 대상 인물의 정보를 제어한다.
일본 특허 공개 제2005-347942호 공보에 기재되어 있는 방법은, 감시원에 대하여 표시하는 영상을 제어하는 구성이다. 그러나, 인물의 감시를 자동 인식에 의해 행하는 구성을 실현할 수 없다고 하는 문제가 있다. 또한, 복수의 카메라를 카메라의 대수보다 적은 화상 처리 장치에 접속하는 경우, 영상의 내용에 따라서는 인식 처리가 따라가지 못할 가능성이 있다. 이 때문에, 고성능의 화상 처리 장치를 준비하거나, 혹은 다수의 처리 장치를 준비할 필요가 있다. 이 결과, 시스템의 가격이 높아지게 되고, 장치의 크기에 의해 설치 공간이 부족하다고 하는 문제가 있다.
또한, 일본 특허 공개 제2007-156541호 공보에 기재되어 있는 방법은, 하나의 영상을 효율적으로 처리하기 위한 구성이며, 복수의 카메라에 의해 촬상한 영상에 대하여 처리를 행하는 구성이 아니다. 이 때문에, 복수의 카메라의 영상을 통합적으로 감시하지 못한다고 하는 문제가 있다.
본 발명의 과제는, 상기 종래 기술을 감안하여 이루어진 것으로, 일반적으로 화상을 촬상하고, 특징량을 산출하는 화상 처리 장치 및 화상 처리 방법을 제공하는 데에 있다.
첨부 도면을 참조하여, 본 발명에 관한 다양한 실시예에 대해서 설명한다. 일반적으로, 본 발명의 일 실시예에 따르면, 화상 처리 장치는, 화상이 입력되는 복수의 화상 입력부와, 상기 화상 입력부에 의해 입력된 화상으로부터 물체 영역을 검출하는 검출부와, 상기 얼굴 검출부에 의해 검출된 물체 영역의 화상으로부터 특징량을 추출하는 특징 추출부와, 상기 검출부에 의한 검출 결과에 기초하여, 상기 복수의 화상 입력부에 의해 입력되는 화상에 대하여 상기 검출부 및 상기 특징 추출부에 의해 행하는 처리를 제어하는 제어부를 구비한다.
도 1은, 제1 실시 형태에 관한 화상 처리 장치의 구성의 예에 대하여 설명하기 위한 블록도.
도 2의 (A)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상의 예에 대하여 설명하기 위한 설명도.
도 2의 (B)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상의 예에 대하여 설명하기 위한 설명도.
도 2의 (C)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상의 예에 대하여 설명하기 위한 설명도.
도 2의 (D)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상의 예에 대하여 설명하기 위한 설명도.
도 3의 (A)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 3의 (B)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 3의 (C)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 4의 (A)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 4의 (B)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 4의 (C)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 5의 (A)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 5의 (B)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 5의 (C)는, 도 1에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
도 6은, 제2 실시 형태에 관한 화상 처리 장치의 구성의 예에 대하여 설명하기 위한 블록도.
도 7은, 도 6에 도시하는 카메라에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도.
이하, 도면을 참조하면서, 제1 실시 형태에 관한 화상 처리 장치 및 화상 처리 방법에 대하여 상세하게 설명한다.
도 1은, 제1 실시 형태에 관한 화상 처리 장치(100)의 구성예에 대하여 설명하기 위한 블록도이다.
화상 처리 장치(100)는, 예를 들어 통행을 허가하는 인물을 제한하는 통행 제어 장치 등에 조립되고 있다고 가정한다. 화상 처리 장치(100)는, 특정한 인물만이 통행을 허가받는 장소, 예를 들어 빌딩 및 기업의 건물 등의 출입구, 혹은 오락 시설 및 교통 기관 등의 게이트 등에 설치된다고 상정된다.
또한, 화상 처리 장치(100)는, 취득한 얼굴 화상으로부터 얻은 특징 정보와 미리 등록 정보로서 등록되어 있는 특징 정보를 대조하여, 특징 정보가 일치하는 인물이 적어도 1명 존재하는지의 여부를 판정하는 구성이라고 가정한다.
도 1에 도시한 바와 같이, 화상 처리 장치(100)는, 얼굴 검출부(111, 112 및 113)(일반적으로 얼굴 검출부(114)라고 칭함), 특징 추출부(116, 117 및 118)(일반적으로 특징 추출부(119)라고 칭함), 처리 방법 제어부(120), 인식부(130), 등록 얼굴 특징 관리부(140) 및 출력부(150)를 구비한다.
또한, 통로(101)에 카메라(106), 통로(102)에 카메라(107), 통로(103)에 카메라(108)가 각각 설치되어 있다. 카메라(106, 107 및 108)(일반적으로 카메라(109)라고 칭함)는, 얼굴 검출부(111), 얼굴 검출부(112), 얼굴 검출부(113)에 각각 접속된다. 또한, 얼굴 검출부(114)에 접속되는 카메라는 몇대라도 좋다.
카메라(109)는, 화상 입력부로서 기능한다. 카메라(109)는, 예를 들어 industrial television(ITV) 카메라 등에 의해 구성된다. 카메라(109)는, 소정 범위의 동화상(복수매의 연속 화상)을 촬상한다. 이에 의해, 카메라(109)는, 보행자의 얼굴을 포함하는 화상을 촬상한다. 카메라(109)는, 촬상한 화상을 도시하지 않은 A/D 변환기에 의해 디지털 변환하고, 순차적으로 얼굴 검출부(114)에 송신한다. 또한, 카메라(109)에 통행자의 속도를 측정하는 수단을 병설하여도 된다.
얼굴 검출부(114)는, 입력 화상으로부터 얼굴을 검출한다. 특징 추출부(119)는, 얼굴 검출부(114)에 의해 검출된 얼굴 영역마다 특징 정보를 추출한다.
처리 방법 제어부(120)는, 입력된 영상에 대한 각종 처리 결과의 내용에 따라서, 인식 처리의 방법, 및 얼굴 검출부(114)에 의한 얼굴 검출 처리의 방법을 제어한다. 처리 방법 제어부(120)는, 제어부로서 기능한다.
등록 얼굴 특징 관리부(140)는, 미리 인식 대상이 되는 인물의 얼굴의 특징을 등록하여 관리한다. 인식부(130)는, 통행자 M을 촬상한 화상으로부터 특징 추출부(119)에 의해 추출한 얼굴 특징과, 등록 얼굴 특징 관리부(140)에 등록되어 있는 얼굴 특징을 비교하여, 통행자 M이 누구인지를 판정한다.
등록 얼굴 특징 기억부(140)는, 개인의 식별 정보를 키로서 인물의 얼굴의 특징 정보를 등록 정보로서 기억하고 있다. 즉, 등록 얼굴 특징 기억부(140)는, 식별 정보와 얼굴 특징 정보를 대응시켜 기억한다. 또한, 등록 얼굴 특징 기억부(140)는, 하나의 식별 정보와 복수의 얼굴 특징 정보를 대응시켜 기억하여도 된다. 촬영한 화상에 기초하여 인물의 인식을 행하는 경우, 화상 처리 장치(100)는, 복수의 얼굴 특징 정보를 인식에 이용하도록 하여도 된다. 또한, 등록 얼굴 특징 기억부(140)는, 화상 처리 장치(100)의 외부에 설치되어도 된다.
출력부(150)는, 인식부(130)에 의한 인식 결과에 따라서, 인식 결과를 출력한다. 또한, 출력부(150)는, 인식 결과에 따라서, 본 장치(100)에 접속되는 외부 기기에의 제어 신호, 음성 및 화상 등을 출력한다.
얼굴 검출부(114)는, 카메라(109)로부터 입력되는 화상 내에 있어서, 인물의 얼굴이 찍혀 있는 영역(얼굴 영역)을 검출한다. 즉, 얼굴 검출부(114)는, 카메라(109)의 촬영 범위 내를 이동하는 통행자 M의 얼굴의 화상(얼굴 화상) 및 위치를 입력 화상에 기초하여 검출한다.
얼굴 검출부(114)는, 예를 들어 입력 화상에 있어서, 미리 준비된 템플릿을 이동시키면서 상관값을 구함으로써, 얼굴 영역을 검출한다. 여기에서는, 얼굴 검출부(114)는, 가장 높은 상관값이 산출된 위치를 얼굴 영역으로서 검출한다.
얼굴 영역을 검출하는 방법은, 다양한 방법이 있다. 본 실시 형태에 관한 화상 처리 장치(100)는, 예를 들어 고유 공간법 또는 부분 공간법 등의 다른 얼굴 영역을 검출하기 위한 방법을 이용하여도 실현할 수 있다.
또한, 화상 처리 장치(100)는, 검출된 얼굴 영역으로부터, 예를 들어 눈, 코 및 입 등의 얼굴의 부위의 위치를 검출할 수도 있다. 구체적으로는, 예를 들어 문헌 [1] [후꾸이 가즈히로, 야마구찌 오사무: 「형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출」, 전자 정보 통신 학회 논문지(D), vol.J80-D-II, No.8, pp2170-2177(1997년)], 문헌 [2] [유아사 마유미, 나까지마 사에꼬: 「고정밀 얼굴 특징점 검출에 기초하는 디지털 메이크 시스템」 제10회 화상 센싱 심포지엄 예고집, pp219-224(2004)] 등에 개시되어 있는 방법에 의해 실현 가능하다.
또한, 본 실시 형태에서는, 얼굴 화상을 사용하여 인증을 행하는 구성을 예로 들어 설명하지만, 본 발명은 이 구성에 한정되지 않는다. 예를 들어, 홍채, 망막 및 눈의 화상을 사용하여 인증을 행하는 구성이어도 된다. 이 경우, 화상 처리 장치(100)는, 화상 중의 눈의 영역을 검출하고, 카메라를 줌하여, 눈의 화상을 확대하여 취득할 수 있다.
어느 경우에도, 화상 처리 장치(100)는, 2차원으로 화소가 복수 배열된 화상으로서 취급할 수 있는 정보를 취득한다.
1매의 입력 화상으로부터 하나의 얼굴을 추출하는 경우, 화상 처리 장치(100)는, 화상 전체에 대하여 템플릿과의 상관값을 구하여, 최대가 되는 위치 및 크기를 얼굴 영역으로서 검출한다.
1매의 입력 화상으로부터 복수의 얼굴을 추출하는 경우, 화상 처리 장치(100)는, 화상 전체에 대한 상관값의 국소 최대값을 구하고, 1매의 화상 내에서의 중첩을 고려하여 얼굴의 후보 위치를 좁힌다. 또한, 화상 처리 장치(100)는, 연속해서 입력된 과거의 화상과의 관계성(시간적인 추이)도 고려하여 복수의 얼굴 영역을 동시에 검출한다.
또한, 본 실시 형태에서는, 화상 처리 장치(100)는, 인물의 얼굴 영역의 검출을 행하는 것을 예로서 설명하고 있지만, 이것에 한정되지 않는다. 예를 들어, 화상 처리 장치(100)는, 인물 영역의 검출을 행할 수도 있다. 예를 들어, 문헌 [3] [마쯔히라 노부히또, 오가와 히데끼, 요시미 스구루: 「사람과 공존하는 생활 지원 로봇」 도시바 리뷰 Vol.60 No.7, pp112-115(2005)]에 개시되어 있는 기술을 이용함으로써, 화상 처리 장치(100)는, 인물 영역의 검출을 행하는 것이 가능해진다.
또한, 카메라(109)는, 화상을 연속해서 취득하고, 1프레임씩 얼굴 검출부(114)에 송신한다. 얼굴 검출부(114)는, 화상이 입력될 때마다 순차적으로 얼굴 영역을 검출한다.
여기서 검출된 정보로부터, 각각의 인물 M의 얼굴의 위치(좌표), 얼굴의 크기, 얼굴의 이동 속도, 몇개의 얼굴이 보이고 있는지와 같은 정보가 취득 가능하다.
또한, 얼굴 검출부(114)는, 화상 전체의 프레임간의 차분을 계산함으로써, 예를 들어 화면 전체 중의 움직임이 있는 장소의 화소수(면적)를 계산할 수 있다. 이에 의해, 전술한 얼굴 검출을 그 변동 영역 부근을 우선적으로 처리함으로써 고속화가 가능해진다. 또한, 인물이나 얼굴 검출이 불가능한 인물이 보행하고 있는 경우에, 이 면적이 많아지는 것, 인물 이외의 동체의 양을 추측할 수 있다.
얼굴 검출부(114)는, 검출한 얼굴 영역, 혹은 얼굴의 파트 위치에 기초하여 화상을 일정한 크기, 형상으로 잘라낸다. 얼굴 검출부(114)는, 예를 들어 입력 화상으로부터 얼굴 영역(m 픽셀×n 픽셀의 영역의 화상)을 잘라낸다. 얼굴 검출부(114)는, 잘라낸 화상을 특징 추출부(119)에 송신한다.
특징 추출부(119)는, 잘라낸 화상의 농담 정보를 특징량으로서 추출한다. 여기에서는 m 픽셀×n 픽셀의 영역의 화상의 농담의 값이 그대로 농담 정보로서 이용된다. 즉, m×n 픽셀의 차원의 정보를 특징 벡터로서 사용한다. 인식부(130)는, 단순 유사도법에 의해 복수의 화상의 유사도를 산출한다. 즉, 인식부(130)는, 벡터와 벡터의 길이를 각각 「1」로 하도록 단순 유사도법에 의해 정규화를 행한다. 인식부(130)는, 내적(inner product)을 계산함으로써, 복수의 특징 벡터간의 유사성을 나타내는 유사도를 산출한다. 카메라(109)에 의해 취득한 화상이 1매인 경우, 상기한 처리에 의해 화상의 특징을 추출할 수 있다.
또한, 인식 결과를 출력하기 위해, 복수의 연속된 화상에 의해 구성되는 동화상을 사용함으로써, 화상 처리 장치(100)는, 보다 정밀도가 높은 인식 처리를 행할 수 있다. 이 때문에, 본 실시 형태에서는, 동화상을 사용한 인식 처리를 예로 들어 설명을 행한다.
동화상을 사용한 인식 처리를 행하는 경우, 카메라(109)는, 촬영 영역을 연속해서 촬영한다. 얼굴 검출부(114)는, 카메라(109)에 의해 촬영된 연속된 복수의 화상으로부터, 얼굴 영역의 화상(m×n 픽셀의 화상)을 각각 잘라낸다. 인식부(130)는, 잘라낸 복수의 얼굴 영역의 화상의 특징 벡터를 각 화상마다 취득한다. 인식부(130)는, 취득한 화상마다의 특징 벡터로부터 상관 행렬을 구한다.
인식부(130)는, 특징 벡터의 상관 행렬로부터, 예를 들어 Karhunen-Loeve 전개(KL 전개) 등에 의해 정규 직교 벡터를 구한다. 이에 의해, 인식부(130)는, 연속된 화상에 있어서, 얼굴의 특징을 나타내는 부분 공간을 산출하고, 특정할 수 있다.
부분 공간을 산출하는 경우, 인식부(130)는, 특징 벡터의 상관 행렬(또는 공분산 행렬)을 구한다. 인식부(130)는, 특징 벡터의 상관 행렬을 KL 전개함으로써 정규 직교 벡터(고유 벡터)를 구한다. 이에 의해, 인식부(130)는, 부분 공간을 산출한다.
인식부(130)는, 고유값에 대응하는 고유 벡터를, 고유값이 큰 순서대로 k개 선택한다. 인식부(130)는, k개 선택한 고유 벡터의 집합을 사용하여, 부분 공간을 표현한다.
본 실시 형태에서는, 인식부(130)는, 특징 벡터에 기초하여, 상관 행렬 「Cd=ΦdΔdΦdT」를 구한다. 인식부(130)는, 상관 행렬 「Cd=ΦdΔdΦdT」와 대각화하여, 고유 벡터의 행렬 Φd를 구한다. 이 정보, 즉 행렬 Φd는, 인식 대상인 인물의 얼굴의 특징을 나타내는 부분 공간이다.
등록 얼굴 특징 기억부(140)는, 상기의 방법에 의해 계산된 부분 공간을 등록 정보로서 기억한다. 또한, 등록 얼굴 특징 기억부(140)가 기억하고 있는 특징 정보는, 예를 들어 m×n 픽셀의 특징 벡터이다. 그러나, 등록 얼굴 특징 기억부(140)가 기억하고 있는 특징 정보는, 특징의 추출이 행하여지기 전의 상태의 얼굴 화상이어도 된다. 또한, 등록 얼굴 특징 기억부(140)가 기억하고 있는 특징 정보는, 부분 공간을 나타내는 정보, 혹은 KL 전개가 행하여지기 전의 상태의 상관 행렬이어도 된다.
또한, 등록 얼굴 특징 관리부(140)에 의해 유지하는 얼굴 특징 정보는, 1명당 적어도 하나 이상이면, 몇개 유지하여도 된다. 즉, 등록 얼굴 특징 기억부(140)는, 얼굴 특징 정보를 1명당 복수 유지하고 있는 경우, 상황에 따라 인식에 사용하는 얼굴 특징 정보를 전환할 수 있다.
또한, 다른 특징 추출 방법으로서, 1매의 얼굴 화상에서 특징 정보를 구하는 방법이 있다. 예를 들어, 문헌 [4] [엘키ㆍ오야 저서, 오가와 히데미쯔, 사또 마꼬또 번역, 「패턴 인식과 부분 공간법」, 산업 도서, 1986년] 및 문헌 [5] [도시바(고자까야 다쯔오): 「화상 인식 장치, 방법 및 프로그램」 특허 공보 일본 특허 공개 제2007-4767호] 등에 개시되어 있는 방법을 이용함으로써 실현 가능하다.
문헌 [4]에는, 부분 공간법에 의해 미리 복수의 얼굴 화상으로부터 작성한 등록 정보로서의 부분 공간에의 사영에 의해 인물을 인식하는 방법이 기재되어 있다. 문헌 [4]에 기재되어 있는 방법을 이용하는 경우, 인식부(130)는, 1매의 화상을 사용하여 인물의 인식을 행할 수 있다.
문헌 [5]에는, 1매의 화상에 대하여 모델을 이용하여, 예를 들어 얼굴의 방향 및 상태 등을 의도적으로 변화시킨 화상(섭동 화상)을 작성하는 방법이 기재되어 있다. 이 경우, 얼굴의 방향 및 상태 등이 다른 복수의 섭동 화상을 사용하여, 인물의 인식을 행할 수 있다.
인식부(130)는, 특징 추출부(119)에 의해 얻어진 입력 부분 공간과, 등록 얼굴 특징 관리부(140)에 미리 등록되는 하나 또는 복수의 부분 공간과의 유사도를 비교한다. 이에 의해, 인식부(130)는, 미리 등록된 인물이 현재의 화상 중에 있는지의 여부를 판정할 수 있다.
인식 처리는, 예를 들어 문헌 [6] [마에다 겐이찌, 와따나베 사다까즈: 「국소적 구조를 도입한 패턴ㆍ매칭법」 전자 정보 통신 학회 논문지(D), vol. J68-D, No.3, pp345-352(1985)] 등에 개시되어 있는 상호 부분 공간법을 이용함으로써 실현 가능하다.
이 방법에서는, 미리 기억되어 있는 등록 정보 중의 인식 데이터와, 입력되는 데이터가 부분 공간으로서 표현된다. 즉, 상호 부분 공간법은, 미리 등록 얼굴 특징 기억부(140)에 기억되어 있는 얼굴 특징 정보와, 카메라(109)에 의해 촬영된 화상에 기초하여 작성된 특징 정보를 부분 공간으로서 특정한다. 이 방법에서는, 이 2개의 부분 공간에 의해 형성되는 「각도」가 유사도로서 산출된다.
여기에서는, 입력되는 화상에 기초하여 산출된 부분 공간을 입력 부분 공간이라고 칭하여 설명한다. 인식부(130)는, 입력 데이터열(카메라(109)에 의해 촬영된 화상)에 기초하여 상관 행렬 「Cin=ΦinΔinΦinT」를 구한다.
인식부(130)는, 상관 행렬 「Cin=ΦinΔinΦinT」와 대각화를 행하여, 고유 벡터 Φin을 구한다. 인식부(130)는, Φin에 의해 특정되는 부분 공간과, Φd에 의해 특정되는 부분 공간에서 유사도를 산출한다. 즉, 인식부(130)는, 2개의 부분 공간간의 유사도(0.0 내지 1.0)를 구한다.
입력 화상 내에 복수의 얼굴 영역이 존재하는 경우, 인식부(130)는, 각 얼굴 영역에 대하여 순차적으로 인식의 처리를 행한다. 즉, 인식부(130)는, 등록 얼굴 특징 기억부(140)에 보존되어 있는 특징 정보(등록 정보)와, 얼굴 영역의 화상에서 유사도를 전원당 계산한다. 이에 의해, 인식부(130)는, 입력 화상 내의 모든 인물에 대하여 인식 처리의 결과를 얻을 수 있다. 예를 들어, X인의 인물이 Y인분의 사전을 기억하고 있는 본 장치를 향하여 걸어 온 경우, 인식부(130)는, 인식의 처리, 즉 유사도의 계산을 X×Y회 행한다. 이에 의해, 인식부(130)는, X인 중 전원에 대하여 인식 처리의 결과를 출력할 수 있다.
등록 얼굴 특징 기억부(140)에 보존되어 있는 등록 정보와 일치하는 화상이 입력된 복수의 화상 중에 발견되지 않은 경우, 즉 인식부(130)에 의한 인식의 결과가 출력되지 않은 경우, 인식부(130)는, 다음에 카메라(109)에 의해 촬영되는 화상(다음의 프레임의 화상)에 기초하여 다시 인식의 처리를 행한다.
이 경우, 인식부(130)는, 부분 공간에 입력되는 상관 행렬, 즉 1개의 프레임에 관한 상관 행렬을, 과거의 복수의 프레임에 관한 상관 행렬의 합에 추가한다. 인식부(130)는, 다시 고유 벡터의 계산을 행한다. 인식부(130)는, 다시 부분 공간의 작성을 행한다. 이에 의해, 인식부(130)는, 입력 화상에 관한 부분 공간의 갱신을 행한다.
보행하는 인물의 얼굴 화상을 연속해서 촬영하여 대조를 행하는 경우, 인식부(130)는, 순차적으로 부분 공간의 갱신을 행한다. 즉, 인식부(130)는, 화상이 입력될 때마다 인식의 처리를 행한다. 이에 의해, 대조의 정밀도가, 촬영한 화상의 매수에 따라서 서서히 높아진다.
도 1에 도시한 바와 같이, 화상 처리 장치(100)에 복수의 카메라가 접속되어 있는 경우, 화상 처리 장치(100)에서의 전체의 처리의 부하가 높아지기 쉽다. 예를 들어, 통행 인원수가 많은 경우, 얼굴 검출부(114)는, 복수의 얼굴 영역을 검출한다. 특징 추출부(119)는, 검출된 얼굴 영역의 특징 추출을 행한다. 또한, 인식부(130)는, 추출된 특징량에 따라서 인식 처리를 행한다.
특징 추출 처리 및 인식 처리에 있어서 발생하는 지연을 방지하기 위해서는, 보다 처리 속도가 빠른 방법으로 처리를 행할 필요가 있다. 또한, 통행 인원수가 적은 경우에 처리 속도가 느려 정밀도가 높은 처리를 행할 필요가 있다.
처리 방법 제어부(120)는, 입력된 영상에 대한 각종 처리 결과의 내용에 따라서, 인식 처리의 방법, 및 얼굴 검출부(114)에 의한 얼굴 검출 처리의 방법을 제어한다.
또한, 화상 처리 장치(100)에 복수의 카메라가 접속되어 있기 때문에, 각 카메라로부터 입력되는 화상에 대한 처리를, 처리의 부하에 따라서 CPU의 할당 시간을 제어할 필요가 있다. 즉, 처리 방법 제어부(120)는, 보다 부하가 높은 화상에 대하여 우선적으로 CPU의 할당 시간을 높게 한다.
처리 방법 제어부(120)는, 카메라(109)로부터 입력되는 화상에 있어서 검출된 얼굴 영역의 위치(좌표), 얼굴 영역의 크기, 얼굴 영역의 이동 속도, 얼굴 영역의 수 및 움직임이 있는 화소의 수 등의 정보 중 적어도 하나에 기초하여, 입력 화상에 대한 처리의 우선도를 각 입력 화상마다 설정한다.
우선, 처리 방법 제어부(120)는, 각 입력 화상마다 검출된 얼굴 영역의 수 「N」을 특정한다. 이 경우, 처리 방법 제어부(120)는, 얼굴 영역이 검출되어 있지 않은 화상보다, 얼굴 영역이 많이 검출된 화상의 우선도를 높게 설정한다. 예를 들어, 처리 방법 제어부(120)는, 검출된 얼굴 영역의 수에 비례한 우선도를 할당한다.
또한, 처리 방법 제어부(120)는, 얼굴 영역의 위치 「L1」을 특정한다. 처리 방법 제어부(120)는, 카메라(109)의 설치 화각에 따라서, 얼굴이 곧바로 화상 내에서 사라질지 그렇지 않을지를 추정한다. 예를 들어, 감시 카메라와 같이 인물보다 높은 위치로부터 촬영하고 있는 카메라로부터 입력되는 화상에 있어서, 인물이 카메라의 방향으로 이동하는 경우, 얼굴 영역의 Y 좌표가 커진다. 이 때문에, 처리 방법 제어부(120)는, Y 좌표가 클수록 화면 내에 인물이 찍혀 있는 나머지 시간이 적다고 추정하고, 우선도를 높게 설정한다.
또한, 얼굴 영역의 위치가 0 또는 화상의 횡축의 최대값에 가까운 좌표에 존재하는 경우, 인물이 화면 내에 찍혀 있는 나머지 시간이 적다고 추정한다. 처리 방법 제어부(120)는, 보다 화상의 가로 단부에 가까운 위치에 얼굴 영역이 존재하는 화상에 대한 우선도를 높게 설정한다. 또한, 입력 수단으로서 거리 센서를 사용하는 경우, 거리 센서의 측정 결과에 따라서 우선도를 설정하여도 된다.
또한, 처리 방법 제어부(120)는, 인물의 이동 속도 「V」를 특정한다. 즉, 처리 방법 제어부(120)는, 복수의 프레임간에서의 얼굴 영역의 위치의 변화에 기초하여 인물의 이동 속도를 산출한다. 처리 방법 제어부(120)는, 보다 이동 속도가 높은 얼굴 영역이 존재하는 화상에 대하여 높은 우선도를 설정한다.
또한, 처리 방법 제어부(120)는, 검출한 얼굴 영역의 인물의 종류 「P」를 특정한다. 특정하는 종류는, 예를 들어 인물의 성별, 연령, 신장 및 복장 등이다. 미리 높은 우선도로 처리해야 할 인물의 종류를 설정함으로써, 처리 방법 제어부(120)는, 각 화상에 대하여 우선도를 설정한다.
처리 방법 제어부(120)는, 얼굴의 특징 정보와의 유사도 판정의 방법에 의해 인물의 성별 및 연령을 특정한다. 또한, 처리 방법 제어부(120)는, 복수의 남성의 얼굴, 여성의 얼굴 또는 연령층별의 얼굴 정보를 각각 혼재한 특징 정보를 학습시켜 사전을 작성함으로써, 입력된 화상의 얼굴 영역의 인물이 남성과 여성 중 어느 쪽에 가까운지, 및 어느 연령층별의 사전에 가까운지를 특정한다.
또한, 처리 방법 제어부(120)는, 연속하는 프레임간의 차분 등으로부터 인물의 변동 영역의 개략 설명한 직사각형을 산출하고, 그 높이와 얼굴의 좌표로부터 해당하는 인물의 신장을 특정할 수 있다. 또한, 처리 방법 제어부(120)는, 인물의 몸 전체의 인물 영역 내의 화상 정보에 기초하여 복장마다 분류한다. 또한, 처리 방법 제어부(120)는, 「검정 옷」, 「흰 옷」 등을 휘도의 정보의 히스토그램에 기초하여 특정할 수 있다.
또한, 처리 방법 제어부(120)는, 화상 내의 변동 영역의 크기 「S」를 특정한다. 처리 방법 제어부(120)는, 연속하는 프레임간에서의 차분을 산출하고, 차분이 존재하는 영역에 있어서 라벨링 처리를 행함으로써, 화면 전체의 이동 물체의 크기를 특정할 수 있다.
인물이 이동하고 있는 경우, 처리 방법 제어부(120)는, 인물 전체의 영역을 변동 영역이라고 특정한다. 또한, 차나 식목 등이 움직이고 있는 경우, 처리 방법 제어부(120)는, 움직이고 있는 차 및 식목을 변동 영역으로서 특정한다. 또한, 처리 방법 제어부(120)는, 화면 전체에 변동하고 있는 영역이 많은 경우, 인물이 화상에 찍힐 가능성이 높거나, 또는 어떠한 이벤트가 발생하기 쉬운 상황이라고 판단하고, 우선도를 높게 설정한다.
또한, 처리 방법 제어부(120)는, 화상 내의 변동 영역의 위치 「L2」를 특정한다. 처리 방법 제어부(120)는, 화상 내의 변동 영역의 크기 「S」와 복수의 프레임간의 차분과 라벨링 처리에 의해 특정하는 변동 영역의 무게 중심의 위치에 기초하여, 변동 영역의 위치를 특정한다. 즉, 처리 방법 제어부(120)는, 화면으로부터 사라질 때까지의 시간이 짧은 순서대로 우선도를 높게 설정한다.
처리 방법 제어부(120)는, 상기한 방법에 의해 특정한 얼굴 영역의 수 「N」, 얼굴 영역의 위치 「L1」, 인물의 이동 속도 「V」, 인물의 종류 「P」, 변동 영역의 크기 「S」 및 변동 영역의 위치 「L2」에 기초하여, 종합적으로 각 카메라(106, 107 및 108)로부터 입력되는 화상에 대하여 우선도를 설정한다.
예를 들어, 처리 방법 제어부(120)는, 하기 수학식 1에 의해 각 입력 화상마다의 우선도를 설정한다.
<수학식 1>
Figure pat00001
또한, K1 내지 K6은, 각 항째의 가중치를 변경하기 위한 계수이다. 이 우선도가 높은 값일 수록, 높은 처리 속도가 요구된다.
이어서, 우선도에 따른 처리 방법의 제어에 대하여 설명한다.
도 2는, 카메라(109)로부터 입력되는 화상의 예에 대하여 설명하기 위한 설명도이다. 도 2의 (A)는, 화면 전체의 변동량이 큰 예에 대하여 도시하는 도면이다. 도 2의 (B)는, 얼굴 영역이 카메라(109)에 가까운 예에 대하여 도시하는 도면이다. 도 2의 (C)는, 얼굴 영역의 이동 속도가 높은 예에 대하여 도시하는 도면이다. 도 2의 (D)는, 검출된 얼굴 영역의 수가 많은 예에 대하여 도시하는 도면이다.
처리 방법 제어부(120)는, 각 카메라(109)로부터 입력되는 화상에 대하여, 상기의 수학식 1에 의해 우선도를 산출한다. 처리 방법 제어부(120)는, 산출한 우선도의 값을 각 화상마다 비교하여, 우선해서 처리를 행하는 화상을 결정한다.
예를 들어, 도 2의 (A) 내지 (D)에 도시하는 화상이 동시에 입력되는 경우, 처리 방법 제어부(120)는, 각 화상마다 우선도를 산출한다.
예를 들어, 얼굴 영역의 검출수 「N」이 많은 케이스의 우선도를 높이는 경우, 처리 방법 제어부(120)는, K1의 값을 가장 큰 값으로 설정한다. 이 경우, 처리 방법 제어부(120)는, 도 2의 (D)의 화상을 가장 우선해서 처리해야 할 화상이라고 판정한다. 처리 방법 제어부(120)는, 나머지 도 2의 (A), 도 2의 (B) 및 도 2의 (C)의 화상을 동일한 우선도로 처리를 행한다.
또한, 예를 들어 얼굴 영역의 이동 속도 「V」가 큰 케이스의 우선도를 높이는 경우, 처리 방법 제어부(120)는, K3의 값을 가장 큰 값으로 설정한다. 이 경우, 처리 방법 제어부(120)는, 도 2의 (C)의 화상을 가장 우선해서 처리해야 할 화상이라고 판정한다. 처리 방법 제어부(120)는, 나머지 도 2의 (A), 도 2의 (B) 및 도 2의 (D)의 화상을 동일한 우선도로 처리를 행한다.
또한, 예를 들어 얼굴 영역의 위치 「L1」을 중시하는 경우, 처리 방법 제어부(120)는, K2의 값을 가장 큰 값으로 설정한다. 이 경우, 처리 방법 제어부(120)는, 도 2의 (B)의 화상을 가장 우선해서 처리해야 할 화상이라고 판정한다. 처리 방법 제어부(120)는, 나머지 도 2의 (A), 도 2의 (C) 및 도 2의 (D)의 화상을 동일한 우선도로 처리를 행한다.
또한, 예를 들어 화상 전체의 변동 영역 「S」를 중시하는 경우, 처리 방법 제어부(120)는, K5의 값을 가장 큰 값으로 설정한다. 이 경우, 처리 방법 제어부(120)는, 도 2의 (A)의 화상을 가장 우선해서 처리해야 할 화상이라고 판정한다. 처리 방법 제어부(120)는, 나머지 도 2의 (B), 도 2의 (C) 및 도 2의 (D)의 화상을 동일한 우선도로 처리를 행한다.
또한, 처리 방법 제어부(120)는, 상기의 방법을 조합하여 종합적으로 우선도를 판정하는 구성이어도 된다. 이 경우, 도 2의 (A) 내지 도 2의 (D)의 각 화상에 있어서 복합적인 요인에 의해 우선도를 설정할 수 있다.
처리 방법 제어부(120)는, 결정한 우선도에 따라서, 입력 화상에 대한 얼굴 검출 처리의 방법을 제어한다. 얼굴 검출부(114)는, 얼굴 검출 처리를 행하는 경우, 잘라내는 얼굴 영역의 해상도를 설정한다.
도 3은, 얼굴 검출 처리에 의해 얼굴 영역을 잘라내는 예에 대하여 설명하기 위한 설명도이다. 도 3의 (A)는, 낮은 해상도로 얼굴 영역을 잘라내는 예를 도시하는 도면이다. 도 3의 (B)는, 중간 정도의 해상도로 얼굴 영역을 잘라내는 예를 도시하는 도면이다. 도 3의 (C)는, 높은 해상도로 얼굴 영역을 잘라내는 예를 도시하는 도면이다.
예를 들어, 처리 방법 제어부(120)는, 높은 우선도를 산출한 화상으로부터 얼굴 영역을 잘라내는 경우, 도 3의 (A)에 도시하는 낮은 해상도로 얼굴 영역의 화상을 잘라내도록 얼굴 검출부(114)를 제어한다.
또한, 처리 방법 제어부(120)는, 중간 정도의 우선도를 산출한 화상으로부터 얼굴 영역을 잘라내는 경우, 도 3의 (B)에 도시하는 중간 정도의 해상도로 얼굴 영역의 화상을 잘라내도록 얼굴 검출부(114)를 제어한다.
또한, 처리 방법 제어부(120)는, 낮은 우선도를 산출한 화상으로부터 얼굴 영역을 잘라내는 경우, 도 3의 (A)에 도시하는 높은 해상도로 얼굴 영역의 화상을 잘라내도록 얼굴 검출부(114)를 제어한다.
또한, 얼굴의 파트마다 특징량을 산출하는 경우, 얼굴 검출부(114)는, 얼굴 검출 처리를 행하는 파트를 설정한다. 이 경우, 처리 방법 제어부(120)는, 결정한 우선도에 따라서, 잘라내는 얼굴의 파트의 수를 제어한다.
도 4는, 얼굴 검출 처리에 의해 얼굴 영역(파트)을 잘라내는 예에 대하여 설명하기 위한 설명도이다. 도 4의 (A)는, 적은 수의 파트를 잘라내는 예를 도시하는 도면이다. 도 4의 (B)는, 중간 정도의 수의 파트를 잘라내는 예를 도시하는 도면이다. 도 4의 (C)는, 많은 수의 파트를 잘라내는 예를 도시하는 도면이다.
예를 들어, 처리 방법 제어부(120)는, 높은 우선도를 산출한 화상으로부터 파트를 잘라내는 경우, 도 4의 (A)에 도시한 바와 같이, 소수의 파트를 잘라내도록 얼굴 검출부(114)를 제어한다.
또한, 처리 방법 제어부(120)는, 중간 정도의 우선도를 산출한 화상으로부터 파트를 잘라내는 경우, 도 4의 (B)에 도시한 바와 같이, 중간 정도의 수의 파트를 잘라내도록 얼굴 검출부(114)를 제어한다.
또한, 처리 방법 제어부(120)는, 낮은 우선도를 산출한 화상으로부터 파트를 잘라내는 경우, 도 4의 (C)에 도시한 바와 같이, 다수의 파트를 잘라내도록 얼굴 검출부(114)를 제어한다.
이에 의해, 화상 처리 장치(100)는, 요구되는 처리 속도에 따라서 얼굴 검출 처리의 종류를 전환할 수 있다.
즉, 우선도가 높다고 판정한 경우, 화상 처리 장치(100)는, 처리 시간을 단축하는 것을 우선적으로 행한다. 예를 들어, 화상 처리 장치(100)는, 정밀도를 저하시키면서 고속으로 처리하는 방향으로 파라미터를 변경하여도 된다. 반대로, 우선도가 높은 경우, 화상 처리 장치(100)는, 처리 시간을 들여도 정밀도를 높이도록 설정하여도 된다.
또한, 처리 방법 제어부(120)는 얼굴이 찍혀 있지 않은 등 우선도가 낮은 카메라(109)로부터 입력되는 화상에 대하여, 일정 프레임마다 얼굴 검출을 행하도록 얼굴 검출부(114)를 제어하여도 된다.
도 5는, 도 1에 도시하는 카메라(109)에 의해 촬상되는 화상에 대하여 행하는 얼굴 검출 처리의 예에 대하여 설명하기 위한 설명도이다. 도 5의 (A)는, 우선도가 높은 화상에 대하여 행하는 얼굴 검출 처리에 대하여 설명하기 위한 도면이다. 도 5의 (B)는, 우선도가 중간 정도인 화상에 대하여 행하는 얼굴 검출 처리에 대하여 설명하기 위한 도면이다. 도 5의 (C)는, 우선도가 낮은 화상에 대하여 행하는 얼굴 검출 처리에 대하여 설명하기 위한 도면이다.
예를 들어, 높은 우선도를 산출한 화상으로부터 얼굴 영역을 잘라내는 경우, 도 5의 (A)에 도시한 바와 같이, 처리 방법 제어부(120)는, 얼굴 검출 처리를 매 프레임 행한다. 즉, 처리 방법 제어부(120)는, 높은 우선도를 산출한 화상을 입력한 카메라(109)에 의해 촬상되는 다음 이후의 프레임의 화상에 대한 얼굴 검출 처리의 빈도를 높게 설정한다.
또한, 중간 정도의 우선도를 산출한 화상으로부터 얼굴 영역을 잘라내는 경우, 도 5의 (B)에 도시한 바와 같이, 처리 방법 제어부(120)는, 얼굴 검출 처리를 2프레임당 1회 행한다. 즉, 처리 방법 제어부(120)는, 중간 정도의 우선도를 산출한 화상을 입력한 카메라(109)에 의해 촬상되는 다음 이후의 프레임의 화상에 대한 얼굴 검출 처리의 빈도를 중간 정도로 설정한다.
또한, 낮은 우선도를 산출한 화상으로부터 얼굴 영역을 잘라내는 경우, 도 5의 (C)에 도시한 바와 같이, 처리 방법 제어부(120)는, 얼굴 검출 처리를 4프레임당 1회 행한다. 즉, 처리 방법 제어부(120)는, 낮은 우선도를 산출한 화상을 입력한 카메라(109)에 의해 촬상되는 다음 이후의 프레임의 화상에 대한 얼굴 검출 처리의 빈도를 낮게 설정한다. 이에 의해, 화상 처리 장치(100)는, 부하에 따라서 처리의 정밀도를 변경하는 것이 가능해진다.
특징 추출부(119)는, 얼굴 검출부(114)에 의해 검출된 얼굴 영역(혹은 파트)마다 특징량을 산출한다. 특징 추출부(119)는, 산출한 특징량을 인식부(130)에 송신한다. 즉, 상기한 바와 같이, 화상 처리 장치(100)는, 화상의 처리의 부하를 예측하고, 얼굴 검출 처리를 행함으로써, 특징 추출부(119)에 의해 처리하는 화상의 양을 제어할 수 있다. 이 결과, 화상 처리 장치(100) 전체의 부하를 경감할 수 있다.
또한, 통상, 얼굴 검출부(114)는, 1화소 단위에서의 얼굴 검출 처리를 행한다. 예를 들어, 얼굴 검출부(114)는, 우선도가 낮은 경우에 4화소걸러 씨닝하면서 얼굴 검출 처리를 행하는 구성이어도 된다.
또한, 처리 방법 제어부(120)는, 특징 추출 처리를 행하는 경우에 우선도에 따른 해상도를 선택하도록 특징 추출부(119)를 제어하여도 된다. 예를 들어, 처리 방법 제어부(120)는, 우선도가 낮은 화상에 대하여, 낮은 해상도로 특징 추출 처리를 행하도록 특징 추출부(119)를 제어한다.
또한, 처리 방법 제어부(120)는, 특징 추출부(119)에 의한 특징 추출 처리를 제어하는 구성이어도 된다. 특징 추출부(119)는, 1매의 화상에 기초하여 특징량을 추출하는 제1 추출 처리부와, 복수매의 화상에 기초하여 특징량을 추출하는 제2 추출 처리부를 구비한다. 처리 방법 제어부(120)는, 우선도에 따라서, 제1 추출 처리부와 제2 추출 처리부를 전환하도록 특징 추출부(119)를 제어한다.
예를 들어, 처리 방법 제어부(120)는, 우선도가 낮은 화상에 대하여 제2 추출 처리부를 사용하여 특징 추출 처리를 행하고, 우선도가 높은 화상에 대하여 제1 추출 처리부를 사용하여 특징 추출 처리를 행하도록 특징 추출부(119)를 제어한다. 인식부(130)는, 특징 추출부(119)에 의해 추출된 특징량에 기초하여 인식 처리를 행한다.
또한, 처리 방법 제어부(120)는, 특징 추출 처리를 행하는 경우, 우선도가 높은 화상에 대한 특징 추출 처리를 우선적으로 행하도록, 특징 추출 처리를 행하는 순서를 교체하여도 된다. 또한, 처리 방법 제어부(120)는, 인식 처리를 행하는 경우, 우선도가 높은 화상에 대한 인식 처리를 우선적으로 행하도록, 유사도 연산을 행하는 순서를 교체하여도 된다. 이에 의해, 화상 처리 장치(100)는, 인원수가 많은 케이스, 인물이 빨리 이동하고 있는 케이스라도, 지연하지 않고 인식 결과를 출력할 수 있다.
또한, 처리 방법 제어부(120)는, 유사도 연산을 행하는 경우, 부분 공간의 면수를 우선도에 따라서 변경하도록 인식부(130)를 제어한다. 이에 의해, 유사도 연산의 처리 시간과 정밀도의 밸런스를 조정할 수 있다. 면수는, 상호 부분 공간법에 있어서 유사도를 계산할 때에 사용하는 벡터의 수를 나타내는 정보이다. 즉, 면수를 늘림으로써, 인식 처리의 정밀도를 높일 수 있다. 또한, 면수를 줄임으로써, 인식 처리의 부하를 줄일 수 있다.
출력부(150)는, 인식부(130)에 의한 인식 결과에 따라서, 인식 결과를 출력한다. 또한, 출력부(150)는, 인식 결과에 따라서, 본 장치(100)에 접속되는 외부 기기에의 제어 신호, 음성 및 화상 등을 출력한다.
예를 들어, 출력부(150)는, 입력된 화상의 특징 정보와, 등록 얼굴 특징 관리부(140)에 기억되는 얼굴 특징 정보를 출력한다. 이 경우, 출력부(150)는, 입력된 화상의 특징 정보와 유사도가 높은 얼굴 특징 정보를 등록 얼굴 특징 관리부(140)로부터 추출하여 출력한다. 또한, 출력부(150)는, 추출해서 결과에 유사도를 부여하여 출력하여도 된다. 또한, 출력부(150)는, 유사도가 미리 설정되는 소정값을 초과하는 경우에 경보를 울리기 위한 제어 신호를 출력하여도 된다.
상기한 바와 같이, 본 실시 형태의 화상 처리 장치(100)는, 입력되는 화상에 기초하여 각 화상마다 우선도를 설정한다. 화상 처리 장치(100)는, 설정한 우선도에 따라서, 얼굴 검출부(114)에 의한 얼굴 검출 처리의 해상도, 얼굴 검출 처리의 빈도 및 검출하는 얼굴의 파트의 수 등을 제어한다. 이에 의해, 예를 들어 처리의 부하가 크다고 생각되는 화상에 대하여 부하가 적은 처리 방법을 선택할 수 있다. 이 결과, 보다 효율적으로 감시를 행하기 위한 화상 처리를 행할 수 있는 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.
또한, 상기의 실시 형태에서는, 얼굴 검출부(114)와 특징 추출부(119)를 나누어 설명하였지만, 얼굴 검출부(114)가 특징 추출부(119)의 기능을 포함하는 구성이어도 된다. 이 경우, 얼굴 검출부(114)는, 화상으로부터 얼굴 영역을 검출함과 동시에, 검출한 얼굴 영역의 특징량을 산출한다. 또한, 인식부(130)가 특징 추출부(119)의 기능을 포함하는 구성이어도 된다. 이 경우, 얼굴 검출부(114)는, 인식부(130)에 대하여 잘라낸 얼굴 화상을 송신한다. 인식부(130)는, 얼굴 검출부(114)로부터 수신하는 얼굴 화상으로부터 특징량을 산출하여, 인식 처리를 행한다.
이어서, 제2 실시 형태에 관한 화상 처리 장치 및 화상 처리 방법에 대하여 상세하게 설명한다.
도 6은, 제2 실시 형태에 관한 화상 처리 장치(200)의 구성예에 대하여 설명하기 위한 블록도이다.
도 6에 도시한 바와 같이, 화상 처리 장치(200)는, 부 제어부(261, 262 및 263)(일반적으로 부 제어부(264)라고 칭함)와, 주 제어부(270)를 구비한다.
부 제어부(261)는, 얼굴 검출부(211)와 특징 추출부(216)를 구비한다. 부 제어부(262)는, 얼굴 검출부(212)와 특징 추출부(217)를 구비한다. 부 제어부(263)는, 얼굴 검출부(213)와 특징 추출부(218)를 구비한다. 또한, 얼굴 검출부(211, 212 및 213)를 일반적으로 얼굴 검출부(214)라고 칭한다. 또한, 특징 추출부(216, 217 및 218)를 일반적으로 특징 추출부(219)라고 칭한다.
주 제어부(270)는, 접속 방법 제어부(220), 인식부(230), 등록 얼굴 특징 관리부(240) 및 출력부(250)를 구비한다.
또한, 얼굴 검출부(214)는, 제1 실시 형태에서의 얼굴 검출부(114)와 마찬가지의 얼굴 검출 처리를 행한다. 또한, 특징 추출부(219)는, 제1 실시 형태에서의 특징 추출부(119)와 마찬가지의 특징 추출 처리를 행한다. 또한, 인식부(230)는, 제1 실시 형태에서의 인식부(130)와 마찬가지의 인식 처리를 행한다.
도 6에 도시한 바와 같이, 통로(201)에 카메라(206), 통로(202)에 카메라(207), 통로(203)에 카메라(208)가 각각 설치되어 있다. 카메라(206, 207 및 208)(일반적으로 카메라(209)라고 칭함)는, 부 제어부(264)에 접속된다. 즉, 카메라(206)는, 부 제어부(261, 262 및 263)에 접속된다. 또한, 카메라(207)는, 부 제어부(261, 262 및 263)에 접속된다. 또한, 카메라(208)는, 부 제어부(261, 262 및 263)에 접속된다.
즉, 각 카메라(209)는, 예를 들어 HUB 또는 LAN 등에 의해 각각 복수의 부 제어부(264)에 접속된다.
카메라(209)는, 부 제어부(264)의 제어에 기초하여, 촬상한 화상의 출력처를 각 부 제어부(264)에서 전환한다. 이 때문에, 카메라(209)는, NTSC 방식을 이용함으로써, 각 카메라(209)와 각 부 제어부(264)의 접속을 적절히 전환할 수 있다. 또한, 예를 들어 카메라(209)가 네트워크 카메라에 의해 구성되는 경우, 부 제어부(264)는, 카메라의 IP 어드레스를 지정함으로써, 원하는 카메라(209)로부터 화상을 입력시킬 수 있다. 또한, 각 부 제어부(264)에 접속되는 카메라(209)는 몇대라도 좋다.
부 제어부(264)는, 예를 들어 CPU, RAM, ROM 및 불휘발성 메모리 등의 구성을 구비하고 있다. CPU는, 부 제어부(264)에 의해 행하여지는 제어를 담당하는 것이다. CPU는, ROM 혹은 불휘발성 메모리에 기억되어 있는 제어 프로그램이나 제어 데이터에 기초하여 동작함으로써, 다양한 처리 수단으로서 기능한다.
RAM은, CPU의 워킹 메모리로서 기능하는 휘발성의 메모리이다. 즉, RAM은, CPU가 처리 중인 데이터 등을 임시 보관하는 기억 수단으로서 기능한다. 또한, RAM은, 입력부로부터 수신한 데이터를 임시 보관한다. ROM은, 미리 제어용의 프로그램이나 제어 데이터 등이 기억되어 있는 불휘발성의 메모리이다.
불휘발성 메모리는, 예를 들어 EEPROM 혹은 HDD 등의, 데이터의 기입 및 재기입이 가능한 기억 매체에 의해 구성된다. 불휘발성 메모리에는, 당해 화상 처리 장치(100)의 운용 용도에 따라서 제어 프로그램이나 다양한 데이터가 기입된다.
또한, 부 제어부(264)는, 카메라(209)로부터 화상을 수신하기 위한 인터페이스를 구비한다. 또한, 부 제어부(264)는, 주 제어부(270)와 데이터의 송수신을 행하기 위한 인터페이스를 구비한다.
또한, 주 제어부(270)도 부 제어부(264)와 마찬가지로, CPU, RAM, ROM 및 불휘발성 메모리 등의 구성을 구비하고 있다. 또한, 주 제어부(270)는, 부 제어부(264)와 데이터의 송수신을 행하기 위한 인터페이스를 구비한다.
본 실시 형태의 화상 처리 장치(200)는, 복수 설치된 감시 카메라로부터 특정한 인물을 검출하는 경우, 각 부 제어부(264)로부터 수신하는 데이터를 통합하여 확인하기 위해, 클라이언트 서버 형식의 구성을 갖는다. 이에 의해, 각 카메라(209)에 의해 촬상된 화상으로부터 검출된 얼굴 영역의 화상 및 특징량이 서버인 주 제어부(270)에 입력된다. 이 결과, 주 제어부(270)는, 검출된 얼굴 화상의 인물이, 등록 얼굴 특징 관리부(240)에 등록되어 있는 인물인지의 여부를 판정한다.
접속 방법 제어부(220)는, 카메라(209)에 의해 촬상되는 화상에 대한 얼굴 검출 처리의 결과에 따라서, 각 부 제어부(264)와 각 카메라(209)의 접속을 전환하도록 제어한다. 접속 방법 제어부(220)는, 제어부로서 기능한다.
접속 방법 제어부(220)는, 제1 실시 형태의 처리 방법 제어부(120)와 마찬가지의 방법에 의해, 각 카메라(209)에 의해 촬상되는 화상마다의 우선도를 설정한다. 즉, 접속 방법 제어부(220)는, 각 화상마다 설정한 우선도에 따라서, 각 부 제어부(264)와 각 카메라(209)의 접속을 전환한다.
도 7은, 도 6에 도시하는 접속 방법 제어부(220)의 처리에 대하여 설명하기 위한 설명도이다. 화상(271)은, 카메라(206)에 의해 촬상되는 화상이다. 화상(272)은, 카메라(207)에 의해 촬상되는 화상이다. 화상(273)은, 카메라(208)에 의해 촬상되는 화상이다. 화상(271)에서는 얼굴 영역이 4개 검출되고 있다. 화상(272)에서는 얼굴 영역이 1개 검출되고 있다. 화상(273)에서는 얼굴 영역이 검출되고 있지 않다.
이 때문에, 접속 방법 제어부(220)는, 카메라(206)에 의해 촬상한 화상(271)의 우선도가 가장 높고, 다음에 카메라(207)에 의해 촬상한 화상(272)의 우선도가 높다고 판정한다. 또한, 접속 방법 제어부(220)는, 카메라(208)에 의해 촬상한 화상의 우선도가 가장 낮다고 판정한다.
이 경우, 접속 방법 제어부(220)는, 가장 우선도가 높은 카메라(206)에 의해 촬상되는 화상(271)을, 복수의 부 제어부(264)에 입력하도록 카메라(209)와 부 제어부(264)의 접속 방법을 제어한다. 도 7에 도시하는 예에서는, 접속 방법 제어부(220)는, 카메라(206)에 의해 촬상되는 화상(271)을 부 제어부(261)와 부 제어부(263)에 입력한다.
또한, 이 경우, 부 제어부(261)의 얼굴 검출부(211)와, 부 제어부(263)의 얼굴 검출부(213)는, 1프레임마다 교대로 처리를 행한다. 또한, 부 제어부(261)의 얼굴 검출부(211)와, 부 제어부(263)의 얼굴 검출부(213)에서 화상(271)의 영역을 분할하여 처리를 행하는 구성이어도 된다.
또한, 접속 방법 제어부(220)는, 전 프레임에 있어서 얼굴 영역을 검출하지 않은 카메라(208)로부터의 화상(273)을, 소정 간격으로 부 제어부(264)에 입력하도록 제어한다. 이에 의해, 부 제어부(264)는, 카메라(208)에 의해 촬상되는 화상에 대하여, 예를 들어 4프레임당 1회 등의 빈도로 얼굴 검출 처리를 행한다.
상기한 바와 같이, 본 실시 형태의 화상 처리 장치(200)는, 입력되는 화상에 기초하여 각 화상마다 우선도를 설정한다. 화상 처리 장치(200)는, 설정한 우선도에 따라서, 카메라(209)와 부 제어부(264)의 접속 방법을 제어한다. 이에 의해, 예를 들어 처리의 부하가 크다고 생각되는 화상을 복수의 부 제어부(264)에 입력하여, 처리를 분담할 수 있다. 이 결과, 보다 효율적으로 감시를 행하기 위한 화상 처리를 행할 수 있는 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.
또한, 상기의 실시 형태에서는, 부 제어부(264)가 3대인 것으로 가정하여 설명하였지만, 이 구성에 한정되지 않는다. 부 제어부(264)는, 적어도 2대 이상이면, 실시 형태를 실현할 수 있다.
본 발명의 소정 실시예를 설명하였지만, 이들 실시예는 단지 예로서 제시된 것으로 발명의 범위를 제한하려는 것은 아니다. 실제로, 본 명세서에 기재된 신규의 방법 및 시스템은 다양한 다른 형태로 구현될 수 있다. 또한, 본 발명의 사상으로부터 일탈하지 않는 범위 내에서, 본 명세서에 기재된 방법 및 시스템의 형태에 있어 각종의 생략, 치환 및 변경을 행할 수 있다. 첨부하는 청구범위 및 그 균등물은, 본 발명의 범위 및 사상 내에 들어가는 이러한 형태 또는 수정을 포함시키기 위한 것이다.
100: 통과 검출 장치
111: 얼굴 검출부
112: 얼굴 검출부
113: 얼굴 검출부
116: 특징 추출부
117: 특징 추출부
118: 특징 추출부
120: 처리 방법 제어부
130: 인식부
140: 등록 얼굴 특징 관리부
150: 출력부
220: 접속 방법 제어부
270: 주 제어부

Claims (18)

  1. 화상이 입력되는 복수의 화상 입력부와,
    상기 화상 입력부에 의해 입력된 화상으로부터 물체 영역을 검출하는 검출부와,
    상기 얼굴 검출부에 의해 검출된 물체 영역의 화상으로부터 특징량을 추출하는 특징 추출부와,
    상기 검출부에 의한 검출 결과에 기초하여, 상기 복수의 화상 입력부에 의해 입력되는 화상에 대하여 상기 검출부 및 상기 특징 추출부에 의해 행하는 처리를 제어하는 제어부를 구비하는 화상 처리 장치.
  2. 제1항에 있어서, 상기 검출부는, 상기 화상 입력부에 의해 입력된 화상으로부터 얼굴 영역을 검출하고,
    상기 제어부는, 상기 검출부에 의한 검출 결과에 기초하여, 각 화상 입력부마다 우선도를 설정하고, 설정한 우선도에 따라서, 상기 복수의 화상 입력부에 의해 입력되는 화상에 대하여 상기 검출부 및 상기 특징 추출부에 의해 행하는 처리를 제어하는 화상 처리 장치.
  3. 제2항에 있어서, 상기 제어부는, 설정한 우선도에 따라서, 상기 복수의 화상 입력부에 의해 입력되는 화상에 대하여 상기 검출부 및 상기 특징 추출부에 의해 행하는 처리의 처리 방법을 제어하는 처리 방법 제어부를 구비하는 화상 처리 장치.
  4. 제2항에 있어서, 상기 검출부를 복수 구비하고,
    상기 제어부는, 설정한 우선도에 따라서, 상기 복수의 화상 입력부와 상기 복수의 검출부의 접속을 제어하는 접속 방법 제어부를 구비하는 화상 처리 장치.
  5. 제2항에 있어서, 상기 처리 방법 제어부는, 상기 얼굴 검출부에 의해 검출되는 얼굴 영역의 수에 따라서 우선도를 설정하는 화상 처리 장치.
  6. 제2항에 있어서, 상기 처리 방법 제어부는, 상기 얼굴 검출부에 의해 검출되는 얼굴 영역의 위치에 따라서 우선도를 설정하는 화상 처리 장치.
  7. 제2항에 있어서, 상기 처리 방법 제어부는, 상기 얼굴 검출부에 의해 검출되는 얼굴 영역의 복수 프레임간에서의 이동 속도에 따라서 우선도를 설정하는 화상 처리 장치.
  8. 제2항에 있어서, 상기 처리 방법 제어부는, 상기 얼굴 검출부에 의해 검출되는 얼굴 영역의 특징량에 따라서 얼굴 영역의 인물의 속성을 판단하고, 인물의 속성에 따라서 우선도를 설정하는 화상 처리 장치.
  9. 제2항에 있어서, 상기 검출부는, 상기 화상 입력부에 의해 입력된 화상으로부터 복수 프레임간에서의 변동 영역을 검출하고,
    상기 처리 방법 제어부는, 상기 얼굴 검출부에 의해 검출되는 변동 영역의 크기에 따라서 우선도를 설정하는 화상 처리 장치.
  10. 제2항에 있어서, 상기 검출부는, 상기 화상 입력부에 의해 입력된 화상으로부터 복수 프레임간에서의 변동 영역을 검출하고,
    상기 처리 방법 제어부는, 상기 얼굴 검출부에 의해 검출되는 변동 영역의 위치에 따라서 우선도를 설정하는 화상 처리 장치.
  11. 제3항에 있어서, 상기 처리 방법 제어부는, 설정한 우선도에 따라서, 상기 검출부에 의해 검출하는 얼굴 영역의 화상의 해상도를 제어하는 화상 처리 장치.
  12. 제3항에 있어서, 상기 검출부는, 얼굴 영역으로서 얼굴의 파트 영역을 검출하고,
    상기 처리 방법 제어부는, 설정한 우선도에 따라서, 상기 검출부에 의해 검출하는 얼굴의 파트 수를 제어하는 화상 처리 장치.
  13. 제3항에 있어서, 상기 처리 방법 제어부는, 설정한 우선도에 따라서, 상기 검출부에 의해 얼굴 영역을 검출하는 빈도를 제어하는 화상 처리 장치.
  14. 제3항에 있어서, 상기 특징 추출부는,
    1매의 화상으로부터 특징량을 추출하는 제1 추출부와,
    복수매의 화상으로부터 특징량을 추출하는 제2 추출부를 구비하고,
    상기 처리 방법 제어부는, 설정한 우선도에 따라서, 상기 제1 추출부와 상기 제2 추출부를 전환하는 것을 특징으로 하는 화상 처리 장치.
  15. 제4항에 있어서, 상기 접속 방법 제어부는, 우선도가 높은 화상 입력부에 의해 촬상한 화상을 복수의 검출부에 입력하도록 제어하는 화상 처리 장치.
  16. 제2항에 있어서, 미리 얼굴 특징 정보를 기억하는 등록 얼굴 특징 기억부와,
    상기 특징 추출부에 의해 추출된 특징량과, 상기 등록 얼굴 특징 기억부에 기억되는 얼굴 특징 정보를 비교하여, 상기 얼굴 영역의 인물이 미리 등록된 인물인지의 여부를 판정하는 인식부를 더 구비하는 화상 처리 장치.
  17. 화상이 입력되는 화상 입력부를 복수 구비하는 화상 처리 장치에 사용되는 화상 처리 방법으로서,
    상기 화상 입력부로부터 입력되는 화상으로부터 물체 영역을 검출하고,
    상기 검출된 물체 영역의 화상으로부터 특징량을 추출하고,
    상기 물체 영역의 검출 결과에 기초하여, 상기 복수의 화상 입력부에 의해 입력되는 화상에 대하여 행하는 검출 처리와 특징 추출 처리를 제어하는, 화상 처리 방법.
  18. 제17항에 있어서, 상기 검출 처리는, 상기 화상 입력부에 의해 입력된 화상으로부터 얼굴 영역을 검출하고,
    상기 검출 처리에 의한 검출 결과에 기초하여, 각 화상 입력부마다 우선도를 설정하고, 설정한 우선도에 따라서, 상기 복수의 화상 입력부에 의해 입력되는 화상에 대하여 행하는 검출 처리와 특징 추출 처리를 제어하는, 화상 처리 방법.
KR1020100088731A 2009-09-28 2010-09-10 화상 처리 장치 및 화상 처리 방법 KR101337060B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-223223 2009-09-28
JP2009223223A JP5390322B2 (ja) 2009-09-28 2009-09-28 画像処理装置、及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20110034545A true KR20110034545A (ko) 2011-04-05
KR101337060B1 KR101337060B1 (ko) 2013-12-05

Family

ID=43779929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100088731A KR101337060B1 (ko) 2009-09-28 2010-09-10 화상 처리 장치 및 화상 처리 방법

Country Status (5)

Country Link
US (1) US20110074970A1 (ko)
JP (1) JP5390322B2 (ko)
KR (1) KR101337060B1 (ko)
MX (1) MX2010010391A (ko)
TW (1) TWI430186B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271483B1 (ko) * 2011-06-17 2013-06-05 한국항공대학교산학협력단 사용자 인식기능을 이용하는 지능형 양방향 광고 단말기
KR20190038137A (ko) * 2017-09-29 2019-04-08 에스케이텔레콤 주식회사 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147874B2 (ja) * 2010-02-10 2013-02-20 日立オートモティブシステムズ株式会社 車載画像処理装置
JPWO2012140834A1 (ja) * 2011-04-11 2014-07-28 日本電気株式会社 情報処理装置
JP5777389B2 (ja) * 2011-04-20 2015-09-09 キヤノン株式会社 画像処理装置、画像処理システム及び画像処理方法
JP5740210B2 (ja) 2011-06-06 2015-06-24 株式会社東芝 顔画像検索システム、及び顔画像検索方法
JP5793353B2 (ja) * 2011-06-20 2015-10-14 株式会社東芝 顔画像検索システム、及び顔画像検索方法
JP2013055424A (ja) * 2011-09-01 2013-03-21 Sony Corp 撮影装置、パターン検出装置、および電子機器
KR101381439B1 (ko) 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
JP2013143749A (ja) * 2012-01-12 2013-07-22 Toshiba Corp 電子機器および電子機器の制御方法
WO2013121711A1 (ja) * 2012-02-15 2013-08-22 日本電気株式会社 解析処理装置
CN103324904A (zh) * 2012-03-20 2013-09-25 凹凸电子（武汉）有限公司 人脸识别系统及其方法
JP5930808B2 (ja) * 2012-04-04 2016-06-08 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US9313344B2 (en) * 2012-06-01 2016-04-12 Blackberry Limited Methods and apparatus for use in mapping identified visual features of visual images to location areas
JP5925068B2 (ja) * 2012-06-22 2016-05-25 キヤノン株式会社 映像処理装置、映像処理方法、およびプログラム
US9767347B2 (en) 2013-02-05 2017-09-19 Nec Corporation Analysis processing system
TW201435809A (zh) * 2013-03-12 2014-09-16 Lite On Semiconductor Corp 節省功耗的移動偵測方法及移動偵測系統
JP2014203407A (ja) * 2013-04-09 2014-10-27 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
JP6219101B2 (ja) * 2013-08-29 2017-10-25 株式会社日立製作所 映像監視システム、映像監視方法、映像監視システム構築方法
JP6347125B2 (ja) * 2014-03-24 2018-06-27 大日本印刷株式会社 属性判別装置、属性判別システム、属性判別方法及び属性判別用プログラム
JP2015211233A (ja) * 2014-04-23 2015-11-24 キヤノン株式会社 画像処理装置および画像処理装置の制御方法
JP6301759B2 (ja) * 2014-07-07 2018-03-28 東芝テック株式会社 顔識別装置及びプログラム
CN105430255A (zh) * 2014-09-16 2016-03-23 精工爱普生株式会社 图像处理装置以及机器人系统
CN104573652B (zh) * 2015-01-04 2017-12-22 华为技术有限公司 确定人脸图像中人脸的身份标识的方法、装置和终端
JP2017017624A (ja) * 2015-07-03 2017-01-19 ソニー株式会社 撮像素子、画像処理方法、および電子機器
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
JP2019087114A (ja) * 2017-11-09 2019-06-06 富士ゼロックス株式会社 ロボット制御システム
CN108182407A (zh) * 2017-12-29 2018-06-19 佛山市幻云科技有限公司 远程监护方法、装置及服务器
WO2020194735A1 (ja) 2019-03-28 2020-10-01 日本電気株式会社 情報処理装置、サーバ割当装置、方法、及びコンピュータ可読媒体
CN111815827A (zh) * 2019-04-11 2020-10-23 北京百度网讯科技有限公司 游乐项目闸机的控制方法及装置
JP7417455B2 (ja) * 2020-03-27 2024-01-18 キヤノン株式会社 電子機器及びその制御方法、プログラム
EP3975119A1 (en) * 2020-08-27 2022-03-30 Canon Kabushiki Kaisha Device, information processing apparatus, control method therefor, and program
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6538689B1 (en) * 1998-10-26 2003-03-25 Yu Wen Chang Multi-residence monitoring using centralized image content processing
JP2002074338A (ja) * 2000-08-29 2002-03-15 Toshiba Corp 画像処理システム
US7346186B2 (en) * 2001-01-30 2008-03-18 Nice Systems Ltd Video and audio content analysis system
CA2390621C (en) * 2002-06-13 2012-12-11 Silent Witness Enterprises Ltd. Internet video surveillance camera system and method
US7450638B2 (en) * 2003-07-21 2008-11-11 Sony Corporation Power-line communication based surveillance system
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
JP2007156541A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 人物認識装置、人物認識方法および入退場管理システム
US7646922B2 (en) * 2005-12-30 2010-01-12 Honeywell International Inc. Object classification in video images
US8064651B2 (en) * 2006-02-15 2011-11-22 Kabushiki Kaisha Toshiba Biometric determination of group membership of recognized individuals
JP4847165B2 (ja) * 2006-03-09 2011-12-28 株式会社日立製作所 映像記録再生方法及び映像記録再生装置
KR101001060B1 (ko) * 2006-03-15 2010-12-14 오므론 가부시키가이샤 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체
JP2007334623A (ja) * 2006-06-15 2007-12-27 Toshiba Corp 顔認証装置、顔認証方法、および入退場管理装置
WO2008001877A1 (fr) * 2006-06-29 2008-01-03 Nikon Corporation Dispositif et système de reproduction et téléviseur
JP4594945B2 (ja) * 2007-02-13 2010-12-08 株式会社東芝 人物検索装置および人物検索方法
US8427552B2 (en) * 2008-03-03 2013-04-23 Videoiq, Inc. Extending the operational lifetime of a hard-disk drive used in video data storage applications

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271483B1 (ko) * 2011-06-17 2013-06-05 한국항공대학교산학협력단 사용자 인식기능을 이용하는 지능형 양방향 광고 단말기
KR20190038137A (ko) * 2017-09-29 2019-04-08 에스케이텔레콤 주식회사 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치

Also Published As

Publication number Publication date
JP5390322B2 (ja) 2014-01-15
TW201137767A (en) 2011-11-01
TWI430186B (zh) 2014-03-11
KR101337060B1 (ko) 2013-12-05
US20110074970A1 (en) 2011-03-31
JP2011070576A (ja) 2011-04-07
MX2010010391A (es) 2011-03-28

Similar Documents

Publication Publication Date Title
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR101390591B1 (ko) 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법
JP6555906B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11023707B2 (en) System and method for selecting a part of a video image for a face detection operation
JP5740210B2 (ja) 顔画像検索システム、及び顔画像検索方法
JP5992276B2 (ja) 人物認識装置、及び方法
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
KR20150021526A (ko) 데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
GB2343945A (en) Photographing or recognising a face
US10762372B2 (en) Image processing apparatus and control method therefor
EP3139308A1 (en) People search system and people search method
JP2007148988A (ja) 顔認証装置、顔認証方法および入退場管理装置
EP2309454A2 (en) Apparatus and method for detecting motion
JP6779410B2 (ja) 映像解析装置、映像解析方法、及びプログラム
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
JP6503079B2 (ja) 特定人物検知システム、特定人物検知方法および検知装置
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
KR20090023218A (ko) 촬영 장치 및 촬영 방법
JP4021873B2 (ja) 顔画像監視システム
JP5865584B2 (ja) 特定人物検知システムおよび検知方法
JP2009044526A (ja) 撮影装置、撮影方法、人物認識装置および人物認識方法
JP6266088B2 (ja) 人物検出装置および人物検出方法
JP6762754B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019029747A (ja) 画像監視システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 5