KR20110097589A - 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치 - Google Patents

화상 처리 장치, 화상 처리 방법 및 공조 제어 장치 Download PDF

Info

Publication number
KR20110097589A
KR20110097589A KR1020100087342A KR20100087342A KR20110097589A KR 20110097589 A KR20110097589 A KR 20110097589A KR 1020100087342 A KR1020100087342 A KR 1020100087342A KR 20100087342 A KR20100087342 A KR 20100087342A KR 20110097589 A KR20110097589 A KR 20110097589A
Authority
KR
South Korea
Prior art keywords
information
image information
cumulative
unit
difference image
Prior art date
Application number
KR1020100087342A
Other languages
English (en)
Other versions
KR101127493B1 (ko
Inventor
가즈미 나가타
다카아키 에노하라
겐지 바바
슈헤이 노다
노부타카 니시무라
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20110097589A publication Critical patent/KR20110097589A/ko
Application granted granted Critical
Publication of KR101127493B1 publication Critical patent/KR101127493B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Air Conditioning Control Device (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 처리 대상을 촬영하는 카메라 장치에 접속된 화상 처리 장치는 화상 정보 취득부와, 누적 차분 화상 정보 생성부와, 특징량 정보 생성부와, 행동 내용 식별부를 구비한다. 화상 정보 취득부는 카메라 장치로부터 처리 대상을 촬영한 화상 정보를 순차 취득한다. 누적 차분 화상 정보 생성부는 화상 정보 취득부에서 취득한 화상 정보의 경시적 변화에 의거하여, 재실자의 움직임에 의한 소정 기간의 차분 정보를 누적하고, 다치의 누적 차분 화상 정보를 생성한다. 특징량 정보 생성부는 누적 차분 화상 정보 생성부에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역으로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성한다. 행동 내용 식별부는 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별한다.

Description

화상 처리 장치, 화상 처리 방법 및 공조 제어 장치{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND AIR CONDITIONING CONTROL APPARATUS}
본 발명의 실시 형태는 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치에 관한 것이다.
건물의 실내 공간에서는, 공조 제어에 의해 적정한 실내 환경을 가능한 한 적은 에너지 소비에 의해 확보하는 것이 요구되고 있다. 적정한 실내 온열(溫熱) 환경을 확보할 때, 인간이 느끼는 더위나 추위의 온열 감각을 고려하는 것이 중요하다.
인간의 발열량(대류(對流)에 의한 방사량, 복사(輻射)에 의한 방열량, 사람으로부터의 증발 열량, 호흡에 의한 방열량 및 축열량의 합계)의 열평형이 유지되어 있을 경우에는, 인체가 열적으로 중립의 상태에 있어, 온열 감각은 덥지도 춥지도 않은 쾌적한 상태라고 할 수 있다. 반대로, 열평형이 무너졌을 경우에는, 인체가 더위나 추위를 느낀다.
열평형식에 의거하는 인간의 온열 감각 지표로서, PMV(Predicted Mean Vote: 예측 평균 신고)를 이용하여, 공조 제어의 최적화를 도모하는 공조 제어 시스템이 있다. PMV를 이용한 공조 제어 시스템에서는, 온열 감각에 영향을 주는 변수로서, 공기 온도값, 상대 습도값, 평균 복사 온도값, 기류 속도값, 활동 상태(인체의 내부 발열량)값, 착의(着衣) 상태값의 6개를 입력해서 PMV값을 산출하고 있다.
이 6개의 입력 변수 중 양호한 정밀도로 계측이 가능한 것은 공기 온도값, 상대 습도값, 기류 속도값이다. 활동 상태값이나 착의량값은 직접 계측하는 것이 곤란하기 때문에, 통상은 설정값이 이용된다. 그러나, 활동 상태값이나 착의량값에 관해서도 양호한 정밀도로, 리얼 타임으로 계측하는 것이 요청되고 있다.
따라서, 실내의 재실자의 활동량을 계측하기 위한 기술로서, 특허 문헌 1에 기재된 인체 활동량 산출 장치가 있다.
특허 문헌 1에 기재된 인체 활동량 산출 장치에서는, 촬상(撮像) 수단에 의해 실내의 인체를 촬영하고, 그 화상 정보로부터 인체의 두정부(頭頂部)의 형상(궁형(弓形))을 검출함으로써 인체 부분을 검출하고, 이 인체 부분의 이동 속도 등에 의거하여 그 재실자의 활동량을 산출한다. 이 때문에, 인체에 대해 비접촉으로 활동량을 얻을 수 있고, 이에 의해 양호한 정밀도의 공조 제어를 행할 수 있다.
일본국 특개평8-178390호 공보
그러나, 상기의 특허 문헌 1에 기재된 인체 활동량 산출 장치에서는, 촬영된 화상 정보로부터의 두정부의 검출에 실패하면, 인체 부분을 검출할 수 없고, 활동량의 산출을 할 수 없는 경우가 있다는 문제점이 있다.
본 발명은 상기 사정을 감안하여 이루어진 것으로, 높은 정밀도로 재실자의 행동 내용을 식별하고, 이 식별한 행동 내용에 의거하여, 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 화상 처리 장치는, 처리 대상을 촬영하는 카메라 장치에 접속된 화상 처리 장치로서, 상기 카메라 장치로부터 상기 처리 대상을 촬영한 화상 정보를 순차 취득하는 화상 정보 취득부와, 상기 화상 정보 취득부에서 취득한 화상 정보의 경시적(經時的) 변화에 의거하여, 재실자(在室者)의 움직임에 의한 소정 기간의 차분 정보를 누적하고, 다치(多値)의 누적 차분 화상 정보를 생성하는 누적 차분 화상 정보 생성부와, 상기 누적 차분 화상 정보 생성부에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역으로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성하는 특징량 정보 생성부와, 상기 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 행동 내용 식별부를 구비하는 것을 특징으로 한다.
또한, 이 화상 처리 장치의 상기 특징량 정보 생성부는, 상기 누적 차분 화상 정보 생성부에서 생성된 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보와, 상기 화소 또는 블록의 당해 누적 차분 화상 정보 상의 위치 정보로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성하는 것을 특징으로 한다.
또한, 이 화상 형성 장치의 상기 특징량 정보 생성부에서 생성되는 특징량 정보에 이용되는 상기 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보는, 상기 화소 또는 블록의 주변 영역의 소정 수 방향의 열의 휘도 변화를 수치화한 정보인 것을 특징으로 한다.
또한, 이 화상 형성 장치의 상기 특징량 정보 생성부에서 생성되는 특징량 정보에 이용되는 상기 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보는, 상기 화소 또는 블록의 주변 영역의 소정 수 방향의 열의 휘도 변화를 수치화한 정보를, 휘도값의 총 합이 최대인 열을 선두로 하여 시계 회전 또는 반시계 회전으로 나열한 정보인 것을 특징으로 한다.
또한, 이 화상 형성 장치의 상기 특징량 정보 생성부에서 생성되는 특징량 정보에 이용되는 상기 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보는, 복수의 화소 또는 블록의 주변 영역에 관한 정보를 조합시킨 정보, 또는 복수의 시간 범위의 누적 차분 화상 정보에 의거하여 생성된 정보를 조합시킨 정보인 것을 특징으로 한다.
또한, 이 화상 형성 장치의 상기 특징량 정보 생성부에서 생성되는 특징량 정보에 이용되는 상기 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보는, 복수의 화소 또는 블록의 주변 영역에 관한 정보를 조합시킨 정보, 또는 복수의 시간 범위의 누적 차분 화상 정보에 의거하여 생성된 정보를 조합시킨 정보인 것을 특징으로 한다.
또한, 이 화상 형성 장치는, 행동 내용마다의 식별 정보를 미리 식별 모델로서 기억한 식별 모델 정보 기억부를 더 구비하고, 상기 행동 내용 식별부는 상기 식별 모델 정보 기억부에 기억된 식별 모델을 이용하여, 상기 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 것을 특징으로 한다.
또한, 이 화상 형성 장치의 상기 식별 모델 정보 기억부에 기억되는 식별 모델은 소정의 촬영 환경에서 촬영된 촬영 대상의 행동으로부터 취득한 특징량 정보에 의거하여 추정된, 다른 촬영 환경에서의 특징량 정보를 포함하는 것을 특징으로 한다.
또한, 이 화상 형성 장치의 상기 행동 내용 식별부는 미리 행동 내용마다 설정된 역치에 의거하여, 상기 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 것을 특징으로 한다.
또한, 이 화상 형성 장치의 상기 누적 차분 화상 정보는 프레임간 차분, 배경 차분, 옵티컬 플로우(optical flow)의 차분값, 물체의 이동 궤적의 차분값, 아핀(affine) 불변량의 차분값, 사영(射影) 불변량의 차분값 중 어느 하나를 이용하여 생성되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 화상 처리 방법은, 처리 대상을 촬영하는 카메라 장치에 접속된 화상 처리 장치를 이용한 화상 처리 방법으로서, 상기 카메라 장치로부터 상기 처리 대상을 촬영한 화상 정보를 순차 취득하는 스텝과, 상기 화상 정보 취득 스텝에서 취득한 화상 정보의 경시적 변화에 의거하여, 재실자의 움직임에 의한 소정 기간의 차분 정보를 누적하여 다치의 누적 차분 화상 정보를 생성하는 스텝과, 상기 누적 차분 화상 정보 생성 스텝에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역으로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성하는 스텝과, 상기 특징량 정보 생성 스텝에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 스텝을 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 공조 제어 장치는, 공조 제어 대상의 실내에 설치된 카메라 장치와 상기 공조 제어 대상의 실내의 공조을 행하는 공조기에 접속된 공조 제어 장치로서, 상기 카메라 장치로부터 상기 공조 제어 대상의 실내를 촬영한 화상 정보를 순차 취득하는 화상 정보 취득부와, 상기 화상 정보 취득부에서 취득한 화상 정보의 경시적 변화에 의거하여, 재실자의 움직임에 의한 소정 기간의 차분 정보를 누적하여 다치의 누적 차분 화상 정보를 생성하는 누적 차분 화상 정보 생성부와, 상기 누적 차분 화상 정보 생성부에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역으로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성하는 특징량 정보 생성부와, 상기 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 행동 내용 식별부와, 상기 행동 내용 식별부에서 식별된 행동 내용으로부터, 재실자의 활동량을 산출하는 활동량 산출부와, 상기 활동량 산출부에서 산출된 활동량에 의거하여, 상기 재실자의 현재 쾌적 지수값을 산출하는 현재 쾌적 지수값 산출부와, 상기 현재 쾌적 지수값 산출부에서 산출된 상기 재실자의 현재 쾌적 지수값으로부터 상기 공조기의 동작에 관한 제어 파라미터를 산출하는 제어 파라미터 산출부와, 상기 제어 파라미터 산출부에서 산출된 제어 파라미터에 의거하여 상기 공조기의 동작을 제어하는 공조기 제어부를 구비하는 것을 특징으로 한다.
본 발명의 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치에 의하면, 높은 정밀도로 재실자의 행동 내용을 식별할 수 있고, 이 식별한 행동 내용에 의거하여, 양호한 효율로 공조 제어를 실행시킬 수 있다.
도 1은 실시예의 공조 제어 장치를 이용한 공조 시스템의 구성을 나타내는 블록도.
도 2는 실시예의 공조 제어 장치에 있어서 누적 차분 화상 정보를 생성할 때의 동작을 나타내는 흐름도.
도 3의 (a)와 도 3의 (b)는 실시예의 공조 제어 장치에 의해 생성된 누적 차분 화상의 예.
도 4는 실시예의 공조 제어 장치에 의해 누적 차분 화상 정보가 생성될 때의 프레임 사이의 관계를 나타내는 설명도.
도 5의 (a), 도 5의 (b), 도 5의 (c)는 실시예의 공조 제어 장치에 의해 생성된, 다른 속도로 이동하는 인물의 누적 차분 화상의 예.
도 6은 실시예의 공조 제어 장치에 의해 생성된 누적 차분 화상 정보의 일부로부터 특징량 정보가 생성될 때의 상태를 나타내는 설명도.
도 7의 (a)와 도 7의 (b)는 실시예의 공조 제어 장치에서 취득되는 화상 정보의 예.
실시 형태의 화상 처리 장치는 처리 대상을 촬영하는 카메라 장치에 접속되며, 화상 정보 취득부와, 누적 차분 화상 정보 생성부와, 특징량 정보 생성부와, 행동 내용 식별부를 구비한다. 화상 정보 취득부는 카메라 장치로부터 처리 대상을 촬영한 화상 정보를 순차 취득한다. 누적 차분 화상 정보 생성부는 화상 정보 취득부에서 취득한 화상 정보의 경시적 변화에 의거하여, 재실자의 움직임에 의한 소정 기간의 차분 정보를 누적하고, 다치의 누적 차분 화상 정보를 생성한다. 특징량 정보 생성부는 누적 차분 화상 정보 생성부에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역으로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성한다. 행동 내용 식별부는 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별한다.
이하, 실시예로서, 제어 대상의 실내(예를 들면, 오피스)를 카메라 장치로 촬영한 화상 정보를 이용하여 재실자에게 비접촉으로 활동량을 산출하고, 이 산출한 활동량을 이용하여 양호한 정밀도로 공조 제어를 행하는 공조 제어 시스템에 대하여 설명한다.
(실시예의 공조 제어 장치를 이용한 공조 제어 시스템의 구성)
실시예의 공조 제어 장치(30)를 이용한 공조 제어 시스템(1)의 구성에 대해서, 도 1을 참조하여 설명한다.
실시예의 공조 제어 시스템(1)은 공조 제어 대상의 실내마다 설치되는 동시에 대상이 되는 실내를 촬영하는 카메라 장치(10)와, 당해 실내의 공조를 행하는 공조기(20)와, 카메라 장치(10)로 촬영한 화상 정보를 취득하는 동시에 취득한 화상 정보에 의거하여 공조기(20)의 동작을 제어하는 공조 제어 장치(30)를 구비한다.
실시예에서 이용되는 카메라 장치(10)의 설치 위치나 설치 방법으로는 다양한 양태를 생각할 수 있다. 예를 들면, 감시 카메라와 같이 제어 대상의 실내의 상단부로부터 실내 공간을 부감(俯瞰)하는 각도에서 촬영하도록 설치하거나, 어안(魚眼) 렌즈나 초광각 렌즈를 장착함으로써, 실내의 천장의 중앙부로부터 실내 공간을 촬영하도록 설치하거나 하는 양태가 있다. 또한, 카메라 장치(10)는 가시 카메라뿐만 아니라, 적외선 카메라 등을 이용하는 것도 가능하다.
공조 제어 장치(30)는 식별 모델 정보 기억부(31)와, 화상 정보 취득부(32)와, 누적 차분 화상 정보 생성부(33)와, 특징량 정보 생성부(34)와, 행동 내용 식별부(35)와, 활동량 산출부(36)와, 쾌적 지수값 산출부로서의 PMV값 산출부(37)와, 공조 제어부(38)를 구비한다. 공조 제어 장치(30) 중 식별 모델 정보 기억부(31)와, 화상 정보 취득부(32)와, 누적 차분 화상 정보 생성부(33)와, 특징량 정보 생성부(34)와, 행동 내용 식별부(35)는 화상 처리 장치의 구성부로서 기능한다.
식별 모델 정보 기억부(31)는 행동 내용마다의 화상 정보의 특징량이나 그 역치를, 식별 모델로서 미리 기억한다. 이 식별 모델은 미리 오프라인에서 생성해도 되고, 특징량 정보 생성부(34)에서 추출된 정보를 온라인에서 취득하여 해석함으로써 학습하여 생성해도 된다.
화상 정보 취득부(32)는 접속된 카메라 장치(10)에서 촬영된 화상 정보를 순차 취득한다.
누적 차분 화상 정보 생성부(33)는 화상 정보 취득부(32)에서 시계열로 취득된 소정 기간의 화상 정보로부터 복수의 프레임 사이의 차분 화상 정보를 추출하고, 추출한 차분 화상 정보를 중첩시킴으로써 누적한 다치의 누적 차분 화상 정보를 생성한다.
특징량 정보 생성부(34)는 누적 차분 화상 정보 생성부(33)에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역을 특징량 정보 생성 대상 부분으로 하고, 이 부분의 화소 또는 블록의 주변 영역의 휘도 변화의 특징을 수치화하는 동시에, 이 부분의 화소 또는 블록의 당해 화상 상의 위치 관계를 특정한다. 이것으로, 특징량 정보 생성부(34)는 당해 누적 차분 화상 정보 내의 특징량 정보를 생성한다.
행동 내용 식별부(35)는 식별 모델 정보 기억부(31)에 기억된 식별 모델을 이용하여, 특징량 정보 생성부(34)에서 생성된 특징량으로부터 재실자의 행동 내용을 식별한다.
활동량 산출부(36)는 행동 내용 식별부(35)에 있어서 당해 누적 차분 화상 정보로부터 얻어진 행동 내용의 식별 결과를 통합하여, 재실자의 활동량을 산출한다.
PMV값 산출부(37)는 활동량 산출부(36)에서 산출된 재실자의 활동량과, 외부의 센서 등으로부터 취득한 공조 제어 대상의 실내의 온도, 습도, 기류 속도, 복사 온도, 재실자의 착의량으로부터, 당해 공조 제어 대상의 실내의 쾌적 지수값인 PMV값을 산출한다.
공조 제어부(38)는 PMV값 산출부(37)에서 산출된 PMV값에 의거하여, 공조 제어 대상의 실내의 공조를 행하는 공조기(20)의 제어값을 결정하고, 공조기(20)에 송신한다.
(실시예의 공조 제어 장치를 이용한 공조 제어 시스템의 동작)
다음으로, 실시예의 공조 제어 장치(30)를 이용한 공조 제어 시스템(1)의 동작에 대해서, 설명한다.
실시예에 있어서, 공조 제어 장치(30)의 식별 모델 정보 기억부(31)에는, 행동 내용마다의 화상 정보의 특징량이나 그 역치가 식별 모델로서 미리 기억되어 있는 것으로 한다.
우선, 카메라 장치(10)에 의해 공조 제어 대상의 실내가 촬영됨으로써 생성된 시계열의 화상 정보가 공조 제어 장치의 화상 정보 취득부(32)에서 취득된다. 화상 정보 취득부(32)에서 취득된 화상 정보는 누적 차분 화상 정보 생성부(33)에 송출된다. 그리고, 누적 차분 화상 정보가 누적 차분 화상 정보 생성부(33)에서 생성된다.
누적 차분 화상 정보 생성부(33)에 있어서, 누적 차분 화상 정보가 생성될 때의 처리에 대하여, 도 2의 흐름도를 참조하여 설명한다.
화상 정보 취득부(32)로부터 시계열의 화상 정보가 취득되면(S1), 필요에 따라서 노이즈 제거를 위해 필터 처리가 행해진다(S2). 이 필터 처리에는, 예를 들면 가우시안 필터가 적용된다.
다음으로, 필터 처리가 행해진 소정 기간의 시계열의 화상 정보로부터, 복수의 프레임 사이에서 차분 화상 정보가 취득된다(S3). 취득된 차분 정보가 미리 설정된 역치를 넘는지의 여부에 따라, 2치화 처리가 행해진다(S4). 이 2치화 처리가 행해진 차분 2치 화상 정보가 복수매 누적됨으로써, 누적 차분 화상 정보가 생성된다(S5).
이렇게 하여 생성된 누적 차분 화상의 일례를, 도 3의 (a)와 도 3의 (b)에 나타낸다.
도 3의 (a)는 과거의 화상 정보 사이에서 생성된 차분 2치화 화상 정보로부터 생성된 누적 차분 화상이다. 또한, 도 3의 (b)는 현재(최신)의 화상 정보와 과거의 화상 정보 사이에서 생성된 차분 2치화 화상 정보로부터 생성된 누적 차분 화상이다. 도 3의 (a)와 같이, 과거의 화상 정보 사이에서 생성된 차분 2치화 화상 정보로부터 생성된 누적 차분 화상에서는, 휘도가 높은 인물의 형상 부분의 전후에 단계적인 농도 구배에 의해, 잔상이 나타나도록 휘도 분포가 형성된다. 도 3의 (b)와 같이, 현재(최신)의 화상 정보와 과거의 화상 정보 사이에서 생성된 차분 2치화 화상 정보로부터 생성된 누적 차분 화상에서는, 휘도가 높은 인물의 형상 부분의 후에 단계적인 농도 구배에 의해 잔상이 나타나도록 휘도 분포가 형성된다.
예로서, 과거의 화상 정보 사이에서 차분 2치화 화상 정보가 생성되고, 이 생성된 2치화 화상 정보로부터 누적 차분 화상이 생성될 때의 처리에 대해서, 도 4를 참조하여 설명한다. 여기에서는, 시계열의 화상 정보(40)로서, 프레임(41 ~ 48)이 취득된 것으로 한다. 또한, 시계열의 복수의 프레임으로부터 누적 차분 화상 정보를 생성하기 위한 파라미터로서, 차분 2치 화상 정보를 취득하기 위해 대비시키는 2개의 프레임 간격인 차분 프레임 간격을 3프레임 간격으로 설정한다. 이 3프레임 간격으로 대비된 차분 화상 정보가 생성되는 간격인 누적 프레임 간격을 1프레임 간격으로 설정한다. 누적 차분 화상 정보를 생성하기 위한 차분 2치 화상 정보의 누적 프레임 수를 3프레임으로 설정한다.
이렇게, 파라미터가 설정됨으로써, 도 4에 나타내는 바와 같이, 프레임(41)과 프레임(44) 사이에서 차분 정보가 취득되고 2치화 처리되어서, 차분 2치화 화상(51)이 생성된다. 프레임(42)과 프레임(45) 사이에서 차분 정보가 취득되고 2치화 처리되어서, 차분 2치화 화상(52)이 생성된다. 프레임(43)과 프레임(46) 사이에서 차분 정보가 취득되고 2치화 처리되어서, 차분 2치화 화상(53)이 생성된다. 프레임(44)과 프레임(47) 사이에서 차분 정보가 취득되고 2치화 처리되어서, 차분 2치화 화상(54)이 생성된다. 프레임(45)과 프레임(48) 사이에서 차분 정보가 취득되고 2치화 처리되어서, 차분 2치화 화상(55)이 생성된다.
이렇게, 2치화 처리가 행해짐으로써, 인물의 복장이나 배경 등의 색의 차이 등이 흡수되고, 인물의 움직임에 관한 부분이 안정되게 추출된다. 또한, 이 2치화 처리에 의해 생기는 구멍이나 흠집 부분을 제거하기 위해, 팽창, 수축 처리를 가하도록 해도 된다.
다음으로, 생성된 차분 2치화 화상(51 ~ 55)이 시간축 방향으로 소정의 누적 프레임수만큼 누적됨으로써, 다치의 누적 차분 화상이 생성된다. 실시예에 있어서는, 누적 프레임 수가 3프레임이다. 이 때문에, 도 4에 나타내는 바와 같이, 차분 2치화 화상(51 ~ 53)이 누적되어서, 누적 차분 화상(61)이 생성된다. 차분 2치화 화상(52 ~ 54)이 누적되어서, 누적 차분 화상(62)이 생성된다. 차분 2치화 화상(53 ~ 55)이 누적되어서, 누적 차분 화상(63)이 생성된다.
이렇게 하여 생성된 다치의 누적 차분 화상의 단계적인 농도 구배에 의한 잔상은 인물의 이동 속도가 느린 경우는 도 5의 (a)에 나타내는 바와 같이, 폭이 좁고, 움직임이 빨라질수록 도 5의 (b) → 도 5의 (c)에 나타내는 바와 같이 폭이 넓어진다.
따라서, 상술한 차분 프레임 간격, 누적 프레임 간격, 및 누적 프레임 수 등의 파라미터를, 활동량의 산출 대상으로 하는 환경이나 행동 내용에 따라 가변으로 함으로써, 양호한 정밀도로 행동 내용을 검출할 수 있다.
예를 들면, 오피스와 같이 인물의 움직임이 적은 실내에서는 차분 프레임 간격이나 누적 프레임 간격을 크게 하고, 백화점과 같이 인물의 움직임이 많은 공간에서는 차분 프레임 간격이나 누적 프레임 간격을 작게 한다. 이것으로, 이동의 궤적을 인식하기 쉽게 하여, 인물의 행동 내용이나 이동 속도를 양호한 정밀도로 검출할 수 있다.
이 누적 차분 화상 정보는 시계열로 순차 생성해도 되고, 동시에 복수매의 누적 차분 화상 정보를 생성하도록 해도 된다.
다음으로, 특징량 정보 생성부(34)에 있어서, 누적 차분 화상 정보 생성부(33)에서 생성된 누적 차분 화상 정보로부터, 인물 부분의 이동 속도를 나타내는 특징량이 산출될 때의 처리에 대해서 설명한다.
상술한 바와 같이, 과거의 화상 정보 사이에서 생성된 차분 2치화 화상 정보로부터 생성된 누적 차분 화상에서는, 휘도가 높은 인물의 형상 부분의 전후에 단계적인 농도 구배에 의해 잔상이 나타난다. 또한, 현재(최신)의 화상 정보와 과거의 화상 정보 사이에서 생성된 차분 2치화 화상 정보로부터 생성된 누적 차분 화상에서는, 휘도가 높은 인물의 형상 부분의 후에 단계적인 농도 구배에 의해 잔상이 나타난다.
따라서, 특징량 정보 생성부(34)에서는, 이 인물의 형상 부분의 주변에 나타난 농도 구배에 의한 잔상 부분에 있어서, 어떤 화소 또는 블록의 주변의 수치화한 휘도 분포 정보를 소정 영역마다 소정 수 방향의 열에 대하여 검출함으로써, 당해 누적 차분 화상 정보 내의 특징량이 생성된다. 이 특징량 정보에는, 중심으로부터 주변을 향해서 순서대로 기술된 각 열의 휘도값과, 각 열에 있어서의 인접 화소와의 휘도 변화를 나타내는 상대값과, 카메라 장치의 기하 특성에 대응하기 위한 데이터를 포함할 수도 있다. 이 카메라 장치의 기하 특성에 대응하기 위한 데이터란, 당해 화소 또는 블록의 x좌표나 y좌표, 화상 중심으로부터의 거리 등의 화상 상의 위치 정보이다. 또한, 특징량 정보에 대해서는, 값의 편차나 분포에 따른 정규화나 가중을 행하는 것이 가능하며, 필요에 따라, 식별에 유효한 휘도 정보에 대한 우선도의 향상이나, 화상 상의 위치에 관한 정보의 가산이나 적산 등을 행하는 것도 가능하다.
잔상 부분의 특징량 생성 대상으로 한 소정 영역의 일례를, 도 6에 나타낸다.
이 특징량 생성 대상의 영역(70)은 종횡(縱橫) 15픽셀(pixel)의 정방형의 영역이며, 중심의 화소로부터 8방향(화살표 71 ~ 78의 각 방향)의 열의 휘도 분포 정보가 검출되는 경우를 나타내고 있다.
이 영역(70)에 대하여 특징량이 생성될 때는, 우선 휘도 분포 정보로서, 각 열의 중심으로부터 주변을 향해서 순서대로 휘도값이 취득되고, 또한 이 중심으로부터 주변을 향해서 서로 이웃하는 화소 사이의 휘도 변화를 나타내는 상대값이 취득된다.
다음으로, 휘도 분포 정보에 포함되는 휘도값으로부터 각 열의 휘도값의 총 합이 산출되고, 이 휘도값의 총 합이 최대인 열을 선두로, 시계 회전 또는 반시계 회전의 순으로, 휘도 분포 정보가 나열된다.
도 6에 있어서는, 8방향의 열 중 화살표(71) 방향의 열의 휘도값의 총 합이 최대라 판정된다. 그리고, 이 화살표(71)의 열을 선두로 시계 회전 방향으로, 화살표(72, 73, …, 78) 순의 8열분의 휘도 분포 정보가 휘도 분포 정보(81, 82, …, 88)와 같이 나열된다.
휘도 분포 정보의 휘도값의 총 합이 크다는 것은, 당해 방향이 휘도가 높은 인물의 형상 부분에 근접하는 방향이다. 즉, 선두에 나열된 화살표(71)의 방향(휘도값의 총 합이 최대인 열의 방향)이, 당해 인물의 이동 방향이라고 추측된다. 이렇게, 휘도값의 총 합으로부터 인물의 이동 방향을 추측함으로써, 이동 방향에 관하여 의존성을 유지하지 않고, 모든 방향의 이동에 대한 식별이 가능하게 된다.
또한, 인물의 이동 방향에 관한 의존성을 갖게 하려는 경우에는, 상술한 처리 중 휘도값의 총 합에 의한 분류 처리를 행하지 않고, 각 열의 휘도값을 추출하여, 특징량 데이터로 하도록 해도 된다.
이 화소 또는 블록의 주변의 수치화한 휘도 분포 정보는 복수의 화소 또는 블록의 주변 영역에 관한 정보를 조합시킨 휘도 분포 정보, 또는 복수의 시간 범위의 누적 차분 화상 정보에 의거하여 생성된 휘도 분포 정보를 조합시킨 정보로 해도 된다.
다음으로, 행동 내용 식별부(35)에 있어서, 식별 모델 정보 기억부(31)에 기억된 식별 모델이 이용되고, 특징량 산출부에서 산출된 특징량으로부터, 재실자의 행동 내용(서 있음, 걷고 있음, 달리고 있음 등)이 식별된다.
식별 모델의 일례로서는, 패턴 인식의 대표적인 수법인 SVM(Support Vector Machine)이나, 뉴럴 네트워크, 베이즈 분류(Bayes classifier) 등을 적용하여 생성된다. SVM(Support Vector Machine)은, 1960년대에 Vapnik 등이 고안한 Optimal Separating Hyperplane을 기원으로 하고, 1990년대가 되어서 커널 학습법(kernel learning methods)과 조합시킨 비선형의 식별 수법으로 확장된 수법이다. 예를 들면, SVM에 모델의 복잡함과 손실의 트레이드 오프(trade off)를 제어하는 파라미터(ν)를 도입한 νSVM을 적용했을 경우, 파라미터로서 ν, γ, 커널이 있고, 이들을 적절히 선택함으로써, 고정밀도의 식별을 실현할 수 있다.
다음으로, 행동 내용 식별부(35)에 있어서 화소 단위 또는 블록 단위로 얻어진 행동 내용의 식별 결과가 활동량 산출부(36)에 의해 통합되고, 각 재실자의 활동량 또는 실내의 평균 활동량이 산출된다.
여기에서, 각 재실자의 활동량이 산출될 경우, 화상 정보로부터 인물 부분이 추출되고나서, 그 주변 영역의 특징량에 의거하여 식별된 행동 내용으로부터 활동량이 산출되도록 해도 된다. 또한, 화소 정보로부터 인물 부분의 추출은 행해지지 않고, 실내 전체의 움직임에 대한 특징량에 의거하여 식별된 행동 내용의 분포에 대하여 클러스터링 등의 처리가 행해지고, 인물의 위치가 추정되어서 각각의 활동량이 산출되도록 해도 된다. 또한, 카메라 장치와 촬영 대상과의 위치 관계에 의해 화상 상의 크기가 다름을 고려하여, 활동량의 산출 대상으로 하는 영역을 지정하기 위한 프레임을 화상 상에 설정해 두고, 이 프레임 내의 식별 결과에 의거하여 각 재실자의 활동량이 산출되도록 해도 된다.
또한, 실내의 평균 활동량이 산출되는 경우는, 상술한 바와 같이, 산출된 각 재실자의 활동량을 평균하거나, 인물 부분을 추출하지 않고 화상 전체로부터 얻어진 식별 결과와 촬영 영역과의 관계로부터 실내의 평균 활동량을 추정하거나 함으로써 산출되도록 해도 된다. 이 경우, 식별 결과와, 화상 정보로부터 얻어진 실내의 인물의 분포와, 인원수와, 촬영 영역의 공간에 관한 정보가 통합되어, PMV값의 산출에 이용하기 위한 최적의 활동량이 산출된다.
다음으로, PMV값 산출부(37)에 있어서, 활동량 산출부(36)에서 산출된 활동량과, 외부의 센서 등으로부터 취득한 공조 제어 대상의 실내의 온도, 습도, 기류 속도, 복사 온도, 재실자의 착의량으로부터, 그 공조 제어 대상의 실내의 쾌적 지수값인 PMV값이 산출된다.
다음으로, 공조 제어부(38)에 있어서, PMV값 산출부(37)에서 산출된 PMV값에 의거하여, 공조 제어 대상의 실내의 공조를 행하는 공조기(20)의 제어값이 결정되어서 공조기(20)에 송신되고, 공조기(20)의 동작이 제어된다.
이상, 실시예의 공조 시스템에 의하면, 공조 제어 대상의 실내를 촬영한 소정 기간의 화상 정보로부터, 복수의 프레임 사이의 차분 화상 정보를 추출해서 누적한 누적 차분 화상 정보를 생성하고, 이 누적 차분 화상 정보 상에 나타나는 인물 부분의 잔상 부분을 해석함으로써 정밀도가 높은 활동량을 산출하고, 이 활동량에 의거하여 산출되는 실내 환경의 상황에 의거하여 양호한 효율의 공조를 실행할 수 있다.
상기 실시예에 있어서, 누적 차분 화상 정보를 생성할 때에는, 프레임 사이 차분을 이용하는 것 외에, 배경 차분, 옵티컬 플로우(물체의 속도 필드)나, 물체의 이동 궤적, 아핀(affine) 불변량, 사영 불변량 등의 차분값, 또는 그들의 물리량을 이용해도 된다.
또한, 특징량 정보를 다음과 같이 하는 것도 생각할 수 있다.
촬영된 실내의 화상 정보에서는, 카메라 장치의 기하학 특성으로서, 촬영 대상이 카메라 장치로부터 멀어질수록 화상 정보 상에 있어서의 크기가 작아지고, 카메라 장치에 가까워질수록 화상 정보 상에 있어서의 크기가 커진다. 그 때문에, 누적 차분 화상 정보에 나타나는 잔상의 폭은, 인물의 이동 속도뿐만 아니라, 인물과 카메라 장치와의 위치 관계에 의해서도 변화한다.
따라서, 인물의 화면상의 위치에 의존하지 않고, 화각 내의 어느 위치에 있어서도 정확하게 행동 내용을 검출하기 위해, 카메라의 기하학 특성(화면상의 위치) 정보가 특징량 정보에 주어진다.
구체적으로는, 카메라 장치가 실내의 상단부로부터 실내 공간을 부감하는 각도로 설치되어 있을 때에는, 도 7의 (a)에 나타내는 바와 같이, 촬영 대상이 카메라 장치로부터 멀어질수록 표시 화면의 상방에 표시되고, 촬영 대상이 카메라 장치에 가까워질수록 표시 화면의 하방에 표시된다.
이렇게 설치된 카메라 장치에서 촬영된 경우, 카메라 장치의 기하학 특성에 대응하기 위한 데이터로서, 인물의 y좌표를 채용한다.
또한, 어안 렌즈나 초광각 렌즈를 장착시킨 카메라 장치가 실내의 천장의 중앙부로부터 실내 공간을 촬영하도록 설치되어 있을 때에는, 도 7의 (b)에 나타내는 바와 같이, 촬영 대상이 화면 중앙에 가까울수록 크게 표시되고, 주변으로 갈수록 작게 표시된다.
이렇게 설치된 카메라 장치에 의해 촬영된 경우, 카메라 장치의 기하학 특성에 대응하기 위한 데이터로서, 화면 중심으로부터의 거리를 채용한다.
그리고, 식별 모델 정보 기억부(31)에 기억된 식별 모델을 카메라 장치의 기하학 특성을 갖는 특징량을 이용하여 생성하고, 행동 내용 식별을 행한다.
카메라 장치를 실내의 상단부에 설치하여 실내 공간을 부감하는 각도로 촬영하는 경우, 모든 진행 방향의 움직임에 대응하기 위해, 예를 들면 횡방향 3종류(원방, 중앙, 근방), 종방향 1종류(중앙)의 이동 신(scene)에 의해 특징량의 학습을 행하고, 식별 모델을 생성한다.
또한, 어안 렌즈나 초광각 렌즈를 장착한 카메라 장치를 천장의 중앙부에 설치하고, 바로 위에서 인물을 촬영하는 경우는, 카메라 장치 바로 아래 부근 및 카메라 장치로부터 멀어지는 위치에 있어서의 이동 신에 의해 특징량의 학습을 행하고, 식별 모델을 생성한다.
이렇게, 휘도 정보와 카메라의 기하학 특성 정보를 갖는 특징량 정보를 이용하여, 행동 내용의 식별을 행함으로써, 인물의 위치에 의존하지 않고, 화각 내의 어느 위치에 있어서도 정확한 행동 내용을 검출할 수 있다.
또한, 식별 모델 작성에 있어서의 특징량의 학습시에는, 예를 들면, 카메라의 기하학 특성을 고려하여, 촬영 대상의 크기가 큰 환경에 있어서의 행동 신을 기초로 취득한 특징량을 기초로, 그 외의 상황에 있어서의 특징량을 추정하는 것이 가능하다. 또한, 촬영 대상의 크기가 큰 환경에 있어서의 행동 신을 기초로, 촬영 대상의 크기가 작은 환경에 있어서의 행동 신의 영상을 생성하고, 그 영상을 기초로 학습을 행하는 것이 가능하다. 이들의 추정된 정보를 이용함으로써, 학습을 위해 촬영하는 영상의 종류를 적게 할 수 있고, 학습에 관련되는 공수(工數)를 삭감할 수 있다.
여기에서, 학습시에 특징량의 추출 대상으로 하는 화소 또는 블록은 적절히 선택할 수 있고, 화상의 모든 화소, 모든 블록을 대상으로 할 필요는 없다. 또한, 모든 프레임을 학습 대상으로 할 필요도 없고, 이동 속도에 따라 임의의 간격으로 학습 대상으로 하는 프레임을 선택해도 된다.
이렇게, 학습에 의해 식별 모델을 갱신하고, 인물의 거리에 따른 특징량을 학습함으로써, 촬영한 화상 정보 내에서의 감시 범위의 광역화를 도모할 수 있다.
또한, 특징량 정보를 다음과 같이 하는 것도 생각할 수 있다.
앞서 기술한 바와 같이, 누적 차분 화상 정보에 나타나는 잔상의 폭은 인물의 이동 속도뿐만 아니라, 인물과 카메라 장치와의 위치 관계에 의해서도 변화한다.
따라서, 특징량 정보에 대하여 카메라의 기하학 특성(화면상의 위치) 정보를 고려해서 정규화 처리를 행한다.
구체적으로는, 카메라 장치가 실내의 상단부로부터 실내 공간을 부감하는 각도로 설치되어 있을 때에는, 카메라 장치의 기하학 특성에 대응하기 위한 데이터로서, 인물의 y좌표가 이용되고, 특징량 정보의 정규화 처리가 행해진다.
또한, 어안 렌즈나 초광각 렌즈를 장착시킨 카메라 장치가 실내의 천장의 중앙부로부터 실내 공간을 촬영하도록 설치되어 있을 때에는, 카메라 장치의 기하학 특성에 대응하기 위한 데이터로서, 화면 중심으로부터의 거리가 이용되고, 특징량 정보의 정규화 처리가 행해진다.
그리고, 식별 모델 정보 기억부(31)에 기억된 식별 모델을 카메라 장치의 기하학 특성을 이용하여 정규화 처리가 행해진 특징량을 이용하여 생성하고, 행동 내용 식별을 행한다.
이에 따라, 카메라의 기하학 특성 정보에 의한 정규화 처리가 행해진 특징량 정보를 이용하여, 행동 내용의 식별을 행함으로써, 인물의 위치에 의존하지 않고, 화각 내의 어느 위치에 있어서도, 정확하게 행동 내용을 검출할 수 있다. 또한, 식별 모델의 학습에 있어서도, 정규화 처리를 행함으로써 특징량의 추정이 가능하다. 이 때문에, 학습에 관련되는 공수를 삭감할 수 있다.
상기 실시예에서는, 행동 내용을 식별할 때에는 식별 모델을 이용하는 경우에 관하여 설명했다. 그러나, 실시 형태는 이것에만 한정되지 않고, 예를 들면 미리 설정된 각각의 행동 내용(서 있음, 걷고 있음, 달리고 있음 등)을 식별하기 위한 특징량의 역치에 의거하여, 행동 내용을 식별하도록 해도 된다.
1 : 공조 제어 시스템
10 : 카메라 장치
20 : 공조기
30 : 공조 제어 장치
31 : 식별 모델 정보 기억부
32 : 화상 정보 취득부
33 : 누적 차분 화상 정보 생성부
34 : 특징량 정보 생성부
35 : 행동 내용 식별부
36 : 활동량 산출부
37 : PMV값 산출부
38 : 공조 제어부

Claims (12)

  1. 처리 대상을 촬영하는 카메라 장치에 접속된 화상 처리 장치로서,
    상기 카메라 장치로부터 상기 처리 대상을 촬영한 화상 정보를 순차 취득하는 화상 정보 취득부와,
    상기 화상 정보 취득부에서 취득한 화상 정보의 경시적(經時的) 변화에 의거하여, 재실자(在室者)의 움직임에 의한 소정 기간의 차분 정보를 누적하고, 다치(多値)의 누적 차분 화상 정보를 생성하는 누적 차분 화상 정보 생성부와,
    상기 누적 차분 화상 정보 생성부에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역으로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성하는 특징량 정보 생성부와,
    상기 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 행동 내용 식별부를 구비하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 특징량 정보 생성부는 상기 누적 차분 화상 정보 생성부에서 생성된 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보와, 상기 화소 또는 블록의 당해 누적 차분 화상 정보 상의 위치 정보로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성하는 것을 특징으로 하는 화상 처리 장치.
  3. 제 2 항에 있어서,
    상기 특징량 정보 생성부에서 생성되는 특징량 정보에 이용되는 상기 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보는, 상기 화소 또는 블록의 주변 영역의 소정 수 방향의 열의 휘도 변화를 수치화한 정보인 것을 특징으로 하는 화상 처리 장치.
  4. 제 2 항에 있어서,
    상기 특징량 정보 생성부에서 생성되는 특징량 정보에 이용되는 상기 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보는, 상기 화소 또는 블록의 주변 영역의 소정 수 방향의 열의 휘도 변화를 수치화한 정보를, 휘도값의 총 합이 최대인 열을 선두로 하여 시계 회전 또는 반시계 회전으로 나열한 정보인 것을 특징으로 하는 화상 처리 장치.
  5. 제 3 항에 있어서,
    상기 특징량 정보 생성부에서 생성되는 특징량 정보에 이용되는 상기 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보는, 복수의 화소 또는 블록의 주변 영역에 관한 정보를 조합시킨 정보, 또는 복수의 시간 범위의 누적 차분 화상 정보에 의거하여 생성된 정보를 조합시킨 정보인 것을 특징으로 하는 화상 처리 장치.
  6. 제 4 항에 있어서,
    상기 특징량 정보 생성부에서 생성되는 특징량 정보에 이용되는 상기 누적 차분 화상 정보의, 농도 구배가 있는 영역 내의 화소 또는 블록의 주변 영역의 휘도 변화를 수치화한 정보는, 복수의 화소 또는 블록의 주변 영역에 관한 정보를 조합시킨 정보, 또는 복수의 시간 범위의 누적 차분 화상 정보에 의거하여 생성된 정보를 조합시킨 정보인 것을 특징으로 하는 화상 처리 장치.
  7. 제 1 항에 있어서,
    행동 내용마다의 식별 정보를 미리 식별 모델로서 기억한 식별 모델 정보 기억부를 더 구비하고,
    상기 행동 내용 식별부는 상기 식별 모델 정보 기억부에 기억된 식별 모델을 이용하여, 상기 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 것을 특징으로 하는 화상 처리 장치.
  8. 제 7 항에 있어서,
    상기 식별 모델 정보 기억부에 기억되는 식별 모델은 소정의 촬영 환경에서 촬영된 촬영 대상의 행동으로부터 취득한 특징량 정보에 의거하여 추정된, 다른 촬영 환경에서의 특징량 정보를 포함하는 것을 특징으로 하는 화상 처리 장치.
  9. 제 1 항에 있어서,
    상기 행동 내용 식별부는 미리 행동 내용마다 설정된 역치에 의거하여, 상기 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 것을 특징으로 하는 화상 처리 장치.
  10. 제 1 항에 있어서,
    상기 누적 차분 화상 정보는 프레임간 차분, 배경 차분, 옵티컬 플로우(optical flow)의 차분값, 물체의 이동 궤적의 차분값, 아핀(affine) 불변량의 차분값, 사영(射影) 불변량의 차분값 중 어느 하나를 이용하여 생성되는 것을 특징으로 하는 화상 처리 장치.
  11. 처리 대상을 촬영하는 카메라 장치에 접속된 화상 처리 장치를 이용한 화상 처리 방법으로서,
    상기 카메라 장치로부터 상기 처리 대상을 촬영한 화상 정보를 순차 취득하는 스텝과,
    상기 화상 정보 취득 스텝에서 취득한 화상 정보의 경시적 변화에 의거하여, 재실자의 움직임에 의한 소정 기간의 차분 정보를 누적하여 다치의 누적 차분 화상 정보를 생성하는 스텝과,
    상기 누적 차분 화상 정보 생성 스텝에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역으로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성하는 스텝과,
    상기 특징량 정보 생성 스텝에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 스텝을 구비한 화상 처리 방법.
  12. 공조 제어 대상의 실내에 설치된 카메라 장치와 상기 공조 제어 대상의 실내의 공조을 행하는 공조기에 접속된 공조 제어 장치로서,
    상기 카메라 장치로부터 상기 공조 제어 대상의 실내를 촬영한 화상 정보를 순차 취득하는 화상 정보 취득부와,
    상기 화상 정보 취득부에서 취득한 화상 정보의 경시적 변화에 의거하여, 재실자의 움직임에 의한 소정 기간의 차분 정보를 누적하여 다치의 누적 차분 화상 정보를 생성하는 누적 차분 화상 정보 생성부와,
    상기 누적 차분 화상 정보 생성부에서 생성된 누적 차분 화상 정보의 농도 구배가 있는 영역으로부터, 당해 누적 차분 화상 정보 내의 특징량 정보를 생성하는 특징량 정보 생성부와,
    상기 특징량 정보 생성부에서 생성된 특징량 정보로부터, 재실자의 행동 내용을 식별하는 행동 내용 식별부와,
    상기 행동 내용 식별부에서 식별된 행동 내용으로부터, 재실자의 활동량을 산출하는 활동량 산출부와,
    상기 활동량 산출부에서 산출된 활동량에 의거하여, 상기 재실자의 현재 쾌적 지수값을 산출하는 현재 쾌적 지수값 산출부와,
    상기 현재 쾌적 지수값 산출부에서 산출된 상기 재실자의 현재 쾌적 지수값으로부터 상기 공조기의 동작에 관한 제어 파라미터를 산출하는 제어 파라미터 산출부와,
    상기 제어 파라미터 산출부에서 산출된 제어 파라미터에 의거하여 상기 공조기의 동작을 제어하는 공조기 제어부를 구비하는 공조 제어 장치.
KR1020100087342A 2010-02-24 2010-09-07 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치 KR101127493B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010038427A JP4852159B2 (ja) 2010-02-24 2010-02-24 画像処理装置、画像処理方法および空調制御装置
JPJP-P-2010-038427 2010-02-24

Publications (2)

Publication Number Publication Date
KR20110097589A true KR20110097589A (ko) 2011-08-31
KR101127493B1 KR101127493B1 (ko) 2012-03-22

Family

ID=43798306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100087342A KR101127493B1 (ko) 2010-02-24 2010-09-07 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치

Country Status (6)

Country Link
US (1) US8432445B2 (ko)
EP (1) EP2362351B1 (ko)
JP (1) JP4852159B2 (ko)
KR (1) KR101127493B1 (ko)
CN (1) CN102162667B (ko)
CA (1) CA2714382A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101430308B1 (ko) * 2012-01-10 2014-08-14 미쓰비시덴키 가부시키가이샤 공기 조화기의 실내기
EP3176514A1 (en) 2015-12-04 2017-06-07 LG Electronics Inc. Air conditioner and control method therefor

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5310456B2 (ja) * 2009-10-05 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
JP4952765B2 (ja) * 2009-10-21 2012-06-13 トヨタ自動車株式会社 車両用夜間視界支援装置
US9690266B2 (en) * 2011-09-19 2017-06-27 Siemens Industry, Inc. Building automation system control with motion sensing
JP5128699B1 (ja) * 2011-09-27 2013-01-23 シャープ株式会社 配線検査方法および配線検査装置
JP5697583B2 (ja) * 2011-11-21 2015-04-08 三菱電機株式会社 部屋形状認識方法および装置、ならびにこれを用いた空気調和機
JP5726792B2 (ja) * 2012-03-12 2015-06-03 株式会社東芝 情報処理装置、画像センサ装置及びプログラム
US20130328930A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service
CN102745209A (zh) * 2012-07-06 2012-10-24 希姆通信息技术（上海）有限公司 自动温度控制系统及其控制方法
JP5815490B2 (ja) * 2012-09-03 2015-11-17 日立アプライアンス株式会社 空気調和機
JP6315201B2 (ja) * 2012-09-28 2018-04-25 パナソニックＩｐマネジメント株式会社 電気機器の制御方法、及び、プログラム
CN103017292B (zh) * 2012-11-30 2015-05-06 四川长虹电器股份有限公司 基于智能空调的病房看护方法及系统
JP2015090679A (ja) * 2013-11-07 2015-05-11 国立大学法人京都大学 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム
JP6495691B2 (ja) * 2015-03-11 2019-04-03 株式会社東芝 動体検出装置、動体検出方法及びコンピュータプログラム
WO2016147298A1 (ja) * 2015-03-16 2016-09-22 株式会社 東芝 推薦装置、推薦決定方法、およびコンピュータプログラム
JP6568385B2 (ja) * 2015-04-15 2019-08-28 アズビル株式会社 空調制御装置
US10713670B1 (en) * 2015-12-31 2020-07-14 Videomining Corporation Method and system for finding correspondence between point-of-sale data and customer behavior data
US10372990B2 (en) 2016-03-18 2019-08-06 International Business Machines Corporation System and method for identification of personal thermal comfort
WO2018054770A1 (en) * 2016-09-22 2018-03-29 Philips Lighting Holding B.V. Human comfort monitoring by thermal sensing
CN107576006A (zh) * 2017-09-20 2018-01-12 珠海格力电器股份有限公司 室内热环境的调节方法、装置、处理器及空气调节设备
KR102312710B1 (ko) * 2017-12-04 2021-10-14 중앙대학교 산학협력단 재실자의 인체발생열량을 고려한 실내환경 제어 시스템 및 이의 제어방법
CN108317693B (zh) * 2018-03-07 2021-01-19 范雪梅 一种乐器房空调器及其控制方法
CN108413579B (zh) * 2018-03-07 2021-02-05 江海军 一种乐器房空调器及其控制方法
JP6822453B2 (ja) * 2018-09-10 2021-01-27 ダイキン工業株式会社 空調制御装置および空気調和装置
JP2022531259A (ja) * 2019-05-02 2022-07-06 エルジー エレクトロニクス インコーポレイティド 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機
CN114061038B (zh) * 2020-08-07 2023-01-24 广东美的制冷设备有限公司 温湿综合调节控制方法、调节设备、调节系统及介质
CN112666837A (zh) * 2020-11-13 2021-04-16 广州大学 一种基于群体自适应行为识别的室内环境监控系统及方法
US11829166B2 (en) 2020-12-17 2023-11-28 International Business Machines Corporation Image analysis for temperature modification
CN113329227A (zh) * 2021-05-27 2021-08-31 中国电信股份有限公司 视频编码方法、装置、电子设备与计算机可读介质
KR20230015146A (ko) * 2021-07-22 2023-01-31 엘지전자 주식회사 공기조화기 및 그 동작방법
JP7477783B2 (ja) 2022-03-25 2024-05-02 ダイキン工業株式会社 画像処理システム、画像処理方法、及びプログラム
CN115376075B (zh) * 2022-10-25 2023-02-14 中节能绿建环保科技有限公司 智能楼宇的新风节能系统及其控制方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04141A (ja) * 1990-04-16 1992-01-06 Hitachi Ltd 空気調和システム
JPH06105312A (ja) * 1992-09-22 1994-04-15 Hitachi Ltd 静止物監視方法および装置
JP3289456B2 (ja) * 1993-12-27 2002-06-04 石川島播磨重工業株式会社 画像による異常検出方法
JPH08178390A (ja) 1994-12-22 1996-07-12 Sharp Corp 人体活動量算出装置、人体活動量着衣量算出装置およびそれを備えた空気調和機、人体異常通報機
JP2000172827A (ja) * 1998-12-03 2000-06-23 Sharp Corp 人体検知装置およびそれを用いた空気調和機
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
WO2001082646A1 (en) * 2000-04-24 2001-11-01 Mitsubishi Denki Kabushiki Kaisha Cellular phone and remote control system
JP2002133075A (ja) * 2000-10-23 2002-05-10 Shimizu Corp 商品の関心度合い評価システム
US6645066B2 (en) * 2001-11-19 2003-11-11 Koninklijke Philips Electronics N.V. Space-conditioning control employing image-based detection of occupancy and use
DE10308413A1 (de) * 2003-02-27 2004-09-16 Bayerische Motoren Werke Ag Verfahren zur Steuerung einer Heiz-Klima-Einrichtung im Fahrzeug
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
JP4075748B2 (ja) * 2003-09-11 2008-04-16 松下電器産業株式会社 画像記録装置
JP4587304B2 (ja) * 2005-04-08 2010-11-24 能美防災株式会社 画像処理装置
JP2007283932A (ja) * 2006-04-18 2007-11-01 Toyota Motor Corp 車両用乗員温熱装置
CN100360861C (zh) * 2006-05-25 2008-01-09 浙江工业大学 基于全方位计算机视觉的中央空调节能控制装置
CN100468245C (zh) 2007-04-29 2009-03-11 浙江工业大学 基于全方位计算机视觉的空调节能控制装置
DE102008033439A1 (de) * 2007-07-20 2009-01-29 Denso Corporation, Kariya Fahrzeugklimaanlage und Verfahren zur Steuerung der Fahrzeugklimaanlage
JP5175562B2 (ja) * 2008-01-28 2013-04-03 シャープ株式会社 人物位置検出装置および空気調和機
KR20090085895A (ko) 2008-02-05 2009-08-10 엘지전자 주식회사 공기조화기 및 그 제어방법
JP5162672B2 (ja) * 2008-10-28 2013-03-13 国立大学法人 筑波大学 通信用壁パネル及び通信用壁パネルを備えた介護システム及び通信用壁パネルを備えた会議システム
CN101603720B (zh) 2008-12-24 2011-02-09 昆山锐芯微电子有限公司 空调机
TWI397871B (zh) * 2009-08-04 2013-06-01 Chunghwa Telecom Co Ltd 事件自動化整合系統
US20110032423A1 (en) * 2009-08-06 2011-02-10 Sony Corporation Adaptive user profiling for tv-centric home automation system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101430308B1 (ko) * 2012-01-10 2014-08-14 미쓰비시덴키 가부시키가이샤 공기 조화기의 실내기
EP3176514A1 (en) 2015-12-04 2017-06-07 LG Electronics Inc. Air conditioner and control method therefor
US10436456B2 (en) 2015-12-04 2019-10-08 Lg Electronics Inc. Air conditioner and method for controlling an air conditioner

Also Published As

Publication number Publication date
EP2362351A1 (en) 2011-08-31
JP2011174648A (ja) 2011-09-08
KR101127493B1 (ko) 2012-03-22
US8432445B2 (en) 2013-04-30
CN102162667A (zh) 2011-08-24
JP4852159B2 (ja) 2012-01-11
US20110205371A1 (en) 2011-08-25
EP2362351B1 (en) 2013-04-17
CN102162667B (zh) 2014-01-22
CA2714382A1 (en) 2011-08-24

Similar Documents

Publication Publication Date Title
KR101127493B1 (ko) 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치
JP6428144B2 (ja) エリア情報推定装置、エリア情報推定方法、および空気調和装置
KR101203607B1 (ko) 공조 제어 시스템 및 공조 제어 방법
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
TWI623885B (zh) 修改由用於監測一場景的一視訊處理演算法所使用之至少一參數
US12000609B2 (en) Detecting presence and estimating thermal comfort of one or more human occupants in a built space in real-time using one or more thermographic cameras and one or more RGB-D sensors
KR20130085316A (ko) 원거리 사람 식별을 위한 다중 카메라 기반의 얼굴영상 획득 장치
JP4929828B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
JP5035467B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
KR101339026B1 (ko) 열화상 카메라 가시성 개선 방법 및 장치
CN104954747B (zh) 视频监视方法和装置
JP6779410B2 (ja) 映像解析装置、映像解析方法、及びプログラム
Hernández et al. People counting with re-identification using depth cameras
JP6799325B2 (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
US11281899B2 (en) Method and system for determining occupancy from images
EP4354853A1 (en) Thermal-image-monitoring system using plurality of cameras
KR20230051848A (ko) 위험 영역의 안전사고 예방을 위한 시스템 및 시스템의 동작 방법
CN110887161B (zh) 基于人脸识别和人脸追踪的送风控制方法及送风装置、空调
JP2016177740A (ja) 人物認証装置、人物認証システム及び人物認証方法
JP5846596B2 (ja) 監視装置及びプログラム
JP2019029747A (ja) 画像監視システム
Rantula et al. Biometrie feature detection from surveillance data using non-calibrated techniques
Banerjee et al. Multi person tracking using Kalman filter

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 7