KR20160045556A - 에어리어 정보 추정 장치, 에어리어 정보 추정 방법, 및 공기 조화 장치 - Google Patents

에어리어 정보 추정 장치, 에어리어 정보 추정 방법, 및 공기 조화 장치 Download PDF

Info

Publication number
KR20160045556A
KR20160045556A KR1020150116539A KR20150116539A KR20160045556A KR 20160045556 A KR20160045556 A KR 20160045556A KR 1020150116539 A KR1020150116539 A KR 1020150116539A KR 20150116539 A KR20150116539 A KR 20150116539A KR 20160045556 A KR20160045556 A KR 20160045556A
Authority
KR
South Korea
Prior art keywords
person
image
detected
coordinates
detection
Prior art date
Application number
KR1020150116539A
Other languages
English (en)
Inventor
히데키 츄조
세리야 이구치
세이이치 마나베
히로마츠 아오키
슌 사카이
? 사카이
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20160045556A publication Critical patent/KR20160045556A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G06K9/00771—
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F1/00—Room units for air-conditioning, e.g. separate or self-contained units or units receiving primary air from a central station
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/50—Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56—Remote control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/021—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a variable is automatically adjusted to optimise the performance
    • G06K9/00369—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • F24F2011/0035—
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fluid Mechanics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

[과제]
카메라의 화상으로부터 사람을 검출하고, 그 검출 결과를 기초로 센싱 에어리어에 관한 정보를 추정하는 처리에 있어서, 간이한 방법으로 추정 정밀도의 향상을 도모하는 기술을 제공한다.
[해결 수단]
에어리어 정보 추정 장치가, 센싱 에어리어를 촬영하는 카메라와, 상기 카메라의 화상으로부터 사람을 검출하는 사람 검출부와, 상기 사람 검출부에 의해 사람이 검출된 상기 화상상의 좌표에 의거하여, 당해 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 위치 산출부를 가지며, 상기 사람 검출부는, 화상상의 좌표와 사이즈의 관계가 소정의 조건을 충족시키지 않는 사람을, 검출의 대상으로부터 제외한다.

Description

에어리어 정보 추정 장치, 에어리어 정보 추정 방법, 및 공기 조화 장치{APPARATUS FOR ESTIMATING AREA INFORMATION, METHOD FOR ESTIMATING AREA INFORMATION, AND AIR CONDITIONER}
본 발명은, 카메라의 화상으로부터 센싱 에어리어에 관한 정보를 추정하는 기술에 관한 것이다.
요즘, 카메라로 촬영한 화상으로부터 사람을 검출하고, 그 검출 결과를 기초로 사람의 동선(動線), 바닥면(床面), 방이나 통로의 형상 등을 추정하고 싶다는 요구가 높아지고 있다. 이런 종류의 기술은, 감시 카메라나 화상 센서에서 센싱 에어리어의 구조 인식에 응용되거나, 최근에는, 가전 기기 등에도 조립되기 시작하고 있다.
예를 들면, 특허 문헌 1에는, 카메라의 화상을 이용하여 사람이 이동하고 있는지 아닌지를 검출하고, 사람이 이동하고 있는 경우에는 그 인물의 신장 추정을 행하거나, 인물의 이동 이력으로부터 방 내의 장애물을 검출하는 것, 나아가서는, 장애물의 검출 결과를 공기 조화 장치(에어컨)의 공조 제어에 이용하는 것이 개시되어 있다. 또한, 특허 문헌 2에는, 복수의 프레임 화상 사이에서의 두정부(頭頂部)의 좌표 변화를 감시함으로써, 사람의 정지/이동의 판정이나 자세의 판정을 행하는 방법이 제안되어 있다. 또한, 특허 문헌 3에는, 화상 중의 두부의 검출 결과를 이용하여, 신장을 추정하는 방법이 제안되어 있다.
특허 문헌 1 : 일본국 특개2013-24534호 공보 특허 문헌 2 : 일본국 특개2002-197463호 공보 특허 문헌 3 : 일본국 특개2013-37406호 공보
카메라의 화상으로부터 사람의 존재 위치(실세계(實世界)상의 위치)를 계산하는 수법의 대표적인 것으로서는, (1) 화상 중의 사람의 사이즈로부터 깊이(奧行) 거리(카메라와 사람의 사이의 거리)를 추정하고, 사람의 존재 위치를 계산하는 수법, (2) 2대의 카메라를 이용하여 2방향에서 사람을 촬영하고, 삼각측량의 원리에 의해 사람의 존재 위치를 계산하는 수법, 등이 알려져 있다.
그러나, 이들의 수법에는 다음과 같은 문제가 있다. (1)의 수법에서는, 화상 중의 사람의 사이즈를 기준으로 깊이 거리를 추정하는데, 사이즈의 검출 결과는 화상 품질, 해상도, 사람의 체격이나 체형, 사람의 자세나 방향 등에 의한 편파가 크기 때문에, 거리 추정 정밀도가 안정되지 않는다. 한편, (2)의 수법에서는, 카메라가 2대 필요하기 때문에, 단안(單眼) 카메라의 장치에 비하여 장치 비용이 높아진다. 또한, 2대의 카메라의 화상을 각각 처리하고, 그와 같은 정보를 조합시킨 다음 결과를 내기 때문에, 처리가 복잡하게 된다.
본 발명은 상기 실정을 감안하여 이루어진 것으로, 카메라의 화상으로부터 사람을 검출하고, 그 검출 결과를 기초로 센싱 에어리어에 관한 정보를 추정하는 처리에 있어서, 간이한 방법으로 추정 정밀도의 향상을 도모하는 기술을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명에서는 이하의 구성을 채용한다.
본 발명의 제1 양태에 관한 에어리어 정보 추정 장치는, 센싱 에어리어를 촬영하는 카메라와, 상기 카메라의 화상으로부터 사람을 검출하는 사람 검출부와, 상기 사람 검출부에 의해 사람이 검출된 상기 화상상의 좌표에 의거하여, 당해 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 위치 산출부를 가지며, 상기 사람 검출부는, 화상상의 좌표와 사이즈의 관계가 소정의 조건을 충족시키지 않는 사람을, 검출의 대상으로부터 제외하는 것을 특징으로 한다.
이 구성에 의하면, 화상상의 좌표와 사이즈의 관계가 소정의 조건을 충족시키지 않는 사람(추정 정밀도를 저하시키는 데이터)이 제외되기 때문에, 센싱 에어리어에 관한 정보를 정밀도 좋게 추정하는 것이 가능해진다. 또한, 화상상의 좌표와 사이즈의 관계가 소정의 조건을 충족시키는지의 여부를 평가·판정하는 것만으로 좋기 때문에, 극히 간이한 처리로 끝나고, 고속 처리가 용이하게 실현될 수 있다.
상기 사람 검출부는, 사람의 상반신을 검출하는 것으로서, 상기 위치 산출부는, 상기 사람 검출부에 의해 검출된 사람의 상반신의 화상상의 좌표 및 사이즈로부터 그 사람의 발밑(足元)의 화상상의 좌표를 구하고, 상기 발밑의 화상상의 좌표로부터 그 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하면 좋다. 이 구성에 의하면, 발밑의 좌표(즉, 바닥면에 접하는 점의 좌표)로부터 존재 위치를 계산하기 때문에, 거리 정밀도를 향상할 수 있다. 따라서, 센싱 에어리어에 관한 정보를 정밀도 좋게 추정하는 것이 가능해진다.
상기 사람 검출부는, 검출된 사람이 앉은자세(座位)인 경우와 선자세(立位)인 경우에서, 상기 소정의 조건을 다르게 하면 좋다. 앉은자세의 경우와 선자세의 경우에서 화상상의 좌표가 다르기 때문에, 다르기 맞추어서 소정의 조건을 변경함으로써, 앉은자세의 사람과 선자세의 사람의 양쪽의 존재 위치를 정밀도 좋게 구할 수 있다.
상기 사람 검출부는, 사람의 상반신을 검출하는 상반신 검출과, 사람의 전신을 검출하는 전신 검출을 행하고, 상반신 검출과 전신 검출의 양쪽에서 검출된 경우에 그 사람이 선자세라고 판단하고, 상반신 검출에서 검출되지만 전신 검출에서 검출되지 않은 경우에 그 사람이 앉은자세라고 판단하면 좋다. 이에 의해, 간이한 방법으로 앉은 자세의 사람과 선 자세의 사람을 분류할 수 있다.
또한, 본 발명의 제2 양태에 관한 에어리어 정보 추정 장치는, 센싱 에어리어를 촬영하는 카메라와, 상기 카메라의 화상으로부터 사람을 검출하는 사람 검출부와, 상기 사람 검출부에 의해 사람이 검출된 상기 화상상의 좌표에 의거하여, 당해 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 위치 산출부를 가지며, 상기 사람 검출부는, 화상 중에 전신이 찍히고 또한 선자세의 사람만을, 검출의 대상으로 하는 것을 특징으로 한다. 이 구성에 의하면, 전신 검출의 결과만을 이용함으로써, 앉아 있는 사람이나 신체의 일부가 숨겨져 있는 사람 등을 검출 대상으로부터 제외할 수 있다. 따라서, 센싱 에어리어에 관한 정보를 정밀도 좋게 추정하는 것이 가능해진다.
상기 위치 산출부는, 상기 사람 검출부에 의해 검출된 사람의 발밑의 화상상의 좌표로부터 그 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하면 좋다. 이 구성에 의하면, 발밑의 좌표(즉, 바닥면에 접하는 점의 좌표)로부터 존재 위치를 계산하기 때문에, 거리 정밀도를 향상할 수 있다. 따라서, 센싱 에어리어에 관한 정보를 정밀도 좋게 추정하는 것이 가능해진다.
또한, 본 발명의 제3 양태에 관한 에어리어 정보 추정 장치는, 센싱 에어리어를 촬영하는 카메라와, 상기 카메라의 화상으로부터 사람을 검출하는 사람 검출부와, 상기 사람 검출부에 의해 사람이 검출된 상기 화상상의 좌표에 의거하여, 당해 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 위치 산출부를 가지며, 상기 사람 검출부는, 사람의 상반신을 검출하는 것으로서, 상기 위치 산출부는, 상기 사람 검출부에 의해 검출된 사람의 상반신의 화상상의 좌표 및 사이즈로부터 그 사람의 발밑의 화상상의 좌표를 구하고, 상기 발밑의 화상상의 좌표로부터 그 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 것을 특징으로 한다. 이 구성에 의하면, 발밑의 좌표(즉, 바닥면에 접하는 점의 좌표)로부터 존재 위치를 계산하기 때문에, 거리 정밀도를 향상할 수 있다. 따라서, 센싱 에어리어에 관한 정보를 정밀도 좋게 추정하는 것이 가능해진다.
상기 위치 산출부는, 상반신의 사이즈에 대한 비율 계산에 의해 발밑의 좌표를 구하면 좋다. 일반적으로, 사람의 신체의 치수 비율은 대강 같기 때문에, 상반신의 사이즈에 대한 비율 계산만으로도 타당한 추정 결과를 얻을 수 있기 때문이다. 이에 의해, 간이한 처리를 실현할 수 있다.
상기 센싱 에어리어 내에서 소정의 기간 내에 검출된 사람의 존재 위치의 분포에 의거하여, 상기 센싱 에어리어 내에서 사람이 존재할 수 있는 존재 가능 에어리어를 추정하는 추정부를 또한 가지면 좋다. 또한, 상기 추정부는, 검출된 존재 위치의 각각을 확률밀도 분포로 평면도상에 서로 겹쳐져서, 누적 확률이 소정의 레벨 이상이 된 에어리어를 상기 존재 가능 에어리어라고 판정하면 좋다. 이 구성에 의하면, 검출된 존재 위치를 확률밀도 분포로 파악함으로써, 검출 오차의 영향을 저감할 수 있고, 사람의 존재 가능 에어리어의 추정을 정밀도 좋게 행하는 것이 가능해진다.
또한, 본 발명은, 상기 구성 내지 기능의 적어도 일부를 갖는 에어리어 정보 추정 장치로서 파악할 수 있다. 또한, 본 발명은, 이 에어리어 정보 추정 장치를 갖는 공기 조화 장치, 감시 카메라, 화상 센서, 로봇 비전, 컴퓨터 비전, 가전 기기로서 파악할 수도 있다. 또한, 본 발명은, 상기 처리의 적어도 일부를 포함하는 에어리어 정보 추정 방법, 또는, 이러한 방법을 컴퓨터에 실행시키기 위한 프로그램, 또는, 그와 같은 프로그램을 비일시적으로 기록한 컴퓨터 판독 가능한 기록 매체로서 파악할 수도 있다. 상기 구성 및 처리의 각각은 기술적인 모순이 생기지 않는 한 서로 조합시켜서 본 발명을 구성할 수 있다.
본 발명에 의하면, 카메라의 화상으로부터 사람을 검출하고, 그 검출 결과를 기초로 센싱 에어리어에 관한 정보를 추정하는 처리에 있어서, 간이한 방법으로 추정 정밀도의 향상을 도모할 수 있다.
도 1은 에어컨 장치의 기능 블록을 도시하는 도면.
도 2는 에어컨 장치의 외관을 도시하는 도면.
도 3은 공조 제어 처리의 전체의 흐름을 도시하는 플로 차트.
도 4는 화상으로부터의 사람 검출 처리 및 존재 위치의 산출 처리를 설명하는 도면.
도 5는 위치 산출부에 의한 좌표 계산의 구체례를 도시하는 도면.
도 6은 소정의 기간에 축적된 존재 위치 정보를 방의 평면도에 플롯한 도면.
도 7은 체형이 다른 경우의 추정 정밀도의 저하에 관해 설명하는 도면.
도 8은 검출 좌표와 검출 사이즈의 상관 관계에 관해 설명하는 도면.
도 9는 제1 실시 형태에서의 사람 검출 처리의 흐름을 도시하는 플로 차트.
도 10은 제2 실시 형태에서의 사람 검출부와 위치 산출부의 처리의 흐름을 도시하는 도면.
도 11은 제3 실시 형태에서의 사람 검출부와 위치 산출부의 처리의 흐름을 도시하는 도면.
도 12는 제4 실시 형태에서의 사람 검출 처리를 설명하는 도면.
도 13은 제4 실시 형태에서의 사람 검출 처리의 흐름을 도시하는 플로 차트.
도 14는 제5 실시 형태에서의 추정 처리를 설명하는 도면.
이하에 도면을 참조하여, 이 발명을 실시하기 위한 바람직한 형태를 예시적으로 상세하게 설명한다. 단, 이하의 실시 형태에 기재되어 있는 구성 부품의 치수, 재질, 형상, 그 상대 배치 등은, 특히 기재가 없는 한은, 이 발명의 범위를 그들만으로 한정하는 취지의 것은 아니다.
<제1 실시 형태>
(장치 구성)
도 1 및 도 2를 참조하여, 본 발명의 실시 형태에 관한 공기 조화 장치(이하, 「에어컨 장치」라고 칭한다)의 전체 구성에 관해 설명한다. 도 1은, 에어컨 장치의 기능 블록을 도시하는 도면이고, 도 2는, 에어컨 장치의 외관을 도시하는 도면이다. 이 에어컨 장치(1)는, 사람 검출 기능을 이용한 에어리어 정보 추정 장치(2)를 구비하고 있고, 에어리어 정보 추정 장치(2)에 의해 추정된 방 내지 공간에 관한 정보(이하, 「에어리어 정보」 또는 「공간 정보」라고도 칭한다)를 기초로 공조 제어를 실시하는 기능을 갖고 있다.
에어컨 장치(1)는, 주된 구성으로서, 에어리어 정보 추정 장치(2), 에어리어 정보 기억부(3), 공조 제어부(4), 온도 센서(5), 열교환기(6), 송풍 팬(7)을 갖고 있다. 에어리어 정보 기억부(3)에는, 에어컨 장치(1)가 설치된 방의 에어리어 정보가 기억된다. 에어리어 정보 추정 장치(2)는, 카메라(21), 사람 검출부(22), 위치 산출부(23), 위치 기억부(24), 추정부(25)를 갖고 있다.
공조 제어부(4)는, 프로세서나 메모리 등으로 구성되고, 프로세서가 프로그램을 실행함에 의해, 소망하는 온도, 풍향, 풍량의 운전 조건을 결정하고, 이 운전 조건으로 동작하도록 열교환기(6)나 송풍 팬(7) 등을 제어한다. 공조 제어부(4)는, 운전 조건을 결정할 때에, 리모컨(8)으로부터 입력되는 설정 조건(설정 온도 등)이나 온도 센서(5)로부터 얻어지는 실내 온도에 더하여, 에어리어 정보 추정 장치(2)에 의해 추정되어 에어리어 정보 기억부(3)에 등록된 에어리어 정보도 고려하여 운전 조건을 결정할 수 있다. 또한, 에어리어 정보 추정 장치(2)는 사람 검출 기능을 갖고 있기 때문에, 공조 제어부(4)는, 라얼타임의 사람 검출 결과도 고려하여 운전 조건을 결정할 수도 있다.
온도 센서(5)는, 예를 들면, 적외선 센서 등을 이용하여 실내의 온도를 취득한다. 열교환기(6)는, 실외기(부도시)와 접속되어 냉동 사이클을 구성하고, 열교환기(6) 내에 취입한 공기를 따뜻하게 하거나 식히거나 한다. 송풍 팬(7)은, 기류를 발생시키는 장치이고, 실내의 공기를 순환시킨다. 송풍 팬(7)은, 풍량 및 풍향(상하 방향 및 좌우 방향)을 조정 가능하다.
에어리어 정보 추정 장치(2)는, 추정 대상이 되는 에어리어(이하, 「센싱 에어리어」라고 칭한다)를 촬영한 화상으로부터 사람을 검출하고, 센싱 에어리어 내에서의 사람의 존재 위치를 기록하여 가고, 그 존재 위치의 분포에 의거하여 에어리어 정보를 생성하는 유닛이다. 본 실시 형태에서는, 에어리어 정보로서, 센싱 에어리어 내에서 바닥면이 노출하고 있는 영역(이하, 「바닥면 영역」라고 칭한다)를 추정한다. 여기서, 「바닥면이 노출」이란, 집기, 기둥, 벽 등의 사람의 통행이나 활동을 방해하는 물체가 존재하지 않는 상태를 말한다. 환언하면, 바닥면 영역은, 센싱 에어리어 내에서 사람이 존재(통행)할 수 있는 영역(이하, 「존재 가능 에어리어」라고도 칭한다)이다. 이와 같은 바닥면 영역을 고려한 공조 제어를 행함에 의해, 효율적인 난방 또는 냉방을 실현할 수 있다.
에어리어 정보 추정 장치(2)는, 프로세서, 메모리, 카메라(21) 등을 구비한 컴퓨터에 의해 구성되고, 프로세서가 프로그램을 실행함에 의해 사람 검출부(22), 위치 산출부(23), 위치 기억부(24), 추정부(25) 등의 기능을 실현한다. 또한, 이들의 기능부 중 일부 또는 전부를 ASIC나 FPGA 회로로 구성하여도 좋다. 에어리어 정보 추정 장치(2)는, 예를 들면, 프로세서, 각종 프로그램을 격납한 메모리, 카메라 모듈, 외부 I/F를 기판상에 탑재한 기기 조립형의 보드 컴퓨터로서 제공된다.
카메라(21)는, 도 2(a)에 도시하는 바와 같이 에어컨 장치(1)의 앞면에 부착되어 있고, 센싱 에어리어(예를 들면 방)의 내부를 촬영하고, 화상을 취득하는 것이 가능하다. 본 실시 형태의 카메라(21)의 촬영 방향(광축 방향)은, 도 2(b)에 도시하는 바와 같이, 수평면에 대해, 소정의 각도만큼 하향의 방향이고, 센싱 에어리어를 경사 상방에서 촬영할 수 있도록 되어 있다. 이와 같은 설정에 의해 에어컨 장치(1)에 가까운 에어리어를 카메라(21)의 화각 내(시야 내)에 넣는 것이 가능해진다. 단, 카메라(21)의 광축 방향을 수평면에 대해 하향으로 설정하는 것은 필수가 아니고, 예를 들면 광축 방향을 수평, 또는, 수평면보다도 약간 위를 향하게 설정하여도 좋다(즉, 카메라(21)의 화각 내(시야 내)에 촬영하여야 할 에어리어가 들어가 있으면 된다). 카메라(21)는 정기적으로 촬영(화상의 취입)을 행하고, 촬영 화상에 의거하여 사람 검출부(22)에 의한 사람 검출 처리가 실시된다. 촬영의 간격은 임의로 설정할 수 있다. 예를 들면, 수초부터 수분이라는 소정의 간격으로 촬영하여도 좋고, 시간대에 따라 촬영 간격을 바꾸거나, 사람을 검출하면 촬영 간격을 단축하는 제어를 행하여도 좋다.
사람 검출부(22)는, 카메라(21)에 의해 촬영된 화상으로부터 사람을 검출하는 기능을 갖는다. 화상으로부터 사람을 검출하는 수법으로서는, 예를 들면, 눈이나 입가 등의 국소적인 농도차나 머리색(髮色)·피부색(肌色) 등의 색 특징에 의거하여 얼다운 부분을 검출하는 ·얼굴 검출」, 실루엣(외형상(外形狀))에 의거하여 두부, 상반신, 또는 전신을 검출하는「인체 검출」 등, 다양한 알고리즘이 제안되어 있다. 사람 검출부(22)는 어느 알고리즘을 채용하여도 좋고, 복수종류의 알고리즘을 조합시켜서도 좋다. 얼굴 검출은 사람 이외의 물건을 오검출할 가능성이 낮다는 이점이 있다. 일방의 인체 검출(실루엣 검출)은, 사람 방향이나 자세에 대한 로버스트성이 높다는 이점이 있다. 또한, 인체 검출에서 두부, 상반신, 전신의 어느 쪽을 검출 대상으로 하는지는, 판별기의 학습에 이용한 데이터의 주는 방식에 의한다. 즉, 상반신 검출을 행하는 것이면, 상반신(예를 들면 가슴보다 위)이 찍힌 교사(敎師) 화상을 이용하여, 상반신의 실루엣의 특징을 판별기에 학습시킨다. 또한, 전신 검출을 행하는 것이면, 두부로부터 발밑까지가 찍힌 교사 화상을 이용하여 학습을 행하면 좋다. 이 때, 전향(前向), 사향(斜向), 횡향(橫向), 후향, 직립자세, 보행자세 등 다양한 방향·자세의 교사 화상을 학습에 이용함으로써, 자세 변화에 대해 로버스트한 인체 검출이 실현될 수 있다.
위치 산출부(23)는, 사람 검출부(22)에 의해 사람이 검출된 화상상의 좌표에 의거하여, 당해 사람의 센싱 에어리어 내의 존재 위치를 계산하는 기능을 갖는다. 상세하게는, 위치 산출부(23)는, 카메라(21)의 화각이나 설치 각도 등의 기지(旣知) 파라미터를 이용한 기하학 계산에 의해, 화상 좌표(X, Y)를 실(實) 공간에서의 바닥면상의 위치 좌표(T, L)로 변환하는 처리를 행한다. 본 실시 형태에서는, 화상 좌표계는, 화상의 하단(下端)의 중심을 원점(O)으로 하고, 화상의 수평 방향으로 X축, 화상의 수직 방향으로 Y축을 취한다. 또한, 바닥면 좌표계는, 도 2에 도시하는 바와 같이, 카메라(21)로부터 바닥면에 내린 수직선(垂線)의 끝(足)를 원점(O), 카메라(21)의 광축을 바닥면에 투영한 직선을 L축으로 하고, L축에 직교하도록 T축을 취한다. 즉, L은 광축 방향의 수평 거리, T는 광축에 직교한 방향의 수평 거리이다.
위치 기억부(24)는, 위치 산출부(23)에 의해 산출된 사람의 존재 위치(T, L)를 기억하는 데이터베이스이다. 위치 기억부(24)에는, 사람의 존재 위치의 정보뿐만 아니라, 검출 시각 등의 부가 정보를 관련시켜서 기억하여도 좋다. 사람 검출 처리를 어느 정도의 기간(예를 들면 수시간부터 수일간) 계속적으로 실행함으로써, 위치 기억부(24)에는, 당해 기간 내에 취득된 사람의 존재 위치의 분포(이력)가 축적된다.
추정부(25)는, 위치 기억부(24)에 축적된 사람의 존재 위치의 분포에 의거하여, 바닥면 영역(사람의 존재 가능 에어리어)을 추정하는 기능을 갖는다. 방 내에 집기 등이 설치되어 있는 경우, 사람이 통행(존재)할 수 있는 것은 집기 등이 설정돼있지 않은 영역, 즉 바닥면 영역으로 한정된다. 따라서 일정 기간에 축적된 사람의 존재 위치의 분포를 해석함으로써, 방 내의 바닥면 영역을 추정할 수 있다. 추정부(25)에 의해 얻어진 에어리어 정보는, 에어리어 정보 기억부(3)에 격납되고, 공조 제어부(4)의 공조 제어에 이용된다.
(처리 플로)
다음에, 도 3의 플로 차트에 따라, 에어컨 장치(1)에서 행하여지는 공조 제어 처리의 흐름에 관해 설명한다. 도 3은, 공조 제어 처리의 전체의 흐름을 도시하는 플로 차트이다.
우선, 카메라(21)가, 에어컨 장치(1)가 설치되어 있는 방(센싱 에어리어)의 부감(俯瞰) 화상을 취입한다(스텝 S10). 본 실시 형태에서는 수평 화소수(Hp)=1200, 수직 화소수(Vp)=1600의 그레이 스케일 화상이 취입된다.
다음에, 사람 검출부(22)가 화상으로부터 사람의 검출을 행한다(스텝 S11). 도 4(a)는, 1장의 화상으로부터 3명의 인물(41a, 41b, 41c)이 검출된 검출 결과례를 도시하고 있다. 사람 검출부(22)는, 검출된 각 인물(41a∼41c)의 화상상의 좌표 및 사이즈를 취득한다. 본 실시 형태에서는, 사람 검출 알고리즘으로서 상반신 검출(가슴부터 위의 부분의 실루엣에 의한 인체 검출)을 이용하고, 검출된 각 인물(41a∼41c)의 상반신을 둘러싸는 정방형의 중심 좌표(Xc, Yc)와 검출 사각형의 사이즈(1변의 화소수)(S)가 출력된다. 이하, 검출된 인물을 둘러싸는 사각형을 「검출 사각형」라고 부르고, 검출 사각형의 중심 좌표(Xc, Yc)를 「검출 좌표」라고도 부른다.
다음에, 위치 산출부(23)가, 검출된 각 인물(41a∼41c)의 검출 좌표(Xc, Yc) 및 사이즈(S)에 의거하여, 각 인물(41a∼41c)의 센싱 에어리어 내의 존재 위치(T, L)를 구한다(스텝 S12). 도 4(b)는, 검출된 각 인물(41a∼41c)의 존재 위치(T, L)의 계산례를 도시하고 있다. 도 4(b)는 바닥면을 연직 상방에서 본 평면도에 대응하고, 인물(41a, 41b, 41c)의 순서로 카메라(21)보다도 원방(遠方)에 존재하는 것이 나타나 있다.
도 4와 도 5를 이용하여, 위치 산출부(23)에 의한 좌표 계산의 구체례를 설명한다. 여기서는, 화상의 수평 화소수(Hp)[pixel], 수직 화소수(Vp)[pixel], 인체 폭(W)[㎜], 카메라의 내려다보는 각도(수평면과 광축이 이루는 각도)(α)[도], 카메라 수평 화각(θ)[도], 카메라 수직 화각(β)[도]가 기지 파라미터로서 주어지는 것으로 한다. 또한, Hp, Vp, β는 카메라(21)의 사양으로부터 정하여지고, α는 에어컨 장치(1)에 대한 카메라(21)의 설치 각도로부터 정하여진다. 또한, W는 성인의 평균적인 어깨폭의 값(예를 들면 450㎜)을 이용하면 좋다.
카메라(21)로부터 광축 방향 거리(D)[㎜]의 위치에 인물이 존재한 때에, 그 인물의 검출 좌표가 (Xc, Yc), 사이즈가 S[pixel]였다고 한다. 그래서, 카메라(21)로부터 거리(D)만큼 떨어진 위치에서는, 화상상의 사이즈[pixel]와 실 공간상의 사이즈[㎜]의 비가 S[pixel] : W[㎜]로 되기 때문에, 그 인물의 수평 위치(T)[㎜]는, 도 5(a)에 도시하는 바와 같이,
T=(X2×W)/S
로 구하여진다. 단, X2는, 화상의 중심(0, Vp/2)으로부터 인물의 검출 좌표(Xc, Yc)까지의 수평 방향 픽셀수이다(X2=Xc).
다음에 깊이 위치(L)[㎜]의 도출에 관해 기술한다. 도 5(b)에 도시하는 바와 같이, 카메라(21)로부터 거리(D)만큼 떨어진 위치에서, 수직 화각(β) 내에 들어 사이 물체측의 수직 거리를 V[㎜]로 하여 두면,
tan(β/2)=(V/2)/D
가 성립된다. 여기서, 카메라(21)로부터 거리(D)만큼 떨어진 위치에서는,
Vp/V=S/W
가 성립되기 때문에, 양 식으로부터 V를 지워서 정리하면,
D=(Vp×W)/(2×S×tan(β/2))
가 얻어진다. 따라서 도 5(b)에 도시하는 깊이 위치(L1)[㎜]는,
L1=D×cosα
=(Vp×W×cosα)/(2×S×tan(β/2))
로 구하여진다.
또한, 카메라(21)로부터 거리(D)만큼 떨어진 위치에서, 화상 중심으로부터 인물의 검출 좌표까지의 수직 방향 픽셀수를 Y2(=Yc-Vp/2), 실 공간에서의 수직 방향 거리를 V2[㎜]로 하여 두면,
Y2/V2=S/W
가 성립되기 때문에, 도 5(b)에 나타내는 깊이 위치(L2)[㎜]는,
L2=V2×sinα=(Y2×W×sinα)/S
로 구하여진다.
이상에 의해, 인물의 깊이 위치(L)[㎜]는,
L=L1+L2
=(Vp×W×cosα)/(2×S×tan(β/2))+(Yc×W×sinα)/S
로서 계산할 수 있다.
여기서 기술한 좌표 계산 수법은, 인체 폭(W)이 일정 값이라고 가정하고, 화상상의 사이즈(S)에 의거하여 그 인물의 평면 위치를 추정하는 수법이다(즉, 사이즈가 작을수록 카메라(21)로부터 멀어지고 있다고 가정한다). 이 수법은, 카메라(21)의 설치 높이(바닥면으로부터의 높이)가 불명하여도, 존재 위치(T, L)를 계산할 수 있다는 이점이 있다.
상기 계산에 의해, 화상으로부터 검출된 각 인물(41a∼41c)의 존재 위치(T, L)가 얻어지면, 도 3의 스텝 S13로 진행한다. 스텝 S13에서는, 위치 산출부(23)가, 각 인물(41a∼41c)의 위치 좌표를 위치 기억부(24)에 격납한다. 스텝 S10부터 스텝 S13의 처리는, 반복하여 실행된다. 따라서 복수의 검출 결과에서의 사람의 존재 위치가 위치 기억부(24)에 축적되게 된다.
소정의 기간만큼 스텝 S10부터 스텝 S13의 처리를 반복하면, 위치 기억부(24)에 축적된 사람의 존재 위치의 정보에 의거하여, 추정부(25)가 바닥면 영역(사람의 존재 가능 에어리어)을 추정한다(스텝 S14). 도 6은, 위치 기억부(24)에 축적된 존재 위치의 정보를 방의 바닥면을 나타내는 평면도상에 플롯한 모식도이다. 도 6의 X표(×)의 위치에서 사람이 검출된 것을 나타내고, X표의 분포에 의해, 방 내의 어느 영역에서 사람이 활동하고 있는지를 알 수 있다. 즉, X표가 플롯된 영역이, 사람이 통행(존재)할 수 있는 바닥면 영역으로 간주할 수 있고, 한편, X표가 전혀 플롯되지 않은 영역은, 집기 등이 설치된 영역 또는 데드 스페이스이고, 사람이 통행(존재)하는 일은 거의 없는 영역으로 간주할 수 있다. 도 6에서 해칭으로 나타낸 영역이, 추정된 바닥면 영역이다. 이와 같이 하여 얻어진 에어리어 정보는, 에어리어 정보 기억부(3)에 격납된다.
스텝 S15에서는, 취득된 에어리어 정보에 의거하여, 공조 제어부(4)가 공조 제어를 실시한다. 예를 들면, 사람이 자주 통행(존재)하는 장소에 우선적으로 바람을 보냄에 의해, 쾌적성을 효율적으로 향상시키는 제어를 행할 수가 있다. 또는, 방 형상에 의거하여 바람의 흐름을 예측하여, 통풍이 좋아지도록 풍향 등을 제어하여도 좋다.
(정밀도 향상을 위한 궁리)
상기 방법은 많은 경우에 양호한 결과를 얻을 수 있지만, 표준 체형으로부터 크게 벗어난 사람이 화상에 찍혀 있는 경우에, 에어리어 정보의 추정 정밀도의 저하를 초래할 가능성이 있다. 성인의 평균적인 인체 폭(W)을 기초로 거리계산을 행하고 있기 때문에, 도 4와 같이, 「깊이 위치가 먼 사람일수록 화상상의 사이즈가 작다」는 관계가 유지되어 있는 경우는 정밀도를 기대할 수 있지만, 도 7과 같이, 몸집이 작은 인물(71a)은 실제의 거리(표준 체형의 인물(70a)의 거리)보다도 멀리에, 역으로 몸집이 큰 인물(71b)은 실제의 거리보다도 가까이에 있다고 오인식 되어 버리기 때문이다. 물론 어느 정도의 오차는 허용하여도 상관없지만, 예를 들면, 바닥면상의 거리로 1m를 초과하는 오차가 생기면, 어플리케이션에 따라서는 오차를 무시할 수가 없는 경우가 있다.
그래서 본 실시 형태의 사람 검출부(22)는, 검출 대상(에어리어 정보의 추정에 이용하는 데이터)를 특정 범위의 체형(體形)이면서 선자세의 사람으로 한정함으로써, 에어리어 정보의 추정 정밀도의 저하를 억제하는 것으로 한다. 구체적으로는, 사람 검출부(22)는, 화상으로부터 검출된 사람 중, 화상상의 검출 좌표와 사이즈의 관계가 소정의 조건을 충족시키지 않는 사람을 노이즈(추정 정밀도를 저하시키는 데이터)로 간주하고, 검출 대상으로부터 제외한다는 조작을 행한다.
도 8(a)는, 표준 체형의 피험자를 여러가지의 거리에 세워서 촬영한 샘플 화상으로부터, 피검자의 검출 좌표(Xc, Yc)와 검출 사이즈(S)[pixel]를 취득하고, 횡축(Yc), 종축(S)의 그래프에 플롯한 결과를 도시한다. 또한, 도 8(b)에 도시하는 실험 조건은 다음과 같다.
·피검자의 인체 폭(어깨폭)(W)=450㎜, 신장(H)=1750㎜
·카메라의 설치 높이(h)=2200㎜, 카메라의 내려다보는 각도(α)=25도, 카메라 수직 화각(β)=56.6도, 수직 화소수(Vp)=1600pixel
도 8(a)로부터 알 수 있는 바와 같이, 같은 체형·자세의 사람으로 한정한 경우, 화상상의 사이즈(S)와 수직 좌표(Yc)는 상관 관계를 갖고 있고, 수직 좌표(Yc)가 작아질수록(화상의 아래에 있을수록) 사이즈(S)는 커진다. 이와 같은 실험 결과로부터, Yc값마다 대응하는 S값을 정할 수 있다. 이후, Yc값에 대응하는 적절한 S값을 「기준치(Sref)」라고 칭한다. Yc와 Sref의 관계는, 함수(Sref)=f(Yc)로 유지하여도 좋고, 도 8(c)에 도시하는 바와 같은 룩 업 테이블로 유지하여도 좋다.
그래서, 화상상의 검출 좌표(Yc)와 검출 사이즈(S)의 관계를 고려한 사람 검출 처리에 관해, 도 9의 플로 차트를 이용하여 설명한다. 도 9의 플로 차트는, 도 3의 스텝 S11의 상세 플로에 해당한다.
우선, 사람 검출부(22)는, 화상으로부터 사람의 상반신 검출을 행한다(스텝 S90). 도 7의 화상을 이용한 경우에는, 표준 체형의 인물(70a 및 70b)과, 몸집이 작은 인물(71a), 몸집이 큰 인물(71b)의 4인이 검출된다.
다음에, 사람 검출부(22)는, 스텝 S90에서 검출 검출된 인물마다, 검출 좌표(Yc)와 검출 사이즈(S)의 관계가 소정의 조건을 충족시키는지의 여부를 판정한다(스텝 S91). 본 실시 형태에서는, 사람 검출부(22)는, 검출 좌표(Yc)에 대응한 기준치(Sref)를 도 8(c)의 룩 업 테이블로부터 취득하고, 검출 사이즈(S)와 기준치(Sref)의 차의 절대치 |S-Sref|를 계산한다. 그리고, 그 값이 소정의 임계치(Th)보다 작은 경우(|S-Sref|<Th)에, 검출 좌표(Yc)와 검출 사이즈(S)의 관계가 소정의 조건을 충족시켜서 있다고 판정한다. 여기서, 임계치(Th)는, 검출 대상으로서 허용하는 체형(인체 폭(W)의 편차를 결정하는 파라미터이다. Th를 작게 할수록 검출 대상의 한정이 엄하여지고, Th를 크게 할수록 편차의 허용이 커진다. Th의 값은, 존재 위치의 추정 오차의 허용치에 응하여 정하면 좋다.
스텝 S91에서 「소정의 조건을 충족시키지 않는다」라고 판정된 인물은, 검출 결과로부터 제거된다(스텝 S92). 도 7의 예에서는, 몸집이 작은 인물(71a)과 몸집이 큰 인물(71b)의 2인이 제외되고, 사람 검출부(22)는, 표준 체형의 인물(70a 및 70b)의 2인의 검출 결과만을 출력한다.
이와 같이 노이즈를 제외한 사람 검출 결과만을 이용하여 이후의 처리(도 3의 스텝 S12∼S14)를 행함에 의해, 센싱 에어리어 내의 바닥면 영역을 정밀도 좋게 추정하는 것이 가능해진다.
또한, 도 8에 도시한 실험 결과, Yc와 Sref의 대응 관계, 허용 범위(Th) 등은 어디까지나 한 얘이고, 상정된 체형이나 카메라의 사양·설치 조건이 변하면, 그에 응하여 적절히 설정되어야 하는 것이다. 또한, 본 실시 형태에서는, 피검자 실험에 의해 Yc와 Sref의 대응 관계를 구하였지만, 상정되는 체형이나 카메라의 사양·설치 조건 등에 의거한 기하학 계산에 의해, Yc와 Sref의 대응 관계를 하기 식과 같이 구하여도 좋다.
[수식 1]
Figure pat00001
또한, 인체 폭(W)[㎜] 및 신장(H)[㎜]에 관해서는 성인의 평균치를 이용하는 것으로 하고, 카메라의 설치 높이(h)[㎜], 카메라의 내려다보는 각도(α)[도], 카메라 수직 화각(β)[도], 수직 화소수(Vp)[pixel]에 관해서는 기지의 파라미터이다.
<제2 실시 형태>
다음에 본 발명의 제2 실시 형태에 관해 설명한다. 제2 실시 형태에서는, 사람 검출 알고리즘으로서 전신 검출을 이용하는 점, 및, 발밑의 좌표로부터 실 공간상의 존재 위치를 계산하는 점이, 제1 실시 형태의 것과 다르다.
도 10(a)는, 사람 검출부(22)에 의한 검출 결과례를 모식적으로 도시하고 있다. 본 실시 형태의 사람 검출부(22)는, 사람 검출 알고리즘으로서 전신 검출(머리부터 발밑까지의 전신의 실루엣에 의한 인체 검출)을 이용한다. 이에 의해, 화상 중에 전신이 찍히고 또한 선자세의 사람(도 10(a)의 인물(100a∼100c))만이 검출 대상이 되고, 앉아 있는 사람(101)이나 신체의 일부가 숨겨져 있는 사람(102) 등은 노이즈(추정 정밀도를 저하시키는 데이터)로서 제외된다. 검출 결과로서는, 예를 들면, 검출 사각형의 중심 좌표(Xc, Yc)와 검출 사각형의 수평 사이즈(Sh), 수직 사이즈(Sv)가 출력된다.
도 10(b)에, 위치 산출부(23)에 의한 좌표 계산의 예를 모식적으로 도시한다. 여기서는, 화상의 수평 화소수(Hp)[pixel], 수직 화소수(Vp)[pixel], 카메라의 설치 높이(h)[㎜], 카메라의 내려다보는 각도(α)[도], 카메라 수직 화각(β)[도]이 기지 파라미터로서 주어지는 것으로 한다. 또한, Hp, Vp, β는 카메라(21)의 사양으로부터 정하여지고, h는 에어컨 장치(1)의 설치 높이부터 정하여지고, α는 에어컨 장치(1)에 대한 카메라(21)의 설치 각도로부터 정하여진다.
위치 산출부(23)는, 우선, 인물의 검출 좌표(Xc, Yc) 및 검출 사이즈(Sh, Sv)로부터, 그 인물의 발밑의 수직 좌표(Yb)[pixel]를 계산한다.
Yb=Yc-Sv/2
발밑의 수직 좌표(Yb)를 알면, 도 10(b)에 도시하는 바와 같이, 그 인물의 깊이 위치(L)[㎜]의 값을 하기 식에 의해 기하학적으로 계산할 수 있다.
[수식 2]
Figure pat00002
수평 위치(T)에 관해서는, 제1 실시 형태와 같은 수법으로 계산하여도 좋고, 수평 화소수(Hp)와 검출 수직 좌표(Yc)의 비로부터 계산하여도 좋다.
이상 기술한 제2 실시 형태의 수법에 의하면, 전신 검출의 결과만을 이용함으로써, 앉아 있는 사람이나 신체의 일부가 숨겨져 있는 사람 등을 검출 대상으로부터 제외할 수 있다. 더하여, 발밑의 좌표(즉, 바닥면에 접하는 점의 좌표)로부터 깊이 위치(L)를 계산하기 때문에, 제1 실시 형태와 같이 검출 사이즈(S)의 크기로부터 깊이 위치(L)를 계산하는 수법에 비하여 거리 정밀도를 향상할 수 있다. 따라서, 센싱 에어리어 내의 바닥면 영역을 정밀도 좋게 추정하는 것이 가능해진다.
<제3 실시 형태>
다음에 본 발명의 제3 실시 형태에 관해 설명한다. 제3 실시 형태에서는, 상반신 검출의 결과로부터 발밑의 좌표를 추정하는 방법을 채용한다.
이하, 도 11을 이용하여, 제3 실시 형태에서의 사람 검출부(22)와 위치 산출부(23)의 처리의 흐름을 설명한다. 본 실시 형태의 사람 검출부(22)는, 제1 실시 형태와 같이, 사람 검출 알고리즘으로서 상반신 검출(가슴보다 위의 부분의 실루엣에 의한 인체 검출)을 이용한다. 도 11(a)는, 두 사람의 인물(110a, 110b)이 검출된 예를 도시하고 있다. 인물(110a와 110b)의 체격의 차이에 의해, 서로의 검출 좌표(Yc1, Yc2) 및 검출 사이즈(S1, S2)에 차가 생기고 있다. 그 때문에, 제1 실시 형태에서 기술한 방법으로 깊이 위치(L)를 계산하면, 인물(110a와 110b)은 거의 같은 거리에 존재하고 있음에도 불구하고, 인물(110a와 110b)에서는 계산 결과에 오차가 발생하여 버린다.
그래서 본 실시 형태에서는, 도 11(b)에 도시하는 바와 같이, 위치 산출부(23)가, 각 인물(110a, 110b)의 검출 좌표(Yc1, Yc2)와 검출 사이즈(S1, S2)로부터, 각 인물(110a, 110b)의 발밑의 좌표(Yb1, Yb2)를 구하고, 그 발밑의 좌표(Yb1, Yb2)로부터 각 인물(110a, 110b)의 깊이 위치를 계산한다. 발밑의 좌표의 추정에는 어떤 알고리즘을 이용하여도 좋지만, 여기서는 단순하게, 검출 사이즈(즉 상반신의 사이즈)에 대한 비율 계산에 의해 발밑의 좌표를 구한다. 일반적으로, 사람의 신체의 치수 비율은 대강 같기 때문에, 상반신의 사이즈에 대한 비율 계산만으로도 타당한 추정 결과를 얻을 수 있기 때문이다. 예를 들면, 상반신의 사이즈 : 전신의 사이즈=1 : 3이라고 한 경우에는, 발밑의 좌표(Yb)는,
Yb=Yc-5S/2
로 계산할 수 있다. 도 11(b)에 도시하는 바와 같이, 검출 좌표(Yc1, Yc2)나 검출 사이즈(S1, S2)가 달라도, 비율 계산으로 구한 발밑의 좌표(Yb1, Yb2)는 대강 일치함을 알 수 있다.
이와 같이 발밑의 좌표(Yb1, Yb2)를 구한 후, 위치 산출부(23)는, 발밑의 좌표에 의거하여 각 인물(110a, 110b)의 존재 위치를 계산한다. 구체적인 계산 방법은 제2 실시 형태와 같다.
이상 기술한 제3 실시 형태의 수법에 의하면, 발밑의 좌표(즉, 바닥면에 접하는 점의 좌표)로부터 깊이 위치(L)를 계산하기 때문에, 제1 실시 형태와 같이 검출 사이즈(S)의 크기로부터 깊이 위치(L)를 계산하는 수법에 비하여 거리 정밀도를 향상할 수 있다. 따라서, 센싱 에어리어 내의 바닥면 영역을 정밀도 좋게 추정하는 것이 가능해지다. 또한, 제3 실시 형태에서도, 제1 실시 형태와 같이, 검출 좌표(Yc)와 검출 사이즈(S)의 관계가 소정의 조건을 충족시키지 않는 것을 검출 대상으로부터 제외하는 조작을 행하여도 좋다. 이들의 제외 조작을 행함에 의해, 정밀도의 새로운 향상을 기대할 수 있다.
<제4 실시 형태>
다음에 본 발명의 제4 실시 형태에 관해 설명한다. 제4 실시 형태에서는, 상반신 검출과 전신 검출을 조합시키는 방법을 채용한다.
도 12(a)에 도시하는 바와 같이, 선자세의 인물(120a)과 앉은자세의 인물(120b)이 같은 거리에 존재한 경우(체형은 같다고 한다), 두 사람의 인물(120a, 120b)의 검출 사이즈(S)는 같지만, 화상상의 검출 좌표(Yc)에 차가 생긴다. 즉, 앉은자세의 인물(120b)의 쪽이 검출 좌표(Yc)가 낮아진다. 그 때문에, 제1 실시 형태와 같이 검출 좌표(Yc)와 검출 사이즈(S)의 관계에 의거하여 검출 대상을 취사 선택한 경우, 앉은자세의 인물(120b)은 검출 대상으로부터 제외되어 버린다.
그래서 본 실시 형태에서는, 검출된 사람이 앉은자세인 경우와 선자세인 경우에서 소정의 조건을 다르게 함으로써, 앉은자세의 인물(120b)도 검출 대상으로서 선택되도록 한다. 이하, 구체적인 처리 플로에 관해 도 13을 이용하여 설명한다. 또한, 도 13의 플로 차트는, 제1 실시 형태에서의 도 3의 스텝 S11의 상세 플로에 해당한다.
우선, 사람 검출부(22)가 화상으로부터 상반신 검출을 행한다(스텝 S130). 또한, 사람 검출부(22)는, 같은 화상에 대해 전신 검출도 행한다(스텝 S131). 또한, 상반신 검출과 전신 검출의 순번은 반대라도 좋다. 도 12(b)에 검출 결과의 한 얘를 도시한다. 선자세의 인물(121a, 121b)은 상반신 검출과 전신 검출의 양쪽에서 검출되어 있지만, 앉은자세의 인물(122a)은 상반신 검출에서만 검출되어 있음을 알 수 있다.
다음에, 사람 검출부(22)는, 검출된 인물마다, 검출 좌표(Yc)와 검출 사이즈(S)의 관계가 소정의 조건을 충족시키는지의 여부를 판정한다. 이 때, 검출된 인물이 선자세인 경우(상반신 검출과 전신 검출의 양쪽에서 검출된 경우)와, 앉은자세인 경우(상반신 검출에서만 검출된 경우)로서, 처리를 분기(分岐)한다(스텝 S132). 즉, 사람 검출부(22)는, 선자세의 인물에 대해서는, 선자세용의 룩 업 테이블(또는 함수)로부터, 검출 좌표(Yc)에 대응하는 기준치(Sref)를 취득하고(스텝 S133), 선자세의 사람의 상반신 사이즈(S)가 허용 범위에 들어가 있는지를 평가하고(스텝 S134), 허용 범위 외의 경우는 검출 대상으로부터 제외한다(스텝 S135). 한편, 앉은자세의 인물에 대해서는, 앉은자세용의 룩 업 테이블(또는 함수)로부터, 검출 좌표(Yc)에 대응한 기준치(Sref)를 취득하고(스텝 S136), 앉은자세의 사람의 상반신 사이즈(S)가 허용 범위에 들어가 있는지를 평가하고(스텝 S137), 허용 범위 외의 경우는 검출 대상으로부터 제외한다(스텝 S138).
이상과 같이, 선자세의 인물의 데이터와 앉은자세의 인물의 데이터를 다른 기준으로 취사 선택 한 후, 남은 검출 결과만을 출력한다. 이와 같이 노이즈를 제외한 사람 검출 결과만을 이용하여 이후의 처리(도 3의 스텝 S12∼S14)를 행함에 의해, 센싱 에어리어 내의 바닥면 영역을 정밀도 좋게 추정하는 것이 가능해진다. 본 실시 형태의 경우는, 앉은자세의 인물의 데이터도 바닥면 영역의 추정에 이용할 수 있기 때문에, 사람의 존재 가능 에어리어를 빠짐없이 또한 정밀도 좋게 추정할 수 있다.
<제5 실시 형태>
다음에 본 발명의 제5 실시 형태에 관해 설명한다. 전술한 실시 형태에서는, 도 6에 도시하는 바와 같이, 검출된 존재 위치를 평면도상에 플롯한 맵을 이용하여, 플롯점(X표)의 분포(유무나 조밀(粗密))에 의거하여 바닥면 영역을 추정하고 있다. 이에 대해, 제5 실시 형태에서는, 추정부(25)가, 검출된 존재 위치를, 점이 아니라, 검출 오차를 고려한 확률밀도 분포(또는 그것에 유사한 형식)로 평면도상에 서로 겹쳐져서, 누적 확률이 소정의 레벨 이상이 된 에어리어를 바닥면 영역이라고 판정한다, 라는 구성을 취한다.
도 14(a)는, 점(T1, L1)의 위치에서 사람이 검출된 경우에, 평면도에 플롯된 확률밀도 분포의 예를 도시한다. 이 경우, 점(T1, L1)의 존재 확률이 가장 높다고 생각되기 때문에 점(T1, L1)에 대해 최대치(예를 들면 10포인트)를 준다. 또한, 검출 오차를 고려하여, 점(T1, L1)의 주변의 점에 대해서도, 점(T1, L1)부터의 거리에 응한 확률의 값(예를 들면, 점(T1, L1)에 가까운 측부터 차례로 8포인트, 6포인트, …, 1포인트)을 부여한다. 이 때, 검출 오차는 전방위에 균등하지 않다, 카메라에서 보아 깊이 방향의 검출 오차의 쪽이 크다고 생각되기 때문에, 도 14(a)에 도시하는 바와 같이, 깊이 방향으로 긴 분포를 이용하는 것이 바람직하다.
도 14(b)는, 위치 기억부(24)에 축적된 다수의 검출 위치 각각의 확률밀도 분포를 서로 포갠 예이다. 누적 확률(누적 포인트)이 큰 곳일수록 진한 색으로 나타나고 있다. 즉, 색이 진한 곳일수록 사람의 통행이 많은 곳이라고 생각된다. 이와 같은 누적 맵을 작성한 후, 추정부(25)는, 예를 들면 누적 확률(누적 포인트)이 80포인트를 초과한 에어리어를 바닥면 영역이라고 판정하면 좋다.
이상 기술한 제5 실시 형태의 구성에 의하면, 검출된 존재 위치를 확률밀도 분포로 파악함으로써, 검출 오차의 영향을 저감할 수 있고, 바닥면 영역(사람의 존재 가능 에어리어)의 추정을 정밀도 좋게 행하는 것이 가능해진다.
<기타의 실시 형태>
상술한 실시 형태의 구성은 본 발명의 구체례를 나타내는 것에 지나지 않고, 본 발명의 범위를 한정하는 취지의 것은 아니다. 본 발명은 그 기술 사상을 일탈하지 않는 범위에서, 여러가지의 구체적 구성을 취할 수 있는 것이다.
예를 들면, 상술한 실시 형태에서는, 에어리어 추정 결과를 에어컨 장치의 공조 제어에 이용하는 구성을 나타냈지만, 이것은 본 발명의 한 적용례에 지나지 않는다. 본 발명은, 감시 카메라, 화상 센서, 컴퓨터 비전, 로봇 비전 등에서의 센싱 에어리어 내의 구조 인식(사람의 동선, 바닥면(지면 포함한다), 작업 에어리어, 통로나 장애물의 파악 등)에 바람직하게 적용할 수 있다. 또한, 상술한 각 실시 형태는, 기술적인 모순이 생기지 않는 한에 있어서, 서로 조합하여도 좋다.
1 : 에어컨 장치
2 : 에어리어 정보 추정 장치
3 : 에어리어 정보 기억부
4 : 공조 제어부
5 : 온도 센서
6 : 열교환기
7 : 송풍 팬
8 : 리모컨
21 : 카메라
22 : 사람 검출부
23 : 위치 산출부
24 : 위치 기억부
25 : 추정부

Claims (13)

  1. 센싱 에어리어를 촬영하는 카메라와,
    상기 카메라의 화상으로부터 사람을 검출하는 사람 검출부와,
    상기 사람 검출부에 의해 사람이 검출된 상기 화상상의 좌표에 의거하여, 당해 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 위치 산출부를 가지며,
    상기 사람 검출부는, 화상상의 좌표와 사이즈의 관계가 소정의 조건을 충족시키지 않는 사람을, 검출의 대상으로부터 제외하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  2. 제1항에 있어서,
    상기 사람 검출부는, 사람의 상반신을 검출하는 것으로서,
    상기 위치 산출부는, 상기 사람 검출부에 의해 검출된 사람의 상반신의 화상상의 좌표 및 사이즈로부터 그 사람의 발밑의 화상상의 좌표를 구하고, 상기 발밑의 화상상의 좌표로부터 그 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  3. 제1항에 있어서,
    상기 사람 검출부는, 검출된 사람이 앉은자세인 경우와 선자세인 경우에서, 상기 소정의 조건을 다르게 하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  4. 제3항에 있어서,
    상기 사람 검출부는, 사람의 상반신을 검출하는 상반신 검출과, 사람의 전신을 검출하는 전신 검출을 행하고, 상반신 검출과 전신 검출의 양쪽에서 검출된 경우에 그 사람이 선자세라고 판단하고, 상반신 검출에서 검출되지만 전신 검출에서 검출되지 않은 경우에 그 사람이 앉은자세라고 판단하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  5. 센싱 에어리어를 촬영하는 카메라와,
    상기 카메라의 화상으로부터 사람을 검출하는 사람 검출부와,
    상기 사람 검출부에 의해 사람이 검출된 상기 화상상의 좌표에 의거하여, 당해 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 위치 산출부를 가지며,
    상기 사람 검출부는, 화상 중에 전신이 찍히고 또한 선자세의 사람만을, 검출의 대상으로 하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  6. 제5항에 있어서,
    상기 위치 산출부는, 상기 사람 검출부에 의해 검출된 사람의 발밑의 화상상의 좌표로부터 그 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  7. 센싱 에어리어를 촬영하는 카메라와,
    상기 카메라의 화상으로부터 사람을 검출하는 사람 검출부와,
    상기 사람 검출부에 의해 사람이 검출된 상기 화상상의 좌표에 의거하여, 당해 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 위치 산출부를 가지며,
    상기 사람 검출부는, 사람의 상반신을 검출하는 것으로서,
    상기 위치 산출부는, 상기 사람 검출부에 의해 검출된 사람의 상반신의 화상상의 좌표 및 사이즈로부터 그 사람의 발밑의 화상상의 좌표를 구하고, 상기 발밑의 화상상의 좌표로부터 그 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  8. 제2항 또는 제7항에 있어서,
    상기 위치 산출부는, 상반신의 사이즈에 대한 비율 계산에 의해 발밑의 좌표를 구하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 센싱 에어리어 내에서 소정의 기간 내에 검출된 사람의 존재 위치의 분포에 의거하여, 상기 센싱 에어리어 내에서 사람이 존재할 수 있는 존재 가능 에어리어를 추정하는 추정부를 또는 갖는 것을 특징으로 하는 에어리어 정보 추정 장치.
  10. 제9항에 있어서,
    상기 추정부는, 검출된 존재 위치의 각각을 확률밀도 분포로 평면도상에 서로 겹쳐져서, 누적 확률이 소정의 레벨 이상이 된 에어리어를 상기 존재 가능 에어리어로 판정하는 것을 특징으로 하는 에어리어 정보 추정 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 기재된 에어리어 정보 추정 장치와,
    상기 에어리어 정보 추정 장치에 의해 추정된 존재 가능 에어리어의 정보에 의거하여, 공조 제어를 행하는 제어 수단을 갖는 것을 특징으로 하는 공기 조화 장치.
  12. 센싱 에어리어를 촬영하는 카메라로부터 화상을 취득하는 스텝과,
    상기 카메라의 화상으로부터 사람을 검출하는 사람 검출 스텝과,
    상기 사람 검출 스텝에서 사람이 검출된 상기 화상상의 좌표에 의거하여, 당해 사람의 상기 센싱 에어리어 내의 존재 위치를 계산하는 위치 계산 스텝을 가지며,
    상기 사람 검출 스텝에서는, 화상상의 좌표와 사이즈의 관계가 소정의 조건을 충족시키지 않는 사람을, 검출의 대상으로부터 제외하는 것을 특징으로 하는 에어리어 정보 추정 방법.
  13. 제12항에 기재된 에어리어 정보 추정 방법의 각 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
KR1020150116539A 2014-10-17 2015-08-19 에어리어 정보 추정 장치, 에어리어 정보 추정 방법, 및 공기 조화 장치 KR20160045556A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-213240 2014-10-17
JP2014213240A JP6428144B2 (ja) 2014-10-17 2014-10-17 エリア情報推定装置、エリア情報推定方法、および空気調和装置

Publications (1)

Publication Number Publication Date
KR20160045556A true KR20160045556A (ko) 2016-04-27

Family

ID=54147054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150116539A KR20160045556A (ko) 2014-10-17 2015-08-19 에어리어 정보 추정 장치, 에어리어 정보 추정 방법, 및 공기 조화 장치

Country Status (5)

Country Link
US (1) US9715627B2 (ko)
EP (1) EP3029604B1 (ko)
JP (1) JP6428144B2 (ko)
KR (1) KR20160045556A (ko)
CN (1) CN105528571A (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6314712B2 (ja) * 2014-07-11 2018-04-25 オムロン株式会社 部屋情報推定装置、部屋情報推定方法、および空気調和装置
JP6589321B2 (ja) * 2015-03-24 2019-10-16 富士通株式会社 システム、検索方法およびプログラム
JP6333486B2 (ja) * 2016-06-03 2018-05-30 三菱電機株式会社 機器制御装置及び機器制御方法
IL246387A (en) * 2016-06-22 2017-05-29 Pointgrab Ltd METHOD AND SYSTEM FOR DETERMINING A BODY POSITION OF PRESENT
IL247101B (en) * 2016-08-03 2018-10-31 Pointgrab Ltd Method and system for determining present in the image
WO2018061925A1 (ja) * 2016-09-30 2018-04-05 日本電気株式会社 情報処理装置、長さ測定システム、長さ測定方法およびプログラム記憶媒体
US20200027231A1 (en) * 2016-09-30 2020-01-23 Nec Corporation Information processing device, information processing method, and program storage medium
KR20180071031A (ko) 2016-12-19 2018-06-27 엘지전자 주식회사 공기조화기 및 그 제어방법
WO2018216648A1 (ja) * 2017-05-22 2018-11-29 日本電気株式会社 群衆状態認識装置、学習方法および学習プログラム
KR102399673B1 (ko) * 2017-06-01 2022-05-19 삼성전자주식회사 어휘 트리에 기반하여 객체를 인식하는 방법 및 장치
CN107270605B (zh) * 2017-06-12 2019-12-06 青岛海尔特种电冰箱有限公司 一种冰箱及其控制方法
JP2019041261A (ja) * 2017-08-25 2019-03-14 株式会社 日立産業制御ソリューションズ 画像処理システムおよび画像処理システムの設定方法
US11308315B2 (en) * 2017-09-27 2022-04-19 Nec Corporation Information processing apparatus, control method, and program
CN108253596B (zh) * 2018-01-31 2021-01-08 广东美的制冷设备有限公司 空调送风方法、空调器及计算机可读存储介质
EP3770855A1 (en) * 2018-03-23 2021-01-27 NEC Corporation Information processing device, person search system, place estimation method, and non-temporary computer-readable medium in which program is stored
KR102040953B1 (ko) * 2018-04-10 2019-11-27 엘지전자 주식회사 인공지능에 기반하여 영역 선택적으로 동작하는 공기 조화기, 클라우드 서버, 및 이들의 동작 방법
JP2018134547A (ja) * 2018-06-11 2018-08-30 株式会社ユニバーサルエンターテインメント 遊技機
JP2018153697A (ja) * 2018-06-11 2018-10-04 株式会社ユニバーサルエンターテインメント 遊技機
JP7055762B2 (ja) * 2019-03-05 2022-04-18 アルパイン株式会社 顔特徴部検出装置、顔特徴部検出方法
CN110068113A (zh) * 2019-04-25 2019-07-30 南京邮电大学 一种基于深度学习的地铁环境温控系统及方法
WO2020241057A1 (ja) * 2019-05-29 2020-12-03 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
CN110332679B (zh) * 2019-05-29 2021-09-21 宁波奥克斯电气股份有限公司 一种空调送风方法和控制系统
CN111932491B (zh) * 2020-06-23 2022-02-08 联宝(合肥)电子科技有限公司 一种部件检测方法、装置及存储介质
JP2022177651A (ja) * 2021-05-18 2022-12-01 オムロン株式会社 画像認識装置、画像認識装置の方法、および画像認識装置プログラム
CN114413442B (zh) * 2022-01-07 2023-02-17 Tcl空调器(中山)有限公司 避风区识别方法、空调器、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197463A (ja) 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
JP2013024534A (ja) 2011-07-26 2013-02-04 Panasonic Corp 状況認識装置
JP2013037406A (ja) 2011-08-03 2013-02-21 Sogo Keibi Hosho Co Ltd 身長推定装置、身長推定方法、及び身長推定プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005974A (ja) * 1999-06-17 2001-01-12 Matsushita Electric Ind Co Ltd 物体認識方法及び物体認識装置
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
JP4002919B2 (ja) * 2004-09-02 2007-11-07 技研トラステム株式会社 移動体高さ判別装置
JP4431513B2 (ja) * 2005-03-16 2010-03-17 株式会社日立製作所 セキュリティシステム
JP4802112B2 (ja) * 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
FR2927444B1 (fr) * 2008-02-12 2013-06-14 Cliris Procede pour generer une image de densite d'une zone d'observation
JP4839330B2 (ja) * 2008-02-29 2011-12-21 東芝テリー株式会社 画像処理装置および画像処理プログラム
JP4691570B2 (ja) * 2008-02-29 2011-06-01 東芝テリー株式会社 画像処理装置およびオブジェクト推定プログラム
JP2010011441A (ja) * 2008-05-26 2010-01-14 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
CN102257529B (zh) * 2008-12-22 2014-03-19 日本电气株式会社 判断人的设备、方法
KR101569414B1 (ko) * 2008-12-26 2015-11-16 엘지전자 주식회사 공기조화기 및 그 동작방법
JP5230793B2 (ja) * 2009-02-24 2013-07-10 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
JP5483961B2 (ja) * 2009-09-02 2014-05-07 キヤノン株式会社 画像処理装置、被写体判別方法、プログラム及び記憶媒体
JP5162030B2 (ja) * 2009-09-03 2013-03-13 株式会社東芝 存在人数推定装置
JP5454065B2 (ja) * 2009-10-07 2014-03-26 パナソニック株式会社 空気調和機
WO2011046128A1 (ja) * 2009-10-16 2011-04-21 日本電気株式会社 人物服装特徴抽出装置、人物検索装置、及びその処理方法
JP5258977B2 (ja) * 2009-11-25 2013-08-07 本田技研工業株式会社 対象物距離測定装置及び当該装置が搭載された車両
JP2012042074A (ja) * 2010-08-17 2012-03-01 Panasonic Corp 空気調和機
JP2012108785A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 人数カウント装置、人数カウント方法及び人数カウントプログラム
JP5762730B2 (ja) * 2010-12-09 2015-08-12 パナソニック株式会社 人検出装置および人検出方法
JP5771413B2 (ja) * 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
RU2546327C1 (ru) * 2011-03-28 2015-04-10 Нек Корпорейшн Устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека
US20130170760A1 (en) * 2011-12-29 2013-07-04 Pelco, Inc. Method and System for Video Composition
JP5865784B2 (ja) * 2012-06-05 2016-02-17 日立アプライアンス株式会社 空気調和機
JP6335425B2 (ja) * 2012-10-17 2018-05-30 日立ジョンソンコントロールズ空調株式会社 空気調和機
JP2014164216A (ja) * 2013-02-27 2014-09-08 Omron Corp 広角撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197463A (ja) 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
JP2013024534A (ja) 2011-07-26 2013-02-04 Panasonic Corp 状況認識装置
JP2013037406A (ja) 2011-08-03 2013-02-21 Sogo Keibi Hosho Co Ltd 身長推定装置、身長推定方法、及び身長推定プログラム

Also Published As

Publication number Publication date
EP3029604B1 (en) 2021-04-14
CN105528571A (zh) 2016-04-27
US9715627B2 (en) 2017-07-25
EP3029604A3 (en) 2016-08-10
JP6428144B2 (ja) 2018-11-28
EP3029604A2 (en) 2016-06-08
JP2016080550A (ja) 2016-05-16
US20160110602A1 (en) 2016-04-21

Similar Documents

Publication Publication Date Title
KR20160045556A (ko) 에어리어 정보 추정 장치, 에어리어 정보 추정 방법, 및 공기 조화 장치
US10982871B2 (en) Equipment control device and method, utilizing basal metabolism data calculated from estimated characteristics of a person based on detected visible light image data and corresponding thermal image data
US9911226B2 (en) Method for cleaning or processing a room by means of an autonomously mobile device
KR101127493B1 (ko) 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치
US7142694B2 (en) Image processing apparatus
KR101035055B1 (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
US12000609B2 (en) Detecting presence and estimating thermal comfort of one or more human occupants in a built space in real-time using one or more thermographic cameras and one or more RGB-D sensors
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
JP5001930B2 (ja) 動作認識装置及び方法
CA2794659A1 (en) Apparatus and method for iris recognition using multiple iris templates
JP2009245338A (ja) 顔画像照合装置
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP3734793B2 (ja) 人物検出装置
JP2013024534A (ja) 状況認識装置
WO2013088517A1 (ja) 停立人物の向き推定方法
KR101469099B1 (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
JP2022553088A (ja) 画像追跡中のアクション検出
US20220366716A1 (en) Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program
JP4307283B2 (ja) ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法
WO2020261403A1 (ja) 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2007109126A (ja) 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム
JP6978080B2 (ja) 個室見守り装置
JP2006227739A (ja) 画像処理装置及び画像処理方法
US20200074166A1 (en) Method and system for determining occupancy from images
KR101291149B1 (ko) 이동 로봇의 천장 높이 추정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application