KR20180033270A

KR20180033270A - 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체

Info

Publication number: KR20180033270A
Application number: KR1020187005409A
Authority: KR
Inventors: 쥬니치 다나카; 마사토시 오바; 후미지 아이타
Original assignee: 오므론 가부시키가이샤
Priority date: 2016-06-07
Filing date: 2017-02-21
Publication date: 2018-04-02
Also published as: US10973441B2; EP3468180A4; EP3468180A1; KR101999934B1; US20200221977A1; JP6520831B2; WO2017212690A1; CN107925748B; JP2017220779A; EP3468180B1; CN107925748A

Abstract

표시 제어 장치(10)는, 화상 취득부(11), 자세 추정부(12), 제어부(13)를 구비하고 있다. 화상 취득부(11)는, 실내에 설치된 적외선 어레이 센서(21a, 21b)에 의해 검출된 적외선 화상(G1)을 취득한다. 자세 추정부(12)는, 화상 취득부(11)에 있어서 취득된 적외선 화상(G1)에 기초하여, 실내(30)에 있는 요개호자(P1)의 자세를 추정한다. 제어부(13)는, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세를 간이적으로 나타내는 더미 화상(D1)이, 적외선 화상(G1) 상에 겹쳐 표시되도록, 표시 장치(22)를 제어한다.

Description

표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체

본 발명은, 예를 들어 실내에 설치된 화상 센서에 있어서의 검출 결과를 사용하여 요개호자가 개호를 필요로 하는 상황을, 표시 장치에 표시시키는 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체에 관한 것이다.

근년, 고령자 등의 개호를 필요로 하는 사람(요개호자)의 실내에 있어서의 거동을 감시하여, 개호가 필요한 상황인지 여부를 표시하는 장치가 사용되고 있다.

예를 들어, 특허문헌 1에는, 인체의 자세의 천이 모델을 나타내는 정보와 천이 모델의 각 자세에서의 화상 데이터의 검사 영역을 나타내는 검사 정보를 참조하여 산출되는 화상 데이터의 검사 영역에서의 통계량에 기초하여, 자세 추정을 행하는 자세 추정 장치에 대하여 개시되어 있다.

이 자세 추정 장치에 따르면, 화상 처리를 사용하는 종래의 장치보다 적은 데이터 처리량으로 인체의 자세를 추정할 수 있다.

그러나, 상기 종래의 자세 추정 장치에서는, 이하에 나타내는 바와 같은 문제점을 갖고 있다.

즉, 상기 공보에 개시된 자세 추정 장치에서는, 요개호자 등의 인체의 자세를 적은 데이터 처리량으로 추정할 수 있기는 하지만, 요개호자가 개호를 필요로 하는 상태인지 여부를 정확하게 인식하기는 어렵다.

일본 특허 공개 제2015-231517호 공보

본 발명의 과제는, 예를 들어 요개호자가 개호를 필요로 하는 상황을, 효과적으로 개호자에게 인식시키는 것이 가능한 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체를 제공하는 데 있다.

제1 발명에 관한 표시 제어 장치는, 화상 취득부와, 자세 추정부와, 제어부를 구비하고 있다. 화상 취득부는, 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득한다. 자세 추정부는, 화상 취득부에 있어서 취득된 화상 데이터에 기초하여, 실내에 있는 인체의 자세를 추정한다. 제어부는, 자세 추정부에 있어서 추정된 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어한다.

여기서는, 예를 들어 요개호자의 상태를 확인하는 지켜보기를 실시하기 위해, 실내에 설치된 화상 센서로부터 취득된 화상 데이터를 사용하여 실내에 있는 사람(요개호자 등)의 자세를 추정하고, 그 자세를 간이적으로 나타내는 제1 더미 화상을, 화상 데이터 상에 겹쳐 표시시킨다.

여기서, 지켜보기 표시 제어의 대상으로 되는 실내의 인체는, 예를 들어 고령자나 신체 장애인 등과 같이 일상 생활에 개호를 필요로 하는 요개호자뿐만 아니라, 정상인이나 애완동물(동물) 등도 포함된다.

그리고, 실내에 설치된 화상 센서는, 단수여도 되고, 복수여도 된다. 그리고, 화상 센서의 설치 장소로서는, 실내에 있는 요개호자 등을 검출 가능한 위치, 예를 들어 천장이나 벽면 등이 고려된다. 또한, 화상 센서로서는, 감시 카메라 등의 촬상 장치를 사용해도 되고, 적외선 센서, 거리 센서 등을 사용해도 된다.

또한, 화상 데이터를 사용한 자세 추정은, 예를 들어 인체의 자세의 천이 모델을 사용하여 화상 데이터의 검사 영역에 있어서의 통계량을 산출하고, 이 통계량에 기초하여 일시점 전의 인체의 자세로부터 현시점의 인체의 자세를 추정하는 공지의 방법을 사용하면 된다(특허문헌 1 참조).

제1 더미 화상은, 추정되는 사람의 자세에 대응하는 사람의 형태를 간이적으로 나타내는 화상이며, 예를 들어 입위, 좌위, 와위 등, 복수의 자세에 대응하는 복수 종류의 화상이 준비된다. 그리고, 각 제1 더미 화상은, 각 자세에 관련지어진 상태로, 장치 내의 기억 수단에 보존되어도 되고, 외부 장치(서버, 클라우드 등)에 보존되어도 된다.

또한, 제어부에 의해 표시 제어되는 표시 장치로서는, 예를 들어 개호 시설이나 병원 등에서 사용될 때에는, 개호자나 간호사가 상주하는 집중 관리실의 모니터, 혹은 개호자나 간호사가 휴대하는 휴대 단말기 등을 사용할 수 있다.

이에 의해, 제어부에서는, 자세 추정부에 있어서 추정된 자세에 대응하는 제1 더미 화상을, 화상 취득부에 있어서 취득된 화상 데이터에 겹쳐 표시하도록, 표시 장치를 제어할 수 있다.

따라서, 예를 들어 표시 장치에 있어서의 표시를 본 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 간이적으로 나타내는 제1 더미 화상을 보고, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식할 수 있다.

제2 발명에 관한 표시 제어 장치는, 제1 발명에 관한 표시 제어 장치이며, 인체의 자세마다 대응지어진 상태로 복수의 제1 더미 화상을 보존하는 기억부를 더 구비하고 있다.

여기서는, 복수의 제1 더미 화상을 보존하는 기억부를 장치 내에 설치하고 있다.

이에 의해, 제어부는, 장치 내의 기억부에 보존된 복수의 제1 더미 화상 중에서, 자세 추정부에 있어서 추정된 자세에 대응하는 제1 더미 화상을 취출하여, 화상 데이터에 겹쳐 표시시킬 수 있다.

제3 발명에 관한 표시 제어 장치는, 제1 또는 제2 발명에 관한 표시 제어 장치이며, 제어부는, 화상 데이터에 포함되는 인체의 헤드부 혹은 얼굴의 위치를 기준으로 하여, 제1 더미 화상의 헤드부 혹은 얼굴 부분을 겹쳐 표시시킨다.

여기서는, 화상 데이터 상에 더미 화상을 겹칠 때에는, 화상 데이터에 있어서 검출되는 인체의 헤드부 혹은 얼굴의 위치를 기준으로 하여, 제1 더미 화상의 헤드부 혹은 얼굴의 위치를 겹쳐 표시시킨다.

여기서, 화상 데이터 중에 있어서의 헤드부 혹은 얼굴의 검출은, 예를 들어 카메라 화상이라면 눈의 위치, 적외선 화상이라면 온도가 높은 위치 등을 검출하여 설정할 수 있다.

이에 의해, 헤드부 혹은 얼굴 부분을 기준으로 하여, 인체의 자세에 맞추어 선택된 제1 더미 화상을 화상 데이터에 겹쳐 표시시킬 수 있다.

제4 발명에 관한 표시 제어 장치는, 제1 내지 제3 발명 중 어느 하나에 관한 표시 제어 장치이며, 화상 취득부에 있어서 연속적으로 취득된 복수의 화상 데이터를 참조하여, 화상 데이터 중의 인체 부근의 화상의 깜빡임에 따라, 개호의 긴급도를 판정하는 판정부를 더 구비하고 있다.

여기서는, 화상 취득부에 있어서 연속적으로 취득된 동화상 등의 화상 데이터를 사용하여, 화상 데이터 중의 인체 부근의 화상의 깜빡임이 큰지 작은지에 따라, 화상 데이터에 포함되는 사람(요개호자)이 개호를 필요로 하는지 여부를 판정한다.

여기서, 개호를 필요로 하는지 여부의 판정은, 예를 들어 좌위의 요개호자에 대하여, 연속적으로 취득된 화상 데이터의 인체 부근의 화상의 깜빡임이 거의 보이지 않는 상태에서 소정 시간 이상 경과하였는지 등으로 판정할 수 있다.

반대로, 예를 들어 좌위의 요개호자에 대하여, 연속적으로 취득된 화상 데이터의 인체 부근의 화상의 깜빡임이 보이는 경우에는, 요개호자가 옷을 갈아입고 있거나, 휴대 단말기를 조작하고 있는 등, 개호를 필요로 하지 않는 상태라고 판정할 수 있다.

이에 의해, 동화상 등의 연속적으로 취득된 화상 데이터에 있어서의 화상의 깜빡임을 참조함으로써, 요개호자의 자세에 기초하는 판정보다 정확하게, 요개호자가 개호를 필요로 하는지 여부를 판정할 수 있다.

제5 발명에 관한 표시 제어 장치는, 제4 발명에 관한 표시 제어 장치이며, 화상 센서는 열화상을 취득하는 적외선 센서이다. 판정부는, 적외선 센서에 있어서 연속적으로 취득된 열화상 중의 인체 부근의 영역에 있어서의 열 무게 중심의 위치의 요동의 정도에 따라 판정을 행한다.

여기서는, 화상 센서로서 적외선 센서를 사용한 경우에 있어서, 상술한 연속적으로 취득된 화상 데이터 중의 화상의 깜빡임에 기초하는 판정을 행할 때에는, 적외선 센서에 의해 취득된 열화상 중의 열 무게 중심의 위치의 요동에 따라, 판정을 행한다.

이에 의해, 화상 센서로서 적외선 센서를 사용한 경우라도, 열화상의 특성을 살려, 예를 들어 열 무게 중심의 위치의 변화가 소정의 역치보다 작은 경우에, 개호를 필요로 하는 상태라고 판정할 수 있다.

반대로, 열 무게 중심의 위치의 변화가 소정의 역치보다 큰 경우에는, 예를 들어 요개호자가 옷을 갈아입고 있거나, 휴대 단말기를 조작하고 있는 등, 개호를 필요로 하지 않는 상태라고 판정할 수 있다.

제6 발명에 관한 표시 제어 장치는, 제4 발명에 관한 표시 제어 장치이며, 화상 센서는 열화상을 취득하는 적외선 센서이다. 판정부는, 적외선 센서에 있어서 연속적으로 취득된 열화상 중의 인체 부근의 영역에 있어서의 열원의 확대를 검출하여 판정을 행한다.

여기서는, 화상 센서로서 적외선 센서를 사용한 경우에 있어서, 상술한 연속적으로 취득된 화상 데이터 중의 열원의 확대를 검출하여, 판정을 행한다.

이에 의해, 예를 들어 요개호자가 구토한 상태에 있음을, 적외선 센서에 의해 연속적으로 취득된 열화상을 사용하여 개호자에게 인식시킬 수 있다.

제7 발명에 관한 표시 제어 장치는, 제1 내지 제6 발명 중 어느 하나에 관한 표시 제어 장치이며, 화상 취득부에 있어서 취득된 화상 데이터에 포함되는 사람의 수를 추정하는 인원수 추정부를 더 구비하고 있다.

여기서는, 인원수 추정부에 의해, 화상 센서에 의해 검출되는 실내에 있는 사람의 수를 추정한다.

이에 의해, 예를 들어 요개호자가 독실에서 거주하고 있는 경우에 있어서, 요개호자 이외에 다른 사람이 실내에 있는지 여부를 추정할 수 있다.

혹은, 예를 들어 요개호자가 복수인 거주하고 있는 방인 경우에는, 거주 인원수보다 많은 사람이 있는지 여부를 추정할 수 있다.

제8 발명에 관한 표시 제어 장치는, 제7 발명에 관한 표시 제어 장치이며, 제어부는, 인원수 추정부에 있어서의 추정 결과, 화상 데이터 중의 인원수가 1명이라고 판정된 경우에, 표시 제어를 행한다.

여기서는, 예를 들어 요개호자가 독실에서 거주하고 있는 경우에 있어서, 요개호자 이외에 다른 사람이 실내에 있다고 추정된 경우에는, 요개호자와 함께, 그 가족, 친구, 개호자가 실내에 있는 것이 상정된다.

이 때문에, 요개호자를 개호할 수 있는 사람이 있다고 추정되기 때문에, 이 경우에는, 지켜보기 표시 제어의 대상 외로 할 수 있다.

제9 발명에 관한 표시 제어 장치는, 제1 내지 제8 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 자세 추정부에 있어서의 추정 결과에 따라, 표시 장치에 있어서 제1 더미 화상의 색을 변화시킨다.

여기서는, 자세 추정부에 있어서의 추정 결과, 예를 들어 실내의 침대 이외의 위치에 있어서, 요개호자가 와위의 상태라고 추정되는 경우에는, 개호를 필요로 한다고 판단하고, 긴급 시임을 알 수 있도록, 제1 더미 화상의 색을 통상 시와는 다른 색으로 변화시킨다.

여기서, 제1 더미 화상의 색으로서는, 예를 들어 통상 시에는 흑백 표시로 하고, 개호를 필요로 하는 긴급 시에는 적색, 황색 등으로 변화시키는 것이 바람직하다.

이에 의해, 표시 장치에 있어서의 표시를 본 개호자 등은, 긴급 시인지 여부를 용이하게 인식할 수 있다.

제10 발명에 관한 표시 제어 장치는, 제1 내지 제9 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 자세 추정부에 있어서의 추정 결과에 따라, 표시 장치에 있어서 제1 더미 화상을 점멸 표시시킨다.

여기서는, 자세 추정부에 있어서의 추정 결과, 예를 들어 실내의 침대 이외의 위치에 있어서, 요개호자가 와위의 상태라고 추정되는 경우에는, 개호를 필요로 한다고 판단하고, 긴급 시임을 알 수 있도록, 제1 더미 화상을 점멸 표시시킨다.

제11 발명에 관한 표시 제어 장치는, 제1 내지 제10 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 자세 추정부에 있어서의 추정 결과에 따라, 화상 데이터 상에 제1 더미 화상을 겹친 표시와 함께, 긴급 메시지를 표시 장치에 표시시킨다.

여기서는, 화상 데이터 상에 자세 추정에 의해 선택된 제1 더미 화상을 겹쳐 표시할 때, 예를 들어 개호를 필요로 하는 상태라고 판정된 경우에는, 화상 데이터와 함께 긴급 메시지를 표시 장치에 표시시킨다.

이에 의해, 화상 정보와 함께 문자 정보에 의해, 개호자 등에게 긴급 시임을 인식시킬 수 있다.

제12 발명에 관한 표시 제어 장치는, 제1 내지 제11 발명 중 어느 하나에 관한 표시 제어 장치이며, 자세 추정부는, 실내에 있는 인체를 상이한 방향으로부터 검출하는 복수의 화상 센서에 있어서의 검출 결과를 사용하여, 자세를 추정한다.

여기서는, 실내에 설치되는 화상 센서로서, 실내를 상이한 방향(예를 들어, 상방ㆍ측방 등)으로부터 각각 검출하는 복수의 화상 센서를 사용한다.

이에 의해, 자세 추정에 사용되는 화상 데이터로서, 검출 방향이 상이한 복수의 화상 데이터를 사용할 수 있기 때문에, 요개호자 등의 인체의 자세를 보다 정확하게 추정할 수 있다.

제13 발명에 관한 표시 제어 장치는, 제1 내지 제12 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 인체의 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 중 적어도 하나에 대응하는 제1 더미 화상을 화상 데이터에 겹쳐 표시 장치에 표시시킨다.

여기서는, 자세 추정부에 있어서 추정되는 인체의 자세 중, 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 중 적어도 하나에 대응하는 제1 더미 화상을 사용한다.

이에 의해, 예를 들어 요개호자 등의 자세를 세분화한 상태에서 추정하여, 그것에 대응하는 제1 더미 화상을 화상 데이터에 겹쳐 표시할 수 있다.

제14 발명에 관한 표시 제어 장치는, 제1 내지 제13 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 실내에 설치된 가구, 실내 설비에 대응하는 제2 더미 화상을, 화상 데이터 중의 가구, 실내 설비의 위치에 겹치도록 표시시킨다.

여기서는, 인체의 자세마다 대응하는 복수의 제1 더미 화상에 추가하여, 실내에 설치된 가구나 설비에 대응하는 제2 더미 화상을 사용하여, 화상 데이터에 겹쳐 표시 장치에 표시시킨다.

이에 의해, 예를 들어 실내에 설치된 침대, 이불, 장, 테이블, 의자, 간이 화장실 등의 위치에 제2 더미 화상을 겹쳐 표시함으로써, 실내에 있는 개호자가 어느 위치에서 무엇을 하고 있는지를 추정하기 쉽게 할 수 있다.

제15 발명에 관한 표시 제어 시스템은, 제1 내지 제14 발명 중 어느 하나에 관한 표시 제어 장치와, 화상 취득부에 대하여 화상 데이터를 공급하는 화상 센서를 구비하고 있다.

여기서는, 상술한 표시 제어 장치와, 실내에 설치된 화상 센서를 포함하는 표시 제어 시스템을 구성한다.

이에 의해, 상술한 바와 같이, 예를 들어 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 나타내는 제1 더미 화상을 보고, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식하는 것이 가능한 시스템을 구축할 수 있다.

제16 발명에 관한 표시 제어 시스템은, 제15 발명에 관한 표시 제어 시스템이며, 표시 제어 장치의 제어부에 의해 표시 제어되는 표시 장치를 더 구비하고 있다.

여기서는, 상술한 표시 제어 장치, 화상 센서, 표시 장치를 포함하는 표시 제어 시스템을 구성한다.

이에 의해, 상술한 바와 같이, 예를 들어 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 나타내는 제1 더미 화상을 표시 장치에서 확인하여, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식하는 것이 가능한 시스템을 구축할 수 있다.

제17 발명에 관한 표시 제어 시스템은, 제16 발명에 관한 표시 제어 시스템이며, 표시 장치에는, 실내에 있는 사람의 개호를 행하는 개호자가 사용하는 호스트 단말기의 표시 장치, 혹은 개호자가 소유하는 휴대 단말기가 포함된다.

여기서는, 제어부에 있어서 표시 제어되는 표시 장치로서, 예를 들어 개호자가 사용하는 집중 관리실에 설치된 호스트 단말기, 혹은 개호자가 소유하고 있는 휴대 단말기를 사용한다.

이에 의해, 예를 들어 개호자 등은, 실내에 있는 요개호자가 개호를 필요로 하는 상태인지 여부를, 제1 더미 화상이 겹쳐진 화상 데이터를, 호스트 단말기나 휴대 단말기 등으로 봄으로써, 용이하게 인식할 수 있다.

제18 발명에 관한 표시 제어 시스템은, 제15 내지 제17 발명 중 어느 하나에 관한 표시 제어 시스템이며, 화상 센서는, 인체를, 실내에 있어서의 상방으로부터 검출하는 제1 화상 센서와, 측방으로부터 검출하는 제2 화상 센서를 포함한다.

여기서는, 실내에 설치되는 화상 센서로서, 실내를 상방ㆍ측방으로부터 각각 검출하는 2개의 화상 센서를 사용한다.

이에 의해, 자세 추정에 사용되는 화상 데이터로서, 검출 방향이 상이한 2종류의 화상 데이터를 사용할 수 있기 때문에, 요개호자 등의 인체의 자세를 보다 정확하게 추정할 수 있다.

제19 발명에 관한 표시 제어 시스템은, 제15 내지 제18 발명 중 어느 하나에 관한 표시 제어 시스템이며, 화상 센서는 적외선 어레이 센서, 거리 센서 중 어느 것이다.

여기서는, 실내에 설치되는 화상 센서로서, 적외선 어레이 카메라, 거리 센서 중 어느 것을 사용한다.

이에 의해, 화상 센서로서 감시 카메라 등의 촬상 장치를 사용하는 경우와 비교하여, 자세 추정이나 제1 더미 화상을 겹칠 때의 처리 부담을 경감할 수 있다.

또한, 화상 센서에 의해 검출되는 요개호자나 개호자 등의 개인을 식별하기가 곤란해지기 때문에, 요개호자나 개호자 등의 프라이버시의 문제도 해소할 수 있다.

제20 발명에 관한 표시 제어 방법은, 화상 취득 스텝과, 자세 추정 스텝과, 제어 스텝을 구비하고 있다. 화상 취득 스텝은, 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득한다. 자세 추정 스텝은, 화상 취득 스텝에 있어서 취득된 화상 데이터에 기초하여, 실내에 있는 인체의 자세를 추정한다. 제어 스텝은, 자세 추정 스텝에 있어서 추정된 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어한다.

여기서는, 예를 들어 요개호자의 상태를 확인하기 위해, 실내에 설치된 화상 센서로부터 취득된 화상 데이터를 사용하여 실내에 있는 사람(요개호자 등)의 자세를 추정하고, 그 자세를 간이적으로 나타내는 제1 더미 화상을, 화상 데이터 상에 겹쳐 표시시킨다.

여기서, 실내에 설치된 화상 센서는, 단수여도 되고, 복수여도 된다. 그리고, 화상 센서의 설치 장소로서는, 실내에 있는 요개호자 등을 검출 가능한 위치, 예를 들어 천장이나 벽면 등이 고려된다. 또한, 화상 센서로서는, 감시 카메라 등의 촬상 장치를 사용해도 되고, 적외선 센서, 거리 센서 등을 사용해도 된다.

또한, 제어 스텝에 있어서 표시 제어되는 표시 장치로서는, 예를 들어 개호 시설이나 병원 등에서 사용될 때에는, 개호자나 간호사가 상주하는 집중 관리실의 모니터, 혹은 개호자나 간호사가 휴대하는 휴대 단말기 등을 사용할 수 있다.

이에 의해, 제어 스텝에서는, 자세 추정 스텝에 있어서 추정된 자세에 대응하는 제1 더미 화상을, 화상 취득 스텝에 있어서 취득된 화상 데이터에 겹쳐 표시하도록, 표시 장치를 제어할 수 있다.

제21 발명에 관한 표시 제어 프로그램은, 화상 취득 스텝과, 자세 추정 스텝과, 제어 스텝을 구비한 표시 제어 방법을 컴퓨터에 실행시킨다. 화상 취득 스텝은, 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득한다. 자세 추정 스텝은, 화상 취득 스텝에 있어서 취득된 화상 데이터에 기초하여, 실내에 있는 인체의 자세를 추정한다. 제어 스텝은, 자세 추정 스텝에 있어서 추정된 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어한다.

여기서는, 상기 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램이며, 예를 들어 요개호자의 상태를 확인하기 위해, 실내에 설치된 화상 센서로부터 취득된 화상 데이터를 사용하여 실내에 있는 사람(요개호자 등)의 자세를 추정하고, 그 자세를 간이적으로 나타내는 제1 더미 화상을, 화상 데이터 상에 겹쳐 표시시킨다.

제22 발명에 관한 기록 매체는, 화상 취득 스텝과, 자세 추정 스텝과, 제어 스텝을 구비한 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램을 기억하고 있다. 화상 취득 스텝은, 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득한다. 자세 추정 스텝은, 화상 취득 스텝에 있어서 취득된 화상 데이터에 기초하여, 실내에 있는 인체의 자세를 추정한다. 제어 스텝은, 자세 추정 스텝에 있어서 추정된 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어한다.

여기서는, 상기 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램을 보존한 기록 매체이며, 예를 들어 요개호자의 상태를 확인하기 위해, 실내에 설치된 화상 센서로부터 취득된 화상 데이터를 사용하여 실내에 있는 사람(요개호자 등)의 자세를 추정하고, 그 자세를 간이적으로 나타내는 제1 더미 화상을, 화상 데이터 상에 겹쳐 표시시킨다.

본 발명에 관한 표시 제어 장치에 따르면, 예를 들어 요개호자가 개호를 필요로 하는 상황을, 효과적으로 개호자에게 인식시킬 수 있다.

도 1은, 본 발명의 일 실시 형태에 관한 표시 제어 장치를 포함하는 표시 제어 시스템의 구성을 도시하는 블록도이다.
도 2는, 도 1의 표시 제어 시스템에 의해 표시 장치에 표시되는 화상이 취득되는 실내의 구성을 도시하는 사시도이다.
도 3의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 선반에 설치된 적외선 어레이 센서를 도시하는 도면이다.
도 4의 (a) 및 (b)는, 도 1의 표시 제어 시스템을 구성하는 표시 장치의 일례(호스트 컴퓨터, 휴대 단말기)를 도시하는 도면이다.
도 5는, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다.
도 6은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제2 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다.
도 7은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1ㆍ제2 화상 데이터의 검사 영역을 설명하기 위한 도면이다.
도 8은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1ㆍ제2 화상 데이터의 검사 영역을 설명하기 위한 도면이다.
도 9는, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의해 추정되는 자세의 천이 모델을 도시하는 도면이다.
도 10은, 도 9의 천이 모델 정보를 도시하는 도면이다.
도 11은, 도 9의 천이 모델에 있어서의 각 자세에 대한 제1ㆍ제2 화상 데이터의 검사 영역을 나타내는 영역 정보 및 각 자세로 천이하였는지를 판정하기 위한 기준값을 나타내는 기준값 정보를 도시하는 도면이다.
도 12는, 도 1의 표시 제어 시스템을 구성하는 표시 장치에 표시되는 화상을 도시하는 도면이다.
도 13은, 도 1의 표시 제어 장치에 의한 표시 제어의 흐름을 도시하는 흐름도이다.
도 14는, 도 1의 표시 제어 장치에 의한 자세 추정의 흐름을 도시하는 흐름도이다.
도 15의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 입위 화상을 도시하는 도면이다.
도 16의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 좌위 화상을 도시하는 도면이다.
도 17의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 와위 화상(이불 있음)을 도시하는 도면이다.
도 18의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 와위 화상(이불 젖힘)을 도시하는 도면이다.
도 19의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 전도 와위 화상(이상 발생)을 도시하는 도면이다.
도 20의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 전도 좌위 화상(이상 발생)을 도시하는 도면이다.
도 21의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(깜빡임 없음)을 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(헤드부 부근의 열원 확대)을 도시하는 도면이다.
도 22의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(잦은 깜빡임 있음)을 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(이불 젖힘, 잦은 깜빡임 있음)을 도시하는 도면이다.
도 23은, 도 2에 도시하는 실내의 측벽에 설치된 적외선 어레이 센서를 사용하여 촬상된 좌위 화상(잦은 깜빡임 있음)을 도시하는 도면이다.
도 24는, 본 발명의 다른 실시 형태에 관한 표시 제어 장치 및 이것을 구비한 표시 제어 시스템의 구성을 도시하는 블록도이다.
도 25의 (a), (b)는, 본 발명의 또 다른 실시 형태에 관한 표시 제어 장치에 의해 표시 제어되는 표시 장치의 전도 와위 화상(이상 발생)과 문자 정보를 조합한 표시를 도시하는 도면이다.

본 발명의 일 실시 형태에 관한 표시 제어 장치(10) 및 이것을 구비한 표시 제어 시스템(20)에 대하여, 도 1 내지 도 23을 사용하여 설명하면 이하와 같다.

1. 표시 제어 시스템(20)의 구성

본 실시 형태에 관한 표시 제어 시스템(20)은, 예를 들어 개호 시설이나 병원 등과 같이, 일상 생활에 있어서 개호를 필요로 하는 요개호자를 감시하면서, 요개호자의 상태를 개호자에게 정확하게 인식시키기 위한 시스템이다. 그리고, 표시 제어 시스템(20)은, 도 1에 도시하는 바와 같이, 표시 제어 장치(10)와, 적외선 어레이 센서(21a, 21b)와, 표시 장치(22)를 구비하고 있다.

여기서, 본 실시 형태의 표시 제어 시스템(20)에서는, 실내(30)에 있는 요개호자(인체)(P1)의 지켜보기를 행하기 위해, 도 2에 도시하는 바와 같이, 실내(30)의 상방 및 측방으로부터 요개호자(P1)를 촬상 가능한 2개의 적외선 어레이 센서(21a, 21b)를 사용하고 있다.

실내(30)에는, 침대(31), 휠체어(32) 등의 실내 설비가 설치되어 있고, 요개호자(P1)의 거주 공간이 형성되어 있다. 또한, 실내의 좌표계 X-Y-Z는, 도 2에 도시하는 바와 같다.

표시 제어 장치(10)는, 적외선 어레이 센서(21a, 21b)에 의해 촬상된 적외선 화상(G1)(도 12 참조)을 사용하여, 실내(30)에 있는 요개호자(P1)가 개호를 필요로 하는 상태인지 여부를 판정하고, 표시 장치(22)에 표시시킨다. 또한, 표시 제어 장치(10)의 상세한 구성에 대해서는, 후단에서 상세하게 설명한다.

여기서, 본 실시 형태의 표시 제어 장치(10)에서는, 실내(30)의 요개호자(P1)의 지켜보기를 행하기 위해, 적외선 화상(G1)(도 12 참조)을 사용하고 있다. 이에 의해, 예를 들어 감시 카메라 화상을 사용하여 지켜보기를 행하는 경우와 비교하여, 요개호자(P1)의 프라이버시를 보호하면서 지켜보기를 행할 수 있다.

또한, 적외선 센서(21a, 21b)는, 촬영한 적외선 화상(G1)에 있어서의 사람의 얼굴 부분이 2 내지 6화소로 되도록 설계되어 있다. 이에 의해, 화상 중의 얼굴 부분을 사용한 개인 인증 기술 등으로도 개인을 특정할 수 없도록 함으로써, 요개호자(P1)의 프라이버시를 보호하면서, 지켜보기를 행할 수 있다.

적외선 어레이 센서(21a, 21b)는, 도 2에 도시하는 바와 같이, 실내(30)의 천장(30a)에 설치되어 있고, 실내(30)에 있는 요개호자(P1)를 상방으로부터 촬상한다.

또한, 적외선 어레이 센서(제1 화상 센서)(21a)는, 도 3의 (a)에 도시하는 바와 같이, 실내(30)의 천장(30a)에 대하여 직접 고정되어 있다.

적외선 어레이 센서(21b)(제2 화상 센서)는, 도 2에 도시하는 바와 같이, 실내(30)의 벽면(30b)에 설치되어 있고, 실내(30)에 있는 요개호자(P1)를 측방으로부터 촬상한다.

또한, 적외선 어레이 센서(21b)는, 도 3의 (b)에 도시하는 바와 같이, 벽면(30b)이 아니라, 선반(33) 등의 실내 설비에 매립되도록 설치되어 있어도 된다.

적외선 어레이 센서(21a, 21b)에 있어서 취득된 적외선 화상 데이터는, 표시 제어 장치(10)의 화상 취득부(11)에 송신된다.

또한, 적외선 어레이 센서(21a, 21b)에 있어서 촬상된 적외선 화상 데이터는, 화소값이 높을수록 촬상 영역의 온도가 높고, 화소값이 낮을수록 촬상 영역의 온도가 낮다고 하는 특징을 갖고 있다. 즉, 인체가 존재하는 영역은 온도가 높기 때문에, 인체를 촬상한 영역의 화소의 값은 높아진다. 따라서, 적외선 화상 데이터로부터, 화소값이 높은 영역을 찾음으로써, 인체가 존재하는 영역(온도가 높은 영역)을 특정할 수 있다.

표시 장치(22)는, 예를 들어 개호 시설 내에 설치된 호스트 컴퓨터(22a)(도 4의 (a) 참조)의 모니터, 휴대 단말기(22b)(도 4의 (b) 참조) 등이며, 요개호자(P1)를 촬상한 적외선 화상(G1)(도 12 참조)을 표시한다. 그리고, 표시 장치(22)는, 표시 제어 장치(10)에 의해 표시 제어된다.

호스트 컴퓨터(22a)는, 예를 들어 개호 시설에 있어서의 개호자의 대기소 등에 설치된다. 이에 의해, 개호자는, 복수의 요개호자(P1)의 모습을 원격으로 확인할 수 있다.

또한, 휴대 단말기(22b)에는, 개호자가 소유하는 휴대 전화, 스마트폰, 태블릿 단말기 등이 포함된다.

이에 의해, 개호자가 다른 요개호자(P1)의 방에 있을 때나 이동 중이라도, 휴대 단말기(22b)에 화상을 송신함으로써, 긴급 시에는 요개호자(P1)의 원래 위치로 바로 급히 달려올 수 있다.

2. 표시 제어 장치(10)의 구성

본 실시 형태의 표시 제어 장치(10)는, 도 1에 도시하는 바와 같이, 화상 취득부(11)와, 자세 추정부(12)와, 제어부(13)와, 기억부(14)와, 판정부(15)와, 인원수 추정부(16)를 구비하고 있다.

화상 취득부(11)는, 2개의 적외선 어레이 센서(21a, 21b)에 의해 촬상된 적외선 화상 데이터를, 적외선 어레이 센서(21a, 21b)로부터 취득한다.

자세 추정부(12)는, 화상 취득부(11)에 있어서 취득된 적외선 화상 데이터를 사용하여, 실내(30)에 있는 요개호자(P1)의 자세를 추정한다.

또한, 자세 추정부(12)에 의한 자세 추정에 대해서는, 천이 모델을 사용한 공지의 방법(특허문헌 1 참조)을 사용하여 행해진다(후단에서 설명). 그리고, 자세 추정부(12)에 있어서 추정되는 요개호자(P1)의 자세로서는, 예를 들어 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 등이 포함된다.

제어부(13)는, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세에 기초하여, 기억부(14)에 보존된 각 자세에 대응하는 더미 화상(제1 더미 화상)(D1)(도 12 참조)을 선택한다. 그리고, 선택된 더미 화상(D1)을 적외선 화상(G1)에 겹친 상태로, 표시 장치(22)에 표시시킨다.

여기서, 더미 화상(D1)이란, 자세 추정된 요개호자(P1)의 모습ㆍ형태를 간이적으로 나타내는 화상이며, 복수 종류의 자세에 대응하는 화상이 준비되어 있다. 본 실시 형태에서는, 요개호자(P1)를 상방, 측방으로부터 촬상한 화상에 중첩하기 위해, 각각의 방향에 따른 더미 화상(D1)이 준비되어 있다.

또한, 제어부(13)에 의한 표시 장치(22)의 표시 제어에 대해서는, 후단에서 상세하게 설명한다.

기억부(14)는, 화상 취득부(11)에 있어서 취득된 적외선 화상 데이터를 보존함과 함께, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 복수 종류의 자세에 대응하는 복수의 더미 화상(D1)을 관련지어 보존한다.

또한, 기억부(14)에 보존되는 요개호자(P1)의 자세에 대응하는 더미 화상(D1)으로서는, 예를 들어 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 등에 대응하는 화상이 포함된다.

이들 더미 화상(D1)은, 실내(30)를 상방으로부터 촬상한 적외선 화상(G1), 측방으로부터 촬상한 적외선 화상(G1)의 각각의 자세에 대응하는 종류만 기억부(14)에 보존되어 있다.

예를 들어, 입위 자세에 대하여, 상방으로부터 촬상한 적외선 화상(G1)에 겹치기 위한 더미 화상(D1), 측방으로부터 촬상한 적외선 화상(G1)에 겹치기 위한 더미 화상(D1)이 형성되어 있으면 된다. 그 밖의 자세에 대해서도 마찬가지로, 상방으로부터의 적외선 화상(G1), 측방으로부터의 적외선 화상(G1)에 대응하는 더미 화상(D1)이, 기억부(14)에 보존되어 있다.

판정부(15)는, 화상 취득부(11)에 있어서 취득된 적외선 화상 데이터에 기초하여, 실내(30)에 있는 요개호자(P1)의 개호 긴급도를 판정한다.

구체적으로는, 판정부(15)는, 예를 들어 연속해서 취득된 복수의 적외선 화상(G1)(동화상)을 참조하여, 화상 중의 깜빡임의 변화, 열원의 확대 등을 검출하여, 개호의 긴급도를 판정한다.

예를 들어, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세가 좌위 자세이며, 화상 취득부(11)에 있어서 연속적으로 취득된 복수의 화상 중의 깜빡임의 변화가 작은 경우에는, 요개호자(P1)가 좌위 자세인 채로 축 늘어져 있을 우려가 있다.

반대로, 요개호자(P1)의 자세가 좌위 자세이며, 화상 취득부(11)에 있어서 연속적으로 취득된 복수의 화상 중의 깜빡임의 변화가 큰 경우에는, 요개호자(P1)가 좌위 자세인 채로 옷 갈아입기, 혹은 휴대 단말기의 조작 등의 동작을 하고 있다고 추측된다.

따라서, 연속적으로 취득된 복수의 적외선 화상(G1)에 있어서 동일한 자세인 채로 장시간 깜빡임이 거의 없는 경우에는, 판정부(15)는, 개호의 긴급도가 높다고 판정하고, 제어부(13)는, 표시 장치(22)에 경고 표시를 하게 한다.

또한, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세가 와위 자세이며, 화상 취득부(11)에 있어서 연속적으로 취득된 복수의 화상 중의 열원이 확대된 경우에는, 요개호자(P1)가 구토를 하고 있을 가능성이 높다(도 21의 (b) 참조).

따라서, 이 경우에는, 판정부(15)는, 개호의 긴급도가 높다고 판정하고, 제어부(13)는, 표시 장치(22)에 경고 표시를 하게 한다.

여기서, 경고 표시의 예로서는, 표시 장치(22)에 있어서, 더미 화상(D1)의 점멸 표시, 색을 변화시켜 표시, 문자 정보를 병용한 경고 등이 고려된다. 색을 변화시키는 경우에는, 예를 들어 더미 화상(D1)의 통상의 표시색으로부터 적색으로 변화시키면 된다. 또한, 문자 정보를 병용한 경고 표시로서는, 예를 들어 「요개호자가 개호를 필요로 하고 있습니다!」 등의 문자 표시를 병용하면 된다. 또한, 비프음 등의 경고음을 표시와 병용해도 된다.

인원수 추정부(16)는, 화상 취득부(11)에 있어서 취득된 적외선 화상 데이터를 사용하여, 실내(30)에 있는 사람의 인원수를 추정한다.

구체적으로는, 인원수 추정부(16)는, 적외선 화상(G1)에 포함되는 인간의 헤드부로 추정되는 고온 부분을 검출하여, 그 수를 계수함으로써, 실내(30)에 있는 사람의 수를 추정한다.

또한, 인원수 추정부(16)에 있어서 추정된 실내(30)의 인원수는, 제어부(13)에 송신된다. 제어부(13)는, 인원수 추정부(16)에 있어서 추정된 실내(30)의 인원수가 2명 이상인 경우에는, 표시 장치(22)의 표시 제어를 실시하지 않는다.

즉, 본 실시 형태의 표시 제어 장치(10)에서는, 예를 들어 실내(30)에 거주하는 요개호자(P1)의 인원수가 통상 1명인 경우에는, 요개호자(P1) 이외의 사람(예를 들어, 개호자나 근친자, 친구 등)이 실내(30)에 있는 경우에는, 지켜보기의 감시를 할 필요성이 낮다고 상정된다.

따라서, 본 실시 형태의 표시 제어 장치(10)에서는, 실내(30)에 요개호자(P1) 이외의 사람이 있는 경우, 즉 인원수 추정부(16)에 있어서의 추정이 2명 이상인 경우에는, 표시 장치(22)에 대한 표시 제어를 실시하지 않는다.

3. 표시 제어의 내용

3-1. 자세 추정

본 실시 형태의 표시 제어 장치(10)에서는, 상술한 바와 같이, 화상 취득부(11)가, 2개의 적외선 어레이 센서(21a, 21b)에 의해 각각 촬상된 적외선 화상 데이터를 취득한다. 그리고, 자세 추정부(12)가, 화상 취득부(11)에 있어서 취득된 상방으로부터 실내(30)를 촬상한 적외선 화상(G1)과 측방으로부터 실내(30)를 촬상한 적외선 화상(G1)을 사용하여, 요개호자(P1)의 자세를 추정한다.

자세 추정부(12)에 있어서의 요개호자(P1)의 자세의 추정은, 이하와 같은 수순으로 행해진다.

즉, 자세 추정부(12)는, 인체의 자세의 천이 모델에 있어서의 각 자세에서의 적외선 화상 데이터(상방 및 측방)의 검사 영역을 나타내는 영역 정보와, 각 자세로 천이하였는지를 판정하기 위한 기준값을 나타내는 기준값 정보를 포함하는 검사 정보를 사용하여 자세 추정을 행한다.

또한, 천이 모델 정보 및 검사 정보는, 현시점의 인체의 자세를 추정하기 위해 사용된다.

도 5 및 도 6은, 적외선 어레이 센서(21a)에 의해 천장(30a)(상방)으로부터 촬상된 적외선 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다. 적외선 화상 데이터는, X 방향으로 16화소, Y 방향으로 16화소로 구성된다.

영역(RV1)은, 적외선 화상 데이터의 전체 영역, 즉 0≤X≤15, 0≤Y≤15의 범위의 영역이다.

영역(RV2)은, 침대(31)(도 2 참조)에 대응하는 영역의 긴 변 방향의 경계에 인접하는 위치로부터 소정의 폭(3화소)의 영역, 즉 7≤X≤9, 3≤Y≤10의 범위의 영역이다.

영역(RV3)은, 침대(31)에 대응하는 영역, 즉 3≤X≤6, 3≤Y≤10의 범위의 영역이다.

영역(RV4)은, 영역(RV3)을 제외한 영역이며, 4개의 영역으로 구성된다. 제1 영역은 0≤X≤2, 0≤Y≤15의 범위의 영역이다. 제2 영역은 7≤X≤15, 0≤Y≤15의 범위의 영역이다. 제3 영역은 3≤X≤6, 0≤Y≤2의 범위의 영역이다. 제4 영역은 3≤X≤6, 11≤Y≤15의 범위의 영역이다.

도 7 및 도 8은, 적외선 어레이 센서(21b)에 의해 벽면(30b)(측방)으로부터 촬상된 적외선 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다. 적외선 화상 데이터는, X 방향으로 16화소, Z 방향으로 16화소로 구성된다.

영역(RH1)은, 제2 화상 데이터의 전체 영역, 즉 0≤X≤15, 0≤Z≤15의 범위의 영역이다.

영역(RH2)의 연직 방향(Z 방향)의 범위는, 전체 범위이다. 영역(RH2)의 수평 방향(X 방향)의 범위는, 침대(31)에 대응하는 범위(11≤X≤15)에 인접하는 위치로부터 소정의 폭(3화소)의 범위이다. 따라서, 영역(RH2)은 8≤X≤10, 0≤Z≤15의 범위의 영역이다.

영역(RH3)의 연직 방향(Z 방향)의 범위는, 침대(31)에 대응하는 범위의 상방의 경계에 인접하는 위치로부터 소정의 폭(5화소)의 범위이다. 영역(RH3)의 수평 방향(X 방향)의 범위는, 침대(31)에 대응하는 범위와 동일한 범위이다. 따라서, 영역(RH3)은 11≤X≤15, 5≤Z≤9의 범위의 영역이다.

영역(RH4)의 연직 방향(Z 방향)의 범위는, 침대(31)에 대응하는 범위의 상방의 경계에 인접하는 위치로부터 소정의 폭(3화소)의 범위이다. 영역(RH4)의 수평 방향(X 방향)의 범위는, 침대(31)에 대응하는 범위와 동일한 범위이다. 따라서, 영역(RH4)은 11≤X≤15, 7≤Z≤9의 범위의 영역이다.

영역(RH5)의 수평 방향의 범위는, 전체 범위로부터 침대(31)에 대응하는 범위를 제외한 범위이다. 영역(RH5)의 연직 방향의 범위는, 가장 낮은 위치(Z=15)로부터 상방을 향하여 소정의 폭(6화소)의 범위이다. 따라서, 영역(RH5)은 0≤X≤10, 10≤Z≤15의 범위의 영역이다.

영역(RH6)의 수평 방향의 범위는, 전체 범위로부터 침대(31)에 대응하는 범위를 제외한 범위이다. 영역(RH6)의 연직 방향의 범위는, 소정의 위치(Z=12)로부터 상방을 향하여 소정의 폭(3화소)의 범위이다. 따라서, 영역(RH6)은 0≤X≤10, 10≤Z≤12의 범위의 영역이다.

도 9는, 요개호자(인체)(P1)의 자세의 천이 모델을 도시하는 도면이다. 도 10은, 천이 모델 정보를 도시하는 도면이다.

감시 대상자인 요개호자(P1)가, 실내(30)에 부재(A)를 초기 상태로 한다.

자세(A)의 다음 자세는, 실내에 체류(B), 또는 원래 자세(A) 중 어느 것이다.

자세(B)의 다음 자세는, 침대(31) 옆에서 입위(C), 전도(X), 실내에 부재(A), 또는 원래 자세(B) 중 어느 것이다.

자세(C)의 다음 자세는, 침대(31) 위에서 와위(D), 침대(31) 위에서 좌위(E), 침대(31)단에서 좌위(F), 전도(X), 실내에 체류(B), 또는 원래 자세(C) 중 어느 것이다.

자세(D)의 다음 자세는, 침대(31) 위에서 좌위(E), 침대(31)단에서 좌위(F), 침대(31) 옆에서 입위(C), 침대(31) 위에서 전락(제1 패턴)(Y1), 또는 원래 자세(D) 중 어느 것이다.

자세(E)의 다음 자세는, 침대(31) 위에서 와위(D), 침대(31)단에서 좌위(F), 침대(31) 옆에서 입위(C), 침대(31) 위에서 전락(제1 패턴)(Y1), 또는 원래 자세(E) 중 어느 것이다.

자세(F)의 다음 자세는, 침대(31) 위에서 와위(D), 침대(31) 위에서 좌위(E), 침대(31) 옆에서 입위(C), 침대(31) 위에서 전락(제2 패턴)(Y2), 또는 원래 자세(F) 중 어느 것이다.

도 11은, 천이 모델에 있어서의 각 자세에서의 적외선 화상 데이터의 검사 영역과 적외선 화상 데이터의 검사 영역을 나타내는 영역 정보와, 각 자세로 천이하였는지를 판정하기 위한 기준값을 나타내는 기준값 정보를 도시하는 도면이다.

실내(30)에 부재(A)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV1)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH1)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THA 이상일 때, 자세(A)로 천이하였다고 판정된다.

실내(30)에 체류(B)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV1)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH1)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THB 이상일 때, 자세(B)로 천이하였다고 판정된다.

침대(31) 옆에서 입위(C)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV2)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH2)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THC 이상일 때, 자세(C)로 천이하였다고 판정된다.

침대(31) 위에서 와위(D)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV3)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH4)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THD 이상일 때, 자세(D)로 천이하였다고 판정된다.

침대(31) 위에서 좌위(E)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV3)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH3)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THE 이상일 때, 자세(E)로 천이하였다고 판정된다.

침대(31)단에서 좌위(F)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV3)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH2)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THF 이상일 때, 자세(F)로 천이하였다고 판정된다.

전도(X)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV4)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH5)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THX 이상일 때, 자세(X)로 천이하였다고 판정된다.

여기서, 침대(31)로부터 전락(제1 패턴)(Y1)으로 천이하였는지 여부를 판정하기 위해, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV2)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH6)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THY1 이상일 때, 자세(Y1)로 천이하였다고 판정된다.

또한, 이 판정에 영역(RH6)이 사용되는 이유는, 적외선 어레이 센서(21b)가 설치되어 있는 개소와, 요개호자(P1)가 침대(31)로부터 전락하는 개소의 거리가 짧기 때문에, 측방으로부터 촬상된 적외선 화상 데이터에서는, 전락한 요개호자(P1)를 촬상한 부분이, 가장 낮은 라인(Y=15)보다 높은 위치에 오기 때문이다.

또한, 침대(31)로부터 전락(제2 패턴)(Y2)으로 천이하였는지 여부를 판정하기 위해, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV2)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH6)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THY2 이상일 때, 자세(Y2)로 천이하였다고 판정된다.

또한, 이 판정에 영역(RH6)이 사용되는 이유는, 침대(31)로부터 전락(제1 패턴)과 동일하다.

3-2. 표시 제어

본 실시 형태의 표시 제어 장치(10)에서는, 상술한 자세 추정의 결과, 추정된 요개호자(P1)의 자세에 기초하여, 기억부(14)에 보존된 각 자세에 대응하는 더미 화상(D1)을 적외선 화상(G1)에 겹쳐 표시하도록, 표시 장치(22)를 제어한다.

즉, 기억부(14)에는, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세에 대응하는 복수의 더미 화상(D1)이 보존되어 있다. 따라서, 제어부(13)는, 자세 추정부(12)에 있어서의 자세 추정의 결과를 근거로 하여, 도 12에 도시하는 바와 같이, 적외선 화상(G1) 중의 요개호자(P1)의 자세에 따른 적절한 더미 화상(D1)을 기억부(14)로부터 판독하고, 적외선 화상(G1) 상에 겹쳐 표시시킨다.

여기서, 적외선 화상(G1) 상에, 추정된 자세에 대응하는 더미 화상(D1)을 겹쳐 표시할 때에는, 요개호자(P1)의 헤드부의 위치를 기준으로 하여 겹쳐진다.

보다 상세하게는, 적외선 화상(G1)에 있어서, 헤드부, 얼굴 부분은, 인체에 있어서의 높은 위치에 있는 경우가 많고, 또한 상시 노출되어 있는 경우가 많기 때문에 온도가 높은 부분으로서 표시된다. 따라서, 적외선 화상(G1)에 있어서의 헤드부, 얼굴 부분으로 추정되는 위치를 기준으로 하여, 더미 화상(D1)의 헤드부, 얼굴 부분을 겹치도록 위치 정렬을 행하여, 표시 장치(22)에 표시시킨다.

3-3. 표시 제어의 흐름

본 실시 형태의 표시 제어 장치(10)는, 도 13에 도시하는 흐름도에 따라, 표시 제어를 실시한다.

즉, 스텝 S11에서는, 화상 취득부(11)가, 2개의 적외선 어레이 센서(21a, 21b)를 사용하여 실내(30)를 상방 및 측방으로부터 촬상한 적외선 화상(G1)을 취득한다.

이어서, 스텝 S12에서는, 인원수 추정부(16)가, 취득된 적외선 화상(G1)을 사용하여, 실내(30)에 있는 사람의 수를 추정한다.

이어서, 스텝 S13에서는, 인원수 추정부(16)에 있어서 추정된 실내(30)에 있는 사람의 수가 1명인지 여부를 판정한다. 여기서, 1명인 경우에는, 스텝 S14로 진행한다. 한편, 2명 이상인 경우에는, 실내(30)에 요개호자(P1) 이외의 사람이 있어 간병 가능한 상태라고 판단하여, 표시 제어 처리를 종료한다.

이어서, 스텝 S14에서는, 자세 추정부(12)가, 스텝 S13에 있어서 실내(30)에 1명이 있다고 판정된 요개호자(P1)의 자세를 추정한다.

이어서, 스텝 S15에서는, 제어부(13)가, 스텝 S14에 있어서 추정된 요개호자(P1)의 자세(예를 들어, 입위 등)에 대응하는 더미 화상(D1)을, 기억부(14)로부터 판독한다.

이어서, 스텝 S16에서는, 제어부(13)가, 기억부(14)로부터 판독한 더미 화상(D1)을, 적외선 화상(G1)에 포함되는 요개호자(P1)의 헤드부 혹은 얼굴 부분을 기준으로 하여, 겹쳐 표시한다.

이에 의해, 개호자는, 표시 장치(22)에 표시되는 요개호자(P1)의 자세를 인식함과 함께, 이상의 유무를 용이하게 판단할 수 있다.

3-4. 자세 추정의 흐름

본 실시 형태의 표시 제어 장치(10)에서는, 도 13의 흐름도의 스텝 S14에 있어서의 자세 추정에 대하여, 도 14에 도시하는 흐름도에 따라 실시한다.

즉, 스텝 S11에 있어서, 2개의 적외선 어레이 센서(21a, 21b)로부터 적외선 화상(G1)을 취득한 후, 스텝 S21에서는, 적외선 화상(G1) 중의 요개호자(P1)의 자세가 전도ㆍ전락인지 여부를 판정한다. 여기서, 전도ㆍ전락이라고 판정된 경우에는, 스텝 S22로 진행한다. 한편, 전도ㆍ전락이 아니라고 판정된 경우에는, 전도ㆍ전락 이외의 자세이기 때문에, 스텝 S23으로 진행한다.

이어서, 스텝 S22에서는, 자세 추정부(12)가, 스텝 S21에 있어서의 판정 결과, 요개호자(P1)가 전도ㆍ전락 자세라고 판정한다.

이어서, 스텝 S23에서는, 적외선 화상(G1) 중의 요개호자(P1)가 침대 옆에 있는지 여부를 판정한다. 여기서, 요개호자(P1)가 침대 옆에 있다고 판정된 경우에는, 스텝 S24로 진행한다. 한편, 요개호자(P1)가 침대 옆에는 없다고 판정된 경우에는, 스텝 S25로 진행한다.

이어서, 스텝 S24에서는, 자세 추정부(12)가, 스텝 S23에 있어서의 판정 결과, 침대 옆에 있다고 판정한다.

이어서, 스텝 S25에서는, 적외선 화상(G1) 중의 요개호자(P1)가 침대 위에 있는지 여부를 판정한다. 여기서, 요개호자(P1)가 침대 위에 있다고 판정된 경우에는, 스텝 S26으로 진행한다. 한편, 요개호자(P1)가 침대 위에는 없다고 판정된 경우에는, 스텝 S29로 진행한다.

이어서, 스텝 S26에서는, 적외선 화상(G1) 중의 요개호자(P1)가 침대 위에서 좌위 자세인지 여부를 판정한다. 여기서, 요개호자(P1)가 침대 위에서 좌위 자세라고 판정된 경우에는, 스텝 S27로 진행한다. 한편, 요개호자(P1)가 침대 위에서 좌위 자세는 아니라고 판정된 경우에는, 스텝 S28로 진행한다.

이어서, 스텝 S27에서는, 자세 추정부(12)가, 스텝 S26에 있어서의 판정 결과, 요개호자(P1)는 침대 위에서 좌위 자세라고 판정한다.

이어서, 스텝 S28에서는, 자세 추정부(12)가, 스텝 S26에 있어서의 판정 결과, 요개호자(P1)는 침대 위에서 와위 자세라고 판정한다.

이어서, 스텝 S29에서는, 요개호자(P1)가 침대 옆, 침대 위 중 어디에도 없기 때문에, 적외선 화상(G1) 내의 측정 영역 내에 있는지 여부를 판정한다. 여기서, 요개호자(P1)가 측정 영역 내에 있다고 판정된 경우에는, 스텝 S30으로 진행한다. 한편, 요개호자(P1)가 측정 영역 외에 있다고 판정된 경우에는, 스텝 S31로 진행한다.

이어서, 스텝 S30에서는, 요개호자(P1)가, 침대 옆, 침대 위 이외의 실내(30)의 위치에서 이동 중이라고 판정한다.

이어서, 스텝 S31에서는, 다시, 요개호자(P1)가 침대 위에 없는지를 확인한다. 여기서, 요개호자(P1)가 침대 위에 있다고 판정되면, 스텝 S33으로 진행한다. 한편, 침대 위에 없다고 판정되면, 스텝 S32로 진행한다.

이어서, 스텝 S32에서는, 적외선 화상(G1)을 사용하여 판정한 결과, 요개호자(P1)가, 전도ㆍ전락하지 않고, 침대 옆, 침대 위, 측정 영역 내에도 없기 때문에, 측정 영역 외에 있다고 판정된다.

이어서, 스텝 S33에서는, 스텝 S32에 있어서, 요개호자(P1)가 침대 위에 있다고 판정되었기 때문에, 예를 들어 이불을 덮은 상태의 와위 자세라고 판정된다.

4. 각 자세에 대한 더미 화상의 표시예

4-1. 입위 자세

도 15의 (a) 및 도 15의 (b)에 도시하는 바와 같이, 요개호자(P1)가 입위 자세인 경우에는, 요개호자(P1)가 서 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.

구체적으로는, 도 15의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 헤드 위에서 촬상하였기 때문에, 헤드부나 어깨 부분이 평면 시로 표시되는 더미 화상(D1)이 사용된다.

한편, 도 15의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)의 전신을 표시하는 더미 화상(D1)이 사용된다.

또한, 도 15의 (a) 및 도 15의 (b)에 도시하는 적외선 화상(G1) 상에는, 실내 설비로서의 침대(31)를 나타내는 더미 화상(제2 더미 화상)(D2)이 표시되어 있다.

이에 의해, 개호자는, 실내(30)에 있어서의 어느 위치에 요개호자(P1)가 있는지를 침대(31) 등의 실내 설비의 위치를 참조하면서 인식할 수 있다.

4-2. 좌위 자세

도 16의 (a) 및 도 16의 (b)에 도시하는 바와 같이, 요개호자(P1)가 좌위 자세인 경우에는, 요개호자(P1)가 휠체어나 의자에 앉아 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.

구체적으로는, 도 16의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 헤드 상으로부터 촬상하였기 때문에, 헤드부나 어깨 부분에 추가하여 발 부분이 평면 시로 표시되는 더미 화상(D1)이 사용된다.

한편, 도 16의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 신체를 굴곡시킨 자세를 표시하는 더미 화상(D1)이 사용된다.

4-3. 와위 자세(이불 있음)

도 17의 (a) 및 도 17의 (b)에 도시하는 바와 같이, 요개호자(P1)가 침대(31) 위에서 자고 있는 와위 자세인 경우에는, 요개호자(P1)가 침대(31) 위에서 자고 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.

구체적으로는, 도 17의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 자고 있는 요개호자(P1)를 상방으로부터 촬상하였기 때문에, 요개호자(P1)의 전신이 표시되는 더미 화상(D1)이 사용된다.

또한, 침대(31) 위에서 자고 있는 요개호자(P1)가 이불(더미 화상(D3))을 덮고 경우에는, 도 17의 (a)에 도시하는 바와 같이, 적외선 화상(G1) 상에서는 이불을 덮은 부분은 온도가 낮은 부분으로서 표시되고, 헤드부만이 온도가 높은 부분으로서 표시된다.

한편, 도 17의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 침대(31) 위에서 자고 있는 와위 자세를 표시하는 더미 화상(D1)이 사용된다.

또한, 도 17의 (a)와 마찬가지로, 침대(31) 위에서 자고 있는 요개호자(P1)가 이불을 덮고 있는 경우에는, 도 17의 (b)에 도시하는 바와 같이, 적외선 화상(G1) 상에서는 이불을 덮은 부분은 온도가 낮은 부분으로서 표시되고, 헤드부만이 온도가 높은 부분으로서 표시된다.

4-4. 와위 자세(이불 젖힘)

도 18의 (a) 및 도 18의 (b)에 도시하는 바와 같이, 요개호자(P1)가 침대(31) 위에서 자고 있는 와위 자세이며, 이불(더미 화상(D3))을 젖힌 경우에는, 요개호자(P1)가 침대(31) 위에서 자고 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.

구체적으로는, 도 18의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 자고 있는 요개호자(P1)를 상방으로부터 촬상하였기 때문에, 요개호자(P1)의 상반신이 표시되는 더미 화상(D1)이 사용된다.

또한, 침대(31) 위에서 자고 있는 요개호자(P1)가 이불(더미 화상(D3))을 하반신에 덮고 경우에는, 도 18의 (a)에 도시하는 바와 같이, 적외선 화상(G1) 상에서는 이불을 덮은 부분은 온도가 낮은 부분으로서 표시되고, 상반신만이 온도가 높은 부분으로서 표시된다.

한편, 도 18의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 침대(31) 위에서 자고 있는 와위 자세를 표시하는 더미 화상(D1)이 사용된다.

또한, 도 18의 (a)와 마찬가지로, 침대(31) 위에서 자고 있는 요개호자(P1)가 하반신에 이불을 덮고 있는 경우에는, 도 18의 (b)에 도시하는 바와 같이, 적외선 화상(G1) 상에서는 이불을 덮은 부분은 온도가 낮은 부분으로서 표시되고, 상반신만이 온도가 높은 부분으로서 표시된다.

4-5. 와위 자세(전도)

도 19의 (a) 및 도 19의 (b)에 도시하는 바와 같이, 요개호자(P1)가 침대(31) 옆에서 전도된 와위 자세인 경우에는, 요개호자(P1)가 침대(31)(더미 화상(D2)) 옆에서 쓰러져 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.

구체적으로는, 도 19의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 침대(31) 옆에서 쓰러져 있는 요개호자(P1)를 상방으로부터 촬상하였기 때문에, 요개호자(P1)의 전신이 표시되는 더미 화상(D1)이 사용된다.

또한, 이 경우에는, 요개호자(P1)가 침대(31)를 나타내는 더미 화상(D2)과는 상이한 위치에서 자고 있어, 전도되어 있다고 상정되기 때문에, 더미 화상(D1)은, 예를 들어 통상 색과는 상이한 적색, 황색 등으로 색을 바꾸거나, 혹은 점멸 표시된다.

한편, 도 19의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 침대(31) 아래에서 자고 있는 와위 자세를 표시하는 더미 화상(D1)이 사용된다.

또한, 도 19의 (a)와 마찬가지로, 요개호자(P1)가 침대(31) 아래에서 자고 있는 경우에는, 전도되어 있다고 상정되기 때문에, 더미 화상(D1)은, 예를 들어 통상 색과는 상이한 적색, 황색 등으로 색을 바꾸거나, 혹은 점멸 표시된다.

이에 의해, 개호자는, 도 19의 (a) 및 도 19의 (b)에 도시하는 적외선 화상(G1)을 확인하여, 바로 긴급으로 개호가 필요한 상태라고 인식할 수 있다.

4-6. 좌위 자세(전도)

도 20의 (a) 및 도 20의 (b)에 도시하는 바와 같이, 요개호자(P1)가 침대(31) 옆에서 좌위 자세인 경우에는, 요개호자(P1)가 침대(31)(더미 화상(D2)) 옆에서 전도되어 축 늘어져 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.

구체적으로는, 도 20의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 침대(31) 옆에서 주저앉아 있는 요개호자(P1)를 상방으로부터 촬상하였기 때문에, 요개호자(P1)의 헤드부, 어깨, 발 부분이 평면 시로 표시되는 더미 화상(D1)이 사용된다.

또한, 이 경우에는, 요개호자(P1)가 침대(31)를 나타내는 더미 화상(D2) 옆에서 전도되어 주저앉아 있다고 상정되기 때문에, 더미 화상(D1)은, 예를 들어 통상 색과는 상이한 적색, 황색 등으로 색을 바꾸거나, 혹은 점멸 표시된다.

한편, 도 20의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 침대(31) 옆에서 축 늘어져 주저앉아 있는 좌위 자세를 표시하는 더미 화상(D1)이 사용된다.

또한, 도 20의 (a)와 마찬가지로, 요개호자(P1)가 침대(31) 옆에서 주저앉아 있는 경우에는, 전도되어 축 늘어져 있다고 상정되기 때문에, 더미 화상(D1)은, 예를 들어 통상 색과는 상이한 적색, 황색 등으로 색을 바꾸거나, 혹은 점멸 표시된다.

이에 의해, 개호자는, 도 20의 (a) 및 도 20의 (b)에 도시하는 적외선 화상(G1)을 확인하여, 바로 긴급으로 개호가 필요한 상태라고 인식할 수 있다.

또한, 침대(31) 옆에서 좌위 자세에 있는 요개호자(P1)의 긴급도는, 연속적으로 취득된 적외선 화상(G1)을 확인하여, 움직임이 확인되는지 여부로 판단해도 된다.

4-7. 와위 자세(깜빡임 있음)

도 21의 (a)에 도시하는 바와 같이, 요개호자(P1)가 와위 자세이며, 연속적으로 취득된 적외선 화상에 있어서 깜빡임이 작은 경우에는, 요개호자(P1)가 자고 있을 가능성이 높다.

따라서, 이 경우에는, 판정부(15)는, 요개호자(P1)가 개호를 필요로 하는 상태가 아니라고 판정한다.

또한, 도 22의 (a)에 도시하는 바와 같이, 요개호자(P1)가 와위 자세이며, 연속적으로 취득된 적외선 화상에 있어서, 요개호자(P1)의 상반신 부근에 깜빡임이 큰 깜빡임 영역(G1a)이 검출된 경우에는, 요개호자(P1)가 일어서려고 하는 동작을 하고 있을 가능성이 높다.

또한, 도 22의 (b)에 도시하는 바와 같이, 요개호자(P1)가 와위 자세이며, 연속적으로 취득된 적외선 화상에 있어서, 이불을 젖힌 상태에서 요개호자(P1)의 상반신 부근에 깜빡임이 큰 깜빡임 영역(G1a)이 검출된 경우에는, 요개호자(P1)가 일어서려고 하는 동작을 하고 있을 가능성이 높다.

이 경우에는, 요개호자(P1)가 일어서는 보조를 행할 필요가 있기 때문에, 판정부(15)는, 개호를 필요로 하는 상태라고 판정한다.

여기서, 적외선 화상(G1) 중의 화소의 깜빡임을 사용한 판정은, 이하와 같이 하여 실시된다.

즉, 판정부(15)는, 연속적으로 취득된 적외선 화상 중의 화상의 깜빡임에 기초하는 판정을 행할 때에는, 화상 중의 열 무게 중심의 위치의 요동에 따라, 판정을 행한다.

구체적으로는, 예를 들어 적외선 화상(G1) 중의 실온보다 소정값 이상 온도가 높은 영역을 잘라내고, 잘라낸 영역 내의 화소의 XY 방향에 있어서의 위치의 평균값을 취하여 열 무게 중심의 위치를 구한다. 그리고, 이 열 무게 중심의 위치가, 소정의 역치보다 이동할지 여부(요동)에 따라, 개호를 필요로 하는 긴급 정도로서 판정하면 된다.

이에 의해, 화상 센서로서 적외선 센서를 사용한 경우라도, 적외선 화상(열화상)의 특성을 살려, 예를 들어 열 무게 중심의 위치의 변화가 소정의 역치보다 작은 경우에, 요개호자(P1)가 개호를 필요로 하는 상태라고 판정할 수 있다.

이 결과, 개호자는, 표시 장치(22)에 표시된 요개호자(P1)의 화상을 보아, 개호를 필요로 하는지 여부를 적확하게 판단할 수 있다.

4-8. 와위 자세(열원 확대)

도 21의 (b)에 도시하는 바와 같이, 요개호자(P1)가 와위 자세이며, 연속적으로 취득된 적외선 화상에 있어서 헤드부 부근의 열원이 확대된 열원 확대 영역(G1b)이 검출된 경우에는, 요개호자(P1)가 자고 있는 상태에서 구토할 가능성이 높다.

따라서, 이 경우에는, 판정부(15)는, 요개호자(P1)가 긴급의 개호를 필요로 하는 상태라고 판정한다.

제어부(13)는, 자세 추정부(12)에 있어서의 자세 추정의 결과 및 판정부(15)에 있어서의 개호 긴급도의 판정 결과를 근거로 하여, 도 21의 (b)에 도시하는 바와 같이, 더미 화상(D1)의 색을 변화시키거나, 혹은 점멸시키는 등의 표시 제어를 행한다.

이에 의해, 개호자는, 표시 장치(22)에 표시된 화면을 확인하여, 요개호자(P1)가 와위 자세이며, 긴급으로 개호가 필요한 상태임을 용이하게 인식할 수 있다.

4-9. 좌위 자세(깜빡임 있음)

도 23에 도시하는 바와 같이, 요개호자(P1)가 휠체어의 더미 화상(제2 더미 화상)(D4)에 좌위한 자세이며, 연속적으로 취득된 적외선 화상에 있어서, 휠체어(32)를 나타내는 더미 화상(D4) 상의 요개호자(P1)의 상반신 부근에 깜빡임이 큰 깜빡임 영역(G1a)이 검출된 경우에는, 요개호자(P1)가 옷 갈아입기 동작을 하고 있을 가능성이 높다.

반대로, 요개호자(P1)가 휠체어(32)에 좌위한 자세이며, 연속적으로 취득된 적외선 화상에 있어서, 요개호자(P1)의 상반신 부근에 소정 시간 이상 깜빡임이 거의 없는 경우에는, 요개호자(P1)가 휠체어에 앉은 상태에서 축 늘어져 있을 우려가 있다.

따라서, 이 경우에는, 판정부(15)는, 요개호자(P1)가 개호를 필요로 하는 상태라고 판정한다.

이 경우에는, 제어부(13)는, 자세 추정부(12)에 있어서의 자세 추정의 결과 및 판정부(15)에 있어서의 개호 긴급도의 판정 결과를 근거로 하여, 더미 화상(D1)의 색을 변화시키거나, 혹은 점멸시키는 등의 표시 제어를 행한다.

이에 의해, 개호자는, 요개호자(P1)가 휠체어 상에서 정지하고 있는 상태가 길다는 것을 인식하여, 요개호자(P1)의 방으로 급히 달려올 수 있다.

[다른 실시 형태]

이상, 본 발명의 일 실시 형태에 대하여 설명하였지만, 본 발명은 상기 실시 형태에 한정되는 것은 아니며, 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

(A) 상기 실시 형태에서는, 상술한 표시 제어 방법을 실시하는 표시 제어 장치(10) 및 이것을 구비한 표시 제어 시스템(20)으로서, 본 발명을 실현한 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.

예를 들어, 상술한 표시 제어 방법으로서, 본 발명을 실현해도 된다.

혹은, 상술한 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램으로서, 본 발명을 실현해도 된다. 나아가, 이 표시 제어 프로그램을 저장한 기록 매체로서, 본 발명을 실현해도 된다.

어느 실현 수단에 의해서도, 상기와 마찬가지의 효과를 얻을 수 있다.

(B) 상기 실시 형태에서는, 도 1에 도시하는 바와 같이, 요개호자(P1)의 각 자세에 대응하는 더미 화상(D1)을 보존하는 기억부(14)를 구비한 표시 제어 장치(10)를 예로서 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.

예를 들어, 더미 화상을 보존하는 기억 수단으로서, 도 24에 도시하는 바와 같이, 표시 제어 장치(110) 및 표시 제어 시스템(120)의 외부에 설치된 클라우드 공간(114) 등을 사용해도 된다.

즉, 본 발명의 표시 제어 장치는, 외부의 기억 수단(클라우드 공간, 서버 장치 등)으로부터 더미 화상을 판독하여 사용하는 구성이라면, 장치 내에 기억부를 갖지 않는 구성이어도 된다.

(C) 상기 실시 형태에서는, 표시 장치(22)에 대하여, 적외선 화상(G1) 상에 더미 화상(D1)을 중첩하여 표시시키는 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.

예를 들어, 도 25의 (a) 및 도 25의 (b)에 도시하는 바와 같이, 「○○○호실 XX님 이상 발생」 등의 문자 정보를, 화상 정보와 함께 표시시켜도 된다.

이 경우에는, 개호자에 대하여, 개호의 긴급 정도를 보다 이해하기 쉽게 표시할 수 있다.

또한, 이들 문자 정보는, 요개호자의 개호의 긴급도를 판정하는 판정부에 있어서의 판정 결과에 대응하는 복수의 문자 정보가 미리 기억부(14) 등에 보존되어 있으면 된다.

(D) 상기 실시 형태에서는, 제1ㆍ제2 화상 센서로서, 도 2에 도시하는 바와 같이, 적외선 어레이 센서(21a, 21b)를 천장과 측면에 설치한 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.

예를 들어, 화상 센서를 천장에만, 혹은 측면에만 설치한 구성이어도 되고, 인체를 대각선에서 촬상하는 화상 센서를 사용해도 된다.

단, 인체의 자세를 정확하게 판정하기 위해서는, 상기 실시 형태와 같이, 천장과 측면에 각각 화상 센서를 설치한 구성으로 하는 것이 바람직하다.

(E) 상기 실시 형태에서는, 화상 취득부(11)에 화상을 송신하는 화상 센서로서, 온도 분포를 검지하는 적외선 어레이 센서(21a, 21b)를 사용한 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.

예를 들어, 화상 센서로서는, 감시 카메라, 거리 센서 등의 다른 화상 센서를 사용할 수도 있다.

(F) 상기 실시 형태에서는, 복수의 요개호자(P1)의 개호를 행하는 개호 시설 등에 있어서의 지켜보기에, 본 발명의 표시 제어 장치(10) 및 표시 제어 시스템(20)을 적용한 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.

예를 들어, 개호 시설 이외에도, 고령자나 몸이 불편한 사람이 생활하는 병원 등의 시설에 본 발명을 적용해도 된다.

혹은, 혼자 사는 고령자의 지켜보기에, 본 발명을 적용해도 된다.

이 경우에는, 고령자와 떨어져 사는 자녀의 휴대 단말기를 표시 장치로서 사용함으로써, 원격지에서 지켜보기를 행할 수 있다.

본 발명의 표시 제어 장치는, 예를 들어 요개호자가 개호를 필요로 하는 상황을, 효과적으로 개호자에게 인식시킬 수 있다고 하는 효과를 발휘한다는 점에서, 고령자나 자녀, 애완동물 등의 지켜보기를 행하는 각종 장치에 대하여 널리 적용 가능하다.

10: 표시 제어 장치
11: 화상 취득부
12: 자세 추정부
13: 제어부
14: 기억부
15: 판정부
16: 인원수 추정부
20: 표시 제어 시스템
21a: 적외선 어레이 센서(제1 화상 센서)(천장)
21b: 적외선 어레이 센서(제2 화상 센서)(측방)
22: 표시 장치
22a: 호스트 컴퓨터(표시 장치)
22b: 휴대 단말기(표시 장치)
30: 실내
30a: 천장
30b: 벽면
31: 침대
32: 휠체어
33: 선반
110: 표시 제어 장치
114: 클라우드 공간
120: 표시 제어 시스템
G1: 적외선 화상(화상)
G1a: 깜빡임 영역
G1b: 열원 확대 영역
D1: 더미 화상(요개호자)(제1 더미 화상)
D2: 더미 화상(침대)(제2 더미 화상)
D3: 더미 화상(이불)(제2 더미 화상)
D4: 더미 화상(휠체어)(제2 더미 화상)
P1: 요개호자(인체)

Claims

실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득하는 화상 취득부와,
상기 화상 취득부에 있어서 취득된 상기 화상 데이터에 기초하여, 상기 실내에 있는 인체의 자세를 추정하는 자세 추정부와,
상기 자세 추정부에 있어서 추정된 상기 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 상기 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어하는 제어부를 구비하고 있는, 표시 제어 장치.
제1항에 있어서, 상기 인체의 자세마다 대응지어진 상태로 복수의 상기 제1 더미 화상을 보존하는 기억부를 더 구비하고 있는, 표시 제어 장치.
제1항 또는 제2항에 있어서, 상기 제어부는, 상기 화상 데이터에 포함되는 상기 인체의 헤드부 혹은 얼굴의 위치를 기준으로 하여, 상기 제1 더미 화상의 헤드부 혹은 얼굴 부분을 겹쳐 표시시키는, 표시 제어 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 화상 취득부에 있어서 연속적으로 취득된 복수의 상기 화상 데이터를 참조하여, 상기 화상 데이터 중의 상기 인체 부근의 화상의 깜빡임에 따라, 개호의 긴급도를 판정하는 판정부를 더 구비하고 있는, 표시 제어 장치.
제4항에 있어서, 상기 화상 센서는, 열화상을 취득하는 적외선 센서이며,
상기 판정부는, 상기 적외선 센서에 있어서 연속적으로 취득된 상기 열화상 중의 상기 인체 부근의 영역에 있어서의 열 무게 중심의 위치의 요동의 정도에 따라 판정을 행하는, 표시 제어 장치.
제4항에 있어서, 상기 화상 센서는, 열화상을 취득하는 적외선 센서이며,
상기 판정부는, 상기 적외선 센서에 있어서 연속적으로 취득된 상기 열화상 중의 상기 인체 부근의 영역에 있어서의 열원의 확대를 검출하여 판정을 행하는, 표시 제어 장치.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 화상 취득부에 있어서 취득된 상기 화상 데이터에 포함되는 사람의 수를 추정하는 인원수 추정부를 더 구비하고 있는, 표시 제어 장치.
제7항에 있어서, 상기 제어부는, 상기 인원수 추정부에 있어서의 추정 결과, 상기 화상 데이터 중의 인원수가 1명이라고 판정된 경우에, 상기 표시 장치의 표시 제어를 행하는, 표시 제어 장치.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제어부는, 상기 자세 추정부에 있어서의 추정 결과에 따라, 상기 표시 장치에 있어서 상기 제1 더미 화상의 색을 변화시키는, 표시 제어 장치.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 제어부는, 상기 자세 추정부에 있어서의 추정 결과에 따라, 상기 표시 장치에 있어서 상기 제1 더미 화상을 점멸 표시시키는, 표시 제어 장치.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 제어부는, 상기 자세 추정부에 있어서의 추정 결과에 따라, 상기 화상 데이터 상에 상기 제1 더미 화상을 겹친 표시와 함께, 긴급 메시지를 상기 표시 장치에 표시시키는, 표시 제어 장치.
제1항 내지 제11항 중 어느 한 항에 있어서, 상기 자세 추정부는, 상기 실내에 있는 인체를 상이한 방향으로부터 검출하는 복수의 상기 화상 센서에 있어서의 검출 결과를 사용하여, 상기 자세를 추정하는, 표시 제어 장치.
제1항 내지 제12항 중 어느 한 항에 있어서, 상기 제어부는, 상기 인체의 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 중 적어도 하나에 대응하는 상기 제1 더미 화상을 상기 화상 데이터에 겹쳐 상기 표시 장치에 표시시키는, 표시 제어 장치.
제1항 내지 제13항 중 어느 한 항에 있어서, 상기 제어부는, 상기 실내에 설치된 가구, 실내 설비에 대응하는 제2 더미 화상을, 상기 화상 데이터 중의 상기 가구, 상기 실내 설비의 위치에 겹치도록 표시시키는, 표시 제어 장치.
제1항 내지 제14항 중 어느 한 항에 기재된 표시 제어 장치와,
상기 화상 취득부에 대하여 상기 화상 데이터를 공급하는 화상 센서를 구비한, 표시 제어 시스템.
제15항에 있어서, 상기 표시 제어 장치의 상기 제어부에 의해 표시 제어되는 표시 장치를 더 구비하고 있는, 표시 제어 시스템.
제16항에 있어서, 상기 표시 장치에는, 상기 실내에 있는 사람의 개호를 행하는 개호자가 사용하는 호스트 단말기의 표시 장치, 혹은 상기 개호자가 소유하는 휴대 단말기가 포함되는, 표시 제어 시스템.
제15항 내지 제17항 중 어느 한 항에 있어서, 상기 화상 센서는, 상기 인체를, 상기 실내에 있어서의 상방으로부터 검출하는 제1 화상 센서와, 측방으로부터 검출하는 제2 화상 센서를 포함하는, 표시 제어 시스템.
제15항 내지 제18항 중 어느 한 항에 있어서, 상기 화상 센서는 적외선 어레이 센서, 거리 센서 중 어느 것인, 표시 제어 시스템.
실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 있어서 취득된 상기 화상 데이터에 기초하여, 상기 실내에 있는 인체의 자세를 추정하는 자세 추정 스텝과,
상기 자세 추정 스텝에 있어서 추정된 상기 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 상기 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어하는 제어 스텝을 구비한, 표시 제어 방법.
실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 있어서 취득된 상기 화상 데이터에 기초하여, 상기 실내에 있는 인체의 자세를 추정하는 자세 추정 스텝과,
상기 자세 추정 스텝에 있어서 추정된 상기 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 상기 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어하는 제어 스텝을 구비한 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램.
실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 있어서 취득된 상기 화상 데이터에 기초하여, 상기 실내에 있는 인체의 자세를 추정하는 자세 추정 스텝과,
상기 자세 추정 스텝에 있어서 추정된 상기 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 상기 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어하는 제어 스텝을 구비한 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램을 기억한 기록 매체.