JPH11316820A

JPH11316820A - 行動計測方法および行動計測装置および制御装置および電子的装置および記録媒体

Info

Publication number: JPH11316820A
Application number: JP10121408A
Authority: JP
Inventors: Miwako Doi; 美和子土井; Shunichi Numazaki; 俊一沼崎; Akira Morishita; 明森下; Naoko Umeki; 直子梅木; Yasuaki Yamauchi; 康晋山内; Norio Mihara; 功雄三原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-04-30
Filing date: 1998-04-30
Publication date: 1999-11-16

Abstract

(57)【要約】【課題】環境条件に影響を受けずにリアルタイムで確実
に観測対象の行動を計測でき、しかも、観測対象のプラ
イバシーを侵すことがない行動計測装置を提供する。【解決手段】観測対象の距離画像を取得する距離画像取
得手段（１）と、この距離画像取得手段で取得された距
離画像から前記観測対象の行動の特徴量を抽出する抽出
手段（３、４）と、この抽出手段で抽出された行動の特
徴量に基づき前記観測対象の行動を計測する行動計測手
段（４、５）とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、距離画像を用い
て、観測対象の人物の行動を識別したり、当該人物自体
を識別する行動計測装置に関する。

【０００２】

【従来の技術】高齢化社会といわれて久しいが、２００
０年には６５歳以上が２，１７０万人、２０２０年に
は、３，２００万人となると言われている。しかも、２
０２０年には、１，０００万件の独居老人世帯が存在す
ると予測されている。

【０００３】独居老人世帯で心配なのは、風邪を引いた
りして体が弱り、寝込んだりしていないか、脳卒中など
で倒れたりしていないかといった健康状態である。介護
の必要な高齢者に対しては、訪問看護婦の制度や、介護
保険などケアが法制化されている。が、通常、健康であ
る場合のケアに関しては、特別に制度化など検討されて
いない。

【０００４】このような独居老人のケアをおこなうため
に、直通電話の設置や、保健婦などの定期訪問などを行
っている自治体もある。が、直通電話は、脳卒中など発
作を起こしたときには、使うことができないという問題
がある。

【０００５】病人や老人のケアを行う老人ホームやケア
ハウスなどでは、各人の健康管理を行うために、体温や
血圧などの測定を行っている。が、十分な人手がなく、
行動全般を管理することが出来ないという問題を抱えて
いる。例えば、痴呆症の老人など、昼間グーグー寝てい
る。が、夜中に徘徊しているせいで、昼間寝ているのか
どうかを確認したい。が、夜の行動を計測するところま
での人手がなく、原因究明ができないという問題があ
る。また、骨粗鬆症などで歩行が次第に困難になってき
ている。が、老人は痛みを比較的感じにくいので、本人
から愁訴があったときには、かなり病状が進み、手後れ
になってしまっているなどの問題もある。

【０００６】このような問題に対し、日ごろから、ホー
ムやケアハウスにいる各老人の行動を観測し、平常状態
と異なった状況になったときに、看護者に警告を発せら
れるようになれば、少ない人手で、充実したケアを実現
出来る。

【０００７】そこで、老人の日常行動を所定時間毎に取
得して、その取得した画像を基に老人の行動計測を行
い、その結果、脳卒中などの発作により倒れたりして、
独居老人自身が連絡出来ないような異状事態を検知した
ら、介護センター等に通報する画像監視装置が用いられ
るようになった。

【０００８】このような画像監視装置で用いられるＣＣ
Ｄカメラ等で取得された画像の画像認識では、例えば、
人の動きをとらえたい場合には、顔や手の色が肌色なの
で、それ以外の背景などの余計な部分を取り除き、障害
物となる物体など認識したい対象のみを切り出すという
前処理を行う。そして、その処理後の画像を用いること
で、人がどのあたりにいるかを推定し、前のフレームと
の差分をとり、動いているかどうかを抽出している。

【０００９】まず、この認識対象の切り出しという前処
理部分について説明する。従来の手法では、カメラで撮
影した画像から、取得したい対象物の部分のみを切り出
す作業手段として、対象物と、それ以外の部分の何らか
の相違点を手がかりとして対象物の切り出しが行われて
いた。

【００１０】この手掛かりとして、色相の変化を利用す
る方法、差分画像を利用する方法などが用いられてい
る。色を使って切り出す場合、色相差の大きな部分を抜
き出し、細線化などの処理を行い、エッジを抽出する。
人間を対象にする場合には、顔や手の部分の肌色に注目
し、その色相部分のみを抽出しようとするものである。
が、色相差を用いる方法は、照明の色や角度などによ
り、肌色といっても変化し、また、背景の色相が肌色に
近いと、人間の肌色と識別するのが難しいなどの問題が
あり、定常的に切り出すことは困難である。また、照明
が全くない状態では、撮像画像は全部暗くなってしまう
ので、人間でも暗闇で撮影した写真から物体を判別する
ことは難しい。

【００１１】あるいは、ビデオ画像のフレーム間の動き
ベクトルを算出し、動いている物体を解析する方式もあ
る。この場合、動いている物体が少ないうちは問題ない
が、動いている物体が多いと、動きベクトルの数が急に
増え、フレーム間で動きベクトルを算出の負荷が増し、
算出が追いつかなくなる。

【００１２】また、上述のように、肌色を抽出するので
なく、例えば、ＣＣＤカメラなどで撮像した画像中にあ
る布団などのしわをもとに、寝ている老人や病人の胸が
呼吸するために動いているかどうかを検知することも行
われている。

【００１３】この場合、ＣＣＤカメラにて取得した画像
に対し、画像処理を行い、しわの部分をエッジ処理によ
り切り出す。この切り出したしわが変動することで、呼
吸していることを検知している。が、この方法では、布
団の表面がつるつるしていてしわができない材質である
と、検出ができない。また、ＣＣＤカメラを使っている
ので、画像を取得するのに一定の光量が必要であり、夜
間など無人で特に監視したいときの要求に応えられな
い、寝返りをうったりすると、大きく画像が変動し、対
応出来ないなどの問題があった。

【００１４】このように従来の画像処理による方法で
は、認識したい対象を切り出すことが難しい。また、従
来の画像処理ではＣＣＤカメラを使用するので、人間が
目で見るのと同じ画像を用いることになる。が、例え
ば、家庭内で脳卒中などを起こす危険性が高いのは、浴
室、その脱衣所、洗面所、トイレなどである。このよう
な場所では、家庭内での他の場所に比べてもプライバシ
ーを特に守りたい場所であり、ここに人間が直接目で見
ることの出来る画像を撮像するＣＣＤカメラなどを設置
することには、心理的に大きな抵抗があることが予想さ
れる。つまり、技術的にＣＣＤカメラにより画像を取得
し、画像処理により計測することが可能になったとして
も、ユーザ側から心理的に受け入れられず、実際の設置
ができないという問題がある。

【００１５】一方、コンピュータの低価格化により、Ｔ
Ｖと合体した形など（情報家電）で、一般家庭に家電と
して普及することが真剣に考えられ始めている。例え
ば、ＴＶでインターネットのＷＷＷ（ＷｏｒｄＷｉｄ
ｅＷｅｂ）が見られるようなＷｅｂＴＶといわれる
新しい商品が出てきている。さらに、放送業界もデジタ
ル放送に向け、種々の技術の開発を行っている。これが
実現すれば、ＴＶがＰＣと同様にデジタル情報を呈示出
来るようになる（デジタルＴＶ）。

【００１６】このような情報家電において、問題になる
のが、表示文字サイズである。従来のＰＣでは、モニタ
の解像度があがるにつれ、相対的に表示される文字が小
さくなり、どんどん多くの文字が表示されるようになっ
てきている。が、これをそのまま例えば、デジタルＴＶ
に適用すると次のような問題が生じる。

【００１７】ＰＣは一人が１台を占有して使っているの
で、表示に使う文字サイズやその他表示パラメータは、
その占有者の好みに合わせて、設定しておけばよい。
が、通常ＴＶは、居間などに１台おかれ、数人が共有し
て見るものである。デジタルＴＶとなっても通常のドラ
マや映画などは、複数人でみる形になる。したがって、
複数人でＷｅｂなどの情報を共有してみることとなる。
これに対し、昼間、主婦や老人など、家庭にいるユーザ
（ここではかりに家庭人と呼ぶ）が、一人で画面を占有
して、情報をみる場合もある。このような場合には、そ
の家庭人が好む文字サイズや表示パラメータにして使い
たい。が、現在のＰＣで行われているように、家庭人各
人が使いはじめる前にログインネームとパスワードを指
定して、各人の設定にするというような方法では、いち
いち入力が面倒くさいという問題がある。

【００１８】また、情報家電以外にも、例えばエアコン
にあっては、そのエアコンの設置されている部屋にいる
人によって設定したい温度がまちまちであるが、このよ
うな場合に、わざわざ設定温度を変える操作を行う必要
なく、エアコン自体が、そのエアコンの設置されている
部屋にいる人（人数、あるいは、各人を識別して、その
識別された個人および個人の集まり）に応じて調整温度
を変更することができれば便利である。

【００１９】

【発明が解決しようとする課題】以上説明したように、
従来の画像処理による行動計測では、人の動きなどをリ
アルタイムで確実に検出することが困難である。また、
夜間など光量が不足して使用できないという問題があ
る。

【００２０】さらに、上記のような問題が技術的に解決
できたとしても、従来の画像処理で用いるＣＣＤカメラ
等で撮像された画像は、人間が目に見ることのできるも
のなので、プライバシーを守りたい家庭内あるいは生活
場所に設置することへの心理的な大きな抵抗がある。

【００２１】また、ＴＶ、その他の情報家電を含む、特
に家庭内で一般的に用いられる電気機器は、それを使用
するユーザを識別して、そのユーザに合わせて、表示パ
ラメータ等の詳細設定を容易に（ユーザに負担をかける
ことなく）行えることができないという問題点もある。

【００２２】そこで、本発明は、上記問題点に鑑み、個
人のプライバシーを守りながら人の実生活上の行動を環
境条件に影響を受けずにリアルタイムで確実に計測でき
る行動計測方法およびそれを用いた行動計測装置を提供
することを目的とする。

【００２３】また、観測対象の行動を計測して、該観測
対象を容易に識別することのできる行動計測方法および
それを用いた行動計測装置を提供することを目的とす
る。また、観測対象の行動を計測して、該観測対象を識
別し、その識別された観測対象に応じて、家電等の予め
定められた固有の機能を有する電子的装置を制御するこ
とのできる制御装置を提供することを目的とする。さら
に、上記制御装置を用いた予め定められた固有の機能を
有する電子的装置を提供することを目的とする。

【００２４】

【課題を解決するための手段】本発明の行動計測方法
（請求項１）は、観測対象の撮像された距離画像から該
観測対象の行動の特徴量を抽出し、この抽出された行動
の特徴量に基づき該観測対象の行動を計測する（例え
ば、当該抽出された行動の特徴量と予め記録された観測
対象の行動を識別するための特徴パターンとのマッチン
グを行い、観測対象の行動を識別する）ことにより、環
境条件に影響を受けずにリアルタイムで確実に観測対象
の行動を計測できる。また、処理対処が距離画像である
ので、観測対象のプライバシーを侵すことがない。

【００２５】また、本発明の行動計測装置（請求項３）
は、観測対象の距離画像を取得する距離画像取得手段
と、この距離画像取得手段で取得された距離画像から前
記観測対象の行動の特徴量を抽出する抽出手段と、この
抽出手段で抽出された行動の特徴量に基づき前記観測対
象の行動を計測する行動計測手段と、を具備したことに
より、環境条件に影響を受けずにリアルタイムで確実に
行動を計測できる。また、処理対処が距離画像であるの
で、観測対象のプライバシーを侵すことがない。

【００２６】本発明の行動計測方法（請求項２）は、観
測対象の撮像された距離画像から該観測対象の行動の特
徴量を抽出し、この抽出された行動の特徴量に基づき該
観測対象を識別するための識別情報（テンプレート）を
作成し、前記抽出された前記観測対象の行動の特徴量と
前記作成された識別情報とに基づき、該観測対象を識別
することをにより、日常生活等における行動を計測する
だけで、容易に個人を識別することができる。

【００２７】また、本発明の行動計測装置（請求項６）
は、観測対象の距離画像を取得する距離画像取得手段
と、この距離画像取得手段で取得された距離画像から前
記観測対象の行動の特徴量を抽出する抽出手段と、この
抽出手段で抽出された行動の特徴量に基づき前記観測対
象を識別するための識別情報を作成する作成手段と、前
記抽出手段で抽出された前記観測対象の行動の特徴量と
前記作成手段で作成された識別情報とに基づき該観測対
象を識別する識別手段と、を具備したことにより、日常
生活等における行動を計測するだけで、容易に個人を識
別することができる。

【００２８】また、本発明の行動計測装置を用いた、予
め定められた固有の機能を有する電子的装置を制御する
制御装置（請求項７）は、観測対象の距離画像を取得す
る距離画像取得手段と、この距離画像取得手段で取得さ
れた距離画像から前記観測対象の行動の特徴量を抽出す
る抽出手段と、この抽出手段で抽出された行動の特徴量
に基づき前記観測対象を識別するための識別情報を作成
する作成手段と、前記抽出手段で抽出された前記観測対
象の行動の特徴量と前記作成手段で作成された識別情報
とに基づき該観測対象を識別する識別手段と、この識別
手段で識別された観測対象に応じて、予め定められた固
有の機能を有する電子的装置を制御する制御手段と、を
具備したことにより、日常生活等における行動を計測す
るだけで、容易に個人を識別することができ、その識別
された観測対象に応じて、例えば、表示文字サイズ、よ
くみるチャンネル設定、Ｗｓｂのホームページなどが自
動的に設定できるので、ユーザが当該電子的装置に行う
べき面倒な設定を行う必要がなくなる。

【００２９】本発明の行動計測装置を用いた、予め定め
られた固有の機能を有する電子的装置（請求項８）は、
観測対象の距離画像を取得する距離画像取得手段と、こ
の距離画像取得手段で取得された距離画像から前記観測
対象の行動の特徴量を抽出する抽出手段と、この抽出手
段で抽出された行動の特徴量に基づき前記観測対象を識
別するための識別情報を作成する作成手段と、前記抽出
手段で抽出された前記観測対象の行動の特徴量と前記作
成手段で作成された識別情報とに基づき該観測対象を識
別する識別手段と、この識別手段で識別された観測対象
に応じて、前記固有の機能を制御する制御手段と、を具
備したことにより、日常生活等における行動を計測する
だけで、容易に個人を識別することができ、その識別さ
れた観測対象に応じて、例えば、表示文字サイズ、よく
みるチャンネル設定、Ｗｓｂのホームページなどが自動
的に設定できるので、ユーザが当該電子的装置に行うべ
き面倒な設定を行う必要がなくなる。

【００３０】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。（第１の実施形態）図１は、本発明の第１の実施形態に
係る行動計測装置の構成例を示したもので、例えば、老
人の日常的な行動を観測して、例えば、当該観測対象
が、いつ、どのような行動を行っているのかを計測する
ためのものである。

【００３１】図１に示すように、本実施形態に係る行動
計測装置は、反射光を受光し、距離画像を取得する、例
えば特願平９−２９９６４８号に記載されている距離画
像取得部１と、取得された距離画像を解析し、対象物の
輪郭、重心の抽出や対象物までの距離の算出、対象物の
移動速度、移動ベクトルの算出等を行う画像処理部２
と、画像処理部２の解析結果と、当該距離画像の取得時
刻とに基づき、当該対象物の行動を分析する行動分析部
４と、行動分析部４の分析結果を記録する行動記録部５
とから構成されている。

【００３２】ここで、距離画像取得部１および、距離画
像取得部１にて取得される距離画像について簡単に説明
する。距離画像取得部１は、観測対象としての人物の行
動を撮像するためのものである。この距離画像取得部１
は、例えば、寝室、浴室、脱衣所等の当該観測対象者の
行動範囲にある各所に１または複数設置されていること
が望ましい。

【００３３】距離画像取得部１の外観を図２に示す。中
央部には円形レンズとその後部にあるエリアセンサ（図
示せず）から構成される受光部１０３が配置され、円形
レンズの周囲にはその輪郭に沿って、赤外線などの光を
照射するＬＥＤから構成される発光部１０１が複数個
（例えば８個）等間隔に配置されている。

【００３４】発光部１０１から照射された光が物体に反
射され、受光部１０３のレンズにより集光され、レンズ
の後部にあるエリアセンサで受光される。エリアセンサ
は、例えば２５６×２５６のマトリックス状に配列され
たセンサで、マトリックス中の各センサにて受光された
反射光の強度がそれぞれ画素値となる。このようにして
取得された画像が、図４に示すような反射光の強度分布
としての距離画像である。

【００３５】図３は、距離画像取得部１の構成例を示し
たもので、主に、発光部１０２、受光部１０３、反射光
抽出部１０２、タイミング信号生成部１０４から構成さ
れる。

【００３６】発光部１０１は、タイミング信号生成部１
０４にて生成されたタイミング信号に従って時間的に強
度変動する光を発光する。この光は発光部前方にある対
象物体に照射される。

【００３７】受光部１０３は、発光部１０１が発した光
の対象物体による反射光の量を検出する。反射光抽出部
１０２は、受光部１０３にて受光された反射光の空間的
な強度分布を抽出する。この反射光の空間的な強度分布
は画像として捉えることができるので、以下、これを距
離画像と呼ぶ。

【００３８】受光部１０３は一般的に発光部１０１から
発せられる光の対象物による反射光だけでなく、照明光
や太陽光などの外光も同時に受光する。そこで、反射光
抽出部１０２は発光部１０１が発光しているときに受光
した光の量と、発光部１０１が発光していないときに受
光した光の量の差をとることによって、発光部１０１か
らの光の対象物体による反射光成分だけを取り出す。

【００３９】反射光抽出部１０２では、受光部１０３に
て受光された反射光から、その強度分布、すなわち、図
４に示すような距離画像を抽出する。図４では、簡単の
ため、２５６×２５６画素の距離画像の一部である８×
８画素の距離画像の場合について示している。

【００４０】物体からの反射光は、物体の距離が大きく
なるにつれ大幅に減少する。物体の表面が一様に光を散
乱する場合、距離画像１画素あたりの受光量は物体まで
の距離の２乗に反比例して小さくなる。

【００４１】図４において、行列中のセルの値（画素
値）は、取得した反射光の強さを２５６階調（８ビッ
ト）で示したものである。例えば、「２５５」の値があ
るセルは、距離画像取得部１に最も接近した状態、
「０」の値があるセルは、距離画像取得部１から遠くに
あり、反射光が距離画像取得部１にまで到達しないこと
を示している。

【００４２】距離画像の各画素値は、その画素に対応す
る単位受光部で受光した反射光の量を表す。反射光は、
物体の性質（光を鏡面反射する、散乱する、吸収する、
など）、物体の向き、物体の距離などに影響されるが、
物体全体が一様に光を散乱する物体である場合、その反
射光量は物体までの距離と密接な関係を持つ。手など
は、このような性質をもつため、距離画像取得部１の前
方に手を差し出した場合の距離画像は、手までの距離、
手の傾き（部分的に距離が異なる）などを反映する図５
に示したような３次元的なイメージを得ることができ
る。

【００４３】次に、図７に示すフローチャートを参照し
て、図１に示すような構成の行動計測装置の処理動作に
ついて説明する。まず、電源の投入あるいは動作の開始
指示にて起動されると、以後の処理に用いる変数Ｉを
「０」にセットするなどして、初期化処理を行う（ステ
ップＳ１）。

【００４４】その後、距離画像取得部１は、図２に示し
たような発光部１０１、受光部１０３を用いて、例え
ば、１秒間に１枚あるいは２枚程度の速度で距離画像を
取得する（ステップＳ２）。図４に示すようなマトリッ
クス形式の距離画像データは、画像処理部３に送られ
る。

【００４５】画像処理部３では、距離画像取得部１から
送られてきた距離画像データに対し、エッジ切り出し
（撮像体の輪郭抽出）、重心抽出、面積算出、撮像物体
までの距離の算出、動きベクトルの算出など、少なくと
も撮像体の行動の特徴を表す情報を抽出するための種々
の画像処理を行う（ステップＳ３）。

【００４６】画像処理部３では、まず、画素値が予め定
められた所定値以下のセルを除き、例えば、図６に示す
ような撮像された物体の輪郭情報を抽出する。図６のよ
うな輪郭情報を抽出するには、隣り合う画素の画素値を
比較し、画素値が一定値α以上のところだけに定数値を
入れて、同じ定数値が割り振られた連続した画像領域の
画素を抽出すればよい。

【００４７】すなわち、マトリックス上の座標位置
（ｉ、ｊ）にある画素値をＰ（ｉ、ｊ）とし、輪郭情報
の画素値をＲ（ｉ、ｊ）とすると、・｛Ｐ（ｉ、ｊ）−Ｐ（ｉ−１、ｊ）｝＞α、かつ｛Ｐ
（ｉ、ｊ）−Ｐ（ｉ、ｊ−１）｝＞α、かつ｛Ｐ（ｉ、
ｊ）−Ｐ（ｉ＋１、ｊ）｝＞α、かつ｛Ｐ（ｉ、ｊ）−
Ｐ（ｉ、ｊ＋１）｝＞αのとき、Ｒ（ｉ、ｊ）＝２５５・上記以外のとき、Ｒ（ｉ、ｊ）＝０とすることにより、図６のような物体の輪郭情報を得る
ことができる。

【００４８】また、画像処理部３は、図６に示したよう
な輪郭情報を基に、当該物体の重心を計算する。この重
心位置と直前のフレームから抽出された重心位置とを比
較して物体が動いているかどうかが判断できる。動いて
いると判断したときは、重心の変化量と変化方向とを表
す動きベクトルを算出する。また、重心位置のみに限ら
ず、連続する距離画像のそれぞれから抽出された輪郭情
報を互いに比較しあって、輪郭上の任意の点の動きベク
トルを求めてもよい。

【００４９】輪郭の抽出された物体までの距離ｄの算定
は、当該物体の重心位置近傍の画像の代表画素値を求め
る。代表画素値としては、平均値、最近傍値などいくつ
かあるが、ここでは、最近傍値を使うとする。当該物体
からの反射光の強さは物体までの距離の２乗に反比例し
て小さくなる。すなわち、当該物体の画像の代表画素値
をＱ（ｉ、ｊ）とすると、Ｑ（ｉ、ｊ）＝Ｋ／ｄ² …（１）と表すことができる。

【００５０】ここで、Ｋは、例えば、ｄ＝０．５ｍのと
きに、画素値Ｒ（ｉ、ｊ）の値が「２５５」になるよう
に調整された係数である。式（１）をｄについて解くこ
とで、距離値ｄを求めることができる。

【００５１】なお、距離画像からは撮像体までの距離が
読みとれるという特徴から、距離画像取得部１で連続し
て取得された一連の距離画像のそれぞれから抽出された
撮像体の輪郭情報（輪郭情報全体、あるいは輪郭情報か
ら求まる重心位置）を比較して得られる動きベクトルか
ら、当該撮像体の近づき方（歩行時の歩幅、よたつき方
等）等も判別できる。

【００５２】次に、行動分析部４は、画像処理部３が解
析した結果に基づいて、観測対象の人物の行動を分析す
る。その際、例えば、図８に示すようなテーブルを参照
する。

【００５３】図８は、行動分析部４に記憶されている、
観測対象の人物の行動を識別するための規則の一例を示
したもので、例えば、観測対象の人物の徘徊時間や起床
時間、就床時間などを計測するときに用いる、起床、就
床の各行動時における特徴パターンである。識別すべき
行動を適当な段階に分けて、その各段階における特徴パ
ターン（少なくとも当該観測対象の人物の当該行動時の
特徴が表現されている情報（特徴量）であればよく、例
えば、予め距離画像取得部１で取得した、当該行動時の
代表的な距離画像から抽出された輪郭情報や、動きベク
トル、当該観測対象の人物までの距離等である。）を当
該観測すべき行動を識別するための規則としている。な
お、図８では、各段階の特徴パターンとして、距離画像
から抽出された輪郭情報（イメージ）を用いているもの
とする。

【００５４】図８において、「起床」したかどうかを分
析するための特徴パターンは、大きく３つの段階から構
成されている。第１の段階は、起床する前にベッドに横
になっている状態で、その状態を表す特徴量として、輪
郭情報（イメージ）が登録されている。

【００５５】第２の段階は、「起きあがる」状態で、ベ
ッド上に人が起きあがり座っている状態の輪郭情報を、
その状態を表す特徴量として登録されている。第３の段
階は、観測対象の人物がベッドからおりて「ベッドが空
である」状態で、ベッドに人が横になっていない状態の
輪郭情報を、その状態を表す特徴量として登録されてい
る。

【００５６】以上３つの段階が順次観測されたとき、ベ
ッドで横になっていた人が、ベッドの上で起きあがり、
その後、ベッドを後にしたという行動、すなわち、「起
床」という行動が識別できたことになる。

【００５７】第２の規則「就床」に関しては、上記第１
の規則「起床」を逆にしたものである。行動分析部４
は、距離画像取得部１で取得される距離画像から抽出さ
れた観測対象の人物の輪郭情報、動きベクトル情報等の
特徴量と、図８に示したような各行動の特徴パターンと
を照らし合わせて、観測対象の人物の行動を識別する。

【００５８】図８に示したような行動を識別するため、
距離画像取得部１は、ベッド脇に据え付けられており、
丁度、ベッドとそこに横になっている人を横からとらえ
るようになっている。行動分析部４は、図８に示したよ
うなテーブルに、このような距離画像取得部１で取得さ
れた距離画像から抽出された輪郭情報等と一致する特徴
パターンを検出すると、当該一致した特徴パターンに対
応する行動、すなわち、例えば、「横になっている」と
いう識別結果とそのときの時刻とを、行動分析部４に具
備されている一時記憶用バッファメモリに記憶する。さ
らに、一致したパターンの数を計数するためのカウンタ
変数Ｉを「１」だけインクリメントする（ステップＳ４
〜ステップＳ６）。

【００５９】続いて、距離画像取得部１で距離画像を取
得し、画像処理部３で輪郭情報等の抽出を行い、上記同
様図８に示したような特徴パターンと照合し、一致する
特徴パターンがあれば、その特徴パターンに対応する行
動、例えば、「起きあがる」という識別結果とそのとき
の時刻とを一時記憶用バッファメモリに記憶するととも
に、カウンタ変数Ｉの値を「１」インクリメントする。
その際、既に一時記憶用バッファメモリに前回に取得さ
れた距離画像から抽出された輪郭情報等と一致した特徴
パターンに対応する行動の識別結果が記憶されていると
きは、その行動（例えば、この場合、「起床」「就
床」）を識別するための特徴パターンを検索範囲とし
て、今回抽出された輪郭情報等に一致するものを検索す
るようにする。従って、今回抽出された輪郭情報等に一
致する特徴パターンを含まない行動は次回の検索範囲か
ら省かれる。このようにすれば、一致する特徴パターン
が検出される度に、観測対象の行動が絞られていき、常
に観測中の行動に即した特徴パターンのみが検索される
ので処理時間を短縮することができる。

【００６０】さて、当該観測中の行動に含まれる全ての
特徴パターンが検出されるまで、上記ステップＳ２〜ス
テップＳ６を繰り返す（ステップＳ７）。そして、取得
した距離画像から当該観測中の行動に含まれる全ての特
徴パターンが検出されたとき、当該観測対象の人物の行
動が識別されたことになる。このとき、行動分析部４の
一時記憶用バッファメモリに記憶されている当該観測中
の行動（識別された行動）と、そのときの時刻と、当該
行動の識別された距離画像（画像処理部３で当該距離画
像から抽出された特徴量でもよい）とを行動記録部５に
記録する（ステップＳ８）。

【００６１】なお、カウンタ変数の値が所定値α（例え
ば、「３」）以上であるのに、全ての特徴パターンが一
致する行動が検出できないときは（ステップＳ９）、ス
テップＳ１に戻る。

【００６２】上記第１の実施形態によれば、観測対象の
人物の夜間徘徊を検知したい場合には、夜間の起床時刻
と、就床時刻を計測することで、徘徊時間を無人で計測
できる。つまり、従来であれば、夜間、特定の患者の行
動を観察する人手がなく、徘徊の有無を確認することが
できなかったのが、上記行動計測装置を用いれば無人で
行える。徘徊していることがわかれば、夜間の徘徊に備
えた処置を講じることができる。

【００６３】また、上記第１の実施形態では、夜間の徘
徊の有無を計測する例について述べているが、必ずし
も、これに限定されるものではない。距離画像取得部１
で取得される距離画像は、図５に示したように、撮像体
は不鮮明なものであり、プライバシーを犯さない特殊な
画像である。冬期の夜間など、入浴や排尿などの際、高
血圧の症状のある高齢者が、急激な温度変化により、脳
卒中などを起こす例がある。裸になる浴室や脱衣所、洗
面所に、プライバシーの問題から、従来からあるＣＣＤ
カメラを設置することは事実上困難である。が、本発明
の行動計測装置であれば、裸になっている詳細などがみ
えない反射光画像なので、プライバシーの問題なく、設
置することが可能である。老人ホームなど多くの高齢者
が集合して居住する場所だけでなく、独居老人の住居に
設置することも可能である。

【００６４】以上、上記第１の実施形態によれば、プラ
イバシーを侵すことなく、かつ無人でも、夜間の徘徊な
どの行動を計測できるので、老人ホームなど高齢者など
のケアに大いに役に立つ。

【００６５】なお、上記第１の実施形態では、観測対象
の人物に対し、１台の行動計測装置を設置して、その行
動を計測することを仮定しているが、必ずしもこれに限
定するものではない。

【００６６】例えば、１台の行動計測装置で複数のベッ
ドをまとめて計測することも可能である。画像取得部１
を複数のベット全体の画像を取得できる位置に設置して
おき、画像取得部１で取得される距離画像からは撮像対
象までの距離情報をも抽出できることを用いれば、各ベ
ットまでの距離に応じて画素値の違いと撮像対象の大き
さが異なるので、図８に示したような特徴パターンは、
各ベットまでの距離に応じた画像サイズのものを用いれ
ば、どのベットであるかを識別して、各ベット毎に人物
の行動を計測することができる。

【００６７】また、１台で複数の人物の行動を計測する
場合、距離以外にも、例えば、音声などを用いて個人認
証を行う個人認証部をさらに具備していてもよい。例え
ば、複数のベットの置かれている部屋にマイクを設置
し、各ベットに寝ている人物の声紋を個人認証部に予め
登録しておく。マイクにて音声が収集されると、その音
声の声紋と登録されている声紋とを照合し、どのベット
に寝ている人物であるかを特定する。そして、距離画像
取得部１で取得された距離画像中の当該特定されたベッ
トの画像部分に対し行動計測（画像処理および行動分
析）を行うようにしてもよい。

【００６８】さらに、図９に示すように、異常検知部６
と警告部７とをさらに具備し、異常検知部６で行動記録
部５が記録する行動を比較することで、異常事態を検知
して、異常事態を検知したときは警告部７で警告を発す
るようにしてもよい。

【００６９】異常検知部６は、周期的な行動の周期の乱
れ（歩行時の歩幅や就寝時の胸の上下、定例的な徘徊動
作などの変更）、あるいは、一連の行動の停止（就寝時
の胸の上下の停止、定例的な徘徊動作、脱衣動作などの
停止）を検知する。

【００７０】家庭における入浴などは家庭人各々により
差はあるが、各人においては、行動は周期的なものであ
る。その周期の乱れ、例えば、歩行の際の足の繰り出し
の異常な遅れや、行動の停止、例えば、脱衣中に急に行
動がとまるなどを手掛かりに異状事態を検出できる。

【００７１】例えば、行動分析部４の図８に示したよう
なテーブルに登録された、当該観測対象者の歩行時、就
寝時、脱衣動作等の各行動時における特徴パターンと距
離画像取得部１で取得された距離画像から抽出された輪
郭情報、動きベクトル等の特徴量から行動分析部４にて
上記各行動が識別できたときは、前述したように、行動
記録部５に、識別された行動とそのときの距離画像（当
該距離画像そのもの、あるいは、当該距離画像から抽出
された観測対象の特徴量であってもよい）と時刻とが記
録される。異常検知部６では、行動記録部５に記録され
た距離画像あるいはその特徴量どうしを比較して、ある
いは、行動記録部５に記録された距離画像の特徴量を異
常検知部６に予め登録されている異常状態の特徴量と比
較して、あるいは、行動記録部５に記録されている各行
動の検知された時刻を比較して、異常状態を検知する。

【００７２】検知した結果は、情報管理部２を経て、警
告部７より出力する。例えば、病院等で、図９の行動計
測装置にて観測されている人物について、行動記録部５
に「起床」という行動が記録されたとする。異常検知部
６は、その検知時刻が記録されてから、「就床」という
行動が記録されるまでの時間を監視し、当該人物が通常
１時間程度の徘徊で戻ってくるはずが２時間経っても戻
ってこない場合、「通常、１時間で戻ってきますが、す
でに２時間経過していますが、戻ってきません」といっ
たような警告のメッセージをナースセンタの管理モニタ
に出力する。

【００７３】また、独居老人宅の脱衣所などに図９の行
動計測装置を設置した場合には、例えば、脱衣所に入る
→脱衣する→入浴する→着衣する→脱衣所からでるとい
う一連の行動のうち、どこかでとぎれたことを検知した
ら、「入浴中に問題があったようです」といった警告
を、無線などで、ナースセンタなど、ケアの契約を行っ
ているところに知らせることも可能である。

【００７４】例えば、行動分析部４の図８に示したよう
なテーブルに登録された、当該観測対象者の「脱衣所に
入る」時、脱衣時、入浴時、着衣時、「脱衣所から出
る」時の各行動時における特徴パターンと、距離画像取
得部１で取得された距離画像から抽出された輪郭情報、
動きベクトル等から、行動分析部４にて上記各行動が識
別できたときは、前述したように、行動記録部５に、識
別された行動とそのときの距離画像（当該距離画像その
もの、あるいは、当該距離画像から抽出された観測対象
の特徴量であってもよい）と、その行動の検知時刻とが
記録される。異常検知部６は、行動記録部５に記録され
た行動順序、あるいは、１つの行動が検知されてから後
続の行動が検知されるまでの時間間隔を監視すること
で、当該人物の異常状態を検知することができる。（第２の実施形態）ケーブルテレビ放送やデジタル放送
など１台のＴＶにて選択できる番組は、１００件以上に
なろうとしている。このようなＴＶ番組の選択をおこな
うインタフェースとして種々のＥＰＧ（電子プログラム
ガイド）が開発されている。

【００７５】が、実際には、検索してどの番組をみるか
を毎日決定するということは、ほとんど行わない。多く
の場合、たとえば、「夜７：００からＸＸチャンネルで
ニュースをみる」とか、「土曜日の夜１０：００からは
歌番組をみる」というように、習慣的にみる番組は決ま
っている。このように定常的にみる番組は、ＥＰＧで
は、ブックマーク（しおりをはさむことに相当）するこ
とができる。が、例えば家族内で複数の人物でＴＶを共
有している場合には、ブックマークも数多くなり、それ
を選択する操作は、特に高齢者などによっては、煩雑で
使いにくいものである。

【００７６】そこで、本発明の第２の実施形態では、こ
のような問題を解決するために、例えば、家族の中の誰
がＴＶをみようとしているかを、その行動から識別する
ための行動計測装置について説明する。さらに、このよ
うな行動計測装置にて識別された個人、あるいは、複数
の個人から構成されるグループに応じて、チャンネル設
定、音量設定等の詳細設定が行えるＴＶ等の主に家庭内
で使われるような電化製品（家電）を含む、それぞれ固
有の機能を有する電子的装置について説明する。

【００７７】図１０は、第２の実施形態に係る行動計測
装置の構成例を示したものである。なお、図１と同一部
分には同一符号を付し、異なる部分について説明する。
すなわち、図１０では、さらに、行動記録部５に記録さ
れた当該距離画像から抽出された行動の習性の特徴量か
らテンプレートを作成する学習部８と、この学習部８で
作成されたテンプレートに基づき、距離画像取得部１で
取得された距離画像に撮像されている人物を識別する
（学習部８で作成されたテンプレートから当該人物の習
性と一致するものを検索する）識別部９が追加されてい
る。

【００７８】以下、ＴＶを制御する（チャネル設定、音
量設定等）ための制御装置としての行動計測装置の場合
を例にとり説明する。行動分析部４では、例えば、距離
画像取得部１で取得された距離画像から、距離画像取得
範囲内に人物が侵入あるいは存在するか否かを判断す
る。そのため、行動分析部４の図８に示したようなテー
ブルには、距離画像取得範囲内に人物が侵入あるいは存
在しているときの特徴パターンが予め登録されている。
当該テーブルを参照して、距離画像取得部１で取得され
た画像から抽出された輪郭情報に距離画像取得範囲内に
人物が侵入あるいは存在することが検知できたときは、
以後、距離画像取得部１で取得された距離画像および画
像処理部３で当該距離画像から抽出された特徴量（当該
人物の輪郭情報と重心、当該人物までの距離等）に基づ
き習性の特徴量を算出し、この習性の特徴量と当該距離
画像の取得されたときの時刻等を行動記録部５に記録し
ていく。その際、行動分析部４は、距離画像取得範囲に
侵入あるいは存在する人物が、例えば、垂直に立ってＴ
Ｖ画面を正面から見ているのか、座って見ているのか、
寝転がってみているのかを検知するようにしてもよい。
そのため、行動分析部４の図８に示したようなテーブル
には、これら各行動の特徴パターンが予め登録されてい
る。当該テーブルを参照して、距離画像取得部１で取得
された画像から抽出された輪郭情報に距離画像取得範囲
内に侵入あるいは存在する人物がどんな行動をとってい
るか、すなわち、「立っている」「座っている」「寝転
がっている」のうちどの行動であるかが検知できたとき
は、その旨と検知されたときの時刻とを行動記録部５に
記録する。

【００７９】図１１は、学習部８に記憶される、例え
ば、家庭内等の各個人毎の行動の習性のテンプレートの
一例を示している。テンプレートは、距離画像取得部１
で取得した距離画像を分析して得られる特性を用いて作
成される点が、従来の学習方法と大きく異なっている。
すなわち、距離画像からは撮像体までの距離、撮像体の
奥行き情報等が読みとれるため、各個人の習性の特徴を
より詳細に捉えることができる。

【００８０】図１１には、個人の習性の特徴量として、
ＴＶ画面を基準とした人物の位置（体位置）、方向（体
方向）、顔位置、顔方向、当該人物のＴＶを見る時間
帯、動く速度を学習する場合を示している。

【００８１】体位置は、図１２（ａ）に示すように、Ｔ
Ｖ画面を基準にした、その習性を学習する対象者までの
距離を用いることにする。距離画像取得部１は、距離そ
のものが取得できるので、距離画像取得部１の画像取得
範囲の方向がＴＶ画面の法線方向に一致する位置にある
のならば、画像処理部３で抽出された距離値をそのま
ま、体位置として用いる。もし、距離画像取得部１の画
像取得範囲の方向がＴＶ画面の法線方向からずれていれ
ば、そのずれ位置をオフセット値として、体位置＝取得距離＋オフセット値のような簡単な式で、体位置を取得できる（距離画像取
得部１がＴＶ画面より後方にある場合には、オフセット
値は正、前方にある場合には、オフセット値は負にな
る）。この例では、単位は「ｃｍ」である。

【００８２】体方向は、ＴＶ画面の法線に対する対象者
の体（体面）がなす角度である。ここで図１３を参照し
て説明する。図１３は、対象者の体面（もともと長方形
であるとする）を模式的に示した距離画像の一例であ
る。対象者の体がＴＶ画面の法線に対して斜交していれ
ば、元の体面が長方形であるとすると、図１３に示すよ
うに、距離画像取得部１にて取得される距離画像に写る
対象者の対面ｍ１は、平行四辺形になる。この平行四辺
形の重心を求める（画像処理部３にて抽出される）。こ
の重心を含むＴＶ画面に平行する面ｍ２と体面ｍ１との
交線をｌ１とする。重心から平行四辺形の体面ｍ１の最
も手前にある（ＴＶ画面に対し最も近くにある）縦の一
辺ｌ２に対し垂線をひき、その交点をｐ１とする。一
方、重心から体面ｍ１の最も後方にある（ＴＶ画面に対
し最も遠くにある）縦の一辺ｌ３へ垂線をひき、その交
点をｐ２とする。重心位置にある画素値と交点ｐ１にあ
る画素値との差よりその間の距離を求める。また、重心
位置にある画素値と交点ｐ２にある画素値との差よりそ
の間の距離を求める。交点ｐ１とｐ２との間の距離を求
める。交点ｐ１とｐ２との間の距離に対応する体面ｍ１
のＴＶ画面の法線となす角度（体方向）は予め統計的に
求めておき、その対応テーブルを所定のメモリに記憶し
ているものとする。このテーブルを参照して、先に求め
た交点ｐ１とｐ２との間の距離に対応する体方向を読み
取る。なお、体方向の単位は度である。なお、以上の全
ての算出処理を画像処理部３で行ってもよいし、その一
部を行動分析部４にて行うようにしてもよい。

【００８３】顔位置は、図１４に示すように、対象者の
顔の床面からの高さである。なお、顔位置には、図１４
（ａ）に示すように、対象者が床に座ってみる場合に
は、座高に近い値になる。また、図１４（ｂ）に示すよ
うに、寝転がってみる場合もある。顔位置の単位は、例
えば「ｃｍ」である。

【００８４】顔方向は、図１２に示すように、人が垂直
に立ってＴＶ画面を正面から見ているときの顔の方向を
顔基準線としたときに、横にどれだけ傾いているかを示
すものである。図１４（ａ）のように、座ってみている
場合には、顔方向は０度であるが、図１４（ｂ）のよう
に、寝転がってみる場合には、−９０度になる。単位は
度である。

【００８５】なお、距離画像から人物の体部分と顔部分
を判別するには、例えば、行動分析部４に、体部分と頭
部分との接続位置と体部分の形状と頭部分の形状の特徴
パターンを登録しておき、これと距離画像から抽出され
た輪郭情報を照合することにより判別できる。

【００８６】時間帯は、この学習対象者を主として観察
する時間帯で、距離画像取得部１が画像を取得する範囲
内に、当該学習対象者がいる時間帯になるので、学習対
象者がＴＶをみる時間帯と一致する。これは、行動分析
部４にて距離画像取得範囲内に人物が侵入したことが検
知できたときに行動記録部５に記録された時刻を用い
る。

【００８７】速度は、学習対象者が距離画像取得部１の
画像取得範囲内を移動するときの速度である。つまり、
ゆっくり歩くか、せかせかと歩くかを示す。この場合、
速度の単位は、「ｃｍ／秒」である。距離画像の取得間
隔は、例えば１秒あるいは２秒に１枚と予め定められて
いるので、任意の２枚の距離画像のそれぞれから抽出さ
れた対象人物の重心位置までの距離の変化量を、その２
枚の距離画像を取得するまでの時間間隔で除算すれば求
めることができる。

【００８８】このようなテンプレートを作成する上で必
要な個人の行動の習性の特徴量は、例えば、行動分析部
４にて算出され、行動記録部５に記録されるとする。な
お、行動分析部４にて算出すべき習性の特徴量の種類
は、制御対象である電子的装置により異なる。

【００８９】学習部８では、行動記録部５記録された習
性の特徴量に基づき、図１１に示すような、例えば、体
位置、体方向、顔位置、顔方向、時間帯、速度といった
複数の習性の特徴量からなる１人の学習対象に対応する
習性を表したテンプレートを作成する。そして、その１
つ１つのテンプレートに、それぞれを識別するために、
図１１に示すように、「個人Ａ」、「個人Ｂ」などのよ
うに、ラベリングする。

【００９０】例えば、「個人Ａ」とラベリングされたテ
ンプレートでは、顔位置が３０ｃｍで、体位置が４０ｃ
ｍなので、ＴＶの画面近くで、寝転がってみるという習
性がある人物を示している。同様に、「個人Ｂ」とラベ
リングされたテンプレートでは、顔位置が１００ｃｍ
で、体位置が１３０ｃｍなので、ＴＶから適正な距離で
座ってみる習性がある人物を示している。

【００９１】テンプレートを作成するための習性の特徴
量の算出は、距離画像取得部１で取得された距離画像か
ら、距離画像取得範囲内に人物の侵入或いは存在が検知
されたときに行われる。例えば、算出された特徴量の値
と、すでにテンプレートに登録されている当該特徴量の
値（学習値）との差が予め定められた範囲より大きいと
き、学習部８は新たな学習対象者の習性を表すテンプレ
ートとして新規登録していく。

【００９２】なお、図１０に示す行動観測装置は、例え
ば、本実施形態の場合、この行動計測装置にて制御され
るＴＶが起動されたときに、それに連動して起動される
ものであってもよい。

【００９３】識別部９は、前述したように行動分析部４
で求められた習性の特徴量と、学習部８に登録されてい
る図１１に示したようなテンプレートとを比較して、現
在、距離画像取得部１で取得された距離画像に撮像され
ている人物の習性の特徴量とほぼ一致するものを検索す
る。

【００９４】例えば、図１１に示すテンプレートには、
２名分のテンプレートしかないので、この２つのうち、
どちらにより近いかを、例えば、次式（１）に示すよう
な評価式で評価し、この評価値の小さい方のテンプレー
トとマッチしたと判定することになる。

【００９５】

【数１】

【００９６】式（２）で表される評価値は、体位置、体
方向などの個々の特徴量ｉに関して、取得した値と学習
値（テンプレート上の値）との差をとり、それを正規化
のため、学習値で除算し、絶対値をとったものの合計値
である。

【００９７】式（２）の評価式では、どの特徴量も同等
の重みであるが、この場合に限らず、例えば、次式
（３）に示すように、より個性を反映する傾向の強い特
徴量の値をより評価式に反映させるため、各特徴量ｉ毎
に予め重み計数ｗｉを定め、個々の特徴量ｉに関して、
取得した値と学習値（テンプレート上の値）との差をと
って学習値で除算したものに重み計数ｗｉを乗算して絶
対値をとったものを全ての特徴量ｉについて合計するよ
うにてもよい。

【００９８】

【数２】

【００９９】識別部９にて、上記評価式を用いて、現
在、距離画像取得部１で取得された距離画像に撮像され
ている人物の習性の特徴量とほぼ一致するテンプレート
が検索できたときは、そのテンプレートに対応するラベ
ル（例えば、「個人Ａ」）を情報管理部２へ出力する。

【０１００】以上説明した観測対象を識別するための行
動計測装置を実際にＴＶ、エアコン等の電子的装置の制
御装置として用いる場合の全体の構成例を図１５に示
す。例えば、行動計測装置にてエアコンを制御する場
合、行動計測装置にて、部屋への入り方の習性の特徴を
表したテンプレートを基に、距離画像から抽出された人
物の習性の特徴量が、どのラベルの付されたテンプレー
トに対応するかを識別したら、その識別結果から当該エ
アコンは、その人に最適な室温や湿度となるように環境
設定する。また、例えば、ＴＶを制御する場合、行動計
測装置にて、ＴＶをみようと座る（あるいは、寝ころん
だ）ときの習性の特徴量を表した図１１に示したような
テンプレートを基に、距離画像から抽出された人物の習
性の特徴量が、どのラベルの付されたテンプレートであ
るかを識別したら、その識別結果から当該ＴＶは、その
人が普段みる番組にチャネルを変更して、電源をいれる
などの使用時の初期設定を自動的に行う。

【０１０１】以下、電子的装置がＴＶである場合を例に
とり説明する。図１５に示すように、ＴＶ１１は、情報
管理部２に接続されている。識別部９の識別結果に対応
したＴＶ１１のパラメータは、パラメータ設定テーブル
１０に予め登録されている。パラメータ設定テーブル１
０は、例えば、図１６に示すように、学習部８にてテン
プレートを管理する際に用いるラベルを用いて、チャネ
ル番号、音量等のＴＶのパラメータを管理している。す
なわち、「個人Ａ」というラベルに対しては、チャネル
番号が「１１」で、音量の調整値が「大」と登録されて
いる。

【０１０２】パラメータ設定テーブル１０への登録方法
は、予めユーザが登録するようにしてもよい。また、例
えば「個人Ａ」というラベルにて識別されている人物に
よりＴＶ１１に設定されたチャネル番号や音量等を読み
取って、それを登録するようにしてもよい。

【０１０３】情報管理部２は、識別部９から出力された
ラベルに対応するパラメータをパラメータ設定テーブル
１０から読み取ると、それをパラメータ出力部１２を介
してＴＶ１１へ出力する。

【０１０４】パラメータ出力部１２は、例えばＩｒＤＡ
等の無線通信、ＩＥＥ１３９４等の有線通信を行って、
あるいは、ＴＶ１１が予め備えている通信手段を用い
て、ＴＶ１１へパラメータを出力する。

【０１０５】ＴＶ１１は、例えば、図１７に示す構成の
もので、パラメータ入力部２１にてパラメータ出力部２
１との間で無線通信あるいは有線通信を行ってパラメー
タを受け取ると、それをもとに、ＴＶ本来の固有の機能
部２２を制御して、チャネル設定や音量調節等を行う。

【０１０６】次に、図１８に示すフローチャートを参照
して、図１５の行動計測装置（制御装置）の処理動作の
概略を説明する。まず、距離画像取得部１は、図２に示
したような発光部１０１、受光部１０３を用いて、例え
ば、１秒間に１枚あるいは２枚程度の速度で距離画像を
取得する（ステップＳ２１）。図４に示すようなマトリ
ックス形式の距離画像データは、画像処理部３に送られ
る。

【０１０７】画像処理部３では、距離画像取得部１から
送られてきた距離画像データに対し、エッジ切り出し
（撮像体の輪郭抽出）、重心抽出、面積算出、撮像物体
までの距離の算出、動きベクトルの算出など種々の画像
処理を行う（ステップＳ２２）。

【０１０８】行動分析部４では、画像処理部３の画像処
理結果を基に、行動の習性の特徴量を算出し、行動記録
部５に記録していく（ステップＳ２３）。学習部８は、
行動記録部５に記録された習性の特徴量に基づき、新た
な学習対象者の習性の特徴量であれば、それに対応する
テンプレートを作成する（ステップＳ２４）。

【０１０９】一方、識別部９は、行動分析部４で算出さ
れた習性の特徴量と、学習部８にすでに登録されている
図１１に示したようなテンプレートとを比較して、現
在、距離画像取得部１で取得された距離画像に撮像され
ている人物の習性の特徴量とほぼ一致するものを検索す
る。識別部９にて、例えば、式（２）、式（３）に示し
たような評価式を用いて、現在、距離画像取得部１で取
得された距離画像に撮像されている人物の習性の特徴量
とほぼ一致するテンプレートが検索できたときは、その
テンプレートに対応するラベル（例えば、「個人Ａ」）
を情報管理部２へ出力する（ステップＳ２５）。

【０１１０】情報管理部２は、識別部９から受け取った
ラベルに対応するＴＶのパラメータをパラメータ設定テ
ーブル１０から読み取り（ステップＳ２６）、パラメー
タ出力部１２を介してＴＶ１１へ出力する（ステップＳ
２７）。

【０１１１】ＴＶ１１は、当該パラメータを受け取る
と、それをもとに、ＴＶ本来の固有の機能部２２を制御
して、チャネル設定や音量調節等を行う。以上説明した
ように、上記第２の実施形態によれば、単に、日常の行
動をするだけで、例えば、家族の中の個人が識別される
ので、オフィスなどで、パスワードを用いて行われてい
るようなセキュリティシステムを、手間なく、家庭に導
入することを可能とするので、家電情報処理などに大き
く貢献するものである。

【０１１２】なお、図１５では、行動計測装置が制御す
る電子的装置が１台のみの場合を示したが、複数の電子
的装置を制御することも可能である。この場合、複数の
電子的装置のそれぞれに対応したパラメータ設定テーブ
ルを具備すればよい。

【０１１３】図１５では、行動計測装置と電子的装置と
が別個独立した装置である場合を示したが、この場合に
限らず、ＴＶ、エアコン等の電子的装置が行動計測装置
の全ての構成部を具備した一体型の電子的装置であって
もよい。この場合の電子的装置の構成例は、図１５と同
様である。また、電子的装置が行動計測装置の一部の構
成部のみを具備するものであってもよい。例えば、距離
画像取得部１以外の全ての構成部を具備する、あるい
は、電子的装置の固有の機能に依存する構成部（例え
ば、パラメータ設定テーブル１０）のみを具備するもの
であってもよい。この場合においても上記説明は同様に
当てはまる。

【０１１４】さらに、上記第２の実施形態では、パラメ
ータ設定テーブル１０には、１つのラベルに対しパラメ
ータが１組登録されているものであったが、この場合に
限らず、複数のラベルに対し、１組のパラメータが登録
されていてもよい。この場合、識別部９にて、１枚の距
離画像から複数の個人が同時に識別されたとき、例え
ば、「個人Ａ」と「個人Ｂ」とが同時識別されたとき、
それに対応したパラメータが読み出されて、ＴＶ１１が
制御される。

【０１１５】なお、図１、図９、図１０の行動計測装置
の構成において画像取得部１を除く各構成部の処理動作
はコンピュータに実行させることのできるプログラムと
して、フロッピーディスク、ハードディスク、ＣＤ−Ｒ
ＯＭ、ＤＶＤ、半導体メモリなどの記録媒体に格納して
頒布することもできる。

【０１１６】

【発明の効果】以上説明したように、本発明の行動計測
方法およびそれを用いた行動計測装置（第１の実施形
態）によれば、環境条件に影響を受けずにリアルタイム
で確実に観測対象の行動を計測できる。また、処理対処
が距離画像であるので、観測対象のプライバシーを侵す
ことがない。

【０１１７】また、本発明の行動計測方法およびそれを
用いた行動計測装置（第２の実施形態）によれば、日常
生活等における行動を計測するだけで、容易に個人を識
別することができる。

【０１１８】また、本発明の行動計測装置を用いた制御
装置（第２の実施形態）によれば、日常生活等における
行動を計測するだけで、容易に個人を識別することがで
き、その識別された観測対象に応じて、例えば、表示文
字サイズ、よくみるチャンネル設定、Ｗｓｂのホームペ
ージなどが自動的に設定できるので、ユーザが当該電子
的装置に行うべき面倒な設定を行う必要がなくなる。

【０１１９】また、本発明の行動計測装置を用いた、予
め定められた固有の機能を有する電子的装置は、日常生
活等における行動を計測するだけで、容易に個人を識別
することができ、その識別された観測対象に応じて、例
えば、表示文字サイズ、よくみるチャンネル設定、Ｗｓ
ｂのホームページなどが自動的に設定できるので、ユー
ザが当該電子的装置に行うべき面倒な設定を行う必要が
なくなる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る行動計測装置の
構成例を示した図。

【図２】距離画像取得部の外観の一例を示した図。

【図３】距離画像取得部の構成例を示した図。

【図４】反射光の強度を画素値とする距離画像の一例を
示した図。

【図５】図３に示した様なマトリックス形式の距離画像
を３次元的な表した図。

【図６】距離画像から抽出された物体の輪郭画像の一例
を示した図。

【図７】図１の行動計測装置の処理動作を説明するため
のフローチャート。

【図８】観測対象の人物の行動を識別するための行動分
析部に記憶されてる特徴パターンの一例を示した図。

【図９】行動計測装置の他の構成例を示した図。

【図１０】本発明の第２の実施形態に係る行動計測装置
の構成例を示した図。

【図１１】図１の学習部で作成されるテンプレートの一
例を示した図。

【図１２】観測対象を識別するための行動の習性の特徴
量の１例である体位置の算出方法について説明するため
の図。

【図１３】観測対象を識別するための行動の習性の特徴
量の１例である体方向の算出方法について説明するため
の図。

【図１４】観測対象を識別するための行動の習性の特徴
量の１例である顔位置の算出方法について説明するため
の図。

【図１５】図１０に示した観測対象を識別するための行
動計測装置を実際にＴＶ、エアコン等の電子的装置の制
御装置として用いる場合の全体の構成例を示した図。

【図１６】パラメータ設定テーブルの一例を示した図。

【図１７】図１５の電子的装置の概略的な構成例を示し
た図。

【図１８】図１５の行動計測装置（制御装置）の処理動
作を説明するためのフローチャート。

【符号の説明】

１…距離画像取得部２…情報管理部３…画像処理部４…行動分析部５…行動記録部６…異常検知部７…警報部８…学習部９…識別部１０…パラメータ設定テーブル１１…ＴＶ（電子的装置）１２…パラメータ出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者梅木直子神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内 (72)発明者山内康晋神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内 (72)発明者三原功雄神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内

Claims

【特許請求の範囲】

【請求項１】観測対象の撮像された距離画像から該観
測対象の行動の特徴量を抽出し、この抽出された行動の
特徴量に基づき該観測対象の行動を計測することを特徴
とする行動計測方法。
【請求項２】観測対象の撮像された距離画像から該観
測対象の行動の特徴量を抽出し、この抽出された行動の
特徴量に基づき該観測対象を識別するための識別情報を
作成し、前記抽出された前記観測対象の行動の特徴量と
前記作成された識別情報とに基づき、該観測対象を識別
することを特徴とする行動計測方法。
【請求項３】観測対象の距離画像を取得する距離画像
取得手段と、この距離画像取得手段で取得された距離画像から前記観
測対象の行動の特徴量を抽出する抽出手段と、この抽出手段で抽出された行動の特徴量に基づき前記観
測対象の行動を計測する行動計測手段と、を具備したことを特徴とする行動計測装置。
【請求項４】前記行動計測手段は、前記距離画像から
複数の観測対象のうちの１つを識別して、当該観測対象
の行動を計測することを特徴とする請求項３記載の行動
観測装置。
【請求項５】前記行動計測手段での計測結果に基づき
前記観測対象の行動の異常を検知する検知手段と、この検知手段で検知された前記観測対象の行動の異常を
通知する通知手段と、をさらに具備したことを特徴とする請求項３記載の行動
計測装置。
【請求項６】観測対象の距離画像を取得する距離画像
取得手段と、この距離画像取得手段で取得された距離画像から前記観
測対象の行動の特徴量を抽出する抽出手段と、この抽出手段で抽出された行動の特徴量に基づき前記観
測対象を識別するための識別情報を作成する作成手段
と、前記抽出手段で抽出された前記観測対象の行動の特徴量
と前記作成手段で作成された識別情報とに基づき該観測
対象を識別する識別手段と、を具備したことを特徴とする行動計測装置。
【請求項７】観測対象の距離画像を取得する距離画像
取得手段と、この距離画像取得手段で取得された距離画像から前記観
測対象の行動の特徴量を抽出する抽出手段と、この抽出手段で抽出された行動の特徴量に基づき前記観
測対象を識別するための識別情報を作成する作成手段
と、前記抽出手段で抽出された前記観測対象の行動の特徴量
と前記作成手段で作成された識別情報とに基づき該観測
対象を識別する識別手段と、この識別手段で識別された観測対象に応じて、予め定め
られた固有の機能を有する電子的装置を制御する制御手
段と、を具備したことを特徴とする制御装置。
【請求項８】予め定められた固有の機能を有する電子
的装置であって、観測対象の距離画像を取得する距離画像取得手段と、この距離画像取得手段で取得された距離画像から前記観
測対象の行動の特徴量を抽出する抽出手段と、この抽出手段で抽出された行動の特徴量に基づき前記観
測対象を識別するための識別情報を作成する作成手段
と、前記抽出手段で抽出された前記観測対象の行動の特徴量
と前記作成手段で作成された識別情報とに基づき該観測
対象を識別する識別手段と、この識別手段で識別された観測対象に応じて、前記固有
の機能を制御する制御手段と、を具備したことを特徴とする電子的装置。
【請求項９】観測対象の撮像された距離画像から該観
測対象の行動の特徴量を抽出させる抽出手段と、この抽出手段で抽出された行動の特徴量に基づき前記観
測対象の行動を計測させる行動計測手段と、を実行するプログラムを記録した機械読み取り可能な記
録媒体。
【請求項１０】観測対象の撮像された距離画像から該
観測対象の行動の特徴量を抽出させる抽出手段と、この抽出手段で抽出された行動の特徴量に基づき前記観
測対象を識別するための識別情報を作成させる作成手段
と、前記抽出手段で抽出された前記観測対象の行動の特徴量
と前記作成手段で作成された識別情報とに基づき該観測
対象を識別させる識別手段と、を実行するプログラムを記録した機械読み取り可能な記
録媒体。