JP6277736B2 - 状態認識方法及び状態認識装置 - Google Patents

Description

本願は、状態認識方法及び状態認識装置に関する。

人や動物、機械等の検出対象物体（例えば、移動体等）に状態変化を計測するセンサを取り付け、検出対象物体の動作や行動を認識する手法がある。例えば、病院や介護施設等において、看護側が気付かないうちに検出対象物体の一例である患者が、ベッドを離れて徘徊したり転倒する等の事故が起きることがある。医療や介護施設等での患者の見守りは、「起床」、「ベッドに腰掛ける」、「床に立つ」等の事故に繋がる予兆行動を自動で認識して、ナースコール等により看護師に通知する。

予兆行動の認識では、例えば病室をカメラで撮影して患者がどこに映っているかを認識し、患者の位置、動き、移動等から予兆行動かどうかを判別する。また、カメラ画像中の患者の認識には、一般的な物体認識技術を用いるが、カメラから人までの距離、カメラセンサとの角度、姿勢、服装、髪形等によって、患者は様々な見え方が生じる。そのため、予め設定された辞書画像との適合（パターンマッチング）では高精度に認識することができない。そこで、物体認識では、様々な見え方の人画像や人以外の画像データから局所的な特徴量を抽出して機械学習を行い、認識時にその学習結果を用いて一致度を算出して人かどうかを判定する。

物体認識のなかには、画像内の輝度勾配のヒストグラムを局所特徴量とするＨｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）等の手法がある。また、高精度に人を認識するためには、大きさ、角度、服装、髪形、体型等の多様の見え方を持つ人画像（ポジティブ画像データ）及び人が映っていない画像（ネガティブ画像データ）を事前に収集しなければならないため、膨大な工数を必要とする。そこで、少数の画像から人と背景をテクスチャ化し、人領域を画像変換して人工的に多様な画像を作り出す反復式生成型学習法が提案されている（例えば、特許文献１、非特許文献１及び２参照）。

特開平１０−１１３３４３号公報

"Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ"、Ｎ．Ｄａｒａｌ．ｅｔ．ａｌ、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００５ "反復式生成型学習法を用いた歩行者検出"、名古屋大学、（株）豊田中研 動的画像処理実利用化ワークショップ２０１３

しかしながら、例えば病室のカメラで撮影された画像から患者の頭部を検出する場合に、その画像中の広範囲で頭部が映る可能性があるため、広範囲で検出処理をしなければならず、処理量が大きくなる。また、従来手法では、例えばベッド以外の領域で映る可能性がない就床中の頭部の見え方に類似した物体を誤検出してしまう可能性があり、患者等の検出対象物体の状態を適切に認識することができない。

１つの側面では、本発明は、処理負荷を低くして検出対象物体の状態を適切に認識することを目的とする。

一態様における状態認識方法は、状態認識装置が、撮影領域内の検出対象物体の位置を予め設定し、設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識方法であって、前記検出対象物体が取り得る状態の遷移関係を予め設定し、設定された前記状態の遷移関係に基づいて、認識した前記検出対象物体の状態に対して、次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行うことを特徴とする。

処理負荷を低くして検出対象物体の状態を適切に認識することができる。

第１実施形態における状態認識装置の機能構成例を示す図である。 状態認識装置のハードウェア構成例を示す図である。 第１実施形態における検出条件設定処理の一例を示すフローチャートである。 第１実施形態における状態認識処理の一例を示すフローチャートである。 状態遷移の一例を示す図である。 条件付き状態遷移の一例を示す図（その１）である。 条件付き状態遷移の一例を示す図（その２）である。 状態遷移設定情報の一例を示す図である。 見え方設定情報の一例を示す図である。 各状態における学習データの収集例を示す図である。 切り出し領域の一例を示す図である。 映り領域設定手段における処理を説明するための図である。 各状態に対応した映り領域設定の一例を示す図である。 状態遷移に応じた隣接状態の一例を示す図である。 第２実施形態における状態認識装置の機能構成例を示す図である。 第２実施形態における状態認識処理の一例を示すフローチャートである。 動作遷移に応じた隣接動作の一例を示す図である。

以下、添付図面を参照しながら実施例について詳細に説明する。なお、以下の説明では、一例として、病室内をカメラ等の撮像手段により撮影した画像から、検出対象物体の一例である患者の状態を認識する手法について説明するが、これに限定されるものではない。検出対象物体の例としては、人や動物、機械等の移動体等がある。

＜第１実施形態における状態認識装置の機能構成例＞
図１は、第１実施形態における状態認識装置の機能構成例を示す図である。図１の例に示す状態認識装置１０は、検出条件設定手段１１と、映像データ取得手段１２と、認識状態決定手段１３と、状態認識手段１４と、通知手段１５とを有する。

検出条件設定手段１１は、カメラ等の撮像手段により予め撮影された学習用の映像データを用いて、患者（検出対象物体）の各状態における学習データを生成する。学習データとは、例えば患者（検出対象物体）の状態を検出するための条件等の情報（検出条件設定情報）であるが、これに限定されるものではない。また、検出条件設定手段１１は、各状態で画像中のどの領域（撮影領域）に患者が映っているか（映り領域データ）を設定したり、各状態への遷移関係（状態遷移関係データ）の設定等を行う。検出条件設定手段１１における処理は、例えば患者の状態認識を行う前処理として実行される。

映像データ取得手段１２は、例えば患者の病室等に設置されたカメラ（撮像手段）から、患者の状態認識を行うために撮影された映像データ（撮影画像）を取得する。なお、カメラは、所定のカメラ情報（カメラ位置、角度、カメラのレンズディストーションデータ等）により予め設定された条件でデータが撮影される。

認識状態決定手段１３は、検出条件設定手段１１で設定された状態遷移関係データから、認識する状態を決定する。例えば、認識状態決定手段１３は、認識すべき状態として、状態遷移関係データ３１を用いて、患者の直前（又は現在）の状態に対して、次に遷移する可能性のある状態（隣接する状態）を取得し、その状態を認識対象の状態として決定する。

また、認識状態決定手段１３は、認識に失敗し直前の状態が不明の場合に、認識に成功していた最後の状態を用いて、その最後の状態に隣接する状態を取得し、その状態を認識対象の状態として決定する。

例えば、認識状態決定手段１３は、直前の状態又は認識に成功していた最後の状態が「就床中」の場合には、隣接する状態を「座位」として決定することができる。したがって、認識状態決定手段１３は、上述した「就床中」及び「座位」を状態認識手段１４において認識させる対象の状態として決定する。なお、認識状態決定手段１３は、初期起動時等は直前の状態が存在しないため、全状態を認識領域として決定することになる。

状態認識手段１４は、映像データ取得手段１２により取得された画像から患者の状態を認識する。例えば、状態認識手段１４は、認識状態決定手段１３で決定された各状態に対する学習データを検出条件設定手段１１から取得する。また、状態認識手段１４は、映像データ取得手段１２により取得された画像のうち、検出条件設定手段１１で設定された映り領域データから得られる対象画像領域に対して、学習データを用いて状態の認識を行う。例えば、状態認識手段１４は、例えば予め設定された患者の位置、患者の取り得る形状、及び学習データ等を用いて撮影画像内の検出対象物体を検出すると共に、認識結果の遷移に基づいて検出対象物体の状態を判定する。

例えば、状態認識手段１４は、認識対象の状態が「就床中」である場合に、対象画像領域内で局所特徴量（ＨＯＧ）を算出し、機械学習や学習データを用いて、例えば頭部か頭部以外かを判定して患者の位置を検出して患者の状態を認識する。また、状態認識手段１４は、例えば対象画像領域を数ピクセルずつ横（又は下）にスライドさせて、同様に頭部か頭部以外かを判定するスライディング・ウィンドウ方式によって頭部を検出して、患者の位置から患者の状態を認識してもよいが、これに限定されるものではない。

通知手段１５は、ナースコール等により患者の状態や動作等に応じて通知を行う。例えば、通知手段１５は、状態認識手段１４により得られる状態が予め設定された条件を満たす状態や動作である場合に、その状態等に対応する通知を行う。これらの条件は、患者毎に設定することができるが、これに限定されるものではない。

例えば、通知を行う患者の状態や動作等の設定は、例えば現場の介護者や医師、システム設計者等が設定することができるが、これに限定されるものではない。また、通知手段１５による通知先は、ナースステーション等へのナースコールに限定されるものではなく、例えば予め設定された電子メールアドレスへ状態認識結果を通知したり、所定の番号へ電話により通知してもよい。また、通知手段１５は、例えば予め設定されたＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）の画面上に患者の状態を表示してもよい。

また、通知手段１５は、一度に複数箇所に通知してもよい。また、通知手段１５は、一度通知した後、所定時間内は同一の通知を行わないように設定してもよい。これらの設定は、例えば検出条件設定手段１１における検出条件設定処理時に行うことができる。

＜検出条件設定手段１１について＞
ここで、上述した検出条件設定手段１１の機能構成について具体的に説明する。図１の例において、検出条件設定手段１１は、状態遷移設定手段２１と、見え方設定手段２２と、学習データ収集手段２３と、学習データ生成手段２４と、映り領域設定手段２５とを有する。

状態遷移設定手段２１は、認識する状態の種類や各状態から次に遷移可能な状態等を設定する。設定された情報は、状態遷移関係データ３１として記憶する。状態遷移関係データ３１については、後述する。

見え方設定手段２２は、予め設定されたカメラ情報３２等を用いて状態遷移設定手段２１で設定した各状態（例えば、就床中、座位、傍床等）に対応する患者の見え方を設定する。カメラ情報３２とは、例えばカメラ位置、角度、カメラのレンズディストーションデータであるが、これに限定されるものではない。患者の見え方とは、各状態において患者が取り得る位置や形状等であり、例えば映る患者の身体部位（例えば、頭部、上半身、全身等）や画面上の映る面（例えば、正面、背面、側面）等であるが、これに限定されるものではない。

学習データ収集手段２３は、見え方設定手段２２で設定された各状態における患者の見え方の対応付け設定情報に基づいて、映像データ３３より各状態のポジティブ画像データ、ネガティブ画像データを収集し、各状態の画像データ３４に記憶する。ポジティブ画像データとは、撮影された画像データに状態を認識する対象の患者が含まれている場合を示し、ネガティブ画像データとは、撮影された画像データに状態を認識する対象の患者が含まれていない場合を示すが、これに限定されるものではない。なお、上述した映像データ３３は、患者の見え方に対応する複数のサンプル画像であり、特定個人のデータでなくともよい。

学習データ生成手段２４は、各状態の画像データ３４を用いて各状態における患者の形状や大きさ等を統計的に学習して、検出条件設定情報の一例としての学習データを生成する。学習データ生成手段２４は、各状態の学習データ３５として記憶する。なお、本実施形態では、例えば統計的な学習を行わずに、患者の各状態の検出条件を設定してもよい。

映り領域設定手段２５は、カメラ情報３２を用いて各状態において患者が映ると推測される画像領域を設定し、映り領域データ３６にその領域情報を記憶する。映り領域設定手段２５は、例えばベッドにいる患者の１つの動作の始点（寝ている状態）と終点（上半身を起こした状態）等、ベッド（撮影画像中にある物体）上で想定される１つ１つの動作の始点と終点とを各状態として設定する。

上述した状態認識装置１０は、例えばＰＣやサーバ等であるが、これに限定されるものではない。また、上述した状態遷移関係データ３１、カメラ情報３２、映像データ３３、各状態の画像データ３４、各状態の学習データ３５、及び映り領域データ３６は、例えば１つの記憶手段として状態認識装置１０に記憶されていてもよく、外部装置から取得してもよい。

上述した本実施形態では、撮影領域内の検出対象物体（患者）の位置と、その位置における取り得る形状を予め設定し、設定された領域毎に検出対象物体の画像を学習する。また、本実施形態では、撮影画像内において予め設定された位置と、取りうる形状とに基づいて検出対象物体を認識すると共に、認識結果の遷移に基づいて検出対象物体の状態を判定する。また、本実施形態では、撮影画像中にある物体を基準として、検出対象物体の位置や姿勢、形状等を予め設定してもよい。これにより、本実施形態では、撮影画像中の検出対象物体の検出や認識、遷移判定等を処理量削減等により高速化することができる。また、本実施形態では、状態遷移を予め設定しておき、一旦検出が途切れた場合（例えば、検出対象物体が認識できなくなった場合）等に、その設定された状態遷移の前後領域に対応する学習データに基づいて、検出対象物体の検出や状態の認識を行うことができる。したがって、本実施形態では、処理負荷を低くして検出対象物体の状態を適切に認識することができる。

＜状態認識装置１０のハードウェア構成例＞
次に、状態認識装置１０のハードウェア構成例について、図を用いて説明する。図２は、状態認識装置のハードウェア構成例を示す図である。図２の例において、状態認識装置１０は、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、主記憶装置４５と、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）４６と、ネットワーク接続装置４７とを有し、これらはシステムバスＢで相互に接続されている。

入力装置４１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。

出力装置４２は、本実施形態における処理を行うためのコンピュータ本体（状態認識装置１０）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置４２は、ＣＰＵ４６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体４８等により提供される。記録媒体４８は、ドライブ装置４３にセット可能である。ＣＰＵ４６からの制御信号に基づき、記録媒体４８に格納された実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。

補助記憶装置４４は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段等である。補助記憶装置４４は、ＣＰＵ４６からの制御信号に基づき、本実施形態における実行プログラム（状態認識プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置４４は、ＣＰＵ４６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置４５は、ＣＰＵ４６により補助記憶装置４４から読み出された実行プログラム等を格納する。主記憶装置４５は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。

ＣＰＵ４６は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）等の制御プログラム、及び主記憶装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また実行結果等を格納することもできる。

具体的には、ＣＰＵ４６は、例えば入力装置４１から得られるプログラムの実行指示等に基づき、補助記憶装置４４にインストールされたプログラムを実行させることにより、主記憶装置４５上でプログラムに対応する処理を行う。例えば、ＣＰＵ４６は、状態認識プログラムを実行させることで、上述した検出条件設定手段１１による学習データ（検出条件設定情報）等の生成、映像データ取得手段１２による映像データの取得、認識状態決定手段１３による認識状態の決定等の処理を行う。また、ＣＰＵ４６は、状態認識プログラムを実行させることで、上述した状態認識手段１４による患者の状態認識、通知手段１５による通知等の処理を行う。ＣＰＵ４６における処理内容は、上述した内容に限定されるものではない。ＣＰＵ４６により実行された内容は、必要に応じて補助記憶装置４４等に記憶される。

ネットワーク接続装置４７は、上述したインターネット等の通信ネットワークを介して外部装置等との通信を行う。ネットワーク接続装置４７は、ＣＰＵ４６からの制御信号に基づき、通信ネットワーク等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、ネットワーク接続装置４７は、プログラムを実行することで得られた実行結果又は本実施形態における実行プログラム自体を外部装置等に提供する。

記録媒体４８は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体４８は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。

図２に示すハードウェア構成に実行プログラム（例えば、状態認識プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における状態認識処理等を実現することができる。

＜状態認識処理の一例＞
次に、本実施形態における状態認識処理の一例についてフローチャートを用いて説明する。なお、以下の説明では、状態認識の前処理として行われる検出条件設定処理と、検出条件設定処理で得られた学習データを用いた状態認識処理とに分けて説明するが、これに限定されるものではない。また、検出条件設定処理は、事前に外部装置等で実施されていてもよい。

＜検出条件設定処理＞
図３は、第１実施形態における検出条件設定処理の一例を示すフローチャートである。図３の例において、検出条件設定手段１１の状態遷移設定手段２１は、例えば認識対象の患者が取り得る状態・状態遷移を設定する（Ｓ０１）。Ｓ０１の処理において、状態遷移設定手段２１は、例えば認識したい患者の状態や状態間の遷移関係を設定する。また、状態遷移設定手段２１は、患者の動作について設定してもよい。

次に、検出条件設定手段１１の見え方設定手段２２は、画像中における患者の各状態と、その各状態における患者の見え方との対応付けを行う（Ｓ０２）。

次に、検出条件設定手段１１の映り領域設定手段２５は、患者の映る可能性のある画像領域を設定する（Ｓ０３）。Ｓ０３の処理において、映り領域設定手段２５は、例えばカメラ（センサ）の設置位置、角度、レンズディストーション、予め設定した患者が各状態のときにいると推測される３次元上の位置情報から、各状態のときに映る領域を設定する。

次に、検出条件設定手段１１の学習データ収集手段２３は、映像データ３３からポジティブ画像データを収集し（Ｓ０４）、更にネガティブ画像データを収集する（Ｓ０５）。Ｓ０４の処理では、例えば見え方設定手段２２で設定された各状態のときの患者の見え方に対応する画像データ収集する。また、Ｓ０５の処理では、例えば患者の見え方に対応する画像領域で患者がいない領域をネガティブ画像データとして収集するが、Ｓ０４の処理で収集した各状態のポジティブ画像データと同じ大きさの領域を収集する。

次に、検出条件設定手段１１の学習データ生成手段２４は、Ｓ０４の処理で得られたポジティブ画像データと、Ｓ０５の処理で得られたネガティブ画像データとを用いて学習データを生成する（Ｓ０６）。Ｓ０６の処理において、学習データ生成手段２４は、例えばＳ０４及びＳ０５の処理で収集した画像データを用いて物体認識で利用される局所的特徴量（ＨＯＧ）及び機械学習を用いて、画像データを生成する。機械学習としては、例えばＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）やＡｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ（ＡｄａＢｏｏｓｔ）等を用いることができるが、これに限定されるものではない。

ここで、図３の例に示す検出条件設定処理においては、上述したＳ０３の処理を、Ｓ０６の後に行ってもよい。また、図３の例に示す検出条件設定処理においては、例えばナースコール等の通知を行う条件を設定してもよい。例えば、介護者や患者が起きている状態だけを知りたい場合は、例えば後述する図５における「座位」、「端座位」、「傍床」を設定することができるが、これに限定されるものではない。

＜状態認識処理＞
図４は、第１実施形態における状態認識処理の一例を示すフローチャートである。図４の例に示す状態認識処理は、カメラから撮影された映像データを所定フレーム数毎に実行してもよく、撮影された前後の画像フレームを用いて患者の動きを検出した場合にのみ実行してもよいが、これに限定されるものではない。

図４の例において、映像データ取得手段１２は、所定の位置（例えば、病室等）に設置されたカメラからの映像データを取得する（Ｓ１１）。

次に、認識状態決定手段１３は、状態遷移関係データ３１から認識すべき患者の状態を決定する（Ｓ１２）。Ｓ１２の処理において、認識状態決定手段１３は、認識すべき状態として、状態遷移関係データ３１を用いて、患者の直前の状態に対して、隣接する状態を取得し、その状態を認識対象の状態として決定する。また、認識状態決定手段１３は、認識に失敗し直前の状態が不明の場合に、認識に成功していた最後の状態を用いて、その最後の状態に隣接する状態を取得し、その状態を認識対象の状態として決定する。

次に、状態認識手段１４は、患者の状態を認識する（Ｓ１３）。Ｓ１３の処理において、状態認識手段１４は、認識状態決定手段１３で決定された状態について、上述した検出条件設定処理で得られた学習データ等を用いて、上述したＳ０３の処理で設定した領域に対して患者の検出を行い、患者の状態を認識する。

次に、通知手段１５は、Ｓ１３の処理で得られた患者の状態に基づいて、ナースコール等の通知を行うか否かを判断し（Ｓ１４）、通知を行う場合（Ｓ１４において、ＹＥＳ）、所定の通知を行う（Ｓ１５）。Ｓ１４の処理において、通知手段１５は、患者が予め設定された通知対象の状態である場合にナースコール等の通知を行う。例えば、通知手段１５は、１フレーム前の画像が通知対象の状態でない場合であって、現在のフレームの画像が通知対象の状態である場合には、ナースコールする。また、通知手段１５は、１フレーム前の画像も通知対象の状態である場合には、前回通知している内容であるため、通知してから所定時間を経過するまで再びナースコールは行わない。また、通知手段１５は、初期起動時等のように１フレーム前の状態が認識できていない場合であって、新たに状態を認識した場合には、ナースコールする。なお、通知内容については、これに限定されるものではない。

また、Ｓ１４の処理において、通知しない場合（Ｓ１４において、ＮＯ）、又はＳ１５の処理後、状態認識装置１０は、処理を終了するか否かを判断し（Ｓ１６）、処理を終了しない場合（Ｓ１６において、ＮＯ）、Ｓ１１の処理に戻る。また、Ｓ１６の処理において、処理を終了する場合（Ｓ１６において、ＹＥＳ）、状態認識装置１０は、処理を終了する。

＜状態遷移設定手段２１の具体例＞
次に、本実施形態における状態遷移設定手段２１の具体例について、図を用いて説明する。図５は、状態遷移の一例を示す図である。図５の例では、例えば患者が使用する病室のベッドの頭部上方に設置したカメラで撮影した場合の状態遷移を示している。

図５の例において、患者の起こり得る状態は、例えば「就床中（画像５０−１）」、「座位（画像５０−２）」、「左・端座位（画像５０−３）」、「右・端座位（画像５０−４）」、「左・傍床（画像５０−５）」、「右・傍床（画像５０−６）」である。また、それぞれの状態は、図５の矢印に示すように遷移することができる。

就床中とは、例えばベッド上で患者が布団をかけて寝ている状態である。座位とは、例えばベッド上で患者が背中を向けて座っている状態である。左・端座位とは、例えば画像から見てベッドの左端側で患者が座っている状態である。右・端座位とは、例えば画像から見てベッドの右端側で患者が座っている状態である。左・傍床とは、例えば画像から見てベッドの左の領域に患者が立っている状態である。右・傍床とは、例えば画像から見てベッドの右の領域に患者が立っている状態である。状態遷移設定手段２１は、図５に示すような状態遷移を設定することができる。

また、図６、図７は、条件付き状態遷移の一例を示す図（その１，その２）である。図６の例において、（Ａ）は患者がベッド右側のみに降りる場合の状態遷移を示し、（Ｂ）は患者が左半身不随の場合の状態遷移を示し、（Ｃ）は患者がベッド右側のみに降り、患者の左半身不随の場合を示している。また、図７の例において、（Ｄ）は患者がベッド左側のみに降りる場合の状態遷移を示し、（Ｅ）は患者が右半身不随の場合の状態遷移を示し、（Ｆ）は患者がベッド左側のみに降り、患者が右半身不随の場合の状態遷移を示している。また、図７の例において、（Ｇ）は患者がベッド左側のみに降り、患者が左半身不随の場合を示し、（Ｈ）は患者がベッド右側のみに降り、患者が右半身不随の場合を示している。状態遷移設定手段２１は、上述したように検出対象物体（移動体）が移動できる条件に対応した状態遷移を設定することもできる。

図８は、状態遷移設定情報の一例を示す図である。図８の例では、状態遷移設定情報の項目として、例えば「Ｎｏ」、「患者の条件」、「対応する状態遷移」等があるが、これに限定されるものではない。また、「患者の条件」として、例えば「ベッドの降りる位置」、「患者の容態」等があるが、これに限定されるものではない。

例えば、ベッドの降りる位置の指定がなく、患者の容態において半身不随がない場合、図５に示す状態遷移となる。また、ベッドの降りる位置が右で、左半身不随である場合、対応する状態遷移は、上述した図６の（Ｃ）に示す状態遷移となる。このように、本実施形態では、患者（検出対象物体）毎に状態遷移を設定することができる。

＜見え方設定手段２２の具体例＞
次に、本実施形態における見え方設定手段２２の具体例について、図を用いて説明する。

図９は、見え方設定情報の一例を示す図である。図９の例に示す見え方設定情報の項目としては、例えば「状態」、「見え方」等であるが、これに限定されるものではない。また、「見え方」は、「映る身体部位」、「画面上の映る面」を有するが、これに限定されるものではない。

見え方設定手段２２は、患者の各状態の見え方に対応した学習データを生成するために、事前に設定した患者の各状態と、その状態のときに映ると推測される患者の見え方とを対応付ける。これにより、本実施形態では、見え方のみからなる画像データを元に学習データを生成することができる。

例えば、見え方設定手段２２は、図９に示すように、患者（検出対象物体）の状態として「就床中」、「座位」、「端座位」、「傍床」のそれぞれについて、見え方を対応付ける。これにより、学習データ収集手段２３は、各状態に対して、図９に示す見え方のときの患者の領域を切り出し、切り出した画像領域に基づいて、既に撮影された映像データ３３を用いて各状態における学習データの収集を行う。

＜各状態における学習データの収集例＞
図１０は、各状態における学習データの収集例を示す図である。図１０（Ａ）は就床中の学習データの収集例を示し、図１０（Ｂ）は座位の学習データの収集例を示し、図１０（Ｃ）は端座位の学習データの収集例を示し、図１０（Ｄ）は傍床の学習データの収集例を示している。

図１０（Ａ）の例では、画像６０−１に映っている身体部位が頭部で、正面（顔）が映っている。そのため、見え方が見え方設定手段２２で設定された見え方設定情報（例えば、図９）の「就床中」の場合（部位：頭部、映る面：正面と一致している。したがって、学習データ収集手段２３は、図１０（Ａ）に示すような画像を就床中に対応するポジティブ画像データとして収集する。このときの切り出し領域６１−１は、最も見え方が大きくなるとき、例えば病室に設置されたカメラに最も近いときに映る身体部位に外接するサイズとすることができるが、これに限定されるものではない。図１０（Ａ）の例では、横Ｗ１、縦Ｈ１の矩形領域が設定される。

また同様に、学習データ収集手段２３は、図１０（Ｂ）に示す座位の学習データ収集についても見え方設定情報と対応付けて、画像６０−２から切り出し領域６１−２を設定する。また、学習データ収集手段２３は、図１０（Ｃ）に示す端座位の学習データ収集についても画像６０−３から切り出し領域６１−３を設定し、図１０（Ｄ）に示す座位の学習データ収集についても画像６０−４から切り出し領域６１−４を設定する。

なお、学習データ収集手段２３は、映像データ３３から得られる画像領域のうち、患者以外の画像（患者がいないときの画像）を、ネガティブ画像データとして収集する。このとき、ネガティブ画像データは、ポジティブ画像データの同等の大きさ（領域）の画像データを収集する。収集したポジティブ画像データ及びネガティブ画像データを用いて、上述したＨＯＧ及びＲｅａｌＡｄａＢｏｏｓｔ等による学習を行い、学習データを生成する。このようにして、各状態に対する画像データを切り出す大きさ（領域）を図１０（Ｅ）に示すように設定することができる。切り出す領域は、患者の見え方が最も大きくなるとき、つまりカメラに最も近い時に映る身体部位に外接するサイズが好ましいが、これに限定されるものではない。

＜切り出し領域６１について＞
ここで、上述した切り出し領域６１の一例について、図を用いて具体的に説明する。図１１は、切り出し領域の一例を示す図である。図１１（Ａ）は就床中における患者７０とベッド７１の側面図を示し、図１１（Ｂ）は患者７０とベッド７１の上面図を示し、図１１（Ｃ）は切り出し領域６１を示し、図１１（Ｄ）は図１１（Ｃ）の切り出し領域６１の拡大図を示している。

例えば、患者７０がベッド７１で就床中の状態を例に挙げると、患者７０の頭部を楕円体で近似し、就床でカメラ７２からの距離が最も近いとき（距離Ｌ０）について、カメラ７２の設置位置、角度、レンズディストーション及び患者７０の位置等から仮想的に画面上の頭部位置を計算する。

例えば図１１（Ｄ）に示すように、画面上の頭部位置を内包する外接四角形を取得し、その外接四角形に対して周囲にＭピクセルのマージン（余白）を加えた領域を、切り出し領域６１として設定する。患者７０の頭部を楕円で近似するときの大きさは、例えば映像データ３３から得られる頭部の形状の平均等から統計的に求めることができるが、これに限定されるものではない。

また、例えば所定のデータベース（例えば、ＡＩＳＴ人体寸法データベース等）で設定された頭部の大きさから、耳介間幅、全頭高、後頭・耳珠距離の各平均値等を用いて頭部の形状を設定してもよい。なお、画面上での頭部の大きさが男性・女性・年齢等で大きく異なる場合は、それぞれを大きさ毎に分けた画像データを生成し、別々に学習データを生成してもよい。また、ネガティブ画像データは、上述した手法により得られるポジティブ画像データの切り出し領域６１と同等の領域の画像データを収集するのが好ましい。

＜映り領域設定手段２５の具体例＞
次に、本実施形態における映り領域設定手段２５の具体例について図を用いて説明する。図１２は、映り領域設定手段における処理を説明するための図である。図１２（Ａ）は、左・傍床の状態のときに患者がいる３次元上の範囲を設定する処理を説明するための図を示し、図１２（Ｂ）は、３次元上の範囲から画像上で患者が映る領域を取得する例を示している。

映り領域設定手段２５は、カメラ情報３２等を用いて画像中から患者の各状態に対応させた映り領域を設定する。例えば、映り領域設定手段２５は、カメラ情報３２に含まれる設置位置、角度、センサのレンズディストーション、予め設定した患者が各状態のときにいる可能性のある３次元上の位置等を用いて、患者７０の各状態のときに映る可能性のある領域を仮想的に算出する。

例えば、映り領域設定手段２５は、図１２（Ａ）に示すように、左・傍床の状態のときに存在する可能性のある３次元座標（ｘ，ｙ，ｚ）上の患者の位置を四角形の範囲（Ｐ１〜Ｐ４）として予め設定する。そして、映り領域設定手段２５は、カメラ７２の設置位置、角度、レンズディストーション、及び患者の体格（身長）等の患者の個人情報等を用いて、図１２（Ｂ）に示すように、同範囲の各頂点に患者が存在したときの画像上の位置を外接四角形Ｒ１〜Ｒ４として仮想的に算出する。

また、映り領域設定手段２５は、図１２（Ｂ）に示すように、得られた４個の外接四角形全てを包含する外接四角形を算出し、これを傍床状態で映る可能性のある映り領域７３として設定する。なお、患者が不特定多数であり、体格が大人から子供まで多岐に渡る場合、映り領域設定手段２５は、例えば図１２（Ｂ）について大人や子供の場合（例えば、身長１８０ｃｍ，１２０ｃｍ）のそれぞれにおいて傍床状態の映り領域を設定する。また、映り領域設定手段２５は、上述の手法により設定されたそれぞれの映り領域を包含する外接四角形を取得して、その取得した領域を最終的な映り領域７３として設定してもよいが、これに限定されるものではない。

映り領域設定手段２５は、上述した傍床の場合と同様にして他の状態でも映る可能性のある領域を設定する。また、映り領域設定手段２５は、上述した設定情報を映り領域データ３６として記憶する。

図１３は、各状態に対応した映り領域設定の一例を示す図である。図１３の例において、同領域内で対応する学習データを用いて認識処理を行う。図１３（Ａ）の例では、傍床及び座位の状態におけるそれぞれの映り領域７３−１，７３−２が示されている。また、図１３（Ｂ）の例では、端座位及び就床中の状態におけるそれぞれの映り領域７３−３，７３−４が示されている。

なお、本実施形態において、例えば図１３（Ａ）、（Ｂ）に示すように重複領域７４−１，７４−２が存在する。この場合、状態認識手段１４は、各映り領域７３を用いて得られる患者の認識結果の信頼度等を用いて、どちらの状態であるかを認識することができる。例えば、状態認識手段１４は、就床中と座位との領域が重複している場合、まずは重複領域の有無に関係なく、それぞれの領域に対して対応する状態の学習データを用いて患者の検出を行う。つまり、状態認識手段１４は、就床中領域で就床中状態の学習データを用いて患者検出及び状態認識処理を行い、座位領域では座位状態の学習データを用いて患者検出及び状態認識処理を行う。

ここで、重複する領域における就床中状態と座位状態とにおけるそれぞれの学習データとの一致度が高い方が、信頼度が高い。したがって、対応するそれぞれの状態の学習データによって一致度を求め、その結果から最終的な患者の状態を認識することができる。また、状態認識手段１４は、就床中状態の学習データのみによって患者が検出された場合には、その患者は就床中であると認識することができ、座位状態の学習データのみによって患者が検出された場合、その患者は座位であると認識することができる。

なお、状態認識手段１４は、ベッド７１の布団等の映り方によって、複数の領域で信頼度が正の値となる位置がある場合には、その最大値の位置を患者の位置とし、このときに用いた学習データに対応する状態を患者の状態とする。更に、状態認識手段１４は、最大値が同一の位置が複数ある場合には、最大値が同一となった複数の状態のうち、予め設定された状態を患者の状態としてもよい。

なお、上述した例では、撮影画像中の患者が映る可能性のある領域を設定しているが、これに限定されるものではなく、例えば撮影画像中にある物体（例えば、ベッド等）を基準に領域を設定してもよい。例えば、病室における患者の行動としては、ベッドが基準となって動作の規定が可能と考えられるため、就床時，座位，左右端座位，左右傍床でそれぞれ映る可能性がある領域を定義してもよい。

＜認識状態決定手段１３の具体例＞
次に、本実施形態における認識状態決定手段１３の具体例について、図を用いて説明する。認識状態決定手段１３は、状態遷移関係データ３１に基づき、ある状態（例えば、直前の状態）から遷移可能な状態（隣接状態）に関する情報に基づいて処理対象の状態（領域）を決定する。

図１４は、状態遷移に応じた隣接状態の一例を示す図である。図１４の例では、基本状態（例えば、直前の状態）に対して連続して遷移可能な隣接状態が設定される。例えば、上述した図６、図７に示すような条件付きの状態遷移の場合には、その条件に基づく隣接状態が設定される。

例えば、認識状態決定手段１３は、患者の認識に成功した後、更に継続して患者の状態を認識する場合において、予め設定された状態遷移関係データ３１に基づいて、直前の状態に隣接する状態を決定し、認識に成功した状態と隣接する状態とを含む画像領域内で、対応する学習データを用いて認識処理を実行する。

例えば、認識状態決定手段１３は、上述した図５に示すような状態遷移において、患者の就床中の状態の認識に成功した場合、次に起こり得る状態は、就床中（継続）か座位、端座位（左・右）の各遷移となる。したがって、状態認識手段１４は、認識状態決定手段１３により決定した「就床中」と「座位」、「端座位（左・右）」とに対応付けられた領域で、それぞれの状態に対応する学習データを用いて、映像データから適切な状態認識を行うことができる。

なお、認識状態決定手段１３は、図５に示すような状態遷移を設定した場合にその状態遷移関係データ３１から図１４の例に示すような隣接対応テーブルを生成しておいてもよいが、これに限定されるものではない。

また、状態認識手段１４は、認識に失敗した場合は、失敗直前の状態に基づいて状態認識処理をする状態（領域）を決定してもよい。つまり、状態認識手段１４は、認識に失敗した直前の状態（＝認識に成功していた最後の状態）及び遷移関係上隣接する状態に対応付けられた領域（座標）と、各状態に対応する学習データとを用いて状態認識処理を行う。

例えば、上述した図５の状態遷移において認識に失敗した直前の状態が「左・傍床」である場合、図１４の例では、隣接している状態は「座位」、「左・端座位」である。そこで「座位」、「左・端座位」にそれぞれ対応付けられた領域で、対応する学習データを用いて状態認識処理を実施する。

状態認識処理では、例えば上述した映り領域データ３６から、認識状態決定手段１３で決定された状態に対応する映り領域を取得し、取得した映り領域内でラスタスキャン等を行う。また、状態認識処理では、各状態に対する領域内で、各状態に対応する所定の身体部位等が存在すれば、信頼度が高い領域が存在し、その状態に対応する領域にいる患者を検出する。これにより、状態認識手段１４は、患者の状態を適切に認識することができる。

＜第２実施形態における状態認識装置の機能構成例＞
次に、状態認識装置の第２実施形態について説明する。第２実施形態では、第１実施形態に示すように、患者（検出対象物体）の状態だけを認識するのではなく、患者の動作も認識する。なお、以下の説明において、同一の処理を行う構成等については、同一の名称及び符号を付するものとし、ここでの具体的な説明は省略する。

図１５は、第２実施形態における状態認識装置の機能構成例を示す図である。図１５の例に示す状態認識装置８０は、検出条件設定手段１１と、映像データ取得手段１２と、認識動作決定手段８１と、認識状態決定手段１３と、状態認識手段１４と、動作認識手段８２と、通知手段１５とを有する。

検出条件設定手段１１は、上述したように患者（検出対象物体）の各状態における学習データや、カメラ等の撮像手段により撮影された映像データに患者が映っている領域を設定する映り領域データ３６、状態の遷移情報を示す状態遷移関係データ３１等を設定する。なお、第２実施形態における状態遷移関係データ３１には、患者の動作に対する隣接動作への遷移関係を有していてもよい。

認識動作決定手段８１は、認識された患者の直前の動作と状態遷移関係データ３１とから、患者の認識すべき動作を決定する。また、認識状態決定手段１３は、認識動作決定手段８１で決定した動作と状態遷移関係データ３１とから認識する状態を決定する。

状態認識手段１４は、映り領域データ３６で設定した認識状態に対応する領域を各状態の映る領域から取得し、対応する状態の学習データを各状態の学習データ３５から取得して、同領域内において患者の状態認識を行う。

動作認識手段８２は、状態認識手段１４で認識された状態と、状態遷移関係データ３１とから患者の動作を認識する。

通知手段１５は、ナースコール等により患者の状態や動作等を通知する。通知を行う患者の状態や動作の設定は、例えば現場の介護者や医師、システム設定者等が行うことができるが、これに限定されるものではない。通知手段１５は、患者の動作の発生に応じて、第１実施形態における通知手段１５と同様にナースコールしたり、患者の状態を含むナースコールの信号を電話に出力したり、ＰＣの画面に出力する。

＜第２実施形態における状態認識処理＞
ここで、第２実施形態における状態認識装置８０の検出条件設定手段１１は、第１実施形態における状態認識装置１０の検出条件設定手段１１と同様の処理を行うため、ここでの具体的な説明は省略する。なお、検出条件設定手段１１で通知条件を設定する場合には、例えば予め設定した動作のうち、ナースコールしたい動作を設定する。例えば、動きの早い患者で、一人で離床すると転倒してしまうことを自覚していない場合、離床動作が検出されてからナースコールして介護者が駆けつけたのでは遅くなる。したがって、このような患者の場合には、起床動作を設定し、離床する前段階の動作を設定することができるが、これに限定されるものではない。

図１６は、第２実施形態における状態認識処理の一例を示すフローチャートである。なお、図１６の例に示す状態認識処理は、カメラから撮影された映像データを所定フレーム数毎に実行してもよく、患者の動きを検出した場合にのみ実行してもよいが、これに限定されるものではない。

図１６の例において、映像データ取得手段１２は、所定の位置（例えば、病室等）に設置されたカメラからの映像データを取得する（Ｓ２１）。

次に、認識動作決定手段８１は、認識すべき動作を決定する（Ｓ２２）。Ｓ２２の処理において、認識動作決定手段８１は、例えば患者の直前の動作と予め設定した状態遷移関係データ３１とを用いて直前の動作に隣接する動作を決定する。

ここで、図１７は、動作遷移に応じた隣接動作の一例を示す図である。図１７の例では、上述した図１４の隣接状態と比較すると、１つの動作に遷移するまでに複数の動作が想定されるため、多くの基本動作（例えば、直前の動作）とそれに対する隣接動作が設定されるが、これに限定されるものではない。また、例えば上述した図６、図７に示すような条件付きの遷移の場合には、その条件に基づく隣接動作が設定される。更に、図１７の例は、図１４に示す状態遷移を組み合わせたものであってもよい。

図１７において、例えば直前の動作が「起床」であれば、隣接する動作は「就床」、「座位１」、「離床１」であるため、これを認識すべき動作として設定する。なお、初期起動時等のように直前の動作が不明の場合には、全動作を認識すべき動作として設定する。

次に、認識状態決定手段１３は、状態遷移関係データ３１から認識すべき患者の状態を決定する（Ｓ２３）。Ｓ２３の処理では、認識すべき状態を、患者の直前の状態と直前の状態に隣接する状態とする。また、認識に失敗し直前の状態が不明の場合は認識に成功していた最後の状態とその最後の状態に隣接する状態とする。

次に、状態認識手段１４は、患者の状態を認識する（Ｓ２４）。Ｓ２４の処理では、上述した第１実施形態と同様の処理を行う。次に、動作認識手段８２は、状態認識手段１４による状態の認識結果等に基づいて患者の動作を認識する（Ｓ２５）。Ｓ２５の処理において、動作認識手段８２は、状態認識手段１４により例えばＳ２３で設定した動作の始点となる状態が認識された時点では動作の認識を行わず、その後に動作の終点となる状態が認識された場合に、その状態に対応する動作を認識する。

例えば、動作認識手段８２は、認識すべき動作として、例えば図１７に示すように「座位２」、「離床２」を設定した場合に、状態認識手段１４がその動作に対する共通の始点である「座位」の状態を認識した場合には、動作を認識しないか、「動作なし」として認識する。その後、状態認識手段１４が「左・端座位」の状態を認識した場合には、動作認識手段８２は、始点「座位」、終点「端座位」に対応させて予め設定された動作（「座位２」）を、患者の動作として認識する。

ここで、通知手段１５は、状態や動作の認識結果に基づいて、ナースコール等の通知を行うか否かを判断し（Ｓ２６）、通知を行う場合（Ｓ２６において、ＹＥＳ）、通知手段１５は、所定の通知を行う（Ｓ２７）。Ｓ２６の処理において、通知手段１５は、患者が予め設定された通知対象の動作である場合にナースコール等の通知を行う。例えば、通知手段１５は、直前に認識した動作が通知対象の動作でない場合であって、認識した動作が通知対象の動作である場合には、ナースコールする。また、通知手段１５は、直前に認識した動作も通知対象の動作である場合には、前回通知している内容であるため、通知してから所定時間を経過するまで再びナースコールは行わない。また、通知手段１５は、初期起動時等のように直前の動作が認識できていない場合であって、新たに動作を認識した場合には、ナースコールする。なお、通知内容については、これに限定されるものではない。

また、Ｓ２６の処理において、通知しない場合（Ｓ２６において、ＮＯ）、又はＳ２７の処理後、状態認識装置８０は、処理を終了するか否かを判断し（Ｓ２８）、処理を終了しない場合（Ｓ２８において、ＮＯ）、Ｓ２１の処理に戻る。また、Ｓ２８の処理において、処理を終了する場合（Ｓ２８において、ＹＥＳ）、状態認識装置８０は、処理を終了する。

上述したように本実施形態によれば、処理負荷を低くして検出対象物体の状態を適切に認識することができる。例えば、患者等の検出対象物体の各状態の見え方に対応した学習データの生成することで、画像データ収集時において、認識したい患者の状態や動作を事前に設定し、その状態のときの見え方のみを画像データとして収集する。そのため、認識の必要のない見え方の画像データは収集する必要がないため、画像データ収集量を削減することができる。また、本実施形態では、例えば就床と座位の状態だけを認識したいのであれば、その状態のデータだけを集めれば良く、その他の状態のデータは集めなくてもよい。

また、本実施形態では、患者の各状態に対応した画像中の領域内で対応する状態の学習データを使って認識を行うことで、各状態のときに映ると推測される領域を算出し、同領域内で対応する状態の学習データを使って認識を行う。そのため、特定の状態のときに映るはずのない領域で、該当する状態に類似した見え方の物体が存在する場合に誤認識することがなく、認識率を向上させることができる。また、本実施形態では、例えば就床中のときにはベッドの外の領域では映らないため、ベッド外領域で就床中のときの患者の見え方に物体を誤認識することがなくなる。

また、本実施形態では、状態遷移に基づいて認識処理を行う状態を決定することで、認識した状態の次に起こりうる状態（＝認識した状態・隣接する状態）を推測し、対応する状態のときに映るであろう画像中の領域を推測することができる。また、本実施形態では、映ると推測された領域内のみで認識処理を実施するため、患者の状態が遷移し画像中の患者の位置が移動しても認識し続けることができる。また、全ての状態に対応する領域内で認識処理する必要がないため処理量を相対的に少なくできる。

また、認識に失敗した場合は、失敗直前の状態に基づいて認識対象の状態を決めることができるため、全ての状態に対応する領域内で認識処理する必要がなく処理量を相対的に小さくできる。また、処理量が相対的に小さくなることで、認識処理できる単位時間中の画像枚数が相対的に多くなり、認識失敗後に短時間のうちに再度患者を見つける確率が向上するため、認識率の向上が見込める。

また、本実施形態では、上述した検出対象物体の状態だけでなく、動作についても適切に認識することができる。なお、本実施形態において状態や動作を認識する検出対象物体については、上述した患者に限定されるものではなく、例えば乳児や老人等の人でもよく、猫や犬、家畜のような動物でもよく、作業ロボット等のような機械でもよい。本実施形態を適用することで、上述した検出対象物体の少なくとも１つの状態や動作を適切に認識することができる。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
状態認識装置が、
撮影領域内の検出対象物体の位置と、該位置に対応して前記検出対象物体が取り得る形状とを予め設定し、設定された前記位置に対する撮影領域毎に前記位置に対応する検出対象物体を識別するための画像データを取得し、
前記取得した前記検出対象物体の位置に対応する画像データを用いて撮影画像から前記検出対象物体を検出し、検出結果の遷移に基づいて前記検出対象物体の状態を認識することを特徴とする状態認識方法。
（付記２）
前記検出対象物体が取り得る状態を予め設定し、
設定された前記状態に対応させて前記位置に対する撮影領域毎に前記検出対象物体の画像データを学習することを特徴とする付記１に記載の状態認識方法。
（付記３）
前記検出対象物体が取り得る状態の遷移関係を予め設定し、
設定された前記状態の遷移関係に基づいて、前記撮影画像内から取得した状態に対して次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行うことを特徴とする付記１又は２に記載の状態認識方法。
（付記４）
前記撮影画像内から前記検出対象物体の状態が認識できなかった場合に、最後に認識した状態と前記状態の遷移関係とを用いて、次に遷移する状態を決定し、決定した前記状態に対応させた前記検出対象物体の認識を行うことを特徴とする付記３に記載の状態認識方法。
（付記５）
前記検出対象物体が取り得る動作を予め設定し、
前記撮影画像内に対して前記位置と前記取り得る形状とに基づいて前記検出対象物体を認識し、
前記認識した結果の遷移に基づいて前記検出対象物体の動作を認識することを特徴とする付記１乃至４の何れか１項に記載の状態認識方法。
（付記６）
連続して撮影された撮影画像から、前記検出対象物体の動作の始点となる状態を認識し、前記動作の始点となる状態を認識した後に、前記動作の終点となる状態を認識し、前記始点となる状態と前記終点となる状態とに基づいて、前記検出対象物体の動作を認識することを特徴とする付記５に記載の状態認識方法。
（付記７）
前記検出対象物体が取り得る動作の遷移関係を予め設定し、
設定された前記動作の遷移関係に基づいて、前記撮影画像内から取得した前記検出対象物体の動作に対して次に遷移する動作を決定し、決定した前記動作に対応させた前記検出対象物体の認識を行うことを特徴とする請求項５又は６に記載の状態認識方法。
（付記８）
前記位置及び前記検出対象物体を検出するための領域は、前記撮影画像中の基準に対応した検出対象物体の動きに合せて設定されることを特徴とする請求項１乃至７の何れか１項に記載の状態認識方法。
（付記９）
撮影領域内の検出対象物体の位置と、該位置に対応して前記検出対象物体が取り得る形状とを予め設定する検出条件設定手段と、
前記検出条件設定手段により設定された前記位置に対する撮影領域毎に前記位置に対応する検出対象物体を識別するための画像データを取得し、前記取得した前記検出対象物体の位置に対応する画像データを用いて撮影画像から前記検出対象物体を検出し、検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識手段とを有することを特徴とする状態認識装置。
（付記１０）
前記検出条件設定手段は、
前記検出対象物体が取り得る状態を予め設定し、
設定された前記状態に対応させて前記位置に対する撮影領域毎に前記検出対象物体の画像データを学習することを特徴とする付記９に記載の状態認識装置。
（付記１１）
前記検出条件設定手段は、前記検出対象物体が取り得る状態の遷移関係を予め設定し、
前記状態認識手段は、設定された前記状態の遷移関係に基づいて、前記撮影画像内から取得した状態に対して次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行うことを特徴とする付記９又は１０に記載の状態認識装置。
（付記１２）
前記状態認識手段は、
前記撮影画像内から前記検出対象物体の状態が認識できなかった場合に、最後に認識した状態と前記状態の遷移関係とを用いて、次に遷移する状態を決定し、決定した前記状態に対応させた前記検出対象物体の認識を行うことを特徴とする付記１１に記載の状態認識装置。
（付記１３）
前記検出条件設定手段は、前記検出対象物体が取り得る動作を予め設定し、
前記状態認識手段は、前記撮影画像内に対して前記位置と前記取り得る形状とに基づいて前記検出対象物体を認識し、前記認識した結果の遷移に基づいて前記検出対象物体の動作を認識することを特徴とする付記９乃至１２の何れか１項に記載の状態認識装置。
（付記１４）
前記状態認識手段は、連続して撮影された撮影画像から、前記検出対象物体の動作の始点となる状態を認識し、前記動作の始点となる状態を認識した後に、前記動作の終点となる状態を認識し、前記始点となる状態と前記終点となる状態とに基づいて、前記検出対象物体の動作を認識することを特徴とする付記１３に記載の状態認識装置。
（付記１５）
前記検出条件設定手段は、前記検出対象物体が取り得る動作の遷移関係を予め設定し、
前記状態認識手段は、設定された前記動作の遷移関係に基づいて、前記撮影画像内から取得した前記検出対象物体の動作に対して次に遷移する動作を決定し、決定した前記動作に対応させた前記検出対象物体の認識を行うことを特徴とする付記１３又は１４に記載の状態認識装置。
（付記１６）
前記位置及び前記検出対象物体を検出するための領域は、前記撮影画像中の基準に対応した検出対象物体の動きに合せて設定されることを特徴とする付記９乃至１５の何れか１項に記載の状態認識装置。
（付記１７）
撮影領域内の検出対象物体の位置と、該位置に対応して前記検出対象物体が取り得る形状とを予め設定し、設定された前記位置に対する撮影領域毎に前記位置に対応する検出対象物体を識別するための画像データを取得し、
前記取得した前記検出対象物体の位置に対応する画像データを用いて撮影画像から前記検出対象物体を検出し、検出結果の遷移に基づいて前記検出対象物体の状態を認識する、処理をコンピュータに実行させるための状態認識プログラム。

１０，８０ 状態認識装置
１１ 検出条件設定手段
１２ 映像データ取得手段
１３ 認識状態決定手段
１４ 状態認識手段
１５ 通知手段
２１ 状態遷移設定手段
２２ 見え方設定手段
２３ 学習データ収集手段
２４ 学習データ生成手段
２５ 映り領域設定手段
３１ 状態遷移関係データ
３２ カメラ情報
３３ 映像データ
３４ 各状態の画像データ
３５ 各状態の学習データ
３６ 映り領域データ
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ 主記憶装置
４６ ＣＰＵ
４７ ネットワーク接続装置
４８ 記録媒体
５０，６０ 画像
６１ 切り出し領域
７０ 患者（検出対象物体）
７１ ベッド
７２ カメラ
７３ 映り領域
７４ 重複領域
８１ 認識動作決定手段
８２ 動作認識手段

Claims (6)

1. 状態認識装置が、
   撮影領域内の検出対象物体の位置を予め設定し、
   設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、
   検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識方法であって、
   前記検出対象物体が取り得る状態の遷移関係を予め設定し、
   設定された前記状態の遷移関係に基づいて、認識した前記検出対象物体の状態に対して、次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行う、
   ことを特徴とする状態認識方法。
2. 前記検出対象物体の状態が認識できなかった場合に、最後に認識した状態と前記状態の遷移関係とを用いて、次に遷移する状態を決定し、決定した前記状態に対応させた前記検出対象物体の状態の認識を行うことを特徴とする請求項１に記載の状態認識方法。
3. 状態認識装置が、
   撮影領域内の検出対象物体の位置を予め設定し、
   設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、
   検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識方法であって、
   連続して撮影された撮影画像から、前記検出対象物体の動作の始点となる状態を認識し、前記動作の始点となる状態を認識した後に、前記動作の終点となる状態を認識し、前記始点となる状態と前記終点となる状態とに基づいて、前記検出対象物体の動作を認識する、
   ことを特徴とする状態認識方法。
4. 前記検出対象物体が取り得る動作の遷移関係を予め設定し、
   設定された前記動作の遷移関係に基づいて、前記撮影画像内から取得した前記検出対象物体の動作に対して次に遷移する動作を決定し、決定した前記動作に対応させた前記検出対象物体の状態の認識を行うことを特徴とする請求項３に記載の状態認識方法。
5. 状態認識装置が、
   撮影領域内の検出対象物体の位置を予め設定し、
   設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、
   検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識方法であって、
   前記位置及び前記検出対象物体を検出するための領域は、前記撮影画像中の基準に対応した検出対象物体の動きに合せて設定されることを特徴とする状態認識方法。
6. 撮影領域内の検出対象物体の位置を予め設定し、
   設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、
   検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識装置であって、
   前記検出対象物体が取り得る状態の遷移関係を予め設定する設定手段と、
   設定された前記状態の遷移関係に基づいて、認識した前記検出対象物体の状態に対して、次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行う検出手段と
   を有することを特徴とする状態認識装置。

Images