JP7161812B1 - 意識状態解析装置及びプログラム、並びに観察システム - Google Patents

Abstract

【課題】様々な状況下にて被解析者の意識状態の推定精度をより向上可能な意識状態解析装置及びプログラム、並びに観察システムを提供する。【解決手段】意識状態解析装置としてのサーバ装置２０は、ベッド１６上の被解析者１２及び被解析者１２の周辺を撮影して得られる画像の時系列を示す画像データ５２を取得する画像取得部３６と、取得された画像データ５２に対して物体検出処理を施して、被解析者１２の開閉眼の時間変化を検出する物体検出部３８と、少なくとも、開閉眼の時間変化に関する開閉眼特徴量を用いて、被解析者１２の意識状態を推定する状態推定部４０と、を備える。【選択図】図２

Description

本発明は、意識状態解析装置及びプログラム、並びに観察システムに関する。

近年、医療分野において、患者を含む被解析者から計測された生体情報を解析し、得られた解析結果を、本人又は他人の治療や診断などに活用するための研究・開発が行われている。例えば、被解析者に関する種々の情報に基づいて被解析者の重症化を高精度に推定する技術が知られている。

特許文献１には、患者の病床を含む撮影領域を経時的に撮影した病床画像データを取得し、取得した病床画像データに撮影されている患者又は患者の身体部位の動作を解析し、解析された動作に基づいて、早期警告スコアの指標に含まれている酸素投与又は意識状態の少なくとも一方についてスコアリングして患者の重症化を推定するシステムが開示されている。また、同文献には、患者の目が開いているか否かが判定条件の１つとして用いられるとの記載がある。

国際公開第２０２０／２０３０１５号パンフレット

ところで、被解析者が、例えば、せん妄を含む混乱状態にあったり、鎮静管理下にあったりする場合、目の開閉だけでは被解析者の意識状態を正しく推定できない事例がある。つまり、特許文献１に記載のシステムには、推定精度の観点で、改良の余地が十分に残されている。

本発明はこのような課題に鑑みてなされたものであり、様々な状況下にて被解析者の意識状態の推定精度をより向上可能な意識状態解析装置及びプログラム、並びに観察システムを提供することにある。

本発明の第１態様における意識状態解析装置は、ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する画像取得部と、前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の開閉眼の時間変化を検出する物体検出部と、少なくとも、前記物体検出部により検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、を備える。

本発明の第２態様における意識状態解析プログラムは、ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する取得ステップと、取得された前記画像データに基づいて、前記被解析者の開閉眼の時間変化を検出する検出ステップと、少なくとも、検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する推定ステップと、を１つ又は複数のコンピュータに実行させる。

本発明の第３態様における観察システムは、ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを出力するカメラと、前記カメラから出力された前記画像データに基づいて、外部への報知を指示する意識状態解析装置と、前記意識状態解析装置からの前記報知の指示に応じて外部に報知する報知装置と、を備え、前記意識状態解析装置は、前記カメラにより出力された前記画像データを取得する画像取得部と、前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の開閉眼の時間変化を検出する物体検出部と、少なくとも、前記物体検出部により検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、前記状態推定部により得られる推定結果に基づいて外部への報知の要否を判定し、前記報知が必要であると判定された場合に前記報知を指示する報知指示部と、を備える。

本発明によれば、様々な状況下にて被解析者の意識状態の推定精度をより高めることができる。

本発明の一実施形態における観察システムの全体構成図である。 図１のサーバ装置の構成の一例を示す図である。 意識障害の重症度を示すＧＣＳ（Glasgow Coma Scale）の得点表を示す図である。 意識状態の推定動作に関する基本的なフローチャートである。 図１の室内の一例を示す斜視図である。 開閉眼の時間変化に関する判定情報により特定される判定条件の一例を示す図である。 被解析者の体動に関する判定情報により特定される判定条件の一例を示す図である。 推定動作の具体例を示す第１フローチャートである。 推定動作の具体例を示す第２フローチャートである。 推定動作の具体例を示す第３フローチャートである。 推定動作の具体例を示す第４フローチャートである。

以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。

［観察システム１０の構成］
＜全体構成＞
図１は、本発明の一実施形態における観察システム１０の全体構成図である。この観察システム１０は、被解析者１２の意識状態を観察（あるいは、監視）するための「見守りサービス」を提供可能に構成される。本図の例では、被解析者１２は、病院や自宅などの室１４内に設けられるベッド１６上で臥床している。この観察システム１０は、具体的には、１つ又は複数のカメラ１８と、サーバ装置２０（「意識状態解析装置」に相当）と、１つ又は複数の端末装置２２（「報知装置」に相当）と、を含んで構成される。

カメラ１８は、室１４内の撮影を通じてフレーム毎の画像信号を生成し、画像の時系列を示す画像データ５２（図２）として出力する撮像装置である。カメラ１８は、例えば、可視光カメラ、赤外線カメラ、ＴＯＦ（Time Of Flight）カメラ、同じ種別のカメラからなるステレオカメラ、又は、異なる種別のカメラの組み合わせから構成される。カメラ１８は、ベッド１６が画角内に収まるように固定配置されている。この画像データ５２を用いて、ベッド１６上の被解析者１２の位置・姿勢を追跡することができる。

サーバ装置２０は、上記した見守りサービスに関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置２０を単体のコンピュータとして図示しているが、サーバ装置２０は、これに代わって分散システムを構築するコンピュータ群であってもよい。

端末装置２２は、観察サービスを利用するユーザが所有するコンピュータであって、視覚又は聴覚を通じて外部に報知するための出力機能部（具体的には、ディスプレイ、スピーカなど）を有する。端末装置２２は、例えば、スマートフォン、タブレット、パーソナルコンピュータなどから構成される。

中継装置２４は、コンピュータ同士をネットワーク接続するための通信機器であり、例えば、ルータ、ゲートウェイ、又は基地局から構成される。これにより、カメラ１８とサーバ装置２０とは、中継装置２４及びネットワークＮＴを介して通信可能に構成される。また、サーバ装置２０と端末装置２２とは、中継装置２４及びネットワークＮＴを介して通信可能に構成される。

＜サーバ装置２０の構成＞
図２は、図１のサーバ装置２０の構成の一例を示す図である。このサーバ装置２０は、具体的には、通信部３０と、制御部３２と、記憶部３４と、を含んで構成されるコンピュータである。

通信部３０は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置２０は、カメラ１８から逐次的に出力された画像データ５２を取得するとともに、自身が生成した推定情報６０を含む報知データを端末装置２２に供給することができる。

制御部３２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を含むプロセッサによって構成される。制御部３２は、記憶部３４に格納されたプログラム及びデータを読み出して実行することで、画像取得部３６、物体検出部３８、状態推定部４０、及び報知指示部４２として機能する。

画像取得部３６は、ベッド１６上の被解析者１２及び被解析者１２の周辺を撮影して得られる画像の時系列（つまり、フレーム毎の画像）を示す画像データ５２を取得する。画像取得部３６は、カメラ１８から受信した画像データ５２を直接的に取得してもよいし、記憶部３４に予め格納されている画像データ５２を読み出して取得してもよい。

物体検出部３８は、画像取得部３６により取得された画像データ５２に対して物体検出処理を施して、画像内にある物体の有無及び位置を検出する。この物体検出部３８は、例えば、いわゆる物体検出モデルが構築された学習済みのニューラルネットワークを含んで構成されてもよい。物体検出モデルの種類は、関心領域（ＲＯＩ）の抽出器が物体の検出器とは別に設けられている「two-stage detector」（例えば、Faster R-CNN、Mask R-CNNやその派生モデル）であってもよいし、抽出器と検出器とが一体的に構成されている「one-stage detector」（例えば、ＹＯＬＯ、ＳＳＤ、Ｍ２Ｄｅｔやこれらの派生モデル）であってもよい。

検出対象である物体は、室１４内に存在し得る物、例えば、人間、身体部位、機器類、ベッド１６などが挙げられる。「人間」の一例として、ベッド１６上にいる被解析者１２と、ベッド１６の周辺にいる別の人物（例えば、医療従事者や付添人など）が挙げられる。「身体部位」の一例として、目、口、頭、手、足などが挙げられる。「機器類」の一例として、被解析者１２の周辺に設置される医療機器や、被解析者１２に装着される器具などが挙げられる。

状態推定部４０は、物体検出部３８による検出結果に基づいて、被解析者１２の意識状態を推定する。具体的には、状態推定部４０は、第１生成部４４と、分類部４６と、第２生成部４８と、を備える。

第１生成部４４は、物体検出部３８による検出結果に基づいて、被解析者１２の意識状態を推定するための各種特徴量を生成する。意識状態を示す状態量は、例えば、［１］覚醒状態、混乱状態、発声状態、苦痛状態、無反応状態など、被解析者１２の意識を直接的に示す「定性値」、［２］瞬きの種類（自発性・随意性・反射性）や鎮静状態であるか否か、処置中であるか否かなど、被解析者１２の意識と関連性を有する状況を示す「定性値」、あるいは［３］レベル（離散値）やスコア（連続値）を含む「定量値」であってもよい。特徴量の一例として、［１］被解析者１２の開閉眼の時間変化に関する「開閉眼特徴量」、［２］被解析者１２の体動に関する「動き特徴量」、又は［３］特定の物体に対する被解析者１２の反応の有無又は大きさに関する「反応特徴量」などが挙げられる。

開閉眼特徴量は、例えば、［１］所与の判定時間内における瞬きの頻度又は速度に関する統計量、又は［２］所与の判定時間内における開眼時間又は閉眼時間の割合（つまり、開眼率又は閉眼率）を示す統計量を含んでもよい。この判定時間は、例えば、現在（つまり、判定時点）を起点として所定の時間長さだけ遡った直近の時間帯であってもよい。統計量の一例として、平均値、最大値、最小値、最頻値、又は中央値などが挙げられる。なお、開閉眼特徴量は、［１］被解析者１２の両方の目が同時に検出されている場合、片方又は両方の目から求められてもよく、［２］包帯などにより片方の目が隠れている場合、検出されているもう片方の目から求められてもよい。

動き特徴量は、例えば、［１］所与の判定時間内における体動の速度又は加速度に関する統計量、又は［２］所与の判定時間内における被解析者１２の特定の挙動に関する統計量を含んでもよい。体動の速度又は加速度は、オプティカルフローを含む様々な解析手法を用いて算出される。特定の挙動の一例として、被解析者１２が、自身に装着されている器具類に触れようとする行為などが挙げられる。

反応特徴量は、例えば、［１］所与の判定時間内における特定の物体の速度又は加速度に関する統計量、又は［２］特定の物体が動く前後にわたる開閉眼特徴量又は動き特徴量の時間変化に関する特徴量を含んでもよい。特定の物体は、ベッド１６の周辺にいる別の人物（例えば、医療従事者や付添人など）であってもよいし、被解析者１２の周辺に配置される医療機器であってもよい。例えば、この反応特徴量は、［１］人物や物体が被解析者１２に接近してきた場合や、［２］被解析者１２が自身に接近してきた人物や物体に顔や視線を向ける場合に、より大きな値をとり得る。

分類部４６は、第１生成部４４により生成された各種特徴量を用いて、予め定められた複数のレベルのうちいずれに属するかを分類する。複数のレベルは、具体的には、［１］ＧＣＳ（Glasgow Coma Scale）又はＪＣＳ（Japan Coma Scale）を含む意識スケール、［２］ＲＡＳＳ（Richmond Agitation-Sedation Scale）を含む鎮静スケール、［３］独自に定義されたスケール、又は［４］上記したスケールの任意の組み合わせ、のいずれかに従って分類されてもよい。後述するように、ＧＣＳでは、４段階の開眼レベル（Ｅ１～Ｅ４）、５段階の言語反応レベル（Ｖ１～Ｖ５）及び６段階の運動反応レベル（Ｍ１～Ｍ６）がそれぞれ定義されている。

少なくとも開閉眼特徴量が用いられる場合、分類部４６は、開閉眼特徴量の種類及び判定時間の長さの組み合わせが異なる複数種類の判定処理を通じて、被解析者１２の意識状態が、複数の開眼レベルのうちのいずれに属するかを分類してもよい。ここでは、特徴量の種類に関して、値の定義、値の個数、又は算出方法のうちの少なくとも１つが異なる場合、それぞれ異なる種類として定義される。また、判定時間の長さは、例えば、数秒間から数十分間までの範囲の中から任意に選択される。この判定時間の長さは、具体的には、［１］短期的な判定では、数秒間から数十秒間までの範囲、［２］中期的な判定では、数十秒間から数分間までの範囲、［３］長期的な判定では、数分間から数十分間までの範囲からそれぞれ選択される。

少なくとも動き特徴量が用いられる場合、分類部４６は、動き特徴量の種類及び判定時間の長さが異なる複数種類の判定処理を通じて、被解析者１２の意識状態が、複数の運動反応レベルのうちのいずれに属するかを分類してもよい。ここでは、特徴量の種類に関して、値の定義、値の個数、又は算出方法のうちの少なくとも１つが異なる場合、それぞれ異なる種類として定義される。また、判定時間の長さは、例えば、数十秒間から数十分間までの範囲の中から任意に選択される。

少なくとも反応特徴量が用いられる場合、分類部４６は、反応特徴量が小さいほど重症度が高くなるように、又は、反応特徴量が大きいほど重症度が低くなるように意識状態を推定してもよい。あるいは、分類部４６は、反応特徴量が閾値を上回っている時間帯を除外して被解析者１２の意識状態を推定してもよい。あるいは、分類部４６は、反応特徴量が閾値を上回っている時間帯を除外して被解析者１２の意識状態を推定してもよい。

また、分類部４６は、被解析者１２への鎮静剤の投与の有無に応じて異なる規則に従って分類してもよい。この「異なる規則」とは、［１］判定処理に用いられる特徴量の種類、［２］判定処理に用いられる閾値、［３］判定時間の長さ、［４］判定処理における条件分岐、［５］分類されるレベルの定義・個数、［６］判定処理の実行数、［７］判定処理の採否、及び［８］判定処理の実行順のうち少なくとも１つが異なることを意味する。

第２生成部４８は、分類部４６が行う分類処理を通じて得られる推定結果を示す推定情報６０を生成するとともに、当該推定情報６０を被解析者１２と対応付ける。

報知指示部４２は、状態推定部４０により得られる推定結果に基づいて外部への報知の要否を判定し、報知が必要であると判定された場合に報知を指示する。具体的には、報知指示部４２は、推定情報６０を含む報知データを、通信部３０（図２）を通じて、該当する端末装置２２に送信する制御を行う。

記憶部３４は、制御部３２が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶部３４は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）－ＲＯＭ、フラッシュメモリなどの可搬媒体、コンピュータシステムに内蔵されるハードディスク（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）などの記憶装置である。

本図の例では、記憶部３４には、被解析者１２としての患者に関するデータベース（以下、「患者ＤＢ５０」という）が構築されるとともに、画像データ５２、学習パラメータ群５４、判定情報５６，５８、及び推定情報６０が格納されている。

患者ＤＢ５０を構成するレコードには、例えば、［１］患者の識別情報である「患者ＩＤ（Identification）」と、［２］患者の身体的情報や診断情報を含む「カルテ情報」と、［３］報知先の「ネットワーク情報」と、［４］意識状態の「推定日時」と、［５］推定情報６０により特定される「推定結果」と、［６］報知の有無と、が含まれる。

画像データ５２は、ベッド１６上の被解析者１２及び被解析者１２の周辺を撮影して得られる画像の時系列を示すデータである。例えば、カメラ１８が可視光カメラである場合、フレーム毎の画像は、ＲＧＢの色値をそれぞれ示す３つのカラーチャンネルを有する。また、カメラ１８が可視光カメラとＴＯＦカメラを組み合わせたカメラユニットである場合、フレーム毎の画像は、ＲＧＢの色値と奥行き（Ｄ）をそれぞれ示す４つのカラーチャンネルを有する。

学習パラメータ群５４は、物体検出部３８（より詳しくは、物体検出モデル）の演算に用いられる学習パラメータの集合体である。学習パラメータ群５４は、学習時の更新対象である「可変パラメータ」と、学習時の更新対象でない「固定パラメータ」（いわゆるハイパーパラメータ）から構成される。可変パラメータの一例として、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度などが挙げられる。固定パラメータの一例として、演算ユニットの個数、中間層の数、畳み込み演算のカーネルサイズなどが挙げられる。

判定情報５６，５８は、意識状態を推定するための判定処理を記述する情報である。判定条件は、上述した開閉眼特徴量、動き特徴量、及び反応特徴量のうちの少なくとも１つに関する。個々の判定条件は、例えば、判定ＩＤ、判定項目、及び分類結果と対応付けられている。分類結果は「ＹＥＳ／ＮＯ」による２つの条件分岐であってもよいし、３つ以上の条件分岐があってもよい。また、判定情報５６，５８は、被解析者１２に対する鎮静剤の投与の有無に応じて別々に設けられてもよい。

推定情報６０は、状態推定部４０による意識状態の推定結果を示す情報であり、例えば、特徴量の各値、意識レベル・鎮静レベルなどの分類、重症化スコア、報知の要否などが含まれる。

［サーバ装置２０の動作］
この実施形態における観察システム１０は、以上のように構成される。続いて、サーバ装置２０による解析動作（より詳しくは、意識状態の推定動作）について、図３～図１１を参照しながら説明する。

図３は、意識障害の重症度を示すＧＣＳの得点表を示す図である。このＧＣＳの評価項目は、［１］開眼（Ｅスコア）、［２］最良言語反応（Ｖスコア）、及び［３］最良運動反応（Ｍスコア）の３つから構成される。「開眼」は、軽症レベルに相当する「４」から重症レベルに相当する「１」までの４段階で評価される。「最良言語反応」は、軽症レベルに相当する「５」から重症レベルに相当する「１」までの５段階で評価される。「最良運動反応」は、軽症レベルに相当する「６」から重症レベルに相当する「１」までの６段階で評価される。

従来の手法では、医師や看護師などの専門家が、被解析者１２の挙動を観察し、各評価項目における得点を付与して意識状態を推定する。この場合、観察・評価による専門家の負担が大きくなるという問題がある。これに対して、この観察システム１０によれば、カメラ１８の撮影で得られる画像データ５２を用いて被解析者１２の意識状態を自動的に推定可能になるので、専門家の負担を大幅に軽減することができる。

＜基本動作＞
続いて、図１及び図２のサーバ装置２０の基本動作について、図４のフローチャート及び図５～図７を参照しながら説明する。

図４のステップＳＰ１０において、制御部３２（より詳しくは、画像取得部３６）は、ベッド１６上の被解析者１２及び被解析者１２の周辺を撮影して得られる画像の時系列を示す画像データ５２を取得する。

図５は、図１の室１４内の一例を示す斜視図である。被解析者１２は、室１４内に設けられるベッド１６上で臥床している。ベッド１６の前方には、被解析者１２の体内に酸素を吸入するための医療機器８０が配置されている。被解析者１２には、医療機器８０から供給される酸素を導入するためのチューブ８２が装着されている。また、ベッド１６の側方には、被解析者１２の様子を伺う医療従事者８４が立っている。本図の例では、被解析者１２の目１２ｅは、医療従事者８４の方を向いている。

この室１４内を撮影して得られた画像には、［１］被解析者１２の形態を示す「第１人領域」、［２］ベッド１６の形態を示す「ベッド領域」、［３］医療機器８０の形態を示す「機器領域」、［４］チューブ８２の形態を示す「チューブ領域」、及び［５］医療従事者８４の形態を示す「第２人領域」が含まれる。また、第１人領域の頭部位置には、被解析者１２の目１２ｅを示す「目領域」が含まれる。

図４のステップＳＰ１２において、制御部３２（より詳しくは、物体検出部３８）は、ステップＳＰ１０で取得された画像データ５２に対して物体検出処理を施し、［１］被解析者１２の有無・位置・姿勢、［２］目１２ｅの位置・開閉状態、［３］特定の物体（例えば、医療機器８０、チューブ８２、医療従事者８４）の有無・位置・姿勢、［４］特定の物体に対する被解析者１２の反応の有無・程度（例えば、位置・姿勢の時間変化）などを検出する。

ステップＳＰ１４において、制御部３２（より詳しくは、状態推定部４０）は、ステップＳＰ１２での検出結果に基づいて被解析者１２の意識状態を推定する。このステップＳＰ１４は、［１］各種特徴量の生成（ステップＳＰ１４Ａ）、［２］意識状態の分類（ステップＳＰ１４Ｂ）及び［３］推定情報６０の生成（ステップＳＰ１４Ｃ）の３つのサブステップから構成される。

ステップＳＰ１４Ａにおいて、状態推定部４０（より詳しくは、第１生成部４４）は、ステップＳＰ１２での検出結果に基づいて、分類処理に必要な各種特徴量（例えば、開閉眼特徴量、動き特徴量、反応特徴量など）を生成する。

ステップＳＰ１４Ｂにおいて、状態推定部４０（より詳しくは、分類部４６）は、ステップＳＰ１４Ａで生成された各種特徴量を用いて、被解析者１２の意識状態を分類するための分類処理を行う。この分類処理は、例えば、図６及び図７に示す判定情報５６，５８に従って行われる。

図６は、開閉眼の時間変化に関する判定情報５６により特定される判定条件の一例を示す図である。本図の例では、判定情報５６には、３つの判定条件（つまり、開閉眼判定Ｘ１，Ｘ２，Ｘ３）が記述されている。個々の判定条件は、判定ＩＤ、判定項目及び分類結果と対応付けられている。

判定ＩＤが「Ｘ１」である判定項目「開眼の有無」（つまり、開閉眼判定Ｘ１）によれば、開眼状態が検出された場合にＧＣＳのＥスコアが「２～４」のいずれかであると分類される一方、開眼状態が検出されなかった場合にＧＣＳのＥスコアが「１」であると分類される。

判定ＩＤが「Ｘ２」である判定項目「瞬目の頻度」（つまり、開閉眼判定Ｘ２）によれば、直近３分間のうち開眼状態である時間の割合（つまり、開眼率）が閾値Ｔｈ１（単位：％）以上である場合にＧＣＳのＥスコアが「２～３」のいずれかであると分類される一方、Ｔｈ１を下回った場合にＧＣＳのＥスコアが「４」であると分類される。

判定ＩＤが「Ｘ３」である判定項目「表情」（つまり、開閉眼判定Ｘ３）によれば、直近３分間のうちの開眼率が閾値Ｔｈ２（単位：％）以上である場合に被解析者１２が「混乱状態」であると分類される一方、Ｔｈ２を下回った場合に被解析者１２が「覚醒状態」又は「混乱状態」であると分類される。

図７は、被解析者１２の体動に関する判定情報５８により特定される判定条件の一例を示す図である。本図の例では、判定情報５６には、３つの判定条件（つまり、体動判定Ｙ１，Ｙ２，Ｙ３）が記述されている。個々の判定条件は、判定ＩＤ、判定項目及び分類結果と対応付けられている。

判定ＩＤが「Ｙ１」である判定項目「体動の有無」（「体動判定Ｙ１」ともいう）によれば、直近３０秒間のうち体動が検出された場合にＧＣＳのＭスコアが「４～６」のいずれかであると分類される一方、体動が検出されなかった場合にＧＣＳのＭスコアが「判別不可」であると分類される。

判定ＩＤが「Ｙ２」である判定項目「混乱の有無」（「体動判定Ｙ２」ともいう）によれば、直近３分間のうち体動の加速度のピーク数が閾値Ｔｈ３（単位：個）以上である場合に被解析者１２が「混乱状態」であると分類される一方、当該ピーク数がＴｈ３を下回った場合に被解析者１２が「覚醒状態」であると分類される。

判定ＩＤが「Ｙ３」である判定項目「処置の有無」（「体動判定Ｙ３」ともいう）によれば、直近３０秒間のうち閾値Ｔｈ４（単位：ｍｍ／ｓ２）よりも大きい体動の加速度が継続的に検出された場合に被解析者１２に対して「処置中である」と分類される一方、当該加速度が継続的に検出されなかった場合に被解析者１２に対して「処置中でない」と分類される。

図４のステップＳＰ１４Ｃにおいて、状態推定部４０（より詳しくは、第２生成部４８）は、ステップＳＰ１４Ｂでの分類による推定結果を示す推定情報６０を生成する。制御部３２は、ステップＳＰ１４を実行した後、次のステップＳＰ１６に進む。

ステップＳＰ１６において、制御部３２（より詳しくは、報知指示部４２）は、ステップＳＰ１４での推定結果に基づいて、外部への報知が必要であるか否かを判定する。必要であると判定された場合（ステップＳＰ１６：ＹＥＳ）、報知指示部４２は、次のステップＳＰ１８に進む。一方、必要でないと判定された場合（ステップＳＰ１６：ＮＯ）、制御部３２は、ステップＳＰ１８の実行をスキップし、図４に示すフローチャートの動作を終了する。

ステップＳＰ１８において、報知指示部４２は、ステップＳＰ１６にて報知が必要であると判定された場合に、推定情報６０を含む報知データを、通信部３０を通じて、該当する端末装置２２に送信する制御を行う。そうすると、端末装置２２は、この報知データを受信した後、自身が有する出力機能部を用いて外部に報知する。その後、制御部３２は、図４に示すフローチャートの動作を終了する。

このように、サーバ装置２０が、定期的に又は不定期に、図４のフローチャートを繰り返し実行することで、医療従事者は、被解析者１２の意識状態を観察することができる。

＜推定動作の具体例＞
続いて、図６及び図７の判定情報５６，５８を利用した場合における推定動作の具体例について、図８～図１１のフローチャートを参照しながら説明する。ここでは、被解析者１２に対して鎮静剤の投与がない場合、つまり、被解析者１２が「鎮静状態」ではない場合を例に挙げて説明する。

図８において、状態推定部４０は、開閉眼判定Ｘ１を行う（ステップＳＰ３０）。所与の条件を満たす場合（ステップＳＰ３０：ＹＥＳ）、状態推定部４０は、ＧＣＳのＥスコアが「２～４」のいずれかであると分類するとともに、次のステップＳＰ３２に進む。一方、所与の条件を満たさない場合（ステップＳＰ３０：ＮＯ）、状態推定部４０は、Ｅスコアが「１」であると分類するとともに、後述する図１１のフローチャート（端点Ｃ）に進む。

Ｅスコアに関する１次分類が終了した後、状態推定部４０は、被解析者１２とは異なる特定の物体が検出されなかったか否かを判定する（ステップＳＰ３２）。特定の物体が検出されなかった場合（ステップＳＰ３２：ＹＥＳ）、状態推定部４０は、被解析者１２の瞬きが「自発性瞬目」であり、かつＥスコアが「４」であると分類するとともに、後述する図９のフローチャート（端点Ａ）に進む。一方、所与の条件を満たさない場合（ステップＳＰ３２：ＮＯ）、状態推定部４０は、被解析者１２の瞬きが「随意性瞬目」又は「反射性瞬目」であると分類するとともに、次のステップＳＰ３４に進む。

瞬きの種類に関する分類が終了した後、状態推定部４０は、開閉眼判定Ｘ２を行う（ステップＳＰ３４）。所与の条件を満たす場合（ステップＳＰ３４：ＹＥＳ）、状態推定部４０は、Ｅスコアが「４」であると分類するとともに、後述する図９のフローチャート（端点Ｂ）に進む。一方、所与の条件を満たさない場合（ステップＳＰ３４：ＮＯ）、状態推定部４０は、Ｅスコアが「２～３」のいずれかであると分類するとともに、後述する図１０のフローチャート（端点Ｃ）に進む。

図９において、Ｅスコアに関する１次分類が終了した後（図８の端点Ａ参照）、状態推定部４０は、体動判定Ｙ１を行う（ステップＳＰ３６）。所与の条件を満たす場合（ステップＳＰ３６：ＹＥＳ）、状態推定部４０は、ＧＣＳのＭスコアが「４～６」のいずれかであると分類するとともに、次のステップＳＰ３８に進む。一方、所与の条件を満たさない場合（ステップＳＰ３６：ＮＯ）、状態推定部４０は、Ｍスコアが「判定不明」であると分類するとともに、次のステップＳＰ３８に進む。

Ｍスコアに関する分類が終了した後、状態推定部４０は、開閉眼判定Ｘ３を行う（ステップＳＰ３８）。所与の条件を満たす場合（ステップＳＰ３８：ＹＥＳ）、状態推定部４０は、被解析者１２が「混乱状態」であると分類するとともに、ステップＳＰ４２に進む。一方、所与の条件を満たさない場合（ステップＳＰ３８：ＮＯ）、状態推定部４０は、被解析者１２が「混乱状態」又は「覚醒状態」であると分類するとともに、ステップＳＰ４０に進む。

次いで、状態推定部４０は、体動判定Ｙ２を行う（ステップＳＰ４０）。所与の条件を満たす場合（ステップＳＰ４０：ＹＥＳ）、状態推定部４０は、被解析者１２が「混乱状態」であると分類するとともに、次のステップＳＰ４２に進む。一方、所与の条件を満たさない場合（ステップＳＰ４０：ＮＯ）、状態推定部４０は、被解析者１２が「覚醒状態」であると分類するとともに、図８～図１１のフローチャートに示す動作を終了する。

被解析者１２が「混乱状態」である場合、状態推定部４０は、報知指示部４２に対して報知の指示をすべき旨を通知した後（ステップＳＰ４２）、図８～図１１のフローチャートに示す動作を終了する。

図１０において、Ｅスコアに関する２次分類が終了した後（図８の端点Ｂ参照）、状態推定部４０は、体動判定Ｙ３を行う（ステップＳＰ４４）。所与の条件を満たす場合（ステップＳＰ４４：ＹＥＳ）、状態推定部４０は、被解析者１２が「処置中」であると分類し、所定の時間長さだけ待機した後（ステップＳＰ４６）、ステップＳＰ３８に戻る。一方、所与の条件を満たさない場合（ステップＳＰ４４：ＮＯ）、状態推定部４０は、被解析者１２が「処置中」でないとして、次のステップＳＰ４８に進む。

被解析者１２に対して処置がなされていない場合、状態推定部４０は、体動判定Ｙ１を行う（ステップＳＰ４８）。所与の条件を満たす場合（ステップＳＰ４８：ＹＥＳ）、状態推定部４０は、ＧＣＳのＭスコアが「４～６」のいずれかであり、かつ被解析者１２が「発声状態」又は「苦痛状態」であると分類するとともに、フローチャートに示す動作を終了する。一方、所与の条件を満たさない場合（ステップＳＰ４８：ＮＯ）、状態推定部４０は、被解析者１２が「発声状態」、「苦痛状態」又は「無反応状態」のいずれかであると分類するとともに、次のステップＳＰ５０に進む。

被解析者１２が「無反応状態」である可能性がある場合、状態推定部４０は、報知指示部４２に対して報知の指示をすべき旨を通知した後（ステップＳＰ５０）、図８～図１１のフローチャートに示す動作を終了する。

図１１において、Ｅスコアに関する分類が終了した後（図８の端点Ｃ参照）、状態推定部４０は、体動判定Ｙ１を行う（ステップＳＰ５２）。所与の条件を満たす場合（ステップＳＰ５２：ＹＥＳ）、状態推定部４０は、ＧＣＳのＭスコアが「１～６」のいずれかであると分類するとともに、次のステップＳＰ５４に進む。

Ｍスコアの分類ができない場合、状態推定部４０は、被解析者１２とは異なる特定の物体が検出されなかったか否かを判定する（ステップＳＰ５４）。特定の物体が検出されなかった場合（ステップＳＰ５４：ＹＥＳ）、状態推定部４０は、ＧＣＳのＭスコアが「４～６」のいずれかであると分類するとともに、フローチャートに示す動作を終了する。一方、特定の物体が検出された場合（ステップＳＰ５４：ＮＯ）、状態推定部４０は、上述した図１０のフローチャート（端点Ｄ）におけるステップＳＰ４４に進む。

ところで、ステップＳＰ５２に戻って、所与の条件を満たさない場合（ステップＳＰ５２：ＮＯ）、状態推定部４０は、ＧＣＳのＭスコアが「１～３」のいずれかであり、かつ被解析者１２が「発声状態」、「苦痛状態」又は「無反応状態」であると分類するとともに、次のステップＳＰ５４に進む。

被解析者１２が「無反応状態」である可能性がある場合、状態推定部４０は、報知指示部４２に対して報知の指示をすべき旨を通知した後（ステップＳＰ５４）、図８～図１１のフローチャートの動作を終了する。このように、サーバ装置２０が、定期的に又は不定期に、図８～図１１のフローチャートを繰り返し実行することで、医療従事者は、被解析者１２の意識状態を観察することができる。

ここでは、被解析者１２が「鎮静状態」ではない場合を例に挙げて説明したが、被解析者１２に対して鎮静剤の投与があった場合についても、図８～図１１と同様のフローチャートに従って意識状態を推定してもよい。ただし、この場合、ＧＣＳの代わりにＲＡＳＳを用いるなど、必要に応じて規則が適宜変更され得る。

［実施形態のまとめ］
以上のように、この実施形態における意識状態解析装置としてのサーバ装置２０は、ベッド１６上の被解析者１２及び被解析者１２の周辺を撮影して得られる画像の時系列を示す画像データ５２を取得する画像取得部３６と、画像取得部３６により取得された画像データ５２に対して物体検出処理を施して、被解析者１２の開閉眼の時間変化を検出する物体検出部３８と、少なくとも、物体検出部３８により検出された開閉眼の時間変化に関する開閉眼特徴量を用いて、被解析者１２の意識状態を推定する状態推定部４０と、を備える。

また、この実施形態における意識状態解析方法又はプログラムによれば、１つ又は複数のコンピュータ（あるいは、プロセッサ）が、ベッド１６上の被解析者１２及び被解析者１２の周辺を撮影して得られる画像の時系列を示す画像データ５２を取得する取得ステップ（ＳＰ１０）と、取得された画像データ５２に基づいて、被解析者１２の開閉眼の時間変化を検出する検出ステップ（ＳＰ１２）と、少なくとも、検出された開閉眼の時間変化に関する開閉眼特徴量を用いて、被解析者１２の意識状態を推定する推定ステップ（ＳＰ１４）と、を実行する。

このように、検出された開閉眼の時間変化に関する開閉眼特徴量を用いて意識状態を推定するので、時々刻々と変化し得る様々な状況下にて被解析者１２の意識状態の推定精度をより高めることができる。

また、状態推定部４０は、判定時間の長さが異なる複数種類の判定処理を通じて、被解析者１２の意識状態が、複数の開眼レベルのうちのいずれに属するかを分類してもよい。複数種類の判定処理を通じて、開眼レベルを段階的に分類することができる。

また、開閉眼特徴量は、瞬きの頻度又は速度に関する統計量、あるいは、開眼時間又は閉眼時間の割合を示す統計量を含んでもよい。これにより、例えば、瞬きの有無・種類や、顔の表情などを解析可能となり、意識状態の推定精度をより高めることができる。

また、物体検出部３８が被解析者１２の体動を検出する場合、状態推定部４０は、物体検出部３８により検出された体動に関する動き特徴量をさらに用いて、被解析者１２の意識状態を推定してもよい。開閉眼特徴量及び体動特徴量を組み合わせることで、意識状態の推定精度をより高めることができる。

また、状態推定部４０は、判定時間の長さが異なる複数種類の判定処理を通じて、被解析者１２の意識状態が、複数の運動反応レベルのうちのいずれに属するかを分類してもよい。複数種類の判定処理を通じて、運動反応レベルを段階的に分類することができる。

また、動き特徴量は、体動の速度、加速度又は被解析者１２の特定の挙動に関する統計量を含んでもよい。これにより、例えば、体動・混乱・処置の有無などを解析可能となり、意識状態の推定精度をより高めることができる。

また、物体検出部３８が被解析者１２の周辺にある特定の物体（具体的には、医療機器８０、チューブ８２、医療従事者８４など）を検出する場合、状態推定部４０は、物体検出部３８により検出された特定の物体に対する被解析者１２の反応の大きさに関する反応特徴量をさらに用いて、被解析者１２の意識状態を推定してもよい。開閉眼特徴量及び反応特徴量を組み合わせることで、意識状態の推定精度をより高めることができる。

また、状態推定部４０は、反応特徴量が小さいほど重症度が高くなるように、又は、反応特徴量が大きいほど重症度が低くなるように意識状態を推定してもよい。被解析者１２の反応の大きさと意識の重症度との間に高い相関性があることを考慮することで、意識状態の推定精度をより高めることができる。

また、状態推定部４０は、反応特徴量が閾値を上回っている時間帯を除外して被解析者１２の意識状態を推定してもよい。被解析者１２が特定の物体に強く反応している可能性がある時間帯を演算対象から予め除外することで、意識状態の推定精度をより高めることができる。

また、状態推定部４０は、被解析者１２への鎮静剤の投与の有無に応じて異なる推定規則に従って、被解析者１２の意識状態を推定してもよい。鎮静剤の投与の有無に応じて被解析者１２の挙動が変化し得ることを考慮することで、意識状態の推定精度をより高めることができる。

また、この実施形態における観察システム１０は、ベッド１６上の被解析者１２及び被解析者１２の周辺を撮影して得られる画像の時系列を示す画像データ５２を出力するカメラ１８と、カメラ１８から出力された画像データ５２に基づいて、外部への報知を指示するサーバ装置２０と、サーバ装置２０からの報知の指示に応じて外部に報知する報知装置（ここでは、端末装置２２）と、を備える。

この場合、サーバ装置２０は、状態推定部４０により得られる推定結果に基づいて外部への報知の要否を判定し、報知が必要であると判定された場合に報知を指示する報知指示部４２を備える。これにより、被解析者１２の意識状態が変化した旨を、必要に応じて、端末装置２２のユーザに対して速やかに知らせることができる。

［変形例］
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。

１０‥観察システム、１２‥被解析者、１６‥ベッド、１８‥カメラ、２０‥サーバ装置（意識状態解析装置）、２２‥端末装置（報知装置）、３６‥画像取得部、３８‥物体検出部、４０‥状態推定部、４２‥報知指示部、５２‥画像データ、８０‥医療機器（特定の物体）、８２‥チューブ（特定の物体）、８４‥医療従事者（特定の物体）

Claims (14)

1. ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する画像取得部と、
   前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の周辺にある特定の物体を検出する物体検出部と、
   少なくとも、前記物体検出部により検出された前記特定の物体に対する前記被解析者の反応の大きさに関する反応特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、
   を備える、意識状態解析装置。
2. 前記物体検出部は、前記被解析者の開閉眼の時間変化をさらに検出し、
   前記状態推定部は、前記物体検出部により検出された前記開閉眼の時間変化に関する開閉眼特徴量をさらに用いて、前記被解析者の意識状態を推定する、
   請求項１に記載の意識状態解析装置。
3. 前記状態推定部は、前記開閉眼特徴量の種類及び判定時間の長さの組み合わせが異なる複数種類の判定処理を通じて、前記被解析者の意識状態が、複数の開眼レベルのうちのいずれに属するかを分類する、
   請求項２に記載の意識状態解析装置。
4. 前記開閉眼特徴量は、瞬きの頻度又は速度に関する統計量を含む、
   請求項２に記載の意識状態解析装置。
5. 前記開閉眼特徴量は、開眼時間又は閉眼時間の割合を示す統計量を含む、
   請求項２に記載の意識状態解析装置。
6. 前記物体検出部は、前記被解析者の体動をさらに検出し、
   前記状態推定部は、前記物体検出部により検出された前記体動に関する動き特徴量をさらに用いて、前記被解析者の意識状態を推定する、
   請求項１に記載の意識状態解析装置。
7. 前記状態推定部は、前記動き特徴量の種類及び判定時間の長さが異なる複数種類の判定処理を通じて、前記被解析者の意識状態が、複数の運動反応レベルのうちのいずれに属するかを分類する、
   請求項６に記載の意識状態解析装置。
8. 前記動き特徴量は、前記体動の速度、前記体動の加速度、又は前記被解析者の特定の挙動に関する統計量を含む、
   請求項６に記載の意識状態解析装置。
9. 前記状態推定部は、前記反応特徴量が小さいほど重症度が高くなるように、又は、前記反応特徴量が大きいほど重症度が低くなるように前記意識状態を推定する、
   請求項１に記載の意識状態解析装置。
10. 前記状態推定部は、前記反応特徴量が閾値を上回っている時間帯を除外して前記被解析者の意識状態を推定する、
    請求項１に記載の意識状態解析装置。
11. 前記状態推定部は、前記被解析者への鎮静剤の投与の有無に応じて異なる規則に従って、前記被解析者の意識状態を推定する、
    請求項１に記載の意識状態解析装置。
12. 前記状態推定部により得られる推定結果に基づいて外部への報知の要否を判定し、前記報知が必要であると判定された場合に前記報知を指示する報知指示部をさらに備える、
    請求項１に記載の意識状態解析装置。
13. ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する取得ステップと、
    取得された前記画像データに対して物体検出処理を施して、前記被解析者の周辺にある特定の物体を検出する検出ステップと、
    少なくとも、検出された前記特定の物体に対する前記被解析者の反応の大きさに関する反応特徴量を用いて、前記被解析者の意識状態を推定する推定ステップと、
    を１つ又は複数のコンピュータに実行させる、意識状態解析プログラム。
14. ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを出力するカメラと、
    前記カメラから出力された前記画像データに基づいて、外部への報知を指示する意識状態解析装置と、
    前記意識状態解析装置からの前記報知の指示に応じて外部に報知する報知装置と、
    を備え、
    前記意識状態解析装置は、
    前記カメラにより出力された前記画像データを取得する画像取得部と、
    前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の周辺にある特定の物体を検出する物体検出部と、
    少なくとも、前記物体検出部により検出された前記特定の物体に対する前記被解析者の反応の大きさに関する反応特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、
    前記状態推定部により得られる推定結果に基づいて外部への報知の要否を判定し、前記報知が必要であると判定された場合に前記報知を指示する報知指示部と、
    を備える、観察システム。

Images