JP4704174B2 - 状態識別装置、プログラムおよび方法 - Google Patents

Description

本発明は、画像から抽出された顔情報に基づいて被写体の状態を識別する状態識別装置、プログラムおよび方法に関する。

講演会、学校の授業などでは、通常、講師は受講者の反応を確認しながら授業を進める。しかし、個々の受講者の顔が見えない環境では、講師が受講者の反応を確認することは難しい。

このような問題への解決策として、例えば特許文献１は、講師端末と受講者端末とをネットワークで接続して授業を行なうシステムで、受講者をビデオカメラで撮影することにより、受講者の状態に関する情報を講師に提供することを提案している。また、特許文献２では、さらに正確に受講者の状態を把握するべく、受講者の身体や受講者が座る椅子にセンサーを取り付けて脳波、血圧、脈拍などを測定し、その情報を講師に提供することを提案している。

ここで、講師が把握したい受講者の状態には例えば笑顔のように所定時刻の画像のみから把握できる状態もあるが、頷きのように連続撮影された複数の画像からしか把握できない状態もある。例えば特許文献１では、連続する２フレーム間の差分の情報から、人物の頭部の動きを表す光軸周りの回転角度、対象に固定された座標軸のｘ軸と画像面に並行な回転軸との間の角度、その画像面に並行な回転軸周りの角度を、連続するＮ個のフレームに対して求め、さらに、頭部の動きの中心の座標、頭部の動きの方向、ｘ軸方向およびｙ軸方向の頭部の動きのエネルギーを連続するＮ個のフレームから抽出し、上記Ｎフレーム分の角度情報と合わせてそれらを並べたものを特徴ベクトルとすることにより、頷く、首をふる、右をみる、左を見る、下を見る、上を見る、の６通りの動きを識別している。
特開２００１−０６７４８２号公報 特開２００４−１９９５０６号公報

特許文献１が提案するように多くの特徴ベクトルを画像から抽出すれば多くの動きを正確に識別することができる。しかしながら、多数の動きを識別して多くの情報を講師に提供しても、講師の側がその情報を十分に活用しきれない場合も少なくない。また、照合に用いられる特徴ベクトル数が多ければ、その分システムの負荷は高くなる。

そこで本発明は、頭が周期的な動きをする状態にのみ着目し、それらの動きに特に適した状態識別処理を行なうことにより処理を簡素化する。

本発明は、画像から抽出された顔情報に基づいて被写体の状態を識別する装置であって、次の手段を備える状態識別装置を提供する。この装置は、被写体を含む場景を繰り返し撮影することにより得られた複数の画像について、その画像に含まれる被写体の顔情報を抽出し、その顔情報に基づいて前記被写体のうつむき加減を示す値を算出する算出手段を備える。うつむき加減を示す値は、例えば、顔上の上下方向に並んだ所定の２点の距離とする。また、この装置は、算出手段により画像ごとに算出されたうつむき加減の値を前記画像が撮影された順番に時系列に並べることにより、うつむき加減の経時変化を表す波形パターンを生成する波形パターン生成手段を備える。さらに、この装置は、波形パターン生成手段により生成された波形パターンを、居眠り状態のときのうつむき加減の経時変化を表すパターンおよび頷き状態のときのうつむき加減の経時変化を表すパターンとそれぞれ照合することにより、前記被写体の居眠り状態および頷き状態を識別する識別手段を備える。

上記装置の算出手段は、複数の被写体を含む画像から各被写体の顔情報を抽出して被写体ごとにうつむき加減を示す値を算出する手段であり、波形パターン生成手段は、前記波形パターンを被写体ごとに生成する手段であり、識別手段は、被写体ごとに状態を識別する手段であることが好ましい。

また、本発明の状態識別プログラムは、画像から抽出された顔情報に基づいて被写体の状態を識別する状態識別プログラムであって、コンピュータに、以下に説明する算出処理、波形パターン生成処理および識別処理を実行させる。

算出処理は、被写体を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる被写体の顔情報を抽出し、該顔情報に基づいて前記被写体のうつむき加減を示す値を算出する処理である。波形パターン生成処理は、算出処理により画像ごとに算出されたうつむき加減の値を前記画像が撮影された順番に時系列に並べることにより、うつむき加減の経時変化を表す波形パターンを生成する処理である。また、識別処理は、波形パターン生成処理により生成された波形パターンを、居眠り状態のときのうつむき加減の経時変化を表すパターンおよび頷き状態のときのうつむき加減の経時変化を表すパターンとそれぞれ照合することにより、被写体の居眠り状態および頷き状態を識別する処理である。

また、本発明の方法は、画像から抽出された顔情報に基づいて被写体の状態を識別する状態識別方法であり、以下に説明する手順で被写体の状態を識別する。まず、被写体を含む場景を繰り返し撮影することにより得られた複数の画像について、その画像に含まれる被写体の顔情報を抽出し、該顔情報に基づいて前記被写体のうつむき加減を示す値を算出する。次に、画像ごとに算出されたうつむき加減の値を前記画像が撮影された順番に時系列に並べることにより、うつむき加減の経時変化を表す波形パターンを生成する。そして、生成された波形パターンを、居眠り状態のときのうつむき加減の経時変化を表すパターンおよび頷き状態のときのうつむき加減の経時変化を表すパターンとそれぞれ照合することにより、前記被写体の居眠り状態および頷き状態を識別する。

本発明の装置、プログラムおよび方法は、「居眠り」および「頷き」という頭が周期的な動きをする２つの状態に着目し、上記のように、それらの動きに特に適した状態識別処理を行なうので、効率よく高速に受講生の状態を識別することができる。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。以下に例示するシステムは、ある教室で講義を行なう講師をビデオカメラで撮影し、その映像を他の教室でも放映し、さらには自宅にいる受講者に向けてもネットワーク配信するシステムである。

図１に、上記システムの概略構成を示す。図に示すように、このシステムは、ビデオを放映する教室に設置された２台の教室カメラ１ａ、１ｂ、在宅受講者の自宅にそれぞれ設置された受講者宅カメラ２ａ、２ｂ、サーバコンピュータ５および教壇付近に設置された講師用端末６を備える。この他、講師を撮影するビデオカメラ、そのビデオカメラにより撮影された映像を放映するための教室用、自宅用設備なども備えているが、図１は、本発明に関連する構成のみ示している。

教室カメラ１ａ、１ｂは教室の教壇側の天井に据えつけられた回転可能な構造のビデオカメラである。回転可能な構造とは、例えばドーム型監視カメラのような構造、あるいは回転台にカメラを取り付けた構造などである。ビデオカメラの回転角度、撮影倍率は、受講者席に座った受講者全員の顔を撮影できる角度、倍率に設定されている。なお、教室が広く１台のカメラで受講者全員の顔を撮影できない場合、もしくは撮影できても顔が非常に小さくなってしまう場合には、複数台のカメラにより分担して撮影を行なう。教室カメラ１ａ、１ｂは、同じ建屋のコンピュータルームなどに設置されたサーバコンピュータ５と、ローカルエリアネットワーク３により接続されている。

受講者宅カメラ２ａ、２ｂは、ＣＣＤカメラなど任意の場所に設置し得る小型カメラである、在宅受講者は受講の際、自分の顔がうつる位置に受講者宅カメラを配置することが義務付けられている。受講者宅カメラ２ａ、２ｂにより撮影された画像は、インターネット４を介してサーバコンピュータ５にリアルタイムに転送される。

教室カメラ１ａ、１ｂおよび受講者宅カメラ２ａ、２ｂは、いずれも動画撮影または静止画の連続撮影を行なうように設定されている。本実施形態のシステムは、教室カメラ１ａ、１ｂ、受講者宅カメラ２ａ、２ｂともに、受講者の状態変化を０．５秒以下の間隔で捉えられるように設定されている。

次に、図２を参照して、サーバコンピュータ５の構成について説明する。サーバコンピュータ５は、通信制御部５１、記録部５２、状態識別部５３、同期検出部５４および評価部５５を備える。サーバコンピュータ５は、汎用のコンピュータに、本発明の機能を実現するためのプログラムを組み込んだものである。

通信制御部５１は、汎用コンピュータに備えられた通信機能を使って、サーバコンピュータ５と教室カメラ１ａ、１ｂ間のローカルエリアネットワーク３を介した通信、およびサーバコンピュータ５と受講者宅カメラ２ａ、２ｂ間のインターネット４を介した通信を制御する。記録部５２、状態識別部５３、同期検出部５４および評価部５５は、後述する各処理を規定した要素プログラムをサーバコンピュータ５にインストールし、動作させることにより実現される処理部である。本実施形態では、サーバコンピュータ５は複数のプロセッサを備えており、各要素プログラムの処理は複数のプロセッサにより並列に処理される。

記録部５２は、通信制御部５１を介して、教室カメラ１ａ、１ｂから転送された映像・画像を受信し、符号化した後、撮影時刻を示す管理情報を付与してサーバコンピュータ５のメモリに書き込む。動画は０．５秒間隔の複数のフレーム画像として記録し、静止画はそのまま符号化して記録する。また記録部は、各部によりメモリに記録されたデータを所定のタイミングでサーバコンピュータ５に接続されているストレージ（図示せず）に出力する。

状態識別部５３は、メモリに記憶されている画像を用いて、各受講者の各時刻における状態を表す第１状態データを生成する。また、状態識別部５３は、生成した状態データを用いて各受講者の単位時間内の動きを分析し、各受講者の各時間帯における第２状態を表す状態データを生成する。

以下、第１状態データの生成処理について説明する。状態識別部５３は、記録部５２がメモリに書き込んだ０．５秒間隔の画像を順次読み出して、その画像から人物の顔を検出する。画像から顔を検出する技術としては公知のいずれの技術を用いてもよいが、本実施形態では一画像から多数の顔を検出する必要があるため、例えば所定の大きさの肌色領域であれば顔と判断する方法など、比較的シンプルな検出方法を採用することが好ましい。

状態識別部５３は、次に、検出した顔に、受講者を区別するための受講者識別子を割り当てる。受講者識別子は、その受講者の顔が検出された位置を示す番号などとする。顔が検出された位置を示す番号は、各顔の位置を大まかに特定できる番号でよく、例えば画像を格子状に区切って各格子の位置を行番号と列番号で表し、顔が検出された位置に最も近い格子の行列番号を用いる方法などが考えられる。教室カメラ１ａ、１ｂの向きは固定されており、受講者は着席しているので、これにより同じ受講者の顔に対し、常に同じ受講者識別子を割り当てることができる。

続いて状態識別部５３は、検出した人物ごとに顔の特徴を表す所定の特徴量を算出する。本実施形態では、眉または目の検出により眉間の位置座標を取得し、検出された顔の輪郭から、画像に写っている顔の最下端部の位置座標を取得する。そして、取得した２つの位置座標の差分値を算出する。

この処理では、画像に写っている顔が正面顔のときには、図３（ａ）に示すように、顎の位置座標が、顔の画像に写っている最下端部の位置座標として取得される。一方、画像に写っている顔がうつむき顔のときには、図３（ｂ）に示すように、鼻など、より目に近い位置の座標が、顔の画像に写っている最下端部の位置座標として取得される。図３（ａ）および図３（ｂ）の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離ｄは、正面顔で最も長く、うつむき加減が大きいほど短くなるので、２箇所の位置座標の差分値により、顔のうつむき加減を判定することができる。なお、特徴量抽出に基づく顔の識別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用することができる。

状態識別部５３は、算出した特徴量ｄに、画像の管理情報に含まれている撮影時刻の情報と、顔を検出した際に割り当てた受講者識別子とを付すことにより、図４に示す第１状態データを生成し、メモリに記憶する。状態識別部５３が上記処理を繰り返すことにより、メモリには、各時刻における各受講者のうつむき加減を表す複数の第１状態データ７が蓄積されることとなる。

続いて、第１状態データを用いた第２状態データの生成処理について説明する。状態識別部５３は１０秒分の撮影画像について第１状態データの生成処理を実行すると、一旦第１状態データの生成処理を中断し、第２状態データの生成処理を実行する。第２状態データの生成処理が終了すると、第１状態データの生成処理を再開し、以降、第１状態データの生成処理とを、交互に実行する。

第２状態データの生成処理では、直前に生成した撮影時間１０秒分の第１状態データをメモリから読み込み、受講者識別子に基づいて受講者別に分類する。続いて、各受講者の第１状態データを時刻情報に基づいて時系列に並べる。状態識別部５３は、この時系列に並べられたデータ群から、特徴量（距離ｄ）の経時変化を表す波形パターンを生成する。図５は生成される波形パターンを、横軸を時間ｔ、縦軸を距離ｄとして表した図である。

状態識別部５３は、生成した波形パターンを、予め登録されているパターンと照合する。本実施の形態では、図６に示す３種類のパターンが登録されている。図６（ａ）は、軽くうつむく動作が行なわれたことを表す波形であり、１秒程度の短いパターンである。以下、この波形パターンを「頷きパターン」と称する。図６（ｂ）は、うつむく動作が２〜３秒周期で繰り返されている状態、すなわち完全に眠ってはいないが、うつらうつらしている初期の居眠り状態を表す１０秒の波形パターンである。以下、この波形パターンを「居眠りパターン」と称する。図６（ｃ）は、正面を向いていたが一時的に５秒ほど深くうつむき、再び正面をむくという動作を表している。このパターンは６秒程度のパターンである。以下、この波形パターンを、「ノート取りパターン」と称する。

状態識別部５３は、各受講者について図６（ａ）〜（ｃ）に示す波形とのパターンマッチング処理を実行する。図６（ａ）の「頷きパターン」のように、登録パターンが生成されるパターンよりも短い場合には、登録パターンを生成した波形パターンの時間軸に沿って移動しながら何回かマッチングをとる。これにより、図５に示す例のように５秒を過ぎたあたりに頷きパターンがある場合でも、頷き状態を識別することができる。

状態識別部５３は、上記パターンマッチング処理により、各受講者が、「頷き」、「居眠り」、「ノート取り」、「その他」のいずれの状態にあるかを識別する。そして、識別した状態を示す識別コードに、受講者識別子と時間帯を示す情報を付与したデータを、図７に示す第２状態データ８としてメモリに記憶する。本実施形態では、時間帯を示す情報は、１０秒間の開始時刻と１０秒という時間幅を示す情報とする。

なお、本実施形態では１０秒間で２０の画像が取得されるため、第２状態データ８は通常は２０個の第１状態データ７に基づいて生成されることになるが、受講者が講義の途中で離籍した場合には画像から顔が検出されないため第１状態データ７が生成されない。このため、本実施形態では、状態識別部５３は第１状態データ７を受講者別に分類した後、ソーティングを行なう前に、その受講者の第１状態データ７の数が２０個か否かを判定する。２０個に満たない場合には、「離席」を示すコードに、受講者識別子と時間帯を示す情報を付与して第２状態データ８を生成する。

以上に説明した状態識別部５３の処理により、メモリには「頷き」、「居眠り」、「ノート取り」、「離席」、「その他」のいずれかの状態を示す第２状態データが、１０秒ごとに受講者の数だけ書き込まれる。

次に、再び図２に戻り、同期検出部５４の処理について説明する。同期検出部５４は、４個のカウンタを制御することにより、「頷き」、「居眠り」、「ノート取り」、「離席」の４つの状態の受講者数を単位時間ごとカウントする。同期検出部５４は、状態識別部５３がメモリに書き込んだ第２状態データを１０秒おきに読み込み、各データに含まれる状態コードを参照する。状態コードが「頷き」、「居眠り」、「ノート取り」、「離席」のいずれかを示している場合には、その状態コードが示す状態に対応するカウンタの値をカウントアップする。状態コードが「その他」を示している場合には何もしない。１０秒分の第２状態データについてのカウント処理が終了すると、続いて同期検出部５４は、各カウンタの値を所定値と比較することにより、カウント値が所定値を越えたカウンタの有無を判定する。本実施形態では、所定値は、欠席者を含む全受講者数の１／２の数に設定されている。カウント値が所定値を越えたカウンタが検出された場合には、同期検出部５４は、そのカウンタによりカウントしていた状態を示す状態コードと、そのカウンタの値とを出力する。以上の処理が終了すると、同期検出部５４は、各カウンタの値を、状態およびカウントを行なった時間帯の情報とともに、サーバコンピュータに接続されているストレージに保存する。その後、同期検出部５４は、各カウンタの値を０にリセットする。そして、メモリから次の１０秒分の第２状態データを読み込み、上記処理を繰り返す。

評価部５５は、上記同期検出部５４の出力を受け、状態コードとカウンタの値に基づいて講義の評価値を算出する。状態コードが「頷き」または「ノート取り」を示している場合には、「評価値＝カウンタ値」とする。状態コードが「居眠り」または「離席」を示している場合には、「評価値＝−カウンタ値」とする。

続いて、評価部５５は、算出した評価値に基づく評価を、講師用端末６のモニタ画面に出力する。例えば、「居眠り増加中です。講義の進行を工夫して下さい。」などのメッセージを講師用端末６のモニタ画面に出力する。同時に、端末に附属するスピーカからアラーム音を出力してもよい。これにより、講義を行なっている講師は、自らの講義を客観的に評価し、必要に応じて講義の内容や進行を変更し、受講者にとってより有益な講義を行なうことができる。

なお、以上に説明した処理は、講義が行なわれている最中に実行される処理であるが、評価部５５は、講義の終了後に評価レポートを生成して出力する機能も備えている。図８に、評価部５５が出力する評価レポートの一例を示す。評価部５５は、講師または他のオペレータから評価レポートの生成を要求されると、状態別、時間帯別にストレージに保存されているカウンタ値を読み込む。そして、１０秒単位で保存されているカウンタ値を５分間分合計し、さらに、その合計値を全受講者の数で除算することにより、全体に対する割合（％）を求める。さらに、公知のグラフ自動生成技術を利用して、各状態の時間帯ごとの人数を表す棒グラフを生成する。これにより図８に例示したような評価レポートを出力する。

以上に説明したように、本実施形態のシステムによれば、過半数の受講者が同じ状態となったことが講師に通知されるため、講師は受講者の状態が、受講者の側に起因するものではなく、講義の内容や進行に起因するものであることを自覚することができる。上記システムでは、講師が受講者の状態を個別に確認しなくても、講義の客観的評価に必要な情報が自動的に収集され、分析され、講師に通知されるので、受講者数が多すぎて個別の状態確認が困難な場合には、特に有用である。講師は、講義の進行を調整すべきか否かの判断に迷うことがなくなるので、受講者反応が悪かった場合には直ちに講義のしかたを工夫するなど、講義を行ないながらリアルタイムに講義を改善することができる。もしくは、異なる受講者を対象に同じ講義を行なう場合に、前の講義で通知された点を意識しながら、よりよい講義を行なうことができる。

また、本実施形態のシステムでは、頷き、居眠り、ノート取りの３つの状態を、１種類の特徴量と、その特徴量の時間的な変化に基づいて区別するので、抽出・保存する特徴量の種類が少ない。このため、大勢の人物から特徴量を抽出してリアルタイムに分析を行なう場合に、効率よく高速に処理を行なうことができる。

本発明の一実施形態におけるシステムの概略構成を示す図 サーバコンピュータの構成を示す図 うつむき加減を示す特徴量について説明するための図 第１状態データを示す図 生成された波形パターンの一例を示す図 登録波形パターンの例を示す図 第２状態データを示す図 評価レポートの一例を示す図

符号の説明

３ ローカルエリアネットワーク、 ４ インターネット、 ５ サーバコンピュータ
ｄ うつむき加減を示す特徴量、 ７ 第１状態データ、 ８ 第２状態データ

Claims (9)

1. 画像から抽出された顔情報に基づいて被写体の状態を識別する状態識別装置であって、
   複数の被写体を含む場景を繰り返し撮影することにより得られた複数の画像について、該各画像に含まれる前記複数の被写体の顔情報を抽出し、該顔情報に基づいて前記各被写体のうつむき加減を示す値を算出し、算出された各値を前記被写体を区別するための識別子とともに記憶媒体に記憶せしめる算出手段と、
   前記算出手段により画像ごとに算出され前記記憶媒体に記憶された、前記被写体ごとのうつむき加減の値を、前記識別子に基づいて被写体別に分類し、続いて前記画像が撮影された順番に時系列に並べることにより、うつむき加減の経時変化を表す波形パターンを被写体ごとに生成する波形パターン生成手段と、
   前記波形パターン生成手段により生成された波形パターンを、居眠り状態のときのうつむき加減の経時変化を表すパターンおよび頷き状態のときのうつむき加減の経時変化を表すパターンとそれぞれ照合することにより、前記複数の被写体のそれぞれについて、居眠り状態および頷き状態を識別する識別手段と、
   前記識別手段により識別された居眠り状態の被写体の数および頷き状態の被写体の数を、単位時間ごとにそれぞれカウントするカウント手段とを備えたことを特徴とする状態識別装置。
2. 前記カウント手段によりカウントされた居眠り状態の被写体の数および頷き状態の被写体の数を、それぞれ所定数と比較することにより、居眠り状態の被写体の数または頷き状態の被写体の数が前記所定数を超えた時間帯を検出する同期検出手段を、さらに備えたことを特徴とする請求項１記載の状態識別装置。
3. 前記うつむき加減を示す値は、顔上の上下方向に並んだ所定の２点の距離であることを特徴とする請求項１または２記載の状態識別装置。
4. 画像から抽出された顔情報に基づいて被写体の状態を識別する状態識別プログラムであって、コンピュータに、
   複数の被写体を含む場景を繰り返し撮影することにより得られた複数の画像について、該各画像に含まれる前記複数の被写体の顔情報を抽出し、該顔情報に基づいて前記各被写体のうつむき加減を示す値を算出し、算出された各値を前記被写体を区別するための識別子とともに記憶媒体に記憶せしめる算出処理と、
   前記算出処理により画像ごとに算出され前記記憶媒体に記憶された、前記被写体ごとのうつむき加減の値を、前記識別子に基づいて被写体別に分類し、続いて前記画像が撮影された順番に時系列に並べることにより、うつむき加減の経時変化を表す波形パターンを被写体ごとに生成する波形パターン生成処理と、
   前記波形パターン生成処理により生成された波形パターンを、居眠り状態のときのうつむき加減の経時変化を表すパターンおよび頷き状態のときのうつむき加減の経時変化を表すパターンとそれぞれ照合することにより、前記複数の被写体のそれぞれについて、居眠り状態および頷き状態を識別する識別処理と、
   前記識別処理により識別された居眠り状態の被写体の数および頷き状態の被写体の数を、単位時間ごとにそれぞれカウントするカウント処理とを実行させる状態識別プログラム。
5. 前記カウント処理によりカウントされた居眠り状態の被写体の数および頷き状態の被写体の数を、それぞれ所定数と比較することにより、居眠り状態の被写体の数または頷き状態の被写体の数が前記所定数を超えた時間帯を検出する同期検出処理を、さらに実行させることを特徴とする請求項４記載の状態識別プログラム。
6. 前記うつむき加減を示す値は、顔上の上下方向に並んだ所定の２点の距離であることを特徴とする請求項４または５記載の状態識別プログラム。
7. 画像から抽出された顔情報に基づいて被写体の状態を識別する状態識別方法であって、
   複数の被写体を含む場景を繰り返し撮影することにより得られた複数の画像について、該各画像に含まれる前記複数の被写体の顔情報を抽出し、
   該顔情報に基づいて前記各被写体のうつむき加減を示す値を算出し、
   算出された各値を前記被写体を区別するための識別子とともに記憶媒体に記憶せしめ、
   前記画像ごとに算出され前記記憶媒体に記憶された、前記被写体ごとのうつむき加減の値を、前記識別子に基づいて被写体別に分類し、続いて前記画像が撮影された順番に時系列に並べることにより、うつむき加減の経時変化を表す波形パターンを被写体ごとに生成し、
   前記生成された波形パターンを、居眠り状態のときのうつむき加減の経時変化を表すパターンおよび頷き状態のときのうつむき加減の経時変化を表すパターンとそれぞれ照合することにより、前記複数の被写体のそれぞれについて、居眠り状態および頷き状態を識別し、
   前記識別された居眠り状態の被写体の数および頷き状態の被写体の数を、単位時間ごとにそれぞれカウントする状態識別方法。
8. 前記カウント処理によりカウントされた居眠り状態の被写体の数および頷き状態の被写体の数を、それぞれ所定数と比較することにより、居眠り状態の被写体の数または頷き状態の被写体の数が前記所定数を超えた時間帯を検出することを特徴とする請求項７記載の状態識別方法。
9. 前記うつむき加減を示す値を、顔上の上下方向に並んだ所定の２点の距離とすることを特徴とする請求項７または８記載の状態識別方法。

Images