JP6603833B2 - 行動観察装置 - Google Patents

Description

本発明は、観察者が参加者の行動を観察しながら重要な部分を簡単な操作で記録し再生できる行動観察装置に関する。

ある場面でそこに居合わせた人がどのような行動をとるかを観察して、その結果から何かを得る、学習をするといったことはよく行われる。例えば、撮影機材を用意して撮影した動画を解析することでこうした目的が達成できる。例えば、看護師が医療現場で的確な行動をとれたかどうかを解析するための技術も紹介されている（特許文献１）。

特開２０１５−２１９２４７号公報

観察対象となる参加者の行動を記録して再生される画像に専門家のコメントが加われば、学習教材とすることができる。しかしながら、こうした教材の作成には多くの時間を労するという問題があった。本発明は、以上の点に着目してなされたもので、観察者が簡単な操作で参加者の行動を観察しながら記録をし、重要な部分については各種の情報を付加したものを再生できる行動観察装置を提供する。

以下の構成はそれぞれ上記の課題を解決するための手段である。

＜構成１＞
観察対象となる場面上の参加者の位置と向きを表すアイコンまたは道具のシンボルを表示し、上記参加者と上記道具の移動を軌跡により表示する観察画面と、
上記参加者の行動もしくは上記道具の移動を撮影した記録画像またはそのサムネイルを、時系列に並べて表示する画像表示部とを備え、
観察者が参加者の行動を観察しながらその行動を撮影して記録する記録モードにおいて、上記参加者もしくは上記道具の移動に従って、上記観察者のドラッグ操作により上記観察画面上で参加者のアイコンもしくは道具のシンボルが移動されたとき、その軌跡が観察画面上に表示され、軌跡データとともにその軌跡データが取得された時刻を示す時刻データを記憶装置に記憶させる軌跡記録手段と、
上記観察画面中の任意の注目点にマークを表示し、そのマークの意味を示す観察者の入力した文字データもしくは音声データと、参加者の発した声の音声データとを含む属性データを記憶装置に記憶させるデータ編集手段とを備えたことを特徴とする行動観察装置。

＜構成２＞
上記マークの属性データは、注目の重要度を示すマークの透明度であることを特徴とする構成１に記載の行動観察装置。

＜構成３＞
上記マークの属性データは、注目の重要度を示すマークの着色であることを特徴とする構成１に記載の行動観察装置。

＜構成４＞
上記マークの属性データは、注目した意味を示す文字列もしくは音声であることを特徴とする構成１に記載の行動観察装置。

＜構成５＞
上記マークの属性データは、上記観察画面上のマーク表示場所で参加者が発生した音声であることを特徴とする構成１に記載の行動観察装置。

＜構成６＞
再生モードにおいて、上記記憶装置に記憶された参加者または道具のアイコンの軌跡データと時刻データを読み取って、上記観察画面上で該当する参加者または道具の移動を時間経過に従って動画再生する観察画像再生手段を備えたことを特徴とする構成１に記載の行動観察装置。

＜構成７＞
再生モードにおいて、観察画像再生手段は、上記観察画面上に表示されたアイコンまたはシンボルをその観察画面上に表示された軌跡上で移動させたとき、上記観察画面の全てのアイコンまたはシンボルの状態を該当する時刻の状態に再現して表示することを特徴とする構成１に記載の行動観察装置。

＜構成８＞
コンピュータを、構成１または６に記載の各手段として機能させる行動観察プログラム。

＜構成９＞
構成８に記載の行動観察プログラムを記録したコンピュータで読み取り可能な記録媒体。

＜構成１の効果＞
アイコンで表示した参加者の行動をアイコンを動かしてその軌跡で表わす。参加者の重要な行動は写真撮影して記録画像を保存する。そして観察画面や記録画像中に重み付けを示すことができるマークを表示すれば、行動の要点を記録できる。さらにマークを付した意味を文字や音声で表した属性データを保存すれば、参加者の一連の行動の要点を取り出して解析し学習できる。しかもこれらのデータが、タブレット等で簡単に作成できる。
＜構成２の効果＞
マークの透明度を指定すれば、簡単に注目した場所や行動などの重要度を特殊な視覚効果で表現できる。
＜構成３の効果＞
注目の重要度をマークの色で表現することもできる。
＜構成４の効果＞
マークの属性データとして、観察者がマークをした意図や意味や注意点などを文字や音声で表現してマークと結びつけて保存できる。
＜構成５の効果＞
参加者が行動とともに発する音声も、発生した場所にマークをして記録しておけば、参加者の行動の意図を同時に記録することができる。
＜構成６の効果＞
ある参加者の行動に着目して、該当するアイコンを時間経過に従って動画再生するれば、その行動を客観的に観察することが容易になる。
＜構成７の効果＞
ある参加者のアイコンを観察画面上でドラッグし、観察画面が自動的に該当する時刻の状態に変化するよう制御すると、参加者全員の行動分析を詳細に行うことができる。

本発明の行動観察装置１２の具体例を示す説明図である。 行動観察装置１２を使用する場面の説明図である。 アプリケーション起動直後の画面である。 新規ワークショップの作成画面である。 ワークショップの読み込み画面である。 ワークショップ画面のアイコンの説明用画面である。 記録モードのワークショップ画面例である。 閲覧モードのワークショップ画面例である。 記録画像を操作する記録モードのワークショップ画面例である。 マーキングをしたときの記録画像の画面例である。 音声インタフェースの画面である。

図２は本発明の利用形態を示す説明図である。
この図の具体的な説明は後で行うが、本発明の装置は概略以下のように利用する。本発明は、ワークショップにおいて参加者１６のメタ認知を表出し、教育的効果を高めることができるアプリケーションにより行動観察装置１２を実現する。メタとは「高次の」という意味で、自分が認知していることを高次のレベルで認知することを支援する。参加者１６が、自分を俯瞰して、自分が認知していることを理解して、更に認知を深めることを支援する。

例えば、観察者１４がタブレット１８を使用して、参加者１６の行動を観察しながら、その行動の軌跡を記録し、観察者１４の着目点やその重要度の程度を可視化する。観察者１４が気になった点を、写真とメモと音声と動線などを使って記録する。観察者１４がその場面のどの部分に着目したのか、その重要度はどれくらいなのかを、直感的な重み付けにより表現して記録する。

その記録を再生すると、当日の様子を、細部まで思い出しやすくしてくれる。その時々の行動を振り返ることが容易になり、ポイントとなる点を、観察者１４と参加者１６とが共有し易くなる。参加者１６の動きを例えば指でドラッグして記録し、そこに注釈を加えると、ムービーの記録と違ってデフォルメした動きの記録ができる。

これにより、観察者１４が参加者１６に行動の結果を提示して、相互にその行動を振り返ったり、参加者１６同士だけで再生して解析をすることで積極的な利用効果が期待できる。何らかの教育効果を目的としている場面で、何が得られたのか、どうすれば良かったのか、などを振り返り、それを的確に伝えることで、様々な場面への対応のための教育に活用できる。以下、本発明の実施の形態を実施例毎に詳細に説明する。

（行動観察装置の構造）
図１は本発明の行動観察装置１２の具体例を示す説明図である。
本発明の行動観察装置１２は、観察者が参加者を観察しながらその行動を記録するために使用される。この行動観察装置１２は例えば既知のタブレット１８で実現できる。図１には、タブレット１８のディスプレイ１９と、その内部に収容された演算処理装置３０と記憶装置３２のブロック図を示した。

タブレット１８のディスプレイ１９は、観察画面２０と画像表示部２２とに区分されている。観察対象となる場面は、観察画面２０上でアイコン２４やシンボル２６で表示する。アイコン２４は参加者全員にそれぞれ一個ずつ準備する。例えば、グループ行動の場合には、一個のアイコン２４でグループ全員を示してもよい。後の説明で、このアイコンをグループアイコンと呼んでいる。デザインも個人のものと区別できるようにするとよい。

観察対象となる場面に家具や各種の道具が配置されていれば、観察画面２０中にそれをシンボル２６で表示する。観察者は、参加者が移動したとき、該当する参加者のアイコン２４を指でドラッグする。観察画面２０上では、参加者の移動が、図に示すように軌跡２８で表示される。

また、観察者は、参加者の行動のうちの注目すべき状態を、タブレット１８に設けられたカメラで撮影する。撮影した記録画像５０やそのサムネイルは、画像表示部２２中に時系列に並べて表示される。さらに、参加者が移動中に注目すべき行動をしたとき、軌跡２８上の該当する場所にマーク４８を記録することができる。メニューボタン２３は、各種操作をするためのメニューを表示するボタンで、再生ボタン５１は、記録を時間を追いながら再生するためのものである。

行動観察装置１２の演算処理装置３０には、軌跡記録手段３４とデータ編集手段３６と観察画像再生手段３８と重み付けボタン４０と文字入力ボタン４２と音声入力ボタン４４とが設けられている。これらは、それぞれ以下で説明する機能を実現するコンピュータプログラムである。また、記憶装置３２には、マーク４８と記録画像５０と軌跡データ５４とが記憶されている。

マーク４８には属性データ５６が設けられている。この属性データ５６には、重み付けデータ６０と文字データ６２と音声データ６４が含まれている。記録画像５０や軌跡データ５４にはそれぞれそのデータを取得した時刻を示す時刻データ５２が付加されている。このほかに、上記のアイコン２４やシンボル２６の画像データが記憶されているが、これらのデータ構造は既知のもののため図示を省略する。

軌跡記録手段３４は、参加者の移動に従ってそのアイコン２４を移動させたとき、その軌跡２８を時刻データ５２とともに記憶装置３２に記憶させる機能を持つ。データ編集手段３６は、観察画面２０中や記録画像５０中の任意の注目点にマーク４８を表示し、そのマーク４８の意味を含む属性データ５６の入力を求めて、その属性データ５６の編集をして記憶装置３２に記憶させる機能を持つ。

重み付けボタン４０は、注目の重要度を示すマークの表示サイズや着色を選択させ、属性データ５６に重み付けデータ６０を追加する機能を持つ。文字入力ボタン４２は、観察者がマークをした意図や意味や注意点などを文字入力させて、属性データ５６に文字データ６２を追加する機能を持つ。音声入力ボタン４４は、観察者がマークをした意図や意味や注意点などの声を録音して音声データ６４を属性データ５６に追加する機能を持つ。

なお、観察画面２０上のマーク４８表示場所で参加者が行動とともに音声を発したとき、音声入力ボタン４４を操作すると、発生した音声をマーク４８の属性データ５６に付加することができる。これは参加者の行動の意図を記録するために役立つ。

観察画像再生手段３８は、記憶装置３２に記憶された参加者のアイコン２４の軌跡データ５４と時刻データ５２を読み取って、観察画面２０上で該当する参加者の行動を時間経過に従って再生する機能を持つ。なお、観察画像再生手段３８は、観察画面２０上に表示された参加者のアイコン２４をその軌跡２８上で移動させたとき、観察画面２０上の全てのアイコンやシンボルの状態を該当する時刻の状態に再現して表示する機能も持つ。

（行動観察装置を使用したシミュレーション）
図２は、その行動観察装置１２を使用する場面の説明図である。図１を併せて参照しながら説明をする。
この図２は、病院のベッド７２に寝かされていた小児７４がベッド７２から落ちたときの母親６６と、ナースコールにより駆けつけた看護師６８や医師７０の行動をシミュレーションして、学習をするためのものである。小児７４はダミーでよく、母親６６や看護師６８は新人の看護師等である。

観察者１４はこの場面で母親６６役の参加者と看護師６８役の参加者や医師７０役の参加者の行動を観察してタブレット１８に記録する。観察者１４は、タブレット１８を使用して、参加者１６の行動で注目すべきシーンを写真撮影する。この記録画像５０またはそのサムネイルは、画像表示部２２に時系列に並べて表示される。

観察対象となる場面をタブレット１８に観察画面２０として表示する。参加者１６はそれぞれ区別できるアイコン２４で表示する。家具や機材等があればアイコン２４や各種のシンボル２６で表示する。参加者１６が移動したときには、観察者１４が該当するアイコン２４を観察画面２０上でドラッグする。アイコン２４が移動した跡には、線状の軌跡２８が表示される。

軌跡記録手段３４は、この軌跡２８を時刻データ５２とともに記憶装置３２に記憶させる。これにより、観察画像再生手段３８が、観察画面２０上で該当する参加者１６の行動を時間経過に従って動画再生することができる。

観察者１４は参加者１６の行動で気になったとき、観察画面２０上にマーク４８を表示する操作を行う。マーク４８には、重要度や注釈等の属性データ５６を付加する。マーク４８を表示する操作を行うと、マーク４８のサイズと色を選択することができる。色は例えば、重要度の順に赤、黄色、緑としておく。マーク４８の形状は円とし、その透明度が低いほど重要度が高いとする。

さらに、そのマーク４８を指定して、文字によるコメントを入力することができる。また、観察者１４の音声によるコメントを入力することができる。こうして編集したデータを注目データ編集手段３６が、注目データとして記憶装置３２に記憶させる。

なお、参加者１６がなんらかの行動を起こすときに発生した音声を、その時点の参加者１６のアイコン２４上に付したマーク４８の属性データ５６にして、注目データとしてもよい。

こうして、観察者１４も参加者１６も、気になったことを記録に残すことができる。これにより、その行動を振り返って、どの時点で何をどうすればよかったのかなどを指摘することができ、教育効果を高めることができる．

本発明の行動観察装置１２をこの実施例のように「看護シミュレーション教育」に使用すれば、「小児７４病棟でのベッド７２転落事故の対応を」を、シミュレーションにより学ぶことができる。

この場面では、母親６６がベッド７２から転落した小児７４に走り寄って抱き上げ、ナースコールをする。その場で考えたことや実際にしたいと思ったことがあれば声を出してその音声データ６４をマーク４８とともに注目データとして記録しておく。口頭で申告すれば行動しなくてもよいことにする。

例えば、現場に駆けつけた看護師６８が「ここで血圧を測定する」といって次の行動に移るとよい。母親６６の報告を受けて、小児７４をベッド７２へ戻す。このとき、母親６６にベッド７２の柵を下げるように依頼し、さらに、タオル等で創部を圧迫してもらうように指示する。この状態で、患者である小児７４の意識状態を確認し、刺激に対する反応、眼球運動、嘔気嘔吐、患者の受傷状況の確認、打撲による裂傷、創の大きさ、深さ、出血量などを確認する。

医師７０が到着したときに、これらの確認事項を報告する。こうした一連の行動のシミュレーションをおこなって、行動を詳細に分析して学習をする。

注目点４６がマーク４８により表示され、さらにそのマーク４８をクリックし、コメントや音声による注意点を再生することができ、効果的な学習ができる。しかも、観察画面２０上の参加者１６のアイコン２４を操作して様々な状況をマーク４８とともに簡単に記録することができるので、記録の制作が容易で、観察者１４から参加者１６へのメッセージを効率よく伝えることができる。

（タブレットの画面例）
図３以下に、上記のタブレットの操作画面の写真を例示する。図３は、アプリケーション起動直後の画面である。各ボタンを押した時の処理を右側に表示して解説している。上から３個目のボタンを選択すると、新規ワークショップの作成画面を開くことができる。また、上から４〜６個目のボタンを選択するとワークショップの閲覧画面に移動することができる。

図４は 新規ワークショップの作成画面である。図３の画面で（NEW）と表示したボタンを押した場合に開く画面である。ワークショップの名前とメモを入力して下部のボタンを押すと、ワークショップのデータを作成して、その編集や閲覧の画面に移動する。

図５は、 ワークショップの読み込み画面である。過去のワークショップを読み込むことができる。円形のボタンを長押しすることで、この画面を削除したり、ワークショップの情報を編集することができる。また、ボタンを選択することで、該当するワークショップのデータの記録と閲覧をするワークショップ画面に移動する。

図６はワークショップ画面のアイコンの説明用画面である。この画面は記録を行う記録モードとされている。左上部がアプリケーションのメニューを表示するボタンである。右上部の一段目はワークショップ名が表示され、二段目は、ワークショップを区切るセクションの情報が表示されている。二段目の矢印を押すことで、セクションを作成したり、移動することができる。

画面中央に表示されている３つの図形のうち、左のオブジェクトは、ワークショップ内における椅子や机を表している設置物オブジェクトで、上記の実施例ではシンボルと呼んだ。大きさは自由に変更することができる。右のオブジェクトは、参加者１６を表しているオブジェクトであり、参加者１６の顔写真や名前を設定することができる。上記の実施例では参加者のアイコンと呼んだ。

アイコンの上部の三角形は、参加者が向いている方向を示しており回転させることで、向きを設定できる。三角形の付されていないオブジェクトは、グループの参加者を表しているグループオブジェクトである。これらのオブジェクトは、画面左部の追加ボタンを押すことで、追加することができる。画面下部のバーの四角のボタンを押すことで、記録を終了し閲覧モードに移行する。

図７は、記録モードのワークショップ画面例である。記録中に参加者オブジェクトまたは、グループオブジェクトを移動させると、その足跡（軌跡）を記録することができる。また、両者のオブジェクトの移動中に気になった点に円形のマークを設置することができる。マークは、サイズや色や透明度を変更することができ、マークに対する意味の重み付け等に利用することができる。

図８は閲覧モードのワークショップ画面例である。これはワークショップの情報を閲覧する再生モードの状態である。参加者オブジェクトやグループオブジェクトの情報を閲覧することができる。記録モードで参加者オブジェクトとグループオブジェクトを動かした場合の動きを、画面下部左の再生ボタンで再生することができる。また、画面下部のスライドバーを操作することでも動きを見ることができる。この時、参加者オブジェクトの向きの変化も見ることができる。記録モードにするには、画面左下部のボタンを押すことで移行できる。

図９は記録画像を操作する記録モードのワークショップ画面例である。参加者オブジェクトやグループオブジェクトをタッチすることで、画面下部から選択されたオブジェクトに関連した、ワークショップ内で撮影された画像を閲覧することができる。画面右部のボタンを押した場合は、上から順番にマークの設置、記録画像撮影のためのカメラの起動、関連した記録画像の読み込み処理を行う。

図１０はマーキングをしたときの記録画像の画面例である。画面右上のボタンを押すとワークショップ画面に戻ることができる。画像を長押しすると記録画像の中に円形のマーキングを行うことができる。このマークは、大きさや色、透明度を変更することができる。また、マークに対して、テキストメモと音声メモを記録することができる。マーク選択時に右部の赤いボタンを押すことで、マークに対して音声メモを録音することができる。

図１１は音声インタフェースの画面である。マークに音声メモを録音した場合は、マーク選択時に新たにスピーカーが描かれたボタンが表示される。このボタンを選択することで、音声メモを再生するインタフェースが表示される。

以上の装置は、シミュレーションのみならず、様々な場所で、人の行動を客観的に観察しこれに注釈を混えて記録して評価をし、教材や研究資料に役立てるといった目的に広く使用できる。また、人のみならず物の配置や移動も観察して、総合的な評価を加えることができる。上記の例では、観察者がタブレットを使用して記録をする例を説明したが、観察現場から離れた場所で、観察用のカメラで撮影した映像を見ながら人の行動などを観察し、コンピュータのモニターを使用して、指やマウスを使用して上記のような記録を行なうこともできる。

上記のように、シミュレーションに参加する人の位置と向きと移動をアイコンで表示し、注目すべき位置で、あるいは注目すべき状態にマークをして、観察者のコメントや重要度を示す情報を記録できる。その位置や状態で注意すべきことやなすべきことを音声で記録できる。参加者の音声を記録して、動画撮影した場合よりもその構造の内容を明確に伝えることができる。同時に、注目すべき状態を撮影した画像を残しておけば、さらに具体的にその状態が理解できる。

全体を動画撮影して解説をする場合よりも、注意点がクローズアップされ、アイコンの移動で行動を確認すると、参加者は、現場を撮影した画像よりも全体を客観的に観察することができる。教材として使用する場合でも、参加者の位置、向き、移動、周囲に配置された物に個別に着目して解析をし説明することか容易になる。

１２ 行動観察装置
１４ 観察者
１６ 参加者
１８ タブレット
１９ ディスプレイ
２０ 観察画面
２２ 画像表示部
２３ メニューボタン
２４ アイコン
２６ シンボル
２８ 軌跡
３０ 演算処理装置
３２ 記憶装置
３４ 軌跡記録手段
３６ データ編集手段
３８ 観察画像再生手段
４０ 重み付けボタン
４２ 文字入力ボタン
４４ 音声入力ボタン
４８ マーク
５０ 記録画像
５１ 再生ボタン
５２ 時刻データ
５４ 軌跡データ
５６ 属性データ
６０ 重み付けデータ
６２ 文字データ
６４ 音声データ
６６ 母親
６８ 看護師
７０ 医師
７２ ベッド
７４ 小児

Claims (6)

1. 観察対象となる場面上の参加者の位置と向きを表すアイコンまたは道具のシンボルを表示し、上記参加者と上記道具の移動を軌跡により表示する観察画面と、
   上記参加者の行動もしくは上記道具の移動を撮影した記録画像またはそのサムネイルを、時系列に並べて表示する画像表示部とを備え、
   観察者が参加者の行動を観察しながらその行動を撮影して記録する記録モードにおいて、上記参加者もしくは上記道具の移動に従って、上記観察者のドラッグ操作により上記観察画面上で参加者のアイコンもしくは道具のシンボルが移動されたとき、その軌跡が観察画面上に表示され、軌跡データとともにその軌跡データが取得された時刻を示す時刻データを記憶装置に記憶させる軌跡記録手段と、
   上記観察画面中の任意の注目点にマークを表示し、そのマークの意味を示す観察者の入力した文字データもしくは音声データと、参加者の発した声の音声データとを含む属性データを記憶装置に記憶させるデータ編集手段とを備えたことを特徴とする行動観察装置。
2. 上記マークの属性データは、注目の重要度を示すマークの透明度であることを特徴とする請求項１に記載の行動観察装置。
3. 再生モードにおいて、上記記憶装置に記憶された参加者または道具のアイコンの軌跡データと時刻データを読み取って、上記観察画面上で該当する参加者または道具の移動を時間経過に従って動画再生する観察画像再生手段を備えたことを特徴とする請求項１に記載の行動観察装置。
4. 再生モードにおいて、観察画像再生手段は、上記観察画面上に表示されたアイコンまたはシンボルをその観察画面上に表示された軌跡上で移動させたとき、上記観察画面の全てのアイコンまたはシンボルの状態を該当する時刻の状態に再現して表示することを特徴とする請求項１に記載の行動観察装置。
5. コンピュータを、請求項１乃至４のいずれかに記載の各手段として機能させる行動観察プログラム。
6. 請求項５に記載の行動観察プログラムを記録したコンピュータで読み取り可能な記録媒体。