JP5621464B2 - 動作検出装置、記録システム及びプログラム - Google Patents

Description

本発明は、動作検出装置、記録システム及びプログラムに関する。

いわゆる電子黒板のように、筆記により書き込まれた情報（文字や画像）をデータとして記録する記録媒体がある。また、記録媒体又は筆記具に特定の機能を付与することにより、書き込まれた情報やその情報を書き込んだ者を認識する技術が知られている（例えば、特許文献１〜５参照）。

特開２０００−１４８３９６号公報 特開２００１−２３１７６５号公報 特開２００１−２４９７６１号公報 特開２００５−１９０２５３号公報 特開２００６−３０２０４６号公報

本発明の目的は、記録者が用いる記録媒体や筆記具がどのような機能を有するかによらずに、記録者の記録に関連する状態に応じて出力データを作成できるようにすることにある。

本発明の請求項１に係る動作検出装置は、記録者が情報の記録に用いる筆記具と独立に設けられた第１センサから出力される第１データであって、前記記録者の前記筆記具の持ち手の状態に対応する前記第１データに応じて、前記記録者の前記筆記具の持ち手の状態を検出する第１検出手段と、前記記録者が情報の記録に用いる記録媒体と独立に設けられた第２センサから出力される第２データに応じて、前記記録媒体と前記記録者の距離を検出する第２検出手段と、前記記録者の状態を判断する判断手段であって、前記第１検出手段により検出された前記記録者の持ち手の状態があらかじめ決められた状態を示し、かつ、前記第２検出手段により検出された前記記録媒体と前記記録者の距離があらかじめ決められた閾値以下である場合に、前記記録者の状態を、前記記録媒体に情報を記録する状態であると判断する判断手段と、前記判断手段による前記記録者の状態の判断結果に応じて出力データを作成する出力データ作成手段とを備える。

本発明の請求項２に係る動作検出装置は、請求項１に記載の構成において、前記第１検出手段は、前記第１データに基づき前記持ち手の鉛直方向に対する傾きを検出し、前記判断手段は、前記第１検出手段により検出された前記傾きがある角度以下であり、かつ、前記第２検出手段により検出された距離が前記閾値以下である場合に、前記記録者が前記記録媒体に情報を記録する状態であると判断する構成を有する。
本発明の請求項３に係る動作検出装置は、請求項２に記載の構成において、前記記録媒体は、第１記録媒体と第２記録媒体とを含み、前記判断手段は、前記第１検出手段により検出された前記傾きがある角度以下であり、かつ、前記第２検出手段により検出された距離が前記閾値以下である場合に、前記記録者が前記第１記録媒体に情報を記録する状態であると判断し、前記第１検出手段により検出された前記傾きが前記ある角度より大きく、かつ、前記第２検出手段により検出された距離が前記閾値以下である場合に、前記記録者が前記第２記録媒体に情報を記録する状態であると判断する構成を有する。
本発明の請求項４に係る動作検出装置は、請求項３に記載の構成において、前記第１検出手段は、前記傾きを検出するとともに、前記記録者による筆記動作に対応する第１データのパターンに基づき筆記動作を検出し、前記判断手段は、前記筆記動作が検出され、かつ、検出された前記傾きがある角度以下である場合において、前記第２検出手段により検出された距離が前記閾値以下であるとき、前記記録者が前記第１記録媒体に情報を記録する状態であると判断する構成を有する。
本発明の請求項５に係る動作検出装置は、請求項１ないし４のいずれかに記載の構成において、前記第１検出手段及び前記第２検出手段の検出対象である前記記録者を識別する識別手段を備え、前記判断手段は、前記識別手段により識別された記録者に応じて、前記閾値を異ならせる構成を有する。
本発明の請求項６に係る動作検出装置は、請求項４に記載の構成において、前記第１検出手段及び前記第２検出手段の検出対象である前記記録者を識別する識別手段を備え、前記判断手段は、前記識別手段により識別された記録者に応じて、前記パターンを異ならせる構成を有する。

本発明の請求項７に係る記録システムは、請求項１に記載の第１センサ及び第２センサと、請求項１ないし６のいずれかに記載の動作検出装置と、前記記録者により前記記録媒体に記録された情報を取得する情報取得手段と、前記出力データ作成手段により作成された出力データに基づく情報を記憶する記憶手段とを備え、前記出力データ作成手段は、前記判断手段による前記記録者の状態の判断結果に応じて、前記記録者があらかじめ定めた状態である場合に限り、前記情報取得手段により取得された情報と前記判断結果とに基づく前記出力データを作成し、前記記憶手段は、前記出力データ作成手段により作成された前記出力データに基づき、前記情報取得手段により取得された情報を前記判断手段による判断結果と対応付けて記憶する構成を有する。

本発明の請求項８に係るプログラムは、コンピュータに、コンピュータに、記録者が情報の記録に用いる筆記具と独立に設けられた第１センサから出力される第１データであって、前記記録者の前記筆記具の持ち手の状態に対応する前記第１データに応じて、前記記録者の前記筆記具の持ち手の状態を検出する第１検出ステップと、前記記録者が情報の記録に用いる記録媒体と独立に設けられた第２センサから出力される第２データに応じて、前記記録媒体と前記記録者の距離を検出する第２検出ステップと、前記記録者の状態を判断するステップであって、前記第１検出ステップにおいて検出された前記記録者の持ち手の状態があらかじめ決められた状態を示し、かつ、前記第２検出ステップにおいて検出された前記記録媒体と前記記録者の距離があらかじめ決められた閾値以下である場合に、前記記録者の状態を、前記記録媒体に情報を記録する状態であると判断する判断ステップと、前記判断ステップにおける前記記録者の状態の判断結果に応じて出力データを作成する出力データ作成ステップとを実行させるためのものである。

本発明の請求項１、８に記載の構成によれば、記録者が用いる記録媒体や筆記具がどのような機能を有するかによらずに、記録者の記録に関連する状態に応じて出力データを作成することが可能である。
本発明の請求項２に記載の構成によれば、記録面が水平に対して垂直ないし垂直に近い状態になされたホワイトボード等の記録媒体に情報が記録されている状態を判断することが可能である。
本発明の請求項３に記載の構成によれば、傾きが異なる２つの記録媒体に情報が記録されている状態をそれぞれ区別して判断することが可能である。
本発明の請求項４に記載の構成によれば、ホワイトボード等の記録媒体に実際に筆記が行われている状態とそうでない状態とを区別して判断することが可能である。
本発明の請求項５に記載の構成によれば、判断手段が判断に用いる閾値を記録者毎に異ならせない場合に比べ、記録者の筆記の態様の個人差に起因する判断の誤りが生じることを少なくすることが可能である。
本発明の請求項６に記載の構成によれば、判断手段が判断に用いるパターンを記録者毎に異ならせない場合に比べ、記録者の筆記の態様の個人差に起因する判断の誤りが生じることを少なくすることが可能である。
本発明の請求項７に記載の構成によれば、記録者の状態の判断結果に応じない場合と比較して、参照される頻度が低い情報の記録を減らすことが可能である。

室内の様子を示す模式図 記録システムの全体構成を示すブロック図 情報処理装置のハードウェア構成を示すブロック図 情報処理装置の機能的構成を示す機能ブロック図 情報処理装置によるデータ記録処理を示すフローチャート 情報処理装置によるデータ検索処理を示すフローチャート データ検索処理において表示部により表示される画面の一例を示す図 データ検索処理において表示部により表示される画面の一例を示す図

［実施形態］
図１は、本発明の一実施形態に係る室内の様子を示す模式図であり、例えば、オフィス内の会議室などの様子である。図１に示すように、この室内には、複数のユーザＵａ、Ｕｂ、Ｕｃが在室している。また、室内には、ホワイトボード９１０とテーブル９００とが配置されている。テーブル９００の上には、情報処理装置１００と、カメラ３００と、マイクロホン４００と、ノート９２０とが置かれている。

ホワイトボード９１０は、ユーザＵａ、Ｕｂ、Ｕｃが筆記具９３０によって情報を記録するための記録媒体である。ホワイトボード９１０の記録面（情報が記録される面）は、室内の水平な床面に対して垂直な状態に保たれている。一方、ノート９２０は、ユーザＵａ、Ｕｂ、Ｕｃによって情報が記録される記録媒体であるが、その記録面は、ホワイトボード９１０の記録面よりも水平に近い状態に保たれている。ノート９２０は、水平な天板を有するテーブル９００の上に置かれることにより、かかる状態に保たれている。ホワイトボード９１０は、本発明に係る第１記録媒体の一例に相当し、ノート９２０は、本発明に係る第２記録媒体の一例に相当する。

なお、ホワイトボード９１０の記録面は、床面に対して完全に垂直である必要はない。ホワイトボード９１０の記録面は、その傾きがノート９２０の記録面と区別し得る程度に相違していれば、鉛直方向に対して傾いていてもよい。すなわち、ホワイトボード９１０の記録面は、ノート９２０の記録面よりは鉛直に近い状態にあり、ノート９２０の記録面は、ホワイトボード９１０の記録面よりは水平に近い状態にある。

筆記具９３０は、情報を記録するための道具であり、ユーザＵａ、Ｕｂ、Ｕｃが手に持って使用するものである。筆記具９３０は、例えば、水性ペンである。なお、筆記具９３０は、ホワイトボード９１０に筆記するためのもの（例えば、ホワイトボード用のマーカー）とノート９２０に筆記するためのもの（例えば、鉛筆やボールペン）とが別個にあってもよい。筆記具９３０の色材（顔料、インク等）は、ホワイトボード９１０やノート９２０に記録した情報を消去し得るものであると、より望ましい。

ユーザＵａ、Ｕｂ、Ｕｃは、ホワイトボード９１０やノート９２０に情報を記録する者である。また、ユーザＵａ、Ｕｂ、Ｕｃは、センサユニット２００を装着している。センサユニット２００は、ユーザＵａ、Ｕｂ、Ｕｃに関するさまざまな情報を出力する。本実施形態において、センサユニット２００は、腕時計やブレスレットのような形状を有しており、前腕部の手首周辺に装着されるものであるとする。

なお、以下において、ユーザＵａ、Ｕｂ、Ｕｃは、各人の区別が不要な場合には「ユーザＵ」と総称されることがある。また、ユーザＵのうち、ホワイトボード９１０やノート９２０に情報を記録している者（あるいは記録しようとしている者）を他の者と区別する場合には、これを「記録者」という。また、ユーザＵの総数は、図示した人数（３人）に限定されず、これより多くても少なくてもよい。

図２は、本実施形態の記録システム１０の全体構成を示すブロック図である。記録システム１０は、上述した情報処理装置１００、センサユニット２００、カメラ３００及びマイクロホン４００に加え、データベース５００と、ネットワーク６００とを備える。なお、データベース５００及びネットワーク６００は、上述した室内になくてもよい。

情報処理装置１００は、センサユニット２００、カメラ３００、マイクロホン４００及びデータベース５００と通信を行い、ユーザＵに関する情報（記録に関連する情報）を記録する。情報処理装置１００は、センサユニット２００、カメラ３００及びマイクロホン４００からデータを受信することにより、ユーザＵの記録に関連する状態を判断し、その判断結果に応じた処理を実行する。情報処理装置１００は、かかる処理の一例として、記録者であるユーザＵの記録に関連する情報を作成してデータベース５００に送信する。情報処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）である。

図３は、情報処理装置１００のハードウェア構成を示すブロック図である。情報処理装置１００は、図３に示すように、制御部１１０と、記憶部１２０と、第１通信部１３０と、第２通信部１４０と、第３通信部１５０と、操作部１６０と、表示部１７０と、音声再生部１８０とを備える。

制御部１１０は、情報処理装置１００の各部の動作を制御する手段である。制御部１１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置と、主記憶装置に相当する記憶手段（メインメモリ）とを備え、プログラムを実行することによって本発明に係る動作検出装置として機能する。制御部１１０は、かかる動作検出装置として機能することにより、ユーザＵの状態を示す状態データを生成して出力する。記憶部１２０は、ハードディスク等の補助記憶装置に相当する記憶手段を備え、制御部１１０に用いられるデータ（プログラム等）を記憶する。なお、状態データについては、後に詳述される。

第１通信部１３０は、ネットワーク６００に接続し、データベース５００と通信するための手段である。第２通信部１４０は、センサユニット２００と通信するための手段である。第３通信部１５０は、カメラ３００及びマイクロホン４００と通信するための手段である。第２通信部１４０は、ユーザＵの動きを妨げぬよう、無線通信を行うものであることが望ましい。一方、第１通信部１３０及び第３通信部１５０は、有線又は無線のいずれの通信手段であってもよい。

操作部１６０は、操作者による操作を受け付ける手段である。また、操作部１６０は、操作者による操作に応じたデータ（以下「操作データ」という。）を制御部１１０に供給する。操作部１６０は、例えば、キーボードやマウスを含んで構成される。なお、操作者は、ユーザＵのいずれかであってもよいが、ユーザＵ以外の者であってもよい。表示部１７０は、情報を表示する手段である。表示部１７０は、制御部１１０から表示データを供給されると、表示データに応じた文字や画像を表示する。表示部１７０は、例えば、液晶ディスプレイであるが、室内の壁やホワイトボード９１０に映像を投影するプロジェクタであってもよい。音声再生部１８０は、音声を再生する手段である。音声再生部１８０は、例えば、スピーカを備え、制御部１１０から供給された音声データに応じた音声を再生する。

センサユニット２００は、ユーザＵに関する情報を取得するための複数のセンサを一体に構成したものである。センサユニット２００は、より詳細には、加速度センサ２１０と、距離センサ２２０と、脈拍センサ２３０と、発汗センサ２４０と、送信部２５０とを備える。ここにおいて、加速度センサ２１０は、本発明に係る第１センサの一例に相当するものである。また、距離センサ２２０は、本発明に係る第２センサの一例に相当するものである。

加速度センサ２１０は、記録者の筆記具９３０の持ち手の状態に応じたデータを出力するセンサである。加速度センサ２１０が出力するデータのことを、以下においては加速度データという。本実施形態において、加速度センサ２１０は、いわゆる３軸加速度センサであり、互いに直交する３方向の加速度をそれぞれ計測する。なお、ここにおいて、記録者の持ち手とは、記録者の筆記具９３０を持っている方の手（本実施形態において、より詳しくは前腕部の手首周辺）のことであり、右手と左手のいずれであってもよい。なお、加速度データが示す加速度には、記録者の持ち手の動きに応じた加速度に加え、重力加速度が含まれる。加速度データは、本発明に係る第１データの一例に相当するものである。

距離センサ２２０は、記録者と当該記録者の持ち手に近接する物体の距離を計測するセンサである。距離センサ２２０が計測して出力するデータのことを、以下においては距離データという。距離データは、本発明に係る第２データの一例に相当するものである。本実施形態の距離センサ２２０は、赤外線を照射し、その赤外線が照射された方向にある物体（ホワイトボード９１０等）からの反射光を受光することにより当該センサと当該物体の距離を計測する。したがって、ここでいう物体と記録者の距離とは、より厳密にいえば、物体と距離センサ２２０の距離のことである。センサユニット２００において、距離センサ２２０は、記録者がホワイトボード９１０に筆記するときにホワイトボード９１０と向き合う位置に設けられている。

脈拍センサ２３０は、ユーザＵの脈拍数を計測するセンサである。脈拍センサ２３０が計測して出力するデータのことを、以下においては脈拍データという。発汗センサ２４０は、記録者の発汗量や発汗速度等の発汗に関する量を計測するセンサである。発汗センサ２４０が計測して出力するデータのことを、以下においては発汗データという。発汗センサ２４０は、手首ではなく、発汗に関する量をより計測しやすい位置（例えば、掌など）に貼り付けられる構成であってもよい。
なお、脈拍センサ２３０及び発汗センサ２４０は、ユーザＵが筆記具９３０による記録を行っていないときにも計測を行うようにしてもよい。

送信部２５０は、状態データを情報処理装置１００に送信する。また、送信部２５０は、ユーザＵを識別するための識別データをあわせて送信する。なお、送信部２５０は、状態データや識別データとともに、加速度データ、距離データ、脈拍データ及び発汗データ（又はこれらのデータのいずれか）を送信してもよい。以下においては、送信部２５０により送信されるこれらのデータを総称して、「ユーザデータ」という。送信部２５０は、例えば、Bluetooth（登録商標）等のあらかじめ決められた無線通信規格に準拠した方法で情報処理装置１００と通信を行う。Bluetoothの場合、ユーザＵを識別するための識別データには、いわゆるＰＩＮコード（パスキーともいう。）が一例として該当する（もちろん、他のデータを識別データとして用いてもよい。）。

カメラ３００は、ホワイトボード９１０の記録面を撮影し、撮影により得られた画像データを情報処理装置１００に送信する。カメラ３００は、静止画と動画のいずれを撮影する手段であってもよい。カメラ３００は、ホワイトボード９１０に記録された情報を画像データとして取得するものである。すなわち、カメラ３００は、本発明に係る情報取得手段の一例に相当するものである。カメラ３００は、撮影により得られた画像データからホワイトボード９１０の記録面に記録された文字が判読できるような解像度であることが望ましい。また、マイクロホン４００は、室内の音声を収音し、音声データを情報処理装置１００に送信する。なお、カメラ３００及びマイクロホン４００は、一体に構成されていてもよいし、情報処理装置１００の一部であってもよい。また、例えば、いわゆるカメラ付き携帯電話機を情報処理装置１００に有線又は無線で接続することにより、これがカメラ３００及びマイクロホン４００として用いられるようにしてもよい。

ネットワーク６００は、情報処理装置１００とデータベース５００とを接続するための通信ネットワークである。ネットワーク６００は、例えば、インターネットやＬＡＮ（Local Area Network）である。
データベース５００は、ユーザデータと、カメラ３００から送信された画像データと、マイクロホン４００から送信された音声データとを記憶する。また、データベース５００は、これらのデータを検索して出力する検索機能を有する。かかる機能は、情報処理装置１００や他のコンピュータ装置からの要求に応じて、ユーザデータ、画像データ及び音声データのうちの必要なデータを検索して出力するものである。データベース５００は、本発明に係る記憶手段の一例に相当するものである。

記録システム１０のハードウェア構成は、以上のとおりである。記録システム１０においては、この構成のもと、ユーザＵの状態の判断及び記録が行われる。ユーザＵの状態には、記録者の記録に関連する状態が少なくとも含まれるが、記録そのものには関連しない状態（例えば、ユーザＵが何もしていない状態や、ユーザＵがホワイトボード９１０を指差している状態）が含まれてもよい。ユーザＵの状態の判断及び記録は、情報処理装置１００によって行われる。

図４は、情報処理装置１００の機能的構成を示す機能ブロック図である。情報処理装置１００の制御部１１０は、あらかじめ記憶されたプログラムを実行することによって、図４に示す取得部１１１、第１検出部１１２、第２検出部１１３、識別部１１４、判断部１１５及び出力処理部１１６の各部に相当する機能を実現する。

取得部１１１は、第２通信部１４０を介して、センサユニット２００から出力されたデータを取得する。すなわち、取得部１１１は、加速度データ、距離データ、脈拍データ、発汗データ及び識別データを取得する。また、取得部１１１は、第３通信部１５０を介して、カメラ３００及びマイクロホン４００から出力されたデータを取得する。すなわち、取得部１１１は、画像データ及び音声データを取得する。

第１検出部１１２は、取得部１１１により取得された加速度データを用いて、ユーザＵの持ち手（センサユニット２００が装着された側の手）の状態を検出する。本実施形態において、第１検出部１１２が検出する持ち手の状態は、持ち手の鉛直方向に対する傾きと筆記動作である。持ち手の鉛直方向に対する傾きは、加速度データから特定した重力加速度の方向に基づき検出する。持ち手の動作は、取得されたデータがあらかじめ決められたパターンに相当するか否かに基づき検出する。第１検出部１１２は、本発明に係る第１検出手段の一例に相当するものである。

第２検出部１１３は、取得部１１１により取得された距離データを用いて、ユーザＵの持ち手とその持ち手に近接している物体の距離を検出する。ここにおいて、ユーザＵの持ち手に近接している物体とは、例えば、ホワイトボード９１０やノート９２０である。ただし、第２検出部１１３は、記録媒体（ホワイトボード９１０又はノート９２０）以外の他の物体との距離を検出する場合もある。第２検出部１１３は、本発明に係る第２検出手段の一例に相当するものである。
なお、第２検出部１１３は、記録媒体（ホワイトボード９１０又はノート９２０）の色や当該記録媒体にあらかじめ記された目印を認識する機能を有することにより、記録媒体を記録媒体以外の他の物体と区別して認識する可能性を向上させてもよい。

識別部１１４は、第１検出部１１２及び第２検出部１１３による検出対象となっているユーザＵを識別する。識別部１１４は、取得部１１１により取得された識別データを用いてユーザＵを識別する。識別部１１４は、あるユーザと他のユーザを区別するだけでもよいが、識別データとユーザＵに関する情報（名前など）の対応付けをあらかじめ記憶しており、検出対象のユーザＵが誰であるのかまで識別してもよい。なお、かかる対応付けは、記憶部１２０に記憶されており、必要に応じて識別部１１４（すなわち制御部１１０）が記憶部１２０から読み出すようになっていてもよい。識別部１１４は、本発明に係る識別手段の一例に相当するものである。

判断部１１５は、第１検出部１１２及び第２検出部１１３による検出結果を少なくとも用いて、ユーザＵの状態を判断する。判断部１１５は、本実施形態においては、第１検出部１１２及び第２検出部１１３による検出結果に加え、識別部１１４によるユーザＵの識別結果や、取得部１１１により取得された脈拍データや発汗データを用いてユーザＵの状態を判断する。判断部１１５により判断される状態には、記録者の記録に関連する状態が含まれる。判断部１１５は、本発明に係る判断手段の一例に相当するものである。

判断部１１５により判断されるユーザＵの状態は、本実施形態においては、「緊張してホワイトボード９１０に筆記している状態（状態１）」、「緊張せずにホワイトボード９１０に筆記している状態（状態２）」、「ノート９２０に筆記している状態（状態３）」、「筆記せずにホワイトボード９１０の近くにいる状態（状態４）」及び「その他の状態（状態５）」の５通りである。ここにおいて、状態４、すなわち「持ち手を上げてホワイトボード９１０の近くにいる状態」とは、例えば、ユーザＵがホワイトボード９１０に記録を始めようとしている状態や、ユーザＵがホワイトボード９１０を単に指差しているだけの状態などであり、ユーザＵが筆記を行っていない状態である。また、状態５、すなわち「その他の状態」とは、例えば、ユーザＵが発言をしたり、他のユーザＵの発言を聞いたり、ホワイトボード９１０に記録された情報を閲覧したりしている状態のことである。判断部１１５は、このようにユーザＵの状態を判断すると、その判断結果に応じた状態データを出力処理部１１６に供給する。判断部１１５が供給する状態データは、例えば、状態１であると判断したら「１」、状態２であると判断したら「２」、といったデータである。

出力処理部１１６は、判断部１１５による判断結果に基づく出力処理を実行する。本実施形態において、判断部１１５による判断結果に基づく出力処理には、データを作成及び出力してデータベース５００に記録させる処理が少なくとも含まれる。また、出力処理部１１６は、判断部１１５による判断結果に基づく出力処理として、その判断結果を表示部１７０に画像で表示させたり、音声再生部１８０によって音声出力を行って通知したりする、といった具合に、操作者やユーザＵに判断結果を報知する出力処理を行ってもよい。出力処理部１１６は、本発明に係る出力データ作成手段の一例に相当するものである。

図５は、情報処理装置１００によるデータベース５００にデータを記録させる処理（以下「データ記録処理」という。）を示すフローチャートである。このデータ記録処理において、情報処理装置１００の制御部１１０は、まず、第３通信部１５０を介して、カメラ３００及びマイクロホン４００から出力された画像データ及び音声データの取得を開始し（ステップＳａ１）、順次、記憶部１２０に一時的に記憶させる（ステップＳａ２）。制御部１１０は、画像データ及び音声データが供給されなくなるまで、これらのデータの一時記憶を続ける。

次に、制御部１１０は、第２通信部１４０を介してユーザデータが取得されたか否かを判断する（ステップＳａ３）。情報処理装置１００は、センサユニット２００が通信可能な範囲に入ってきたり、あるいはユーザＵがセンサユニット２００に電源を投入したりすると、ユーザデータの受信を開始する。制御部１１０は、ユーザデータを取得すると、ユーザデータに含まれる識別データに基づいてユーザＵを識別し（ステップＳａ４）、ユーザデータをユーザＵと対応付けて記憶部１２０に一時的に記憶させる（ステップＳａ５）。

次に、制御部１１０は、ユーザデータに含まれる加速度データに基づき、ユーザＵの持ち手の動きを検出し、持ち手に何らかの動きがあるか否かを判断する（ステップＳａ６）。このとき、制御部１１０は、加速度データから重力加速度以外の加速度を特定し、持ち手に上げ下げや微小な振動がないか判断する。制御部１１０は、例えば、あらかじめ決められた閾値以上の重力加速度以外の加速度があらかじめ決められた時間内に特定された場合に、持ち手に何らかの動きがあったと判断する。

持ち手に何らかの動きがあったと判断した場合（ステップＳａ６：ＹＥＳ）、制御部１１０は、ユーザデータに含まれる距離データに基づき、持ち手が何らかの物体（ホワイトボード９１０、ノート９２０、テーブル９００など）に近接しているか否かを判断する（ステップＳａ７）。具体的には、制御部１１０は、距離データにより検出される距離があらかじめ決められた閾値以下であるか否かを判断する。本実施形態において、持ち手と物体の距離に関する閾値は、ユーザが持ち手を物体に近づけ、筆記しているとみなせる程度の値であり、例えば、５ｃｍ以上３０ｃｍ以下である。

距離データにより検出される距離があらかじめ決められた閾値以下であると判断した場合（ステップＳａ７：ＹＥＳ）、制御部１１０は、加速度データから筆記動作に対応するデータのパターンが検出されたか否かを判断する（ステップＳａ８）。ここにおいて、筆記動作に対応するデータのパターンとは、記録者が記録媒体に筆記するときに表れる特徴的なデータのパターンをいう。かかるデータのパターンは、例えば、加速度が水平方向や鉛直方向に小刻みに増減するものである。このデータのパターンは、複数の記録者による筆記動作を記録し、統計的に処理したりすることによって、あらかじめ特定されているものとする。制御部１１０は、筆記動作に対応するデータのパターンが検出された場合には、ユーザＵが記録者であり、ホワイトボード９１０やノート９２０に筆記を行っている状態であるとみなす。

制御部１１０は、筆記動作に対応するデータのパターンが検出された場合（ステップＳａ８：ＹＥＳ）と、そうでない場合（ステップＳａ８：ＮＯ）の双方において、加速度データから特定した重力加速度の方向に基づき記録者の持ち手の傾きを判断する（ステップＳａ９ａ）。本実施形態において、制御部１１０は、持ち手が鉛直方向に対してどの程度傾いているかを判断する。以下においては、持ち手の傾きに相当する角度を「θ」と表記する。ここにおいて、傾きθは、持ち手の前腕部が鉛直方向に対してなす角度に相当し、０°の場合に、前腕部が鉛直方向に対して平行であり、９０°の場合に、前腕部が水平方向に対して平行であるとみなす。

制御部１１０は、傾きθが０°≦θ≦θ_thを満たす場合に、持ち手が鉛直に近い状態であると判断し、傾きθがθ＞θ_thを満たす場合に、持ち手が水平に近い状態であると判断する。ここにおいて、θ_thは、傾きθについてあらかじめ決められた閾値である。閾値θ_thは、例えば、３０°以上６０°以下程度である。ユーザＵの筆記の仕方には個人差があるため、閾値θ_thは、広範囲の個人差に対応し得るようにすれば、比較的大きい値にすることが望ましい。しかしながら、閾値θ_thを大きくし、９０°に近づけると、ノート９２０に筆記している状態がホワイトボード９１０に筆記している状態であると誤って判断されるおそれがある。

制御部１１０は、筆記動作に対応するデータのパターンが検出された場合（ステップＳａ８：ＹＥＳ）において、傾きθが０°≦θ≦θ_thを満たすとき（ステップＳａ９ａ：ＹＥＳ）、ユーザデータに含まれる脈拍データと発汗データとに基づいて、記録者が緊張した状態であるか否かを判断する（ステップＳａ１０）。制御部１１０は、例えば、脈拍データにより計測される脈拍数と発汗データにより計測される発汗に関する量の少なくともいずれかがあらかじめ決められた閾値以上である場合には、記録者が緊張した状態であると判断し、そうでない場合には、記録者が緊張していない状態であると判断する。なお、制御部１１０は、脈拍数と発汗に関する量の双方が閾値以上である場合を緊張した状態であるとみなしてもよい。

制御部１１０は、記録者が緊張した状態であると判断した場合（ステップＳａ１０：ＹＥＳ）、ユーザＵの状態を状態１、すなわち「記録者が緊張してホワイトボード９１０に筆記している状態」であると判断する（ステップＳａ１１）。一方、制御部１１０は、記録者が緊張していない状態であると判断した場合（ステップＳａ１０：ＮＯ）、ユーザＵの状態を状態２、すなわち「記録者が緊張せずにホワイトボード９１０に筆記している状態」であると判断する（ステップＳａ１２）。

一方、制御部１１０は、筆記動作に対応するデータのパターンが検出された場合（ステップＳａ８：ＹＥＳ）において、傾きθが０°≦θ≦θ_thを満たさないとき（ステップＳａ９ａ：ＮＯ）、持ち手が状態１の場合よりも水平に近い状態であることから、記録者が筆記動作を行っているが、ホワイトボード９１０と異なる記録媒体に筆記していると判断する。このとき、本実施形態においては、制御部１１０は、ユーザＵの状態を状態３、すなわち「記録者がノート９２０に筆記している状態」であると判断する（ステップＳａ１３）。なぜならば、ノート９２０は、ホワイトボード９１０に比べ、記録面が水平に近い状態になっているからである。

また、制御部１１０は、筆記動作に対応するデータのパターンが検出されなかった場合（ステップＳａ８：ＮＯ）において、傾きθが０°≦θ≦θ_thを満たすとき（ステップＳａ９ｂ：ＹＥＳ）、記録者が筆記動作を行っていないが、持ち手が鉛直に近い状態、すなわち、ホワイトボード９１０に筆記するときのような状態になっていると判断する。このとき、制御部１１０は、ユーザＵの状態を状態４、すなわち「ユーザＵが筆記せずにホワイトボード９１０の近くにいる状態」であると判断する（ステップＳａ１４）。

なお、制御部１１０は、持ち手に動きがないと判断した場合（ステップＳａ６：ＮＯ）、距離データにより検出される距離があらかじめ決められた閾値を超えると判断した場合（ステップＳａ７：ＮＯ）、筆記動作に対応するデータのパターンが検出されなかった場合（ステップＳａ８：ＮＯ）において、傾きθが０°≦θ≦θ_thを満たさないとき（ステップＳａ９ｂ：ＮＯ）のいずれかの場合、ユーザＵの状態を状態５、すなわち「その他の状態」であると判断する（ステップＳａ１５）。

このように、ユーザＵの状態を状態１ないし５のいずれかであると判断したら、制御部１１０は、記憶部１２０に一時記憶させた画像データ及び音声データを読み出し、識別データや状態データとともに出力してデータベース５００に記録させる（ステップＳａ１６）。制御部１１０は、記憶部１２０に記憶された画像データ及び音声データのすべてをデータベース５００に記録させてもよいが、ユーザＵが特定の状態である場合に限って記録を行ってもよい。例えば、制御部１１０は、ユーザＵが何らかの記録媒体（ホワイトボード９１０又はノート９２０）に記録を行っている状態、すなわち状態１、２又は３の場合に限って画像データ及び音声データが記録されるようにしてもよい。この場合、制御部１１０は、ユーザＵの状態が状態１、２又は３であると判断された前後のあらかじめ決められた時間（例えば、状態の判断後の１０分間や、状態の判断の５分前から判断後の１０分間など）の画像データ及び音声データを抜き出し、抜き出した部分的なデータのみをデータベース５００に出力してもよい。また、例えば、状態１又は状態２のいずれかの状態から状態１及び状態２のいずれでもない状態に移行した時点を基準としたあらかじめ定められた時点に取得された画像データと、記録者の識別データとを対応付けたデータをデータベース５００に出力して記録させるようにしてもよい。
なお、ステップＳａ１６において、制御部１１０は、識別データ及び状態データだけでなく、他のユーザデータをあわせてデータベース５００に記録させてもよい。

以上のように、記録システム１０においては、上述したデータ記録処理が実行されることによって、ユーザＵの状態に応じた画像データや音声データがデータベース５００に記録される。情報処理装置１００の操作者は、必要に応じて、データベース５００に記録されたデータを受信して再生する。操作者は、室内で行われていたことを振り返ったり思い出したりする必要があるときに、データベース５００の検索機能を利用して、必要なデータを検索し、ユーザＵがホワイトボード９１０に記録した情報やそのときの音声などを再生し、当時のことを確認する。

図６は、情報処理装置１００によるデータの検索に関する処理（以下「データ検索処理」という。）を示すフローチャートである。このデータ検索処理において、情報処理装置１００の制御部１１０は、まず、操作部１６０から検索キーを表す操作データを取得することにより、操作者から検索キーを受け付ける（ステップＳｂ１）。検索キーは、例えば、時間、識別データ、状態データなどである。操作者は、例えば、ある時間に話されていたことや、その時間にホワイトボード９１０に記録されていた情報を知りたいときには、時間を検索キーに用いる。また、操作者は、あるユーザＵがホワイトボード９１０に記録した情報を知りたいときには、識別データを検索キーに用い、あるユーザＵが特定の状態（例えば、緊張した状態）にあるときにホワイトボード９１０に記録されていた情報を知りたいときには、識別データと状態データを組み合わせて検索キーに用いる。

制御部１１０は、検索キーを受け付けると、第１通信部１３０を介して、これをデータベース５００に送信する（ステップＳｂ２）。データベース５００は、検索キーを受信すると、検索キーに合致したデータ（画像データ等）を読み出して情報処理装置１００に送信する。制御部１１０は、データベース５００から送信されたデータを第１通信部１３０を介して取得し（ステップＳｂ３）、表示部１７０や音声再生部１８０に画像や音声を再生させる（ステップＳｂ４）。なお、制御部１１０は、検索された画像や音声をつなぎ合わせ、特定の状態（例えば、状態１）であると判断されたときの画像や音声をひとまとめにして再生したり、特定のユーザＵが筆記しているときの画像や音声をひとまとめにして再生したりしてもよい。

図７及び図８は、データ検索処理において表示部１７０により表示される画面の一例を示す図である。図７は、操作者が検索キーを入力するための画面を例示する図である。この例において、操作者は、特定のユーザＵに関する画像や音声を検索する場合には、所望のユーザの名前をプルダウンメニューＭ１により選択する。また、操作者は、不特定のユーザＵが特定の状態にあるときの画像や音声を検索する場合には、所望の状態をプルダウンメニューＭ２により選択する。さらに、操作者は、特定の日時の画像や音声を検索する場合には、所望の日時をプルダウンメニュー群Ｍ３により選択する。なお、検索キーの入力は、プルダウンメニューに限らず、テキストボックスやラジオボタン等の他のＧＵＩ（Graphical User Interface）ウィジェットによって受け付けられてもよい。操作者は、所望の検索キーを選択したら、検索ボタンＢ１をクリック等の操作により選択する。情報処理装置１００は、検索ボタンＢ１を選択する操作を受け付けると、選択された検索キーをデータベース５００に送信する。なお、いわゆるアンド検索（検索キーを複数組み合わせた検索）を行う場合には、情報処理装置１００は、複数の検索キーを受け付け、受け付けた検索キーの組み合わせをデータベース５００に送信する。

図８は、データ検索処理によって表示部１７０により再生される画像を例示する図である。この例において、情報処理装置１００は、ホワイトボード９１０やその周辺を撮影した画像を表示領域Ａ１に表示するとともに、日時やユーザＵの名前などを表示領域Ａ２に表示する。ここにおいて、アイコンＩ１は、ホワイトボード９１０に筆記している記録者の緊張の度合いを表す画像であり、その表示態様（色の違い、点滅の時間間隔、大きさなど）によって緊張の度合いを表す。なお、情報処理装置１００は、表示領域Ａ２を表示しなくてもよいし、他の情報を表示してもよい。例えば、情報処理装置１００は、ユーザＵの全員分の状態を名前とともに表示してもよい。

［変形例］
本発明の実施の態様は、上述した実施形態に限定されるものではなく、例えば、以下に示す変形例のようであってもよい。また、これらの変形例は、必要に応じて組み合わせて実施されてもよいものである。

（変形例１）
本発明において、ユーザ（又は記録者）の状態とは、上述した実施形態で例示されたものに限定されない。例えば、ユーザの状態は、緊張の度合いを３段階や５段階に分けて判断されてもよい。また、記録者が情報を記録する状態とは、記録者が現に筆記を行っている状態（例えば、上述した状態１、２及び３）だけでなく、記録者がこれから筆記を行おうとしている状態（例えば、上述した状態４）を含んでもよい。すなわち、本発明において、記録者が情報を記録する状態とは、当該記録者が現に記録している場合だけでなく、それから記録を開始する蓋然性が高い場合をも含み得るものである。

また、ユーザの状態は、緊張の有無を問わないものであってもよい。この場合、上述した状態１と状態２に相当する状態は、これらが区別されることなく、「記録者がホワイトボード９１０に筆記している状態」であるとみなされる。なお、この場合には、上述した脈拍センサ２３０と発汗センサ２４０に相当する構成が不要である。

（変形例２）
一般に、ユーザの筆記の態様には、癖や体格差に起因する個人差がある。例えば、ユーザには、文字を書く速度や、ホワイトボード９１０に筆記するときのホワイトボード９１０との距離に相違がある。そこで、情報処理装置１００は、ユーザＵの状態を判断する場合に用いるデータのパターンや閾値をユーザＵ毎に記憶し、識別部１１４により識別された記録者に応じてデータのパターンや閾値を異ならせてもよい。

（変形例３）
上述した実施形態において、出力処理部１１６は、本発明に係る出力処理手段の一例として機能するものである。しかしながら、本発明に係る出力処理手段は、判断手段（例えば、判断部１１５）による判断結果に基づく出力処理を実行するものであれば足り、当該出力処理がデータを記録する処理である必要はない。例えば、本発明は、判断手段による判断結果を示すデータ（例えば、状態データ）を外部装置に出力する手段として出力処理手段を構成し、かかる外部装置がデータの記録や検索に関する処理を行う態様であってもよい。

（変形例４）
本発明において、第１センサ及び第２センサは、これらが一体に構成されていなくてもよい。例えば、第１センサは、前腕部ではなく、手の平や手の甲に装着されてもよいし、第２センサは、ユーザの胴体に装着されてもよい。第２センサの位置は、ユーザの体や衣服の一部であればどのような位置であってもよいが（ただし、正面側であることが望ましい）、第１センサの位置は、持ち手の状態を検出可能な位置である必要がある。なお、持ち手の傾きに相当する角度として検出される角度は、第１センサが装着される位置に応じて異なり得る。よって、持ち手の傾きについて設定される閾値θ_thは、第１センサが装着される位置に応じて決められることが望ましい。

また、第１センサは、（ユーザ自身ではなく）筆記具に対して着脱する構成であってもよい。さらに、第２センサは、記録媒体（ホワイトボード等）に対して着脱する構成であってもよい。この場合、第２センサは、ユーザが近づいてきたことを検知するセンサであればよい。いずれの場合においても、第１センサや第２センサは、筆記具や記録媒体と独立に（すなわち分離可能に）設けられることが望ましい。なぜならば、第１センサや第２センサが筆記具や記録媒体そのものに分離できない状態で備わっていると、本発明を実施するために使用可能な筆記具や記録媒体が限定されるからである。これに対し、第１センサや第２センサが筆記具や記録媒体と独立に設けられる構成であると、使用可能な筆記具や記録媒体が制限されず、また、複数の筆記具を持ち替えて使用する場合においても、センサ自体は筆記具の数によらず１つで十分である。

さらに、第１センサ及び第２センサは、ユーザ毎に設けられずに、１つのセンサをユーザが付け替えることで共用されるものであってもよい。この場合、第１センサ及び第２センサは、上述した実施形態のセンサユニット２００のように、一体化されていることが望ましい。また、上述した実施形態において、複数のユーザが１つのセンサユニット２００を共用する場合には、センサユニット２００を使用しているユーザを指定するための手段（ボタン等）を当該ユニットに設けるか、あるいは、情報処理装置１００の操作者がユーザを確認し、操作部１６０を介して使用中のユーザが誰であるかを入力すればよい。なお、本発明に係る識別手段は、このようにして操作部１６０から供給される操作データに基づいてユーザを識別するものであってもよい。

（変形例５）
本発明に係る動作検出装置は、第１センサ及び第２センサの少なくともいずれかと一体に設けられる構成であってもよい。すなわち、本発明に係る動作検出装置は、上述した実施形態におけるセンサユニット２００のようなユーザＵに装着される装置に内蔵される構成であってもよい。上述した実施形態をこのように変形した場合、出力処理手段は、例えば、情報処理装置１００に状態データを出力する処理を実行する手段として機能する。

（変形例６）
本発明に係る記録媒体は、ユーザにより記録された情報（すなわち、筆記の軌跡）を記憶し、これを情報処理装置等の外部装置に送信する構成を有していてもよい。かかる記録媒体を用いる場合には、上述したカメラ３００に相当する構成を記録媒体自体が備えるため、かかる構成を別途設ける必要がなくなる。かかる記録媒体としては、例えば、記録面を光学的に読み取る機能を有するホワイトボードや、記録面に設けられたタッチスクリーン（タッチパネル）によって記録者の筆跡を認識する機能を有する表示装置（いわゆるタブレットＰＣや電子ペーパ）がこれに該当し得る。

（変形例７）
本発明において、記録媒体を撮影する撮影手段や、音声を収音する収音手段は、必須の構成要件ではない。一方、かかる撮影手段や収音手段は、上述したように、携帯電話機等の携帯端末によって実現されてもよい。携帯端末が撮影手段や収音手段として機能する場合には、各ユーザが個別にこれを所持し、自身に必要な画像や音声のみが記録されるようにしてもよい。かかる場合には、撮影や収音の開始・終了は、ユーザの操作に応じて行われてもよい。

（変形例８）
本発明は、動作検出装置やこれを備える情報処理装置、さらには情報処理装置とデータベースとを備える記録システムやその記録方法として実施され得るものである。なお、本発明に係るデータベースに相当する記憶手段は、情報処理装置に備わっていてもよいし、ネットワークを介することなく情報処理装置に接続されていてもよい。また、本発明は、コンピュータを動作検出装置として機能させるためのプログラムや、かかるプログラムを記録した記録媒体の形態でも提供され得る。また、本発明に係るプログラムは、インターネット等の通信手段を介してコンピュータにダウンロードされてもよい。

１０…記録システム、１００…情報処理装置、１１０…制御部、１２０…記憶部、１３０…第１通信部、１４０…第２通信部、１５０…第３通信部、１６０…操作部、１７０…表示部、１８０…音声再生部、２００…センサユニット、２１０…加速度センサ、２２０…距離センサ、２３０…脈拍センサ、２４０…発汗センサ、２５０…送信部、３００…カメラ、４００…マイクロホン、５００…データベース、６００…ネットワーク、９１０…ホワイトボード、９２０…ノート、９３０…筆記具、Ｕ、Ｕａ、Ｕｂ、Ｕｃ…ユーザ

Claims (8)

1. 記録者が情報の記録に用いる筆記具と独立に設けられた第１センサから出力される第１データであって、前記記録者の前記筆記具の持ち手の状態に対応する前記第１データに応じて、前記記録者の前記筆記具の持ち手の状態を検出する第１検出手段と、
   前記記録者が情報の記録に用いる記録媒体と独立に設けられた第２センサから出力される第２データに応じて、前記記録媒体と前記記録者の距離を検出する第２検出手段と、
   前記記録者の状態を判断する判断手段であって、前記第１検出手段により検出された前記記録者の持ち手の状態があらかじめ決められた状態を示し、かつ、前記第２検出手段により検出された前記記録媒体と前記記録者の距離があらかじめ決められた閾値以下である場合に、前記記録者の状態を、前記記録媒体に情報を記録する状態であると判断する判断手段と、
   前記判断手段による前記記録者の状態の判断結果に応じて出力データを作成する出力データ作成手段と
   を備えることを特徴とする動作検出装置。
2. 前記第１検出手段は、前記第１データに基づき前記持ち手の鉛直方向に対する傾きを検出し、
   前記判断手段は、前記第１検出手段により検出された前記傾きがある角度以下であり、かつ、前記第２検出手段により検出された距離が前記閾値以下である場合に、前記記録者が前記記録媒体に情報を記録する状態であると判断する
   ことを特徴とする請求項１に記載の動作検出装置。
3. 前記記録媒体は、第１記録媒体と第２記録媒体とを含み、
   前記判断手段は、
   前記第１検出手段により検出された前記傾きがある角度以下であり、かつ、前記第２検出手段により検出された距離が前記閾値以下である場合に、前記記録者が前記第１記録媒体に情報を記録する状態であると判断し、
   前記第１検出手段により検出された前記傾きが前記ある角度より大きく、かつ、前記第２検出手段により検出された距離が前記閾値以下である場合に、前記記録者が前記第２記録媒体に情報を記録する状態であると判断する
   ことを特徴とする請求項２に記載の動作検出装置。
4. 前記第１検出手段は、前記傾きを検出するとともに、前記記録者による筆記動作に対応する第１データのパターンに基づき筆記動作を検出し、
   前記判断手段は、
   前記筆記動作が検出され、かつ、検出された前記傾きがある角度以下である場合において、前記第２検出手段により検出された距離が前記閾値以下であるとき、前記記録者が前記第１記録媒体に情報を記録する状態であると判断する
   ことを特徴とする請求項３に記載の動作検出装置。
5. 前記第１検出手段及び前記第２検出手段の検出対象である前記記録者を識別する識別手段を備え、
   前記判断手段は、前記識別手段により識別された記録者に応じて、前記閾値を異ならせる
   ことを特徴とする請求項１ないし４のいずれかに記載の動作検出装置。
6. 前記第１検出手段及び前記第２検出手段の検出対象である前記記録者を識別する識別手段を備え、
   前記判断手段は、前記識別手段により識別された記録者に応じて、前記パターンを異ならせる
   ことを特徴とする請求項４に記載の動作検出装置。
7. 請求項１に記載の第１センサ及び第２センサと、
   請求項１ないし６のいずれかに記載の動作検出装置と、
   前記記録者により前記記録媒体に記録された情報を取得する情報取得手段と、
   前記出力データ作成手段により作成された出力データに基づく情報を記憶する記憶手段と
   を備え、
   前記出力データ作成手段は、前記判断手段による前記記録者の状態の判断結果に応じて、前記記録者があらかじめ定めた状態である場合に限り、前記情報取得手段により取得された情報と前記判断結果とに基づく前記出力データを作成し、
   前記記憶手段は、前記出力データ作成手段により作成された前記出力データに基づき、前記情報取得手段により取得された情報を前記判断手段による判断結果と対応付けて記憶する
   ことを特徴とする記録システム。
8. コンピュータに、
   記録者が情報の記録に用いる筆記具と独立に設けられた第１センサから出力される第１データであって、前記記録者の前記筆記具の持ち手の状態に対応する前記第１データに応じて、前記記録者の前記筆記具の持ち手の状態を検出する第１検出ステップと、
   前記記録者が情報の記録に用いる記録媒体と独立に設けられた第２センサから出力される第２データに応じて、前記記録媒体と前記記録者の距離を検出する第２検出ステップと、
   前記記録者の状態を判断するステップであって、前記第１検出ステップにおいて検出された前記記録者の持ち手の状態があらかじめ決められた状態を示し、かつ、前記第２検出ステップにおいて検出された前記記録媒体と前記記録者の距離があらかじめ決められた閾値以下である場合に、前記記録者の状態を、前記記録媒体に情報を記録する状態であると判断する判断ステップと、
   前記判断ステップにおける前記記録者の状態の判断結果に応じて出力データを作成する出力データ作成ステップと
   を実行させるためのプログラム。

Images