JP5907549B2 - 対面検出方式 - Google Patents

対面検出方式 Download PDF

Info

Publication number
JP5907549B2
JP5907549B2 JP2011151651A JP2011151651A JP5907549B2 JP 5907549 B2 JP5907549 B2 JP 5907549B2 JP 2011151651 A JP2011151651 A JP 2011151651A JP 2011151651 A JP2011151651 A JP 2011151651A JP 5907549 B2 JP5907549 B2 JP 5907549B2
Authority
JP
Japan
Prior art keywords
face
determination
sensor terminal
organization
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011151651A
Other languages
English (en)
Other versions
JP2013020338A (ja
Inventor
義博 脇坂
義博 脇坂
教夫 大久保
教夫 大久保
幹 早川
幹 早川
森脇 紀彦
紀彦 森脇
矢野 和男
和男 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011151651A priority Critical patent/JP5907549B2/ja
Priority to PCT/JP2012/066938 priority patent/WO2013008673A1/ja
Publication of JP2013020338A publication Critical patent/JP2013020338A/ja
Application granted granted Critical
Publication of JP5907549B2 publication Critical patent/JP5907549B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、各ユーザがセンサ端末を着用して、各センサ端末が互いに通信を行うことにより、センサ端末着用者同士の対面を検出し、組織のコミュニケーションの実態を定量的に検出するシステムに関し、特にセンサ端末着用同士の対面の検出以外に、センサ端末非着用の相手との対面も検出可能とする技術に関する。
あらゆる組織において生産性の向上は必須の課題となっており、職場環境の改善及び業務の効率化のために多くの試行錯誤がなされている。工場等の組立又は搬送を業務とする組織に限定した場合には、部品又は製品の移動経路を追跡することでそのプロセスや成果を客観的に分析することができる。一方、知識労働者から成る組織に関しては、モノではなく電子的な文書やIT機器の使用ログを用いることによって、業務プロセスを可視化するものが既に知られている。
そもそも組織とは複数の人間が力を合わせることによって、個人ではできない大掛かりな業務を達成するために形成されたものである。よって、どのような組織においても2人又はそれ以上の人物間での意思決定及び合意のためには必ずコミュニケーションが行われている。コミュニケーションの手段としては、電話やファックス、電子メールなどが挙げられるが、最も頻繁に行われ、かつ最も強い影響力を持つものはフェイス・トゥ・フェイス(対面)による対面コミュニケーションである。対面コミュニケーションでは、身振りや視線、表情、声の調子など人間の身体を最大限に生かすことができる。このため、日常の挨拶による好意的な関係の形成、複雑に利益の絡む交渉の場での歩み寄りなど、組織において欠かせないコミュニケーションの多くが、対面コミュニケーションによって当然のように実現されているのである。
また、対面コミュニケーションでは、関わる2人またはそれ以上の人間がリアルタイムで会話のリズムや場の雰囲気を生み出す。そのため、予測できないところから感情の共鳴やアイデアの創発が起こることがある。知識労働が中心である組織の成果において、このようにして生まれた創造的なアイデアによってもたらされている部分は大きい。その重要性に気づき、座席のフリーアドレス制や横断プロジェクトの編成などの試みを導入する組織は近年増加する傾向にある。これらは、どちらも多様なバックグラウンドを持つ人同士が接する機会を用意することで、新しい価値が創発することを期待したものである。
従来の方法では、いずれも作業を主体として分析をしているが、知識労働については人を主体としなくてはその本質をつかむことはできない。なぜなら、作業別の手順や時間のみを切り出し効率化を目指すだけでは最大限の結果を引き出すことはできないからである。よって知識労働において良い結果を引き出すには、個人個人の特性に焦点を当てる、特にワークスタイルを知ることが必要となってくる。ワークスタイルとは、いつ、どこで、何を行うかという個人の業務の進め方のパターンである。ワークスタイルは、外的要因である業務の内容と内的要因である本人の性格の両者が反映されたものであり、知識労働のプロフェッショナルはそれぞれのワークスタイルを確立している。議論しながらアイデアを得る人もいれば、一人になってじっくり考える人もいる。また外に出て歩き回る人、机の前に座って雑誌をめくる人もおり、そのスタイルは多種多様である。知識労働はとりわけ精神的なものである分、最も効果を上げるための方法は、個人の資質、担っている役割などに依存してそれぞれ異なるものになる。しかし従来の作業を主体とした分析方法では直接的に業務の成果物に反映されていない事柄、例えば読書や散歩、雑談などが与える影響については全く考慮されることがない。よって人を主体とし、メンバ一人一人の実際の行動を観察することによってワークスタイルを捉えることが必要である。そして個人のワークスタイルを互いに把握し尊重し合うことで、組織全体としてのワークスタイルが確立され、生産性の向上に結びつくと考えられる。
このような目的のため、社員がセンサ端末を着用し、センサ端末同士が通信をすることによって、センサ端末を着用した社員同士の対面を検出するシステムが知られている。このシステムにおいては、社員がどのメンバとどのように対面コミュニケーションを行なっているかを定量的に取得することが可能であり、組織におけるコミュニケーションの実態をとらえることができる。
特許文献1には、ブルートゥース(登録商標)等の近距離通信可能な装置と長距離通信インターフェースとを備えた携帯電話等の携帯型電子機器を各人が所持していて、特定の人同士の接近が検出されると通知を発する技術が開示される。ある二人が所持している携帯型電子機器同士が互いに近距離通信可能な距離にまで近づくと、それらの機器同士で固有のIDコードが近距離通信によってやりとりされ、その結果が長距離通信インターフェースを介してサーバに送られる。これらの二人に関して、所定の関係にあることをサーバが検出すると、当該の二人が近距離に位置することを知らせる通知が両方または一方の人に発せられる。
非特許文献1には、RFIDを用い、また、無線センサ・ネットワーク技術を用いて遠隔データ集収をし、それによりリアルタイムな状況モニタリングをする技術について説明されている。空間的に配置された多くのRFIDや、ユーザが身に付けるRFIDには、それぞれIDが付与されており、RFIDリーダがそのRFIDを読取ることによって、その接近を検出し、例えば公園での子供の消息の追跡を行うことができる。
米国特許出願公開第2005/0250552号明細書 Chao Chen, "Design of a Child Localization System on RFID and Wireless Sensor Networks," Journal of Sensors, Volume 2010, Article ID 450392, 8 pages
組織における知識創造においては、上述のように様々な人とのコミュニケーションがある。そのなかでも、内部者と外部者とのコミュニケーションは大事な位置を占めており、その検出およびその識別はきわめて重要である。外部者とのコミュニケーションからは新しい知識・知見が取得され、内部者とのコミュニケーションはメンバ間の意識共有・認識深化などの機能を果たす。よって、内部者・外部者とのコミュニケーションの識別・網羅的取得により、組織における「知の流れ」のプロセスを定量化し、組織の創造性向上に寄与することが可能となる。
しかし、上述したシステムや特許文献1に開示されるものにおいては、各人が携帯型電子機器を所持している必要がある。したがって、一方が携帯型電子機器を所持していても、他方がそれを所持していないと、その機能を発揮することができない。そのため、この方式では、組織におけるコミュニケーションの実態を必ずしも十分網羅的に検出可能であるとは言えない。
本発明は上記に鑑みてなされたものであり、相手がセンサ端末を着用していない場合でも、自身が着用しているセンサ端末によって対面コミュニケーションを検出可能な技術を提供することを目的とする。
本発明の代表的な一例を示せば以下の通りである。すなわち、組織に属する人員である組織内人員の間の物理的対面を検出するために前記組織内人員のそれぞれに装着されるセンサ端末装置が、
他のセンサ端末装置との通信の成否に基づいて前記組織内人員の間の物理的対面の有無を判定する対面判定部と、
音声を検出して音声データを生成する音声検出部と、
前記音声検出部で生成された前記音声データを解析し、発話の有無を判定する発話判定部と、
前記対面判定部による判定結果と、前記発話判定部による判定結果とに基づき、前記組織内人員との対面、前記センサ端末装置を装着していない組織外人員との対面、および非対面を含む行動のうち、いずれかの行動が行われたことを判定する行動判定部と、を備え、
前記行動判定部は、
前記物理的対面が有ると前記対面判定部が判定したときに、前記組織内人員との対面が有ると判定し、
前記物理的対面が無いと前記対面判定部が判定し、かつ、発話が有ると前記発話判定部が判定したときに、前記センサ端末装置を装着していない組織外人員との対面が有ると判定し、
前記物理的対面が無いと前記対面判定部が判定し、かつ、発話が無いと前記発話判定部が判定したときに、非対面であると判定する。
本発明によれば、センサ端末装置を装着した組織内人員間の対面と、センサ端末装置を装着していない組織外人員との対面状態と、誰とも対面していない非対面の状態のうち、いずれかの行動が行われたことが判定可能となる。
本発明が適用される業務管理支援システムの全体構成を説明するブロック図である。 図1に示されるシステム中、第1の実施の形態で重要な働きをする部分のみを示すブロック図である。 対面判定処理の手順例を説明するフローチャートである。 音声データにFFT処理をし、人の声に由来する基本周波数を検出する処理をする際の手順例を説明するフローチャートである。 第1の実施の形態において、センサ端末によって発話判定および行動判定の処理が行われる様子を概念的に示す図である。 図1に示されるシステム中、第2の実施の形態で重要な働きをする部分のみを示すブロック図である。 第2の実施の形態において、センサ端末によって発話判定および行動判定の処理が行われる様子を概念的に示す図である。 図1に示されるシステム中、第3の実施の形態で重要な働きをする部分のみを示すブロック図である。 第3の実施の形態において、センサ端末で取得され、処理されて送信される音声データをもとにアプリケーションサーバで発話判定および行動判定の処理を行う様子を概念的に示す図である。 図1に示されるシステム中、第4の実施の形態で重要な働きをする部分のみを示すブロック図である。 第4の実施の形態において、センサ端末で取得され、処理されて送信される音声データをもとにアプリケーションサーバで発話判定および行動判定の処理を行う様子を概念的に示す図である。 図1に示されるシステム中、第5の実施の形態で重要な働きをする部分のみを示すブロック図である。 第5の実施の形態において、センサ端末によって発話判定および行動判定の処理が行われる様子を概念的に示す図である。 図1に示されるシステム中、第6の実施の形態で重要な働きをする部分のみを示すブロック図である。 第6の実施の形態において、センサ端末で取得され、処理されて送信される音声データをもとにアプリケーションサーバで発話判定および行動判定の処理を行う様子を概念的に示す図である。 業務管理支援システムを構成する要素間で連携して行われる処理シーケンスの概略を説明する図であり、第1、第2、および第5の実施の形態で行われる処理シーケンスを説明する図である。 業務管理支援システムを構成する要素間で連携して行われる処理シーケンスの概略を説明する図であり、第3、第4、および第6の実施の形態で行われる処理シーケンスを説明する図である。
− システムの全体構成 −
図1は、本発明が適用される業務管理支援システムの全体構成を説明する図である。業務管理支援システムは、アプリケーションサーバ(AS)と、クライアント(CL)と、業務情報管理サーバ(GS)と、センサネットサーバ(SS)と、基地局(GW)と、センサ端末(TR)とを備える。これらの構成要素のうち、センサ端末(TR)を除く構成要素は、電子計算機とその電子計算機で実行されるソフトウェアとによって実現されてもよいし、専用のハードウェアによって実現されてもよい。また、業務管理支援システムの設置される組織の規模に応じて、複数の構成要素が1台の電子計算機等で実現されてもよい。逆に、複数の電子計算機等によって一つの構成要素が実現されてもよい。また、組織の規模に応じて基地局(GW)、クライアント(CL)を複数設けることも可能である。図1においては三つの基地局(GW、GW2、GW3)と二つのクライアント(CL、CL2)が備えられる例が示されている。以下では個別に参照する必要のない限り、基地局(GW)、クライアント(CL)と称する。
アプリケーションサーバ(AS)、クライアント(CL)、センサネットサーバ(SS)、業務管理サーバ(GS)、基地局(GW)は、有線または無線のネットワーク(NW)を介して接続される。
センサ端末(TR)は、組織に属する人員、すなわち組織内人員のそれぞれが一つずつ装着するものであり、したがって複数のセンサ端末(TR)が業務管理支援システムには含まれるが、図1では一つだけ示されている。以下では、センサ端末(TR)を装着した組織内人員をユーザと称する。
− センサ端末(TR) −
センサ端末(TR)は、電源を内蔵していて、その電源によって動作可能であるので、センサ端末(TR)を装着したユーザは組織内を自由に移動可能である。電源としては、一次電池や二次電池、キャパシタ等を用いることが可能である。また、電源として太陽電池パネルやワイヤレス給電システムにより受電可能な構成を備えていても良い。
センサ端末(TR)は、センシング部(TRSE)と、送信・受信部(TRSR)と、入出力部(TRIO)と、制御部(TRCO)と、記録部(TRME)とを備える。
センシング部(TRSE)は、センサ端末(TR)の状態を示す物理量をセンシングする。具体的には、センシング部(TRSE)は、種々の物理量をセンシングする一つ以上のセンサを備える。例えば、赤外線送信器(TRIS)、赤外線受信器(TRIR)、加速度センサ(TRAC)、照度センサ(TRIL)、温度センサ(TRTE)、音声センサ(TRMI)を備える。
赤外線送信器(TRIS)は、赤外光信号を所定のタイミング(時間間隔)で出力する。赤外線受信器(TRIR)もまた、所定のタイミング(時間間隔)で赤外光を検出する。あるユーザが装着したセンサ端末(TR)の赤外線送信器(TRIS)から発せられた赤外光信号を、他のユーザが装着したセンサ端末(TR)の赤外線受信器(TRIR)が検出すると、両センサ端末(TR)の間で通信が行われ、通信に成功すると両センサ端末(TR)を装着したユーザ間の対面が検出される。このとき、二人のユーザが単に接近しただけでなく、互いに向き合う位置関係にあることをセンサ端末(TR)が検出可能に構成されることが、対面の検出を高精度に行う上で望ましい。すなわち、単に背中合わせで着席しただけであったり、隣り合う席に座っただけであったりした場合と、実際に向き合ってコミュニケーションが図られた場合とを弁別可能とすることが望ましい。
上述のような弁別を可能とするための一つの方法として、センサ端末(TR)は、人物の正面部に装着される形態のものとすることができる。例えば、センサ端末(TR)を名札型にし、紐によって人物の首からぶら下げるものとすることができる。あるいは、クリップ等によって胸などに装着するものであってもよい。着帽や保護帽の着用が必要な環境においては、帽子やヘルメット等の正面にセンサ端末(TR)を固定ないしは埋め込んだものとすることができる。センサ端末(TR)が人物の正面部に装着されていると、それらのセンサ端末(TR)を装着した人物が対面する、すなわち正面を向き合ったときに、センサ端末(TR)もまた他方のセンサ端末(TR)と向き合う。
図1において、赤外線受信器(TRIR)は、TRIR1からTRIR4までの四つを備えるものとして示されている。これらの複数の赤外線受信器(TRIR1〜TRIR4)は、センサ端末(TR)を装着するユーザ同士が完全に正面を向き合う位置関係になくても、対面相手のセンサ端末(TR)の赤外線送信器(TRIS)から発せられる赤外光をいずれかの赤外線受信器(TRIR1〜TRIR4)で受信することができるように配置されている。
また、組織内の要所には赤外線送信器(TRIS)が設置されており、赤外線受信器(TRIR)は赤外線送信器(TRIS)から発せられる赤外線を検出することができる。赤外線送信器(TRIS)のそれぞれにはIDが一意に割り振られており、赤外線送信器(TRIS)はそのID情報を含む赤外光信号を所定の時間間隔で出力する。センサ端末(TR)の赤外線受信器(TRIR)がこの赤外光信号を受信したときに、受信時刻と受信したID情報とを記録することにより、センサ端末(TR)がいつ、どのあたりに位置していたかを特定することが可能となる。つまり、赤外線送信機(TRIS)は、ビーコンとして機能する。
なお、本明細書ではセンサ端末(TR)が赤外光を発光、受光して対面を検出する例について説明するが、ブルートゥース(登録商標)やその他の近距離無線通信技術、あるいは超音波等のトランスデューサとセンサとを用いるものであってもよい。その場合も、指向性を狭めたり、センサ端末(TR)の方位を検出するセンサからの信号を利用したりする等の工夫をして、向かい合うことを伴わない単なる接近と、実際の対面とを弁別可能に構成することが望ましい。
加速度センサ(TRAC)は、X、Y及びZ軸方向の加速度をセンシングする。後述するように、センシングされた加速度の情報は、センサ端末(TR)を装着した人物の動作の激しさ(活発度)や行動(例えば、歩行又は静止等)を判断するために使用される。
照度センサ(TRIL)、温度センサ(TRTE)はそれぞれ、照度、温度をセンシングする。これらの照度センサ(TRIL)、温度センサ(TRTE)でセンシングして得られたセンシングデータは、例えば、センサ端末(TR)が置かれている環境の変化等を判断するために使用される。照度センサ(TRIL)については、センサ端末(TR)の正面側と裏面側とに設けてセンシングデータを比較することにより、センサ端末(TR)が裏返しで装着されているか否かを判定することができる。
音声センサ(TRMI)は、音声をセンシングする。センシングして得られた音声データは、例えば、センサ端末(TR)を装着した人物が会話しているか否かを判別するために使用することができる。
センシング部(TRSE)としては、上述したセンサのうち、任意の一つ以上を備えてもよいし、上述した以外の種類のセンサを備えてもよい。さらに、図1に示される外部入力(TROU)には、外付け式の外部センサ(EXTS)を接続可能に構成され、これにより新たなセンサを追加可能となる。また、この外部入力(TROU)を介して、他の装置から位置情報、温度情報、湿度情報等、様々な情報を無線または有線で取得可能に構成されていてもよい。
送信・受信部(TRSR)は、基地局(GW)との間でデータを送信及び受信する。送信・受信部(TRSR)と基地局(GW)との接続形態は有線および無線のうち、いずれかであってもよいし、両方であってもよい。例えば、ユーザが自席に戻ってデスクワークを開始する際、あるいは一日の仕事を終えて帰宅する際に、ユーザがセンサ端末(TR)をクレードル等に装着したとき、送信・受信部(TRSR)と基地局(GW)との間の有線接続を確立することが可能となる。その場合、送信・受信部(TRSR)は、例えば基地局(GW)から送られてきた制御コマンド(データ転送要求コマンド)に応答し、上述した各センサにてセンシングして得られた計測結果(センシングデータ)を、センサ端末(TR)を特定可能なID情報とともに基地局(GW)に送信する。
送信・受信部(TRSR)と基地局(GW)との間が無線で接続される場合、センシングデータを定期的に送信してもよいし、各センサでセンシングが行われた時にセンシングデータを随時送信してもよい。送信・受信部(TRSR)はまた、センシングデータを送信するだけでなく、基地局(GW)から送られる制御コマンドを受信してもよい。受信した制御コマンドに従って、センサ端末(TR)に関する制御情報の変更が行われる。
入出力部(TRIO)は、センサ端末(TR)とユーザとの間のインターフェースとして機能する。例えば、入出力部(TRIO)は、ボタン等の入力装置と、液晶ディスプレイ等の出力装置とを備え、ユーザが所望する情報の取得及びセンシングデータの表示を行うことが可能に構成される。出力装置としては、LEDインジケータ、スピーカ、ブザー、振動モータ等を備えていてもよい。入力装置としては、液晶ディスプレイ等の表示部上に設けられるタッチパネル等を用いることも可能である。
送信・受信部(TRSR)を介して基地局(GW)から制御コマンドを受信し、その制御コマンドに基づいて入出力部(TRIO)の出力装置への出力(表示、発光、発音、振動発生等)が実行される。また、入出力部(TRIO)の入力装置をユーザが操作した場合に、送信・受信部(TRSR)は、入力装置をユーザが操作することによって選択された事項を、制御コマンドとして基地局(GW)へ送信する。
制御部(TRCO)は、CPU(図示省略)を備える。CPUが記録部(TRME)に格納されているプログラムを実行することによって、センサ情報の取得、取得したセンサ情報の基地局(GW)への出力等の処理が行われる。また、後で様々な実施の形態で説明するように、取得したセンサ情報に基づく様々な判定、あるは取得したセンサ情報の解析や、解析結果に基づく判定等を行うことも可能に構成される。
記録部(TRME)は、ハードディスクや内蔵メモリ等を備える。記録部(TRME)はまた、SD(登録商標)メモリカード等の外部記録装置を装着可能に構成されていてもよい。記録部(TRME)には、プログラム、センシングデータ、そして以下に説明する情報等が格納される。
データ形式(TRDFI)には、各センサから取得したデータ及び時刻情報を送信する際のフォーマットを指定する情報が記録されている。
バッテリ残量(TRBA)には、センサ端末(TR)の電源の残量が記録される。時計(TRTI)には、センサ端末(TR)が内蔵するタイマで計測された現在の時刻が格納される。現在の時刻は、定期的に基地局(GW)から送信される情報に基づいて修正される。基地局(GW)から出力される時刻の情報に基づき、センサ端末(TR)の時刻を定期的に修正することによって、複数のセンサ端末(TR)間における時刻を同期可能となる。これによって、異なるセンサ端末(TR)から得られたデータを時刻(タイムスタンプ)に基づいて整列させ、照らし合わせることが可能になる。コミュニケーションは必ず複数のメンバによって行われるため、双方の視点からデータを分析するためには時刻を同期させることは必須となる。なお、時刻修正は基地局(GW)をトリガとするのではなく、他の装置、例えばセンサネットサーバ(SS)がトリガとなって基地局(GW)を介してセンサ端末(TR)に時刻を送信してもよい。
端末情報(TRTR)には、センサ端末(TR)を一意に識別するために使用されるセンサ端末固有の情報が記録される。この情報は、固有ID、端末IDとも称される。
− 基地局 −
基地局(GW)は、組織を適宜分割して形成されるエリアごとに設置される。図1には、基地局(GW)の他に、基地局2(GW2)および基地局3(GW3)が図示されている。これらの基地局(GW2、GW3)に関する説明は基地局(GW)と同様であるため以降省略する。なお、同様の基地局が任意の数存在する場合にも、本発明を適用することができる。いずれの基地局も、無線を使用した場合は、無線の到達可能圏内に存在する0から複数個のセンサ端末(TR)とコネクションを確立し、データのやり取りを行う。つまり、コネクションを確立したセンサ端末(TR)から無線または有線によって送信されてくるセンシングデータを基地局(GW)は受信する。基地局(GW)は、受信したセンシングデータを、ネットワーク(NW)を介してセンサネットサーバ(SS)へ送信する。
基地局(GW)は、送信・受信部(GWSR)、制御部(GWCO)、入出力部(GWIO)、および記録部(GWME)を備える。送信・受信部(GWSR)は、センサ端末(TR)との間でデータを送信及び受信する。例えば、送信・受信部(GWSR)は、センサ端末(TR)に対して制御コマンドを送信してもよいし、センシングデータをセンサ端末(TR)から定期的に受信してもよい。また、センサ端末(TR)がセンシングデータを取得した時点で、そのセンシングデータが直ちにセンサ端末(TR)から送信・受信部(GWSR)に送信されてもよい。さらに、送信・受信部(GWSR)は、センサ端末(TR)から送られてきた制御コマンドに従って、センサネットサーバ(SS)へ要求を送信し、その要求に応じてセンサネットサーバ(SS)から出力されたデータをセンサ端末(TR)へ送信してもよい。また、送信・受信部(GWSR)は、入出力部(GWIO)に備えられる入力装置によって選択された事項を、制御コマンドとしてセンサ端末(TR)やセンサネットサーバ(SS)に送信してもよい。逆に、送信・受信部(GWSR)は、センサネットサーバ(SS)から送られてきた制御コマンドを受信してもよい。受信した制御コマンドに従って出力装置の表示が変更される。
制御部(GWCO)は、CPU(図示省略)を備える。CPUが記録部(GWME)に格納されているプログラムを実行することによって、センサ端末(TR)からのセンサ情報の取得、取得したセンサ情報をセンサネットサーバ(SS)へ送信する処理等が行われる。
入出力部(GWIO)は、ボタン又はキーボード等の入力装置と、液晶ディスプレイ等の出力装置とを備え、対象となるエリア内の状況等の情報やセンシングデータを表示する。入出力部(GWIO)として、入力装置と出力装置を統合したものであるタッチパネルが用いられてもよい。
記録部(GWME)は、ハードディスクや内蔵メモリ等を備える。記録部(GWME)は、SDメモリカード等の外部記録装置を装着可能に構成されていてもよい。記録部(GWME)には、プログラムやセンシングデータが格納される。センシングデータには、赤外線送信器(TRIS)や他のセンサ端末(TR)から送信したIDを受信したデータを含む。さらに、記録部(GWME)は、データ形式(GWDFI)及び内部情報部(GWIN)を含む。
データ形式(GWDFI)は、センサ端末(TR)から受信したデータ及び時刻情報の記録形式に関する情報を含み、この形式に基づいてデータが各要素に分解される。
内部情報部(GWIN)は、基地局(GW)に関する情報を格納する。基地局(GW)に関する情報としては、例えば、時計(GWTI)(すなわち時刻情報)や、各基地局(GW)に対して一意に割り当てられる識別情報である基地局情報(GWBA)が含まれる。
− ネットワーク −
ネットワーク(NW)は、基地局(GW)、センサネットサーバ(SS)、アプリケーションサーバ(AS)及びクライアント(CL)を無線または有線の形態で相互に接続する。ネットワーク(NW)は、Local Area Network(LAN)、Wide Area Network(WAN)又はその他の任意のネットワークであってよい。
− センサネットサーバ −
センサネットサーバ(SS)は、基地局(GW)から送られてくるセンシングデータを受信して格納し、また、アプリケーションサーバ(AS)からの要求に基づいてセンシングデータを送信する。センサネットサーバ(SS)はまた、基地局(GW)からの制御コマンドを受信し、その制御コマンドに対応する情報や応答信号等を基地局(GW)に送信する。
センサネットサーバ(SS)は、データベース部(SSDB)と、制御部(SSCO)と、送信・受信部(SSSR)と、記録部(SSME)とを備える。
データベース部(SSDB)は、センサ端末(TR)から基地局(GW)を介して送られてきたセンシングデータを格納する。センシングデータには、赤外線送信器(TRIS)や他のセンサ端末(TR)から送信されたIDをセンサ端末(TR)の赤外線受信器(TRIR)で受信したデータを含む。さらに、データベース部(SSDB)は、基地局(GW)から出力される制御コマンドに対する応答手順等を格納する。データベース部(SSDB)は、後述する記録部(SSME)が備えるハードディスクドライブ(図示省略)等に格納されてもよい。
制御部(SSCO)は、CPU(図示省略)を備える。CPUが記録部(SSME)に格納されているプログラムを実行することによって、データベース部(SSDB)の管理、及び、アプリケーションサーバ(AS)及び基地局(GW)から送信される情報の処理を行う。より具体的には、基地局(GW)から受信したデータをデータベース部(SSDB)に格納する。
送信・受信部(SSSR)は、基地局(GW)及びアプリケーションサーバ(AS)との間でデータの送信および受信を行う。具体的には、送信・受信部(SSSR)は、基地局(TR)から送られてきたセンシングデータを受信し、アプリケーションサーバ(AS)へはアプリケーションサーバ(AS)から送信要求のあったセンシングデータを送信する。また、送信・受信部(SSSR)は、基地局(GW)から制御コマンドを受信した場合、データベース部(SSDB)から抽出した結果を基地局(GW)に送信する。
記録部(SSME)は、ハードディスクドライブや内蔵メモリ等を備える。記録部(SSME)はまた、SDメモリカード等の外部記録装置を装着可能に構成されていてもよい。記録部(SSME)には、プログラムや他の情報が格納される。先にも説明したように、記録部(SSME)内にデータベース部(SSDB)が設けられていてもよい。記録部(SSME)は、データ形式(SSDFI)の情報を含む。データ形式(SSDFI)は、基地局(GW)から送信されるセンシングデータや時刻情報を含むファイルの形式に関する情報を含み、この形式に基づいてデータが各要素に分解され、データベース部(SSDB)内に蓄積される際に適切な要素に振り分けられる。
なお、図ではセンサネットサーバ(SS)は、基地局(GW)と分離した構成で記述しているが、実際には基地局(GW)内に組み込まれていてもよい。
− 業務情報管理サーバ −
業務情報管理サーバ(GS)は、組織内人員それぞれの業務活動に関連する情報(以下ではこれを業務情報と称する)を集約し、処理するためのサーバである。業務情報としては、来客申請、会議室使用申し込み、電話記録等の情報を含む。来客申請には、組織内の誰が外部組織の誰の来訪を受けて何日の何時から何時まで打ち合わせ等を行うか、等の情報が含まれる。会議室使用申し込みには、会議室の部屋番号、何日の何時から何時まで使用するか、会議室の使用者、組織外の人員が会議に参加する場合には、その人の属する組織や名前等が含まれる。電話記録には、何日の何時から何時まで、組織内のどの電話機が用いられて何処との間で通話が行われていたかの情報が含まれる。相手先電話番号と組織名や人名との関係を特定可能なデータベースを構築することにより、通話相手の組織名や人名を特定することも可能となる。以上の情報から、組織内人員と、センサ端末(TR)を装着していない人員との対面活動を抽出することが可能となる。本明細書では、組織内の人員とセンサ端末(TR)を装着していない人員との対面活動を抽出可能な情報を対面活動情報と称する。
− アプリケーションサーバ −
アプリケーションサーバ(AS)は、業務情報管理サーバ(GS)から業務情報を受信し、センサネットサーバ(SS)からセンシングデータを受信する。アプリケーションサーバ(AS)は、受信したこれらの業務情報およびセンシングデータを処理及び解析し、クライアント(CL)を通してユーザ(US)に提示するためのコンテンツ情報を生成する。コンテンツ情報は、多くは画像であるが、動画やテキストデータ、音声データなど、他のデータまたはそれらのデータの組み合わせでもよい。
アプリケーションサーバ(AS)は、送信・受信部(ASSR)と、制御部(ASCO)と、記録部(ASME)とを備える。なお、アプリケーションサーバ(AS)は、他の装置、例えばクライアント(CL)やセンサネットサーバ(SS)と一体化されていてもよい。
送信・受信部(ASSR)は、ネットワーク(NW)を介してクライアント(CL)、センサネットサーバ(SS)、そして業務管理サーバ(GS)との間で情報を送受信する。
記録部(ASME)は、ハードディスクドライブや内蔵メモリ等を備える。記録部(ASME)はまた、SDメモリカード等の外部記録装置を装着可能に構成されていてもよい。記録部(ASME)には、業務管理サーバ(GS)から受信した業務情報や、センサネットサーバ(SS)から受信したセンシングデータを処理するためのプログラム、コンテンツ作成のためのプログラム、作成したコンテンツ、その他コンテンツ作成に関係するデータ等が格納される。
制御部(ASCO)はCPU(図示省略)を備える。CPUが記録部(ASME)に格納されているプログラムを実行することによって、センシングデータの処理および判定、コンテンツの生成等の処理が行われる。アプリケーションサーバ(AS)は、基地局(GW)やセンサネットサーバ(SS)と一体に構成されていてもよい。
− クライアント −
クライアント(CL)は、ユーザからの依頼に基づいてデータ処理要求をアプリケーションサーバ(AS)に送信し、処理結果をアプリケーションサーバ(AS)から受信し、受信した処理結果を画面に表示する。クライアント(CL)は、送信・受信部(CLSR)と、制御部(CLCO)と、記録部(CLME)と、入出力部(CLIO)とを備える。
入出力部(CLIO)は、マウス(CLIM)やキーボード(CLIK)などの入力装置と、ディスプレイ(CLWD)などの出力装置とを備え、対象となるエリアに属するユーザの行動や対面状況等の情報やセンシングデータ等を表示する。入出力部(CLIO)として、入力装置と出力装置を統合したものであるタッチパネルが用いられてもよい。またそれ以外の入出力装置を接続するために外部入出力(CLOU)が備えられていてもよい。
記録部(CLME)は、ハードディスクドライブや内蔵メモリ等を備える。記録部(CLME)はまた、SDメモリカード等の外部記録装置を装着可能に構成されていてもよい。記録部(CLME)には、プログラム、センシングデータ等が記録される。記録部(CLME)にはまた、アプリケーションサーバ(AS)から送られてきた表示コンテンツや、制御部(CLCO)による処理結果が格納される。記録部(CLME)にはさらに、初期条件設定(CLISI)に関する情報が保存される。この初期条件設定(CLISI)は、画面の大きさなどの条件が記録される。ユーザによって設定された内容もまた初期条件設定(CLISI)として記録される。
制御部(CLCO)は、記録部(CLME)に格納されているプログラムを実行するCPU(図示省略)を備える。制御部(CLCO)は、ユーザからの要求、すなわち入出力部(CLIO)のユーザ操作に基づいて、アプリケーションサーバ(AS)に対して情報を要求する。制御部(CLCO)は、アプリケーションサーバ(AS)から受信した処理結果、例えば表示コンテンツの表示サイズを調整し、入出力部(CLIO)のディスプレイ(CLWD)などの出力装置に表示することによってユーザに提供する。
送信・受信部(CLSR)は、ネットワーク(NW)を介してアプリケーションサーバ(AS)との間で情報を送受信する。
図1を参照して以上に説明した業務管理支援システムにおいて、センサ端末(TR)でセンシングして得られたセンシングデータ等をもとに、組織内人員であるユーザの、他の組織内人員や組織外の人員との対面や発話の有無等が判定され、それらの判定結果をもとにユーザの行動判定が行われる。以下ではユーザの行動判定が行われる際の複数の例について説明する。
− 第1の実施の形態 −
第1の実施の形態では、センサ端末(TR)のセンシング部(TRSE)中、赤外線送信器(TRIS)、赤外線受信器(TRIR)、音声センサ(TRMI)によるセンシング情報がユーザの行動判定に際して参照される。また、行動判定自体がセンサ端末(TR)内で行われ、その行動判定結果が他のセンシング情報とともにセンサ端末(TR)から基地局(GW)を経由してセンサネットサーバ(SS)に送信される。
図2は、図1における全体システム構成において、第1の実施の形態で重要な働きをする部分のみを示すブロック図である。図2に示される以外のシステム構成要素は図1に示されるものと同様である。図2において、図1を参照して説明したのと同様の構成要素には同じ符号を付し、その詳細な説明を省略する。
図2に示すセンサ端末(TR)の構成においては、制御部(TRCO)が対面判定(TRID)、FFT処理(TRFT)、発話判定(TRSD)、および行動判定(TRAD)の各処理部を有する点が特徴である。
対面判定(TRID)は、赤外線送信機(TRIS)および赤外線受信器(TRIR)によって、他のセンサ端末(TR)に備えられる赤外線送信機および赤外線受信器との間の通信を試みた結果に基づいて、当該センサ端末(TR)を装着するユーザと組織内の他のユーザとの対面の有無を判定する。
図3は、対面判定(TRID)の処理例を示すフローチャートである。S3−1では、赤外線送信器(TRIS)から赤外光が発せられる。この赤外光は輝度変調されていて、センサ端末(TR)のID情報が搬送される。つまり、S3−1で赤外線IDの送信が行われる。近くに別のセンサ端末(TR)が存在するとこの赤外光が別のセンサ端末(TR)に備えられる赤外線受信器(TRIR)によって検出される。以下では自端末(TR)と別のセンサ端末(TR)とを区別する際に、別のセンサ端末(TR)を相手端末(TR)と称する。S3−1で送信された赤外線IDを相手端末(TR)が受信すると、相手端末(TR)からは相手端末(TR)のIDを含む応答信号が出力される。この応答信号(赤外線ID)を受信する試みがS3−2で行われる。
以上に説明したS3−1、S3−2の処理が一定時間にわたって繰り返し行われ、S3−4では同一の赤外線ID(これは相手端末(TR)から出力された赤外線IDである)を所定の時間(T秒間)に検出した回数がΛ回以上であるか否かが判定される。S3−4の判定が肯定されるとS3−5に進み、当該のT秒間に対面が行われていた、すなわち当該のT秒間は対話区間であると判定される。一方、S3−4での判定が否定されるとS3−6に分岐し、当該のT秒間は非対面区間であると判定される。
S3−5またはS3−6の処理が終わると対面判定が完了し、リターンする。図3に例示する対面判定処理により、相手端末(TR)と単にすれ違っただけの場合と、実際に対面があった場合とを、より正確に弁別することが可能となる。
FFT処理(TRFT)は、音声センサ(TRMI)でセンシングして得られた音声信号に高速フーリエ変換の処理をして周波数スペクトルを導出する。例えば、音声センサ(TRMI)では8kHzのサンプリングレートでサンプリングが行われ、こうして得られた一連の音声信号を128ミリ秒のタイムウィンドウで区切り、得られた1024個(=8,000×0.128)の音声信号に対してFFTの処理が行われる。その結果、サンプリングした対象の音が純音ではない限り、複数のスペクトルピークが得られる。
発話判定(TRSD)は、FFT処理(TRFT)で処理して得られたスペクトルピークの組をもとに、人の声に特有のスペクトル成分の検出を試みる。その検出を繰り返し行い、人の声に特有のスペクトル成分が一定の時間(例えば数秒)以上にわたって検出されたとき、発話があったと判定することができる。
図4には、センシング(サンプリング)して得られた音声データをFFT処理し、人の声に特有のスペクトル成分の検出を試みるまでの処理の一例が示されている。
S4−1では、音声センサ(TRMI)による音声のサンプリングが行われ、音声データが記録部(TRME)に一時的に記録される。S4−2では、音声データがFFT処理される。その結果、スペクトルピークの組が抽出される。S4−2での処理がFFT処理(TRFT)での処理に相当する。
S4−2の処理で得られたスペクトルピークの組には、様々なスペクトルピークが含まれている。これらのうち、S4−3の処理によってエネルギー値(強度)の大きいものから上位の所定個数(X個)のスペクトルピークがその周波数値とともに抽出される。人の声は、センサ端末(TR)の近傍で発せられるので、音声センサ(TRMI)では、人の声が比較的大きな音として捉えられる。したがって、S4−3の処理により、センサ端末(TR)がユーザの衣服と擦れて生じる音や空調音等の影響を減じることが可能となる。
抽出されたスペクトルピークの周波数の単位をヘルツ[Hz]に変換する処理がS4−4で行われる。これらのスペクトルピークのうち、所定の周波数(Y[Hz])未満のスペクトルピークが破棄される。この処理により、人の声の周波数成分として想定される帯域のスペクトルピークのみが抽出されるので、後の処理に要する処理負荷を軽減するとともに人の声の検出精度を高めることが可能となる。このとき、所定の周波数を超すスペクトルピークを破棄するようにしてもよい。
以上の処理を経て残されたスペクトルピークに対してS4−6以降の処理が行われ、人の声に特有のスペクトルパターンの検出が試みられる。S4−6では、S4−5の処理の結果残されたスペクトルピークのうち、周波数が最も小さい(最も低い)スペクトルピークの周波数に2を乗じたものと、二番目に小さい(周波数が低い)スペクトルピークの周波数との差の絶対値が所定の判定基準[ε]よりも小さいか否かが判定される。つまり、最も低い周波数のスペクトルピークが人の声の基本周波数に対応するものと仮定して、その基本周波数の2倍近くのスペクトルピークがあるか否かがS4−6で判定される。S4−6での判定が肯定されると処理はS4−7に進み、否定されるとS4−9に進む。
S4−6での判定が肯定された場合の分岐先であるS4−7において、S4−5の処理の結果残されたスペクトルピークのうち、周波数が最も小さい(最も低い)スペクトルピークの周波数に3を乗じたものと、三番目に小さい(三番目に低い)スペクトルピークの周波数との差の絶対値が所定の判定基準[ε]よりも小さいか否かが判定される。つまり、最も低い周波数のスペクトルピークが人の声の基本周波数に対応するものと仮定して、その基本周波数の3倍近くのスペクトルピークがあるか否かがS4−7で判定される。S4−7での判定が肯定されると処理はS4−8に進み、否定されるとS4−9に進む。
S4−7での判定が肯定された場合の分岐先であるS4−8において、S4−5の処理の結果残されたスペクトルピークのうち、周波数が最も小さい(最も低い)スペクトルピークの周波数が基本周波数である、すなわち人の声特有のスペクトルパターンが含まれていると判定される。人の声には、最も低い基本周波数、その二倍および三倍の周波数が含まれるので、S4−6およびS4−7の判定処理により、人の声特有のスペクトルパターンを検出することが可能となる。S4−8の処理の後、基本周波数検出の処理を終えてリターンする。
S4−6およびS4−7での判定が否定された場合の分岐先であるS4−9において、S4−5の処理の結果残されたスペクトルピークのうち、周波数が二番目に小さい(二番目に低い)スペクトルピークの周波数に3を乗じたものと、三番目に小さい(三番目に低い)スペクトルピークの周波数との差の絶対値が所定の判定基準[ε]よりも小さいか否かが判定される。つまり、二番目に低い周波数のスペクトルピークが人の声の基本周波数に対応するものと仮定して、その基本周波数の2倍近くのスペクトルピークがあるか否かがS4−9で判定される。S4−9での判定が肯定されると処理はS4−10に進み、否定されるとS4−12に進む。
S4−9での判定が肯定された場合の分岐先であるS4−10において、S4−5の処理の結果残されたスペクトルピークのうち、周波数が二番目に小さい(二番目に低い)スペクトルピークの周波数に3を乗じたものと、四番目に小さい(四番目に低い)スペクトルピークの周波数との差の絶対値が所定の判定基準[ε]よりも小さいか否かが判定される。つまり、二番目に低い周波数のスペクトルピークが人の声の基本周波数に対応するものと仮定して、その基本周波数の3倍近くのスペクトルピークがあるか否かがS4−10で判定される。S4−10での判定が肯定されると処理はS4−11に進み、否定されるとS4−12に進む。
S4−10での判定が肯定された場合の分岐先であるS4−11において、S4−5の処理の結果残されたスペクトルピークのうち、周波数が二番目に小さい(二番目に低い)スペクトルピークの周波数が基本周波数である、すなわち人の声特有のスペクトルパターンが含まれていると判定される。S4−11の処理の後、基本周波数検出の処理を終えてリターンする。
S4−9およびS4−10での判定が否定された場合の分岐先であるS4−12において、S4−5の処理の結果残されたスペクトルピーク中には基本周波数はない、すなわち人の声特有のスペクトルパターンが含まれていないと判定される。S4−12の処理の後、基本周波数検出の処理を終えてリターンする。
以上の処理において、S4−6、S4−7、S4−9、およびS4−10の判定処理における判定基準[ε]は、全て同じ値が設定されていても、異なる値が設定されていてもよい。また、S4−9およびS4−10の判定が共に否定された場合、基本周波数検出の処理が打ち切られる例について説明したが、上述したのと同様の判定処理を繰り返し行うことも可能である。
ところで、S4−6の判定処理において、S4−5の処理の結果残されたスペクトルピークのうち、周波数が最も低いスペクトルピークの周波数に2を乗じたものと、二番目に周波数が低いスペクトルピークの周波数との差の絶対値が所定の判定基準[ε]よりも小さいか否かを判定する例について説明した。解析対象の音声が人の声であったものの、たまたま人の声に近い周波数帯域のノイズが混入していると、二番目に周波数の低いスペクトルピークが人の声由来のものではなく、ノイズ由来のものである可能性がある。その場合、S4−6の判定が否定されて人の声由来のスペクトルピークを検出できない事が考えられる。この点について説明すると、センサ端末(TR)はユーザが装着しているので、ユーザの声は比較的大きく収音することが可能である。つまり、音声センサ(TRMI)でセンシングされる人(ユーザ)の声の大きさは、他の音(ノイズ)に比べて大きめとなる。したがって、S4−3からS4−5までの処理により、人の声由来のスペクトルピークを残し、ノイズ成分を排除できるので、S4−6、S4−7、S4−9、そしてS4−10の判定で人の声由来のスペクトルピークを検出できる可能性が増す。
もし、音声センサ(TRMI)の指向性や感度等の影響で、人の声以外の音も収音しやすい傾向がある場合、S4−6の処理を以下のように変更すればよい。すなわち、上述した周波数が最も低いスペクトルピークの周波数に2を乗じたものに近い周波数のスペクトルピークを、S4−5の処理の結果残されたスペクトルピーク中から探索する処理をすればよい。具体的には、S4−6において、[2×(最小の周波数)との差の絶対値がε未満の周波数であるスペクトルピークがあるか]の判定をすればよい。このようにすれば、基本周波数のスペクトルピークと、基本周波数の2倍の周波数のスペクトルピークとの間にノイズ由来のスペクトルピークが存在していても、それを無視することができる。S4−7、S4−9、S4−10での判定処理も同様である。
以上の処理の結果、音声センサ(TRMI)で検出して得られた音声データ中に人の声特有のスペクトルパターンが存在するか否かが判定される。この判定は、上述した例では128ミリ秒というタイムウィンドウの中でFFTを行って得られたスペクトルピークに対して行われる。図4に示す処理が繰り返し行われ、基本周波数が所定の時間長の中で一定数以上、まとまって存在していれば、その時間帯は発話の行われた時間区間であると判定可される。つまり、発話判定(TRSD)が行われる。
行動判定(TRAD)は、対面判定(TRID)での判定結果と発話判定(TRSD)での判定結果とに基づき、センサ端末(TR)を装着しているユーザの行動判定を行う。
図5は、本発明の第1の実施形態においてセンサ端末(TR)内部で行われる処理を概念的に示す図である。
赤外線受信器(TRIR)で赤外線受信(IRD)が行われ、その検出結果をもとに、図3を参照して説明した対面判定(FJ)が行われて、対面有(Fe)または対面無(Fn)の判定結果が得られる。
対面無(Fn)の判定が得られた場合、音声センサ(TRMI)で音声の検出(VCD)が行われて得られた音声データがFFT処理(FFTC)され、スペクトルピーク値が取得(FFTP)される。FFT処理(FFTC)は図4のS4−2の処理に対応し、スペクトルピーク値取得(FFTP)の処理は図4のS4−3の処理に対応する。なお、音声検出(VCD)の処理は、対面判定(FJ)の結果によらず、常に行われるものであってもよい。
続いて基本周波数検出(FF)の処理が行われる。この処理は、図4のS4−4からS4−12までの処理に対応する。基本周波数検出(FF)の処理が継続的に行われて、発話が行われたと判定される時間区間の存否、その長さ、連続性等をもとに発話判定(VJ)が行われ、発話無(Vn)または発話有(Ve)と判定される。
以上の判定の組み合わせ、すなわち
(1) 対面無(Fn)かつ発話無(Vn)か、
(2) 対面無(Fn)かつ発話有(Ve)か、
(3) 対面有(Fe)か、
のそれぞれに対応し、行動判定(AJ)では、センサ端末(TR)を装着したユーザが、非対面状態(Fnn)であるか、外部者と対面(OFe)しているか、内部者と対面しているか(IFe)の判定が行われる。つまり、赤外線受信器(TRIR)によって対面が検出された(Fe)ときには、発話判定(VJ)の結果によらず、内部者との対面(IFe)と判定される。一方、赤外線受信器(TRIR)による対面が検出されない状態(Fn)で発話有(Ve)と判定された場合には、部外者との対面(OFe)と判定される。そして、赤外線受信器(TRIR)による対面が検出されない状態(Fn)で発話無(Vn)と判定された場合には対面無(Fnn)と判定される。なお、発話判定(JV)や行動判定(AJ)に係る処理は、必ずしもリアルタイムで行われる必要はなく、過去に蓄積されたデータをもとに、必要を生じたときに行うことが可能である。
以上に説明したように、本発明の第1の実施の形態によれば、センサ端末(TR)を装着したユーザ同士の対面に加えて、音声データを解析して発話の有無を判定した結果も参照することにより、センサ端末(TR)を装着したユーザ同士、すなわち組織内人員同士の対面に加え、組織内人員と組織外人員との対面を含む行動判定を行うことが可能となる。
− 第2の実施の形態 −
第2の実施の形態では、センサ端末(TR)のセンシング部(TRSE)中、赤外線送信器(TRIS)、赤外線受信器(TRIR)、音声センサ(TRMI)、および加速度センサ(TRAC)を用いて得られるセンシング情報がユーザの行動判定に際して参照される。また、行動判定自体がセンサ端末(TR)内で行われ、その行動判定結果が他のセンシング情報とともにセンサ端末(TR)から基地局(GW)を経由してセンサネットサーバ(SS)に送信される。
図6は、図1における全体システム構成において、第2の実施の形態で重要な働きをする部分のみを示すブロック図である。図6に示される以外のシステム構成要素は図1に示されるものと同様である。図6において、図1、図2を参照して説明したのと同様の構成要素には同じ符号を付し、その詳細な説明を省略する。
図6に示すセンサ端末(TR)の構成においては、制御部(TRCO)が対面判定(TRID)、FFT処理(TRFT)、発話判定(TRSD)、動き判定(TRMD)、および行動判定(TRAD)の各処理部を有する点が特徴である。
対面判定(TRID)は、赤外線送信機(TRIS)および赤外線受信器(TRIR)によって、他のセンサ端末(TR)に備えられる赤外線送信機(TRIS)および赤外線受信器(TRIR)との間の通信を試みた結果に基づいて、当該センサ端末(TR)を装着するユーザと組織内の他のユーザ(内部者)との対面の有無を判定する。その処理手順は第1の実施の形態で図3を参照して説明したのと同様である。
FFT処理(TRFT)、発話判定(TRSD)では、第1の実施の形態で図4を参照して説明したのと同様の処理が行われる。動き判定(TRMD)は、加速度センサ(TRAC)で検出される加速度の変化をもとに、センサ端末(TR)を装着したユーザの動きを判定する。先にも説明したように、加速度センサ(TRAC)は3次元の動きを検出可能である。例えば、ユーザの前後、左右、上下に沿う方向に生じる加速度変化の大きさ、変化パターンや、加速度変化を生じる方向等を解析することにより、ユーザが歩行しているのか、デスクワークをしているのか、あるいは活発に動いているのか等を弁別することが可能となる。また、ユーザが対面状態にあるときに動き判定(TRMD)をすることにより、それが積極対面であるのか、消極対面であるのかを判定することも可能となる。
図7は、本発明の第2の実施形態においてセンサ端末(TR)内部で行われる処理を概念的に示す図である。
赤外線受信器(TRIR)で赤外線受信(IRD)が行われ、その検出結果をもとに、図3を参照して説明した対面判定(FJ)が行われて、対面有(Fe)または対面無(Fn)の判定結果が得られる。
対面無(Fn)の判定が得られた場合、音声センサ(TRMI)で音声の検出(VCD)が行われて得られた音声データがFFT処理(FFTC)され、スペクトルピーク値が取得(FFTP)される。FFT処理(FFTC)は図4のS4−2の処理に対応し、スペクトルピーク値取得(FFTP)の処理は図4のS4−3の処理に対応する。音声検出(VCD)が対面判定(FJ)の結果によらずに行われてもよいのは第1の実施の形態で説明したのと同様である。
続いて基本周波数検出(FF)の処理が行われる。この処理は、図4のS4−4からS4−12までの処理に対応する。基本周波数検出(FF)の処理が継続的に行われて、発話の行われた時間区間の存否をもとに発話判定(VJ)が行われ、発話無(Vn)または発話有(Ve)と判定される。
以上の判定の組み合わせ、すなわち
(1) 対面無(Fn)かつ発話無(Vn)か、
(2) 対面無(Fn)かつ発話有(Ve)か、
(3) 対面有(Fe)か、
のそれぞれに対応し、対面無(Fnn)、外部者との対面(OFe)、内部者との対面(IFe)の区分けが可能となる。つまり、赤外線受信器(TRIR)によって対面が検出された(Fe)ときには、発話判定(VJ)の結果によらず、内部者との対面(IFe)と判定される。一方、赤外線受信器(TRIR)による対面が検出されない状態(Fn)で発話有(Ve)と判定された場合には、部外者との対面(OFe)と判定される。そして、赤外線受信器(TRIR)による対面が検出されない状態(Fn)で発話無(Vn)と判定された場合には対面無(Fnn)と判定される。
さらに、加速度センサ(TRAC)で検出された加速度の変化をもとに、センサ端末(TR)を装着したユーザの動きを判定する処理、すなわち動き判定処理(MJ)が行われる。動き判定(MJ)は、例えば一定時間の間に加速度または加速度の変化が閾値以上であるか否かで行なわれる。この加速度または加速度の変化が閾値以上である場合、動き有(Me)と判定され、閾値未満であれば動き無(Mn)と判定される。動き有(Me)と判定されるのは、ユーザが活発に動いている場合である。一方、ユーザが対面相手の話を静かに聞いていたり、一人で集中していたりする場合には、動き無(Mn)と判定される。
上述した対面無(Fnn)、外部者との対面(OFe)、および内部者との対面(IFe)の区分けと、動き判定(MJ)の判定結果との組み合わせに基づき、センサ端末(TR)を装着したユーザの行動判定(AJ)が行われる。そして、
(1) 内部者との対面があり(IFe)、動き判定(MJ)結果が動き有(Me)であるときには内部者と積極対面状態(IFMe)と判定され、
(2) 外部者との対面があり(OFe)、動き判定(MJ)結果が動き有(Me)であるときには外部者との積極対面状態(OFMe)と判定され、
(3) 内部者との対面があり(IFe)、動き判定(MJ)結果が動き無(Mn)であるときには内部者との消極対面状態(IFMn)と判定され、
(4) 外部者との対面があり(OFe)、動き判定(MJ)結果が動き無(Mn)であるときには外部者との消極対面状態(OFMn)と判定され、
(5) 対面は無く(Fnn)、動き判定(MJ)結果が動き有(Me)であるときには個人作業状態(Lme)と判定され、
(6) 対面は無く(Fnn)、動き判定(MJ)結果が動き無(Mn)であるときには集中状態(Lmn)と判定される。
以上に説明したように、本発明の第2の実施の形態によれば、センサ端末(TR)を装着したユーザ同士の対面に加えて、音声データを解析して発話の有無を判定した結果も参照することにより、センサ端末(TR)を装着したユーザ同士、すなわち組織内人員同士の対面に加え、組織内人員と組織外人員との対面を含む行動判定を行うことが可能となる。加えて、加速度センサ(TRAC)での検出結果も参照することにより、対面自体の積極性を判定したり、対面が無いときの組織内人員の行動を判定したりすることが可能となる。
以上の第1および第2の実施の形態において、発話判定(VJ)および行動判定(AJ)をセンサ端末(TR)で行う例について説明したが、これらの発話判定(VJ)および行動判定(AJ)についてはセンサ端末(TR)以外の情報処理装置、例えばセンサネットサーバ(SS)やアプリケーションサーバ(AS)等のいずれか、もしくは複数の情報処理装置内で分散処理されて行われるようにしてもよい。その際、発話判定(VJ)はセンサ端末(TR)で行い、行動判定(AJ)はセンサ端末(TR)以外の情報処理装置で行う、ということも可能である。また、第2の実施の形態における動き判定(MJ)についても、センサ端末(TR)以外の情報処理装置で行われても良い。
− 第3の実施の形態 −
第3の実施の形態では、センサ端末(TR)のセンシング部(TRSE)中、赤外線送信器(TRIS)、赤外線受信器(TRIR)、および音声センサ(TRMI)を用いて得られるセンシング情報がユーザの行動判定に際して参照される。その他、必要に応じて外部入力(TROU)を介して外部センサ(EXTS)からセンシングデータを得てもよい。また、赤外線送信機(ITR)から出力される赤外線信号を赤外線受信器(TRIR)が受信してもよい。
行動判定(ASAD)は、アプリケーションサーバ(AS)の側で行われる。このとき、アプリケーションサーバ(AS)は、業務管理サーバ(GS)に保管される対面活動情報を取得し、この対面活動情報を行動判定(ASAD)の処理に際して参照する。対面活動情報は、先にも説明したように、組織内の人員とセンサ端末(TR)を装着していない人員との対面活動を抽出可能な情報である。
行動判定結果は、ネットワーク(NW)を介してセンサネットサーバ(SS)に送信され、保管されてもよいし、クライアント(CL)からの要求に基づいてアプリケーションサーバ(AS)内でコンテンツを生成する際にこの行動判定結果が参照された後、破棄されてもよい。
図8は、図1における全体システム構成において、第3の実施の形態で重要な働きをする部分のみを示すブロック図である。図8に示される以外のシステム構成要素は図1に示されるものと同様である。図8において、図1、図2を参照して説明したのと同様の構成要素には同じ符号を付し、その詳細な説明を省略する。
センサ端末(TR)の構成において、制御部(TRCO)が対面判定(TRID)、FFT処理(TRFT)の各処理部を有する点が特徴である。また、アプリケーションサーバ(AS)の構成において、制御部(ASCO)が活動情報取得(ASAR)、発話判定(ASSD)、行動判定(ASAD)の各処理部を有する点が特徴である。
まず、センサ端末(TR)の構成の特徴部分について説明すると、対面判定(TRID)は、赤外線送信機(TRIS)および赤外線受信器(TRIR)によって、他のセンサ端末(TR)に備えられる赤外線送信機(TRIS)および赤外線受信器(TRIR)との間の通信を試みた結果に基づいて、当該センサ端末(TR)を装着するユーザと組織内の他のユーザとの対面の有無を判定する。その処理手順は第1の実施の形態で図3を参照して説明したのと同様である。
FFT処理(TRFT)は、第1の実施の形態で図4を参照して説明した処理中、S4−2およびS4−3の処理を行う。対面判定(TRID)、FFT処理(TRFT)での処理結果は、基地局(GW)を介してセンサネットサーバ(SS)に送信されて保管される。
次に、アプリケーションサーバ(AS)の構成の特徴部分について説明する。活動情報取得(ASAR)は、業務管理サーバ(GS)にアクセスし、行動を解析する対象の組織内人員の対面活動情報を取得する。具体的には、行動を解析する対象の組織内人員を特定するID情報(氏名でもよい)、情報を必要とする期間(年月日、時間)、必要な対面活動情報の種類等がアプリケーションサーバ(AS)から業務管理サーバ(GS)に出力される。業務管理サーバ(GS)は、該当する情報を抽出し、アプリケーションサーバ(AS)に送信する。
発話判定(ASSD)は、必要とする音声データをセンサネットサーバ(SS)から取得し、図4を参照して説明した処理中、S4−4からS4−12までの処理を行い、人の声に特有のスペクトル成分(基本周波数)の検出を試みる。その検出を繰り返し行い、人の声に特有のスペクトル成分が一定の時間(例えば数秒)以上にわたって連続的あるいは断続的に存在することが検出されたとき、発話があったと判定する。
行動判定(ASAD)は、必要とする対面データをセンサネットサーバ(SS)から取得する。そして、発話判定(ASSD)での発話判定結果と、活動情報取得(ASAR)が業務情報管理サーバ(GS)から取得した対面活動情報とを、上記対面データとともに参照して行動判定の処理を行う。
図9は、本発明の第3の実施形態において、センサ端末(TR)およびアプリケーションサーバ(AS)で行われる処理を概念的に示す図である。図9において、水平方向に引かれた二本の平行な破線で区切られたところから上側の部分がセンサ端末(TR)の側で行われる処理を、下側の部分がアプリケーションサーバ(AS)の側で行われる処理を示す。
まず、センサ端末(TR)の側で行われる処理を説明すると、赤外線受信器(TRIR)で赤外線受信(IRD)が行われ、その検出結果をもとに、図3を参照して説明した対面判定(FJ)が行われて、対面有(Fe)または対面無(Fn)の判定結果が得られる。対面判定結果は対面データとして、ユーザIDまたは端末ID、対面検出日時等の情報とともにセンサネットサーバ(SS)に送信される(DTF)。
対面無(Fn)の判定が得られた場合、音声センサ(TRMI)で音声の検出(VCD)が行われて得られた音声データがFFT処理(FFTC)され、スペクトルピーク値が取得(FFTP)される。FFT処理(FFTC)は図4のS4−2の処理に対応し、スペクトルピーク値取得(FFTP)の処理は図4のS4−3の処理に対応する。得られたスペクトルピーク値の組は、音声データとして、ユーザIDまたは端末ID、音声検出日時等の情報とともにセンサネットサーバ(SS)に送信される(DTV)。
続いて、アプリケーションサーバ(AS)側で行われる処理について説明する。クライアント(CL)から発せられるコンテンツの要求に基づき、所望のユーザの所望の日時に対応する音声データがセンサネットサーバ(SS)から取得され(DRV)、その音声データに対して基本周波数検出(FF)の処理が行われる。この処理は、図4のS4−4からS4−12までの処理に対応する。基本周波数検出(FF)の処理が継続的に行われて、発話の行われたと判定される時間区間の存否、その長さ、連続性等をもとに発話判定(VJ)が行われ、発話無(Vn)または発話有(Ve)と判定される。
また、所望のユーザの所望の日時に対応する対面データがセンサネットサーバ(SS)から取得される(DRF)。そして、上記の発話判定(VJ)の結果(Vn、Ve)と、対面データ受信(DRF)で取得した対面データの内容(Fe、Fn)とに基づき、対面状態を以下のように区分けすることが可能となる。すなわち、
(1) 対面無(Fn)かつ発話無(Vn)か、
(2) 対面無(Fn)かつ発話有(Ve)か、
(3) 対面有(Fe)か、
のそれぞれに対応し、対面無(Fnn)、外部者との対面(OFe)、内部者との対面(IFe)の区分けが可能となる。
さらに、業務情報管理サーバ(GS)からは対面活動情報として来社データ(OD)、会議室使用データ(RD)、および電話データ(TD)が取得され(DRAI)、これらの情報と上述した区分け(Fnn、OFe、IFe)とに基づいて行動判定(AJ)の処理が行われる。来社データ(OD)には、組織を訪れた来訪者(外部者)の氏名、所属、来訪時刻、退出時刻、応対者氏名等の情報が含まれる。会議室使用データ(RD)には、会議室番号、使用者名、使用日、使用時間帯等の情報が含まれる。電話データ(TD)には、組織内のある電話を用いて行われた通話の開始日時、使用時間、通話先等の情報が含まれる。これらの情報を追加情報として用い、より詳細な行動判定(AJ)を行うことが可能となる。
図9に示される例では、行動判定(AJ)が行われた結果、他の行動(OA)、内部者と対面(IFe)、外部者と対面(OFe)、または非対面状態(Fnn)と判定される。行動判定(AJ)の処理に際して、来社データ(OD)を参照し、対面が検出されない時間帯に外部者の来訪を受けていたことが分かれば、外部者との対面(OFe)があったと判定可能となる。ユーザがセンサ端末(TR)の装着を忘れて部内の会議に出席したような場合、内部者との対面を検出することはできない。しかし、会議室使用データ(RD)を参照することにより、内部者との対面があったものと判定することが可能となる。また、電話データ(TD)を参照し、対面無(Fn)と判定されている時間帯に外部者との通話をしていたことが分かれば、電話中であった、すなわち他の行動(OA)をしていたと判定することが可能となる。
以上に説明したように、本発明の第3の実施の形態によれば、センサ端末(TR)を装着するユーザ同士、すなわち組織内人員同士の対面に加え、組織内人員と組織外人員との対面を含む行動判定を行うことが可能となる。加えて、対面活動情報を行動判定に際して参照することにより、行動判定をより詳細に行うことが可能となる。
また、発話判定の処理をアプリケーションサーバ(AS)の側で行うことにより、センサ端末(TR)の処理負荷を減じて電池寿命を延ばすことが可能となる。このとき、音声データとしてFFT処理(FFTC)したものをセンサネットサーバ(SS)に送信することにより、音声データをそのまま送信する場合に比べてデータ通信量を大幅に減じることが可能となる。
− 第4の実施の形態 −
第4の実施の形態では、センサ端末(TR)のセンシング部(TRSE)中、赤外線送信器(TRIS)、赤外線受信器(TRIR)、加速度センサ(TRAC)、および音声センサ(TRMI)を用いて得られるセンシング情報がユーザの行動判定に際して参照される。その他、必要に応じて外部入力(TROU)を介して外部センサ(EXTS)からセンシングデータを得てもよい。また、赤外線送信機(ITR)から出力される赤外線信号を赤外線受信器(TRIR)が受信してもよい。
行動判定は、アプリケーションサーバ(AS)の側で行われる。このとき、アプリケーションサーバ(AS)は業務管理サーバ(GS)に保管される、対面活動情報を取得し、行動判定の処理に際して対面活動情報を参照する。
行動判定結果は、ネットワーク(NW)を介してセンサネットサーバ(SS)に送信され、保管されてもよいし、クライアント(CL)からの要求に基づいてアプリケーションサーバ(AS)内でコンテンツを生成する際にこの行動判定結果が参照された後、破棄されてもよい。
図10は、図1における全体システム構成において、第4の実施の形態で重要な働きをする部分のみを示すブロック図である。図10に示される以外のシステム構成要素は図1に示されるものと同様である。図10において、図1、図2を参照して説明したのと同様の構成要素には同じ符号を付し、その詳細な説明を省略する。
センサ端末(TR)の構成において、制御部(TRCO)が対面判定(TRID)、FFT処理(TRFT)の各処理部を有する点が特徴である。また、アプリケーションサーバ(AS)の構成において、制御部(ASCO)が活動情報取得(ASAR)、発話判定(ASSD)、動き判定(ASMD)、行動判定(ASAD)の各処理部を有する点が特徴である。
まず、センサ端末(TR)の構成の特徴部分について説明すると、対面判定(TRID)は、赤外線送信機(TRIS)および赤外線受信器(TRIR)によって、他のセンサ端末(TR)に備えられる赤外線送信機(TRIS)および赤外線受信器(TRIR)との間の通信を試みた結果に基づいて、当該センサ端末(TR)を装着するユーザと組織内の他のユーザとの対面の有無を判定する。その処理手順は第1の実施の形態で図3を参照して説明したのと同様である。
FFT処理(TRFT)は、第1の実施の形態で図4を参照して説明した処理中、S4−2およびS4−3の処理を行う。対面判定(TRID)、FFT処理(TRFT)での処理結果は、加速度センサ(TRAC)で検出された加速度検出結果とともに基地局(GW)を介してセンサネットサーバ(SS)に送信されて保管される。
次に、アプリケーションサーバ(AS)の構成の特徴部分について説明する。活動情報取得(ASAR)は、業務管理サーバ(GS)にアクセスし、行動を解析する対象の組織内人員の対面活動情報を取得する。具体的には、行動を解析する対象の組織内人員を特定するID情報(氏名でもよい)、情報を必要とする期間(年月日、時間)、必要な対面活動情報の種類がアプリケーションサーバ(AS)から業務管理サーバ(GS)に出力される。業務管理サーバ(GS)は、該当する情報をアプリケーションサーバ(AS)に送信する。
発話判定(ASSD)は、必要とする音声データをセンサネットサーバ(SS)から取得し、図4を参照して説明した処理中、S4−4からS4−12までの処理を行い、人の声に特有のスペクトル成分(基本周波数)の検出を試みる。その検出を繰り返し行い、人の声に特有のスペクトル成分が一定の時間(例えば数秒)以上にわたって連続的あるいは断続的に存在することが検出されたとき、発話があったと判定する。
動き判定(ASMD)は、必要とする加速度データをセンサネットサーバ(SS)から取得し、解析対象の時間帯におけるユーザの動きを判定する。例えば一定時間の間に加速度または加速度の変化が閾値以上であるか否かで動き判定が行われる。この加速度または加速度の変化が閾値以上である場合、動き有と判定され、閾値未満であれば動き無と判定される。動き有と判定されるのは、ユーザが活発に動いている場合である。一方、ユーザが対面相手の話を静かに聞いていたり、一人で集中していたりする場合には、動き無(Mn)と判定される。なお、センサ端末(TR)の側で動き判定を行い、その結果をセンサネットサーバ(SS)に送信することもできる。その場合、動き判定(ASMD)は、センサネットサーバから取得した動き判定結果のログを参照し、所与の時間帯におけるユーザの動きの有無を判定することが可能となる。
行動判定(ASAD)は、必要とする対面データをセンサネットサーバ(SS)から取得する。そして、発話判定(ASSD)での発話判定結果と、動き判定(ASMD)での動き判定結果と、活動情報取得(ASAR)が業務情報管理サーバ(GS)から取得した対面活動情報とを、上記対面データとともに参照して行動判定の処理を行う。
図11は、本発明の第4の実施形態において、センサ端末(TR)およびアプリケーションサーバ(AS)で行われる処理を概念的に示す図である。図11において、水平方向に引かれた二本の平行な破線で区切られたところから上側の部分がセンサ端末(TR)の側で行われる処理を、下側の部分がアプリケーションサーバ(AS)の側で行われる処理を示す。
まず、センサ端末(TR)の側で行われる処理を説明すると、赤外線受信器(TRIR)で赤外線受信(IRD)が行われ、その検出結果をもとに、図3を参照して説明した対面判定(FJ)が行われて、対面有(Fe)または対面無(Fn)の判定結果が得られる。対面判定結果は対面データとして、ユーザIDまたは端末ID、対面検出日時等の情報とともにセンサネットサーバ(SS)に送信される(DTF)。
対面無(Fn)の判定が得られた場合、音声センサ(TRMI)で音声の検出(VCD)が行われて得られた音声データがFFT処理(FFTC)され、スペクトルピーク値が取得(FFTP)される。FFT処理(FFTC)は図4のS4−2の処理に対応し、スペクトルピーク値取得(FFTP)の処理は図4のS4−3の処理に対応する。得られたスペクトルピーク値の組は、音声データとして、ユーザIDまたは端末ID、音声検出日時等の情報とともにセンサネットサーバ(SS)に送信される(DTV)。音声検出(VCD)が対面判定(FJ)の結果によらずに行われてもよいのは第1の実施の形態で説明したのと同様である。
加速度センサ(TRAC)では加速度の検出(ACD)が行われ、得られた加速度データにユーザIDまたは端末ID、加速度検出日時等の情報とともにセンサネットサーバ(SS)に送信される(DTA)。
続いて、アプリケーションサーバ(AS)側で行われる処理について説明する。クライアント(CL)から発せられるコンテンツの要求等に基づき、所望のユーザの所望の日時に対応する音声データがセンサネットサーバ(SS)から取得され(DRV)、その音声データに対して基本周波数検出(FF)の処理が行われる。この処理は、図4のS4−4からS4−12までの処理に対応する。基本周波数検出(FF)の処理が継続的に行われて、発話の行われた時間区間の存否をもとに発話判定(VJ)が行われ、発話無(Vn)または発話有(Ve)と判定される。
一方、所望のユーザの所望の日時に対応する対面データがセンサネットサーバ(SS)から取得される(DRF)。また、当該ユーザおよび日時に対応する加速度データがセンサネットサーバ(SS)から取得される(DRA)。
まず、上記の発話判定(VJ)の結果(Vn、Ve)と、対面データ受信(DRF)で取得した対面データの内容(Fe、Fn)とに基づき、対面状態を以下のように区分けすることが可能となる。すなわち、
(1) 内部者との対面無(Fn)かつ発話無(Vn)か、
(2) 内部者との対面無(Fn)かつ発話有(Ve)か、
(3) 内部者との対面有(Fe)か、
のそれぞれに対応し、対面無(Fnn)、外部者との対面(OFe)、内部者との対面(IFe)の区分けが可能となる。
続いて、加速度データをもとに、判定対象の日時において動き有(Me)または動き無(Mn)の動き判定(MJ)が行われる。
また、業務情報管理サーバ(GS)からは対面活動情報として来社データ(OD)、会議室使用データ(RD)、および電話データ(TD)が取得され(DRAI)、これらの情報と、上述した区分け(Fnn、OFe、IFe)と、動き判定結果(Me、Mn)とに基づいて行動判定(AJ)の処理が行われる。
図11に示される例では、行動判定(AJ)が行われた結果、他の行動(OA)、内部者と積極対面(IFMe)、外部者と積極対面(OFMe)、内部者と消極対面(IFMn)、外部者と消極対面(OFMn)、個人作業(Lme)、または集中状態(Lmn)と判定される。このとき、第3の実施の形態で説明したように、行動判定(AJ)の処理に際して、来社データ(OD)、会議室使用データ(RD)、電話データ(TD)も参照することにより、センサ端末(TR)からだけでは得ることのできない情報も参照してより詳細な行動判定をすることが可能となる。
以上に説明したように、本発明の第4の実施の形態によれば、センサ端末(TR)を装着するユーザ同士、すなわち内部者同士の対面に加え、内部者と外部者との対面を含む行動判定を行うことが可能となる。加えて、加速度データや対面活動情報を行動判定に際して参照することにより、行動判定をより詳細に行うことが可能となる。
また、発話判定の処理や動き判定の処理をアプリケーションサーバ(AS)の側で行うことにより、センサ端末(TR)の処理負荷を減じて電池寿命を延ばすことが可能となる。さらに、音声データとしてFFT処理(FFTC)したものをセンサネットサーバ(SS)に送信することにより、音声データをそのまま送信する場合に比べてデータ通信量を大幅に減じることが可能となるのも第3の実施の形態と同様である。
以上、第4および第5の実施の形態において、発話判定および行動判定がアプリケーションサーバ(AS)で行われる例について説明したが、他の情報処理装置でこれらの処理が行われてもよい。また、複数の情報処理装置が用いられて、一方の情報処理装置で発話判定が、他方の情報処理装置で行動判定が、それぞれ行われても良い。
− 第5の実施の形態 −
第5の実施の形態では、センサ端末(TR)のセンシング部(TRSE)中、音声センサ(TRMI)によるセンシング情報がユーザの行動判定に際して参照される。また、行動判定自体がセンサ端末(TR)内で行われ、その行動判定結果がセンサ端末(TR)から基地局(GW)を経由してセンサネットサーバ(SS)に送信される。
図12は、図1における全体システム構成において、第5の実施の形態で重要な働きをする部分のみを示すブロック図である。図12に示される以外のシステム構成要素は図1に示されるものと同様である。図12において、図1を参照して説明したのと同様の構成要素には同じ符号を付し、その詳細な説明を省略する。
図12に示すセンサ端末(TR)の構成においては、制御部(TRCO)がFFT処理(TRFT)、発話判定(TRSD)、および行動判定(TRAD)の各処理部を有する点が特徴である。センシング部(TRSE)は、音声センサ(TRMI)以外のセンサを備えていても良い。例えば、何らかの事情等によって音声センサ(TRMI)以外のセンサは動作させることができない、といった状況にも本実施の形態は対応可能となる。
FFT処理(TRFT)、発話判定(TRSD)では、第1の実施の形態で図4を参照して説明したのと同様の処理が行われる。行動判定(TRAD)では、発話判定(TRSD)での判定結果に基づき、センサ端末(TR)を装着しているユーザの行動判定が行われる。
図13は、本発明の第5の実施形態においてセンサ端末(TR)内部で行われる処理を概念的に示す図である。
音声センサ(TRMI)で音声の検出(VCD)が行われ、得られた音声データがFFT処理(FFTC)され、スペクトルピーク値が取得(FFTP)される。FFT処理(FFTC)は図4のS4−2の処理に対応し、スペクトルピーク値取得(FFTP)の処理は図4のS4−3の処理に対応する。
続いて基本周波数検出(FF)の処理が行われる。この処理は、図4のS4−4からS4−12までの処理に対応する。基本周波数検出(FF)の処理が継続的に行われて、発話の行われたと判定される時間区間の存否、その長さ、連続性をもとに発話判定(VJ)が行われ、発話無(Vn)または発話有(Ve)と判定される。
上記の発話判定(VJ)の結果(Vn、Ve)をもとに行動判定(AJ)が行われる。
発話有(Ve)と判定された場合、その時間、発声を伴うコミュニケーションをユーザが行なったと推定される。よって、この場合、対面有(Fe)、と判定される。ただし、赤外線センサによる対面の検出が行われていない。したがって、対面はあったが、その対面相手は内部者か外部者かは不明、または外部者との対面と判定される。発話無(Vn)と判定された場合、対面無(Fn)と判定される。
以上に説明したように、本発明の第5の実施の形態によれば、ユーザの行動判定として、対面の有無を音声センサ(TRMI)での音声検出結果をもとに行うことが可能となる。
− 第6の実施の形態 −
第6の実施の形態では、センサ端末(TR)のセンシング部(TRSE)中、音声センサ(TRMI)によるセンシング情報がユーザの行動判定に際して参照される。また、行動判定は、アプリケーションサーバ(AS)の側で行われる。
行動判定結果は、ネットワーク(NW)を介してセンサネットサーバ(SS)に送信され、保管されてもよいし、クライアント(CL)からの要求に基づいてアプリケーションサーバ(AS)内でコンテンツを生成する際に参照され、その後破棄されてもよい。
図14は、図1における全体システム構成において、第6の実施の形態で重要な働きをする部分のみを示すブロック図である。図14に示される以外のシステム構成要素は図1に示されるものと同様である。図14において、図1、図2を参照して説明したのと同様の構成要素には同じ符号を付し、その詳細な説明を省略する。
センサ端末(TR)の構成において、制御部(TRCO)がFFT処理(TRFT)を有する点が特徴である。また、アプリケーションサーバ(AS)の構成において、制御部(ASCO)が発話判定(ASSD)および行動判定(ASAD)の各処理部を有する点が特徴である。
まず、センサ端末(TR)の構成の特徴部分について説明すると、FFT処理(TRFT)は、第1の実施の形態で図4を参照して説明した処理中、S4−2およびS4−3の処理を行う。FFT処理(TRFT)での処理結果は、基地局(GW)を介してセンサネットサーバ(SS)に送信されて保管される。
次に、アプリケーションサーバ(AS)の構成の特徴部分について説明する。発話判定(ASSD)は、必要とする音声データをセンサネットサーバ(SS)から取得し、図4を参照して説明した処理中、S4−4からS4−12までの処理を行い、人の声に特有のスペクトル成分(基本周波数)の検出を試みる。その検出を繰り返し行い、人の声に特有のスペクトル成分が一定の時間(例えば数秒)以上にわたって検出されたとき、発話があったと判定することができる。
行動判定(ASAD)は、発話判定(ASSD)での判定結果(Vn、Ve)を参照して行動判定の処理を行う。
図15は、本発明の第6の実施形態において、センサ端末(TR)およびアプリケーションサーバ(AS)で行われる処理を概念的に示す図である。図15において、水平方向に引かれた二本の平行な破線で区切られたところから上側の部分がセンサ端末(TR)の側で行われる処理を、下側の部分がアプリケーションサーバ(AS)の側で行われる処理を示す。
まず、センサ端末(TR)の側で行われる処理を説明すると、音声センサ(TRMI)で音声の検出(VCD)が行われて得られた音声データがFFT処理(FFTC)され、スペクトルピーク値が取得(FFTP)される。FFT処理(FFTC)は図4のS4−2の処理に対応し、スペクトルピーク値取得(FFTP)の処理は図4のS4−3の処理に対応する。得られたスペクトルピーク値の組は、音声データとして、ユーザIDまたは端末ID、音声検出日時等の情報とともにセンサネットサーバ(SS)に送信される(DTV)。
続いて、アプリケーションサーバ(AS)側で行われる処理について説明する。クライアント(CL)から発せられるコンテンツの要求に基づき、所望のユーザの所望の日時に対応する音声データがセンサネットサーバ(SS)から取得され(DRV)、その音声データに対して基本周波数検出(FF)の処理が行われる。この処理は、図4のS4−4からS4−12までの処理に対応する。基本周波数検出(FF)の処理が継続的に行われて、発話の行われたと判定される時間区間の存否、その長さ、連続性等をもとに発話判定(VJ)が行われ、発話無(Vn)または発話有(Ve)と判定される。
上記の発話判定(VJ)の結果(Vn、Ve)をもとに行動判定(AJ)が行われる。
発話有(Ve)と判定された場合、その時間、発声を伴うコミュニケーションをユーザが行なったと推定される。したがって、この場合、対面有(Fe)、と判定される。ただし、赤外線センサによる対面の検出が行われていない。そのため、対面はあったが、その対面相手は内部者か外部者かは不明、または外部者との対面と判定される。発話無(Vn)と判定された場合、対面無(Fn)と判定される。
以上に説明したように、本発明の第6の実施の形態によれば、ユーザの行動判定として、対面の有無を音声センサ(TRMI)での音声検出結果をもとに行うことが可能となる。
以上、第6の実施の形態において、発話判定および行動判定がアプリケーションサーバ(AS)で行われる例について説明したが、他の情報処理装置でこれらの処理が行われてもよい。また、複数の情報処理装置が用いられて、一方の情報処理装置で発話判定が、他方の情報処理装置で行動判定が、それぞれ行われても良い。
− 音声データ取得から行動判定までの処理シーケンス(その1) −
以上、第1の実施の形態から第6の実施の形態によって、取得された音声データをもとに発話判定、行動判定がセンサ端末(TR)で行われる例と、アプリケーションサーバ(AS)で行われる例とについて説明した。図16は、業務管理支援システムを構成する要素間で連携して行われる処理シーケンスのうち、取得した音声データを処理して発話判定および行動判定をする処理を抽出して示したものであり、第1、第2、および第5の実施の形態で説明したものに対応するシーケンス図である。
センサ端末(TR)は音声を記録(S16−1)し、FFT処理(S16−2)を行う。つまり、図4を参照して説明したS4−1、S4−2の処理を行う。センサ端末(TR)は続いて、スペクトルピーク値取得の処理(S16−3)、基本周波数抽出(S16−4)の処理を行う。これが、図4を参照して説明したS4−3からS4−12までの処理に対応する。そして、発話判定(S16−5)では、人の声由来のスペクトルピークがまとまって存在する時間帯の有無に基づいて発話判定が行われる。さらに、各実施の形態に対応してセンシング部(TRSE)で得られたセンシングデータが適宜参照されて行動判定(S16−6)が行われ、これらの判定結果が基地局(GW)に送信される(S16−7)。
基地局(GW)はそのデータを受信(S16−8)し、センサネットサーバ(SS)に転送(S16−9)する。センサネットサーバ(SS)は、そのデータを受信(S16−10)し、データベース部(SSDB)に蓄積する(S16−11)。
一方、クライアント(CL)からの要求に基づいてコンテンツの生成を開始したアプリケーションサーバ(AS)は、当該コンテンツを生成するのに必要な情報を得るため、クエリ要求をセンサネットサーバ(SS)に向けて発する(S16−12)。つまり、誰の(単数または複数)、いつからいつにかけての、どのような情報が必要であるかを特定可能な情報をアプリケーションサーバ(AS)はクエリとしてセンサネットサーバ(SS)に出力する。
センサネットサーバ(SS)はこのクエリを受信(S16−13)し、対応する情報をデータベース部(SSDB)から抽出してアプリケーションサーバ(AS)に送信(S16−14)する。アプリケーションサーバ(AS)はこの情報を受信(S16−15)し、クライアント(CL)からの要求に基づくコンテンツを生成する。
図16に示される例では、センサ端末(TR)の側で基本周波数抽出、発話判定、および行動判定が行われる分、センサ端末(TR)の処理負荷は増す。しかし、システムの各構成要素間でやりとりされるデータは減じられるので、各構成要素間で行われるデータ通信における輻輳の発生を抑制可能となる。
− 音声データ取得から行動判定までの処理シーケンス(その2) −
図17は、業務管理支援システムを構成する要素間で連携して行われる処理シーケンスのうち、取得した音声データを処理して発話判定および行動判定をする処理を抽出して示したものであり、第3、第4、および第6の実施の形態で説明したものに対応するシーケンス図である。
センサ端末(TR)は音声を記録(S17−1)し、FFT処理(S17−2)を行う。つまり、図4を参照して説明したS4−1、S4−2の処理を行う。センサ端末(TR)は続いて、スペクトルピーク値取得の処理(S17−3)を行う。このようにして得られたスペクトルピークを、センサ端末(TR)は各実施の形態に対応してセンシング部(TRSE)で得られるセンシングデータとともに基地局(GW)に送信する(S17−4)。
基地局(GW)はこのデータを受信(S17−5)し、センサネットサーバ(SS)に転送(S17−6)する。センサネットサーバ(SS)はこのデータを受信(S17−7)し、各データに含まれる端末ID、タイムスタンプをもとに分類してデータベース部(SSDB)に蓄積する(S17−8)。
一方、クライアント(CL)からの要求に基づいてコンテンツの生成を開始したアプリケーションサーバ(AS)は、当該コンテンツを生成するのに必要な情報を得るため、クエリ要求をセンサネットサーバ(SS)に向けて発する(S17−9)。つまり、誰の(単数または複数)、いつからいつにかけての、どのような情報が必要であるかを特定可能な情報をアプリケーションサーバ(AS)はクエリとしてセンサネットサーバ(SS)に出力する。
センサネットサーバ(SS)はこのクエリを受信(S17−10)し、対応する情報をデータベース部(SSDB)から抽出してアプリケーションサーバ(AS)に送信(S17−11)する。アプリケーションサーバ(AS)は、この情報を受信(S17−12)し、基本周波数抽出(S17−13)、発話判定(17−14)、行動判定(S17−15)の処理を行い、クライアント(CL)からの要求に基づくコンテンツを生成する。
図17に示される例では、センサ端末(TR)の側での処理負荷が減じられるので、センサ端末(TR)が電池駆動される場合等に消費電力が減じられて電池寿命を延ばすことが可能となる。また、センサ端末(TR)の処理能力に比して一般的に処理能力の高いアプリケーションサーバ(AS)等の側で処理をする場合には、より高度で複雑な処理を行い、発話判定や行動判定の判定精度を増すことも可能となる。さらに、センサ端末(TR)の側では得ることの難しい対面活動情報等を他の情報処理装置から取得して処理をすることにより、行動判定の精度を高めたり、より細かい行動の分類をしたりすることも可能となる。
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、種々変形実施可能であり、上述した各実施の形態を適宜組み合わせることが可能であることは、当業者に理解されよう。
TR センサ端末
GW、GW2、GW3 基地局
GS 業務情報管理サーバ
SS センサネットサーバ
CL、CL2 クライアント
AS アプリケーションサーバ
NW ネットワーク

Claims (9)

  1. 組織に属する人員である組織内人員の間の物理的対面を検出するために前記組織内人員のそれぞれに装着されるセンサ端末装置であって、
    他のセンサ端末装置との通信の成否に基づいて前記組織内人員の間の物理的対面の有無を判定する対面判定部と、
    音声を検出して音声データを生成する音声検出部と、
    前記音声検出部で生成された前記音声データを解析し、発話の有無を判定する発話判定部と、
    前記対面判定部による判定結果と、前記発話判定部による判定結果とに基づき、前記組織内人員との対面、前記センサ端末装置を装着していない組織外人員との対面、および非対面を含む行動のうち、いずれかの行動が行われたことを判定する行動判定部と、を備え、
    前記行動判定部は、
    前記物理的対面が有ると前記対面判定部が判定したときに、前記組織内人員との対面が有ると判定し、
    前記物理的対面が無いと前記対面判定部が判定し、かつ、発話が有ると前記発話判定部が判定したときに、前記センサ端末装置を装着していない組織外人員との対面が有ると判定し、
    前記物理的対面が無いと前記対面判定部が判定し、かつ、発話が無いと前記発話判定部が判定したときに、非対面であると判定する
    ことを特徴とするセンサ端末装置。
  2. 請求項1において、
    当該センサ端末装置を装着した前記組織内人員の動きを検出する加速度検出部をさらに備え、
    前記行動判定部はさらに、前記加速度検出部によって検出された前記動きも参照して前記いずれかの行動が行われたことを判定する
    ことを特徴とするセンサ端末装置。
  3. 請求項1または2において、
    前記センサ端末装置が、その内部に備えられる電源により動作可能に構成される
    ことを特徴とするセンサ端末装置。
  4. 組織に属する人員である組織内人員の間の物理的対面を検出するために前記組織内人員のそれぞれに装着されたセンサ端末装置から出力されるセンサ情報を処理し、前記組織内人員の対面状態を検出する対面状態検出装置であって、
    前記センサ情報は、
    他のセンサ端末装置との通信の成否に基づいて前記組織内人員の間の物理的対面の有無を判定した結果に対応する対面判定情報と、
    音声を検出して得られた音声データと
    を含み、
    前記対面状態検出装置は、
    前記センサ情報に含まれる前記音声データを解析し、発話の有無を判定する発話判定部と、
    前記発話判定部による判定結果と、前記センサ情報に含まれる前記対面判定情報とに基づき、前記組織内人員との対面、前記センサ端末装置を装着していない組織外人員との対面、および非対面を含む行動のうち、いずれかの行動が行われたことを判定する行動判定部と、を備え、
    前記行動判定部は、
    前記対面判定情報が、前記物理的対面が有るとの判定結果に対応するときに、前記組織内人員との対面が有りと判定し、
    前記対面判定情報が、前記物理的対面が無いとの判定結果に対応し、かつ、発話有りと前記発話判定部が判定したときに、前記センサ端末装置を装着していない組織外人員との対面が有りと判定し、
    前記対面判定情報が、前記物理的対面が無いとの判定結果に対応し、かつ、発話が無いと前記発話判定部が判定したときに、非対面であると判定することを特徴とする対面状態検出装置。
  5. 請求項4において、
    前記センサ情報は、前記センサ端末装置を装着した前記組織内人員の動きを検出した結果である動き検出結果をさらに含み、
    前記行動判定部はさらに、前記動きを検出した結果も参照して前記いずれかの行動が行われたことを判定する
    ことを特徴とする対面状態検出装置。
  6. 請求項4または5において、
    前記組織内人員と、前記センサ端末装置を装着していない人員との対面活動を抽出可能な情報である対面活動情報を取得する対面活動情報取得部をさらに備え、
    前記行動判定部はさらに、前記対面活動情報も参照して前記いずれかの行動が行われたことを判定する
    ことを特徴とする対面状態検出装置。
  7. 組織に属する人員である組織内人員の間の物理的対面を検出するために前記組織内人員のそれぞれに装着されたセンサ端末装置を用いて前記組織内人員の対面状態を対面状態検出装置が検出する対面状態検出方法であって、
    前記センサ端末装置に備えられる対面検出装置が、他のセンサ端末装置との通信の成否に基づいて前記物理的対面の有無を判定し、
    前記センサ端末装置に備えられる音声検出部が、音声を検出して音声データを生成し、
    前記対面状態検出装置が、前記音声データを解析して発話の有無を判定し、
    前記対面状態検出装置が、前記物理的対面の有無の判定の結果と、前記発話の有無の判定の結果との組み合わせに基づき、前記組織内人員との対面、前記センサ端末装置を装着していない組織外人員との対面、および非対面を含む行動のうち、前記物理的対面が有りと判定されたときに、前記組織内人員との対面が有りと判定し、前記物理的対面が無いと判定され、かつ、前記発話有りと判定されたときに、前記センサ端末装置を装着していない組織外人員との対面が有りと判定し、前記物理的対面が無いと判定され、かつ、前記発話は無いと判定されたときに、非対面であると判定する行動判定を行うことを特徴とする対面状態検出方法。
  8. 請求項7において、
    前記センサ端末装置に備えられる加速度検出部により、当該センサ端末装置を装着した前記組織内人員の動きを検出し、
    前記行動判定では、さらに、前記組織内人員の動きの検出結果も参照して判定する
    ことを特徴とする対面状態検出方法。
  9. 請求項7または8において、
    前記対面状態検出装置が、前記組織内人員と、前記センサ端末装置を装着していない組織外人員との対面活動を抽出可能な情報である対面活動情報を取得し、
    前記行動判定では、さらに、前記対面活動情報も参照する
    ことを特徴とする対面状態検出方法。
JP2011151651A 2011-07-08 2011-07-08 対面検出方式 Active JP5907549B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011151651A JP5907549B2 (ja) 2011-07-08 2011-07-08 対面検出方式
PCT/JP2012/066938 WO2013008673A1 (ja) 2011-07-08 2012-07-03 センサ端末装置、対面状態検出装置及び対面状態検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011151651A JP5907549B2 (ja) 2011-07-08 2011-07-08 対面検出方式

Publications (2)

Publication Number Publication Date
JP2013020338A JP2013020338A (ja) 2013-01-31
JP5907549B2 true JP5907549B2 (ja) 2016-04-26

Family

ID=47505965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011151651A Active JP5907549B2 (ja) 2011-07-08 2011-07-08 対面検出方式

Country Status (2)

Country Link
JP (1) JP5907549B2 (ja)
WO (1) WO2013008673A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018003986A1 (ja) * 2016-06-30 2019-04-18 国立大学法人 筑波大学 対面インタラクション装置、これを用いた装着デバイス、及び対面促進方法
US11721415B2 (en) 2016-08-02 2023-08-08 Canon Medical Systems Corporation Medical information system, information processing terminal, medical information server and medical information providing method
JP7316856B2 (ja) * 2019-07-05 2023-07-28 清水建設株式会社 コミュニケーション計測システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099054A1 (en) * 2008-05-26 2011-04-28 Hitachi, Ltd. Human behavior analysis system

Also Published As

Publication number Publication date
JP2013020338A (ja) 2013-01-31
WO2013008673A1 (ja) 2013-01-17

Similar Documents

Publication Publication Date Title
AU2016200905B2 (en) A system and method for identifying and analyzing personal context of a user
JP5764473B2 (ja) イベントデータ処理装置
JP2009211574A (ja) 作業品質を測定するサーバ及び作業品質を測定するセンサネットワークシステム
US10049336B2 (en) Social sensing and behavioral analysis system
Du et al. Recognition of group mobility level and group structure with mobile devices
Matic et al. Multi-modal mobile sensing of social interactions
US20210082453A1 (en) Acoustic neural network scene detection
JP6423017B2 (ja) 心理状態計測システム
CN108536099A (zh) 一种信息处理方法、装置及移动终端
KR20170027627A (ko) 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
JP6728863B2 (ja) 情報処理システム
JP2013031009A (ja) 情報処理装置、ダイジェスト生成方法、及びダイジェスト生成プログラム
Hossain et al. Activity recognition by using lorawan sensor
JP2021114338A (ja) 業務活動分析装置、業務活動分析方法、及びプログラム。
CN207676159U (zh) 一种家用养老管理系统
JP5907549B2 (ja) 対面検出方式
JP5396537B2 (ja) 情報処理システム、サーバ、及び情報処理方法
Dissanayake et al. Indolabel: Predicting indoor location class by discovering location-specific sensor data motifs
CN209606794U (zh) 一种可穿戴设备、音箱设备和智能家居控制系统
Darbar et al. Surfacesense: Smartphone can recognize where it is kept
CA2913538A1 (en) Social sensing and behavioral analysis system
WO2023196392A1 (en) Environment sensing for care systems
Shaikh et al. Automatic life-logging: A novel approach to sense real-world activities by environmental sound cues and common sense
JP6533868B1 (ja) コミュニケーション評価システム及びコミュニケーション評価方法
WO2014038014A1 (ja) 対面データ生成装置及び対面データの生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160317

R150 Certificate of patent or registration of utility model

Ref document number: 5907549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150