以下、本発明の実施形態について図面を参照して説明する。
(第1実施形態)
図1は、本発明の第1実施形態に係る無線通信機能付きヘッドセットの外観を示す。図1(a)は両耳タイプのヘッドセット10を、図1(b)は、片耳タイプのヘッドセット20を示す。いずれのタイプのヘッドセットも、装着者(ユーザ)の音声を検出して第1の音声信号を生成するマイクロホン17と、この第1の音声信号を近距離無線通信により送信し、また、第1の音声信号に対して別のヘッドセット装着者から返送されてくる第2の音声信号を近距離無線通信により受信する無線通信モジュール11と、CPUボード13と、受信した音声や再生した音声を出力するスピーカ15を有する。
ヘッドセットはまた、口述する多種のモードを切り替え、選択することのできる機能選択スイッチ19を有する。耳あて23は柔軟なフレームで接続され、ユーザの頭部に支持される。一方の耳あて23からアーム18が伸び、先端にマイクロホン17がついている。マイクロホン17は、ユーザがヘッドセット10(または20)を装着したときに、ユーザのほぼ口元に位置し、周囲ノイズの重畳が少ない音声を検出する。
耳あて23の中には、スピーカ15、CPUボード13、無線通信モジュール11、バッテリー21が内蔵されている。なお、図示はしないが、各要素は必要に応じてケーブル等で接続されている。
このような無線通信機能付きヘッドセット10、20は、近距離無線通信、たとえば、ブルートゥース(Bluetooth)規格による無線通信を行う。ブルートゥースの場合、2.4GHz帯での電波を利用し、毎秒1Mbitでのデータ伝送が可能である。おなじブルートゥース機器間でのデータのコネクションは自動的に行われるため、ブルートゥース機能を持った端末同士では、特に“接続する”という操作をしなくても、近くに置いただけで接続が完了するという利点がある。また、認証機能が用意されているので、見知らぬ他人の機器と勝手にネットワーク接続されるおそれもない。ブルートゥースを利用したヘッドセットは、たとえば、設定によって8kHz、16kHz、22.05kHzあるいは44.1kHzなどのサンプリング周波数の音声信号を送受信できる。しかし、本発明はブルートゥース規格のヘッドセットに限定されず、ひろく無線通信機能を有するヘッドセットを意図する。
図2は、図1に示すヘッドセットで構成されるコミュニケーション記録システムのシステム構成を示す。このシステムは、基本的に常時録音、すなわちユーザがヘッドセットを着用して通信している間は自動的に録音がなされることを前提とする。通信は、ヘッドセットの装着時にパワースイッチをONすることによって開始されてもよいし、温度センサ等によりヘッドセットを装着したときに自動的に開始されてもよい。
CPUボード13は、マイクロホン17で生成された第1音声信号をデジタル信号に変換する音声検出器36と、第2のヘッドセット10Bから送信され無線通信モジュール11で受信した第2の音声信号を復号する復号化手段39と、第1および第2の音声信号の発生時刻を取得する時計手段33とを含む。時計手段33は、たとえば、標準時計機能を用いる。
音声検出器36でデジタル化された第1の音声信号と、受信され複合された第2の音声信号は、情報作成部35に入力される。情報作成部35は、第1および第2の音声信号に、時計手段33によって得られた時刻情報を関連付け、記録情報を作成する。このとき情報作成部35は、第1および第2の音声信号からキーワードを抽出する。図2には示さないが、ヘッドセットはさらにキーワード記憶部を有して、あらかじめヘッドセットの用途に応じたキーワードが格納されている。情報作成部35はキーワード記憶部を参照して、第1または第2の音声信号中にキーワードが含まれる場合、それらを抽出する。キーワードを抽出することにより、後日録音された音声を再生するときに、音声や文字でキーワードを入力することにより、検索が容易になる。
記憶手段31は、時刻情報と対応付けられた第1および第2の音声信号を格納する。図2の例では、ヘッドセット10Aと10Bの間で交わされた対話内容は、デジタル音声信号として記憶手段31に格納されるので、長時間の記録にも十分対処できる。また、適宜圧縮技術を用いて音声データを圧縮して記録してもよい。記憶手段31は、ヘッドセット内に内蔵されたものであってもよいし、着脱式であってもよい。
ヘッドセット10Bからの第2の音声信号はまた、音声再生器37にも入力される。受信された第2音声信号は、音声再生器37でアナログ信号に変換され、スピーカ15から出力される。したがって、ヘッドセット10Aを装着したユーザは、ヘッドセット10Bのユーザと無線通信を介して会話すると同時に、その会話内容は、時刻情報とともに、リアルタイムでヘッドセット内のメモリ(記憶手段)31に記録(録音)される。
記録された内容は、たとえば図1の機能選択スイッチを操作することによって後日再生することができる。また、記憶手段31を着脱可能なメモリカード(たとえばSDカード)にした場合は、別の機器で再生することもできる。会話内容は、時刻情報(年月日を含む)と関連づけて記録されているので、再生時の検索が容易になるとともに、記録としての証拠能力が高い。また、対話中のキーワードが抽出されているので、検索時にたとえば音声でキーワードを入力することによっても、検索を容易にできる。
また、図示はしないが、CPUボード13に暗号化/複合化部を設置してもよい。この場合、記録された情報の保存と活用についてさらに信頼性を高め、プライバシー保護を図ることができる。
なお、ヘッドセット10Aから10Bへ第1の音声信号を送信する場合は、音声検出器36でデジタル変換された信号を符号化手段38で符合化して、無線通信モジュール11から無線送信するが、符合化手段38、復号手段39は、通常は無線通信モジュール11内に内蔵される。
図2の例では、2つのヘッドセットのうち、ヘッドセット10Aだけが、時計手段33、情報作成部35、記憶手段31を有するが、少なくともいずれか一方がこれらの構成要素を有すればよく、もちろんヘッドセット10A、10Bの双方がこれらの要素を有してもよい。また、時計手段33を、後述するように時間情報をのせた標準電波による電波時計としてもよい。この場合、標準電波受信用のアンテナが別途必要になる。電波時計を用いた場合、時間の確実さが保障され、時間を不正に変更することによる記録(録音)内容の不正利用などが防止される。
図3は、図2のヘッドセットを用いたコミュニケーション記録システムの変形例である。図3のシステムでは、無線通信機能付きヘッドセット40Aと、40Bの双方が、時計手段を有し、いずれか一方の2つの時刻を比較調整して、時刻情報の信頼性を向上させる。
第2ヘッドセット40Bのマイクロホン17で生成された第2の音声信号は、第2ヘッドセット40Bの時計手段33で得られた第2時刻情報とともに符合化され、第1ヘッドセット40Aに無線送信される。第1ヘッドセット40Aにおいても、時計手段33で独自に第1時刻情報を得る。第1時刻情報と第2時刻情報は、第1ヘッドセット40Aの時計調整部45に入力される。時計調整部45は、第1時刻情報と第2時刻情報を比較し、同一または許容誤差範囲内である場合は、第1および第2の時刻情報を正しい情報として、記録作成部35に供給する。2つの時刻情報が一致しない場合は、たとえばアラームなどにより補正を促すなどの方法がある。
図3の例では、2つのヘッドセットのみが図示されているが、時計調整機能付きのヘッドセットを用いたコミュニケーション記録システムは、会議など多人数で討論する場合に特に有効である。この場合、時計調整部45は、すべてのヘッドセットから入力される時刻情報を比較し、大多数の時刻情報が一致している場合に、それを適正な時刻情報として記録作成部35に供給する。これにより、記録内容の証拠能力がいっそう向上する。
図4は、図2に示すヘッドセットおよびシステムのさらに別の変形例を示す。
無線機能付きヘッドセット50Aは、時計手段33に加えて、位置情報を取得するたとえばGPSを利用した位置特定部47を有する。GPSはアメリカ合衆国によって、航空機・船舶等の航法支援用として開発されたシステムである。このシステムは、上空約2万kmを周回する24個のGPS衛星(6軌道面に4個ずつ配置)、GPS衛星の追跡と管制を行う管制局、測位を行うための利用者の受信機で構成されている。航空機・船舶等同様に本BTHSでは、4個以上のGPS衛星からの距離を同時に知ることにより、自分の位置等を決定する。GPS衛星からの距離は、GPS衛星から発信された電波が受信機に到達するまでに要した時間から求める。
位置特定部47で得られた位置情報は、時刻情報とともに、情報作成部35に入力される。情報作成部35は、ヘッドセット50Aで検出されたユーザの第1音声と、ヘッドセット50Bから送信されてきた別のユーザの第2音声に、時刻情報と位置情報を関連づけて、格納すべき情報を作成する。記憶手段31は、時刻情報と位置情報が添付された音声信号を格納する。
このような構成では、会話の内容とともに、時間と場所を特定できるので、会話内容の証拠能力がいっそう向上する。
第1実施形態のコミュニケーション記録システムは、各人の行動範囲が広くなるグループ視察や、報告書作成に有効である。また、医療の現場や野外でのグループ教育への適用も期待される。たとえば、自宅介護の場合、派遣された介護士と、患者の双方がヘッドセットを着用して介護記録を取る場合、介護士の運動量は大きいので、両手が自由になるヘッドセットを着用して患者との間の会話を自動録音することが考えられる。録音内容には時刻情報が付加されるので、記録としての証拠性が高く、介護の信頼性が向上する。また、ヘッドセットの数をさらに追加して、第3者、たとえば看護婦や付き添い人を介在させることにより、さらに証拠能力を増すこともできる。
(第2実施形態)
図5は、本発明の第2実施形態に係る無線機能付きヘッドセットを用いたコミュニケーション記録システムを示す。第2実施形態では、無線機能付きヘッドセットと外部の機器とを組み合わせてシステムを構成する。図5の例では、1つの無線機能付きヘッドセット60と、1つの外部機器70でコミュニケーション記録システムが構成される。機器70は、たとえば固定型のBT機能付き機器(以下「BT機器」と称する)とする。
ヘッドセット60は、装着者(ユーザ)の音声を検出して第1の音声信号を生成するマイクロホン17と、第1の音声信号をBT機器70に無線送信し、BT機器から送信される第2の音声信号を受信する通信モジュール11と、第2の音声信号を音声として出力するスピーカ15を有する。
BT機器70は、音声入力部としてのマイク77を有する。図5の例では、マイク77はケーブルによりBT機器70に接続されているが、ワイヤレスマイクであってもよい。ワイヤレスマイクの場合、ユーザの行動の自由度が広がり、利便性が増す。
BT機器70はまた、ヘッドセットとの間で無線送受信を行う通信モジュール11と、マイク77で生成された第2の音声信号をデジタル変換する音声検出部87と、時計手段83を有する。ヘッドセットから受信した第1の音声信号と、マイク77で生成された第2の音声信号は、情報作成部85に入力される。時計手段33で取得された時刻情報と、ヘッドセットの機器IDも、情報作成部85に入力される。情報作成部85は、第1および第2の音声信号に、時刻情報および機器IDを対応付けて、格納すべき情報を作成する。作成された情報は、記憶手段81に格納される。
時計手段83は、たとえば図6に示すように標準電波による電波時計である。電波時計は、時間情報をのせた標準電波を、内蔵された超高性能なアンテナ(電波受信手段)71で受信し、時刻抽出部72で、時刻を抽出、修正するものである。標準電波は、大鷹鳥谷山山頂付近に位置する「おおたかどや山標準電波送信所」から、原子時計における正確な時刻をのせて送信される。送信所の原子時計は、電波時計独立行政法人通信総合研究所日本標準時グループ(東京都小金井市)で原子時計によって作られた日本標準時と遠隔制御によって連動している。
時刻抽出部では、アンテナ71で受信した時刻信号を増幅し、解読する。時計手段83を電波時計とすることによって、必要に応じてBT機器70自体と、ヘッドセット60の時計機能を補正できる。また、正確な時刻が情報作成部85に供給されることになるので、録音内容の証拠能力が向上する。また、第1実施形態で述べたように、複数のヘッドセット間で通信、記録をする場合に、いずれかひとつのヘッドセットの時計手段を電波時計としてもよい。この場合、他のヘッドセットの時刻情報を正確な時刻に補正、統一することができる。結果として、システム全体で時間管理が正確に行なわれ、記録内容の信頼性(証拠能力)がいっそう向上する。
図5に戻って、BT機器70を据え置き型とすることで、ヘッドセット60の位置は、BT機器70との接続によって自動的に特定され、記録される。すなわち、図示はしないが、時刻情報に加えて位置情報も情報作成部85に入力され、より証拠能力の高い録音記録が作成される。
また、BT機器70を据え置き型ではなく、たとえばPDAなどのモバイル端末としてもよい。この場合、モバイル端末にGPS位置特定部を持たせることによって、位置情報を取得することができる。
さらに、ヘッドセット60にも、記憶手段を設け、BT機器70側で作成した記録を無線受信し、ヘッドセット60内のメモリに格納する構成としてもよい。
図5に示すヘッドセットシステムは、たとえば、医療や教育の場に有効に適用できる。医療の場合を考えると、患者は保険証の交付とともにBヘッドセットを交付される、あるいは、病院に行った際に受付で個人用のヘッドセットを貸与される。ヘッドセットがメモリを有し会話内容を常時録音できる構成とする場合は、患者とヘッドセットは1対1対応であることが望ましい。ヘッドセット側にメモリがなく、病院側のBT機器に会話内容を格納する場合は、任意の患者にヘッドセットを貸し出すことが可能である。
医師は、たとえばマイク77を使って、固有のヘッドセット60を装着した患者に現在の症状や注意事項を説明する。患者の質問に対する答えや、患者に対する問診事項もマイク77を用いて行う。これらの通信内容は、患者のヘッドセットの機器IDおよび時刻/位置情報とともに、自動的に記憶手段81に格納される。患者とヘッドセットが1対1対応でない場合は、患者の声紋から患者IDを起こして、あらかじめ格納し、対話の都度、機器IDの代わりに声紋による患者IDを用いてもよい。
このシステムを用いると、医師の側では、正しく説明、回答を行っている限りにおいて、録音記録により、正しい診察を行ったという事実の証明が得られる。
このような録音記録は、医療過誤に関する訴訟やインフォームドコンセント(Informed Consent)の実施記録として活用することが可能となる。また、このシステムを用いることにより、医師の対応が改善され、患者の信頼を取ることも可能である。また、保険会社は、このようなコミュニケーション記録システムを採用する病院等に対しては、医療過誤訴訟に対する賠償保険の保険料率を下げるようなビジネスを導入することも可能になる。
一方、患者にとってのメリットは、医師からの症状の説明や注意事項などの重要事項を、万一、聞きもらしたり忘れたりしても、録音内容を後日再生して確認できる点にある。記録内容に時刻情報や位置情報が添付されているので、検索も容易である。患者固有のヘッドセットではなく、不特定多数の貸し出し用ヘッドセットを用いた場合でも、病院内の据え置きBT機器で録音した記録内容を、MDなどに格納して患者に渡すこともできる。さらに、待ち状況や呼び出しもヘッドセットを介して確認することができるというメリットもある。現在、何人前まで診察が行われているのかの情報が得られるので、待ち時間を有効に使用することができる。待合室から離れても、ヘッドセットを通じて呼び出しがかかるので安心である。さらに、待合室では、たとえば病院内に多数設置されるBT機器から提供される自分の好きな音楽を聞くこともできる。
教育の場への適用においても、入学と同時に各生徒に固有のヘッドセットを交付することが考えられる。この適用例では、教育指導、進路指導、2者面談などの対話内容を、生徒のヘッドセットIDおよび時刻/位置情報と対応付けて、ディジタルデータとして保管することが可能になる。こうして保管された記録内容は、時間と場所、あるいは対話相手(生徒)が特定されているので、証拠能力が高い。
図5では、患者がヘッドセットを着用し、医師がマイクロホンを使用する例を示しているが、医師がヘッドセットを着用し、来診する患者にマイクロホンを渡して、会話内容をBT機器70に記録する構成としてもよい。ヘッドセット自体の構成は簡単になるので、ヘッドセットの小型化、軽量化が図られ、一方、BT機器には十分な容量が備わっているので、種々の記録を格納することができる。
BT機器の側に十分な容量がある場合、ヘッドセットとBT機器の一方または両方に、カメラ機能を付加することができる。この場合、無線通信により交わされた会話内容とビデオ情報とが、時刻/位置情報と対応付けられて格納されることになる。
図7は、図5のシステム構成の変形例を示す。図7に示すコミュニケーション記録システムは、2つの無線機能付きヘッドセットと、1つの外部機器を含む。
具体例としては、第1のヘッドセットと90A、第2のヘッドセット90Bと、これらのヘッドセットと無線通信により送受信可能な、たとえばブルートゥース規格によるBT機器110とを含む。第1および第2のヘッドセット90A、90Bは、それぞれ、装着者(ユーザ)の発語する音声を検出して第1の音声信号を生成するマイクロホン97、第1の音声信号を機器110を介して第2のヘッドセットに送信し、第2のヘッドセットから送られてくる第2の音声信号を機器110を介して受信する送受信部108、109を有する。機器110は、第1および第2の音声の発生時刻を取得する時計手段113と、第1および第2の音声信号に時刻情報を対応付けて格納すべき情報を作成する情報作成部115と、作成された情報を格納する記憶手段111とを備える。
図7のシステムでは、図5のシステムで用いられた付属マイク77付きのBT機器70に代わって、第2のヘッドセット97とBT機器110を用いる。したがって、たとえば医療の例でいえば、医師と患者の双方がヘッドセットを着用することになる。機器110は、据え置き型でもモバイル型でもよい。2つのヘッドセットの間で交わされた会話は、情報作成部115で時刻情報が添付されて、記憶手段11に格納される。図5のシステムはインタビュー型の対話記録に適していたが、図7のシステムは、装着者の数や、行動範囲が拡大される。たとえばリハビリの場で、物理療法士と患者との間で交わされる会話に加えて、別室で指示を出す医師の言葉もすべて据え置き型の機器110にリアルタイム録音する場合に適する。録音内容にヘッドセットの機器IDも対応付けられて記録される場合は、時間、場所に加えて対話相手も特定することができ、記録内容の証拠能力がさらに高まる。
また、介護の場では、介護士と患者とがヘッドセットを着用し、会話記録をヘッドセット内のメモリの代わりに、患者の自宅に据え置きの機器110に無線通信によりリアルタイムで格納することもできる。あるいは介護士がモバイル端末を持参して、モバイル端末内に記録するなど、適用範囲は広い。据え置き型の機器の場合、ヘッドセットがこの機器と接続することによって自動的に場所情報が得られることは、前述のとおりである。また、図5のシステムと同様に、いずれかのヘッドセットにカメラ機能を付加してもよい。この場合、音声、映像について、適宜、圧縮技術を用いて記録するようにしてもよい。
たとえば、介護士が被介護人の着替えを手伝う場合に「これから山田さんの着替えを行います」という音声とともに、着替え状況を映像としても記録することができる。後日、たとえば「着替え」をキーワードとして検索する場合、検索結果である「着替え」周辺の音声認識結果に加え、録音時の音声と映像とを再生することができる。
(第3実施形態)
図8は、本発明の第3実施形態に係るコミュニケーション記録システムの概略を示す。このシステムは、第2実施形態のシステムにテキスト変換機能を持たせたものである。図8では、図7に示す2つのヘッドセットと1つの機器で構成されるシステム構成を採用しているが,図5に示すように、1つのヘッドセットと1つの音声入力手段付きの機器で構成されるシステム構成であってもよい。
図8のコミュニケーション記録システムにおいて、機器120は、第1および第2のヘッドセット90A、90Bから無線送信される第1および第2の音声を受信し、受信した音声を他方のヘッドセットへ送信する送受信部118、119を有する。受信された第1および第2の音声は、他方のヘッドセットへ送られると同時に、機器120の情報作成部115にも入力される。第1および第2の音声は、時計手段113によって得られた時刻情報と対応付けられて記憶手段111に格納される。
機器120はさらに、音声認識部121と、テキスト情報記憶部123を有する。音声認識部121は、情報作成部115で作成された音声データまたは記憶手段111に格納された音声データを、テキスト(文字列)変換する。テキスト情報記憶部123は、テキスト変換された情報を格納する。したがって、図8のコミュニケーション記録システムでは、機器120において、対話内容は音声として録音されると同時に、リアルタイムで文字情報としても記録される。
機器120はまた、キーワード認識部125を有し、録音された音声と記録されたテキストから、キーワードを抽出する。後日、キーワード入力部127から音声または文字でキーワードが入力された場合、キーワード認識部125は、そのキーワードが抽出されたキーワードである場合に、記憶手段111とテキスト情報記憶部123を検索して、簡単・迅速に希望の記録位置を特定する。特定された位置の音声またはテキストは再生され、機器120の表示画面に表示され、あるいはスピーカから出力される。
図9は、図8の音声認識部121の概略ブロック図である。音声分析部132および特徴抽出部133において、入力されたデジタル音声データから特徴パラメータを作成する。入力されるデジタル音声データは、所定のサンプリング周波数と量子化ビットでデジタル変換されている。音声分析部132は、フレーム長24ms(ハミング窓)、フレームシフト8msで512点FFT分析し、特徴抽出部133は,32チャンネルのBPF群出力パラメータx(t、f)、f=1…32を作成する。
音声量子化部543は、48msの範囲の時間−周波数パターンを、8msずつずらしながら量子化することで音声セグメント時系列を出力する。第3実施形態では、235種類の音声セグメントを定義する。音声セグメント時系列は音素HMMから構成される単語HMMの連続とし表現できる。ここでのHMMは、left-to-right型のSMQ/HMMで、音素の前後関係を考慮して分類した三重音(triphone)を音素HMMに使用した。音響モデル136は、入力された音声の音響的な類似性を調べるためのHMM辞書である。一方、言語モデル137は、言語としての類似性を調べるための辞書であり、単語二重連鎖(bigram)、単語三重連鎖(trigram)を用いて、連続する単語の繋がり易さの情報を格納する。テキスト化部135では、音響モデル136、言語モデル137に加え、10万5千の単語を蓄えた単語辞書138を用いて、音響パラメータを日本語テキスト候補系列に変換する。
キーワード抽出部139は品詞に基づき、たとえば、名詞や固有名詞などを、検索のためのキーワードとして抽出する。たとえば、ヘッドセット90Aを装着した介護士が、接話マイクロホン97に「これから山田さんの着替えを行います。」と発後すれば、この音声は自動的に認識され、「山田」、「着替え」などのキーワードが抽出される。
抽出されたキーワードは、キーワード認識部125に送られ、必要に応じて音声データとしてもキーワード登録される。このように抽出されたキーワードを用いることによって、検索速度が速くなる。「着替え」などの介護の請求にかかわるものに関しては、自動的に登録され請求書の中に記載される。もちろん、最終的な確認は介護士がチェックする様にしてある。逆に、確かに着替えをしたときの状況を再確認したい時には、キーワード入力部127から、音声あるいは文字によって「着替え」を入力して検索すれば、「着替え」周辺のフレーズ「これから山田さんの着替えを行います。」が即座に検索され、再生される。キーワード認識部125は、キーワードが入力された方式、すなわち文字入力か音声入力かによって、記憶手段111とテキスト情報記憶部123を検索する。
図10は、テキスト情報記憶部に格納される文字列の例を示す。ヘッドセット90A(機器ID400001)を着用した介護士が、ヘッドセットB(機器ID80001)を着用した被介護者が交わした会話内容がテキスト変換され、時刻情報とともに格納される。テキスト化された文字列に対応する波形は、ヘッドセット90のマイクロホン97で音波として検出された波形であり、テキスト情報記憶部の中には格納されていないが、対応関係を示す便宜上、図10で示している。
図8〜9に示すシステムでは、記録時に音声認識部を用い、入力された音声を文字としても格納している。しかし、記録の格納は音声データだけで行い、再生時に音声認識部を動作させて、文字列として再生させる構成としてもよい。
このようなコミュニケーション記録システムでは、無線通信により交わされる対話内容が、音声データとしてリアルタイムで録音されると同時に、文字としても記録されるので、記録としての利用価値が高い。
また、キーワードを抽出することによって、検索が容易になる。
(第4実施形態)
図11および図12は、本発明の第4実施形態に係る無線通信機能付きヘッドセットと、これを用いたコミュニケーション記録システムの概略図である。第4実施形態では、対話内容の記録に際して、記録することへの合意あるいは許可がある場合にのみ記録を行う構成を説明する。図11では、記録される方(ヘッドセット140Bを着用したユーザ)に記録許可の決定権がある例を、図12では記録する方(ヘッドセット160Aを装着したユーザ)に記録許可の決定権がある例を示す。
本発明では、ヘッドセットを着用して通信を開始すると、自動的に通信内容(対話内容)が記録されることを前提としているが、状況、対話内容によっては記録が望ましくない場合も当然ある。対話を交わしたユーザの間であらかじめ記録の合意がある場合はよいが、そうでない場合は、たとえばプライバシー侵害の問題が生じる。
記録の合意を得るための1つの方法として、特定のヘッドセットを装着しているということをもって合意したとみなす方法がある。例えば、患者がヘッドセットを装着していれば、その時に発声し入力された音声は記録されても異存はないとあらかじめみなす方法である。この場合、図11に示す例では、患者がヘッドセット140Bを装着した時点で、医師のヘッドセット140Aの記録中表示部が作動する。患者はこれを見て、記録に同意していればそのままヘッドセットを介して対話すればよい。同意できない場合には、記録を止めてもらうように依頼する。
2つ目の方法は、記録(録音)する側で、特定の相手、場所、時間に対しては事前に記録することの同意を得ておき、登録しておく方法である。図11および図12は、この2つめの方法を実現するためのシステム構成を示す。
医療への適用を例に取ると、図11では患者が着用するヘッドセット140Bが、許可情報記憶手段153と、記録許可判定部151を有する。許可情報記憶手段153は、たとえば図13に例示する記録許可情報を格納する。許可情報記憶手段153へは、図示しない入力手段を介して、適宜、記録許可情報を書き込めるものとする。記録許可判定部151は、許可情報記録手段を参照して、対話内容の記録が許可されるべきかどうかを判断し、判断結果を医師のヘッドセット140Aへ自動的に無線送信する。
たとえば図13(a)の例では、患者のヘッドセット140Bには、時間や場所にかかわらずB医師との会話についてのみ記録を許可する条件が設定されている。ここでアスタリスク「***」は、特に条件がないことを示す。相手がB医師であることを特定するためには、B医師のヘッドセットとの接続状況を用いればよい。すなわち、患者のヘッドセット140Bが、B医師が装着する機器IDが100001のヘッドセット140Aと通信を開始したときに、この通信内容の記録は許可されると自動判定され、判定結果が医師のヘッドセット140Aに無線送信される。医師のヘッドセット140Aでは、この記録許可の判定を受けて、対話内容の記録を自動的に開始する。このとき、患者側のヘッドセット140Bは記録許可中である旨を、例えば緑色のランプで表示する。一方、医師のヘッドセット140Aは、記録中であることの表示を行う。
同じ患者がB医師以外のC医師の診断を受ける場合は、記録許可判定部151は許可情報記憶手段153を参照し、C医師のヘッドセットの機器IDに基づいて、この対話は記録許可されるべきではないと自動判定する。この場合、患者のヘッドセット140Bの許可中表示部146は作動せず、例えば、ランプが点灯しない。判定結果はC医師のヘッドセットに無線送信され、C医師のヘッドセットは、この患者との対話の記録は行わない。
図13(b)のように、時間や場所にかかわらず、A病院のすべての内科医師との会話について記録を許可するように登録することもできる。この場合も同様に、内科医師がそれぞれ装着するヘッドセットの機器IDとの接続に基づき、記録が許可されるか否かを自動判断し、判断結果を医師のヘッドセットに送るとともに、許可中表示部146の表示状態を制御する。
同様に、図13(c)の例では、時間や会話相手にかかわらず、A病院の内科診察室に入った場合にのみ記録を許可するように登録をしている。A病院の内科診察室に第2実施形態で説明したような据置き型BT機器(図8)が設置されている場合は、この機器と患者のヘッドセット140Bが接続されることによって場所情報が自動的に検出され、記録許可判定部で記録許可の判定を行う。この判定結果は医師のヘッドセット140Aへ無線通信され、一方、患者のヘッドセット140Bの許可中表示部146点灯する。
図13(d)の例では、A病院に入ったときに記録許可される。この場合は、A病院内に設置されている据置き型BT機器や、病院関係者が装着する2以上のヘッドセットとの接続が成立したときに、場所情報が検出され、記録許可の判定が出される。
図13(e)の例では、A病院の内科診察室において、12月20日から3ヶ月間についての対話内容の記録を許可する条件が設定される。また、図13(f)のように、12月20日から3ヶ月間にAND条件で治療終了までの期間を時間条件に加える、あるいは図13(g)のように、12月20日から3ヶ月間にOR条件で治療終了までの期間を時間条件に加えることもできる。
このように、同意に基いて記録をとることによって、録音した内容の信用性や証拠能力が格段に高まる。
もちろん、同意、不同意を確かめるまでもなく、ある特定の行為に対しては録音することを、例えば法律などによって許可するようにもできる。この場合、医師のヘッドセット140Aの録音中表示部144は、例えば赤く点灯するが、患者は気にせずに話した場合は対話内容が記録される。
図12の例では、記録する側のヘッドセット160Aが許可情報記憶手段173と記録許可判定部を有する。すなわち、ヘッドセット160Aは、装着者の音声を検出して第1の音声信号を生成するマイクロホン167と、この音声信号を近距離無線通信により第2のヘッドセット160Bに送信し、第2のヘッドセット160Bから返送される第2の音声信号を受信する送受信手段178、179と、記録が許可される条件を格納する許可情報記憶手段173と、許可情報記憶手段173を参照して第1および第2の音声信号を記録すべきか否かを判断する記録許可判定部171と、記録許可判定部171が記録を許可した場合に、第1および第2の音声信号に基づいて格納すべき情報を作成する情報作成部175とを備える。
図12のシステムでは、対話相手の許可を得るのではなく、記録する側において、特定の状況(特定の相手、場所、時間など)でのみ対話記録が許可される。
たとえば、あるプロジェクトを組んでいるグループが,メンバーと対話するときはプロジェクトに関する話題が多いので、メンバーと話すときには自動的に記録が許可されるなどである。この場合も、図11の場合と同様に、図13に示す許可情報をあらかじめ格納しておく。
第3実施形態に係る無線通信機能付きヘッドセットと、これを用いたコミュニケーション記録システムでは、常時通信、常時記録を前提としつつも、記録が望ましくない場合を考慮して、一定の条件の下で記録が許可されるか否かを判断する。これによって、ヘッドセット間の対話のプライバシーが保護され、システムの利便性が向上する。
(第5実施形態)
図14は、本発明の第4実施形態に係る無線通信機能付きヘッドセットと、これを用いたコミュニケーション記録システムを示す。第3実施形態では、対話相手、場所、時間など、あらかじめ記録を許可する条件を設定し、対話内容を記録するか否かを自動的に判断していた。第4実施形態では、対話中に突発的に秘匿にすべき内容が生じたときに、ヘッドセットの装着者(ユーザ)の意思でオフレコ指示を設定する構成を提供する。
例えば、複数の医師が常時記録を前提とする無線通信機能付きヘッドセットを装着して会話している途中に、患者のプライバシーに関して情報交換する必要が生じた時、その部分を秘匿にする必要がある。そこで、第4実施形態に係るヘッドセット160Cは、第1実施形態に示した基本構成に加えて、オフレコ設定手段をさらに有する。図14に示す例では、オフレコ設定手段は、ヘッドセット160Cに設けられたオフレコスイッチ172で実現される。ヘッドセット160Cのユーザは、秘匿が必要とされる話題が発生したときに、オフレコスイッチ172を押し、オフレコモードにして発話する。オフレコモードは、再度オフレコスイッチが押されてモードが解除されるまで継続される。
情報作成部175は、オフレコモードの指示と、オフレコモードの開始時刻および終了時刻を、音声データに対応付けて格納すべき情報を作成する。オフレコモードの指示は、たとえば、音声データのうち、オフレコが指示される区間の前後にオフレコタグを付与する。オフレコモードでは、音声はそのまま録音されるが、オフレコのタグが付与されているので、再生時にオフレコタグが検出されることになる。オフレコタグが検出された場合に、再生を禁止する、あるいは、対話した当事者の許可がないと再生しないなどの、厳しい再生制限を課す。
図14の例では、記録(録音)機能を有する第1のヘッドセット160Cにのみオフレコスイッチ172が設けられているが、第2のヘッドセット160Dにも同様のオフレコスイッチを設けてもよい。この場合、会話相手である第2のユーザもオフレコ指示の設定を要求できる。第2のユーザによるオフレコ指示要求は、無線通信を介して第1のヘッドセット160Cの情報作成部175に入力され、音声データにオフレコタグが付与される。オフレコタグの付与は、オフレコ支持を設定したユーザの機器IDと対応づけて行うのが好ましい。このようなオフレコモードの設定は、基本的には相手の承諾は必要でなく発声者の意図で設定することができる。
また、図14の例では、オフレコ設定手段をヘッドセットに設けられたオフレコスイッチ172としているが、音声コマンドによってオフレコモードを指示することも可能である。この場合は、ヘッドセット160Cは、第3実施形態に示した音声認識部(図8)をさらに有し、標準コマンドとして例えば「オフレコ」「ここからオフレコ」「オフレコ解除」などのコマンドを登録しておく。ヘッドセットの装着者が音声認識モードに移行するための特定キーワードを発声して音声認識モードに移行した後に、上述したオフレココマンドを発声すると、オフレココマンドが音声認識され、対応する処理(オフレコ開始、オフレコ解除)が実行される。この場合も、オフレコ設定は、オフレコ指示を発生したユーザのヘッドセットの機器IDあるいはユーザの声紋と対応付けて行うことが望ましい。
図14のシステムに音声認識部を持たせると、ヘッドセットで音声認識処理を行うことになるが、図8に示すように、据置き型のBT機器で音声認識を行うようにしてもよい。いずれの場合も発声した音声を認識し、その結果により、オフレコモードの設定、解除の処理が実行される。
第5実施形態に係る無線通信機能付きヘッドセットと、これを用いたコミュニケーション記録システムによれば、あらかじめ予想されない秘匿情報が突発的に会話された場合に、ヘッドセットの装着者の意思によって、オフレコにすることが可能になる。これいより、会話のプライバシーが保護され、ヘッドセットの信頼性と、コミュニケーション記録システム全体の信頼性が向上する。また、ユーザの意思でオフレコモードを設定できるので、利便性にすぐれている。
(第6実施形態)
図15は、本発明の第6実施形態に係る無線通信機能付きヘッドセットと、これを用いたコミュニケーション記録システムを示す。
第6実施形態では、常時録音のヘッドセットを前提としつつ、記録は行ったが再生することが抑止されるべき状況にも対処することのできるヘッドセットとシステムを提供する。
図15に示すように、無線通信機能付きヘッドセット180Aは、第1実施形態と関連して図2に示した基本構成に加えて、再生判定機能を有する。すなわち、再生許可情報記憶部は、記憶手段191に格納された音声データの再生が許可される条件をあらかじめ格納する。再生判定部203は、再生要求があった場合に、再生許可情報記憶部201を参照して音声データを再生すべきか否かを判断する。判定の結果、再生が許可された場合に、記憶手段191に格納されている音声データが音声再生器197に供給される。第1実施形態で述べたように、音声データが暗号化されている場合には、復号手段(不図示)で複合を行ってから音声再生器197に供給される。
図16は、再生許可情報の例を、図17は、録音が行われ、それを再生するときの態様を示す。図16では、再生許可条件として、再生許可場所、許可内容、再生担当者などを設定する。たとえば、図16(a)では、いずれの条件についても制限を加えていない。再生判定部203は、これらの条件に一致する場合にのみ再生を許可する。再生態様として、ヘッドセットで録音された内容を、同じヘッドセットで再生してもよいし(図17(b)の再生方法1)、着脱式のメモリカードの場合は、ヘッドセットで録音した内容を、PCなどの機器で再生してもよい(図17(b)の再生方法2)。また、あらかじめ録音自体もPCで行い、PCで再生する態様もある(再生方法2)。
なお、図17(a)は、図1記録時の態様として第2実施形態で述べた2つのヘッドセットと1つの外部機器とを用いたシステムで、対話内容を機器に録音する例を示しているが、2つのヘッドセットのいずれかに録音する構成、1つのヘッドセットと1つの音声入力機能つきの機器でシステムを構成し、機器に録音する構成も当然ありえる。
図18は、図16(b)〜16(d)のように、再生担当者が設定されている場合の再生許可判断を示す。再生許可条件記憶部201は、許可条件として指定された再生担当者IDを格納する。情報作成手段195は、音声情報に再生許可条件である再生担当者情報を関連づけ、記憶手段191に格納する。
再生判定部203は、再生要求があった場合に、再生要求をした人物と許可された再生担当者が同一であるかどうかを認証する。図16(b)のように、再生担当者が「A病院の医師」となっている場合は、再生担当者入力部205からA病院内の医師IDを入力するように促す構成としてもよい。図16(c)、(d)のように、「B医師」、「会話相手」と個人を指定する場合には、パスワードや生体情報(声紋や顔、網膜など)により個人認証を行う構成としてもよい。
判定の結果、同一人物であると判定された場合に、音声データは記憶手段191から音声再生器197に供給され、スピーカ185から出力される。
図16(e)のように、再生許可場所について指定がある場合は、たとえば備え付けられている固定型のBT機器との接続により場所を特定できる。またヘッドセットがブルートゥース規格に基づく場合は、ブルートゥースのポジショニング機能を用いる、そうでない場合は、ヘッドセットに内蔵した位置特定機能(図4参照)を用いるなどにより再生許可判断できる。
図19は、再生場所の指定と関連して、再生に特定の機器だけを用いることが条件として設定されている場合の再生許可判断を示す。再生許可情報記憶部201は、許可条件として指定された再生機器IDを格納する。情報作成手段195は、音声情報に再生許可条件である再生機器情報を関連づけ、記憶手段191に格納する。再生判定部203は、記憶手段に格納された音声情報に関連づけられた再生許可の機器情報と、再生に用いられる機器IDが同一であるか否かを判断する。同一である場合に、記憶手段191に格納された音声データを音声再生器197に供給し、スピーカ185から出力する。
図20は、図16(f)に示すように、再生許可条件として対話内容、たとえば「診察内容」が設定された場合の再生許可判断を示す。情報作成部195は再生許可情報記憶部201に格納されたキーワードを参照して、音声データにキーワード情報を対応付けた情報を作成する。記憶手段191は、指定されたキーワード情報とともに、音声データを格納する。
記録内容が再生許可の条件に設定されている場合は、図21に示すように、記憶手段191に格納されている音声データに対して音声認識部221で音声認識処理を行い、第3実施形態で説明したように、キーワードを抽出する。この場合、再生判定部203は、抽出したキーワードと指定された再生内容の条件が合致した場合に、キーワードを含む一定区間の音声の再生を許可する。
例えば、介護における「着替え」をいうキーワードが再生許可条件に設定されている場合、確かに着替えをしたときの状況を再確認するために、「着替え」をキーとして検索すれば、区間決定手段223で、このキーワードを含む一定区間として、「これから山田さんの着替えを行います。」というフレーズを特定する。規則合成手段225は、特定された区間の音声を再生し、スピーカ185で出力する。
録音時に、発声者が内容を特定するキーワード、例えば「ここから病状説明」、「以上で病状説明終了」などの言葉を意図して入力した場合には、キーワードの抽出が容易になり、指定された許可内容に該当する区間の音声のみを正しく再生することができる。発声者によっては、意図してキーワードを入力した方が、後に正しい再生が行われるならば、その方が効果的な利用が可能となる。
図22は、再生制限の別の例として、記録内容を合成音により再生する例を示す。
記録されたままの肉声と、テキストから人工的に合成された音声とでは、伝わる情報量が大きく異なる。例えば、上司の音声と同僚の音声では、言語的には全く同じでも、聞く側の心理的な影響度が異なる。再生を行う場合、再生判定部203で指定された再生条件に合致した場合、これまで説明したように、そのまま音声再生器197に送って音声を再生し、スピーカ185から出力する方法のほかに、音声を合成して出力する手段を備えることが好ましい。
この場合、再生要求の対象である音声データを音声認識部211で認識してテキストに変換することにより言語情報のみを抽出する。次に、このテキストを合成判定手段213、さらには規則合成手段215に供給し、規則合成により異なる音声に再変換する。スピーカ185からは合成された音声が出力される。この構成では、肉声に含まれる感情や、個人性などを排除した音声を出力することができる。例えば、会議などでの感情的な発言に対して、それらを後で聞き判断を下す場合に、肉声を聞いたのでは冷静な判断ができないと考えられる場合に利用するなどの場面が考えられる。また、逆に、個人性やその場の状況をリアルに再現するためには、記録された音声をそのまま聞くほうがよい場合もある。
このような規則合成手段を用いる構成を、上述した再生許可情報と組み合わせて利用してもよい。例えば、再生許可情報として発声内容が指定されている場合には、図21に示すようにキーワードスポッティングにより抽出されたキーワードを含むある区間のテキストを規則合成手段に送り、合成音を作成し、出力することもできる。なお、合成音で再生するか、肉声で再生するかの判断は、再生判定手段の内部で行うが、この指示は記録する際の発声者による指示、あるいは、再生して聞く側の指示のいずれに基づいてもよい。
ただし、発声者により、記録された音声のうち、指定された音声区間について肉声でのみ再生可能などの情報が付与された場合には、聞く側が合成音で聞くように指定しても、その要求を棄却し、強制的に肉声で再生するような制御を行うようにすることも可能である。いずれにしても、合成音でも、肉声でも聞けるような仕組みをもつことがポイントであり、その運用について、様々に変形して利用することができる。
また、記録された情報は、複数の発声者、たとえば介護士と被介護者の音声を記録したものであるので、再生を双方同意した場合に限定する方式をとることも可能である。また、医師と患者の場合にあっては、法律などでオーソライズされた医師あるいは法曹、行政担当官などが、同意によらず復合化できるようにしてもよい。
図23は、再生制限の別の例として、一定条件下で再生を許可するのではなく、一定部分の再生を禁止する構成を示す。この構成例では、ヘッドセットは、再生判定手段のほかに、音声認識部221、再生抑止判定手段233、再生抑止手段231を有する。図16で再生許可条件として列挙した再生担当者、場所、再生内容などは、図23の再生禁止条件として使用することができる。
図23の例では、再生担当者が再生禁止指定される場合と、一定のキーワードが再生禁止される場合の例を示す。再生担当者が禁止される場合は、情報作成部195で音声データに禁止される再生担当者情報を対応付けて格納情報を作成する。一定キーワードが再生禁止される場合は、音声データに制限キーワード情報を対応づけて格納情報を作成する。
再生判定手段203は、再生担当者が禁止されている場合は、記憶手段191に格納された音声データに含まれる禁止された再生担当者情報と、再生しようとしている担当者とが同一であるか否かを判断する。同一の場合は、再生抑止手段231により、この音声データの再生は行われない。すなわち,再生が禁止された担当者が再生要求を行っても、音声は再生されない。
所定のキーワードについては、まず、音声認識部221で記憶手段191に格納された音声が認識され、再生抑止判定手段233で、認識された内容が制限キーワードを含むか否かが判断される。制限キーワードを含む場合は、再生抑止手段231により、再生が抑止される。具体的には、妨害音で再生音を変換する、制限キーワードそのものをスキップするなどして、再生音が聞けないように制御する。同様に,再生禁止場所が設定された場合も、条件が合致した場合には、禁止された場所に対応する音声部分は再生しないように制御する。
さらに第5実施形態で述べたように、所定区間にオフレコタグが付与されている場合は、再生判定部203でオフレコタグを検出し、タグで特定される区間については再生を抑止する。再生判定部203は、情報作成部195で音声とリンクして記録されている発声者情報(ユーザ情報)を参照する。オフレコモードを設定した本人の許可を必要とすると判断した場合には、プライバシー問題、機密事項など第三者に開示されると重大な問題に繋がる場合が想定されるので、認証部(不図示)で認証を行う。すなわち、オフレコ区間を再生しようとする人間(ヘッドセット装着者)と、オフレコモードの設定者として記録されている人間の照合をおこなうため、例えば再生要求者に対してパスワードの入力を促す、あるいは、発声を促し音声情報を用いた認証などを行う。オフレコ区間の再生が許可されなかった場合には、オフレコタグにより指定された区間については、白色雑音やビープ音などを出力する、あるいはこの区間をスキップして出力するなどの処理がなされる。
また、図示はしないが、ヘッドセットに認証部を設け、記録内容が裁判などで証拠として要求されていると判断された場合に、本人の許可なくオフレコ部分を再生することができるスーパーバイザーを認証する機能を設定することもできる。スーパーバイザーには、例えば社会的に認知された存在であり、第三者として正当な判断が可能である裁判官などが相当する。
第6実施形態の無線通信機能付きヘッドセットと、これを用いたコミュニケーション記憶システムでは、再生されなくない対話内容については再生が抑止されるので、対話内容のプライバシーが保護される。
(第7実施形態)
図24および25は、本発明の第7実施形態に係るコミュニケーション記録システムを示す。第7実施形態では、ヘッドセット自体、およびコミュニケーション記録システム全体のセキュリティを向上できる構成を提供する。図24の例では、ヘッドセット間で送受信される音声信号にウォーターマーク(Watermark)と呼ばれる電子透かしを付与する構成を、図25では、ヘッドセットの装着者が適正なユーザであることを認証する構成を示す。
図24のコミュニケーションシステムでは、再生されスピーカから出力された音声が別の機器に録音され、不正な利用をされた場合の対策として、電子的な透かしを用いる。ヘッドセット240Aと240Bは、機器250を介して対話を行う。たとえば、ヘッドセット240Aのマイククロホン242で生成された第1の音声信号は、符合化・送信手段248から、まず機器240に無線送信される。機器250では、受信した第1の音声信号を情報作成部255に供給するとともに、電子透かし付与手段265にも供給する。電子透かし付与手段265は、第1の音声信号に電子透かしを付与し、符合化・送信手段268から第2のヘッドセット240Bへ第1音声信号を無線送信する。
同じく、第2のヘッドセット240Bでは、受信しスピーカ243から出力された第1音声信号の内容に対して応答してユーザが発した音声から、第2の音声信号を生成し、第2の音声信号を、符合化・送信手段148から機器250に無線送信する。
機器250は、受信した第2の音声信号を情報作成部255に供給するとともに、電子透かし付与手段265にも供給して電子透かしを付与する。電子透かしが付与された第2音声信号は、無線通信を介して第1のヘッドセット240Aに送信される。
電子透かしが付与された音声信号は、たとえば、スピーカから出力された後に別の録音装置などに録音される。しかし、それを再生しようとすると、かならず電子透かしが検出されることになる。したがって、仮に悪意のヘッドセットユーザに無許可で録音され、内容が悪用された場合であっても、録音された音声からウォーターマークが検出されれば、不正なルートで入手した音声情報であると判別される。例えば、裁判で証拠資料として録音内容を悪用した人間に、オリジナルの録音音声を提出させてウォーターマークの有無を確認することで、不正な操作により入手した情報か否かを決定することができる。
なお、図24の例では、2つのヘッドセット240Bと、BT機器250とでシステムを構成しているが、図8に示すように、1つのヘッドセットと、1つの音声入力手段付きのBT機器とでシステムを構成する場合にも、電子透かしが適用されることは言うまでもない。
図25の無線通信機能付きヘッドセット270Aは、ヘッドセットの装着者が適正なユーザであることを認証すべく、認証部293を有する。ヘッドセット間のコミュニケーションの場合、ヘッドセットの正当な使用者が発信している情報であることを通信相手(機器)に照明する必要がある。音声は日常的に使用され、使用者の負担にならないため、話者認証による認証システムは古くから知られていた、しかし、従来の話者認証システムでは、(1)あらかじめ話者を登録しておく必要がある、(2)話者の声質の経時変化に弱いため、しばしば音声を登録しなおす必要があり、そうしない場合は、照合精度を落として認証が通りやすくする必要がある、(3)登録の都度、マイクを設定する、あるいは装着する必要がある、などの問題があった。
このような問題に対し、図25の無線通信機能付きヘッドセット270Aでは、記憶手段281は、格納すべき対話内容のほかに、ヘッドセット270Aのマイク277で生成された音声信号を格納し、これを毎回更新する。認証部293は、今回マイク277で生成された音声信号と、記憶手段281にある更新された最新の音声信号とを比較して、今回採取された音声が、過去に一定時間以上連続して収集された話者の音声と一致するか否かを判断する。一致する場合に一致結果を、ヘッドセット270Aの機器IDとともに,符合化・送信手段288に出力する。符合化・送信手段288では、認証結果を合わせて、ヘッドセット270Aから第2のヘッドセット240Bへ音声信号を無線送信する。第2のヘッドセット240では、認証結果を参照することによって、ヘッドセット270Aの正当なユーザからの発信であると確認できる。
このような構成によれば、たとえば第三者が不当にヘッドセット270Aを使用した場合でも、一定時間以上音声を入力していなければ、正当なユーザとは判定されない。この場合、認証がなされない状態で第1音声が第2のヘッドセット270Bに送信される。第2のヘッドセット270Bの受信手段で認証の有無を判断することによって、ヘッドセット270Aが不正に使用されているかどうかが判明する。
また、ヘッドセット270Aの正当なユーザに、風邪などによる声の変調があっても、ユーザが発声するたびに記録されている音声特徴が更新されるため、一定時間音声をマイクロホン277に入力する限り、正しく判断される。
ヘッドセット270は、基本的に常時通信、常時記録を前提としているので、常時ユーザの頭部に装着されており、認証のためのユーザの負担は非常に少ない。このような認証機能を設けることにより、ヘッドセット自体の、そしてこのヘッドセットを用いたコミュニケーション記録システムのセキュリティが格段に向上する。
(第8実施形態)
図26は、本発明の第8実施形態に係る音声コミュニケーションの制御方式を示す図であり、図27は、このような音声コミュニケーション制御方式を適用した無線通信機能付きヘッドセットとコミュニケーション記録システムの図である。
第8実施形態では、聞かせたい、聞かせてもいい、聞かせたくないという送信側の心理状態や、聞きたい、聞いてもいい、聞きたくないという受信側の心理状態を考慮し、送信側と受信側の状態の組み合わせを見て、音声コミュニケーションの制御方式を決定する構成を提供する。
すなわち、図26に示すように、聞かせたい、聞きたいといったユーザの状態は、無線通信機能付きヘッドセットの音声コミュニケーション状態入力部(選択部)30を介して、音声コミュニケーションの制御方式決定部321に入力される。制御方式決定部321へは、環境情報、ヘッドセットの利用者関係情報、コミュニケーション制御方式指示情報なども入力される。
制御方式決定部321では、ユーザにより選択された状態や各種情報を参照して、ヘッドセット間で行われるコミュニケーションの制御方式を決定する。音声コミュニケーション実行部323では、決定された制御方式に基づいて、音声入出力の有無、音量・音質レベル制御、録音再生制御などを実行する。
上述した情報のうち、環境情報は、ヘッドセットを装着したユーザが行動している場所、時刻、活動状態、温度、勤務状態、忙しさなど、非意図的な利用者の環境(状態)に関する情報である。例えば、ヘッドセットのユーザが医師と患者である場合には、環境情報を参照して、病院内にいる場合には音声情報の録音、再生は許可される。また、組織のあるプロジェクトのメンバーは、プロへジェクトメンバーが一緒の時だけは録音と再生が可能になる、所属する企業・組織の建物内だったら記録、再生可能とする、などが決定される。このような環境情報を考慮することにより、人間の記憶機能の増強とプライバシー・セキュリティ機能を強化の一石二鳥が達成できる。
ヘッドセット利用者関係情報とは、ヘッドセットのユーザ間の人間関係、たとえば、医師と患者、医師と看護婦、教師と生徒、組織の上司と部下、警察官と容疑者、販売店と顧客、親と子供、といった人間関係情報である。この情報は、プライバシーやセキュリティの制御を人間関係に応じて適宜コントロールするために利用される。このように、人間や社会文化的側面を考慮することによって、IT技術が新しい価値や安心度、安全性、PL問題などへも対処することが可能になる。
制御指示情報は、特定の通信、記録等に関する指示情報である。たとえば、ある時刻になると、無線通信により患者の心臓をモニタする、計器の値をチェックする、それらの値を取り込むなどである。
これらの情報を用いると、たとえば、ヘッドセットの着用者が医師と患者の場合に、医師のアドバイスや投薬の指示が、時刻や、モニタ情報に基づいて可能になる。このように、ヘッドセットのコミュニケーション状態と併せて、あるいは単独で、利用者関係情報、環境情報、制御指示情報の少なくともひとつを用いることによって、よりきめ細かな通信制御が可能となる。
図27は、図26のコミュニケーション制御方式を適用した無線通信機能付きヘッドセット300A、300Bを用いたヘッドセットシステムの概略構成図である。
このヘッドセットシステムは、無線通信機能付きの第1のヘッドセット300Aと第1のヘッドセットと無線通信可能な第2のヘッドセット300Aを含む。
第1および第2の各ヘッドセットは、装着者の音声を検出して第1の音声信号を生成するマイクロホン307と、第1の音声信号を他方のヘッドセットに送信し他方のヘッドセットから送られてくる第2の音声信号を受信する送受信手段318、319と、装着者によってコミュニケーション希望状態が選択される状態選択部301とを備える。
第1のヘッドセット300Aのマイクロホン307で検出された音声信号は、音声コミュニケーション実行部323に入力される。ヘッドセット300Bが送信した音声信号もまた、音声コミュニケーション実行部323に入力される。一方、ヘッドセット300Aのユーザは、状態選択(入力)部301を介して自己の現在のコミュニケーション希望状態を入力する。この第1状態は制御方式決定部321に入力される。ヘッドセット300Bのユーザも同様に状態を選択し、この第2状態は無線送信を介して制御方式決定部321に入力される。制御方式決定部321は、入力されたこれらの状態に基づき、音声コミュニケーションの制御方式を決定する。
制御方式決定部321にはまた、上述したように環境情報、利用者関係情報、制御指示情報が入力され、必要に応じてこれらの一部または全部を勘案して、制御方式を決定する。
音声コミュニケーション実行部323は、決定された制御方式により、たとえば、再生する場合には、定められた音量・音質に変換した後、音声再生器317に出力する。また、録音する場合には、情報作成部315に出力される。
図28は、種々の状態を格納した音声コミュニケーション状態テーブルの一例である。本発明で提供する近距離無線機能付きヘッドセットの特徴は、単にコードを無くして電話のように音声通話をするだけではなく、音声やオーディオ信号の通信(コミュニケーション)と、音声利用した各種対話(インタラクション)が、人間と情報機器、人間と人間との間で、いつでも、どこでも、誰とでも、行動しながら可能とすることである。まさに、理想的なユビキタス、かつ、ウェアラブルな機器であり、人間に最も身近な情報機器である。このようなヘッドセットに、上述した実施形態で述べたような音声認識・理解、音声合成、音声対話技術を融合させることで新しい価値が創出される。
しかし、その便利さの代償として、インターネットやイントラネット、さらにはデジタル放送やデータベースやメールの本格普及で増大する情報がさらに氾濫し、情報洪水の問題が深刻化する。
そこで、人間と人間/機械システムの間のコミュニケーションやインタラクションにおいて、聞きたい(知りたい)、聞いてもいい(知ってもいい)、聞きたくない(知りたくない)というような情報入手時の状況、あるいは、聞かせたい(知らせたい)、聞かせてもいい(知らせてもいい)、聞かせたくない(知らせたくない)という人間の感情や認知的な側面を考慮した機能を、近距離無線ヘッドセットシステムに導入する。特に、聴覚(オーディオ)情報や音声言語情報は他の、テキストや視覚や触覚などの感覚情報と性質が異なっており、近距離無線ヘッドセットシステムにおいては重要な役割を演じる。
ヘッドセット300A、300Bは、それぞれ、送信する際の状態「聞かせたい」、「聞かせてもよい」、「聞かせたくない」を、識別子t1、t2、t3とともに格納する。さらに、受信する際の状態として、「聞きたい」、「聞いてもよい」、「聞きたくない」が識別子r1、r2、r3とともに格納される。制御方式決定部は、これらの中からユーザにより選択された状態を参照し、また、必要であれば環境情報なども参照して、プライバシーの保護を強化する、音声メッセージの強制的(PUSH)伝達を行うなど、実際の動作を決定する。
図29はこのような状態テーブルをさらに詳しく説明するための図である。たとえば、ヘッドセットAの状態が「聞きたい」「聞かせたくない」であり、ヘッドセットBの状態が「聞いてもよい」「聞かせてもよい」とする。この場合、図29(A)により、ヘッドセットBの音声はコミュニケーション実行部から出力されるが、ヘッドセットAの音声は出力されない。
なお、図示はしないが、「記録させたい」、「記録させたくない」、「記録してもよい」、「再生させたくない」などの状態を格納することもできる。このような状態を選択することによって、たとえば相手の話を聞きたくない場合に、直接の対話では面と向かって相手に「聞きたくない」と言いづらい状況でも、ヘッドセットで状態を選択するだけで、相手には気づかれることなく、聞かない状況を設定できる。すなわち、第8実施形態の無線通信機能付きヘッドセットを用いると、人間同士の直接対話とはまた別の作用効果を備えた新しい音声コミュニケーションが可能となる。
各ヘッドセットには、送信・受信の際に、音声コミュニケーション状態情報をあらかじめ準備しておく。例えば、通常(デフォルト)のヘッドセット利用時には、「聞かせたい」、「聞きたい」という、自由な通信、録音(記録)が可能になる状態に設定しておく。この状態では、人間のコミュニケーション範囲が拡張し、ヘッドセットの記憶能力が増強する。逆に、プライバシーやセキュリティの保護が重要となる場面では、ヘッドセットの通常状態(デフォルト時)を、音声受聴レベルが低い状態、全く聞こえない状態、歪ませる状態、録音や再生を不可にする状態などに設定できる。
このようなヘッドセットシステムの適用例として、例えば、高齢者のような情報弱者がヘッドセットAを装着している場合、受信側では、聞きたい(知りたい)は最優先される。また、再生する条件では、この高齢者が患者として接している医師の診察や診断に関わる音声が録音される場合に、高齢者本人と家族(保護者)による再生は可能とする。この場合、家族もヘッドセットを利用すると便利である。また、制御指示情報として、高齢者本人に繰り返し録音再生して聞かせたい情報をあらかじめ指定し、日常生活で必要な注意事項は、時刻、場所、食事時などを指定して適宜、再生提供することも可能である。また、ヘッドセット用に記録した音声情報以外に、テキストや映像情報も、適切なタイミング(制御指示)、環境条件で、併せて提供すると効果的である。さらに、家族や保護者には聞かせてもいいという、医師からの高齢者の患者家族に対する音声コミュニケーションの制御も容易に実現できる。上記の実施形態で説明したセキュリティや著作権保護方式、あるいは従来の通信制御技術を適宜利用できることは言うまでもない。
第8実施形態では、音声コミュニケーションを2人のユーザ間で行った例を示したが、3人以上の場合でも、音声コミュニケーション状態テーブルと音声コミュニケーション制御方式を修正して容易に実現可能である。このようなヘッドセットシステムにより、人間と人間の音声コミュニケーションの理想的なあり方を追求し実現できる。また、互いの顔が見える、新しいフェイス−トゥ−フェイス(face-to-face)のコミュニケーションを質的に変革するものである。
以上説明したように、本発明の無線通信機能付きヘッドセットおよびシステムによれば、ヘッドセットのユーザ間の対話や意図、意思が、プライバシーを維持したまま共有される。たとえば、医師や教師の場合、患者や生徒のプライバシーに関わる情報も会話の中に含まれる。あるいは、医師が主導権を握る閉鎖的空間である診察室や手術室での医療行為の状況や、教師が生徒に関して主導権を握る教室での教育の実施状況が記録されるので、家族、親、保護者は安心して情報を共有できる。これにより、在宅での治療や家庭教育との効果的な連携が可能となる。医師や看護婦や教師にとっては。オープン性が増すためにプラスの意味での負担は増えるが、得られる効果は大きい。
本発明に係るコミュニケーション記録システムやヘッドセットシステムで記録された情報は、証拠としての価値が高い。たとえば、医療事故や深刻ないじめ問題が発生した場合に、病院長や学校長、裁判所の許可、当事者の間で了解がとれれば、第三者や評価審査機関での再生加工を可能とすることも適宜できる。
また、本発明のシステムでは、プライバシー、セキュリティのメカニズムが整備されており、利用者は安心してオフレコ会話を行えるのも大きな利点である。
現状のバーチャルナインターネットやイントラネットのメールや掲示板の議論という聴衆や記録を意識した行為とは異なり、現実の会議室や飲食や懇談や車や飛行機の中、喫煙所といった、現実社会の「場」での、リラックスした一過性の音声会話の特長がそのまま生かすことができる。つまり、話し相手の了承が得られれば録音および再生が可能、再生は話し相手がいるときだけ可能、話し相手が許可をしたら可能、再生は録音と同じ場所でだけ可能、など、様々なパーミッションを設定制御することにより、記憶の補助と、オリジナリティの尊重、気楽で心地よい会話といった、新しい作用効果が生まれる。