JP6570505B2 - 送受信システム及びその端末装置 - Google Patents

Description

この発明は、腕に取り付けられた通信ケーブル等が屈曲動作されたことを電気信号で検出し、腕や手首の動きの検知信号により音声認識が開始される端末装置、およびその端末装置を使用して遠隔にある監視装置と情報の送受信を行う送受信システムに関するものである。

近年、原子力発電所や工場などの作業現場で、作業者が防護服を着て作業する必要になる場合がある。この場合、作業者は遠隔に居る人との通信手段として、携帯端末などの通信装置を使用することが考えられるが、手袋を装着した状態で、携帯端末のボタンなどを操作することは困難であったり、入力ミスを起こす問題がある。
例えば、原子力発電所の廃止措置などにおいて、放管従事者が身体に表示端末と環境測定装置を装着する場合の一例に、上腕部に環境測定装置を装着し、前腕部に表示端末を装着して、それをケーブルで接続する構成がある。

表示端末は音声認識機能を用いた入力端末であり、音声認識を処理する場合、音声認識させたい会話の始まりと終わりを明確に指示する必要がある。
表示端末は音声入力に従って音声認識処理をおこない、設定や動作を制御する。音声認識は常時マイクから入力される会話を処理していると、誤まった指令や設定を実施してしまうことがある。また、音声認識処理を常時行っていると、処理の負荷が高くなり、電池の消耗や発熱の問題が出てくる。

特許文献１には、音声認識処理を開始するためのスイッチ操作を取り除き、更にノイズの多い車室内においても音声認識率を向上させるため、処理要求入力を行うユーザの口元を継続的に撮影しながら口元の画像の変化を監視し、口元の画像に変化があった時が音声入力のタイミングであるとして、そのタイミングの起点に、マイクから入力された音声に対して音声認識処理を実行する技術が示されている。

特許文献２には、図７に示すように、腕に装着された変位パッド７１と、胸部に固定された変位センサ７２を設け、変位パッド７１の動きを腕の動きとして変位センサ７２が検出することで、マイクロホン７３で入力された音声をモバイルＰＣ７４で音声認識し、管理者からの音声出力はヘッドホン７５で、また画面表示は目の前に装着された表示手段７６を使用することで、利用者が要求する処理を特定している。

特開平１１−３３８４９０号公報 特開２００７−８０２４２号公報

特許文献１に記載の手法は、ユーザの口元を継続的に撮影するカメラが別途必要になり、またカメラが撮影した画像信号から多数の実唇パターンに基づいて音声認識の始端信号を作成するなど、そもそも音声認識処理の演算負荷が高い上に、さらに上記処理が必要となり、ＣＰＵの負担が重くなるという問題があった。
特許文献２に記載の手法は、腕に装着する変位パッドと、胸部に装着する変位センサが必要となり、それぞれの装着位置をどの位置にするかなどの手間が必要であり、また腕の
変位を変位センサを介して身体に装着されたモバイルＰＣで処理するため、変位センサとモバイルＰＣ間の配線が複雑となり、またマイクもヘッドホンに固定されたマイクで行うため、配線等が複雑であった。

この発明は、上記のような課題を解決するためになされたものであり、腕を曲げるといった簡単な動作で、マイクを内蔵した表示端末が音声認識を開始することができるようにした端末装置、及びその端末装置を使用して遠隔にある監視装置と情報の送受信を行う送受信システムを提供することを目的とするものである。

この発明に係わる端末装置は、マイクを内蔵し音声認識機能を有した表示端末と、外部と情報を無線通信する通信モジュールと、表示端末と通信モジュールを電気的に接続する変形自在な部材と、表示端末を前腕部に装着するための第１の装着部材と、通信モジュールを上腕部に装着するための第２の装着部材と、変形自在な部材の変形を検知するセンサを備え、センサの出力を表示端末へ送るようにしたものである。

この発明に係わる送受信システムは、上記した端末装置と、端末装置の通信モジュールと無線で通信する中継用の通信モジュールと、中継用の通信モジュールと有線で接続されて端末装置に指示やデータの情報を伝送する監視装置を備えたものである。

この発明によれば、音声認識を行う表示端末が前腕部に装着され、外部と無線通信する通信モジュールが上腕部に装着され、表示端末と通信モジュールが変形自在な部材で電気的に接続されて、その変形自在な部材の変形をセンサが検知することで、腕の曲げを検出できる。これにより表示端末に内蔵されたマイクに口を近づける動作を検出できるので、コストをかけずに音声認識の開始点を明確に表示端末の音声認識機能に指示することができるという効果がある。

この発明の実施の形態１に係る送受信システムの概略を示すブロック図である。 この発明の実施の形態１に係わる端末装置の概略を示す構成図である。 この発明の実施の形態１に係る端末装置に使用されるセンサの一例を示す概略図である。 この発明の実施の形態１に係る端末装置に使用されるセンサの出力回路の一例を示す回路図である。 この発明の実施の形態２に係る端末装置の概略を示す構成図である。 この発明の実施の形態２に係る端末装置に使用されるセンサの一例を示す概略図である。 従来の音声認識機能を有する情報処理装置の概略構成図である。

実施の形態１．
以下、この発明の実施の形態１に係る送受信システムおよびその端末装置について図１から図４に基づいて説明する。
図１はこの発明の実施の形態１に係る送受信システムの全体構成を示す概略図で、図１において、総合監視室に設置されている総合監視装置１は、ハブ２で分岐されて、複数の有線のＬＡＮまたは電力線伝送（ＰＬＣ）などの通信線３により各作業室４と電気的に接続されている。

各作業室４は、天井に設置された照明装置５に中継用の通信モジュール６が設けられ、通信モジュール６にはＬＥＤ照明手段６１と赤外線受光部６２が設けられている。
一方、作業室４の中で作業する作業員が装着する端末装置７には、中継用の通信モジュール６と無線でデータを送受信する通信モジュール８と、この通信モジュール８と有線で電気的に接続される表示端末９が設けられている。また、通信モジュール８には可視光受光部８１と赤外線放射部８２が設けられている。端末装置７の詳細な構成は図２で詳しく説明する。

図１に示すシステムにおいて、各作業室４で作業をしている作業者（図示省略）は通信モジュール８と表示端末９を腕に装着した状態で作業をしている。
このとき、総合監視装置１から、作業者に指示やデータを伝送するとき、ハブ２で分岐されて、通信線３により作業室４の天井に設置された照明装置５の通信モジュール６にデータが伝送される。
総合監視装置１から伝送されたデータは通信モジュール６が受け取り、通信モジュール６はデータを変調してその波形をＬＥＤ照明手段６１からの可視光Ｌｋの点滅として重畳し、端末装置７へ送信する。

照明装置５は可視光Ｌｋとして作業者に照射しており、作業者の腕に装着した端末装置７にデータ変調された可視光Ｌｋの点滅が照射される。端末装置７に含まれる通信モジュール８の可視光受光部８１が、その可視光Ｌｋを受光して電気信号に変換し、これを通信モジュール８で復調して、伝送されたデータを取り出す。そのデータを有線で表示端末９に伝送して、作業指示の画面や、音声指示として作業者に伝える。

作業者は、指示に対する応答や、作業内容の質問などを、腕を曲げて、表示端末９のマイクに向かって発話する。この腕の曲げる動作を検出して表示端末９の音声認識機能が開始され、発話された内容は表示端末９により音声認識され、テキストデータや命令コードに変換されて、通信モジュール８により変調されて、赤外線放射部８２にて上方向に赤外線光Ｌ_Ｒの点滅として照射する。
照明装置５の通信モジュール６に含まれる赤外線受光部６２は、赤外線放射部８２から照射された赤外線光Ｌ_Ｒを電気信号に変換し、この電気信号を復調してデータに変換したあと、通信線３により、ハブ２を経由して、総合監視装置１に伝送され、総合監視室にいる監視監督者に内容が伝えられる。

このような、双方向の通信を行うことで、監視監督者と作業者はお互いに連絡をとりながら、すべての作業者と情報を共有しながら作業をすすめることができる。
複数の作業室に分かれて作業する場合や、天井に複数の照明があり、照射されている面積が広い部屋においては、作業者に照明光が照射されている照明装置に切り替えながら、双方向通信を行うことができる。

図２は上記した端末装置７の概略を示す構成図で、端末装置７は、通信モジュール８と表示端末９を備える。
通信モジュール８は、図１に示したように中継用の通信モジュール６と情報を無線通信する可視光受光部８１および赤外線により中継用の通信モジュール６と無線通信する赤外線放射部８２と、腕を曲げた時の抵抗値変化を電圧に変換する変位検出装置（図４参照）とからなる。
表示端末９は、音声を入力するマイク９１と、端末の情報を発話するスピーカ９２と、情報を表示する表示部９３と、マイク９１から入力された音声を認識して音声データ処理を行う音声認識装置（図示省略）とからなる。

通信モジュール８は、たとえばＬＥＤ照明手段６１からの可視光の点滅にデータ変調し
て載せた通信方式で、データを可視光受光部８１にて受信し、データに対し復調を行った後、復調結果の信号を出力する。また、赤外線放射部８２により送信すべきデータを変調して、赤外線で照明装置５の近傍に設置された赤外線受光部６２に向けて、赤外線ＬＥＤの点滅にデータ変調して発光させる。

また、通信モジュール８と表示端末９は可撓性の通信ケーブル１０で電気的に接続され、通信ケーブル１０には腕の曲げの量が抵抗値で変化する曲げセンサ３０が内蔵されている。曲げセンサ３０は腕の曲げによる変位を抵抗値として検出して通信モジュール８に伝送する。通信モジュール８は抵抗値に基づく変位計測した結果を表示端末９に通信ケーブル１０を介して伝送する。表示端末９は抵抗値の変位から作業者が腕を曲げてマイク９１を口の近くに持ってきた動作を感知し、音声認識の開始を行う。
なお、上記は通信モジュール８と表示端末９を電気的に接続するものとして、可撓性の通信ケーブル１０を用いたが、腕を曲げた時の変位をセンサ３０が検出できるものであれば、可撓性の通信ケーブル１０に限らず、腕の曲げに応じて変形する変形自在な部材であればどのようなものでもよい。

通信モジュール８には、作業者の上腕部に装着するためのベルトのような装着部材１２が取り付けられ、表示端末９には、作業者の前腕部に装着するためのベルトのような装着部材１３が取り付けられている。
通信モジュール８が装着部材１２で上腕部に固定されたとき、可視光受光部８１と赤外線放射部８２は作業室４の天井、すなわち照明装置５の方に向くように構成されている。

図３は通信ケーブル１０に内蔵された曲げセンサ３０の構成を示し、曲がりが自由なフレキシブル基板３１の上に抵抗体３２が貼りつけられている。抵抗体３２の一方の端点３３はリード線３４で端子３５に、抵抗体３２の他方の端点３６はリード線３７で端子３８に接続されている。このフレキシブル基板３１が曲げられると、抵抗体３２に力が加わり、抵抗値が変化する。

次に、曲げセンサ３０の抵抗値の変化を電圧に変換する回路（変位検出装置）について図４を用いて説明する。
回路は図４に示すように構成されていて、腕の曲げによる抵抗体３２の変化をオペアンプ４１で電圧に変換している。オペアンプ４１の＋端子に抵抗体３２（抵抗値Ｒ１）を介して基準電圧４３となる電圧Ｖｉｎを加え、抵抗体３２の他方の端点は抵抗体４２（抵抗値Ｒ２）を介してグランド４４に設置することで、オペアンプ４１の出力端子４５には出力Ｖｏｕｔとして次の式（１）によって示される電圧値が出力される。
Ｖｏｕｔ＝Ｖｉｎ×Ｒ２÷（Ｒ１＋Ｒ２） ・・・（１）

こうしてオペアンプ４１の出力端子４５から、腕の曲げによる抵抗体３２（抵抗値Ｒ１）の変化量を電圧の変化として取り出すことができる。曲げセンサ３０はケーブル１０に内蔵されており、曲げセンサ３０の端子３５、３８は通信モジュール８の方向に向いており、前記の回路は通信モジュール８に内蔵されている。しかしながら、前記の回路は通信モジュール８に必ずしも内蔵する必要はなく、表示端末９側に内蔵してもよい。その場合は通信ケーブル１０を通じて伝送する必要がなくなる。

次に図１から図４に示す送受信システムの動作について説明する。表示端末９は、作業員の前腕部にベルトのような装着部材１３で固定されており、腕を曲げることで、作業員は表示端末９の表示部９３を見ることが出来、また口の近傍に持っていくことで、内蔵されたマイク９１に音声入力をすることができる。通信モジュール８と表示端末９は通信ケーブル１０で接続されており、通信ケーブル１０は腕を曲げるとケーブルが曲がるように構成されている。通信ケーブル１０には曲げによって抵抗値が変化する曲げセンサ３０が内蔵されている。

作業者の腕の曲げの変化を曲げセンサ３０が抵抗値の変化量として検出し、通信モジュール８は、ＡＤ変換器やＣＰＵが内蔵されており、曲げセンサ３０が検出した抵抗値の変化量を電圧に変換し、更には電圧をデジタルデータに変換して、通信ケーブル１０の通信線で表示端末９に伝送する。表示端末９は内蔵されているＣＰＵにより、音声認識ソフトウエアが動作するように構成されているが、音声がマイク９１から入力されて、音声認識が開始される開始点は、マイク９１が口元に近づくように、腕が曲げられた時の電圧値近傍のデータになった時に一致するように構成されている。また、音声認識を終了する点は、腕が延ばされた時の電圧値近傍のデータになった時に一致するように構成されている。

この発明の実施態様１によれば、上腕部に装着する通信モジュール８と、前腕部に装着する表示端末９とを電気的に接続する変形自在な部材にセンサを入れるという簡単な構成で、腕の曲げを検知して、音声認識の開始点や終了点を明確に音声認識ソフトウエアに指示することができるという効果がある。
即ち、音声認識動作に入るには、表示端末９に内蔵されたマイクに口を近づける動作するため、腕を曲げる動作を行う。この腕を曲げる動作を検出して、それ以降のマイクより入力される会話に音声認識処理を行う。一方、腕を伸ばすことで、音声認識を終了するということもできるため、音声認識して利用者が要求する処理を特定することが容易になるという手法を提供することできる。

実施の形態２．
次に、この発明の実施の形態２に係る送受信システムの端末装置を図５および図６に基づいて説明する。
図５はこの発明の実施の形態２に係る端末装置の概略を示す構成図であり、図６は端末装置に使用されるセンサの一例を示す概略図である。

図５において、通信モジュール８と表示端末９を電気的に接続する変形自在な部材として、実施の形態１で使用された通信ケーブル１０に代えて、複数の自在継ぎ手５１ａ、５１ｂ、５１ｃと、自在継ぎ手５１ａ〜５１ｃの間を電気的に接続する連結部材５２で構成したものである。またセンサ５３は自在継ぎ手５１ａ〜５１ｃの回転により抵抗値が変化するセンサとしたものである。その他の構成は実施の形態１の図２と同じ構成につき、同じまたは相当部分には同じ符号を付して説明を省略する。
自在継ぎ手５１ａのセンサ５３により腕の曲げを、自在継ぎ手５１ｂのセンサ５３により上腕部の回転を、自在継ぎ手５１ｃのセンサ５３により前腕部の回転を、それぞれ検出できるように構成されている。

自在継ぎ手５１ａ〜５１ｃの動きを検出するセンサ５３について、図５を用いて説明する。
自在継ぎ手５１ａ〜５１ｃのセンサ５３は、ベース部材５３１に回転軸５３２が回転自由に取り付けられており、回転軸５３２に固定された摺動部材５３３が抵抗体５３４に接触しなから回転するように構成されている。抵抗体５３４の端点には端子５３５、５３６が接続されており、摺動部材５３３には端子５３７が接触しながら接続されている。
このように自在継ぎ手５１ａ〜５１ｃを構成することで、端子５３５と５３７の間、もしくは端子５３６と５３７の間の抵抗値が回転により変化する。この抵抗値の変化を、実施の形態１の図４に示すような回路で電圧に変換することは可能である。

また、自在継ぎ手５１ａ〜５１ｃの間を電気的に接続する連結部材５２として、変形可能な弾性体などの部材にすることで、腕の動きに追従することができるため、腕の曲げ伸ばし動作の妨げにはならない。
また、通信モジュール８と表示端末９を電気的に接続する変形自在な部材として図５のような構成にすると、上腕部の回転と、前腕部の回転と、腕の曲げを電気的に検出できるため、３つの回転角度のデータより、マイク９１を口の近くに持って行ったか否かを正確に検出することができるという効果がある。同様にして、腕の曲げ伸ばしで、作業者が音声認識を終了したのかを正確に判定できるという効果がある。

以上、この発明の実施の形態を記述したが、この発明は実施の形態に限定されるものではなく、種々の設計変更を行うことが可能であり、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１：総合監視装置、 ３：通信線、 ４：作業室、 ５：照明装置、
６：中継用通信モジュール、 ７：端末装置、 ８：通信モジュール、９：表示端末、
１０：通信ケーブル（変形自在な部材）、 １２、１３：装着部材、 ３０：センサ、
３２：抵抗体、 ５１ａ〜５１ｃ：自在継ぎ手、 ５２：連結部材、 ５３：センサ、
８１：可視光受光部、 ８２：赤外線放射部、 ９１：マイク、９２：スピーカ、
９３：表示部

Claims (7)

1. マイクを内蔵し音声認識機能を有した表示端末と、外部と情報を無線通信する通信モジュールと、前記表示端末と前記通信モジュールを電気的に接続する変形自在な部材と、前記表示端末を前腕部に装着するための第１の装着部材と、前記通信モジュールを上腕部に装着するための第２の装着部材と、前記変形自在な部材の変形を検知するセンサを備え、前記センサの出力を前記表示端末へ送るようにした端末装置。
2. 前記変形自在な部材は、可撓性の通信ケーブルで構成され、前記センサは前記通信ケーブルに内蔵されて腕部の曲がりにより抵抗値が変化する曲げセンサとしたことを特徴とする請求項１に記載の端末装置。
3. 前記変形自在な部材は、複数の自在継ぎ手と前記自在継ぎ手の間を電気的に接続する連結部材で構成され、前記センサは前記自在継ぎ手の回転により抵抗値が変化するセンサとしたことを特徴とする請求項１に記載の端末装置。
4. 前記通信モジュールは、前記センサが検出した抵抗値変化を電圧データに変換して前記表示端末に伝送し、前記表示端末は前記電圧データの受信に応じて音声認識を開始するようにした請求項２または請求項３に記載の端末装置。
5. 前記連結部材は、変形可能な部材とした請求項３に記載の端末装置。
6. 請求項１から請求項５のいずれか１項に記載の端末装置と、前記端末装置の通信モジュールと無線で通信する中継用の通信モジュールと、前記中継用の通信モジュールと有線で接続されて前記端末装置に指示やデータの情報を伝送する監視装置を備えた送受信システム。
7. 前記中継用の通信モジュールは、作業室の照明装置に設けられていることを特徴とする請求項６に記載の送受信システム。

Images