JP6490375B2

JP6490375B2 - 無声無喉頭発声を用いるシステムの制御

Info

Publication number: JP6490375B2
Application number: JP2014195299A
Authority: JP
Inventors: イスラエル・ジルバーマン
Original assignee: Biosense Webster Israel Ltd
Current assignee: Biosense Webster Israel Ltd
Priority date: 2013-09-30
Filing date: 2014-09-25
Publication date: 2019-03-27
Anticipated expiration: 2034-09-25
Also published as: EP2854132A1; US20150095036A1; CA2865341A1; CN104517608B; AU2014233625B2; EP2854132B1; CN104517608A; US9640198B2; IL234667B; AU2014233625A1; JP2015069653A

Description

本発明は、概して機器の制御に関し、具体的には非音声振動を用いる機器の制御に関する。

イスラムによる米国特許第８、０９８、４２３号は、この参照により開示に含まれるが、医療装置の音声制御のためのシステムと方法を記述している。この開示は、医療装置が、患者の身体の開口に挿入可能な挿入部分を含むものと記述している。この開示は更に、挿入可能部分が、少なくとも部分的に１つ又は複数の制御信号に基づき少なくとも２つの運動軸に操作可能な自動ヘッドユニットを備え、また操作には音声制御が用いられてもよいと記述している。

マハパトラ（Mahapatra）らによるＰＣＴ出願第ＰＣＴ／ＵＳ２００８／０８２８３５号は、この参照により開示に含まれるが、剣状突起を経由して位置決めされる操作可能な心外膜ペーシングカテーテルシステムを記述している。この開示は、この発明が剣状突起からのアクセスを使う特別の電気生理学的手技に用いる医療システムと装置に対する音声制御の分野に使用することができると記述している。

ブラッセル（Brusell）らによるＰＣＴ出願第ＰＣＴ／ＳＥ２００３／００１８９５号は、この参照により開示に含まれるが、自然に聞こえる発声の使用を要求することなく、シミュレートされた発声を作り出す方法を記述していて、そこでは使用者が発声動作を実行すると、動作と条件が検出される。超音波信号が、外部から主として使用者の口及び／又は咽頭領域の方向に向けて放射され、反射された超音波信号が登録される。

ティーニ−（Teaney）らによる米国特許第５、１７１、９３０号は、この参照により開示に含まれるが、コントローラへの入力としての電気声門図によって駆動される音声制御音楽装置を記述している。電気声門図（ＥＧＧ）は、使用者の頸部付近に位置するバンド形状のトランスデューサを有する。ＥＧＧは、使用者の声帯の声帯ひだの開閉サイクルを、この開示が音高に関して特に正確であると主張する清浄な電気信号に変換する。

メラー（Moeller）らの米国特許出願第２０１２／０２９９８２６号は、この参照により開示に含まれるが、人間のオペレータに、オペレータの声道の幾何学的自由度を用いて対応する機械の制御を可能とする、人と機械（ＨＭ）のインターフェースを記述している。１つの態様では、ＨＭインターフェースは、音響反射測定器を用いて、リアルタイムでオペレータの声道の形状をモニタするように構成された音響センサを有する。信号プロセッサは、音響センサによって検出された反射音響信号を、例えば信号の特徴の選定と定性を用いて解析し、これらの信号を機械への指令及び／又は命令に変換する。

参照により本特許出願に組み込まれる文書は、組み込まれた文書内の用語が、本明細書で明示的又は暗黙的に行われる定義と相反するように定義される場合を除き、本出願の一体部分と見なされるべきであり、本明細書における定義のみが検討されるべきである。

本発明の一実施形態は、
機器であって、装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、装置のオペレータの頸部に固定するように構成されたセンサと、
無声無喉頭発声振動を計測するために、及び計測された無声無喉頭発声振動に応じて装置のための制御信号を生成するために、センサによって出力された信号を受信して処理するように構成されたプロセッサと、を含む機器。

開示される一実施形態では、無声無喉頭発声振動が、オペレータによって生成される一群の多様な無声無喉頭音振動からなり、無声無喉頭発声振動の計測には、一群内での無声無喉頭音振動を識別することを含む。

更に開示される一実施形態では、無声無喉頭発声振動が、オペレータによって生成される一群の多様な無声無喉頭音振動から成っていて、プロセッサが、一群の多様な無声無喉頭音振動と、オペレータによって選定された装置のための一組の多様な制御信号との間の、１対１の対応を記憶するように構成されている。

他の一実施形態では、装置が患者の心臓のアブレーションを実行するように構成されている。

更なる他の実施形態では、センサが、筋電図によって制御される電気式人工喉頭（ＥＭＧ−ＥＬ）を含む。

本発明の一実施形態により、方法であって、
装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、装置のオペレータの頸部へセンサを固定することと、
無声無喉頭発声振動を計測するために、及び計測された無声無喉頭発声振動に応じて装置のための制御信号を生成するために、センサにより出力された信号を受信して処理することと、を含む方法。

本開示は、以下の発明を実施するための形態を、以下の図面と併せ読むことによって、より完全に理解されるであろう。

本発明の一実施形態における無声無喉頭発声振動検出及び制御システムの概略説明図である。本発明の一実施形態における図１のシステムのセンサの始動にて実行されるステップを示すフローチャートである。

概論
本発明の一実施形態は、装置のオペレータが、オペレータによって生成される無声無喉頭発声振動を用いて、装置を制御することを可能とするシステムを備える。システムのセンサは、オペレータによって生成された無声無喉頭音振動を感知することが可能であり、無声音を生成する振動の感知に適する場所で、オペレータの頸部に固定される。センサは、振動に応じて信号を生成するように構成され、またシステムプロセッサは、無声無喉頭発声振動を計測するために、信号を受信して処理するように構成されている。

典型的には、システムの操作ステージの前に実行される学習ステージで、オペレータが一組の多様な無声無喉頭音振動、又はそのような振動の組合せを生成し、そしてセンサによって生成されたそれぞれの信号を用いて、振動を、装置のためのそれぞれの制御信号に１対１の対応で関連付ける。操作ステージでは、プロセッサが、特有のオペレータ無声無喉頭音振動又は振動の組合せに応じて生成された信号のためのセンサをモニタし、そして１対１の対応を使って、装置に適用されるべき対応する制御信号を決定する。

無声無喉頭発声振動の装置の制御への利用は、いくつかの利点がある。例えば複数の人員による医療手技の最中に、システムのオペレータが言語の困難さのため、手技を実行する医師の要求を誤って解釈することが起こりうる。言語の誤解とは別の要素として、医師の不明瞭な発音、又は医師のマスクによる発音の消失も、医師からオペレータへの伝達不良を起こすことがある。

システムの説明
図１を参照すると、これは本発明の一実施形態における無声無喉頭発声振動検出及び制御システム２０の概略説明図である。無声無喉頭発声振動及び無声無喉頭音振動は、いずれもシステム２０で使われていて、これらについて以下に記述する。以下の開示において、システム２０は、本明細書では患者２６の心臓２４のアブレーション手技を含むと想定される医療処置の最中に使われる装置２２の操作を、部分的に制御するために実施されることを前提とする。いくつかの実施形態では、装置２２は、３３３３ＤｉａｍｏｎｄＣａｎｙｏｎＲｏａｄ、ＤｉａｍｏｎｄＢａｒ、ＣＡ９１７６５のＢｏｉｓｅｎｓｅＷｅｂｓｔｅｒ、Ｉｎｃ．製ＣＡＲＴＯ（登録商標）システムに相当するとしてもよい。しかしながら、装置２２を用いるこの実施の記述は例示のためであり、したがって、システム２０は、必ずしも医療処置とは関連のない機器や装置を含む他の機器や装置の制御に使われてもよいことが理解される。

システム２０では、装置２２に備えられたプローブ２８が、患者２６の心臓２４の心室に挿入される。プローブは装置２２のオペレータ３０によって、心臓２４の部位のアブレーションの実行のために使われてもよい。

システム２０の機能はシステムコントローラ３２によって管理され、コントローラは、システム２０の操作のためのソフトウェアが格納されたメモリ３６と通信するプロセッサ３４によって操作される。メモリ３６は、振動−機能テーブル５０を持つモジュール３８を含み、モジュール３８とテーブル５０の機能と特性を以下でより詳細に説明する。

コントローラ３２は、典型的には、汎用コンピュータプロセッサを含む業界標準のパーソナルコンピュータである。しかしながら、いくつかの実施形態では、コントローラの機能の少なくとも一部分が、例えば、特定用途向け集積回路（ＡＳＩＣ）又は現場でプログラム可能なゲートアレイ（ＦＰＧＡ）などの、カスタム設計のハードウェア及びソフトウェアを用いて実施される。コントローラ３２は、典型的にはコンソール４０に取付けられ、コンソールのコントロール手段４２を用いてオペレータ３０が操作することができ、コントロール手段は、典型的には、オペレータにシステム２０のパラメータセットを可能とする指示装置、タッチスクリーン、及び／又はキーパッドを含む。コンソール４０に接続されたスクリーン４４は、１つ又は複数の様々なグラフィックユーザインターフェース（ＧＵＩｓ）をオペレータ２８に向けて表示することができ、オペレータに、システム２０を制御するためのフィードバックを提供する。スクリーンは、オペレータ３０向けて、処置の結果も表示する。

メモリ３６中のソフトウェアは、例えばネットワークを介して、電子的形態でコントローラにダウンロードし得る。あるいは、又はこれに加えて、このソフトウェアは、光学的、磁気的、又は電子的記憶媒体など、非一過性の有形媒体上に提供され得る。

センサ６０がオペレータ３０の頸部付近に取付けられ、センサはオペレータによって生成される無声無喉頭発声振動を検出するように構成されている。典型的には、センサ６０はできる限りオペレータの咽頭の近くでオペレータ３０に取り付けられる。例えば、センサはオペレータが身に着けたネックレスの一部であってもよい。センサ６０は、受領する無声無喉頭発声振動を電気信号に変換し、電気信号はシステムコントローラ３２に送信される。典型的には、信号送信はワイヤレスで実施され、その場合は、上述したネックレスの一部がワイヤレス送信のためのアンテナとして構成されていてもよい。あるいは、信号送信は、センサとシステムコントローラを結ぶケーブル経由であってもよい。

本開示と本請求項では、無声無喉頭発声振動と無声無喉頭音振動の用語は、それぞれ発声と音を口から発する最中の、システム２０のオペレータの頸部の筋の振動として理解されるべきである。発声と音を口から発する時に、オペレータは、彼の又は彼女の声を使わない。振動はセンサ６０により検出されることが可能であり、センサは典型的には筋電図によって制御される電気式人工喉頭（ＥＧＭ−ＥＬ）を備えている。

センサ６０として使用できるＥＭＧ−ＥＬは、次のタイトルの第１論文「ＴｒａｉｎｉｎＥｆｆｅｃｔｓｏｎＳｐｅｅｃｈＰｒｏｄｕｃｔｉｏｎＵｓｉｎｇａＨａｎｄｓ−ＦｒｅｅＥｌｅｃｔｒｏｍｙｏｇｒａｐｈｉｃａｌｌｙＣｏｎｔｒｏｌｌｅｄＥｌｅｃｔｒｏｌａｒｙｎｘ」ｂｙＧｏｌｄｓｔｅｉｎｅｔａｌ．、ＪｏｕｒｎａｌｏｆＳｐｅｅｃｈ、Ｌａｎｇｕａｇｅ、ａｎｄＨｅａｒｉｎｇＲｅｓｅａｒｃｈＶｏｌ．５０、ｐｇｓ．３３５〜３５１Ａｐｒｉｌ２００７、及び次のタイトルの第２論文「ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｉｏｎｏｆａＨａｎｄｓ−ＦｒｅｅＥｌｅｃｔｒｏｌａｒｙｎｘＤｅｖｉｃｅＣｏｎｔｒｏｌｌｅｄｂｙＮｅｃｋＳｔｒａｐＭｕｓｃｌｅＥｌｅｃｔｒｏｍｙｏｇｒａｐｈｉｃＡｃｔｉｖｉｔｙ」ｂｙＧｏｌｄｓｔｅｉｎｅｔａｌ．、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ、Ｖｏｌ．５１、Ｎｏ．２、Ｆｅｂｒｕａｒｙ２００４に記述されている。いずれの論文もこの参照により開示に含まれる。ゴールドスタインのＥＭＧ−ＥＬは、マサチューセッツ州ボストンのＤｅｌＳｙｓＩｎｃ．により製造された表面ＥＭＧ電極を使用している。

ＥＭＧ−ＥＬのオペレータが、どのように適切な無喉頭発声振動と音振動を作ることができるかの記述が、上述した第１論文に提示されている。そこで説明されているように、通常の頸部構造を持つ当事者には、頸部摘出患者の条件をシミュレートするために、自身の普通の声を使わず、むしろ息を殺して、特有の母音、単語、及び文章を口から発するのを控えることが要求される。言い換えれば、本明細書では、無声無喉頭発声振動と音振動は、話をしようとする時の喉頭摘出患者の条件をシミュレートすることを指す。

図２は、本発明の一実施形態におけるセンサ６０の始動と操作にて実行されるステップを示すフローチャート１００である。フローチャート１００は、オペレータによって生成され、本明細書ではまとめて無声無喉頭発声振動と呼ぶ特有の無声無喉頭音振動を、オペレータ３０がシステム２０に「学習させる」学習モードステージ１０２と、システム２０を操作するために、システムが学習セクションでの結果を適用する操作モードステージ１０４との２つの部分に分割される。

学習セクションの開始ステップ１１０では、実質的に上述したように、センサ６０がオペレータ２８に取り付けられ、オペレータがセンサをシステムコントローラ３２と通信するように構成する。本明細書では、通信はワイヤレス通信を前提としている。典型的には、通信を構成するために、オペレータは、スクリーン４４上にオペレータに向けて表示された振動モジュール３８から取得するＧＵＩ構成を使用する。

機能選定ステップ１１２では、特有の無声無喉頭音振動をセンサ６０が検出すると、システム２０によって実行されるべき機能をオペレータが選定する。典型的には、装置２２を使って実行される処置中には、オペレータがコントロール手段４２を用いて実行する比較的多くの機能が存在する。このような機能には、実行される処置の結果の表示方法の選定、例えばグラフ表示又はテーブル形式の選定が含まれる。その他の機能には、特定の画像の表示の拡大と最小化、画像の移動又は回転がある。例えば、上で参照したＣａｒｔｏシステムのアブレーション手技の最中に、オペレータがコントロール手段４２を使って、アブレーションの間に加えられた力と動力の、及びアブレーションが適用されていた時間のグラフ及び／又は数値表示を示すことができる。オペレータは、コントロール手段４２を使って、アブレーションされる組織の温度のグラフ及び／又は数値表示も示すことができる。

コントロール手段４２を用いる装置２２のための、またシステム２０が実施される機器や装置のための、機能のその他の例は、当業者にとっては明白になり、このような機能の全ては本発明の範囲に含まれるものとみなされる。

学習ステップ１１４では、オペレータが、ステップ１１２で選択された機能のうちの１つを選定し、選定した機能の実行に用いられることになる無声無喉頭音振動、又はそのような音振動の組合せを生成する。生成された無喉頭音振動に応じて、センサ６０が、対応する信号をコントローラ３２に送信する。無喉頭音が生成され、信号が受信されると、モジュール３８から取得されてスクリーン４４に表示された学習用ＧＵＩを用いて、コントローラ３２がオペレータに、無声無喉頭音振動信号の受信を確認することができる。典型的には、コントローラにとって無喉頭音振動信号を他の無喉頭音振動信号から区別できるための十分な時間の長さの後に、コントローラが、その信号が他の無声無喉頭音振動信号から識別できる認識可能な無声無喉頭音振動信号であることをオペレータに示す。時間の長さはプリセットする時間の長さでもよく、典型的には数秒程度であり、オペレータ側で必要以上の実験をすることなく決めてもよい。あるいは、例えばステップ１１４を何度か繰り返した後に、コントローラ３２がその時間長さを最適にセットしてもよい。

対応付けステップ１１６では、コントローラ３２が、ステップ１１４で受領した認識可能な無声無喉頭音振動又は音振動の組合せを、ステップ１１２でオペレータによって選定された機能と関連付ける。矢印１１８で示すように、ステップ１１４と１１６はオペレータ３０によって繰り返され、従ってコントローラ３２が、特定の音振動又は音振動の組み合わせと、装置２２の機能との間の一組の１対１の対応を生成する。コントローラ３２が、一組の１対１の対応をメモリ３６に記憶する。一組の対応をモジュール３８のテーブル５０に記憶することができ、あるいは、その他の任意の適切な記憶方法で記憶してもよい。

第１の操作ステップ１２０では、オペレータ３０が、装置２２の操作を開始し、システム２０を始動する。システム２０の始動は、典型的にはオペレータ３０によって、コントローラ３２へ指示を出すために、コントロール手段４２と、モジュール３８から取得されてスクリーン４４に表示される作動状態のＧＵＩとを用いて実行される。この指示は、コントローラが、センサによって検出された無声無喉頭発声振動に応じて生成されていたセンサ６０からの信号を受入れることを可能とする。この指示は、コントローラがテーブル５０へアクセスすることも可能とする。

第２の操作ステップ１２２では、コントローラ３２がセンサ６０をモニタし、センサからの信号の有無を定期的に確認する。信号が検出されると、コントローラが振動−機能テーブルにアクセスし、テーブルから信号に対応する機能を決定する。

機能実行ステップ１２４では、コントローラ３２がステップ１２２で特定された機能を実施する。いくつかの実施形態では、コントローラがオペレータに、質問をスクリーン４４に表示するなどによって、特定の機能が実行されるべきか確かめてもよい。（典型的にはこのような確認は、システム２０が不必要な機能を実行する確率を減少させる。）オペレータが、例えば、ステップ１２２で検出された無声無喉頭音振動、又は音振動の組合せを繰り返すことによって、及び／又はコントロール手段４２の１つを用いるなど当技術分野で知られている他の手段を用いることによって、機能がなされるべきかを確認してもよい。

矢印１２６で示すように、システム２０の作動段階の間に、ステップ１２２と１２４が繰り返される。

上述した実施形態は一例として記載されたものであり、本発明は、本明細書において上に具体的に図示及び説明した内容に限定されないことが明らかとなろう。むしろ、本発明の範囲には、上で説明した様々な特徴の組合わせと部分的組合わせの両方、並びにそれらの変形形態及び修正形態が含まれ、これらは、上述の説明を読めば当業者には想到するものであり、従来技術では開示されていないものである。

〔実施の態様〕
（１）機器であって、
装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、前記装置の前記オペレータの頸部に固定するように構成されたセンサと、
前記無声無喉頭発声振動を計測するために、及び前記計測された無声無喉頭発声振動に応じて前記装置のための制御信号を生成するために、前記センサによって出力された信号を受信して処理するように構成されたプロセッサと、を備える機器。
（２）前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記無声無喉頭発声振動の計測が、前記一群内での前記無声無喉頭音振動の識別を含む、実施態様１に記載の機器。
（３）前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記プロセッサが、前記一群の多様な無声無喉頭音振動と、前記オペレータによって選定された前記装置のための一組の多様な制御信号との間の、１対１の対応を記憶するように構成される、実施態様１に記載の機器。
（４）前記装置が、患者の心臓のアブレーションを実行するように構成される、実施態様１に記載の機器。
（５）前記センサが、筋電図によって制御される電気式人工喉頭（ＥＭＧ−ＥＬ）を備える、実施態様１に記載の機器。

（６）方法であって、
装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、前記装置の前記オペレータの頸部へセンサを固定することと、
前記無声無喉頭発声振動を計測するために、及び前記計測された無声無喉頭発声振動に応じて前記装置のための制御信号を生成するために、前記センサにより出力された信号を受信して処理することと、を含む方法。
（７）前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記無声無喉頭発声振動の計測が、前記一群内での前記無声無喉頭音振動の識別を含む、実施態様６に記載の方法。
（８）前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記一群の多様な無声無喉頭音振動と、前記オペレータによって選定された前記装置のための一組の多様な制御信号との間の、１対１の対応を記憶することを更に含む、実施態様６に記載の方法。
（９）前記装置が、患者の心臓のアブレーションを実行するように構成される、実施態様６に記載の方法。
（１０）前記センサが、筋電図によって制御される電気式人工喉頭（ＥＭＧ−ＥＬ）を備える、実施態様６に記載の方法。

Claims

機器であって、
患者の心臓のアブレーションを実行するように構成される装置と、
前記装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、前記装置の前記オペレータの頸部に固定するように構成されたセンサと、
様々なグラフィックユーザインタフェースを前記オペレータに向けて表示するスクリーンと、
前記無声無喉頭発声振動を計測するために、及び前記計測された無声無喉頭発声振動に応じて前記装置により実行されるべき特定の機能に対応した制御信号を生成するために、前記センサによって出力された信号を受信して処理するように構成されたプロセッサと、を備え、
前記プロセッサが前記オペレータの確認のための質問を前記スクリーンに表示することにより、前記実行されるべき特定の機能を確かめるように構成されている、機器。
前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記無声無喉頭発声振動の計測が、前記一群内での前記無声無喉頭音振動の識別を含む、請求項１に記載の機器。
前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記プロセッサが、前記一群の多様な無声無喉頭音振動と、前記オペレータによって選定された前記装置のための一組の多様な制御信号との間の、１対１の対応を記憶するように構成される、請求項１に記載の機器。
前記センサが、筋電図によって制御される電気式人工喉頭（ＥＭＧ−ＥＬ）を備える、請求項１に記載の機器。
方法であって、
患者の心臓のアブレーションを実行するように構成される装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、前記装置の前記オペレータの頸部へセンサを固定することと、
前記無声無喉頭発声振動を計測するために、及び前記計測された無声無喉頭発声振動に応じて前記装置により実行されるべき特定の機能に対応した制御信号を生成するために、前記センサにより出力された信号を受信して処理することと、を含み、
前記オペレータの確認のための質問がスクリーンに表示されることにより、前記特定の機能が実行されるべきか確かめられる、方法。
前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記無声無喉頭発声振動の計測が、前記一群内での前記無声無喉頭音振動の識別を含む、請求項５に記載の方法。
前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記一群の多様な無声無喉頭音振動と、前記オペレータによって選定された前記装置のための一組の多様な制御信号との間の、１対１の対応を記憶することを更に含む、請求項５に記載の方法。
前記センサが、筋電図によって制御される電気式人工喉頭（ＥＭＧ−ＥＬ）を備える、請求項５に記載の方法。