JP7489857B2 - レーザーを用いた音波の再現 - Google Patents

Description

本発明は、レーザーを用いた音波の再現技術に関し、特に、レーザーを照射した体内の部位の音を波形として再現する技術に関する。

生体の状態を監視する目的や疾患を発見する目的で、心拍や心音を再現する技術がある。一つの例は、心臓の筋電位から筋肉の動きを捉える心電計である。心電計は、電極を備えるパッドを心臓付近の胸部に貼り付けて、筋電位を電気的に読み取り、心拍を示す電圧波形を得る。心電計の技術は、電極という物理的な部材を人体に装着する必要がある接触性の技術であり、装着者に不快感を与えることがある。また、心拍を長期的にモニタリングするため、人体の中に埋め込む心電計もあるが、これは心電計を埋め込むには手術が必要であり、侵襲性の技術である。もう一つの例は、心音を再現する聴診器である。聴診器は、心臓付近の皮膚表面にチェストピースを当て、直接チェストピースを介して心音を収音する。聴診器は実際の心音を聞くことができるため、心拍では分からない疾患を発見することができる。聴診器の技術も、チェストピースを人体に当接させる必要がある接触性の技術であり、装着者に不快感を与えることがある他、継続的なモニタリングすることが困難である。

これらの技術に対し、非接触かつ非侵襲な手法で振動部位の振動を読み取って音波を再現する技術が提案されている。例えば、超音波やレーザー等の電磁波を照射し、反射して返ってきた電磁波を読み取って音波を再現する、非接触性かつ非侵襲性の技術が提案されている（特許文献１）。この技術は、光マイクロホンもしくはレーザーマイクロホンと呼ばれることがある。光マイクロホン（レーザーマイクロホン）は、人が音声を発することで振動する部位にレーザーを連続的に照射し、この部位からの反射光を受光したときのドップラーシフトに基づき振動を読み取り、読み取った振動を音波に再現して出力する。光マイクロホンは、例えば、室内の窓際で人が会話している際に、窓にレーザーを照射し、会話の音声によって窓に生じる微細な振動を読み取るような使われ方がある。光マイクロホンの技術を応用し、人体の特定の部位に直接レーザーを照射すれば、非接触でより精度の高い音声の再現が可能になると考えらえる。例えば、発声によって振動する喉仏にレーザーを照射することで、人の会話音声を再現できることが考えられる。また、上述したような医療分野に応用し、心臓の鼓動より振動する血管部位にレーザーを照射することで、心音を再現できることが考えられる。
特再公表ＷＯ９９／００６８０４号

しかしながら、レーザーを人体の対象部位に照射して音波を再現するには以下のような課題があり、精度の高い音波の再現が難しいことが考えられる。第一に、音波を再現できる部位に確実にレーザーを照射することが難しい。すなわち、レーザーはそのビーム径が約２、３ｍｍであって血管の直径と比較して十分に小さくはない。さらに、上述したような心音を再現するような用途の場合、例えば人体の血管といった非常に細い部位にレーザーを照射しなければならず、狙った部位にレーザーを確実に照射することが難しい。また、人体の場合、一度正確にレーザー照射できていても、人が体を動かすことでレーザー照射位置がずれてしまうことも考えられる。このように、音波を再現できる部位に確実にレーザーを照射し続けることには困難を伴う。第二に、上述したような接触性の音波再現の技術に比べて、音波にノイズが混入して正確な音波を再現しにくい。すなわち、特に人体にレーザーを照射する場合、皮膚の厚みや色（メラニン量）といった身体的特性に起因してレーザー光線が散乱し、受光量が減少することにより、ノイズが再現音波に混入することがある。

上記のような課題に着目し、本発明は、レーザーを用いて音波を再現する際の精度を向上させることを目的とする。

本発明の一つの側面から提供される波形生成装置は、レーザー振動計と、照射位置決定手段と、角度決定手段と、波形生成手段とを備え、レーザー照射角度探索を行う。照射位置決定手段は、レーザー振動計のレーザーを照射する、対象物のレーザー照射位置を決定する。角度決定手段は、照射位置決定手段で決定した位置に対応する、レーザー振動計のレーザー照射角度を決定する。波形生成手段は、角度決定手段で決定された照射角度にてレーザー照射を行ったレーザー振動計から出力される振動信号に基づき、前記レーザー照射位置の振動に対応する波形を生成する。レーザー照射角度探索は、照射位置決定手段で決定した位置に対応する、候補となる複数のレーザー照射角度を仮決めすることと、仮決めしたそれぞれのレーザー照射角度にて試験的にレーザーを照射してレーザー振動計から出力される複数の振動信号に基づく複数の波形を比較することと、比較結果に応じて、仮決めした複数のレーザー照射角度からいずれかのレーザー照射角度を最終的に決定することとを含む。

本発明のもう１つの側面から提供される波形生成装置は、レーザー振動計と、照射位置決定手段と、波形生成手段とを備える。照射位置決定手段は、レーザー振動計のレーザーを照射する、対象物のレーザー照射位置を決定する。波形生成手段は、レーザー振動計から出力される振動信号に基づき、レーザー照射位置の振動に対応する波形を生成する。波形生成手段は、ニューラルネットワークを用いた学習に基づく学習済みモデルを備える。学習モデルは、互いに実質的に同時刻に生成された第一の波形と第二の波形とを教師データとしてニューラルネットワークに入力し、両波形の差分から前記第一の波形に含まれるノイズ成分を推定する学習を行って生成されたモデルである。第一の波形は、前記レーザー振動計のレーザーを前記対象物の前記レーザー照射位置に照射して生成した波形であり、第二の波形は、前記対象物に当接させる接触性の手段を用いて生成した、前記レーザー照射位置の振動に相当する波形である。波形生成手段は、学習モデルにより推定されたノイズを除去する処理を行って波形を生成する。

本発明により、レーザーを用いて音波を再現する際の精度を向上させることができる。

図１は、実施形態に係る音波再現システム１を示す図である。 図２は、第１モードでのレーザー照射位置決め機能の一例を示すフローチャートである。 図３は、試験的にレーザーを照射する複数のレーザー照射位置を示す図である。 図４は、複数の音波を比較する様子を示す図である。 図５は、第２モードでの音波再現機能の一例を示すフローチャートである。 図６は、人体２０に動きが生じたことに応じてモードを切り替える動作の一例を示すフローチャートである。 図７は、制御部１３の構成を示す図である。 図８は、接触性手段による再現音波を用いた学習モデルを生成する手順を示す図である。 図９は、接触性手段夜再現音波と人体の属性とを入力して学習モデルを生成する手順を示す図である。 図１０は、複数の人体的特性に対応付けてそれぞれ生成された学習モデルを示す図である。 図１１は、複数の学習モデルを選択する入力部を含む音源再生システム１を示す図である。

以下、本発明の実施形態について図面を参照して説明する。図１は、実施形態に係る音波再現システム１を示す。音波再現システム１は、レーザー振動計１０と、角度調整手段１１と、カメラ１２と、制御部１３、記録媒体１４、通信部１５とを含む。

レーザー振動計１０は、レーザー光線２１を対象物に照射し、対象物に跳ね返ってくる反射光を受光して、反射光のドップラー周波数に基づいて対象物の振動状態を検出するレーザードップラー振動計である。レーザー振動計１０は、レーザー光線２１を照射するレーザー出力部や、反射光を受光する受光部や、反射光のドップラー周波数を処理して検出した振動を示す振動信号を出力する処理部を備える。

角度調整手段１１は、レーザー振動計１０のレーザー照射角度を調整する手段である。角度調整手段１１は、ミラー１１ａを含み、ミラー１１ａの角度を変えてレーザー光線２１の反射角を変えることにより、レーザー光線２１の照射角度を変えることができる。ミラー１１ａとして、ガルバノミラーやＭＥＭＳミラーを用いるとよい。

カメラ１２は、レーザー振動計１０によるレーザー照射の対象物を撮影するよう配置されたカメラである。カメラ１２は、立体視カメラであってもよい。カメラ１２は、撮影した映像の映像信号を出力する。

制御部１３は、レーザー振動計１０、角度調整手段１１、およびカメラ１２と接続されており、各部からの信号を受信して処理したり、各部へ指令信号を送信したりする。制御部１３は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーを含み、メモリーに保持されたプログラムを実行することにより種々の機能を実施する。主要な機能として、レーザー照射位置決め機能と、音波再現機能とを有する。メモリーには、レーザー振動計１０がレーザー照射して音波を再現すべき対象の部位に関する情報（レーザー照射対象情報）が保持されている。レーザー照射位置決め機能では、角度調整手段１１を制御してレーザー照射する角度を決定する。音波再現機能では、レーザー照射位置決め機能で決定した角度により、レーザー振動計１０から出力される振動信号に基づいて音波を再現する。

記録媒体１４は、音波再現機能で再現された音波が記録される。記録媒体１４は、メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記録媒体である。例えば、音波が画像データとして記録媒体１４に記録される。

通信部１５は、インターネット等の通信回線を通じて、記録媒体１４に記録された音波を外部に伝送するための通信回路である。

音波再現システム１においては、対象物の特定部位に対し、レーザー振動計１０からレーザー光線２１を照射して得た振動信号を制御部１３で処理し、特定部位の振動に対応する音声波形を再現する。ここでは、対象物として、人物２０の頸動脈にレーザー光線２１を照射し、心臓の鼓動に起因して頸動脈に発生する微弱な振動を読み取って、心音に対応する音波（心音波形）を再現する例で説明する。

音波再現システム１は、レーザー照射位置機能を実行する第１モードと、音波再現機能を実行する第２モードとを有する。音波再現システム１は、電源投入後、第２モードを実行する前に第１モードを実行する。また、第２モード実行中に、人体２０が所定以上の動きをした場合、レーザー照射位置の再調整が必要であると判断して第１モードを実行する。以下、各モードについて詳述する。

（第１モード：レーザー照射位置決め機能）
図２は、第１モードでのレーザー照射位置決め機能の一例を示すフローチャートである。制御部１３は、対応するプログラムを実行してステップＳ１００～Ｓ１０５を実行する。まず、制御部１３は、カメラ１２から映像信号を取得し、レーザー振動計１０からレーザー光線２１を照射すべき部位を特定する（ステップＳ１００、Ｓ１０１）。制御部１３は、メモリーに保持されているレーザー照射位置情報を参照し、例えば、画像センシング技術により、カメラ映像内でレーザー照射位置に対応する位置を特定する。ここでは、画像センシング技術により、人体２０の頸動脈に対応するカメラ映像内の位置を特定する。

次に、制御部１３は、ステップＳ１０１で特定したカメラ映像内の位置に向けてレーザー光線２１を照射するよう、角度調整手段１１の角度を暫定的に決定する（ステップＳ１０２）。ステップＳ１０２では、複数の角度を暫定的に決定する。すなわち、カメラ映像内の位置に対応するレーザー照射角度を一つ決め、そのレーザー照射角度から数度ずらした複数のレーザー照射角度とともに、最終的に決定する角度の候補として仮決めする。例えば、ステップＳ１０２においては、カメラ映像内の位置に対応した範囲であってレーザービーム径よりも十分に広いレーザー照射範囲をまず決定し、このレーザー照射範囲の中に収まる複数レーザー照射位置に対応するレーザー照射角度を仮決めする。例えば、図３に示すように、カメラ映像内の位置に対応するレーザー照射範囲ＬＡを決定し、レーザー照射範囲ＬＡ内に収まる７か所のレーザー照射位置（ａ）～（ｇ）に対応するレーザー照射角度を暫定的に決定する。

次に、制御部１９は、ステップＳ１０２で仮決定した複数のレーザー照射角度にて順次レーザー振動計１０から試験的にレーザー照射し、それぞれのレーザー照射によってレーザー振動計１０から出力される振動信号に基づいて音波を再現する（ステップＳ１０３）。具体的には、制御部１３は、仮決めした複数のレーザー照射角度それぞれになるよう順次角度調整手段１１を制御して角度を変えながら、それぞれの角度でレーザー振動計１０からレーザー照射を行ってそれぞれにおける振動信号を受け取り、それぞれのレーザー照射角度における音波を再現する。図３の例でいれば、レーザー照射位置（ａ）～（ｇ）に至るまで、順番に７回レーザー照射角度を変えながら、それぞれレーザー照射を行い、異なる７つの音波を再現する。

次に、制御部１９は、ステップＳ１０３で再現した複数の音波を互いに比較し、その中から最適な波形を有する音波に対応するレーザー照射角度を決定する（Ｓ１０４、Ｓ１０５）。具体的には、ステップＳ１０３で再現した複数の音波を比較し、最もノイズが少ない音波を特定し、特定した音波を再現するときのレーザー照射角度を最終的に決定する。図４は、複数の音波を比較する様子を示す図である。図４の例では、説明を簡略化するため、３つのレーザー照射角度に対応するそれぞれのレーザー照射位置（ａ～ｃ）にレーザーを照射して得た３つの音波を比較する様子を示す。レーザー照射位置（ａ）で得た音波の波形（Ｗａ）と、レーザー照射位置（ｂ）で得た音波の波形（Ｗｂ）と、レーザー照射位置（ｃ）で得た音波の波形（Ｗｃ）とをそれぞれ比較し、最もノイズが少ない波形を特定する。さらに、この傾向からよりノイズが少ないレーザー照射位置を推定して比較を繰り返す。なお、図４に示す波形は、横軸は時間、縦軸が音圧＝電位（dBＳＰＬ、mV）を示す。ここで、具体的には、例えば、心音であれば、所定の周期でパルス状に音圧（電位）が現れるのが正解であることが事前に分かっているため、パルス状の波形を示しているものが正解であることが分かる。図４の例では、レーザー照射位置（ｃ）で得た音波の波形（Ｗｃ）が正解である。したがって、ステップＳ１０５において、レーザー照射位置（ｃ）に対応するレーザー照射角度を決定する。ステップＳ１０５において、制御部１３は、角度調整手段１１に対し、決定したレーザー照射角度になるよう制御信号を発して制御する。これにより、レーザー光線２１がレーザー照射位置（ｃ）に当たるように角度調整手段１１が調整される。

（第２モード：音波再現機能）
第１モードにて、ステップＳ１００～Ｓ１０５を実行したのち、第２モードにて、音波の再現と記録を行う。図５は、第２モードでの音波再現機能の一例を示すフローチャートである。制御部１３は、第１モードにより角度調整手段１１で調整された角度により、レーザー振動計１０からレーザー光線２１を照射させ、レーザー振動計１０から出力される振動信号に基づいて音波を再現し、再現した音波を連続的に記録する（Ｓ１１０、Ｓ１１１）。ステップS１１１では、制御部１３は、再現した音波を記録媒体１４に記録する。また、制御部１３は、記録した音波を通信部１５から外部に送信してもよい。例えば、インターネットを介し、心音を聞いて診断を行う医師のPC（パーソナルコンピューター）に送信するようにするとよい。

制御部１３は第２モードで動作中、所定の条件が発生していないか監視を行い、当該所定の条件に応じて再び第１モードに遷移して再度角度調整手段１１の角度調整を行う。例えば、顔や首を動かしたり寝がえりを打ったりすることで人体２０に動きが発生したことを、所定の条件とするとよい。図６は、人体２０に動きが生じたことに応じてモードを切り替える動作の一例を示すフローチャートである。図６に示す動作は、第２モードで動作中に実行される。第２モードで音波再現機能を実行中、制御部１３は、継続的に、人体２０に動きが発生していないか監視する（S１２０）。人体２０に動きが発生していない間は第２モードを実行し続ける（Ｓ１２０：Ｎｏ）。監視の一例として、制御部１３は、カメラ１２から出力されるカメラ映像をモニタリングしつづけ、画像センシング技術により人体２０に所定以上の動きがないかを監視し、所定以上の動きが発生したことを検出すると肯定的な判定を行う（Ｓ１２０：Ｙｅｓ）。監視の別例として、制御部１３は、再現している音波をモニタリングしつづけ、所定以上の変動が音波に生じたことを検出すると肯定的な判定を行う（Ｓ１２０：Ｙｅｓ）。制御部１３は、人体２０に動きがあったと判定した場合（Ｓ１２０：Ｙｅｓ）、音波を再現して記録する動作を停止し（Ｓ１２１）、第２モードでの動作を終了して第１モードに遷移し、レーザー照射位置決め機能を実行する（Ｓ１２２）。

制御部１３は、第２モード時のときだけ音波の再現と記録を実行する。人体２０が動くことに合わせて、第１モードと第２モードが繰り返し実行された場合、制御部１３は、複数回実行された第２モードの中で再現された音波を結合して、１つの音波のファイルとして記録してもよい。また、制御部１３は、結合された１つの音波のファイルを通信部１５から外部に送信するようにしてもよい。

制御部１３がレーザー振動計１０から出力される振動信号に基づき音波を再現する際、レーザー光線２１を照射する部位によってノイズが混入することがある。これは、例えば、人体２０であれば、皮膚の厚みや色（メラニン量）によって入射したレーザー光線２１が散乱し、受光量が減少するという要因が考えられる。そのため、第１モードでのレーザー照射位置決め機能を実行してレーザー光線２１を頸動脈に的確に照射できても、再現した音波にノイズが混入してしまうおそれがある。そこで、本実施の形態では、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）を用いた機械学習によって、音波の再現精度を高めている。

制御部１３は、機械学習によって生成された学習済モデルを実行するプロセッサーである。図７に示すように、制御部１３は、学習済みモデル１３ａを有する。学習済みモデル１３ａは、ニューラルネットワークを有する学習器を含み、教師データを入力して学習を行って所定の推論を行うものである。学習済みモデル１３ａは、後述する学習フローに従って機械学習を行って生成された学習済モデルであって、レーザー振動計１０を用いたレーザー照射により再現した音波に含まれるノイズを推定し、当該ノイズを除去した音波を再現するモデルである。制御部１３は、学習済みモデル１３ａを用いて、入力される振動信号に対し、推定されるノイズを除去するよう周波数成分に補正を加えて音波を再現する。

学習済モデル１３ａは、レーザー照射による非接触での音波再現よりもノイズの混入が少なく正確性の高いと期待できる接触性の手段で再現した波形を用いて学習を行い生成する。図８は、学習モデル１３ａを生成する手順を示す図である。同図に示すように、ニューラルネットワークに、ある被験者の人体に対してレーザー振動計１０を用いたレーザー照射により再現した音波Ｗ１と、同じ被験者に対し実質的に同時刻に接触性の手段を用いて再現した波形Ｗ２とを入力し、音波Ｗ１と波形Ｗ２との差分に基づき、音波Ｗ１に混入したノイズを推定する学習を行う。すなわち、波形Ｗ２のほうがノイズの混入が少なく、心音を示す波形として正確性が高い（きれいに所定間隔でパルス状になっている）ため、音波Ｗ１を波形Ｗ２に補正するために減衰することが必要な周波数成分や減衰量を学習するとよい。一例として、波形Ｗ２は、電極パッドを人体に直接装着して筋電位の波形を得るホルター心電計から出力される波形である。別の例として、波形Ｗ２は、チェストピースを当接させて得た聴診器から出力される音波である。その他、接触性の手段は、人体に直接装着する電極等を用いて心拍や心音に対応する波形を再現する手段であれば種類を問わない。上記した音波Ｗ１と波形Ｗ２を用いた学習をニューラルネットワークにて複数回繰り返し、学習済モデル１３ａを生成する。なお、制御部１３は、第１モードと第２モードとは異なる学習モード時に、音波Ｗ１と音波Ｗ２の入力を受け付けて学習動作を行って学習モデル１３ａを生成して保持するようにしてもよいし、制御部１３とは異なる外部の学習器で学習動作を行って生成された学習モデル１３ａを制御部１３に保持するようにしてもよい。

また、上述したように、レーザー照射によって再現した音波に混入するノイズは、レーザー照射する人体２０の属性（皮膚の厚みや色等）によって様々でありうる。このため、人体２０の属性に応じた異なる複数の学習モデル１３ａを生成してもよい。図９に示すように、ニューラルネットワークに音波Ｗ１と波形Ｗ２を入力して学習する際、被験者の属性（特性）ＡＴを示す情報ＡＴも入力して学習する。属性ＡＴは、性別（男または女）、年代（１０代、２０代・・・）、体格（やせ型、中肉型、肥満型・・・）といった被験者の属性を示す。属性の異なる複数の被験者について、異なる複数の属性と対応する音波Ｗ１および音波Ｗ２をニューラルネットワークに入力して学習を繰り返し行う。これにより、図１０に示すように、異なる属性に応じた複数の学習済モデル１３ａを生成することができる。図１０の例では、例えば、１０代でやせ型の男性という属性に対応付けられた学習モデルＡと、３０代で肥満型の男性という属性に対応付けられた学習モデルＢと、２０代で中肉体型の女性という属性に対応付けられた学習モデルＣとを含む、複数の学習モデル１３ａが生成され、保持されている。

異なる属性に対応付けられた複数の学習モデル１３ａが保持されている場合、制御部１３は、第１モード及び第２モード時に、選択されたいずれかの学習モデルを用いて音波の再現を行う。図１１に示すように、音波再現システム１は、入力部１６を備える。入力部１６は、操作ボタンやタッチパネル等の、ユーザーの入力操作を受け付けるデバイスである。制御部１３は、入力部１６を介して、学習済モデル１３ａを用いて音波を再現する対象である、レーザー照射を行う人物２０の属性に関する情報の入力を受け付ける。例えば、人物２０の性別、年代、体格といった属性を示す情報の入力を受け付ける。これにより、制御部１３は、第１モード時のステップＳ１０３や、第２モード時のステップＳ１１０において、入力部１６から入力された属性に合致する属性と対応付けられた学習済モデル１３ａを選択して使用し、音波の再現を行う。

また、制御部１３は、入力部１６から属性の入力を受け付けるのに代えて、カメラ１２の撮像画像を用いて画像センシングを行い、人物２０の属性を特定し、特定した属性に合致する属性と対応付けられた学習済みモデル１３ａを選択して使用するようにしてもよい。この場合、制御部１３は、画像センシングを用い、人物２０が映るカメラ１２の撮像画像から、人物２０の属性（生物、年齢、体格等）を特定する。

１ 音波再現システム
１０ レーザー振動計
１１ 角度調整手段
１２ カメラ
１３ 制御部
１４ 記憶媒体
１５ 通信部
２０ 人体（人物）
２１ レーザー光線

Claims (2)

1. レーザー振動計と、
   前記レーザー振動計のレーザーを照射する、対象物のレーザー照射位置を決定する照射位置決定手段と、
   前記レーザー振動計から出力される振動信号に基づき、前記レーザー照射位置の振動に対応する波形を生成する波形生成手段とを備え、
   前記波形生成手段は、ニューラルネットワークを用いた学習に基づく学習済みモデルを備え、
   前記学習モデルは、互いに実質的に同時刻に生成された第一の波形と第二の波形とを教師データとして前記ニューラルネットワークに入力し、両波形の差分から前記第一の波形に含まれるノイズ成分を推定する学習を行って生成されたモデルであり、
   前記第一の波形は、前記レーザー振動計のレーザーを前記対象物の前記レーザー照射位置に照射して生成した波形であり、
   前記第二の波形は、前記対象物に当接させる接触性の手段を用いて生成した、前記レーザー照射位置の振動に相当する波形であり、
   前記波形生成手段は、前記学習モデルにより推定されたノイズを除去する処理を行って波形を生成する波形生成装置。
2. 前記学習モデルは、前記第一の波形と前記第二の波形とともに、前記対象物の属性を入力して学習を行って生成されたモデルであり、
   前記学習モデルは、前記属性に応じて異なる複数の学習モデルを含み、
   前記波形生成手段は、前記複数の学習モデルのうち、前記対象物の属性に対応する学習モデルを用いてノイズを除去する処理を行う請求項１に記載の波形生成装置。

Images