JP7753142B2 - 宇宙での振動ベースの指向性合成周囲音の生成 - Google Patents

Description

例示的な実施形態は、音声生成の技術、特に、宇宙における振動ベースの指向性合成周囲音生成に関する。

周囲音とは、シーンまたは場所に存在する音を指す。自然界では、例えば、鳥、ざわめく葉、または滝の音が周囲音を表している。都市では、交通騒音が周囲音を表している。人間は空気中の振動を通して周囲音を検出する。例えば、風は葉の振動（つまり、ざわめき）を引き起こし、その振動は周囲音として知覚される。例えば、宇宙や月面には、音を伝達する媒体が無い（つまり、音波は宇宙や月面では伝わることができない）。したがって、宇宙飛行士は周囲音の形で周囲から可聴信号を受け取ることがない。

一実施形態では、システムは、振動の位置を検出し、振動の周波数を識別するための、振動検出器を含む。このシステムはまた、振動検出器によって検出された振動の周波数に対応する音声を生成するためのコントローラ、及び音声を指向性の音として提供するように構成された１つまたは複数のスピーカを含む。

追加的または代替的に、この実施形態または他の実施形態では、システムは、宇宙環境用に構成された大気圧服の上または中にある。

追加的または代替的に、この実施形態または他の実施形態では、１つまたは複数のスピーカは、大気圧服のヘルメット内にある。

追加的または代替的に、この実施形態または他の実施形態では、１つまたは複数のスピーカは、ヘルメット内のある容積の周りに配置された４つ以上のスピーカのアレイである。

追加的または代替的に、この実施形態または他の実施形態では、４つ以上のスピーカのアレイ及び振動検出器は、固定された位置関係を有する。

追加的または代替的に、この実施形態または他の実施形態では、１つまたは複数のスピーカはヘッドホンにある。

追加的または代替的に、この実施形態または他の実施形態では、振動検出器は、３次元カメラを含む画像センサの一部である。

追加的または代替的に、この実施形態または他の実施形態では、振動検出器は、３次元レーザドップラー振動計である。

追加的または代替的に、この実施形態または他の実施形態では、コントローラは、振動の周波数に対応する合成周囲音として音声を生成する。

追加的または代替的に、この実施形態または他の実施形態では、コントローラは、振動の周波数と音声との間のマッピングに基づいて、または機械学習に基づいて音声を生成する。

別の実施形態では、方法は、振動検出器を宇宙環境用の大気圧服に取り付けることを含む。振動検出器は、振動の位置を検出し、振動の周波数を識別する。この方法はまた、振動検出器に結合されたコントローラを配置して、振動検出器によって検出された振動の周波数に対応する音声を生成することと、大気圧服に１つまたは複数のスピーカを配置して、コントローラから音声を受信し、音声を大気圧服の着用者へ指向性の音として提供することとを含む。

追加的または代替的に、この実施形態または他の実施形態では、１つまたは複数のスピーカの配置は、大気圧服のヘルメット内である。

追加的または代替的に、この実施形態または他の実施形態では、１つまたは複数のスピーカの配置は、ヘルメット内のある容積の周りに配置された４つ以上のスピーカのアレイとしてである。

追加的または代替的に、この実施形態または他の実施形態では、４つ以上のスピーカのアレイを配置することは、振動検出器との固定された位置関係を確立することを含む。

追加的または代替的に、この実施形態または他の実施形態では、１つまたは複数のスピーカの配置は、ヘッドホン内である。

追加的または代替的に、この実施形態または他の実施形態では、この方法は、振動検出器及び３次元カメラを含む画像センサを取り付けることも含む。

追加的または代替的に、この実施形態または他の実施形態では、振動検出器の取り付けは、３次元レーザドップラー振動計としてである。

追加的または代替的に、この実施形態または他の実施形態では、この方法は、振動の周波数に対応する合成周囲音として音声を生成するようにコントローラを構成することも含む。

追加的または代替的に、この実施形態または他の実施形態では、この方法は、振動の周波数と音声との間のマッピングに基づいて、または機械学習に基づいて音声を生成するようにコントローラを構成することも含む。

以下の説明は、決して限定と見なされるべきではない。添付の図面に関し、同様の要素には同様の番号が付けられている。

１つまたは複数の実施形態による、振動ベースの指向性周囲音生成を提供するヘルメットを備えた大気圧服の態様を示す。 １つまたは複数の実施形態による、宇宙における振動ベースの指向性合成周囲音生成のためのシステムである。

開示される装置及び方法の１つまたは複数の実施形態の詳細な説明が、図面を参照して、限定ではなく例示として本明細書に提示される。

前述のように、宇宙及び月の環境にいる宇宙飛行士は周囲音を聞くことができない。月面では、周囲音の典型的な発生源には、宇宙飛行士が歩いている緩い土、または転がってくる岩が含まれる。周囲音は状況認識を提供することができ、警告を提供することもできる。例えば、大きな岩が宇宙飛行士に向かって転がってくる様子を表す周囲音は、よけて移動するようにとの警告として機能し得る。

本明細書に詳述されるシステム及び方法の実施形態は、空間における振動ベースの指向性合成周囲音生成に関する。周囲音は、環境で検出された振動に基づいて合成的に生成される。周囲音は、指向性の音として宇宙飛行士に提示されて、宇宙飛行士が周囲音を聞くことができる環境にいるかのように状況認識を容易にする。つまり、生成される周囲音は、音を伝達する媒体があった場合に聞こえるはずのものである。１つまたは複数のセンサを使用して、環境内の振動を検出する。これらの振動は、宇宙飛行士に聞こえる合成周囲音を生成するために使用され、さらに詳細に説明するように、指向性音声として提示される。

図１は、１つまたは複数の実施形態による、振動ベースの指向性周囲音生成を提供するヘルメット１１０を備えた大気圧服１００の態様を示している。大気圧服１００は、一例として、宇宙用途で使用される船外活動宇宙服（ＥＭＵ）であり得る。ヘルメット１１０は、大気圧服１００の着用者の頭を収容するための容積１１５（図２）を提供する。ヘルメット１１０は、大気圧服１００のガスを維持して着用者を生命維持するための環境を作り出す内部円蓋を含む。図２に詳述されるように、ヘルメット１１０は、宇宙環境では実際には聞くことができない周囲音をシミュレートする音声を出力する１つまたは複数のスピーカ２１０を含むことができる。１つまたは複数のスピーカ２１０は、音声に方向性を提供する。

図２は、１つまたは複数の実施形態による、宇宙における振動ベースの指向性合成周囲音生成のためのシステム２００である。スピーカ２１０のアレイが露出されるように、ヘルメット１１０の断面図が示されている。例示的な代替の実施形態によれば、指向性イヤホンが、大気圧服１００内の宇宙飛行士によって着用され得る。センサ２２０は、振動を検出する振動計（例えば、３次元レーザドップラー振動計）を含む。システム２００はまた、既知の画像処理技術を使用して物体（例えば、転がってくる岩）の識別及び追跡を容易にするカメラを含み得る。センサ２２０は、６自由度（６Ｄｏｆ）をサポートする３次元カメラを含み得る。

振動計とカメラは、合わせて、画像センサ２２５と呼ばれる。システム２００は指向性の音を生成するので、画像センサ２２５のアレイから構成され得るセンサ２２０の視野は、３６０度であり、仰角の範囲にわたっている。すなわち、隣接する画像センサ２２５は、画像センサ２２５のアレイを備えたセンサ２２０が大気圧服１００に結合され、大気圧服１００の周囲の環境における識別可能な相対位置で振動を検出するように、重なり合う視野を有し得る。センサ２２０の位置に基づいて、複数のセンサ２２０を使用して、宇宙飛行士の周り全体の振動（例えば、宇宙飛行士の足の下の月面の振動、宇宙飛行士に向かって転がってくる岩によって引き起こされる振動）を感知することができる。１つまたは複数のセンサ２２０（例えば、画像センサ２２５の１つまたは複数のアレイ）は、振動周波数及び位置情報をコントローラ２３０に提供する。

コントローラ２３０は、振動の周波数に対応する周囲音（すなわち、合成周囲音）を表す音声信号を判定する。コントローラ２３０は、例えば、振動の周波数の範囲を音声信号の周波数（すなわち、ピッチ）にマッピングすることを使用することができる。代替の実施形態によれば、コントローラ２３０は、機械学習プロセスにおいて振動と音声出力との間の地球ベースの対応を学習して、検出された振動に対応する合成周囲音を決定することができる。つまり、地球では、振動は空気媒体によって運ばれて音波を生成するので、振動と音の間の対応を教師あり学習プロセスで使用できる。センサ２２０及びコントローラ２３０は、一緒になって、指向性音声生成システム２３５を表す。

他の代替の実施形態によれば、任意の振動に対して同じ音を生成することができ、または振動の周波数に基づいて合成の非周囲音を生成することができる。振動の動きは、非周囲音（例えば、アラーム音）を決定する要因となり得る。例えば、振動の位置が大気圧服１００のセンサ２２０に向かって移動している場合（例えば、図２に示される転がってくる岩のシナリオのように）、合成音は、状況が大気圧服１００の着用者からの即時の注意を必要とすることを反映し得る。

前に述べたように、周囲音の生成を引き起こす振動の指向性は、大気圧服１００の着用者に追加の状況認識を提供する。基準点２１５が、ヘルメット１１０及びセンサ２２０上に示されている。ヘルメット１１０とセンサ２２０との間の関係、したがって、それらのそれぞれの基準点２１５の間の関係は固定されている。結果として、センサ２２０に対する振動の位置は、コントローラ２３０に提供される情報のうちの１つであり、ヘルメット１１０内の周囲音の位置に対応する。前述のように、スピーカ２１０のアレイを使用して指向性の音を生成することができ、または指向性ヘッドホンを例えば宇宙飛行士が着用することができる。

図２に示される例示的な配向によれば、ヘルメット１１０の左側にある転がってくる岩が、センサ２２０によって検出される振動の源である。結果として、コントローラ２３０は、周囲音を生成し、図示のように、ヘルメット１１０の左側にあるスピーカ２１０ｘを通してそれを再生する。したがって、大気圧服１００の着用者は、活動の存在だけでなく、その相対的な位置についても容易に警告される。

本明細書で使用される用語は、特定の実施形態を説明する目的のためだけのものであり、本開示を限定する意図はない。本明細書で使用されるように、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が別段に明確に示さない限り、同様に複数形も含むことが意図される。さらに、「備える／含む（ｃｏｍｐｒｉｓｅｓ）」及び／または「備えている／含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、本明細書で使用されるとき、述べられる特徴、詳細、ステップ、動作、要素、及び／または構成要素の存在を特定するが、１つまたは複数の他の特徴、詳細、ステップ、動作、要素、構成要素、及び／またはそれらのグループの存在もしくは追加を除外しないことを理解されたい。

本開示は例示の１つまたは複数の実施形態を参照して説明されているが、本開示の範囲から逸脱することなく、種々の変更が行われてもよく、また均等物がその要素の代わりをする場合もあることは当業者によって理解されるであろう。さらに、特定の状況または材料を本開示の教示に適応させるために、本開示の本質的範囲から逸脱することなく、多くの修正がなされ得る。したがって、本開示は、本開示を実行するために想到される最適の形態として開示される特定の実施形態に限定されるのではなく、本開示は、「特許請求の範囲」に入る全ての実施形態を含むことが意図される。

Claims (18)

1. 振動の位置を検出し、前記振動の周波数を識別するように構成された振動検出器と、
   前記振動検出器によって検出された振動の前記周波数に対応する音声を生成するように構成されたコントローラと、
   前記音声を指向性の音として提供するように構成された１つまたは複数のスピーカと、
   を含むシステムであって、
   前記システムが、宇宙環境用に構成された大気圧服の上または中にある、
   システム。
2. 前記１つまたは複数のスピーカが前記大気圧服のヘルメット内にある、請求項１に記載のシステム。
3. 前記１つまたは複数のスピーカが、前記ヘルメット内のある容積の周りに配置された４つ以上のスピーカのアレイである、請求項２に記載のシステム。
4. 前記４つ以上のスピーカのアレイと前記振動検出器とが、固定された位置関係を有する、請求項３に記載のシステム。
5. 前記１つまたは複数のスピーカがヘッドホン内にある、請求項２に記載のシステム。
6. 前記振動検出器が、３次元カメラを含む画像センサの一部である、請求項１に記載のシステム。
7. 振動検出器が３次元レーザドップラー振動計である、請求項１に記載のシステム。
8. 前記コントローラは、前記振動の前記周波数に対応する合成周囲音として前記音声を生成するように構成されている、請求項１に記載のシステム。
9. 前記コントローラが、前記振動の前記周波数と前記音声との間のマッピングに基づいて、または機械学習に基づいて前記音声を生成するように構成されている、請求項１に記載のシステム。
10. 宇宙環境用に構成された大気圧服に振動検出器を取り付けることであって、前記振動検出器は、振動の位置を検出し、前記振動の周波数を識別するように構成されている、前記取り付けることと、
    前記振動検出器に結合されたコントローラを配置することであって、前記コントローラは、前記振動検出器によって検出された振動の前記周波数に対応する音声を生成するように構成されている、前記配置することと、
    １つまたは複数のスピーカを前記大気圧服に配置して、前記コントローラから前記音声を受信し、前記大気圧服の着用者に指向性の音として前記音声を提供することと、
    を含む方法。
11. 前記１つまたは複数のスピーカを前記配置することが前記大気圧服のヘルメット内である、請求項１０に記載の方法。
12. 前記１つまたは複数のスピーカを前記配置することが、前記ヘルメット内のある容積の周りに配置された４つ以上のスピーカのアレイとしてである、請求項１１に記載の方法。
13. 前記４つ以上のスピーカのアレイを配置することが、前記振動検出器との固定された位置関係を確立することを含む、請求項１２に記載の方法。
14. 前記１つまたは複数のスピーカを前記配置することがヘッドホン内である、請求項１１に記載の方法。
15. 前記振動検出器と３次元カメラとを含む画像センサを取り付けることをさらに含む、請求項１０に記載の方法。
16. 前記振動検出器を前記取り付けることが３次元レーザドップラー振動計としてである、請求項１０に記載の方法。
17. 前記振動の前記周波数に対応する合成周囲音として前記音声を生成するように前記コントローラを構成することをさらに含む、請求項１０に記載の方法。
18. 前記振動の前記周波数と前記音声との間のマッピングに基づいて、または機械学習に基づいて前記音声を生成するように前記コントローラを構成することをさらに含む、請求項１０に記載の方法。