JP7187699B2 - 音声無線信号を処理するための装置、方法、およびコンピュータプログラム - Google Patents

音声無線信号を処理するための装置、方法、およびコンピュータプログラム Download PDF

Info

Publication number
JP7187699B2
JP7187699B2 JP2021532425A JP2021532425A JP7187699B2 JP 7187699 B2 JP7187699 B2 JP 7187699B2 JP 2021532425 A JP2021532425 A JP 2021532425A JP 2021532425 A JP2021532425 A JP 2021532425A JP 7187699 B2 JP7187699 B2 JP 7187699B2
Authority
JP
Japan
Prior art keywords
unit
data
radio signal
signal
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021532425A
Other languages
English (en)
Other versions
JP2022514825A (ja
Inventor
ジョン・オーレ
ツベレフ・イヴァン
Original Assignee
フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2022514825A publication Critical patent/JP2022514825A/ja
Application granted granted Critical
Publication of JP7187699B2 publication Critical patent/JP7187699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/14Systems for determining direction or deviation from predetermined direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0008Transmission of traffic-related information to or from an aircraft with other aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0078Surveillance aids for monitoring traffic from the aircraft
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52Determining velocity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53Determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/04Details
    • G01S3/043Receivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ocean & Marine Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明による実施形態は、音声無線信号を処理するための装置、方法、およびコンピュータプログラムに関する。
海上部門、航空部門ならびに陸上部門において、現在、送信機の識別に関連して、口頭無線(例えば、VHF海上無線、航空無線、VHF陸上無線など)の追跡を可能にする技術的解決策は存在しない。現在、発話認識、送信機情報データ(AISデータ(海運)またはADS-Bデータ(航空)など)の評価、および放射方向探知のための技術を組み合わせたシステムは知られていない。
今日、多くのタイプの無線装置は、受信した音声無線信号を後で再生できるようにするために、規定の期間にわたってそれを保存する録音機能を有する(ラストコール音声録音)。したがって、今日では、通信履歴の断片的な部分しか、短期間の間オーディオ録音として再生することができない。さらに、無線メッセージの送信元を認識すること、または受信した通信を受信領域内に位置する無線局(例えば、船、飛行機、陸上車両など)に割り当てることは提供されない。無線メッセージの送信元は、既存の情報システム(例えば、AIS、ADS-B、GPSデータなど)を利用して間接的にしか特定することができない。
これを考慮して、受信した音声無線信号の明瞭性の向上、過去の音声無線信号、および場合によっては見逃された音声無線信号の、その履歴文書による追跡可能性、ならびに送信元の位置の推定および識別を可能にする概念が必要とされている。
この目的は、装置請求項1、方法請求項16、およびコンピュータプログラム請求項17を伴う独立請求項によって解決される。
本発明のさらなる発展は、従属請求項に定義されている。
一実施形態は、音声無線信号をテキスト信号に変換するように構成されたトランスクリプションユニットを備える、音声無線信号を処理するための装置に関する。さらに、装置は、音声無線信号の発信元である対象物を特定するように構成された対象物特定ユニットを備える。さらに、装置は、音声無線信号の発信元である対象物の位置情報を特定するように構成された対象物位置推定ユニットと、テキスト信号を対象物に割り当て、それを提供するように構成された出力ユニットとを備える。音声無線信号は、無線信号送信機によって無線信号受信機に送信される音声メッセージとすることができ、この場合対象物は、無線信号送信機と無線信号受信機の両方を備えることができる。トランスクリプションユニットを利用して特定されるテキスト信号は、音声無線信号をテキスト形式のメッセージ(例えば、ASCII)として表すことができる。
本装置のこの実施形態は、無線通信の情報をいつでもテキスト信号で特定することができ、したがって音声無線通信の不良メモリを防止することができるので、音声無線信号がトランスクリプションユニットを利用してテキスト信号に変換されるとき、無線を介した通信は追跡するのが容易であるという発見に基づいている。さらに、対象物の位置情報および/または対象物識別情報をテキスト信号に割り当てることにより、音声無線信号の送信元の識別または位置の推定が可能になり、したがって無線通信を非常に正確かつ良好に文書化することができる。特に、例えば陸上、空中または海上領域での救助活動では、作業中および作業後に無線通信を追跡し、それを船、飛行機または陸上車両などの個々の対象物に割り当てることができることが有利である。音声無線信号を発することができるすべての対象物は、本明細書に記載される装置を備えることができる。したがって、装置は、無線通信に関与する各対象物が、この装置を利用して、どの対象物が、いつ、どこで、装置によって音声無線信号として文書化されたテキスト信号を通信したかを追跡できることを可能にすることができる。
したがって、装置は、音声無線信号をテキスト信号に変換することによって音声無線信号を理解し易くし、テキスト信号を利用して音声無線信号から内容を読み取る、または調査し、音声無線信号の送信元を識別し位置を推定するように構成されることを述べなければならない。
一実施形態によれば、対象物位置推定ユニットは、特定の確率を用いて対象物が位置する領域を位置情報として特定するように構成される。対象物の位置の推定は、音声無線信号の供給源を領域として特定するために少なくとも1つの位置推定装置を備えることができる、または少なくとも1つの位置推定装置と通信するように構成される。領域は、例えば、一次元(例えば、着信する音声無線信号の方向を示す線(例えば、信号ビーム))、二次元(円形領域、円形セクタ、三角形、長方形、多角形などの任意の形状の領域)、または三次元(例えば、球形領域、円錐形領域、直方体領域などの任意の形状の本体)の拡張を有する領域である。領域は、例えば、音声無線信号が発生する方向を規定し、この方向から、対象物位置推定ユニットは、対象物がこの領域に配置されていると結論付けることができる。ここで、対象物位置推定ユニットは、対象物が領域内に配置される確率を特定することができ、この確率は、少なくとも1つの位置推定装置がどの程度正確に領域を特定することができるかを示すことができる。こうして、大まかな位置の推定はすでに可能になり、それによって、対象物の方向(例えばその領域)に救助隊を送るために、緊急無線信号を発した対象物が、たとえ音声の明瞭性が低い(例えば対象物の位置が、例えば分からない、または伝達されない)場合であっても、対象物位置推定ユニットを利用して位置の推定ができるため、装置は、例えば救助活動のために使用することができる。
一実施形態によれば、位置推定装置は、少なくとも1つの無線方向探知器を備える。少なくとも1つの無線方向探知器を利用して、対象物位置推定装置は、音声無線信号の供給源をこの領域に制限することができる。言い換えれば、この領域は、音声無線信号の供給源を含むことができる。例えば、複数の無線方向探知器が使用される場合、領域を縮小させることができる、および/または確率を高めることができ、あるいは対象物位置推定ユニットを利用して対象物の正確な位置を特定することができる。
一実施形態によれば、対象物位置推定ユニットは、対象物の位置データ(例えば、GPS位置、進路、ルート、速度など)を受信するようにさらに構成される。ここで、例えば、音声無線信号は、位置が推定されないが、装置の半径の範囲内(例えば、装置から最大距離20km、50km、100kmまたは1000kmまで)に配置された対象物は位置が推定される。これにより、音声無線信号が発生し得る、潜在的な対象物の位置情報を特定することができる。任意選択で、対象物位置推定ユニットは、(音声無線信号の発信元である)領域内の対象物の位置データ(例えば、GPS位置、進路、ルート、速度など)を受信するように構成される。これは、(例えば、位置推定装置を利用して)音声無線信号の発信元である領域の特定を可能にするだけでなく、追加として、音声無線信号を発信した可能性がある対象物の非常に正確な位置データの特定も可能にする。したがって、音声無線信号を発した対象物の位置の推定(または対象物特定ユニットを利用する対象物の特定)は、領域全体に限定されず、その領域内の個々の位置に限定される。これにより、対象物への音声無線信号の最適化された位置の推定および割り当てが可能になる。
一実施形態によれば、対象物位置推定ユニットは、位置データを受信するために、AIS受信機、ADS-B受信機、レーダユニットおよび/または一般的な位置データ受信機を備える、またはそれらと通信することができる。位置データは、GPS位置、ルート、速度、および/または海面に対する高度を含むことができる。ここで、対象物に応じて、位置データは他の受信機で受信される場合もある。したがって、例えば、AIS受信機は、船の位置データを受信することができ、ADS-B受信機は、飛行機の位置データを受信することができ、レーダユニットは、船、飛行機、車両などの金属製の対象物の位置データを受信し、一般的な位置データ受信機は、陸上車両などの複数の可能な対象物の位置データを受信することができる。これにより、陸上、水中および空中の両方で音声無線信号を処理するための装置の複合的な使用が可能になる。対象物の位置データを受信するための受信機と、対象物位置推定ユニットにおける確率を用いて音声無線信号の発信元が発生する領域を特定する無線位置探知器との特定の組み合わせは、音声無線信号の発生元である対象物の特定を非常に高速かつ正確なやり方で可能にする。したがって、音声無線信号を対象物およびその位置に非常に効率的に割り当てることができる。
一実施形態によれば、対象物特定ユニットは、その位置が、対象物位置推定ユニットによって特定された位置情報と少なくとも部分的に一致する少なくとも1つの対象物の対象物識別データを取得するために、AIS受信機、ADS-B受信機、および/または一般的な対象物識別受信機を備えることができる、あるいはそれらと通信することができる。このような一致は、例えば、対象物特定ユニットが、対象物の位置データを音声無線信号の供給源を含む領域と比較し、この領域内の対象物の対象物識別データのみを受信することを意味してよい。したがって、対象物特定ユニットは、例えば、海上移動サービス(MMSI)の呼び出し番号、対象物の名称、対象物のターゲット、対象物の積み荷、および/または対象物のサイズなどの対象物識別データを、対象物位置推定ユニットによって位置が特定された対象物に割り当てるように構成される。これにより、音声無線信号は、この装置を利用して、位置情報、例えば音声無線信号の位置の推定だけでなく、音声無線信号の発信元である対象物にも割り当てることができる。ここで、対象物特定ユニットは、例えば、AIS受信機を介して、船の対象物識別データ、ADS-B受信機を介して、飛行機の対象物識別データ、および/または陸上車両などの他の対象物の一般対象物識別受信機を介して、少なくとも1つの対象物の対象物識別データを取得するように構成される。ここで、対象物位置推定ユニットによって特定された位置情報は、例えば、正確なGPS位置を表すことができ、それによって、対象物特定ユニットは、例えば、その位置が、特定された位置情報と正確に一致する対象物のみから対象物識別データを取得する。対象物位置推定ユニットによって特定された位置情報が、例えば領域を定義している場合、対象物特定ユニットは、その位置がこの領域内にある複数の対象物から対象物識別データを取得することができる。
一実施形態によれば、対象物識別データは、海上移動サービス(MMSI)の呼び出し番号、対象物の名称、対象物のターゲット、対象物の積み荷、および/または対象物のサイズを含むことができる。したがって、海上移動サービスの呼び出し番号を割り当てることによって、装置のユーザは、例えば、音声無線信号の発信元である対象物に非常に容易に接触することができる。さらに、複数の対象物の無線通信においては、それぞれの音声無線信号に対象物の名称を割り当てることにより、無線通信の追跡可能性を向上させるために、対象物の名称を介して個々の対象物に異なる音声無線信号を割り当てることができる。対象物のターゲット、対象物の積み荷、および/または対象物のサイズは、さらなる重要な対象物識別データを表すことができ、これらは、音声無線信号と共に、無線通信で効率的に処理される非常に詳細な情報を表すことができる。ここで、装置は、(例えば、出力ユニットを介して)対象物識別データと共にテキスト信号の形態で音声無線信号を提供するように構成されることが特に有利である。
一実施形態によれば、対象物特定ユニットは、その位置が、特定された位置情報と少なくとも部分的に一致する少なくとも1つの対象物についての検出確率を特定するように構成される。また、対象物特定ユニットは、例えば、検出確率が最も高い対象物を音声無線信号の発生元の対象物として特定するように構成される。検出確率は、例えば、音声無線信号が対象物から発生する確率を定義する。検出確率は、例えば、対象物特定ユニットが、例えば、その位置が、対象物位置推定ユニットによって特定された位置情報と少なくとも部分的に一致する複数の対象物を識別した場合、単一の対象物を音声無線信号または対応するテキスト信号に割り当てることを可能にする。したがって、装置は、音声無線信号またはテキスト信号に明確に対象物を割り当てることができる。
一実施形態によれば、非常に類似した検出確率(例えば、±1%、±2%または±5%の偏差)の場合、対象物特定ユニットは、類似の検出確率を有するすべての対象物を対象物として特定するように構成することができ、出力ユニットは、例えば、そのようなケースでは、これらすべての対象物をテキスト信号に割り当て、それぞれの検出確率も示すように構成することができる。任意選択で、そのようなケースでは、装置は、検出確率を高めるために、迅速に連続して(例えば、最大5分以内、最大30分以内、最大1時間以内、または最大5時間以内)互いに続いて起こる、同一の対象物からの少なくとも2つの音声無線信号を解析するように構成される場合がある。対象物の位置は、少なくとも2つの音声無線信号の間で変化している可能性があり、このような位置の変化は、例えば、対象物特定ユニットを利用して、その位置が位置情報と少なくとも部分的に一致する対象物の進路またはルートと比較することができる。一実施形態によれば、装置は、発話パターンコードを利用して、迅速に連続して互いに続いて起こる少なくとも2つの音声無線信号が同じ対象物に由来するかどうかを判定するように構成することができる。
一実施形態によれば、検出確率は、特定された位置情報と対象物の実際の位置との対応の度合いを定義し、この場合特定された位置情報は、対象物位置推定ユニットを利用して特定された位置情報を表す。追加的または代替的に、対象物特定ユニットは、対象物位置推定ユニットの正しい位置情報の確率に基づいて検出確率を特定することができる。特定された位置情報は、例えば、対象物位置推定ユニットによって、例えば無線方向探知器を利用して特定されている領域を表すことができ、対象物の実際の位置は、例えば、領域の縁または領域の中心に配置される、あるいは領域と部分的にのみ重なるように配置される場合があり、その結果、検出確率を定義する異なる対応の度合いが得られることになる。したがって、例えば、領域の中心に近い対象物は、領域の縁にある対象物よりも高い検出確率を有することができる。追加的または代替的に、対象物位置推定ユニットを利用して特定された正しい位置情報の確率の追加の使用により、装置の起こり得る不正確さを組み込み、このことから対象物の非常に正確な識別が可能になる。ここで、正しい位置情報の確率は、例えば、対象物位置推定ユニットにより領域に割り当てられた確率に対応することができ、これは、対象物位置推定ユニットにより特定された領域内に対象物がどの程度の確率で配置されているかを示す。
一実施形態によれば、対象物特定ユニットは、テキスト信号から対象物の対象物識別を特定するために、トランスクリプションユニットと通信するように構成される。したがって、例えば、音声無線信号は対象物識別を既に含むことができ(そのようにして、音声無線信号を発する無線オペレータは、自分の名前および/または音声無線信号の発信元である対象物の名称もしくは識別を述べることができる)、これは、トランスクリプションユニットを利用して文字に変換することができ、対象物特定ユニットを利用して、文字に変換されたテキスト信号から特定することができる。これにより、対象物の位置を対象物位置推定ユニットで特定された位置情報と比較する必要なく、対象物特定ユニットによる、例えば100%の、または極めて高い検出確率での対象物の特定が可能になる。任意選択で、検証のために、比較が行われる場合もある。
一実施形態によれば、トランスクリプションユニットは、音声無線信号から発話パターンコードを抽出し、それを対象物特定ユニットに提供するように構成される。さらに、対象物特定ユニットは、発話パターンコードに基づいて音声無線信号の発信元である対象物を特定するように構成することができる。発話パターンコードは、例えば、対象物に割り当てることができる無線オペレータに割り当てることができる。一実施形態によれば、装置は、データベースを備えることができる、またはデータベースにアクセスするように構成することができ、この場合データベースは、無線オペレータまたは対象物に割り当てられた発話パターンコードを含むことができる。あるいは、装置は、第1の音声無線信号から発話パターンコードを抽出し、対象物特定ユニットを利用して、割り当てられた対象物を特定し、次いで、対象物と共に発話パターンコードをキャッシュして後続の第2の音声無線信号内の発話パターンコードを検出し、対象物特定ユニットを利用して対象物を再度特定する必要はないが、キャッシュされた発話パターンコードから直接、割り当てられた対象物識別情報を特定することも可能である。言い換えると、対象物特定ユニットは、特定された発話パターンコードとは無関係に、まず対象物の対象物識別データを特定し、同一の発話パターンコードを有する第2の音声無線信号内の発話パターンコードに基づいて対象物の対象物識別データを特定するように構成することができる。
一実施形態によれば、トランスクリプションユニットは、音声無線信号をテキスト信号に変換するためにニューロンネットワークを使用するように構成される。これにより、例えば、トランスクリプションユニットが、音声無線信号において頻繁に使用されるフレーズをニューロンネットワークを利用して検出することが可能になり、したがって、音声無線信号のテキスト信号への非常に効率的で迅速かつ容易な変換が可能になる。
一実施形態によれば、装置は、少なくとも2つの音声無線信号を同時におよび/または時間的にオフセットして処理するように構成される。さらに、出力ユニットは、少なくとも2つの音声無線信号に対する少なくとも2つのテキスト信号をそれぞれの対象物に割り当て、それをユーザインターフェースを介して装置に時系列に提供する、および/またはそれをデータベースに格納するように構成することができる。これにより、複数の音声無線信号での無線通信経路の追跡、または以前の音声無線信号の調査が可能になり、それをそれぞれの対象物に割り当てることが可能になる。これにより、装置は、複数の音声無線信号での無線通信を文書化し、提供するように構成することができる。
一実施形態によれば、出力ユニットは、テキスト信号、割り当てられた対象物、対象物の位置、ならびに入力時間または音声無線信号の両方を、ユーザインターフェースを介して装置に提供する、および/またはデータベースに格納するように構成される。ここで、例えば、出力ユニットは、例えば、テキスト信号をテキストデータとして、割り当てられた対象物に提供する、またはそれを格納するように構成することができ、この場合、データは、チャット履歴などのユーザインターフェース上で示すことができる。
また、陸、水、空気などのカード素材がユーザインターフェースに示され、対象物は、対象物位置推定ユニットによって特定された位置にテキスト信号で示されることも可能である。したがって、出力ユニットを利用するユーザインターフェース上で、例えば、テキスト信号を、割り当てられた対象物と共に示すことができる。ユーザインターフェースならびにデータベースは共に、装置を利用して特定されたデータへの迅速なアクセスを可能にする。
一実施形態によれば、対象物は、船、飛行機、または車両である。
一実施形態は、音声無線信号を処理するための方法を提供し、方法は、トランスクリプションユニットを利用して音声無線信号をテキスト信号に変換するステップと、対象物特定ユニットを利用して音声無線信号の発信元である対象物を特定するステップと、対象物位置推定ユニットを利用して音声無線信号の発信元である対象物の位置情報を特定するステップと、出力ユニットを利用して、テキスト信号を対象物に割り当てるステップと、対象物に割り当てられたテキスト信号を提供するステップとを含む。
一実施形態は、プログラムがコンピュータ上で実行されるときに本明細書に記載される方法を実行するためのプログラムコードを有するコンピュータプログラムを提供する。
以下で、添付の図面を参照して、本発明による実施形態をより詳細に説明する。図示された概略図に関して、図示された機能ブロックは、本発明の装置の要素または特徴、ならびに本発明の方法のそれぞれの方法ステップの両方とみなされるべきであり、本発明の方法のそれぞれの方法ステップはそこから導出することができることに留意されたい。
本発明の一実施形態による装置の概略図である。 本発明の一実施形態による装置の概略ブロック図である。 本発明の一実施形態による、出力ユニットを利用して対象物に割り当てられたテキスト信号のグラフィック対応の概略図である。 本発明の一実施形態による、出力ユニットを利用して最も高い検出確率を有する対象物に割り当てられたテキスト信号のグラフィック対応の概略図である。 本発明の一実施形態による、装置を利用して音声無線信号の発信元である対象物の非一意的識別の概略図である。 本発明の一実施形態による音声無線信号を処理するための方法のブロック図である。
本発明の実施形態が図面を参照して以下でより詳細に考察される前に、同一の、機能的に等しい、または等しい要素、対象物、および/または構造には、異なる実施形態に示されるこれらの要素の説明が相互に交換可能または相互適用可能であるように、異なる図面において、同一のまたは類似の参照番号が付されていることに留意されたい。
図1は、音声無線信号110を処理するための装置100の概略図を示す。装置100は、音声無線信号110をテキスト信号112に変換するように構成されたトランスクリプションユニット120を備える。さらに、装置100は、音声無線信号110の発信元である対象物200を特定するように構成された対象物特定ユニット130を備える。さらに、装置100は、音声無線信号110の発信元である対象物200の位置情報142を特定するように構成された対象物位置推定ユニット140を備え、装置100は、テキスト信号112を対象物200に割り当て、それを提供するように構成された出力ユニット150をさらに備える。
一実施形態によれば、対象物位置推定ユニット140は、対象物200が割り当てられる領域220を位置情報142として特定するように構成することができ、この場合確率は、位置情報を特定する際の対象物位置推定ユニット140の精度を示すことができる。図1によれば、領域220は三次元拡張部を有することができる。しかしながら、領域220が二次元(例えば、領域)または一次元(例えば、信号ビーム)の拡張部を有することも可能である。位置情報142を特定するために、対象物位置推定ユニット140は、少なくとも1つの位置推定装置を備えることができる、または少なくとも1つの位置推定装置と通信して、音声無線信号の供給源を含む領域220を特定する、または対象物の正確な位置210を特定するように構成することができる。
一実施形態によれば、位置推定装置は、少なくとも1つの無線方向探知器を含むことができる。ここで、対象物位置推定ユニット140は、対象物位置推定ユニット140が1つの無線方向探知器のみを備える、または1つの無線方向探知器のみと通信するように構成される場合、領域220を位置情報142として特定するように構成することができることに留意されたい。対象物位置推定ユニット140が少なくとも2つの無線方向探知器を備える、または少なくとも2つの無線方向探知器と通信するように構成されている場合、システムの不正確さを考慮することにより、このケースでは三角測量が可能であるため、正確な位置210への高い近似値を特定することができる。
一実施形態によれば、対象物位置推定ユニット140は、領域220内の対象物200から、位置データ、例えば正確な対象物の位置210を受信するようにさらに構成することができる。したがって、装置100は、最初に領域220を特定し、続いて領域内の対象物200の位置データ210を特定し、領域220の代わりに、位置データ210を位置情報142として特定または提供するように構成することができる。
一実施形態によれば、対象物位置推定ユニット140は、対象物200の領域または正確な位置を無線方向探知器で特定することができるかどうかを検出し、その後すぐに、対象物200の位置データ210が領域220内で検出されるかどうかを決定するように構成することができる。ここで、対象物位置推定ユニット140は、1つまたは複数の無線方向探知器によって1つの領域のみが特定されたとき、位置データ210を受信するように構成することができる、または対象物位置推定ユニット140が既に複数の無線方向探知器を利用して位置データ210を特定することができるときには、位置データ210を受信しないことを決定することができる。
一実施形態によれば、対象物位置推定ユニット140は、AES受信機、ADS-B受信機、レーダユニットおよび/または一般的な位置データ受信機を備えることができる、または位置データ210を受信するためにそれらと通信するように構成することができる。図1に示すように、位置データ210は、例えば、GPS位置、ならびに追加的または代替的に、ルート、速度、および/または海面に対する高度を含むことができる。ここで、可能な位置データ受信機および位置データ210のリストは、例示的なものであり、限定的なものではないとみなすべきである。
以下において、対象物位置推定ユニット140の特徴および機能性が、言い換えて考察されることになり、この場合、特に船および飛行機が、位置が推定されるべき対象物200として扱われることになる。
船の位置の推定ならびに飛行機の位置の推定は、異なる技術を有する対象物位置推定ユニット140を利用して行うことができる。AIS技術(船の位置の推定)、ADS-B技術(航空機)、レーダ装置および無線方向探知器は適切なシステムである。
AISは、Automatic Identification System(ETSI EN 303 098-1、2013-05、p.9)の略である。一般に、AISシステムは、例えば海上交通の監視を可能にし、船同士の衝突を防止するのに役立つ。このシステムの機能的基盤は、電子海図(ECDIS)と組み合わせたAISトランスポンダを有する船の機器である。時分割多元接続方法(TDMA)では、トランスポンダは、例えば、他の船(AISトランスポンダによっても)または陸上局から受信することができる周波数(161.975MHzおよび162.025MHz)(ITU無線通信局、p.1およびp.67)でデータを発信する。データは、例えば、船の識別、現在のGPS位置、進路、速度、および他の船関連データなどの情報を含む。このデータは、例えば、電子海図上に示すことができる。船にAISが装備されている場合、それに応じて、それらは他の人の目に触れることもでき、他の人が見ることができる。対象物位置推定ユニット140は、例えば、これらのデータを受信し、位置情報142を特定するためにそれを処理するように構成される。
ADS-Bは、放送型自動従属監視(EUROCAE ED 129「TECHNICAL SPECIFICATION FOR A 1090 MHZ EXTENDED SQUITTER ADS-B GROUND SYSTEM」の仕様における規格を参照)の略であり、海上分野のAISシステムと同様に、ADS-B受信機の範囲内の航空機に関する情報を取得することを可能にする。航空機にADS-Bトランスポンダが装備されている場合、それらは、例えば1090MHzでその識別、進路、速度、現在位置および他のデータを送信する。これにより、航空機は、他の航空機および航空交通管制官に見えるようになる。対象物位置推定ユニット140は、例えば、これらのデータを受信し、処理して位置情報142を特定するように構成される。
AISシステムおよびADS-Bシステムとは対照的に、レーダユニットはデータの相互交換に依存しない。レーダの位置推定の基盤は、導電性表面の反射率である。ほとんどの船、飛行機、および陸上車両(対象物200の例)は、入射電磁波を反射する金属体を有する。したがって、レーダは、高周波送信パルスを放射し、その後エコーを受信することができる。電波の伝搬速度(光速)は分かっているため、送信パルスとエコーとの時間計測から、レーダ局から船までの距離を求めることができる。エコー信号の相対角度を特定するために、たいていの場合、すべての方向に高周波パルスを放射し、同じ方向からエコーを受信する機械的に回転するアンテナが使用される。
AISシステムおよびレーダシステムの両方によって、ユニットのそれぞれの範囲内にある複数の船のチャート表示が可能である。通信の安全性の文脈では、AIS、ADS-B、およびレーダの位置推定は、潜在的な通信参加者の数を特定するにすぎない。
無線方向探知システムは、方向探知アンテナへの電磁波の入射角を測定し、それによって、無線信号の発信元の方向を特定することを可能にする。基本的に、方向探知システムは、主に複数のダイポール素子から成る方向探知アンテナを取り囲む電磁波場を「分析」する。このために、様々な方向探知方法が存在する。干渉計およびドップラーシステムが一般的に使用される。干渉計の原理は、方向探知アンテナの個々の素子間の位相差の直接測定を使用する。アンテナ素子間の距離および光速を知ることにより、幾何学的手法による方位角の計算が可能になる。干渉計の方向探知器は、通常、アンテナ素子ごとに1つの受信機を必要とする。ドップラーシステムと比較して、そのようなシステムは、非常に短い無線パルスの方向探知を可能にし、これは無線監視にとって重要である。ドップラー原理では、方向探知アンテナの個々のアンテナ放射器は、方向探知アンテナが、入射電磁波内の円形軌道上を一定速度で移動する仮想アンテナ振動子を最終的に表すように切り替えられる(整流される)。それが波に向かって移動する場合、ドップラーに従って受信周波数が増加する。仮想アンテナが波から離れて移動するとき、受信周波数は低下する。これは、受信機入力における周波数変調をもたらし、この変調は、信号処理中に復調され、「方向探知位相信号」に処理される。無線信号の入射方向が変化すると、それに応じて方向探知位相信号の位相位置が変化する。方位角の特定は、指定された位相位置を測定することによって行われる。位置の推定のためには、相対角度と通信源までの距離の両方がわかっている必要があるため、位置の推定は単一方向探知システムで実行されるべきではない。クロスベアリングによって、正確または非常に正確な無線位置推定を行うことができる。しかしながら、これは、明らかに離れた設置場所にさらなる方向探知システムを必要とする。スペースの理由から、クロスベアリングによる無線位置推定システムの使用は、船や航空機ではほとんど不可能である。ただし、シーレーン制御や飛行制御などの陸上用途では、さまざまな場所にある複数の無線方向探知システムを使用することができる。
一実施形態によれば、対象物特定ユニット130はまた、AIS受信機、ADS-B受信機、および/または一般的な対象物識別受信機を備えることができる、またはそれらと通信して、その位置210が、対象物位置推定ユニット140によって特定された位置情報142と少なくとも部分的に一致する少なくとも1つの対象物200の対象物識別データ132を取得することができる。ここで、対象物特定ユニット130および対象物位置推定ユニット140は、同じAIS受信機、ADS-B受信機を共有する、または対象物特定ユニット130ならびに対象物位置推定ユニット140は共に、同じAIS受信機またはADS-B受信機と通信するように構成されることが可能である。さらに、対象物位置推定ユニット140は、対象物特定ユニット130が対象物200の位置210を位置情報142と比較することができるように、位置情報142を対象物特定ユニット130に提供するように構成することができる。したがって、対象物特定ユニット130は、例えば、少なくとも部分的に位置情報142を含む、対象物200の対象物識別データ132のみを特定することが可能であり、その結果、対象物200が高い確率で音声無線信号110を発したことが保証される。
一実施形態によれば、対象物識別データ132は、海上移動サービス(MMSI)の呼び出し番号、対象物の名称、対象物のターゲット、対象物の積み荷、および/または対象物のサイズを含む。ここで、対象物識別データのリストは、例示的なものであり、限定的なものではないとみなすべきである。
一実施形態によれば、対象物特定ユニット130は、その位置210が、特定された位置情報142と少なくとも部分的に一致する少なくとも1つの対象物200について検出確率を特定するように構成される。検出確率は、例えば、特定された対象物200が音声無線信号110を発した確率または確実性を定義することができる。また、対象物特定ユニット130は、検出確率が最も高い対象物を、音声無線信号110の発生元である対象物200として特定するように構成することができる。これにより、例えば、検出確率が最も高い対象物200のデータのみが対象物識別データ132として特定される。
一実施形態によれば、検出確率は、特定された位置情報142と対象物200の実際の位置210との対応の度合いを特定する。対象物200が、例えば、特定された位置情報142により近く配置されるほど、検出確率は高くなる。追加的または代替的に、対象物特定ユニット130は、対象物位置推定ユニット140の正しい位置情報142の確率に基づいて検出確率を特定するように構成することができる。これにより、対象物特定ユニット130は、対象物200の特定に対象物位置推定ユニット140の不確実性、または起こり得る誤差を組み込むことができる。
一実施形態によれば、対象物特定ユニット130は、テキスト信号112から対象物200の対象物識別132を特定するために、トランスクリプションユニット120と通信するように構成することができる。
一実施形態によれば、トランスクリプションユニット120は、音声無線信号110から発話パターンコード122を抽出し、それを対象物特定ユニット130に提供するように構成され、対象物特定ユニット130は、発話パターンコード122に基づいて、音声無線信号110の発生元である対象物200を特定するように構成され得る。ここで、対象物特定ユニット130は、例えば、船、飛行機または陸上車両に搭乗している人の発話パターンコード122を、それぞれの対象物(例えば、船、飛行機、または陸上車両)に関連付け、それにより対象物を特定することができる。一実施形態によれば、対象物特定ユニット130は、そのようにして特定された対象物を対象物識別データ132として提供することができる。
一実施形態によれば、トランスクリプションユニット120は、音声無線信号110をテキスト信号112に変換するためにニューロンネットワークを使用するように構成することができる。したがって、装置100は、ニューロンネットワークを利用して無線音声信号110を非常に迅速にテキスト信号112に変換することができるため、有利なトランスクリプションユニット120を備える。
一実施形態によれば、トランスクリプションユニット120は、音声メッセージ(例えば、音声無線信号110)をテキスト信号112に変換するための既存の発話処理システムを備えることができる。したがって、トランスクリプションユニット120は、以下で簡単に説明するような既知の発話認識ソフトウェアを含むことができる。何十年もの間、コンピュータによる話し言葉の自動認識および了解度は、集中的な研究の対象であった。自動発話認識は、コンピュータが話し言葉をデータとして自動的に検出し、その後処理に利用可能にすることを可能にする方法である。現在、発話処理および独立した発話認識のための発話認識ソフトウェアは、複数のプロバイダによって利用可能であり、使用されている。
一実施形態によれば、装置100は、少なくとも2つの音声無線信号110を同時におよび/または時間的にオフセットして処理するように構成される。ここで、少なくとも2つの音声無線信号110は、異なる位置にある異なる対象物から発生する可能性がある。さらに、出力ユニット150は、トランスクリプションユニットユニット110を利用して特定された、少なくとも2つの音声無線信号110のうちの少なくとも2つのテキスト信号112をそれぞれの対象物200に割り当て、装置100のユーザインターフェースを介して時系列順に提供する、および/またはデータベースに格納するように構成することができる。
したがって、装置100は、例えば、少なくとも2つの音声無線信号110との無線通信を、追跡可能な方法で文書化するように構成される。
一実施形態によれば、出力ユニット150は、装置100のユーザインターフェースを介してテキスト信号112、割り当てられた対象物200、対象物200の位置210、ならびに音声無線信号110の入力時間の両方を提供する、および/またはデータベースに格納するように構成される。ここで、出力ユニット150は、トランスクリプションユニット120からのテキスト信号112、位置情報142を介した対象物位置推定ユニット140からの対象物の位置を受け取ることができ、例えば対象物識別データ132を利用して、対象物特定ユニット130を介した、割り当てられた対象物を受け取ることができる。出力ユニット150は、装置100のユーザが無線通信の履歴を非常に容易に、かつ効率的に追跡または調査することができるように、テキスト信号、割り当てられた対象物、対象物の位置、および音声無線信号110の入力時間を処理するように構成することができる。
一実施形態によれば、対象物200は、船、飛行機、または車両であり得る。
一実施形態によれば、装置は、以下の3つの点のうちの少なくとも1つを含むように構成されている。
-発話認識において、装置100は、訓練されているか、または装置を利用して訓練され得る、海上発話認識用のプログラムされたディープニューラル・ネットワークを備えることができる。
-船の識別、または飛行機または陸上車両の識別において、装置100は、例えば対象物識別ユニット130内に、開発されたアルゴリズムを備えることができ、これは、入力データ112,122および/または142に基づいて1つまたは複数の対象物を識別および位置の推定をする(図2の「システム図-ブロック図」を参照)。
-発話認識と対象物認識の連結。
以下の実施形態は、識別および位置の推定の文脈を言い換えて説明する。これは、以下の4つの適用事例に関連する。
a.完全装備の船
-AISシステムと、1つの無線装置が搭載されている
b.基本的装備の船
-1つの無線装置のみ
c.完全装備の航空機
-ADS-Bトランスポンダシステムと、1つの無線装置が搭載されている
d.基本的装備の航空機
-1つの無線装置のみが搭載されている
a.完全装備の船
AISシステムと、1つの無線装置が、例えば搭載されている。
シナリオ
船の船長は、例えばチャンネル16で無線ごとに報告する。AISトランスポンダは、例えば、継続的に、それぞれの船情報(MMSI、船の名称、位置、速度、進路およびその他のデータ)を発信する。
位置の推定
無線方向探知器による位置の推定:
キャプテンが話している間、無線信号の方向が装置100によって見つけられる。ここでは、例えば、船に対する方向探知局の方向が特定される。位置の推定の意味において、方向探知システムの無線方向探知偏差を知ることによって、例えば、船の対象物200が位置している円錐(例えば、領域220)が分かるようになる。装置100の処理アルゴリズムは、この円錐を検出確率の高い領域として登録する。さらに、無線信号レベルを評価することは、信号ビーム(領域220に関する例)上の確率の分布に影響を及ぼす。
追加として、さらなる方向探知システムを用いて異なる位置から方向探知が実行される場合、さらなる「確率円錐」が生じることになる。両方の確率領域がアルゴリズムによって処理され、その結果、位置の推定の確率(例えば、検出確率)が増加した限定された領域(例えば、領域220)が得られる。ここで、基本的な位置の推定は、一方向探知システムで既に行うことができることが明らかになる。無線信号レベルを評価し、さらなる方向探知システムを使用すると、位置推定の精度が向上する。
ここで、対象物の位置の推定が行われたことを既に述べることができる。最終的に、無線メッセージが発せられた1つのゾーン(例えば、領域220)が分かる。
AISデータを評価することによる位置推定の精度の向上:
受信したAISデータから、例えば、ユニットの受信範囲内の船の位置データ(GPS位置210、進路、速度)および識別データ(MMSI、船の名称、目的地の港、積み荷、船のサイズなど)が取得される。現在時刻とAISメッセージの時刻との間の時間を測定することにより、船の進路および船の速度を考慮して現在の船の位置をより正確に特定することができる。
1つまたは複数の船(対象物200)が、既に特定された確率ゾーン(例えば、領域220の場合、GPS位置および割り当てられた検出確率を有するフィールド)にある場合、最も高い確率を有する船の位置210が無線信号源として検出される。AISデータから取得され修正されたGPS位置は、可能な限り最大のシステム精度で位置の推定を終了する。
識別
識別は、例えば、位置の推定から導出される。MMSI、船の名称、目的地の港、積み荷、船のサイズなどのすべての関連する識別データは、検出されたGPS位置210を含む割り当てられたAISメッセージから取得される。
トランスクリプション
音声信号を受信した後、例えば、トランスクリプションは、VHF海上無線(例えば、音声無線信号110)を介して送信された音声メッセージに基づいてトランスクリプションユニット120を利用して局所的に行われ自動化される。このために、例えば、標準的な海洋通信フレーズを検出するために特別に開発されたニューロンネットワークが使用される。トランスクリプションシステム120を送信機の位置の推定(例えば、対象物位置推定ユニット140)および識別(例えば、対象物特定ユニット130)に連結することにより、受信された音声メッセージは、書面形式(例えば、テキスト信号112)で検索することができ、それぞれの位置が推定された船に割り当てることができ、その結果、ユーザインターフェースを介して過去の無線メッセージ(例えば、音声無線信号110)を追跡することができる。文字に変換された音声メッセージ(例えば、テキスト信号112)がエラーまたは未検出の音声メッセージを含む場合、フィードバックループを介してその続の修正が可能であり、それにより、ディープニューラル・ネットワークの検出率を経時的にさらに最適化することができる。
b.基本的装備の船
例えば、1つの無線装置のみが搭載されている。
シナリオ
船の船長は、例えばチャンネル16で、無線ごとに報告する。船は、例えばAISトランスポンダを持たないため、それぞれの船の情報(MMSI、船の名称、位置、速度、針路その他のデータ)は発信されない。
位置の推定
無線方向探知および信号強度の評価による位置の推定は、例えば、完全装備の船の位置の推定と同じ方法で行われる。船はIISデータを発信しないため、船の対象物は特定された確率ゾーン内にない可能性がある、または他の周囲の船の検出確率が一意のGPS位置を特定するには低すぎると評価される可能性がある。したがって、AISトランスポンダなしで船の位置を推定することは、比較すると精度が低くなる。さらに、発信されたGPS位置が非常に高い可能性であると評価された完全装備の船が、特定された確率ゾーン内にある場合、検出不良の可能性さえある。
識別
このシナリオでは、識別は、例えば、自動化された方法で必ずしも可能であるとは限らない。無線信号は、AIS機器を有する必要がないか、またはAISシステムが故障しているか、スイッチがオフになっている船から発生すると仮定することができる。
トランスクリプション
トランスクリプションは、受信したVHF無線のみに基づいて局所的に作用し、したがって音声メッセージを送信する船の機器から独立しているため、完全装備の船でのトランスクリプションと同じように機能する。
c.完全装備の航空機
ADS-Bトランスポンダシステムと、1つの無線装置が、例えば搭載されている。
シナリオ
パイロットは、無線ごとに、例えば、既知のタワー周波数(118~137MHz)で報告する。ADS-Bトランスポンダは、各情報(識別、位置、速度、進路およびその他のデータ)を継続的に発する。
位置の推定
無線方向探知器による位置の推定:
パイロットが話している間、無線信号の方向探知が行われる。ここでは、例えば、方向探知局から航空機までの方向が特定される。位置の推定の意味において、方向探知システムの方向探知偏差を知ることによって、例えば、航空機がその中に位置する円錐が分かるようになる。処理アルゴリズムは、この円錐を検出確率の高い(例えば、音声無線信号110)領域(領域220)として登録する。さらに、無線信号レベルを評価することは、信号ビーム(領域220)上の確率の分布に影響を及ぼす。
追加として、さらなる方向探知システムを用いて異なる位置から方向探知が実行される場合、さらなる「確率円錐」が生じることになる。両方の確率領域が、例えばアルゴリズムによって処理され、その結果、位置の推定の確率が増加した限定された領域(領域220)が得られる。ここで、基本的な位置の推定は、一方向探知システムで既に実行されていることが明らかになる。無線信号レベルを評価し、さらなる方向探知システムを使用すると、位置推定の精度が向上する。
ここで、対象物の位置の推定が行われたことを既に述べることができる。最終的に、無線メッセージが発せられた1つのゾーンが分かる。
ADS-Bデータを評価することによる位置推定の精度の向上:
受信されたADS-Bデータから、ユニットの受信範囲内の航空機(対象物200)の位置データ210(GPS位置、進路、速度)および識別データ(識別、航空機の種類など)が取得される。現在時刻とADS-Bメッセージの時刻との間の時間を測定することにより、進路および速度を考慮に入れて航空機の現在位置をより正確に特定することができる。
1つまたは複数の航空機が、既に特定された確率ゾーン(GPS位置および割り当てられた検出確率を有するフィールド)内にある場合、最も高い確率を有する航空機位置が、例えば無線信号源として検出される。ADS-Bデータから取得され、修正されたGPS位置は、可能な限り最大のシステム精度で位置の推定を終了する。
識別
識別は、例えば、位置の推定から導出される。例えば、検出されたGPS位置を含む割り当てられたADS-Bメッセージから、識別、航空機の種類および他のデータなどのすべての関連する識別データが取得される。
d.基本的装備の航空機(例えば、UL-超軽量)
例えば、1つの無線装置のみが搭載されている。
シナリオ
パイロットは、無線ごとに、例えば、既知のタワー周波数(118~137MHz)で報告する。航空機は、例えばAISトランスポンダを持たないため、それぞれの情報(識別、航空機の種類、位置、速度、進路およびその他のデータ)は発信されない。
位置の推定
無線方向探知および信号強度の評価による位置の推定は、例えば、完全装備の航空機の位置の推定と同じ方法で行われる。飛行機またはヘリコプターはADS-Bデータを発信しないため、対象物が、特定された確率ゾーン内にない、または他の飛行機の検出確率が一意のGPS位置を特定するには低すぎると評価される可能性がある。比較すると、トランスポンダを持たない航空機の位置を推定することは精度が低くなる。さらに、発信されたGPS位置が非常に高い可能性があると評価された完全装備の航空機が、特定された確率ゾーン内にある場合、検出不良の可能性さえある。
識別
このシナリオでは、識別は、例えば、自動化された方法で必ずしも可能であるとは限らない。無線信号は、ADS-B機器を有する必要がないか、またはトランスポンダシステムが故障しているか、スイッチがオフになっている航空機から発生すると仮定することができる。
陸上での使用、例えば救助サービスおよび災害制御では、静止または移動(車両)ミッション管制センターには、配置された(就航中の)ユニットからの無線メッセージ(例えば、音声無線信号110)を追跡するために、装置100が備わっている、とりわけトランスクリプションユニット120、対象物特定ユニット130、ならびに対象物位置推定ユニット140(例えば、無線方向探知器)が備わっている。これにより、海上部門および航空部門における使用の分野においても同様に、ミッション管制センターにおける状況の評価および状況の文書化を確実にすることができる。
音声無線信号110の自動トランスクリプションおよび送信元の同時識別ならびにその位置の推定のための装置100の作用は、無線での通信をより安全にすることである。通信参加者(例えば、対象物200)は、何が話されたか(発話認識)、誰が話したか(識別)、および対象物がどこにあるか(位置を突きとめる/位置の推定)を明確に理解するという点で支援される。この技術により、海上部門、航空交通、ならびにさらなる応用分野における複雑な通信構造の追跡可能性が向上する。受信した無線通信を局所的に、かつ話者から独立して書面にし、連結された送信機検出によって補完された無線通信を記憶する自動トランスクリプションシステム(例えば、トランスクリプションユニット120)は、主に、沿岸無線局、海上探査救助機関、公的機関、ならびに船の乗組員がそれぞれのタスクを遂行するのをサポートし、軽減するのに役立つ。さらに、この使用は、船案内シミュレータを使用するときの航海訓練を支援する。航空業界では、システムは、とりわけ、通信のセキュリティを高め、航空交通管制官の作業を容易にするのに役立つ。さらなる応用分野についても同様の利点を特定することができる。
海上用途:
DGzRS(ドイツ海上探査救助機関)またはHavariekommando(海上での緊急事態のための中央司令部)などの救助機関は、救助活動中の安全な通信から大きな利益を得るであろう。損傷した船の識別、位置特定、ならびに識別の追跡、位置の特定、ならびに緊急通報の追跡によって、救助作業をより迅速かつより効果的に編成することができる。
水上警察、沿岸警備隊、VTS(大型船交通サービス)サービスプロバイダ、および機能監視が彼らの仕事の本質的な側面を表す他の組織も、提示された技術を有利な方法で使用することができる。
本明細書に記載される装置100では、既存のシステムへの技術の統合可能性にも焦点を当てることができる。ECDIS(電子海図表示情報システム)の可能な製造業者は、標準化されたプロトコルによって装置100を統合することが可能であるべきである。
航空業界における用途:
可能な使用シナリオは、空中から海岸線を監視することである。航空学と互換性のある探知システムを使用することによって、この技術(装置100)をヘリコプターに統合することもできる。ヘリコプターのそれぞれの飛行高度および速度によって、海上での通信監視が著しく広い領域で可能になる。ヘリコプターのガラスコックピットの製造業者も、本出願を統合することが可能であるべきである。
さらなる用途:
沿岸水域を監視するときや、陸上での救助活動を組織するときなど、例えば、警察の活動、救急隊員の活動、消防救助活動、または山岳救助などの非営利組織の活動を調整するときの内陸の捜索救助組織のサポート。
図2は、本発明の一実施形態による装置100のブロック図を示す。装置100は、無線デバイス230(受信機)を利用して、音声信号(例えば、アナログまたはデジタル)を表すことができる音声無線信号110を受信するように構成される。これにより、音声無線信号110は、対象物によって発することができ、無線デバイス230によって受信することができる。任意選択で、装置100は、無線デバイス230を備えることができ、この場合、装置100はまた、無線デバイス230で音声無線信号110を発し、同時に、装置100を利用して、実際に発せられた音声無線信号110をさらに処理するように構成することもできる。一実施形態によれば、無線デバイス230は、任意の無線デバイスまたは任意の音声信号源(航空無線のための航空無線帯域、海上無線のための海上無線帯域および/または陸上無線のための緊急サービス無線)であり得る。
一実施形態によれば、音声無線信号110は、装置100が音声無線信号110を処理することができるように、無線デバイス230の無線デバイス受信機によって装置100のトランスクリプションユニット120に送信することができる。トランスクリプションユニット120は、無線メッセージの自動トランスクリプションシステムとみなすことができ、この場合、トランスクリプションユニット120は、音声無線信号110をテキスト信号112に変換するように構成される。このために、トランスクリプションユニット120は、音声無線信号110をテキスト信号112(例えば、テキスト形式のメッセージ(例えば、ASCII)に変換することができる発話認識124を備えることができる。
さらに、トランスクリプションユニット120は、例えば、発話パターン識別121を備えることができ、それによって、トランスクリプションユニット120は、音声無線信号110から発話パターンコード122を抽出し、それを装置100の対象物特定ユニット130に提供するように構成することができる。発話パターンコード122は、音声無線信号110の発信元である対象物を識別することができる、無線メッセージパターンに割り当てられた一意のIDを形成することができる。対象物特定ユニット130によって、発話パターンコードを利用する識別を行うことができる。
一実施形態によれば、トランスクリプションユニット120は、音声無線信号110をテキスト信号112に変換するためにニューロンネットワークを使用するように構成される。
一実施形態によれば、装置100は、音声無線信号110の発信元である対象物の位置情報142を特定するように構成された対象物位置推定ユニット140を備える。一実施形態によれば、対象物位置推定ユニット140は、少なくとも1つの無線方向探知器144から144(例えば、位置推定装置の一部)を備えることができる、または少なくとも1つの無線方向探知器144から144と通信して、位置情報142として方向探知データ142aから142aを特定するように構成することができる。したがって、対象物位置推定ユニット140は、n個の無線方向探知器144から144を備えることができる、またはn個の無線方向探知器144から144と通信するように構成することができ、この場合、nは正の整数を表す。したがって、対象物位置推定ユニット140は、無線方向探知器144から144を利用して無線信号、例えば音声無線信号110の方向の特定を実行することができ、この場合、複数の方向探知器144から144を使用することにより、無線源の位置特定が可能になる。例えば、1つの無線方向探知器が使用される場合、無線源(対象物)が配置されている大まかな領域しか位置情報142として特定することができない。しかしながら、複数の方向探知器144から144が存在し、使用される場合、対象物位置推定ユニット140を利用して、例えば、クロスベアリングを利用して無線源の非常に正確な位置を特定することができる。
一実施形態によれば、対象物位置推定ユニット140は、GPS受信機144、ADS-B受信機146、AIS受信機147、一般的な位置データ受信機148および/またはコンパス149をさらに備えることができる、またはGPSデータ142b、ADS-Bデータ142b、AISデータ142bおよび/またはさらなる他の一般位置データ142bおよび142bなどの位置データを受信するためにそれらと通信するように構成することができる。位置データ142bから142bは、装置100が特定の確率で音声無線信号110の発信元を特定した領域内に位置する対象物の位置を含むことができる。この領域は、例えば、方向探知データ142aから142aに起因する可能性がある。一実施形態によれば、方向探知データ142aまたは142aは、位置データ142bから142bとともに、対象物位置推定ユニット140によって特定された位置情報142を形成することができる。任意選択的に、対象物位置推定ユニット140は、レーダユニットをさらに備えることができる、またはレーダユニットと通信して、さらなる、または代替の位置データを受信するように構成することができる。
一実施形態によれば、GPS受信機145は、装置100の独自の位置を特定するように構成することができる。このために、追加的または代替的に、コンパス149を使用することができ、この場合、コンパスは、例えば装置100が配置されている対象物の、その独自の進行方向を特定することができる。独自の位置または独自の進行方向を特定することは、音声無線信号110が発生している対象物の位置を、装置100、あるいは装置100を有する対象物の位置または向きに関連して、非常に迅速に、かつ効率的に特定することができるという点で有利である。
一実施形態によれば、ADS-B受信機146は、環境内の航空機の位置などのADS-Bを発する対象物の位置特定を実行するように構成することができる。一実施形態によれば、AIS受信機147は、環境内の船の位置などのAISを発する対象物の位置の特定を実行するように構成することができる。一実施形態によれば、一般的な位置データ受信機148は、陸上車両などの任意の対象物の位置の特定および識別を実行するように構成することができる。したがって、対象物位置推定ユニット140は、船、飛行機、および/または陸上車両などの最も多様な対象物の位置を推定することを可能にする。
一実施形態によれば、位置データ142b~142bは、GPS位置、ルート、速度および/または海面に対する高度とすることができる。
さらに、装置100は、音声無線信号110の発信元である対象物を特定するように構成された対象物特定ユニット130を備える。一実施形態によれば、対象物特定ユニット130は、位置の特定を伴う自動対象物識別と呼ばれる場合もある。一実施形態によれば、対象物特定ユニット130は、
トランスクリプションユニット120からテキスト信号112および/または発話パターンコード120を受信し、対象物位置推定ユニット140から、方向探知データ142aから142aとして音声無線信号の発信元である領域を含むことができ、かつ位置データ142bから142bを含むことができる位置情報142を受信する。
一実施形態によれば、対象物特定ユニット130は、2つの処理ユニットに分けることができる。第1の処理ユニット134は、船認識、航空機認識および/または陸上車両認識などの一般的な対象物の認識を実行するように構成することができる。したがって、第1の処理ユニット134は、例えば、位置情報142を処理することができる。このために、対象物特定130は、位置情報142の位置データ142bから142bを位置情報142の方向探知データ142aから142aと比較して、特定の検出確率(対象物特定ユニット130によって特定することができる)で、音声無線信号110の発生元の対象物を特定するように構成することができる。位置情報142は、例えば、音声無線信号110の発生元の位置または領域(例えば、方向探知データ142aから142a)と、一般位置データ142bから142bとを含み、これは装置100の環境内のすべての対象物の位置を含むことができる。したがって、対象物特定ユニット130は、位置データ142bから142bと方向探知データ142aから142aとの間の一致を特定し、そのようなやり方で特定された対象物に検出確率を割り当てるように構成することができ、この場合、検出確率は一致に依存する。すなわち、第1の処理ユニット134は、例えば、特定の検出確率で無線信号110を送信する対象物(船、航空機または陸上車両)の識別および位置の特定を実行する。
一実施形態によれば、検出確率は、特定された位置情報142aから142aと対象物の実際の位置142bから142bとの対応の度合いを定義することができる。さらに、または代替として、対象物特定ユニット130は、対象物位置推定ユニット140の正しい位置情報142の確率に基づいて検出確率を特定するように構成することができ、この場合は、正しいとは、位置データ受信機145,146,147,148,149が、下限未満の位置データ142bから142bを特定する際の不正確さを含むことを意味する場合がある。
一実施形態によれば、そのようにして検出された対象物(例えば、水上車両、航空機または陸上車両)は、検出確率、位置、進路および/またはさらなるデータと共に、第1の処理ユニット134によって対象物特定ユニット130の第2の処理ユニット136に送信される。一実施形態によれば、対象物特定ユニット130は、例えば、第2の処理ユニット136を利用して、(例えば、第1の処理ユニット134を利用して)検出された対象物に、対象物データレンダリングのためのアルゴリズムを適用するように構成することができる。このアルゴリズムを利用して、一方では、すべての航空機、水上車両および陸上車両を組み合わせることができ、他方では、車両に関する情報(位置、進路など)、無線メッセージテキスト112、発話パターンコード122、方向探知などを、1つまたは複数の対象物に統合することができる。このように、対象物特定ユニット130は、例えば、検出確率が最も高い対象物を音声無線信号110の発生元の対象物として特定し、したがって検出されたすべての対象物を1つの対象物に限定するように構成することができる。一実施形態によれば、対象物特定ユニット130は、テキスト信号112から対象物の対象物識別を特定し、したがって検出された対象物をこの1つの対象物に限定するように構成される。一実施形態によれば、対象物特定ユニットは、音声無線信号の発信元である発話パターンコード122に基づいて対象物を特定し、したがって検出された対象物をこの1つの対象物に限定するように構成することができる。
一実施形態によれば、対象物特定ユニット130は、複数の音声無線信号110が装置100によって同時に処理されるとき、または対象物データレンダリングのためのアルゴリズムが音声無線信号110を発しているとみなされる複数の対象物を特定するとき、複数の対象物のデータを統合することができる。
さらに、装置100は、テキスト信号112を対象物に割り当て、それを提供するように構成された出力ユニット150を備える。一実施形態によれば、出力ユニット150は、データプロトコルのためのインターフェース152および/または内部グラフィカルインターフェース154を備えることができる。インターフェース152を利用して、装置100によって特定されたデータ(例えば、対象物識別、ならびに位置および時間を併せて有するテキスト信号)を外部デバイスまたは外部ソフトウェアに送信して、装置100のユーザにデータを提供することができる。このようにして、データは、例えばECDIS 153に送信することができ、したがって電子海図に示すことができる。一実施形態によれば、データは、内部グラフィカルインターフェース154を介して装置100に含まれるモニタ155上に示される。
一実施形態によれば、出力ユニット150は、少なくとも2つの音声無線信号110のうちの少なくとも2つのテキスト信号112をそれぞれの対象物に割り当て、装置のユーザインターフェース(例えば、モニタ155)を介してそれを時系列に提供する、および/またはデータベース(例えば、インターフェース152を介して)にそれを格納するように構成することができる。
換言すれば、図2は、VHF海上無線または航空無線を介して送信される音声メッセージ(例えば、音声無線信号110)を自動的に書き込む装置システムおよび方法を示しており、すなわち、異なる情報および通信技術(AIS、ADS-B、GPS、ならびに無線方向探知システム)を連結して搭載することにより、それを図示し、また任意選択で、受信した各音声メッセージの信頼できる送信元割り当てを保証する。図2は、システム設計をブロック図として示す。
一実施形態によれば、システム(例えば、装置100)は、1つまたは複数のコンピュータシステムと、例えば、入力データとして処理されるさらなるデータ供給源とで構成される。出力(例えば、出力ユニット150)として、システムは、音声メッセージ(例えば、テキスト信号112としての音声無線信号110)および任意のモニタ155上の識別された対象物を示すのに適した内部グラフィカルインターフェース154を有する。さらに、システムは、他の情報システム(例えば、ECDIS-電子海図表示情報システム153)によって処理することができるデータプロトコルインターフェース152(例えば、NMEA)を提供する(図2を参照)。
例えば、以下のデータまたは信号が入力として処理される(この場合、任意の組み合わせが可能である)。
a)音声信号(例えば、音声無線信号110)
-音声信号は、例えば、受信した無線メッセージを表し、かつ任意の無線デバイス230または介在する信号デジタル化によって提供され得るアナログまたはデジタル信号である。
b)方向探知データ142a~142a(方向探知器1~n個の144~144)-信号142a~142aは、例えば任意のプロトコルを介してシステムに接続される方向探知データを表す。データ142a~142aは、例えば、方向探知、信号強度、調整された周波数および他のデータを含む。
c)GPSデータ142b-GPSデータ142bは、例えば、独自の位置(例えば、独自の船舶、航空機、陸上車両、海上交通センターの方向探知局、空港の方向探知局)を特定するために重要である。さらに、任意選択的に、UTC時刻や現在位置での変動などのデータが必要とされる。
d)ADS-Bデータ142b-ADS-Bデータ142bは、通常、ADS-B受信機146によって取得される。これには、例えば、航空機の識別、地上の位置、高度、速度、進路およびさらなるデータなどの航空機のすべての関連データが含まれる。
e)AISデータ142b-ADS-Bデータ142bに類似しており、AISデータ142bは、船舶の位置情報を表し、例えばAIS受信機147を利用して受信される。データ142bは、例えば、船の識別、位置、速度、進路および他のデータも含む。
f)一般的な位置データ受信機148-システムはまた、拡張によって任意のデータプロトコルを処理することが可能であるべきである。システムの適用を他の適用分野(例えば、土地、山など)に拡張する、固有の位置特定およびプロトコルシステムを開発することも可能である。
g)コンパス149-システムは、任意選択的に、独自の対象物(例えば、独自の船舶、航空機、陸上車両、海上交通センターの方向探知局、空港の方向探知局)の向きを特定するためのコンパスデータを必要とする。通常、コンパスデータ142bは、方向探知アンテナの向きに割り当てられる。したがって、例えば、方向探知アンテナごとにそれぞれのコンパス情報が必要とされる。静止方向探知アンテナの場合、向きは、システムに直接入力することができる。
一実施形態によれば、処理は3つのステップで実行される。アナログまたはデジタル無線メッセージ(例えば、音声無線信号110)は、まず、自動トランスクリプションシステム120を利用して、例えばASCIIテキストメッセージ112に変換される。並行して、例えば、送信元は、1つまたは複数の方向探知システム144~144による方向探知の対象となる。自動対象物識別(例えば、対象物特定ユニット130を利用する)および位置の特定のためのアルゴリズムによって、例えば、無線メッセージの送信元(例えば、その対象物)が識別され、その位置が特定される。検出された対象物について、例えば、それぞれの検出確率または識別確率が示される。最後に、無線メッセージ110のテキストメッセージ112がそれぞれの対象物に割り当てられる。
検出された対象物およびメッセージ112は、出力として出力される(例えば、出力ユニット150)。以下の選択肢が存在する。
a)インターフェースデータプロトコル152-インターフェースは、システムを他のシステムに統合することを可能にする任意の定義されたインターフェースまたはプロトコルとすることができる。
b)内部グラフィカルインターフェース154-システムはまた、特定されたデータの独自の固有のグラフィック図(モニタ/出力位置155上の独自のグラフィック図)を含むことができる。
以下の図3~図5は、海上用途に基づくグラフィカルインターフェース154の可能な例示を表す。他の用途は、例えば航空業界または他の応用分野では、同じ論理に従う。
図3は、本発明の一実施形態による、電子海図153における送信元(100%の識別確率135(例えば、検出確率))として識別された1つの船舶の、文字に変換された無線メッセージ112(例えば、テキスト信号)のグラフィック図を示す。さらに、対象物または対象物識別132、および任意選択で位置情報142が無線メッセージ112に割り当てられる。
図4は、電子海図153における3つの可能性のある船舶(例えば、対象物200から200)での、文字に変換された無線メッセージ112(例えば、テキスト信号)のグラフィック図を示し、この場合、文字に変換された無線メッセージ112は、80%の最も高い識別確率135(検出確率)を有する対象物識別132および位置情報142を有する対象物200に割り当てられる。検出された対象物200から200の各々について、本発明の装置は、識別確率135から135を特定し、それをそれぞれの対象物に割り当てることができる。
図5は、装置を利用して送信元の識別を明確に特定することができない場合の電子海図153のグラフィック図を示す。
一実施形態によれば、本発明の装置100は、陸上局300に配置することができる。無線方向探知器を利用して、装置は、音声無線信号の発信元である対象物が配置されている領域220を確率135、135から135で特定するように構成することができる。図3~図5の実施形態によれば、領域220は、無線方向探知器を利用して特定された信号ビームとすることができる。
図6は、音声無線信号を処理するための方法1000のブロック図を示し、この場合、方法は、トランスクリプションユニットを利用する、音声無線信号のテキスト信号への変換1100を含む。さらに、方法1000は、対象物特定ユニットによる、音声無線信号の発信元である対象物の特定1200を含む。さらに、方法1000は、対象物位置推定ユニットを利用する、音声無線信号の発信元である対象物の位置情報の特定1300と、出力ユニットを利用するテキスト信号の対象物への割り当て1400と、対象物に割り当てられたテキスト信号の提供1500とを含む。
いくつかの態様を装置の文脈で説明してきたが、これらの態様は、装置のブロックまたはデバイスもそれぞれの方法ステップまたは方法ステップの特徴に対応するように、対応する方法の説明も表すことは明らかである。同様に、方法ステップの文脈で説明される態様はまた、対応する装置の対応するブロックあるいは詳細または特徴の説明も表している。方法ステップの一部またはすべては、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路などのハードウェア装置によって(またはハードウェア装置を使用して)実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの一部、またはそのいくつかは、そのような装置によって実行されてもよい。
特定の実装形態に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装形態は、デジタル記憶媒体、例えば、フロッピーディスク、DVD、Blu-Rayディスク、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリ、電子的に読み取り可能な制御信号が格納されたハードドライブあるいは別の磁気または光学メモリを使用して実行することができ、これらは、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働するか、またはそれと協働することができる。したがって、デジタル記憶媒体はコンピュータで読み取り可能であり得る。
本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を含むデータキャリアを含む。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの1つを実行するように動作可能である。
プログラムコードは、例えば、機械可読キャリアに格納することができる。
他の実施形態は、本明細書に記載される方法のうちの1つを実行するためのコンピュータプログラムを含み、コンピュータプログラムは機械可読キャリアに格納される。
言い換えれば、本発明の方法の一実施形態はそれ故、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載される方法のうちの1つを実行するためのプログラムコードを含むコンピュータプログラムである。
本発明の方法のさらなる実施形態はそれ故、本明細書に記載される方法のうちの1つを実行するためのコンピュータプログラムをそこに記録したデータキャリア(またはデジタル記憶媒体もしくはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、またはコンピュータ可読媒体は、通常、有形または不揮発性である。
本発明の方法のさらなる実施形態はそれ故、本明細書に記載される方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
さらなる実施形態は、本明細書に記載される方法のうちの1つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブル論理デバイスを備える。
さらなる実施形態は、本明細書に記載される方法のうちの1つを実行するためのコンピュータプログラムがその上にインストールされたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載される方法のうちの少なくとも1つを実行するためのコンピュータプログラムを受信機に送信するように構成された装置またはシステムを含む。送信は、例えば、電子的または光学的であってよい。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイス、または同様のデバイスであってよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に送信するためのファイルサーバを含んでよい。
いくつかの実施形態では、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ、FPGA)を使用して、本明細書に記載される方法の機能の一部またはすべてを実行してもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法のうちの1つを実行するためにマイクロプロセッサと協働してもよい。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。これは、コンピュータプロセッサ(CPU)などの普遍的に適用可能なハードウェア、またはASICなどの方法に固有のハードウェアとすることができる。
本明細書に記載される装置は、例えば、ハードウェア装置を使用することによって、またはコンピュータを使用することによって、またはハードウェア装置とコンピュータとの組み合わせを使用することによって実装されてよい。
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェア(コンピュータプログラム)に実装されてよい。
本明細書に記載される方法は、例えば、ハードウェア装置を使用することによって、またはコンピュータを使用することによって、またはハードウェア装置とコンピュータとの組み合わせを使用することによって実施されてよい。
本明細書に記載される方法、または本明細書に記載される方法の任意の構成要素は、ハードウェアおよび/またはソフトウェア(コンピュータプログラム)によって少なくとも部分的に実行されてよい。
次に、本発明のさらなる実施形態について説明する。
第1の実施形態は、
音声無線信号(110)をテキスト信号(112)に変換するように構成されたトランスクリプションユニット(120)と、
音声無線信号(110)の発信元である対象物(200)を特定するように構成された対象物特定ユニット(130)と、
音声無線信号(110)の発信元である対象物(200)の位置情報(142)を特定するように構成された対象物位置推定ユニット(140)と、
テキスト信号(112)を対象物(200)に割り当て、それを提供するように構成された出力ユニット(150)とを備える、音声無線信号(110)を処理するための装置(100)を提供する。
第2の実施形態は、対象物位置推定ユニット(140)が、対象物が配置される領域(220)を特定の確率(200)で位置情報(142)として特定するように構成され、
対象物位置推定ユニット(140)は、音声無線信号の供給源を領域(220)として特定するために、少なくとも1つの位置推定装置を備える、または少なくとも1つの位置推定装置と通信するように構成される、第1の実施形態による装置(100)を提供する。
第3の実施形態は、位置推定装置が少なくとも1つの無線方向探知器(144から144)を含む、第2の実施形態による装置(100)を提供する。
第4の実施形態は、対象物位置推定ユニット(140)が、対象物(200)の位置データ(142bから142b)を受信するようにさらに構成される、第1から第3の実施形態のうちの1つによる装置(100)を提供する。
第5の実施形態は、対象物位置推定ユニット(140)が、位置データ(142bから142b)を受信するためにAIS受信機(147)、ADS-B受信機(146)、レーダユニットおよび/または一般的な位置データ受信機(148)を備える、またはそれらと通信するように構成され、
位置データ(142b~142b)は、GPS位置、ルート、速度および/または海面に対する高度を含む、第4の実施形態による装置(100)を提供する。
第6の実施形態は、対象物特定ユニット(130)が、
その位置(210)が、対象物位置推定ユニット(140)によって特定された位置情報(142)と少なくとも部分的に一致する少なくとも1つの対象物(200)の対象物識別データ(132)を取得するために、AIS受信機(147)、ADS-B受信機(146)、および/または一般対象物識別受信機を備える、またはそれらと通信するように構成される、第1から第5の実施形態のうちの1つに記載の装置(100)を提供する。
第7の実施形態は、対象物識別データ(132)が、海上移動サービス(MMSI)の呼び出し番号、対象物の名称、対象物(200)のターゲット、対象物(200)の積み荷、および/または対象物(200)のサイズを含む、第6の実施形態による装置(100)を提供する。
第8の実施形態は、対象物特定ユニット(130)が
、その位置(210)が、特定された位置情報(142)と少なくとも部分的に一致する少なくとも1つの対象物(200)についての検出確率(135,135から135)を特定するように構成され、
対象物特定ユニット(130)は、最も高い検出確率(135,135から135)を有する対象物(200)を、音声無線信号(110)の発信元である対象物(200)として特定するように構成される、第1から第7の実施形態による装置(100)を提供する。
第9の実施形態は、検出確率(135,135から135)が、特定された位置情報(142)と対象物(200)の実際の位置(210)との対応の度合いを定義する、および/または
対象物特定ユニット(130)は、対象物位置推定ユニット(140)の正しい位置情報(142)の確率に基づいて検出確率(135,135から135)を特定するように構成されている、第8の実施形態による装置(100)を提供する。
第10の実施形態は、対象物特定ユニット(130)が、テキスト信号(112)から対象物(200)の対象物識別データ(132)を特定するために、トランスクリプションユニット(120)と通信するように構成される、第1から第9の実施形態のうちの1つによる装置(100)を提供する。
第11の実施形態は、トランスクリプションユニット(120)が、音声無線信号(110)から発話パターンコード(122)を抽出し、それを対象物特定ユニット(130)に提供するように構成され、
対象物特定ユニット(130)は、発話パターンコード(122)に基づいて音声無線信号(110)の発信元である対象物(200)を特定するように構成される、第1から第10の実施形態のうちの1つによる装置(100)を提供する。
第12の実施形態は、トランスクリプションユニット(120)が、音声無線信号(110)をテキスト信号(112)に変換するためにニューロンネットワークを使用するように構成される、第1から第11の実施形態のうちの1つによる装置(100)を提供する。
第13の実施形態は、装置(100)が、少なくとも2つの音声無線信号(110)を同時におよび/または時間的にオフセットして処理するように構成され、
出力ユニット(150)は、少なくとも2つの音声無線信号(110)のうちの少なくとも2つのテキスト信号(112)をそれぞれの対象物(200)に割り当て、それらをユーザインターフェース(155)を介して装置(100)に時系列に提供する、および/またはそれらをデータベースに格納するように構成される、第1から第12の実施形態のうちの1つによる装置(100)を提供する。
第14の実施形態は、出力ユニット(150)が、テキスト信号(112)、割り当てられた対象物(200)、対象物(200)の位置(210)、ならびに音声無線信号の入力時間の両方をユーザインターフェース(155)を介して装置(100)に提供する、および/またはデータベースに格納するように構成される、第1から第13の実施形態のうちの1つによる装置(100)を提供する。
第15の実施形態は、対象物(200)が、船、飛行機、または車両を形成する、第1から第14の実施形態の1つによる装置(100)を提供する。
第16の実施形態は、
トランスクリプションユニットを利用して音声無線信号をテキスト信号に変換するステップ(1100)と、
対象物特定ユニットを利用して音声無線信号の発信元である対象物を特定するステップ(1200)と、
対象物位置推定ユニットを利用して、音声無線信号の発生元の対象物の位置情報を特定するステップ(1300)と、
テキスト信号を対象物に割り当てるステップ(1400)と、
出力ユニットを利用して、対象物に割り当てられたテキスト信号を提供するステップ(1500)と、含む、音声無線信号を処理するための方法(1000)を提供する。
第17の実施形態は、プログラムがコンピュータ上で実行されるとき、第16の実施形態による方法を実行するためのプログラムコードを有するコンピュータプログラムを提供する。
上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載される構成および詳細の修正および変形は、当業者には明らかであることが理解される。したがって、本発明は、添付の特許請求の範囲によってのみ限定され、本明細書の実施形態の説明および説明として提示される特定の詳細によって限定されないことが意図されている。

Claims (16)

  1. 音声無線信号(110)をテキスト信号(112)に変換するように構成されたトランスクリプションユニット(120)と、
    前記音声無線信号(110)の発信元である対象物(200)を特定するように構成された対象物特定ユニット(130)と、
    前記音声無線信号(110)の発信元である対象物(200)の位置情報(142)を特定するように構成された対象物位置推定ユニット(140)であって、
    少なくとも1つの無線方向探知器(144から144)を備える対象物位置推定ユニット(140)と、
    前記テキスト信号(112)を前記対象物(200)に割り当て、それを提供するように構成された出力ユニット(150)とを備える、音声無線信号(110)を処理するための装置(100)であって、
    前記対象物特定ユニット(130)は、その位置(210)が、前記特定された位置情報(142)と少なくとも部分的に一致する少なくとも1つの対象物(200)についての検出確率(135、135から135)を特定するように構成され、
    前記検出確率は、前記対象物位置推定ユニットを利用して特定された前記位置情報と対象物の実際の位置との対応の度合いを定義し、
    前記対象物特定ユニット(130)は、非常に類似した検出確率の場合、前記類似の検出確率を有するすべての対象物を前記対象物として特定するように構成され、
    前記出力ユニットはこのようなケースでは、前記類似の検出確率を有するすべてのこれらの対象物を前記テキスト信号に割り当て、前記検出確率もまたそれぞれ提示するように構成される、音声無線信号(110)を処理するための装置(100)。
  2. 前記対象物位置推定ユニット(140)は、前記対象物が配置される領域(220)を特定の確率(200)で位置情報(142)として特定するように構成され、
    前記対象物位置推定ユニット(140)は、前記音声無線信号の供給源を前記領域(220)として特定するために、少なくとも1つの位置推定装置を備える、または前記少なくとも1つの位置推定装置と通信するように構成される、請求項1に記載の装置(100)。
  3. 前記位置推定装置は、少なくとも1つの無線方向探知器(144から144)を含む、請求項2に記載の装置(100)。
  4. 前記対象物位置推定ユニット(140)は、対象物(200)の位置データ(142bから142b)を受信するようにさらに構成されている、請求項1から3のいずれか一項に記載の装置(100)。
  5. 前記対象物位置推定ユニット(140)は、前記位置データ(142bから142b)を受信するために、AIS受信機(147)、ADS-B受信機(146)、レーダユニットおよび/または一般的な位置データ受信機(148)をさらに備える、またはそれらと通信するように構成され、
    前記位置データ(142bから142b)は、GPS位置、ルート、速度および/または海面に対する高度を含む、請求項4に記載の装置(100)。
  6. 前記対象物特定ユニット(130)は、その位置(210)が、前記対象物位置推定ユニット(140)によって特定された前記位置情報(142)と少なくとも部分的に一致する少なくとも1つの対象物(200)の対象物識別データ(132)を取得するために、AIS受信機(147)、ADS-B受信機(146)、および/または一般対象物識別受信機を備える、またはそれらと通信するように構成される、請求項1から5のいずれか一項に記載の装置(100)。
  7. 前記対象物識別データ(132)は、上移動サービス(MMSI)の呼び出し番号、対象物の名称、前記対象物(200)のターゲット、前記対象物(200)の積み荷、および/または前記対象物(200)のサイズを含む、請求項6に記載の装置(100)。
  8. 前記検出確率(135,135から135)は、前記特定された位置情報(142)と対象物(200)の実際の位置(210)との対応の度合いを定義する、および/または
    前記対象物特定ユニット(130)は、前記対象物位置推定ユニット(140)の正しい位置情報(142)の確率に基づいて前記検出確率(135,135から135)を特定するように構成される、請求項1に記載の装置(100)。
  9. 前記対象物特定ユニット(130)は、前記テキスト信号(112)から前記対象物(200)の対象物識別データ(132)を特定するために、前記トランスクリプションユニット(120)と通信するように構成される、請求項1から8のいずれか一項に記載の装置(100)。
  10. 前記トランスクリプションユニット(120)は、前記音声無線信号(110)から発話パターンコード(122)を抽出し、それを前記対象物特定ユニット(130)に提供するように構成され、
    前記対象物特定ユニット(130)は、前記発話パターンコード(122)に基づいて、前記音声無線信号(110)の発信元である前記対象物(200)を特定するように構成される、請求項1から9のいずれか一項に記載の装置(100)。
  11. 前記トランスクリプションユニット(120)は、前記音声無線信号(110)をテキスト信号(112)に変換するためにニューロンネットワークを使用するように構成される、請求項1から10のいずれか一項に記載の装置(100)。
  12. 前記装置(100)は、少なくとも2つの音声無線信号(110)を同時におよび/または時間的にオフセットして処理するように構成され、
    前記出力ユニット(150)は、前記少なくとも2つの音声無線信号(110)のうちの少なくとも2つのテキスト信号(112)を前記それぞれの対象物(200)に割り当て、それらをユーザインターフェース(155)を介して前記装置(100)に時系列に提供する、および/またはそれらをデータベースに格納するように構成される、請求項1から11のいずれか一項に記載の装置(100)。
  13. 前記出力ユニット(150)は、前記テキスト信号(112)、割り当てられた対象物(200)、前記対象物(200)の位置(210)、ならびに前記音声無線信号の入力時間の両方を、ユーザインターフェース(155)を介して前記装置(100)に提供する、および/またはデータベースに格納するように構成される、請求項1から12のいずれか一項に記載の装置(100)。
  14. 前記対象物(200)は、船、飛行機、または車両である、請求項1から13のいずれか一項に記載の装置(100)。
  15. 音声無線信号を処理するための方法(1000)であって、以下のステップ、
    トランスクリプションユニットを利用して前記音声無線信号をテキスト信号に変換するステップ(1100)と、
    対象物特定ユニットを利用して前記音声無線信号の発信元である対象物を特定するステップ(1200)と、
    対象物位置推定ユニットを利用して、前記音声無線信号の発元である前記対象物の位置情報を特定するステップ(1300)であって、前記対象物位置推定ユニットは、少なくとも1つの無線方向探知器を備える、ステップ(1300)と、
    出力ユニットを利用して、前記テキスト信号を前記対象物に割り当てるステップ(1400)、および
    前記対象物に割り当てられた前記テキスト信号を提供するステップ(1500)とを、含み、
    前記対象物を特定するステップ(1200)は、その位置が、前記特定された位置情報と少なくとも部分的に一致する少なくとも1つの対象物についての検出確率を特定するステップと、
    非常に類似した検出確率の場合、最も高い検出確率を有するすべての対象物を、前記音声無線信号の元である前記対象物として特定するステップとを含み、
    前記検出確率は、前記対象物位置推定ユニットを利用して特定された前記位置情報と、対象物の実際の位置との対応の度合いを定義し、
    非常に類似した検出確率のこのようなケースでは、前記類似の検出確率を有するすべてのこれらの対象物が前記テキスト信号に割り当てられ(1400)、前記検出確率もまたそれぞれ提供される、音声無線信号を処理するための方法(1000)。
  16. コンピュータプログラムがコンピュータ上で実行されるとき、請求項15に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
JP2021532425A 2018-12-07 2019-11-19 音声無線信号を処理するための装置、方法、およびコンピュータプログラム Active JP7187699B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18211076.7A EP3664065A1 (de) 2018-12-07 2018-12-07 Vorrichtung, verfahren und computerprogramm zur verarbeitung eines sprech-funksignals
EP18211076.7 2018-12-07
PCT/EP2019/081751 WO2020114764A1 (de) 2018-12-07 2019-11-19 Vorrichtung, verfahren und computerprogramm zur verarbeitung eines sprech-funksignals

Publications (2)

Publication Number Publication Date
JP2022514825A JP2022514825A (ja) 2022-02-16
JP7187699B2 true JP7187699B2 (ja) 2022-12-12

Family

ID=64661195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021532425A Active JP7187699B2 (ja) 2018-12-07 2019-11-19 音声無線信号を処理するための装置、方法、およびコンピュータプログラム

Country Status (8)

Country Link
US (1) US12007492B2 (ja)
EP (2) EP3664065A1 (ja)
JP (1) JP7187699B2 (ja)
KR (1) KR102625050B1 (ja)
CN (1) CN113424244B (ja)
CA (1) CA3122144A1 (ja)
ES (1) ES2967758T3 (ja)
WO (1) WO2020114764A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT526211B1 (de) * 2022-05-24 2024-03-15 Frequentis Ag Verfahren zur Verbesserung der Wiedergabequalität von Audiosignalen, sowie Kommunikationssystem zur Durchführung des Verfahrens

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002048572A (ja) 2000-08-01 2002-02-15 Alpine Electronics Inc 位置検出システムおよびナビゲーションシステム
US20100029305A1 (en) 2008-07-30 2010-02-04 Embarq Holdings Company, Llc Sms and voice messaging to gps
US20100222079A1 (en) 2009-03-02 2010-09-02 Lg Electronics Inc. Mobile terminal, method of managing schedule using the mobile terminal, and method of managing position information using the mobile terminal

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3824596A (en) * 1972-09-27 1974-07-16 Southwest Res Inst Automatic sector indicating direction finder system
JP3484818B2 (ja) * 1995-05-09 2004-01-06 ソニー株式会社 音声認識装置及びナビゲーション装置
DE19619015B4 (de) * 1996-05-10 2006-11-02 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Anordnung zur Verkehrsüberwachung
CN101527085A (zh) * 2009-04-21 2009-09-09 中国民航大学 一种航班信息即动报知装置及其处理方法
FR2991805B1 (fr) * 2012-06-11 2016-12-09 Airbus Dispositif d'aide a la communication dans le domaine aeronautique.
US9686382B2 (en) * 2014-08-04 2017-06-20 Honeywell International Inc. Double decoder system for decoding overlapping aircraft surveillance signals
AT516219B1 (de) * 2014-09-09 2017-06-15 Frequentis Ag Verfahren zur Identifikation und Prüfung von Sprechfunkmeldungen
US9665645B2 (en) * 2015-01-09 2017-05-30 Garmin International, Inc. System for managing an avionic communications log
EP3062539B1 (en) * 2015-02-26 2018-07-04 C.O.B.O. S.p.A. Connecting communication devices on a motorcycle
US9508262B2 (en) * 2015-03-26 2016-11-29 Honeywell International Inc. Systems and methods for voice enabled traffic prioritization
KR20170044386A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 전자기기 및 전자기기의 제어방법
US9922569B2 (en) * 2016-02-03 2018-03-20 Honeywell International Inc. System and method for monitoring a communication channel and displaying information
FR3056321B1 (fr) * 2016-09-19 2019-07-19 Airbus Operations (Sas) Procede et dispositif d'identification d'un aeronef destinataire d'une communication audio
US10157616B2 (en) * 2016-12-19 2018-12-18 Honeywell International Inc. Methods and apparatus for post-processing speech recognition results of received radio voice messages onboard an aircraft

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002048572A (ja) 2000-08-01 2002-02-15 Alpine Electronics Inc 位置検出システムおよびナビゲーションシステム
US20100029305A1 (en) 2008-07-30 2010-02-04 Embarq Holdings Company, Llc Sms and voice messaging to gps
US20100222079A1 (en) 2009-03-02 2010-09-02 Lg Electronics Inc. Mobile terminal, method of managing schedule using the mobile terminal, and method of managing position information using the mobile terminal

Also Published As

Publication number Publication date
WO2020114764A1 (de) 2020-06-11
EP3891718C0 (de) 2023-09-13
KR102625050B1 (ko) 2024-01-16
CN113424244A (zh) 2021-09-21
US20210295840A1 (en) 2021-09-23
KR20210123294A (ko) 2021-10-13
CA3122144A1 (en) 2020-06-11
JP2022514825A (ja) 2022-02-16
CN113424244B (zh) 2023-04-28
ES2967758T3 (es) 2024-05-03
EP3891718A1 (de) 2021-10-13
EP3891718B1 (de) 2023-09-13
EP3664065A1 (de) 2020-06-10
US12007492B2 (en) 2024-06-11

Similar Documents

Publication Publication Date Title
US5933099A (en) Collision avoidance system
KR102090087B1 (ko) 해양 환경 모니터링 시스템
EP1942351B1 (en) Deployable intelligence and tracking system for homeland security and search and rescue
US6801158B2 (en) Annunciation of the distance to a target position in a global positioning system landing system
US12061485B2 (en) Method and apparatus for ensuring aviation safety in the presence of ownship aircraft
US11585942B2 (en) Detection of GNSS interference using surveillance messages
US7688264B2 (en) Method and apparatus for passive single platform geo-location
RU2584689C1 (ru) Многопозиционная система определения местоположения воздушных судов
JP7187699B2 (ja) 音声無線信号を処理するための装置、方法、およびコンピュータプログラム
FR2614455A1 (fr) Procede et appareil anti-collision et de mesure de gisement pour aeronefs
US11226410B2 (en) Method and system for tracking objects using passive secondary surveillance radar
KR101487307B1 (ko) Par을 중심으로 획득한 좌표 정보를 활주로 착륙지점으로부터의 좌표 정보로 변환하는 좌표 변환 방법
JPH0727570A (ja) 船舶交通サービスシステム
US11442140B1 (en) Determining a location of a vehicle using received surveillance signals
Baine et al. Algorithm for three-dimensional geodetic positioning based on measurements of automatic dependent surveillance-broadcast signals
US11698461B1 (en) GPS denial detection and reporting and mitigation
US11480671B1 (en) Mode A/C/S transponder positioning system and method for using the same
RU2419162C1 (ru) Способ и устройство контроля состояния охраняемого объекта
Beason A new multilateration optimization technique for air traffic management and surveillance
Ziebold et al. Long term validation of high precision RTK positioning onboard a ferry vessel using the MGBAS in the Research Port of Rostock
CA3072396A1 (en) Method and system for tracking non-cooperative objects using secondary surveillance radar
JP5960379B2 (ja) 疑似目標除去装置
Huang Trilateration-Based Localization Algorithm for ADS-B Systems
Huang Trilateration-based localization algorithm for ADS-B radar systems
NLR et al. Wide Area Multilateration Wide Area Multilateration Report on EATMP TRS 131/04 Version 1.1

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20210729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210729

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R150 Certificate of patent or registration of utility model

Ref document number: 7187699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150