JP7222879B2 - 交通手段の危険早期警告方法、装置、機器および媒体 - Google Patents

交通手段の危険早期警告方法、装置、機器および媒体 Download PDF

Info

Publication number
JP7222879B2
JP7222879B2 JP2019234822A JP2019234822A JP7222879B2 JP 7222879 B2 JP7222879 B2 JP 7222879B2 JP 2019234822 A JP2019234822 A JP 2019234822A JP 2019234822 A JP2019234822 A JP 2019234822A JP 7222879 B2 JP7222879 B2 JP 7222879B2
Authority
JP
Japan
Prior art keywords
vehicle
environmental monitoring
early warning
hazard
transportation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019234822A
Other languages
English (en)
Other versions
JP2020109655A (ja
Inventor
ジュファ チャン,
シン フー,
Original Assignee
アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド filed Critical アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド
Publication of JP2020109655A publication Critical patent/JP2020109655A/ja
Application granted granted Critical
Publication of JP7222879B2 publication Critical patent/JP7222879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/91Radar or analogous systems specially adapted for specific applications for traffic control
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Description

本開示の実施例は、主に安全運転の分野に関し、より詳細には、交通手段の危険早期警告方法、装置、機器およびコンピュータ読み取り可能な記憶媒体に関する。
交通手段の安全運転は常に十分な保証を得ることができると期待されてきた。運転中に、交通手段は、周囲の環境における安全運転を脅かす様々な問題に遭遇する可能性がある。交通手段に危険早期警告を提供することにより、交通安全性の確保や交通効率の向上に寄与する。例えば、自動運転モードの交通手段の場合、このような安全上の脅威を早期に知って、それに応じた走行制御を調整する必要がある。運転手が非自動運転モードで運転している交通手段の場合、事前危険早期警告されることにより、運転手が交通事故を回避するためにタイムリーな行動をとるのにも寄与する。
近年、真新しい技術として、インテリジェント交通システム(ITS)は、高度な科学技術を採用し、道路、交通、人および環境などの関連要因を包括的に考慮し、インテリジェントな交通管理を実現し、道路交通問題の解決には可能性および希望をもたらしている。同時に、ネットワーク通信の展開および使用可能性の向上に伴い、交通手段、例えば、交通手段における通信機器とのタイムリーな通信も可能になる。このようなシナリオでは、交通手段に危険の早期警告をタイムリーかつ正確的に提供できることが望ましい。
本開示の一実施例によれば、交通手段の危険早期警告の解決策が提供される。
本開示の第1の態様では、交通手段の危険早期警告方法が提供され、前記方法は、複数の地理的範囲をそれぞれモニタリングする複数の環境モニタリング装置から対応する複数の検知データセットを受信するステップであって、各検知データセットは、対応する地理的範囲内の物体の関連情報を含み、複数の環境モニタリング装置は、交通手段から離れるように配置されているステップと、受信された複数の検知データセットに基づいて、交通手段に対する複数の地理的範囲内の物体の危険度を決定するステップであって、危険度が、物体が交通手段の運転安全を危険にさらす可能性を示すステップと、危険度が閾値程度を超えたことに応答して、交通手段に対する危険早期警告指示を提供するステップと、を含む。
本開示の第2の態様では、交通手段の危険早期警告装置が提供され、前記装置は、複数の地理的範囲をそれぞれモニタリングする複数の環境モニタリング装置から対応する複数の検知データセットを受信するように構成される通信モジュールであって、各検知データセットは、対応する地理的範囲内の物体の関連情報を含み、前記複数の環境モニタリング装置は、前記交通手段から離れるように配置される通信モジュールと、受信された複数の検知データセットに基づいて、前記交通手段に対する前記複数の地理的範囲内の物体の危険度を決定するように構成される処理モジュールであって、前記危険度が、前記物体が前記交通手段の運転安全を危険にさらす可能性を示す処理モジュールと、を含み、前記通信モジュールは、さらに、前記危険度が閾値程度を超えたことに応答して、前記交通手段に対する危険早期警告指示を提供するように構成される。
本開示の第3の態様では、1つまたは複数のプロセッサと、1つまたは複数のプログラムを記憶するための記憶装置とを含む電子機器が提供され、1つまたは複数のプログラムが1つまたは複数のプロセッサによって実行されるとき、1つまたは複数のプロセッサが本開示の第1の態様に係る方法を実現する。
本開示の第4の態様では、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体が提供され、当該プログラムがプロセッサによって実行されるとき、本開示の第1の態様に係る方法が実現される。
なお、発明の概要に記載された内容は、本開示の実施例の肝心なまたは重要な特徴を限定することを意図するものではなく、そして本開示の範囲を限定することを意図するものではない。本開示の他の特徴は、以下の説明によって容易に理解される。
図面を合わせながら以下の詳細な説明を参照することにより、本開示の各実施例の上記および他の特徴、利点および態様はより明らかになる。図面において、同一または類似の符号は、同一または類似の要素を示す。
本開示の複数の実施例を実現することができる例示的な環境の概略図を示す。 本開示のいくつかの実施例に係る連携早期警告システムのブロック図を示す。 本開示のいくつかの実施例に係る同一座標系における環境モニタリング装置とコンピューティング装置との位置関係を示す概略図である。 本開示のいくつかの実施例に係る交通手段の危険早期警告方法のフローチャートである。 本開示の複数の実施例を実施することができる機器のブロック図を示す。
本開示の実施例を図面を参照して以下により詳細に説明する。図面に本開示のいくつかの実施例が示されているが、本発明は様々な形態で実現することができ、本明細書に記載の実施例に限定されると解釈されるべきではないことを理解されたい。逆に、これらの実施例を提供する目的は、本開示がより明確かつ完全で理解されることである。本開示の図面および実施例は例示するものに過ぎず、本開示の保護範囲を限定するものではないと理解されたい。
本開示の実施例の説明において、「含む」という用語およびその類似の用語が、開放的な含む、すなわち「含むがこれに限定されない」と理解されるべきである。「に基づく」という用語は、「少なくとも部分的に基づく」ことを意味すると理解されるべきである。「一実施例」または「当該実施例」という用語は、「少なくとも一実施例」を意味すると理解されるべきである。「第1」、「第2」などの用語は、異なる対象または同一対象を指すことができる。他の明示的および暗黙的な定義も以下の内容に含まれ得る。
上述したように、交通手段に危険早期警告を提供することが有利であり、特に交通安全の確保や交通効率の向上などに寄与する。早期警告を提供する従来技術がすでにいくつか存在しており、例えば、いくつかの車両には高度運転支援システム(ADAD)が統合されている。車両に設置された様々なセンサを利用して周囲の環境を検出し、データを収集し、物体を識別し、そしてナビゲーターなどの地図データを合わせて分析して、運転手に発生可能な危険を注意する。自動運転能力を有するいくつかの車両の場合、車両の周囲環境を検知することができるように、通常、車両にカメラ、レーザレーダ、ミリ波レーダなどのセンシング装置が配置されている。一方、現在開発中の車両ネットワーキング(V2X)通信技術は、車両が専用短距離通信(DSRC)のようなリンクを介して通信することを可能にする。車両は、自車データを収集し、収集したデータをV2X通信技術によって周囲の車両にブロードキャストすることができる。他の車両によって放送されたデータを得た後、各車両は、他の車両の運転状態および異常状態を判定することができる。他の車両が異常である、または自車の運転に影響を及ぼす可能性があると判定した場合、自車は、運転手に注意するための早期警告情報を生成することができる。
しかしながら、自車のセンサおよびセンシング装置に依存して周囲環境を検知する技術案では、検知の精度は、検知精度および検知範囲を含むセンサの検知能力に依存するが、センサの検知能力は、コストに正比例する。誤った検知は、誤警告や漏れ警告をもたらし、安全上の問題をトリガーする可能性がある。また、車載センシング装置は、車両の位置決めおよび高さにも制限され、限られた位置決め方向または他の物体の遮蔽によって周囲のリアルタイムな環境を正確に取得できないことになりやすい。V2X通信技術に依存する技術案において、路上を走行しているすべての車両がV2X通信をサポートしているわけではなく、または自車データをブロードキャストすることを許可しているわけではない場合がある。さらに、人や動物、その他の障害物などの通信機能を持たない他の物体が運転環境に存在する可能性がある。車両と車両とのリアルタイム通信のみに基づいて危険早期警告を識別するなら、車両の運転安全に潜在的に脅威する様々な種類の物体を全面的に考慮することができない。
本開示の一実施例によれば、交通手段の危険早期警告を提供するための解決策が提供される。この解決策において、複数の環境モニタリング装置は、対応する地理的範囲をモニタリングし、複数の地理的範囲内の物体の関連情報を提供するように構成される。提供された情報に基づいて、複数の地理的範囲内の物体によって特定の交通手段の運転安全を危険にさらす可能性を決定する。運転安全を危険にさらす可能性が高い場合は、交通手段に対する危険早期警告指示を提供する。これにより、外部の複数の環境モニタリング装置によって提供される物体の関連情報を包括的に考慮することによって、より広い範囲で発生可能な、交通手段の運転安全に対する脅威を考慮することができ、危険早期警告の正確性およびタイムリー性を向上させることができる。
以下、本開示の実施例について、図面を参照しながら具体的に説明する。
図1は、本開示の複数の実施例を実現することができる例示的な交通環境100の概略図を示す。当該例示的環境100には、1つまたは複数の交通手段130-1、130-2、130-3が含まれる。説明しやすくなるために、交通手段130-1、130-2、130-3をまとめて交通手段130と呼ぶ。本明細書で使用される交通手段とは、人および/または物体を運ぶことができ、移動可能な任意の種類の手段を指す。図1の例では、交通手段130は、車両として図示されている。車両は、動力車両または非動力車両であってもよく、その例としては、自動車、セダン、トラック、バス、電気自動車、オートバイ、自転車などを含むが、これらに限定されない。しかしながら、本開示において、車両は、交通手段の一例にすぎないことを理解されたい。本開示の実施例は、同様に船、電車、飛行機などの車両以外の他の交通手段にも適用可能である。
環境100内の1つまたは複数の交通手段130は、無人運転交通手段とも呼ばれる一定レベルの自動運転能力を持つ交通手段であってもよい。もちろん、環境100内の他の1つまたはいくつかの交通手段130は、自動運転能力を持たない交通手段であってもよい。このような交通手段は、運転手によって制御することができる。1つまたは複数の交通手段130における一体型装置または取り外し可能な装置は、1つまたは複数の通信技術に基づいて他の機器と通信する能力を有することができ、例えば、V2X通信で他の交通手段130と通信すること、および交通手段以外の他の装置と通信する。交通手段130には、さらに、それ自体の位置を決定するための測位装置を設置することができ、当該測位装置は、例えば、全地球測位システム(GPS)技術、全地球航法衛星システム(GLONASS)技術、北斗ナビゲーションシステム技術、ガリレオ測位システム(Galileo)技術、準天頂衛星システム(QAZZ)技術、基地局測位技術、WI-Fi測位技術のうちのいずれかに基づいて測位を達成することができる。
環境100には、交通手段130以外の物体105-1、105-2、105-3(まとめて車外物体105と呼ぶ)、例えば、石、人、動物、路側交通機器などの物理エンティティをさらに含んでもよい。環境100には、複数の環境モニタリング装置110-1、110-2(まとめて環境モニタリング装置110と呼ぶ)も配置されている。環境モニタリング装置110は、交通手段130から離れるように交通手段130の外部に配置されて測位し、例えば、交通手段130が走行している道路の近くに配置される。環境モニタリング装置110は、対応するセンシング装置107-1、107-2(まとめてセンシング装置107と呼ぶ)に通信接続されている。センシング装置107は、交通手段130から独立しており、環境100の状態をモニタリングして、環境100に関する検知情報を取得する。道路102に応じて配置されたセンシング装置107によって収集された検知情報は、路側検知情報とも呼ばれてもよい。センシング装置107の検知情報は、環境モニタリング装置110に提供することができる。環境モニタリング装置110は、路側に配置される場合もあるので、路側装置とすることができる。相互に独立した装置として示されているが、いくつかの実施態様では、センシング装置107は、環境モニタリング装置110と部分的にまたは完全に一体化されてもよい。
センシング装置107は、環境100の特定の地理的範囲をモニタリングするために、間隔を置いて配置されてもよい。いくつかの例では、センシング装置107を特定の場所に固定することに加えて、移動可能な検知サイトなどの移動可能なセンシング装置107も設けることができる。検知能力によっては、センシング装置107の検知範囲は限られている。図1は、それぞれセンシング装置107-1および107-2によって検知可能な地理的範囲102-1および102-2(まとめて地理的範囲102と呼ぶ)を概略的に示す。検知可能な地理的範囲102内で現れた物体または現象は、センシング装置107によってセンシングすることができる。場合によっては、隣接して配置されたセンシング装置107によって検知可能な地理的範囲は、部分的に重なり合うことがある。
環境100をあらゆる方向からモニタリングするために、センシング装置107を、交通手段が走行している道路の近くに配置することができる。センシング装置107は、必要に応じて一定の高さに配置することもでき、例えば、支持ロッドによってある高さに固定される。センシング装置107は、同じ種類でも異なる種類でもよく、地理的範囲102の同一場所または異なる場所に分布することができる1つまたは複数のセンサユニットを含むことができる。
センシング装置107におけるセンサユニットの例は、イメージセンサ(例えば、カメラ)、レーザレーダ、ミリ波レーダ、赤外線センサ、位置決めセンサ、照度センサ、圧力センサ、温度センサ、湿度センサ、風速センサ、風向センサ、大気質センサなどを含むが、これらに限定されない。イメージセンサは、画像情報を収集することができ、レーザレーダおよびミリ波レーダは、レーザポイントクラウドデータを収集することができ、赤外線センサは、赤外線を使用して環境内の環境条件を検出することができる。位置決めセンサは、物体の位置情報を取得することができ、照度センサは、環境内の照度を示すメトリック値を収集することができ、圧力センサ、温度センサおよび湿度センサは、それぞれ圧力、温度、湿度を示すメトリック値を収集することができる。風速センサおよび風向センサは、それぞれ風速および風向を示すそれぞれを収集することができる。大気質センサは、大気中の酸素濃度、二酸化炭素濃度、ダスト濃度、汚染物質濃度など、大気質に関連するいくつかの指標を収集することができる。なお、上記にセンサユニットのいくつかの例のみが挙げられたことを理解されたい。実際の必要に応じて他の種類のセンサが存在してもよい。
環境100には、コンピューティング装置120をさらに含む。コンピューティング装置120は、遠隔にまたはローカルに測位することができ、環境100内の1つまたは複数の環境モニタリング装置110に通信接続する。本開示では、コンピューティング装置120は、交通手段130に対する危険早期警告を提供するように構成される。コンピューティング装置120と環境モニタリング装置110との通信接続は、任意の通信技術に基づく有線および/または無線接続であってもよい。コンピューティング装置120は、計算能力を有する任意の装置、ノード、ユニットなどであってもよい。例として、コンピューティング装置120は、汎用コンピュータ、サーバ、大型サーバ、エッジコンピューティングノードなどのネットワークノード、仮想マシン(VM)などのクラウドコンピューティング装置、および計算能力を提供する任意の他の装置とすることができる。
環境モニタリング装置110は、センシング装置107から検知情報を受信し、受信した検知情報を処理することができる。いくつかの実現では、環境モニタリング装置110は、交通手段130と通信接続して、検知能力を持つ交通手段130から検知情報を受信することができる。通常、路側の環境モニタリング装置110もある程度の計算能力を有するが、受信した検知情報は、限られた地理的範囲にのみ関連するので、このような地理的範囲の大きさはがセンシング装置107の検知能力によって制限される。本開示の実施例によれば、コンピューティング装置120は、センシング装置によってモニタリングされた複数の地理的範囲に関する検知データの集中処理を行うことにより、より広い地理的範囲内の物体がある交通手段130の運転安全を脅かすか否かを効果的に識別することができる。
図1に示す装置および物体が単なる例であることを理解されたい。異なる環境に現れる物体のタイプ、数量および相対分布は異なる場合がある。本開示の範囲はこの点において限定されない。例えば、環境100には、他の地理的位置をモニタリングするためにより多くの路側に配置された環境モニタリング装置およびセンシング装置があってもよい。独立した装置として示されているが、可能な一実現様態では、コンピューティング装置120は、路側に配置された高い計算能力を有する環境モニタリング装置であってもよい。この環境モニタリング装置は、対応する地理的範囲の検知データを処理することができるだけでなく、他の環境モニタリング装置によって提供された検知データを合わせて交通手段に対する危険早期警告を決定することもできる。
図2は、交通手段に対する危険早期警告中に、係る各装置からなる連携早期警告システム200を示す。当該システム200は、複数のセンシング装置(例えば、図1に示すセンシング装置107-1および107-2)、複数の環境モニタリング装置110(例えば、図1に示すセンシング装置110-1および110-2)、コンピューティング装置120、および車載装置230を含む。車載装置230は、ある交通手段130内に位置し、当該交通手段130に対する危険早期警告を取得する。車載装置230は、交通手段130に統合することもできるし、交通手段130から取り外すこともできる。例えば、車載装置230は、運転手または同乗者によって交通手段130内に持ち込まれることが可能である。1つの車載装置230しか示されていないが、システム200は、複数の交通手段130に配置された複数の車載装置230を含むことができる。コンピューティング装置120は、複数の交通手段130に対する危険早期警告を提供することができる。
環境モニタリング装置110は、特定の地理的範囲をモニタリングし、特にセンシング装置107によって特定の地理的範囲102を検知して当該地理的範囲に関する検知データを取得するように構成される。各環境モニタリング装置110は、通信モジュール212および処理モジュール214を含む。通信モジュール212は、対応するセンシング装置107から生の検知情報を受信するように構成される。いくつかの実現では、環境モニタリング装置10の通信モジュール212は、さらに、1つまたは複数の交通手段130から検知情報を受信することができる。
処理モジュール214は、生の検知情報を処理するように構成される。具体的には、処理モジュール214は、生の検知情報に基づいてセンシング装置107の検知可能な地理的範囲102内に現れ得る物体を識別し、識別した物体の関連情報を決定するように構成されてもよい。センシング装置107が複数の種類のセンサによって収集された異なる種類の検知情報および/または複数の時点で収集された検知情報を提供する場合、処理モジュール214は、データ融合技術を利用して検知情報のデータ融合を行うことができる。
処理後、処理モジュール214は、対応する地理的範囲102内の物体関連情報を含む検知データセットを決定することができる。検知データセットによって示される物体は、交通手段130および/または交通手段130の外部の物体105を含む、特定の地理的範囲102内に現れた任意の種類の動的および/または静的な物理的エンティティを含むことができる。例えば、環境モニタリング装置110-1について、決定された検知データセットは、地理的範囲102-1内の交通手段130-1、130-2、人105-2および落石105-1を含む。環境モニタリング装置110-2について、決定された検知データセットは、地理的範囲102-2内の交通手段130-2、130-3および人105-3を含む。関連情報は、検知された1つまたは複数の物体のタイプ、大きさ、位置(例えば、大きいサイズの物体の場合、中心位置である)のうちの1つまたは複数を含むことができる。代替的または追加的に、関連情報は、特定の物体の移動方向、特定の視点までの距離などをさらに含むことができる。各物体について、検知データセットは、物体を表すための対応するnタプルを含むことができ、nタプルは、物体についての各種類の情報を示す。
環境モニタリング装置110は、このような検知データセットを、通信接続を介して通信モジュール212によってコンピューティング装置120に送信する。いくつかの実施例では、通信接続の帯域幅が十分であり、および/またはコンピューティング装置120の計算能力が強い場合、環境モニタリング装置110は、検知機器107から受信した生の検知情報を、ローカルで処理するのではなく、コンピューティング装置120に提供することができる。コンピューティング装置120は、このような生の検知情報を処理して、その中から物体のタイプ、大きさ、位置などの情報を決定することができる。
複数の環境モニタリング装置110のそれぞれは、このような検知データセットをコンピューティング装置120に提供することができる。コンピューティング装置120は、通信モジュール222および処理モジュール224を含む。通信モジュール222は、複数のコンピューティングモニタリング装置110から複数の検知データセットを受信するように構成される。処理モジュール224は、受信された複数の検知データセットに基づいて、対応する複数の地理的範囲102内の物体が交通手段130の運転安全を脅かすか否かを判定し、危険があると判定した場合に交通手段130に対する危険早期警告指示を提供するように構成される。コンピューティング装置120は、環境100内の交通手段130のうちの1つ、いくつか、またはすべてに対する運転安全上の脅威を判定することができる。いくつかの実施例では、危険早期警告指示が機能するため、コンピューティング装置120との直接通信接続または他の装置(例えば、環境モニタリング装置110)を介した間接通信接続を有する交通手段130のみに対して安全上の脅威を決定する。
特定の交通手段130に関して、その運転安全を脅かす可能性がある物体は、交通手段130と衝突する可能性があり、交通手段130の障害物または潜在的危険な物体とも呼ばれる。このような物体は、他の交通手段、人、動物、および/または他の動的または静的な物体であってもよい。複数の地理的範囲102の検知データを包括的に考慮にすることによって、処理モジュール224は、センシング装置の検知範囲の制約によって制約されることなく、より広い範囲にわたって交通手段130の運転安全を脅かす物体を決定することができる。危険早期警告を提供する交通手段130は、複数の地理的範囲102内(図1に示すように)に位置してもよく、または複数の地理的範囲102の近くに位置してもよい。
具体的には、処理モジュール224は、受信された複数の検知データセットに基づいて、交通手段130に対する複数の地理的範囲102のうちの1つまたは複数の物体の危険度を判断する。危険度は、対応する物体が交通手段130の運転安全を危険にさらす可能性を示す。処理モジュール224は、危険度に基づいて交通手段130に危険早期警告を提供するか否かを決定することができる。
複数の地理的範囲を考慮する必要があるため、処理される検知データ量は大きい。処理モジュール224は、計算量を減らし、計算効率を向上させるために、いくつかのデータ重複除去手段を採用することができる。いくつかの実施例では、異なる地理的範囲が部分的に重なり合う場合があり、その結果、異なる環境モニタリング装置110によって提供される検知データセットはすべて、重なり合う地理的領域に現れる物体の関連情報に含まれる。処理モジュール224は、この部分の情報の重複を除去することができる。例えば、処理モジュール224は、複数の環境モニタリング装置110のモニタリングする複数の地理的範囲102のうちの部分的に重なり合っている地理的範囲を決定することができる。2つ以上の地理的範囲が重なり合う領域を有すると決定された場合、処理モジュール224は、これらの地理的範囲を示す検知データセットに対して重複除去を実行することができる。いくつかの実装形態では、処理モジュール224は、受信された複数の検知データセットのすべてに対して重複除去を実行することができる。
処理モジュール224は、重複除去を必要とする検知データセットから同一物体の関連情報を含む検知データセットを決定することができる。2つ以上の検知データセットがそれぞれ1つ以上の同一物体を含むと決定した場合、処理モジュール224は、1つの検知データセットだけにその物体の関連情報を保持し、残りの検知データセットからその物体の関連情報を削除することができる。これにより、危険度を決定するためのデータ量が少なくなる。
異なる検知データセットには同一物体の関連情報が含むか否かを判定するとき、処理モジュール224は、1つの検知データセットにおけるある物体の関連情報が別の検知データセットにおける物体の関連情報と同じか類似しているか否かに基づいて、この2つの検知データセットに示される物体は同一物体であるか否かと判定することができる。例えば、処理モジュール224は、2つの検知データセットに示される物体のタイプが同じであるか否か、物体の大きさの差が大きさ閾値内にあるか否か、物体の位置の差が距離差の範囲内にあるか否か、物体の方向が一致しているか否かなどを判定することができる。上記の判定結果が肯定的である場合、または複数の判定結果が肯定的である場合、処理モジュール224は、この2つの検知データセットに示される物体は同一物体であると判定する。処理モジュール224は、2つの検知データセットに示される物体のそれぞれに対して、対応する判定を実行することができる。さらに、処理モジュール224は、重複除去が実行されるべき検知データセットのそれぞれに対して上記の判定を実行することができ、これによって、より多くの検知データセットにある物体の情報が含まれるか否かを判定することができる。図1の例では、環境モニタリング装置110‐1および110‐2によって提供される検知データセットのそれぞれには、交通手段130‐2の関連情報が含まれる。データの冗長性を減らすために、2つの検知データセットの1つからこの部分の情報を削除することができる。
いくつかの実施例では、危険早期警告を決定する特定の交通手段130について、処理モジュール224は、危険早期警告を決定するための検知データをさらに選別して、効率をさらに向上させることができる。衝突の危険を生み出す物体のような、自動車130に運転安全上の脅威をもたらす物体は、交通手段130の近くに位置する可能性があり、そして非常に遠い物体は、短期間での脅威が低い。処理モジュール224は、複数の検知データセット、特に重複除去された検知データセットから、特定の交通手段130から閾値距離内にある物体を識別することができる。この閾値距離は、交通手段130からの安全距離よりも小さくなるように設定されている。閾値距離は、交通手段130の速度、交通手段130が位置する道路環境(例えば、高速道路、都市道路、またはタウンシップ道路)などの要因に基づいて決定することができる。例えば、処理モジュール224は、検知データセットから特定の交通手段130から200メートルの範囲内の物体を識別することができる。大きな体積の対象物については、交通手段130との距離の計算は、当該物体の幾何学的中心の位置に基づいて決定することができる。距離によって選別した後、処理モジュール224は、特定の距離範囲内の物体の関連情報に基づいて、これらの物体の交通手段130に対する危険度を決定することができる。
代替的にまたは付加的に、処理モジュール224は、物体の速度および/または物体と交通手段130との相対的な向きに基づいて、複数の検知データセット、特に重複除去されたおよび/または距離が選別された複数の検知データセットを分類することができる。例えば、処理モジュール224は、検知データセット内のデータを静的物体データカテゴリおよび動的物体データカテゴリに分けることができ、静的物体データカテゴリには速度が非常に低いまたは速度がゼロである物体の関連情報が含まれ、動的物体データカテゴリには、速度が高くて明らかに移動していると思われる物体の関連情報が含まれる。
また、物体と交通手段130との相対的な向きに基づいて、動的物体データカテゴリは、前方同じ方向運動データカテゴリ、前方反対方向運動データカテゴリ、後方同じ方向運動データカテゴリ、および後方反対方向運動データカテゴリのうちの1つまたは複数に分けられてもよい。前方同じ方向運動データカテゴリは、交通手段130の前方にあり、且つ交通手段130の運動方向(すなわち、運転方向)と同じである物体の関連情報を含み、一方、前方反対方向運動データカテゴリは、交通手段130の前方にあるが、交通手段130の運動方向と反対である物体の関連情報を含む。同様に、後方同じ方向運動データカテゴリは、交通手段130の後方にあり、且つ交通手段130運動方向と同じである物体の関連情報を含み、一方、後方反対方向運動データカテゴリは、交通手段130の後方にあるが、交通手段130の運動方向と反対である物体の関連情報を含む。
発生する可能性のある様々な危険な事件については、全部ではなく部分的なデータカテゴリに基づいて判定することができ、またはあるデータカテゴリに従って優先的に判定して物体の危険度を決定することができ、危険早期警告は判定されない場合に、優先順位の低い別のデータカテゴリを利用して判定する必要がある。これにより、危険度を決定するたびに考慮する必要があるデータ量を削減することができるだけでなく、優先順位の高い危険早期警告事件が発生するか否かを迅速に判定することができる。動作中、処理モジュール224は、所定の危険な事件について複数のデータカテゴリの使用優先順位を決定することができる。次に、識別された優先順位に従って、複数のデータカテゴリを利用して、複数の地理的範囲内の物体が所定の危険事件をトリガーする可能性をそれぞれ決定して、物体の危険度を生成する。
運転安全の面において、交通手段130に早期警告を提供する必要がある危険な事件は、同じ車線における他の交通手段130または他のタイプの物体と衝突するような、交通手段130がその前方走行方向における物体と衝突する危険を示す前方走行方向衝突早期警告を含むことができる。このような危険な事件の場合、処理モジュール224は、前方同じ方向運動データセットを優先的に利用して、その中の物体が交通手段130に対する危険度を決定することができる。データカテゴリの優先順位は、例えば、前方同じ方向運動データカテゴリ、前方反対方向運動データカテゴリ、静的物体データカテゴリ、後方同じ方向運動データカテゴリ、および後方反対方向運動データカテゴリである。
危険な事件は、交通手段130の隣接する車線と同じ方向に走行している交通手段または物体が交通手段130の死角領域に存在することを示す死角危険事件をさらに含んでもよく、これは一定の安全上の危険をもたらす。死角危険事件の場合、後方同じ方向運動データカテゴリの使用優先順位が高く、このデータカテゴリにはこのような死角危険事件の原因となる物体が含まれる可能性がより高いからである。他のデータカテゴリの優先順位もそれに応じて設定することができる。危険事件は、交通手段130が反対車線を借りて追い越すときに反対車線における物体(例えば、走行中の交通手段)と衝突する危険性を示す反対車線追い越し危険事件をさらに含むことができる。この事件の場合、前方反対方向運動データカテゴリの優先順位は高い。他のデータカテゴリの優先順位もそれに応じて設定することができる。
他の危険な事件としては、例えば、左折衝突の危険事件、交差点衝突の危険事件、前方交通手段の緊急ブレーキ危険事件などをさらに含む。これらの異なる危険事件に対して、当該危険事件に関連している可能性が最も高そうな物体が属するデータカテゴリを高い優先順位に設定することができる。上記は、運転安全上で発生する可能性がが最も高く運転安全を脅かす、いくつかの危険な事件の例を示しているに過ぎない。他のさまざまな危険な事件の定義があり、異なるデータカテゴリの使用優先順位が他の順序に設定されてもいい。
上記は、物体の危険度を決定する効率および正確性を向上させるために、複数の検知データセットの使用をどのように最適化するかを説明している。いくつかの実施例では、物体の危険度は、交通手段130の運転安全を脅かすレベルと、脅かさないレベルとという2つのレベルに分けられてもよい。いくつかの実施例において、物体が交通手段130の運転安全を危険にさらす可能性をより正確に示すように、危険度がより具体的な数値またはレベルで示されてもよい。処理モジュール224は、危険度を閾値レベルと比較することができる。閾値レベルは、交通手段130の運転安全を危険にさらす可能性が高い物体を選別するために使用することができる。閾値レベルは、危険度および実際の危険早期警告の必要性に応じて決定することができる。
処理モジュール224は、交通手段130に対する複数の物体の危険度を決定することができる。ある物体の危険度が閾値レベルを超えると、処理モジュール224は、交通手段130に対する早期警告指示を提供すると決定する。危険早期警告指示は、適切な行動をとるように交通手段130の運転手に潜在的な危険を注意させるように促すための任意の形態の情報であってもよく、これは、交通手段130の自動運転能力が低い(例えば、閾値能力より低い)場合または自動運転能力が全くない場合に特に寄与する。危険早期警告指示は、例えば、交通手段130における音響装置によって警告音を鳴らすこと、ディスプレイによって表示されること、特定のインジケータによって指示されることなどによって、交通手段130の運転手に提示することができる。交通手段の自動運転能力が閾値能力よりも高い場合には、例えば、動作の一部では運転手が参加しなくても自動的に運転することができ、危険早期警告指示は、交通手段130の運転制御の支援にも使用することもでき、例えば、交通手段130の自動運転システムによって使用される。いくつかの実施例では、危険早期警告指示は、前方方向の衝突危険、死角危険などの特定の危険事件を示し、運転手または自動運転システムが危険を迅速に認識して次の動作をとることを可能にする。
コンピューティング装置120が交通手段130における車載機器230との通信接続を有する場合、危険早期警告指示は、通信接続222によって通信接続を介して車載機器230に直接提供することができる。車載装置230との通信接続がない場合、コンピューティング装置120は、他の装置を介して危険早期警告指示を車載装置230に転送することができる。通常、路側に配置された環境モニタリング装置110は、車載装置230との通信接続を有し、コンピュータ装置120は、ある環境モニタリング装置110を利用して危険早期警告表示の転送を実行することができる。コンピューティング装置120は、危険早期警告指示を環境モニタリング装置110に送信し、危険早期警告指示を特定の交通手段130の車載装置230に転送するように当該環境モニタリング装置110を指示することができる。
路側に車載装置230との通信接続を有する複数の候補環境モニタリング装置110が存在する可能性があるので、コンピューティング装置120、特に処理モジュール224は、どの環境モニタリング装置110を選択して危険早期警告指示の転送を実行するかを決定することができる。処理モジュール224は、ランダムに選択することができ、または転送効率および転送成功率を向上させることができる環境モニタリング装置110を選択することができる。複数の候補環境モニタリング装置110は、複数の地理的範囲の検知データを提供する環境モニタリング装置、および/または他の地理的範囲をモニタリングする環境モニタリング装置であってもよい。
処理モジュール224は、複数の候補環境モニタリング装置110と、危険早期警告指示を送信する交通手段130との間の距離に基づいて、転送に用いられる環境モニタリング装置110を選択することができ、例えば交通手段130との距離が近い(特定の閾値より小さい)または最も近い環境モニタリング装置110を選択することができる。代替的または追加的に、処理モジュール224は、複数の候補環境モニタリング装置110が交通手段130の走行方向に位置しているか否かに基づいて、環境モニタリング装置110の選択を行ってもよい。例えば、処理モジュール224は、交通手段130の前方走行方向における環境モニタリング装置110を選択することができる。距離、及び走行方向との位置関係を合わせて考慮することができる。例えば、距離が同じ場合には、走行方向に位置する環境モニタリング装置を選択することができる。
いくつかの実施例では、処理モジュール224は、複数の候補環境モニタリング装置110の位置と交通手段130の位置との同一座標系における夾角の大きさに基づいて、危険早期警告指示を転送するための環境モニタリング装置110を選択することができる。例えば、距離および走行方向との位置関係に基づいて選別した後に依然として複数の候補環境モニタリング装置110が存在する場合、処理モジュール224は、夾角の大きさを考慮することができる。図3は、交通手段130の位置と1つの候補環境モニタリング装置110の位置とが座標系300にマッピングされていることを示している。座標系300において、座標310は、候補環境モニタリング装置110の位置に対応し、座標320は、交通手段130の位置に対応する。この2つの座標点310と320との夾角θは、当該環境モニタリング装置110を選択することができるか否かを判定するために使用することができる。処理モジュール224は、小さいまたは最小の夾角に対応する環境モニタリング装置110を選択することができる。
以上には、環境モニタリング装置110とコンピュータ装置120とが連携して、交通手段130に対する危険早期警告を決定することが検討された。引き続き図2を参照すると、交通手段130における車載装置230の構成も示されている。車載装置230は、主に、交通手段130に外部装置との通信機能を提供する通信モジュール232を含む。車載装置230は、環境モニタリング装置110および/またはコンピュータ装置120と通信して危険早期警告指示を受信することができる。
任意可能に、車載装置230は、交通手段130の周囲の環境の検知情報を収集するための検知モジュール234を含む。検知モジュール234は、1つまたは複数の種類のセンサユニットを含んでもよい。また、車載装置230は、交通手段130の処理機能を提供するための処理モジュール236をさらに含んでもよい。例えば、処理モジュール236は、検知モジュール234によって取得された検知情報を処理することができ、および/または受信された危険早期警告指示に基づいて交通手段130が取るべき次の行動を決定することができる。検知モジュール234および処理モジュール236は、すべての交通手段130の車載装置230に含まれていなくてもよいことを理解されたい。
図4は、本開示の実施例に係る交通手段の危険早期警告の方法400のフローチャートを示す。方法400は、図1および図2のコンピューティング装置120によって実現することができる。ブロック410において、コンピューティング装置120が、複数の地理的範囲をそれぞれモニタリングする複数の環境モニタリング装置から対応する複数の検知データセットを受信する。各検知データセットは、対応する地理的範囲内の物体の関連情報を含み、複数の環境モニタリング装置は、交通手段から離れるように配置されている。ブロック420において、コンピュータ装置120が、受信した複数の検知データセットに基づいて、交通手段に対する複数の地理的範囲内の物体の危険度を決定する。危険度は、物体が交通手段の走行安全を危険にさらす可能性を示す。ブロック430において、コンピューティング装置120が、危険度が閾値レベルを超えたか否かを判定する。ブロック440において、コンピューティング装置120が、危険度が閾値レベルを超えたことに応答して、交通手段に危険早期警告指示を提供する。
いくつかの実施例では、危険度を決定するステップは、複数の検知データセットのうちの少なくとも2つの検知データセットには同一物体の関連情報が含まれると決定し、少なくとも2つの検知データセットのうちの1つの検知データセットに同一物体の関連情報を保持し、残りの検知データセットから同一物体の関連情報を削除することにより、複数の検知データセットに対して重複除去を実行するステップと、重複除去された複数の検知データセットに基づいて危険度を決定するステップと、を含む。
いくつかの実施例では、重複除去を実行するステップは、複数の環境モニタリング装置によってモニタリングされた複数の地理的範囲のうちの少なくとも2つの地理的範囲が少なくとも部分的に重なり合っていると決定するステップと、少なくとも2つの地理的範囲内の物体の関連情報を含む少なくとも2つの検知データセットに対して重複除去を実行するステップと、を含む。
いくつかの実施例では、危険度を決定するステップは、複数の検知データセットから交通手段との距離が閾値距離内にある物体を識別するステップと、識別された物体の関連情報に基づいて物体の危険度を決定するステップと、を含む。
いくつかの実施例では、危険度を決定するステップは、物体の速度、および物体と交通手段との相対的な向きのうちの少なくとも1つに基づいて、複数の検知データセットを複数のデータカテゴリに分類するステップと、所定の危険事件について、複数のデータカテゴリの使用優先順位を決定するステップと、識別された優先順位に従って、複数のデータカテゴリを利用して、複数の地理的範囲内の物体が所定の危険事件をトリガーする可能性をそれぞれ決定して、物体の危険度を生成するステップと、を含む。
いくつかの実施例では、危険早期警告指示を提供するステップは、交通手段における車載装置との通信接続を介して危険早期警告指示を車載装置に送信するステップを含む。
いくつかの実施例では、危険早期警告指示を提供するステップは、複数の候補環境モニタリング装置と交通手段との距離と、複数の候補環境モニタリング装置が交通手段の走行方向に位置するか否かと、複数の候補環境モニタリング装置の位置と交通手段の位置との同一座標系における夾角の大きさとのうちの少なくとも1つに基づいて、交通手段における車載装置との通信接続をそれぞれ有する複数の候補環境モニタリング装置から環境モニタリング装置を選択するステップと、選択された環境モニタリング装置によって危険早期警告指示を車載装置に転送するように、危険早期警告指示を選択された環境モニタリング装置に送信するステップと、を含む。
いくつかの実施例では、各検知データセットは、対応する地理的範囲内の物体のタイプ、大きさ、位置、速度、および運動方向のうちの少なくとも1つを含む。
いくつかの実施例では、交通手段の自動運転能力が閾値能力を下回る場合、危険早期警告指示が交通手段の運転手に提示され、または交通手段の自動運転能力が閾値能力を上回る場合、危険早期警告指示が交通手段の運転制御の支援に使用される。
図5は、本開示の実施例を実施するることができる例示的な機器500の概略ブロック図を示している。機器500は、図1および図2のコンピューティング装置120または環境モニタリング装置110を実現することができる。図に示されるように、機器500は、読み取り専用メモリ(ROM)502に記憶されたコンピュータプログラム命令または記憶装置508からランダムアクセスメモリ(RAM)503にロードされたコンピュータプログラム命令に従って様々な適切な動作および処理を実行することができる計算ユニット501を含む。RAM503には、機器500の動作に必要な各種プログラムおよびデータも格納することができる。計算ユニット501、ROM502、およびRAM503は、バス504を介して相互に接続されている。入力/出力(I/O)インターフェース505もバス504に接続されている。
キーボード、マウスなどの入力ユニット506と、各種のディスプレイ、スピーカなどの出力ユニット507と、磁気ディスク、光学ディスクなどの記憶ユニット508と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット509とを含む機器500内の複数の構成要素は、I/Oインタフェース505に接続されている。通信ユニット509は、機器500がインターネットなどのコンピュータネットワークおよび/または様々な電気通信ネットワークを介して他の機器と情報/データを交換することを許可する。
計算ユニット501は、処理および計算能力を有する様々な汎用および/または特殊用途の処理構成要素とすることができる。計算ユニット501のいくつかの例は、中央処理装置(CPU)、グラフィック処理装置(GPU)、様々な専用人工知能(AI)計算チップ、機械学習モデルアルゴリズムを実行する様々な計算装置、デジタル信号処理(DSP)、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット501は、方法400など、上述した様々な方法および処理を実行することができる。例えば、いくつかの実施例では、方法400は、記憶装置508などの機械読み取り可能な媒体に有形に含まれているコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例において、コンピュータプログラムの一部または全部は、ROM502および/または通信ユニット509を介して機器500にロードおよび/またはインストールすることができる。コンピュータプログラムがRAM503にロードされ、計算ユニット501によって実行されるとき、上述した方法400の1つまたは複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット501は、他の任意の適切な形態によって(例えば、ファームウェアによって)方法400を実行するように構成することができる。
本明細書で上述した機能は、少なくとも部分的に、1つまたは複数のハードウェア論理構成要素によって実行することができる。例えば、使用することができる例示的なタイプのハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SOC)、ロードプログラマブルロジックデバイス(CPLD)などを含むがこれらに限定されない。
本開示の方法を実施するためのプログラムコードは、1つまたは複数のプログラミング言語の任意の組み合わせで作成することができる。プログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供されてもよく、その結果、プログラムコードがプロセッサまたはコントローラによって実行されるとき、フローチャートおよび/またはブロック図において特定される機能および/または操作が実施される。プログラムコードは、全部でマシン上で、部分的にマシン上で、スタンドアロンソフトウェアパッケージの一部として、そして部分的にリモートマシン上、または全部でリモートマシンまたはサーバ上で実行することができる。
本開示では、機械読み取り可能な媒体は、命令実行システム、装置、または機器によって使用されるまたは命令実行システム、装置、またはデバイスと合わせて使用されるプログラムを含むまたは格納することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、あまたはこれらの任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、1つまたは複数のラインに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせを含んでもよい
また、動作を特定の順序で説明したが、これは、そのような動作が示された特定の順序または順番で実行されること、または所望の結果を達成するために示されたすべての動作が実行されることを要求することを理解されたい。一定の環境においてマルチタスキングおよび並列処理は有利な場合がある。同様に、いくつかの具体的な実装の詳細が上記の説明に含まれているが、これらは本開示の範囲を限定するものとして解釈されるべきではない。別々の実施例で説明されているいくつかの特徴は、単一の実施例において組み合わせて実現することもできる。逆に、単一の実施例で説明されている様々な特徴は、個別にまたは任意の適切なサブ組み合わせで複数の実施例で実現することができる。
本テーマは構造的特徴および/または方法論的動作に特有の言語で説明されたるが、添付の特許請求の範囲に定義されたテーマは説明された上記の特定の特徴または動作に限定されないことを理解されたい。逆に、上記の特定の特徴および動作は単に特許請求の範囲を実現する例示的な形態である。

Claims (16)

  1. 交通手段の危険早期警告方法であって、
    複数の地理的範囲をそれぞれモニタリングする複数の環境モニタリング装置から対応する複数の検知データセットを受信するステップであって、各検知データセットは、対応する地理的範囲内の物体の関連情報を含み、該物体の関連情報が、前記物体のタイプを含み、前記複数の環境モニタリング装置は、前記交通手段から離れるように配置されているステップと、
    受信された複数の検知データセットに基づいて、前記交通手段に対する前記複数の地理的範囲内の物体の危険度を決定するステップであって、前記危険度が、前記物体が前記交通手段の運転安全を危険にさらす可能性を示すステップと、
    前記危険度が閾値程度を超えたことに応答して、前記交通手段に対する危険早期警告指示を提供するステップと、
    を含み、
    前記危険度を決定するステップが、
    前記複数の検知データセットから前記交通手段との距離が閾値距離内にある物体を識別するステップであって、前記閾値距離の決定要因が、前記交通手段が位置する道路環境を含み、前記道路環境が、道路のタイプを含むステップと、
    識別された物体の関連情報に基づいて前記物体の前記危険度を決定するステップと、
    を含み、
    前記危険早期警告指示を提供するステップが、
    複数の候補環境モニタリング装置と前記交通手段との間の距離と、前記複数の候補環境モニタリング装置が前記交通手段の走行方向に位置しているか否かと、前記複数の候補環境モニタリング装置の位置と前記交通手段の位置との同一座標系における夾角の大きさと、のうちの少なくとも1つに基づいて、前記交通手段における車載装置との通信接続をそれぞれ有する前記複数の候補環境モニタリング装置から環境モニタリング装置を選択するステップと、
    選択された環境モニタリング装置によって前記危険早期警告指示を前記車載装置に転送するように、前記危険早期警告指示を選択された環境モニタリング装置に送信するステップと、を含む交通手段の危険早期警告方法。
  2. 前記危険度を決定するステップが、
    前記複数の検知データセットのうちの少なくとも2つの検知データセットには同一物体の関連情報が含まれると決定し、前記少なくとも2つの検知データセットのうちの1つの検知データセットに前記同一物体の前記関連情報を保持し、残りの検知データセットから前記同一物体の前記関連情報を削除することにより、前記複数の検知データセットに対して重複除去を実行するステップと、
    重複除去された前記複数の検知データセットに基づいて前記危険度を決定するステップと、を含む請求項1に記載の方法。
  3. 前記重複除去を実行するステップが、
    前記複数の環境モニタリング装置によってモニタリングされた前記複数の地理的範囲のうちの少なくとも2つの地理的範囲が少なくとも部分的に重なり合っていると決定するステップと、
    前記少なくとも2つの地理的範囲内の物体の関連情報を含む少なくとも2つの検知データセットに対して前記重複除去を実行するステップと、
    を含む請求項2に記載の方法。
  4. 前記危険度を決定するステップが、
    物体の速度、および物体と前記交通手段との相対的な向きのうちの少なくとも1つに基づいて、前記複数の検知データセットを複数のデータカテゴリに分類するステップと、
    所定の危険事件について、前記複数のデータカテゴリの使用優先順位を決定するステップと、
    識別された優先順位に従って、前記複数のデータカテゴリを利用して、前記複数の地理的範囲内の物体が前記所定の危険事件をトリガーする可能性をそれぞれ決定して、前記物体の前記危険度を生成するステップと、
    を含む請求項1に記載の方法。
  5. 前記危険早期警告指示を提供するステップが、
    前記交通手段における車載装置との通信接続を介して、前記危険早期警告指示を前記車載装置に送信するステップを含む請求項1に記載の方法。
  6. 前記各検知データセットは、対応する地理的範囲内の物体の大きさ、位置、速度、および運動方向のうちの少なくとも1つを含む請求項1に記載の方法。
  7. 前記交通手段の自動運転能力が閾値能力を下回る場合、前記危険早期警告指示が前記交通手段の運転手に提示され、または、
    前記交通手段の自動運転能力が前記閾値能力を上回る場合、前記危険早期警告指示が前記交通手段の運転制御の支援に使用される請求項1に記載の方法。
  8. 交通手段の危険早期警告装置であって、
    複数の地理的範囲をそれぞれモニタリングする複数の環境モニタリング装置から対応する複数の検知データセットを受信するように構成される通信モジュールであって、各検知データセットは、対応する地理的範囲内の物体の関連情報を含み、該物体の関連情報が、前記物体のタイプを含み、前記複数の環境モニタリング装置は、前記交通手段から離れるように配置されている通信モジュールと、
    受信された複数の検知データセットに基づいて、前記交通手段に対する前記複数の地理的範囲内の物体の危険度を決定するように構成される処理モジュールであって、前記危険度が、前記物体が前記交通手段の運転安全を危険にさらす可能性を示す処理モジュールと、
    を含み、
    前記通信モジュールが、さらに、前記危険度が閾値程度を超えたことに応答して、前記交通手段に対する危険早期警告指示を提供するように構成され、
    前記処理モジュールが、
    前記複数の検知データセットから前記交通手段との距離が閾値距離内にある物体を識別し、前記閾値距離の決定要因が、前記交通手段が位置する道路環境を含み、前記道路環境が、道路のタイプを含み、
    識別された物体の関連情報に基づいて前記物体の前記危険度を決定するように構成され
    前記処理モジュールが、
    複数の候補環境モニタリング装置と前記交通手段との間の距離と、前記複数の候補環境モニタリング装置が前記交通手段の走行方向に位置しているか否かと、前記複数の候補環境モニタリング装置の位置と前記交通手段の位置との同一座標系における夾角の大きさと、のうちの少なくとも1つに基づいて、前記交通手段における車載装置との通信接続をそれぞれ有する前記複数の候補環境モニタリング装置から環境モニタリング装置を選択するように構成され、
    前記通信モジュールが、
    選択された環境モニタリング装置によって前記危険早期警告指示を前記車載装置に転送するように、前記危険早期警告指示を選択された環境モニタリング装置に送信するように構成される交通手段の危険早期警告装置。
  9. 前記処理モジュールが、
    前記複数の検知データセットのうちの少なくとも2つの検知データセットには同一物体の関連情報が含まれると決定し、前記少なくとも2つの検知データセットのうちの1つの検知データセットに前記同一物体の前記関連情報を保持し、残りの検知データセットから前記同一物体の前記関連情報を削除することにより、前記複数の検知データセットに対して重複除去を実行し、
    重複除去された前記複数の検知データセットに基づいて前記危険度を決定するように構成される請求項に記載の装置。
  10. 前記処理モジュールが、
    前記複数の環境モニタリング装置によってモニタリングされた前記複数の地理的範囲のうちの少なくとも2つの地理的範囲が少なくとも部分的に重なり合っていると決定し、
    前記少なくとも2つの地理的範囲内の物体の関連情報を含む少なくとも2つの検知データセットに対して前記重複除去を実行するように構成される請求項に記載の装置。
  11. 前記処理モジュールが、
    物体の速度、および物体と前記交通手段との相対的な向きのうちの少なくとも1つに基づいて、前記複数の検知データセットを複数のデータカテゴリに分類し、
    所定の危険事件について、前記複数のデータカテゴリの使用優先順位を決定し、
    識別された優先順位に従って、前記複数のデータカテゴリを利用して、前記複数の地理的範囲内の物体が前記所定の危険事件をトリガーする可能性をそれぞれ決定して、前記物体の前記危険度を生成するように構成される請求項に記載の装置。
  12. 前記通信モジュールが、
    前記交通手段における車載装置との通信接続を介して、前記危険早期警告指示を前記車載装置に送信するように構成される請求項に記載の装置。
  13. 前記各検知データセットは、対応する地理的範囲内の物体の大きさ、位置、速度、および運動方向のうちの少なくとも1つを含む請求項に記載の装置。
  14. 前記交通手段の自動運転能力が閾値能力を下回る場合、前記危険早期警告指示が前記交通手段の運転手に提示され、または
    前記交通手段の自動運転能力が前記閾値能力を上回る場合、前記危険早期警告指示が前記交通手段の運転制御の支援に使用される請求項に記載の装置。
  15. 1つまたは複数のプロセッサと、
    1つまたは複数のプログラムを記憶するための記憶装置と、を含む電子機器であって、
    前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行されるとき、前記1つまたは複数のプロセッサが請求項1からのいずれか一項に記載の方法を実現する電子機器。
  16. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記プログラムがプロセッサによって実行されるとき、請求項1からのいずれか一項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。
JP2019234822A 2018-12-28 2019-12-25 交通手段の危険早期警告方法、装置、機器および媒体 Active JP7222879B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811654598.0A CN111383480B (zh) 2018-12-28 2018-12-28 用于交通工具的危险预警的方法、装置、设备和介质
CN201811654598.0 2018-12-28

Publications (2)

Publication Number Publication Date
JP2020109655A JP2020109655A (ja) 2020-07-16
JP7222879B2 true JP7222879B2 (ja) 2023-02-15

Family

ID=68917746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019234822A Active JP7222879B2 (ja) 2018-12-28 2019-12-25 交通手段の危険早期警告方法、装置、機器および媒体

Country Status (4)

Country Link
US (1) US11308138B2 (ja)
EP (1) EP3675079A1 (ja)
JP (1) JP7222879B2 (ja)
CN (2) CN113345269B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3726241A1 (de) * 2019-04-19 2020-10-21 Siemens Mobility GmbH Verfahren und system zur lokalisierung eines gegenstandes
CN114648891A (zh) * 2020-12-18 2022-06-21 上海擎感智能科技有限公司 危险车辆提示方法、电子设备及计算机可读存储介质
CN114212107B (zh) * 2020-12-21 2023-05-12 北京邮电大学 一种基于价值图的智能网联驾驶规划方法
CN112722009A (zh) * 2021-01-20 2021-04-30 李林卿 一种用于铁路运输的避险方法、装置以及列车车载终端
CN113642111A (zh) * 2021-08-20 2021-11-12 Oppo广东移动通信有限公司 安全防护方法及装置、介质、电子设备及车辆
CN113793533A (zh) * 2021-08-30 2021-12-14 武汉理工大学 一种基于车辆前方障碍物识别的碰撞预警方法及其装置
CN113793535B (zh) * 2021-09-15 2022-06-21 智道网联科技(北京)有限公司 并存交通风险的告警方法、装置和计算机可读存储介质
CN113928331A (zh) * 2021-12-07 2022-01-14 成都车晓科技有限公司 一种商用车可视化监控系统
CN114969005A (zh) * 2022-05-30 2022-08-30 高新兴科技集团股份有限公司 V2x预警数据清洗方法及预警展示系统
CN117208020B (zh) * 2023-11-09 2024-02-02 安徽中科星驰自动驾驶技术有限公司 一种自动驾驶车辆的危险行为评估方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103451A (ja) 1999-09-29 2001-04-13 Toshiba Corp 画像監視システム及び画像監視方法
JP2002260192A (ja) 2001-03-05 2002-09-13 Natl Inst For Land & Infrastructure Management Mlit 歩行者衝突防止支援方法及びその装置
JP2006318446A (ja) 2005-04-15 2006-11-24 Denso Corp 走行支援装置
JP2009098956A (ja) 2007-10-17 2009-05-07 Mazda Motor Corp 車両用運転支援装置
JP2011061604A (ja) 2009-09-11 2011-03-24 Hitachi Kokusai Electric Inc 無線通信基地局及びその制御方法
JP2011180873A (ja) 2010-03-02 2011-09-15 Panasonic Corp 運転支援装置、及び運転支援方法
JP2013168178A (ja) 2013-05-15 2013-08-29 Mitsubishi Electric Corp 車両検知システムおよび車両検知システムの車両検知方法
US20160097849A1 (en) 2014-10-02 2016-04-07 Trimble Navigation Limited System and methods for intersection positioning
JP2016139392A (ja) 2015-01-26 2016-08-04 株式会社リコー 情報処理装置、情報処理システム、及びプログラム
US20180089997A1 (en) 2016-09-26 2018-03-29 Industrial Technology Research Institute Roadside display system, roadside unit and roadside display method thereof
JP2018084860A (ja) 2016-11-21 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 交差点情報配信装置及び交差点情報配信方法
WO2018198239A1 (ja) 2017-04-26 2018-11-01 三菱電機株式会社 処理装置および物体識別情報の生成方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3100471B2 (ja) 1992-07-28 2000-10-16 日本信号株式会社 危険交通事象検出方法
US6084510A (en) * 1997-04-18 2000-07-04 Lemelson; Jerome H. Danger warning and emergency response system and method
KR102015533B1 (ko) * 2012-09-07 2019-08-28 한국전자통신연구원 차량의 주변 정보 획득 장치
US9085262B2 (en) * 2012-10-08 2015-07-21 Microsoft Technology Licensing, Llc Tinting indication of environmental conditions
KR101675306B1 (ko) * 2015-03-20 2016-11-11 현대자동차주식회사 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법
CN108352116B (zh) * 2015-07-31 2022-04-05 日立安斯泰莫株式会社 自身车辆周边信息管理装置
JP6776513B2 (ja) * 2015-08-19 2020-10-28 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム
CN105261236A (zh) * 2015-09-28 2016-01-20 芜湖市汽车产业技术研究院有限公司 一种基于车车协同的车辆危险预警系统及方法
JP6211043B2 (ja) * 2015-11-05 2017-10-11 三菱電機株式会社 車両用衝突防止装置
US10026309B1 (en) * 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
CN105809978B (zh) * 2016-04-25 2018-09-21 奇瑞汽车股份有限公司 车辆行驶速度的确定方法及装置
KR101786352B1 (ko) * 2016-05-27 2017-11-15 현대자동차주식회사 우선순위 고려 차선 변경 제어 장치 및 방법
KR102646644B1 (ko) * 2017-03-01 2024-03-13 모빌아이 비젼 테크놀로지스 엘티디. 감지 불확실성이 있는 항법을 위한 시스템 및 방법
US20180339730A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating a wide-area perception scene graph
CN108010384B (zh) * 2017-10-18 2024-03-29 南京安捷智造科技有限公司 一种交通出行安全管理方法
CN108182817A (zh) * 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
CN108491418A (zh) * 2018-02-06 2018-09-04 西南交通大学 一种交通事故数据信息化采集、管理和分析系统及方法
CN109035777B (zh) * 2018-08-23 2021-03-26 河南中裕广恒科技股份有限公司 交通运行态势分析方法及系统
CN109035865A (zh) * 2018-08-29 2018-12-18 中国科学院微电子研究所 一种用于安全辅助的数据处理方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103451A (ja) 1999-09-29 2001-04-13 Toshiba Corp 画像監視システム及び画像監視方法
JP2002260192A (ja) 2001-03-05 2002-09-13 Natl Inst For Land & Infrastructure Management Mlit 歩行者衝突防止支援方法及びその装置
JP2006318446A (ja) 2005-04-15 2006-11-24 Denso Corp 走行支援装置
JP2009098956A (ja) 2007-10-17 2009-05-07 Mazda Motor Corp 車両用運転支援装置
JP2011061604A (ja) 2009-09-11 2011-03-24 Hitachi Kokusai Electric Inc 無線通信基地局及びその制御方法
JP2011180873A (ja) 2010-03-02 2011-09-15 Panasonic Corp 運転支援装置、及び運転支援方法
JP2013168178A (ja) 2013-05-15 2013-08-29 Mitsubishi Electric Corp 車両検知システムおよび車両検知システムの車両検知方法
US20160097849A1 (en) 2014-10-02 2016-04-07 Trimble Navigation Limited System and methods for intersection positioning
JP2016139392A (ja) 2015-01-26 2016-08-04 株式会社リコー 情報処理装置、情報処理システム、及びプログラム
US20180089997A1 (en) 2016-09-26 2018-03-29 Industrial Technology Research Institute Roadside display system, roadside unit and roadside display method thereof
JP2018084860A (ja) 2016-11-21 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 交差点情報配信装置及び交差点情報配信方法
WO2018198239A1 (ja) 2017-04-26 2018-11-01 三菱電機株式会社 処理装置および物体識別情報の生成方法

Also Published As

Publication number Publication date
CN111383480A (zh) 2020-07-07
JP2020109655A (ja) 2020-07-16
CN111383480B (zh) 2021-07-16
US20200210461A1 (en) 2020-07-02
CN113345269A (zh) 2021-09-03
CN113345269B (zh) 2022-11-08
US11308138B2 (en) 2022-04-19
EP3675079A1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
JP7222879B2 (ja) 交通手段の危険早期警告方法、装置、機器および媒体
JP6800899B2 (ja) 視界に制限のある交差点への接近のためのリスクベースの運転者支援
RU2709363C2 (ru) Способ и устройство для обнаружения опасных ветровых условий
US10832571B2 (en) Safety driving assistant system, server, vehicle and program
CN107015559B (zh) 使用散列加权积分和求和的目标跟踪的概率推理
JP6714513B2 (ja) 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置
CN109641589B (zh) 用于自主车辆的路线规划
US9140792B2 (en) System and method for sensor based environmental model construction
WO2021096935A2 (en) Systems and methods for determining road safety
CN112106124A (zh) 用于使用v2x和传感器数据的系统和方法
US20130147955A1 (en) Warning system, vehicular apparatus, and server
WO2017187883A1 (ja) 安全運転支援システム、車両およびプログラム
TWI795392B (zh) 自動駕駛與主動駕駛的駕駛危險分類及預防系統與方法
JP2022024741A (ja) 車両制御装置、車両制御方法
US11681296B2 (en) Scenario-based behavior specification and validation
KR20090125795A (ko) 안전운전 지원장치
JP6500724B2 (ja) 危険情報報知システム、サーバ及びコンピュータプログラム
JP7537787B2 (ja) 衝突事故防止方法、その装置、そのサーバ及びそのコンピュータプログラム
US11210952B2 (en) Systems and methods for controlling vehicle traffic
US10571281B2 (en) Information processing apparatus and method
CN113748448B (zh) 基于车辆的虚拟停止线和让行线检测
US11600076B2 (en) Detection of a hazardous situation in road traffic
CN114830095A (zh) 用于在异构计算平台中达成算法安全性的系统
JP6732053B2 (ja) 逆走ドライバを検出するための方法、装置、およびシステム
Son et al. An algorithm for detecting collision risk between trucks and pedestrians in the connected environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220302

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220302

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221018

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230203

R150 Certificate of patent or registration of utility model

Ref document number: 7222879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150