JP7374098B2 - 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置 - Google Patents

情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置 Download PDF

Info

Publication number
JP7374098B2
JP7374098B2 JP2020536439A JP2020536439A JP7374098B2 JP 7374098 B2 JP7374098 B2 JP 7374098B2 JP 2020536439 A JP2020536439 A JP 2020536439A JP 2020536439 A JP2020536439 A JP 2020536439A JP 7374098 B2 JP7374098 B2 JP 7374098B2
Authority
JP
Japan
Prior art keywords
unit
vehicle
processing
calculation
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020536439A
Other languages
English (en)
Other versions
JPWO2020031689A1 (ja
Inventor
洋 一木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020031689A1 publication Critical patent/JPWO2020031689A1/ja
Application granted granted Critical
Publication of JP7374098B2 publication Critical patent/JP7374098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/06Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/10Providing two-dimensional and co-ordinated display of distance and direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4052Means for monitoring or calibrating by simulation of echoes
    • G01S7/4056Means for monitoring or calibrating by simulation of echoes specially adapted to FMCW
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本明細書で開示する技術は、主に外界を認識するセンサの検出情報を処理する情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置に関する。
自動運転やADAS(Advanced Driver Assistance System)の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天ときや夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。このうち、ミリ波レーダーは、夜間、霧や降雨、逆光など、可視光を捕捉するカメラにとって悪環境下でも周辺車両や自転車などなど電波を反射する障害物を検出することができる。すなわち、ミリ波レーダーは、カメラの弱点を補うことができる、ADASの重要な技術である。
従来から、周波数変調された連続波であるFM-CW(Frequency Modulated-Continuous Wave)をレーダー波として用いるFMCW方式が知られている。FMCW方式のレーダー装置は、例えば、アンテナを介して送信されたレーダー波に対するターゲットからの反射波を受信信号として受信すると、受信信号と送信信号とを混合して周波数変換を行い、送信信号と受信信号との差分周波数を持ったビート信号を検出するとA/D変換(Analog to Digital Conversion)し、A/D変換後のデータ列に対してFFT(Fast Fourier Transform)解析を行うことで、ターゲットとの間の相対距離、相対速度などを計測する。ところが、FMCW方式は、歩行者と自転車など速度の異なるターゲットが近接すると、片方を見落としてしまうという問題がある。
そこで、近年では、ミリ波信号の周波数が時間の経過とともに連続的且つ高速に増加し又は減少するチャープ信号をレーダー波とするFCM(Fast Chirp Modulation)方式のレーダー装置(例えば、特許文献1を参照のこと)が注目されつつある。FCM方式のレーダー処理によれば、ミリ波信号の周波数の変調速度を高めることで距離分解能や対象物の速度の検知を広げることができるというメリットがある。
FCM方式のレーダー装置においても、FMCW方式と同様に、受信信号と送信信号とを混合して周波数変換を行い、送信信号と受信信号との差分周波数を持ったビート信号を検出するとA/D変換し、A/D変換後のデータ列に対してFFT解析が行われる。但し、FCM方式では、例えば、距離方向を縦軸とし、チャープ信号の送信数を横軸とした2次元FFT解析を行うことで、ターゲットとの間の相対距離、相対速度などが計測される。
特開2016-3873号公報
本明細書で開示する技術の目的は、主に外界を認識するセンサの検出情報を処理する情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置を提供することにある。
本明細書で開示する技術の第1の側面は、
FCM方式のレーダーの検出信号を演算処理する処理部と、
他のセンサの検出結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
を具備する情報処理装置である。
前記レーダーは車両に搭載して用いられ、前記他のセンサは同じ車両の車載センサである。前記制御部は、前記他のセンサの検出結果に基づいて、前記処理部における演算処理の演算領域又は演算精度のうち少なくともいずれかを制御する。また、前記制御部は、前記他のセンサの検出結果に基づいて、前記処理部により演算処理を実施する対象を選択する。
また、本明細書で開示する技術の第2の側面は、
FCM方式のレーダーの検出信号を演算処理する処理ステップと、
他のセンサの検出結果に基づいて前記処理ステップにおける演算処理の方式を制御する制御ステップと、
を有する情報処理方法である。
また、本明細書で開示する技術の第3の側面は、
FCM方式のレーダーの検出信号を演算処理する処理部、
他のセンサの検出結果に基づいて前記処理部における演算処理の方式を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。
第3の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第3の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第1の側面に係る情報処理装置と同様の作用効果を得ることができる。
また、本明細書で開示する技術の第4の側面は、
車両に搭載されたレーダー及びその他の車載センサと、
前記車載センサの検出信号に基づいて認識処理を行う認識部と、
前記レーダーの検出信号をFCM方式により演算処理する処理部と、
前記認識部による認識結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
を具備する情報処理システムである。
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
また、本明細書で開示する技術の第5の側面は、
移動体と、
前記移動体に搭載されたレーダー及びその他のセンサと、
前記他のセンサの検出信号に基づいて認識処理を行う認識部と、
前記レーダーの検出信号をFCM方式により演算処理する処理部と、
前記認識部による認識結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
前記処理部による処理結果に基づいて前記移動体を制御する移動体制御部と、
を具備する移動体装置である。
本明細書で開示する技術によれば、主に外界を認識するセンサの検出情報を処理する情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、車両制御システム100の概略的な機能の構成例を示すブロック図である。 図2は、車載レーダー装置の処理方式を切り替え制御するための情報処理システムの機能的構成例を示した図である。 図3は、情報処理システム100が実行する処理手順の一例を示したフローチャートである。 図4は、情報処理システム100が実行する処理手順の他の例を示したフローチャートである。 図5は、情報処理システム100が実行する処理手順のさらに他の例を示したフローチャートである。 図6は、測定対象の優先度判定処理の詳細な処理手順を示したフローチャートである。 図7は、測定対象の優先度判定処理の詳細な処理手順を示したフローチャートである。 図8は、車両と測定対象との衝突時刻を計算するための処理手順を示したフローチャートである。 図9は、車両と測定対象との衝突時刻を推定するための処理手順を示したフローチャートである。 図10は、測定対象のソート結果を表示した画面の構成例を示した図である。 図11は、距離演算を省略した測定対象を表示した画面の構成例を示した図である。 図12は、図11に示した画面上で測定対象の変更を指示する様子を示した図である。 図13は、FCM方式における送信信号及び受信信号、並びにビート信号を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1は、本技術が適用され得る移動体制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、ミリ波レーダー、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
自動運転やADASの実現に向けて、より高精度な外界認識を行うために、カメラ、ミリ波レーダー、レーザーレーダーなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。各センサは、検出原理にも依拠して、得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。レーダー(ミリ波レーダー)、カメラ、及びレーザーレーダー(LiDAR)の得手不得手を以下の表1にまとめておく。同表中で、◎は大得意(高い認識精度を持つ)、○は得意(良好な認識精度を持つ)、△は苦手(認識精度が十分でない)を意味する。2以上のセンサを組み合わせるフュージョン技術を利用することによって、各センサの特徴を生かして、より高精度な外界認識を実現することができる。
Figure 0007374098000001
ミリ波レーダーに関しては、ミリ波信号の周波数の速度を周期的に変調させるFMCW方式が主流であるが、周波数の変調速度を高めるFCM方式が注目されてきている。FCM方式では、FMCW方式と同様に、受信信号と送信信号とを混合して周波数変換を行い、送信信号と受信信号との差分周波数を持ったビート信号を検出するとA/D変換し、A/D変換後のデータ列に対してFFT解を行う。したがって、いずれの方式であっても、同様のレーダー装置の構成となる。FCM方式では、周波数が連続的且つ高速に増加又は減少するチャープ波を生成する送信信号と測定対象からのチャープ波の反射波を受信して得られる受信信号とから生成されたビート信号の周波数と位相変化に基づいて測定対象との距離と相対速度とを検出する。図13に、FCM方式における送信信号及び受信信号、並びにビート信号を示している。比較的ゆっくりと中心周波数が遷移するFMCW方式に比べ、FCM方式ではより高速な周波数遷移をとることにより、ビート周波数におけるfBHとfBLの差を大きくとることができるため、速度分解能に優れているという特徴がある。チャープ時間が、FMCW方式ではおよそミリ秒単位、FCW方式ではおよそマイクロ秒単位である。また、FCM方式ではチャープ速度が高速であるため、ドップラー周波数を無視できるため、検知距離を計算するアルゴリズムが簡素であり、マルチターゲットの認識力も向上する。
FCM方式によれば、距離分解能や対象物の速度の検知を広げることができる(すなわち、物体検出の性能が向上する)反面、3次元FFT解析(若しくは1次元FFTを繰り返す3次元的な処理、又は2次元FFTの後に3回目のFFTの代わりに方位角推定を行う処理)が必要であり、必要なメモリと演算量が増加するため、演算回路のコストや消費電力が増大することが懸念される。例えば電気自動車(Electric Vehicle:EV)の場合、エアコン使用時、EVバッテリの充電量が所定量以下に低減したときなどには電力を消費するので演算回路による消費電力を抑制すべきである。
また、複数の物体検出センサをフュージョンするフュージョン技術を採用した車載制御システムにおいて、すべての被写体を測定しようとすると、すべてのセンサにおいて十分な測定精度が得られないことがあり、あるいは測定精度を維持しようとすると、必要な被写体をすべて測定できない(測定が間に合わない)可能性がある。例えば、レーダーをカメラとフュージョン処理する場合、カメラの画像に見合う程度のレーダーの分解能が求められるが、カメラの視野角(FOV)は広いため、レーダーの演算負荷が厖大になる。車載レーダーは、被写体の距離や相対速度の計測を目的とするが、そもそも全方位にわたって高精度に測定する必要はない。また、自車両の周辺に複数の被写体が存在する場合、走行中に各被写体の優先度は時々刻々と変化する。
そこで、本明細書では、状況に応じてレーダー装置の処理方式を適応的に切り替え制御する技術について、以下で提案する。
ここで言うレーダー装置の処理方式の切り替えは、基本的には、FCM方式など特定の演算方式において、演算領域や演算精度を選択することを含む。演算領域を限定してFCM方式を適用することにより、全領域でFCM方式を実施する場合に比べコストや消費電力の増大を抑制し、演算領域を限定したことによる余剰の演算量を活用することによって、選択した演算領域では高分解能で測定を行うことができる。また、FCM方式を実施する場合、FFT解析を実施する演算領域において速度、距離、又はアンテナの分解能を抑制して演算精度を落とすことにより、演算精度は低下するが、演算量を削減し、コストや消費電力の増大を抑制することができる。
具体的には、レーダー装置の処理方式の切り替えは、FCM方式など特定の演算方式において、測定対象を限定することを含む。すなわち、複数の測定対象が存在し得る場合において、一部の特定の測定対象においてのみレーダー装置を用いた距離演算を実施し、それ以外の測定対象を距離演算の対象から除外することにより、特定の測定対象においては十分な演算精度を得るとともに、それ以外の測定対象においては必要な性能を確保しつつ、コストや消費電力の増大を抑制することができる。例えば、カメラの画像認識結果やLiDARの物体認識結果など、他のセンサの認識結果に基づいて、レーダー装置による測定を特定の対象物を限定することができる。また、走行車両が遭遇するシーン毎に重要な対象物が変動するので、カメラの画像やLiDARの物体検出など、他のセンサによるシーン認識結果に基づいてレーダー装置の測定対象を切り替えるようにする。
また、レーダー装置の処理方式の切り替えは、FCM方式など特定の演算方式において、測定対象毎に認識処理を行う演算順序の切り替え、すなわち演算順序計画を含む。例えば、自車両の周辺に複数の測定対象が存在する場合、走行中に各測定対象の優先度は時々刻々と変化する。そこで、各測定対象について、自車両と衝突する可能性(例えば、予想される衝突時刻)に基づいて優先度を判定する。そして、優先度に従った順序で距離演算を実施することにより、自車両と測定対象との衝突を回避して、ADAS若しくは自動運転の安全性を高めることが可能である。
また、レーダー装置の処理方式の切り替えは、FMCW方式やFCM方式など演算方式の切り替えをさらに含んでもよい。FCM方式によれば、物体検出の性能は向上するが、コストや消費電力の増大を招来する。これに対し、FMCW方式に切り替えることによって、性能の低下を許容しつつ、コストや消費電力を抑制することができる。そこで、必要とされる演算精度や、演算能力の余力などに応じて、レーダー装置の処理方式の切り替えを行うようにしてもよい。例えば、カメラなど他のセンサによる物体認識結果やシーン認識結果、車両の走行状況に応じて、高い演算精度が必要と判定される場合にはFCM方式を適用するが、高い演算精度が必要でないと判定される場合には、FMCW方式に切り替えるようにしてもよい。また、車両が電気自動車の場合には、バッテリの充電量が所定値以下に低減したときには、FCM方式からFMCW方式に切り替えるようにしてもよい。演算方式の切り替えを実現するには、FMCW方式及びFCM方式のそれぞれの演算処理を実施するLSI(Large Scale Integration)チップを車両に搭載する。但し、FMCW方式及びFCM方式で共通する回路モジュールは共通化して各LSIを構成するようにしてもよい。なお、レーダーはバンパーなど破損し易い部位に搭載されるが、方式毎に個別にLSIを装備することで、一方が破壊しても他方がバックアップになる。
また、ミリ波レーダーを、カメラやLiDARなど他のセンサをフュージョンするフュージョン技術を取り入れた車両制御システムの場合には、レーダー装置の処理方式の切り替えは、フュージョン処理方式の切り替えを含む。すなわち、各センサの処理の精度や演算速度、センサ間の演算順序を切り替えるようにする。また、センサ毎に測定対象を限定するようにしてもよい。例えば、カメラやLiDARよりもミリ波レーダーが優位となる悪天候時において、適応的にFCM方式を実施してレーダーによる十分な演算精度を確保するようにする。他方、カメラの画像認識でも必要な性能が得られるときには、FMCW方式に切り替えて、レーダーによる演算精度をある程度犠牲にしつつ、コストや消費電力の増大を抑制する。
また、ここで言う、レーダー装置の処理方式を切り替える「状況」は、ADASや自動運転など対象車両の走行状況など車両周辺の状況や、車両制御システム100における演算能力や、消費電力量若しくは余剰電力量など車両自体の状況を含む。また、車室内の入力装置を介してドライバなどから入力される指示も、「状況」に含まれる。また、インターネットなどの外部ネットワークに接続されている車両制御システムにおいては、クラウドなど外部から受ける指示も、「状況」に含まれる。
ここで、FCM方式のレーダー装置における演算処理について、補足説明しておく。FCM方式は、周波数が連続的に増加又は減少するチャープ波を生成する送信信号とターゲットからのチャープ波の反射波の受信信号から生成されたチャープ波毎のビート信号に対して2回のFFT処理(2次元FFT処理)を行ってターゲットとの距離及び相対速度を検出する方式である。また、アレーアンテナを形成する複数の受信アンテナのアンテナ毎(若しくは、操舵方向)に2次元FFT処理を実施して、ターゲットとの距離及び相対速度を3次元的に捕捉することができる。FCM方式は、FMCW方式に比べ例えば速度分解能に優れ、チャープ波の数(チャープ数)を増やすことなどによって速度分解能を上げることができる。
上述したように、FCM方式は、FMCW方式に比べ、演算量が多い。FCM方式のレーダー装置において、演算領域を限定したり、演算精度を抑えたりすることによって、演算量を削減することができる。例えば、FCM方式のFFT解析処理を実施する速度領域、距離領域、又はアンテナ領域を限定して演算領域を限定することにより、演算量を削減することができる。また、FCM方式のFFT解析を実施する演算領域において、速度、距離、又はアンテナの分解能を抑制して演算精度を落とすことにより、演算量を削減することができる。あるいは、3回目のFFTの代わりにビームフォーミング法やCapon法などを用いる場合には、測定対象の距離と方位角を限定することで、演算量を削減することができる。
図2には、車載レーダー装置の処理方式を切り替え制御するための情報処理システムの機能的構成例を示している。
図示の情報処理システム200は、物体認識部201と、シーン認識部202と、走行状況認識部203と、選択部204と、計画部205と、距離演算部206と、提示部207と、入力部208と、主制御部209と、各種データベース(DB)211~214を備えている。また、情報処理システム200には、カメラ221、LiDAR222、車体センサ223、及びレーダー(ミリ波レーダー)224などの各種センサからセンサ信号を入力する。
情報処理システム200は、基本的には車両に搭載して用いられ、より好ましくは、図1に示した車両制御システム100内に組み込まれている。例えば、機能モジュール201~206の一部又は全部は、自動運転制御部112内に実装され、若しくは図1に示した自動運転制御部112内のいずれかの機能モジュール内に実装されている。また、主制御部109は、例えば車両に搭載されるECU(Electronic Control Unit)に相当する。また、提示部209は図1中の出力部106が兼用し、入力部208は図1中の入力部101が兼用することができる。また、カメラ221、LiDAR222、車体センサ223、及びレーダー224は、図1中のデータ取得部102に含まれるセンサを利用することができる。また、各種データベース(DB)211~214は、情報処理システム200内に構築されてもよいが(すなわち、車両に搭載されていてもよいが)、図1中の通信部103を介して接続される外部データベースであってもよい。
物体認識部201は、カメラ221による撮影画像を画像認識し、又は、LiDAR222の検出信号に基づいて物体認識して、自車両周辺に存在する物体の種類や、物体が存在する方向、自車両から物体までの概算距離を推定する。物体認識部201は、必要に応じてセンサフュージョン処理を実施してもよい。
シーン認識部202は、カメラ221による撮影画像、LiDAR222の検出信号、あるいは物体認識部201による物体認識結果に基づいて、自車両が遭遇するシーンを認識する。ここで認識されるシーンとして、例えば、走行中の道路の形状や、混雑具合や歩行者などの道路状況、天候や照明などの走行環境を挙げることができる。シーン認識部202は、必要に応じてセンサフュージョン処理を実施してもよい。
走行状況認識部203は、車体センサ223からのセンサ信号を入力して、自車両の走行状況を認識する。車体センサ223は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度などの自車両の状態を検出する各種センサや、車載バッテリの残量を検出するバッテリセンサ、天候又は気象などを検出するための環境センサ(雨滴センサ、霧センサ、日照センサ、雪センサ、温度センサ、湿度センサなど)を含む。走行状況認識部203は、これらの車体センサ223のセンサ信号に基づいて、車速、車両の進行方向、加速度、加速度方向、車両の絶対位置、外気温、振動、雨滴などの走行状況を認識する。
選択部204は、FCM方式など特定の演算方式において、演算領域や演算精度を選択する。選択部204が行う演算領域の選択には、測定対象を限定することを含む。複数の測定対象が存在し得る場合において、一部の特定の測定対象においてのみレーダー224を用いた距離演算を実施し、それ以外の測定対象を距離演算の対象から除外することにより、演算負荷を抑制しつつ、特定の測定対象においては十分な演算精度を得ることができる。また、選択部204が行う演算精度の選択には、FCM方式において、FFT解析を実施する演算領域で速度、距離、又はアンテナの分解能を抑制して演算精度を落とすことを含む。演算精度の抑制により、演算量を削減することができる。具体的には、選択部204は、物体認識部201による物体認識結果、シーン認識部202によるシーン認識結果、並びに走行状況認識部203による走行状況の認識結果に基づいて、距離演算部206がレーダー224のセンサ信号から距離演算を実施すべき演算領域(若しくは、測定対象)を選択したり、特定の演算領域における演算精度を選択したりする。また、選択部204が行う演算精度の選択には、FCM方式とFMCW方式のいずれかの選択(演算精度が異なる複数の演算方式の中からの選択)を含んでもよい。
選択部204は、基本的には、物体認識部201により認識された物体を、距離演算を実施すべき領域として選択し、その他の領域を距離演算の対象から除外する。物体が存在しない領域に距離演算を施しても無駄であり、いたずらに演算負荷を上げるだけだからである。
また、選択部204は、さらにシーン認識部202により認識されたシーンに基づいて、物体認識部201により認識された物体のうち自車両と衝突しそうな物体(周辺車両、自転車、歩行者、障害物など)を判定して、測定対象を選択する。例えば、自車両からの距離が近い物体は衝突する可能性があるが、対向車や歩道を歩行中の歩行者とは衝突する可能性が低く、測定対象として選択するべきではない。また、自車両の前方の横断歩道を渡ろうとしている歩行者は衝突する可能性が高く、親に連れられている幼い子供や、独りで歩いている老人であればさらに衝突する可能性が高く、測定対象として選択するべきである。選択部204は、シーン認識部202により認識されたシーンに基づいて、測定対象に対して適用すべき演算精度を選択するようにしてもよい。例えば、歩行者などとの衝突の可能性が高い一般道であれば高い演算精度(あるいは、演算精度の高いFCM方式)を選択し、高速道路であれば低い演算精度(あるいは、演算精度が高くないFMCW方式)を選択するようにしてもよい。
また、選択部204は、走行状況認識部203が車体センサ223の検出結果から認識する自車両の走行状況に基づいて、測定対象を選択する。例えば、カメラやLiDARよりもミリ波レーダーが優位となる悪天候時には、選択部204は、レーダー224を用いた測定対象を増やして、自車両の走行の安全性を確保する。逆に、カメラやLiDARでも十分な物体認識性能が得られる場合には、測定対象を制限することにより、FCM方式の距離演算を実施することによるコストや消費電力の増大を抑制する。また、選択部204は、加減速している、ハンドルを切っている、ドライバの注意力が低下しているなど、車体センサ223がモニタするドライバの状況に基づいて、測定対象を選択するようにしてもよい。また、選択部204は、距離演算部206(若しくは、情報処理システム200)の演算能力や、消費電力量若しくは余剰電力量などの状況に基づいて、測定対象を選択する。演算能力や電力量に余裕がなければ、選択部204は、測定対象を制限して、喫緊の測定対象について確実に距離演算を行うようにする。逆に、演算能力や電力量に余裕が生じれば、選択部204は、測定対象を増やして、安全性をより確保するようにしてもよい。選択部204は、走行状況認識部203により認識されたシーンに基づいて、測定対象に対して適用すべき演算精度を選択するようにしてもよい。例えば、車両が電気自動車でバッテリの充電量が十分なときには高い演算精度(あるいは、演算精度の高いFCM方式)を選択し、充電量が所定値以下に低減したときには低い演算精度(あるいは、演算精度が高くないFMCW方式)を選択するようにしてもよい。また、車両の車速が速いときには測定対象の速度の検知を広げるためにFCM方式を選択し、車速がおそいときにはFMCW方式を選択するようにしてもよい。また、ステアリングホイールの操舵角が変化したとき(すなわち、ハンドル操作が行われたとき)には衝突の危険が高まるので高い演算精度(あるいは、演算精度の高いFCM方式)を選択し、車両の直進時には低い演算精度(あるいは、演算精度が高くないFMCW方式)を選択するようにしてもよい。
選択部204が演算領域及び演算精度を選択する要因はさまざまである。そこで、選択部204は、被写体毎の緊急度データベース211、シーン毎の優先被写体データベース212、並びに走行状況毎の優先被写体データベース213のうち少なくとも1つのデータベースを参照して、距離演算を実施すべき測定対象や演算精度を選択する。
被写体毎の緊急度データベース211には、歩行者(子供、大人、老人など)、車両(先行車、後続車、対向車、バイク、自転車)など、物体認識部201により認識可能な被写体毎の距離演算すべき緊急度や必要な分解能に関する情報を蓄積している。また、シーン毎の優先被写体データベース212は、交差点やカーブ、一般道、高速道路、トンネル内、夜間走行時、雨天走行時、濃霧、積雪時など、シーン認識部202により認識可能なシーンに応じて優先して距離演算すべき被写体や必要な分解能に関する情報を蓄積している。また、走行状況毎の優先被写体データベース213は、充電量や車速、ステアリングホイールの操舵角など、走行状況認識部203により認識される自車両の走行状況に応じて優先して距離演算すべき被写体や必要な分解能に関する情報を蓄積している。
したがって、選択部204は、被写体毎の緊急度データベース211を参照して、物体認識部201により認識された物体の種類毎の緊急度や必要な分解能を判断したり、シーン認識部202により認識されたシーン毎に優先して認識すべき物体や必要な分解能を予測したり、走行状況認識部203により認識された自車両の走行状況毎に優先して認識すべき物体や必要な分解能を認識して、測定対象並びに演算精度を適切に選択することができる。選択部204が測定対象を選択することによって、距離演算部206において距離演算を実施すべき演算領域が確定する。また、選択部204は、距離演算を実施する演算領域と併せて、演算精度の選択も行う。演算精度の選択には、FCM方式においてFFT解析を実施する演算領域で速度、距離、又はアンテナの分解能を選択することや、FCM方式とFMCW方式など演算精度が異なる複数の演算方式の中からいずれかを選択することを含む。
また、選択部204は、選択した測定対象並びに演算精度に関する情報を、提示部207を使ってドライバなど自車両の搭乗者に提示するようにしてもよい。また、選択部204は、ドライバなど自車両の搭乗者から、入力部208を介して測定対象に関する指示が入力された場合には、その指示に従って、測定対象の選択を変更するようにしてもよい。また、選択部204は、走行状況認識部203がエアコンの稼働状況や車載バッテリの残量などに基づいて必要電力が不足するという走行状況を認識した場合には、提示部207を使ってドライバなど自車両の搭乗者に警告を発したり、主制御部209に通知したりするようにしてもよい。主制御部209は、エアコンの停止など距離演算の稼働時間を延長するための処理を促すようにしてもよい。
なお、被写体毎の緊急度データベース211、シーン毎の優先被写体データベース212、走行状況毎の優先被写体データベース213に学習機能を取り入れ、選択部204による選択結果に基づいて、各データベース211~213の記憶データを更新するようにしてもよい。
計画部205は、距離演算部206がFCM方式により物体の距離及び相対速度を演算する演算能力と、認識対象に応じた演算負荷の見積りを行うとともに、選択部204で選択した各測定対象の演算順序の計画を立案する。また、計画部205は、消費電力量若しくは余剰電力量などの状況に基づいて、測定対象の演算順序を計画するようにしてもよい。計画部205は、演算能力や電力量に余裕がない測定対象の距離演算を省略して、喫緊の測定対象について確実に距離演算を行うようにする。逆に、演算能力や電力量に余裕が生じれば、計画部205は、測定対象を増やして、安全性をより確保するようにしてもよい。計画部205は、測定対象の演算順序を計画するに際して、測定対象毎の必要演算量に関する情報を蓄積した、測定対象毎の必要演算量データベース214を適宜参照してもよい。必要演算量データベース214は、測定対象毎に距離演算の実施に必要となる演算量に関する情報を蓄積している。演算精度や演算方式の切り替えを想定している場合には、必要演算量データベース214は、測定対象毎に演算精度や演算方式に応じた必要演算量を蓄積していてもよい。
また、計画部205は、選択部204により選択された測定対象が、距離演算部206の演算能力を超えると判断した場合には、提示部207を使ってドライバなど自車両の搭乗者に警告を発するようにしてもよい。また、計画部205は、距離演算部206の演算負荷を軽減するために、主制御部209に対して自車両の車速を低下するように指示してもよい。また、計画部205は、演算能力にために距離演算を実施しない被写体に関する情報を、提示部207を使ってドライバなど自車両の搭乗者に提示するようにしてもよい。
なお、測定対象毎の必要演算量データベース214に学習機能を取り入れ、計画部205が立案した計画に基づいて、測定対象毎の必要演算量データベース214の記憶データを更新するようにしてもよい。
距離演算部206は、選択部204が選択した測定対象によって限定して、且つ、計画部205が計画した演算順序に従って、レーダー224のセンサ信号から物体までの距離演算を実施する。距離演算部206は、少なくともFCM方式を採用する。FCM方式は、周波数が連続的に増加又は減少するチャープ波を生成する送信信号とターゲットからのチャープ波の反射波の受信信号から生成されたチャープ波毎のビート信号に対して2回のFFT処理(2次元FFT処理)を行ってターゲットとの距離及び相対速度を検出する方式である。この場合、距離演算部206は、選択部204によって選択された演算精度に応じた分解能で、FCW方式による距離演算を実施する。また、距離演算部206は、FCM方式及びFMCW方式をともに採用することもでき、選択部204によって選択された演算精度若しくは演算方式に切り替えて、距離演算を実施するようにしてもよい。そして、距離演算部206は、算出した各物体の距離及び相対速度に関する情報を、主制御部209に出力する。
主制御部209は、距離演算部206による演算結果を、自動運転やADASなどの車両制御に活用する。主制御部209は、例えば、自動車間制御(ACC)、車線逸脱警報(LDW)、レーンキープアシスト(LKA)、自動緊急ブレーキ(AEB)、死角検知(BSD)といった、自動運転又はADASのための車両制御を実施し、さらにはアクティブコーナリングライト(ACL)、ブレーキアクチュエータ(BRK)、操舵装置(STR)など各駆動部の駆動を制御する。
図3には、情報処理システム100が実行する処理手順の一例をフローチャートの形式で示している。図示の処理手順は、主制御部209の制御下で、情報処理システム100内の各部が動作することによって実現される。
まず、物体認識部201が、カメラ221による撮影画像を画像認識するとともに、LiDAR222の検出信号に基づいて物体認識を行う(ステップS301)。物体認識部201は、必要に応じてセンサフュージョン処理を実施する。
また、シーン認識部202が、カメラ221による撮影画像、LiDAR222の検出信号、あるいは物体認識部201による物体認識結果に基づいて、自車両が遭遇するシーンを認識する(ステップS302)。シーン認識部202は、必要に応じてセンサフュージョン処理を実施する。
また、走行状況認識部203は、車体センサ223からのセンサ信号を入力して、自車両の走行状況を認識する(ステップS303)。
但し、物体認識部201による物体認識処理、シーン認識部202によるシーン認識処理、並びに走行状況認識部203による走行状況の認識処理は順不同であり、これら3つの処理を同時並行して実施してもよい。
次いで、選択部204は、物体認識部201による物体認識結果、シーン認識部202によるシーン認識結果、並びに走行状況認識部203による走行状況の認識結果に基づいて、距離演算部206がレーダー224のセンサ信号から距離演算を実施すべき測定対象が存在するか否かをチェックする(ステップS304)。選択部204は、測定対象の選択を行う際に、被写体毎の緊急度データベース211、シーン毎の優先被写体データベース212、並びに走行状況毎の優先被写体データベース213を必要に応じて適宜参照する。また、選択部204は、選択した測定対象について、距離演算を実施する演算精度又は演算方式を併せて選択するようにしてもよい。
距離演算を実施すべき測定対象が存在しない場合には(ステップS304のNo)、ステップS301に戻り、物体認識処理、シーン認識処理、走行状況認識処理を繰り返し実施して、測定対象の発見を試みる。
また、距離演算を実施すべき測定対象が存在する場合には(ステップS304のYes)、計画部205は、上記認識処理S301~S303を通じて検出された各測定対象に対して、距離演算を実施する優先度判定を行う(ステップS305)。
以降は、判定された優先度に従って、各測定対象の距離演算が順次試みられることになる。
計画部205は、距離演算部206がFCM方式により物体の距離及び相対速度を演算する演算能力と、認識対象に応じた演算負荷の見積りを行い、距離演算部206(若しくは、情報処理システム200)の演算能力に十分な余力があるかどうかをチェックする(ステップS307)。その際、計画部205は、測定対象毎の必要演算量データベース214を適宜参照する。また、選択部204がその測定対象について距離演算を実施する演算精度又は演算方式を併せて選択している場合には、ステップS307では、その演算精度又は演算方式に応じた演算能力の余力があるかどうかをチェックするようにする。
演算能力に十分な余力がある場合には(ステップS307のYes)、距離演算部206は、次の測定対象について、FCM方式により物体の距離及び相対速度を演算する(ステップS308)。そして、距離演算部206は、選択部204で選択した演算領域及び演算精度で、距離演算を実施するものとする。但し、任意の演算方式を選択可能な場合には、選択部204が選択した演算方式により物体の距離及び相対速度を演算する。
その後、測定対象がまだ残っている場合には(ステップS306のNo)、演算能力の確認(ステップS307)、及び測定対象に対する距離演算(ステップS308)を、繰り返し実施する。
すべての測定対象について距離及び相対速度の測定を行った場合には(ステップS306のYes)、ステップS301に戻り、物体認識処理、シーン認識処理、走行状況認識処理を繰り返し実施して、新たに出現した測定対象の発見を試みる。
また、距離演算部206(若しくは、情報処理システム200)の演算能力の余力が十分でない場合には(ステップS307のNo)、計画部205は、残った測定対象についての距離演算を諦める。あるいは、演算能力の余力が十分でない場合には、演算精度を諦めて、以降の測定対象についてはFCM方式からFMCW方式に切り替えて、物体の距離及び相対速度の演算を実施するようにしてもよい。そして、残りの測定対象について距離及び相対速度の測定を行わないことの対処処理として、提示部207を使って、測定を省略したことをドライバなど自車両の搭乗者に提示する(ステップS309)。距離演算部206で使用する演算方式を切り替えたときには、その旨を提示するようにしてもよい。その後、ステップS301に戻り、物体認識処理、シーン認識処理、走行状況認識処理を繰り返し実施して、測定対象の発見を試みる。
図4には、情報処理システム100が実行する処理手順の他の例をフローチャートの形式で示している。図示の処理手順は、主制御部209の制御下で、情報処理システム100内の各部が動作することによって実現される。
まず、物体認識部201が、カメラ221による撮影画像を画像認識するとともに、LiDAR222の検出信号に基づいて物体認識を行う(ステップS401)。また、シーン認識部202が、カメラ221による撮影画像、LiDAR222の検出信号、あるいは物体認識部201による物体認識結果に基づいて、自車両が遭遇するシーンを認識する(ステップS402)。物体認識並びにシーン認識の各処理において、センサフュージョン処理を適宜取り入れてもよい。
また、走行状況認識部203は、車体センサ223からのセンサ信号を入力して、自車両の走行状況を認識する(ステップS403)。但し、物体認識部201による物体認識処理、シーン認識部202によるシーン認識処理、並びに走行状況認識部203による走行状況の認識処理は順不同であり、これら3つの処理を同時並行して実施してもよい。
次いで、選択部204は、物体認識部201による物体認識結果、シーン認識部202によるシーン認識結果、並びに走行状況認識部203による走行状況の認識結果に基づいて、距離演算部206がレーダー224のセンサ信号から距離演算を実施すべき測定対象が存在するか否かをチェックする(ステップS404)。選択部204は、測定対象の選択を行う際に、被写体毎の緊急度データベース211、シーン毎の優先被写体データベース212、並びに走行状況毎の優先被写体データベース213を必要に応じて適宜参照する。また、選択部204は、選択した測定対象について、距離演算を実施する演算精度又は演算方式を併せて選択するようにしてもよい。
距離演算を実施すべき測定対象が存在しない場合には(ステップS304のNo)、ステップS401に戻って、上記の処理を繰り返して、測定対象の発見を試みる。
一方、距離演算を実施すべき測定対象が存在する場合には(ステップS304のYes)、計画部205は、検出された各測定対象に対して、距離演算を実施する優先度判定を行う(ステップS405)。以降は、判定された優先度に従って、各測定対象の距離演算が順次試みられる。
計画部205は、距離演算部206がFCM方式により物体の距離及び相対速度を演算する演算能力と、認識対象に応じた演算負荷の見積りを行い、距離演算部206の演算能力に十分な余力があるかどうかをチェックする(ステップS407)。また、選択部204がその測定対象について距離演算を実施する演算精度又は演算方式を併せて選択している場合には、ステップS407では、その演算精度又は演算方式に応じた演算能力の余力があるかどうかをチェックするようにする。そして、演算能力に十分な余力がある場合には(ステップS407のYes)、距離演算部206は、次の測定対象について、FCM方式により物体の距離及び相対速度を演算する(ステップS408)。距離演算部206は、選択部204で選択した演算領域及び演算精度で、距離演算を実施するものとする。但し、任意の演算方式を選択可能な場合には、選択部204が選択した演算方式により物体の距離及び相対速度を演算する。
その後、測定対象がまだ残っている場合には(ステップS406のNo)、演算能力の確認(ステップS407)、及び測定対象に対する距離演算(ステップS408)を、繰り返し実施する。また、すべての測定対象について距離及び相対速度の測定を行った場合には(ステップS406のYes)、ステップS401に戻って、上記の処理を繰り返して、新たに出現した測定対象の発見を試みる。
一方、距離演算部206の演算能力の余力が十分でない場合には(ステップS407のNo)、計画部205は、残った測定対象についての距離演算を諦める。あるいは、演算能力の余力が十分でない場合には、演算精度を諦めて、以降の測定対象についてはFCM方式からFMCW方式に切り替えて、物体の距離及び相対速度の演算を実施するようにしてもよい。そして、主制御部209は、距離演算部206の演算負荷を軽減するために、自車両の車速を低下するように動作制御部135に指示する(ステップS410)。車速が低下すれば、物体認識部201で認識される単位時間当たりの物体数が減少し、又は、シーン認識部202で認識されるシーンの単位時間当たりの変化が減少して、選択部204で選択される測定対象の数も減少するので、演算負荷が軽減することが期待される。
また、計画部205は、残りの測定対象について距離及び相対速度の測定を行わないことの対処処理として、また、提示部207を使って、測定を省略したことをドライバなど自車両の搭乗者に提示する(ステップS409)。距離演算部206で使用する演算方式を切り替えたときには、その旨を提示するようにしてもよい。その後、ステップS401に戻り、物体認識処理、シーン認識処理、走行状況認識処理を繰り返し実施して、測定対象の発見を試みる。
図5には、情報処理システム100が実行する処理手順のさらに他の例をフローチャートの形式で示している。図示の処理手順は、主制御部209の制御下で、情報処理システム100内の各部が動作することによって実現される。
まず、物体認識部201が、カメラ221による撮影画像を画像認識するとともに、LiDAR222の検出信号に基づいて物体認識を行う(ステップS501)。また、シーン認識部202が、カメラ221による撮影画像、LiDAR222の検出信号、あるいは物体認識部201による物体認識結果に基づいて、自車両が遭遇するシーンを認識する(ステップS502)。物体認識並びにシーン認識の各処理において、センサフュージョン処理を適宜取り入れてもよい。
また、走行状況認識部203は、車体センサ223からのセンサ信号を入力して、自車両の走行状況を認識する(ステップS503)。但し、物体認識部201による物体認識処理、シーン認識部202によるシーン認識処理、並びに走行状況認識部203による走行状況の認識処理は順不同であり、これら3つの処理を同時並行して実施してもよい。
次いで、選択部204は、物体認識部201による物体認識結果、シーン認識部202によるシーン認識結果、並びに走行状況認識部203による走行状況の認識結果に基づいて、距離演算部206がレーダー224のセンサ信号から距離演算を実施すべき測定対象が存在するか否かをチェックする(ステップS504)。選択部204は、測定対象の選択を行う際に、被写体毎の緊急度データベース211、シーン毎の優先被写体データベース212、並びに走行状況毎の優先被写体データベース213を必要に応じて適宜参照する。また、選択部204は、選択した測定対象について、距離演算を実施する演算精度又は演算方式を併せて選択するようにしてもよい。
距離演算を実施すべき測定対象が存在しない場合には(ステップS504のNo)、ステップS501に戻って、上記の処理を繰り返して、測定対象の発見を試みる。
一方、距離演算を実施すべき測定対象が存在する場合には(ステップS504のYes)、計画部205は、検出された各測定対象に対して、距離演算を実施する優先度判定を行う(ステップS505)。以降は、判定された優先度に従って、各測定対象の距離演算が順次試みられる。
計画部205は、距離演算部206がFCM方式により物体の距離及び相対速度を演算する演算能力と、認識対象に応じた演算負荷の見積りを行い、距離演算部206の演算能力に十分な余力があるかどうかをチェックする(ステップS507)。また、選択部204がその測定対象について距離演算を実施する演算精度又は演算方式を併せて選択している場合には、ステップS507では、その演算精度又は演算方式に応じた演算能力の余力があるかどうかをチェックするようにする。そして、演算能力に十分な余力がある場合には(ステップS507のYes)、距離演算部206は、次の測定対象について、FCM方式により物体の距離及び相対速度を演算する(ステップS508)。距離演算部206は、選択部204で選択した演算領域及び演算精度で、距離演算を実施するものとする。但し、任意の演算方式を選択可能な場合には、選択部204が選択した演算方式により物体の距離及び相対速度を演算する。
その後、測定対象がまだ残っている場合には(ステップS506のNo)、演算能力の確認(ステップS507)、及び測定対象に対する距離演算(ステップS508)を、繰り返し実施する。また、すべての測定対象について距離及び相対速度の測定を行った場合には(ステップS506のYes)、ステップS501に戻って、上記の処理を繰り返して、新たに出現した測定対象の発見を試みる。
一方、距離演算部206の演算能力の余力が十分でない場合には(ステップS507のNo)、計画部205は、残った測定対象についての距離演算を諦める。あるいは、演算能力の余力が十分でない場合には、演算精度を諦めて、以降の測定対象についてはFCM方式からFMCW方式に切り替えて、物体の距離及び相対速度の演算を実施するようにしてもよい。そして、主制御部209は、距離演算部206の演算処理のための電力を優先的にしようできるようにするために、ボディ系制御部109などに対して電力確保を指示する(ステップS510)。例えば、ボディ系システム110において、空調装置の稼動を抑制する(冷房温度の設定を上げるなど)ことによって、余剰電力を捻出することができる。また、自車両が電気自動車の場合には、駆動系制御部107が駆動用モータの駆動力の発生を抑制する(車両の速度又は加速度を制限する)ことによって、余剰電力を捻出することができる。
また、計画部205は、残りの測定対象について距離及び相対速度の測定を行わないことの対処処理として、また、提示部207を使って、測定を省略したことをドライバなど自車両の搭乗者に提示する(ステップS509)。レーダー装置の処理方式を切り替えたときには、その旨を提示するようにしてもよい。その後、ステップS401に戻り、物体認識処理、シーン認識処理、走行状況認識処理を繰り返し実施して、測定対象の発見を試みる。
図6には、図3に示したフローチャート中のステップS305で実施される、測定対象の優先度判定処理の詳細な処理手順をフローチャートの形式で示している。図4に示したフローチャート中のステップS405、並びに図5に示したフローチャート中のステップS505においても、同様の処理が実施されるものと理解されたい。
この優先度判定処理は、情報処理システム200内で、例えば計画部205が実行する。また、図6に示す優先度判定処理では、測定対象を優先度順にソートした測定対象リストを使用することを前提とする。
まず、物体認識、シーン認識、及び走行状況認識S301~S303を通じて検出されたすべての測定対象について、衝突時刻を判定するための以下の処理を実施する(ステップS601のNo)。
計画部205は、測定対象リスト(上述)を参照して、例えば優先度順に従って測定対象を選定する(ステップS602)。そして、選定した測定対象をトラッキング済みであるかどうかをチェックする(ステップS603)。
選定した測定対象がトラッキング済みである場合には(ステップS603のYes)、既にトラッキングした結果に基づいて、自車両の進路とその測定対象の軌道とが交差して自車両とその測定対象との衝突時刻を計算する(ステップS604)。また、選定した測定対象をまだトラッキングしていない場合には(ステップS603のNo)、所定の予測アルゴリズムに従ってその測定対象の軌道を予測して、自車両とその測定対象との衝突時刻を推定する(ステップS605)。なお、衝突する可能性がない測定対象の衝突時刻は無限大となる。
そして、検出されたすべての測定対象について、衝突時刻の判定を終了すると(ステップS601のYes)、計画部205は、ステップS604又はS605で求められた衝突予想時間に基づいて各測定対象をソートして(ステップS606)、測定対象リスト(上述)に書き込んで、本処理を終了する。
なお、既に衝突時刻が経過した測定対象など、自車両と衝突する可能性が低い測定対象を測定対象リスト(上述)から削除する処理が別途行われるものとする。
図7には、図3に示したフローチャート中のステップS305で実施される、測定対象の優先度判定処理の詳細な処理手順の他の例をフローチャートの形式で示している。図4に示したフローチャート中のステップS405、並びに図5に示したフローチャート中のステップS505においても、同様の処理が実施されるものと理解されたい。
まず、物体認識、シーン認識、及び走行状況認識S301~S303を通じて検出されたすべての測定対象について、衝突時刻を判定するための以下の処理を実施する(ステップS701のNo)。
計画部205は、測定対象リスト(上述)を参照して、例えば優先度順に従って測定対象を選定する(ステップS702)。そして、選定した測定対象をトラッキング済みであるかどうかをチェックする(ステップS703)。選定した測定対象がトラッキング済みである場合には(ステップS703のYes)、自車両とその測定対象との衝突時刻を計算する(ステップS704)。また、選定した測定対象をまだトラッキングしていない場合には(ステップS703のNo)、自車両とその測定対象との衝突時刻を推定する(ステップS705)。なお、衝突する可能性がない測定対象の衝突時刻は無限大となる。
そして、検出されたすべての測定対象について、衝突時刻の判定を終了すると(ステップS701のYes)、計画部205は、ステップS704又はS705で求められた衝突予想時間に基づいて各測定対象をソートすると(ステップS706)、提示部207を介して測定対象のソート結果を、ドライバなどの自車両の搭乗者に提示する。
測定対象のソート結果は、例えば表示装置(前述)を使って画面に表示される。搭乗者は、入力部208を使って、測定対象の優先度の変更の指示を入力することができる。入力部208は、タッチパネルなど表示装置の画面のUI(User Interface)や、音声入力などでもよい。計画部205は、優先度の変更指示に従って、各測定対象の優先度を変更して(ステップS707)、測定対象リスト(上述)に書き込んで、本処理を終了する。
図8には、図6に示したフローチャート中のステップS604で実施される、自車両と測定対象との衝突時刻を計算するための処理手順をフローチャートの形式で示している。図7に示したフローチャート中のステップS704においても、同様の処理が実施されるものと理解されたい。
計画部205は、過去の測定結果に基づいて、処理中の測定対象をトラッキングする(ステップS801)。そして、トラッキングした結果に基づいて、その測定対象の軌道を計算して(ステップS802)、自車両の進路とその測定対象の軌道とが交差して自車両とその測定対象との衝突時刻を計算して(ステップS803)、本処理を終了する。
図9には、図6に示したフローチャート中のステップS605で実施される、自車両と測定対象との衝突時刻を推定するための処理手順をフローチャートの形式で示している。図7に示したフローチャート中のステップS605においても、同様の処理が実施されるものと理解されたい。
まず、計画部205は、シーン認識部202によるシーン認識結果とのマッチング(ステップS901)、並びに測定対象の被写体種別とのマッチング(ステップS902)を行う。これらマッチング処理には、必要に応じて経験則データベースとの照合が適宜行われる。これらマッチング処理は、認識処理ステップS301~303(若しくは、ステップS401~403)を通じて選択部204によって測定対象として選択された物体のうち、明らかに距離演算が不要な物体(例えば、衝突する可能性が極めて低い物体)を除外し、あるいは逆に距離演算が必要な物体(例えば、衝突する可能性が極めて高い物体)を抽出するために実施される。
次いで、計画部205は、測定対象となっている物体の位置情報及びサイズを算出する(ステップS903)。そして、計画部205は、被写体種別毎の速度情報と、物体の位置及びサイズと距離の関係に基づいて、その物体が自車両と衝突する可能性を検証するとともに、衝突時刻を算出して(ステップS904)、本処理を終了する。
図10には、図7に示したフローチャート中のステップS706において、表示装置(前述)を使って測定対象のソート結果を表示した画面の構成例を示している。図10に示す例では、自車両の前方の風景を映した画面上にソート結果が表示されている。但し、画面ではなく、自車両のフロントガラスに表示されるヘッドアップディスプレイであってもよい。
図10中、参照番号1001~1003は、物体認識部201が認識した物体である。図示のように、認識した各物体を四角で囲んだりして、認識されていることを示すようにしてもよい。物体1001は、自車両の前方に飛び出そうとしている歩行者である。また、物体1002は、自車両の前方を走行している先行車両であり、自車両との距離が徐々に短くなってきている。また、物体1003は、歩道で立ち止まっている歩行者である。
自車両の前方に飛び出そうとしている歩行者1001や、接近している先行車両1002は、近い将来に自車両と衝突する可能性がある。これに対し、静止している歩行者1003は、自車両と衝突する可能性が極めて低い。そこで、選択部204は、認識物体のうち物体1001及び物体1002のみを測定対象に選択している。また、計画部205は、選択部204が選択した物体1001及び物体1002に対してそれぞれ優先度1、2を割り振り、各物体を囲う枠に優先度をそれぞれ表示する。これによって、ドライバなど自車両の搭乗者は、車道に歩き出そうとしている歩行者1001や前方の車両1002が高い優先度で距離測定されていることを知ることができる。ドライバに対し、歩行者1001や前方の車両1002との衝突を回避するために、車速を低下するように促すことにもなる。
図11には、図3に示したフローチャート中のステップS309において、測定対象について距離及び相対速度の測定を行わないことの対処処理として、表示装置(前述)を使って距離演算を省略した測定対象を表示した画面の構成例を示している。図4に示したフローチャート中のステップS409、並びに図5に示したフローチャート中のステップS509においても、同様の画面表示が実施されるものと理解されたい。また、図11に示す例では、自車両の前方の風景を映した画面上に距離演算を省略した測定対象が表示されている。但し、画面ではなく、自車両のフロントガラスに表示されるヘッドアップディスプレイであってもよい。
図11中、参照番号1101は、物体認識部201が認識した物体のうち、選択部204が測定対象に選択せず、又は、計画部205が距離測定の対象から除外した物体である。この物体1101は、歩道で立ち止まっている歩行者である。参照番号1102で示す歩行者や、参照番号1103で示す前方車両は、近い将来に自車両と衝突する可能性があるので、距離測定の対象として選択され、且つ、距離演算の計画に組み込まれる。これに対し、静止している歩行者1101は、自車両と衝突する可能性が極めて低いため、距離測定の対象として選択されず、又は、演算能力に余力がない場合には距離演算の計画から除外される。選択部204又は計画部205は、図示の通り、歩行者1103が測距されていないことを画面上に表示する。なお、提示部207は、画面表示と併せて(若しくは、画面表示の代わりに)、歩行者1101が距離測定の対象でないことを、音声メッセージにより提示するようにしてもよい。歩行者1101が急に動き出したときには、ドライバに対し、歩行者1101との衝突を回避するために、車速を低下するように促すことにもなる。
図12には、測定対象の変更を指示する様子を示している。例えば図11に示した画面上で、ドライバなどの自車両の搭乗者は、タッチパネルなど表示装置の画面のUIを使って、距離及び相対速度の測定を行わない測定対象を指先でタッチすることによって、測定対象とするように計画部205に対して指示することができる。
例えば、図7に示したフローチャート中のステップS707において、計画部205は、ドライバが測定対象を距離測定の対象に加えたり、測定対象の優先度を上げたりすることを指示したことに応答して、その測定対象を測定対象リストに書き込んだり優先度を変更したりする。また、図3に示したフローチャート中のステップS309や、図4に示したフローチャート中のステップS409や、図5に示したフローチャート中のステップS509においても、ドライバが図12に示したような画面を通じて、測定対象から除外された物体を測定対象に加えるように指示できるようにしてもよい。
最後に、本実施形態に係る情報処理システム200の効果について言及する。情報処理システム200は、レーダー装置をカメラやLiDARなどの他の物体検出センサと併用して測定を行う装置に好適に適用することができる。この種の装置の具体例は、ADASや自動運転を実現する車両制御システム100である。
レーダー装置において、FCM方式のレーダー処理を適用することにより、距離分解能や対象物の速度の検知を広げることができる反面、演算量が増加するため、演算回路のコストや消費電力が増大するという問題がある(前述)。本実施形態に係る情報処理システム200を適用することにより、FCM方式のレーダー処理における演算量を削減することができ、あるいは同じ演算量でも複数の用途に対応することができる、というメリットがある。また、時分割により演算方法を切り替えることで、必要な総演算量を低減することもできる。
すなわち、本実施形態に係る情報処理システム200によれば、測定対象の優先度に応じて、レーダー装置の処理方式を管理することが可能である。したがって、安価な装置構成でも、車両制御システム100におけるADAS若しくは自動運転の安全性を高めることが可能である。
もちろん、本実施形態に係る情報処理システム200において、演算能力を強化することで、レーダー装置を用いた距離演算の測定対象の数を増やし、安全性をより高めるといったアップグレードを実現することも可能である。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、車載センサのフュージョンに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間(家庭、オフィス、工場など)を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)FCM方式のレーダーの検出信号を演算処理する処理部と、
他のセンサの検出結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
を具備する情報処理装置。
(2)前記レーダーは車両に搭載して用いられ、前記他のセンサは同じ車両の車載センサである、
上記(1)に記載の情報処理装置。
(3)前記制御部は、前記他のセンサの検出結果に基づいて、前記処理部における演算処理の演算領域又は演算精度のうち少なくともいずれかを制御する、
上記(1)又は(2)のいずれかに記載の情報処理装置。
(4)前記制御部は、前記他のセンサの検出結果に基づいて、前記処理部により演算処理を実施する対象を選択する、
上記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)前記制御部は、前記他のセンサによる物体認識結果に基づいて、前記処理部により演算処理を実施する対象を選択する、
上記(4)に記載の情報処理装置。
(5-1)前記制御部は、物体毎の緊急度に基づいて、前記対象を選択する、
上記(5)に記載の情報処理装置。
(6)前記情報処理装置は車両に適用され、
前記制御部は、前記他のセンサにより認識される前記車両が遭遇しているシーンに基づいて、前記処理部により演算処理を実施する対象を選択する、
上記(4)又は(5)のいずれかに記載の情報処理装置。
(6-1)前記制御部は、シーン毎の優先度に基づいて、前記対象を選択する、
上記(6)に記載の情報処理装置。
(7)前記情報処理装置は車両に適用され、
前記制御部は、前記他のセンサにより認識される前記車両の走行状況に基づいて、前記処理部により演算処理を実施する対象を選択する、
上記(4)乃至(6)のいずれかに記載の情報処理装置。
(7-1)前記制御部は、走行状況毎の優先度に基づいて、前記対象を選択する、
上記(7)に記載の情報処理装置。
(8)前記制御部は、複数の対象を選択したときに、各対象を前記処理部により演算処理を実施する順序を制御する、
上記(4)乃至(7)のいずれかに記載の情報処理装置。
(9)前記制御部は、対象毎の必要演算量に基づいて前記順序を制御する、
上記(8)に記載の情報処理装置。
(10)前記制御部は、必要演算量に対して前記処理部の演算能力に十分な余力がない対象の前記演算処理を省略する、
上記(9)に記載の情報処理装置。
(11)前記情報処理装置は車両に適用され、
前記制御部は、前記車両と前記複数の対象の各々との衝突予想時刻に基づいて前記順序を制御する。
上記(8)乃至(10)のいずれかに記載の情報処理装置。
(12)前記制御部は、前記処理部により演算処理を実施することを選択した対象に関する情報を提示する、
上記(1)乃至(11)のいずれかに記載の情報処理装置。
(12-1)前記制御部は、各対象の優先度に関する情報を提示する、
上記(12)に記載の情報処理装置。
(13)前記演算部は、前記処理部による演算処理を省略した対象に関する情報を提示する、
上記(10)の記載の情報処理装置。
(14)前記制御部は、外部からの指示に基づいて、前記処理部により演算処理を実施する対象を変更する、
上記(1)乃至(13)のいずれかに記載の情報処理装置。
(15)前記情報処理装置は車両に適用され、
前記制御部は、前記処理部の演算能力に十分な余力がない場合に、前記車両の車速低下を指示する、
上記(1)乃至(14)のいずれかに記載の情報処理装置。
(16)前記制御部は、前記処理部の演算能力に十分な余力がない場合に、電力確保を指示する、
上記(1)乃至(14)のいずれかに記載の情報処理装置。
(17)FCM方式のレーダーの検出信号を演算処理する処理ステップと、
他のセンサの検出結果に基づいて前記処理ステップにおける演算処理の方式を制御する制御ステップと、
を有する情報処理方法。
(18)FCM方式のレーダーの検出信号を演算処理する処理部、
他のセンサの検出結果に基づいて前記処理部における演算処理の方式を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
(19)車両に搭載されたレーダー及びその他の車載センサと、
前記車載センサの検出信号に基づいて認識処理を行う認識部と、
前記レーダーの検出信号をFCM方式により演算処理する処理部と、
前記認識部による認識結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
を具備する情報処理システム。
(20)移動体と、
前記移動体に搭載されたレーダー及びその他のセンサと、
前記他のセンサの検出信号に基づいて認識処理を行う認識部と、
前記レーダーの検出信号をFCM方式により演算処理する処理部と、
前記認識部による認識結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
前記処理部による処理結果に基づいて前記移動体を制御する移動体制御部と、
を具備する移動体装置。
100…車両制御システム
101…入力部、102…データ取得部、103…通信部
104…車内機器、105…出力制御部、106…出力部
107…駆動系制御部、108…駆動系システム
109…ボディ系制御部、110…ボディ系システム、111記憶部
112…自動運転制御部、121…通信ネットワーク
131…検出部、132…自己位置推定部、133…状況分析部
134…計画部、135…動作制御部
141…車外情報検出部、142…車内情報検出部
143…車両状態検出部
151…マップ解析部、152…交通ルール認識部
153…状況認識部、154…状況予測部
161…ルート計画部、162…行動計画部、163…動作計画部
171…緊急事態回避部、172…加減速制御部、173…方向制御部
200…情報処理システム
201…物体認識部、202…シーン認識部、203…走行状況認識部
204…選択部、205…計画部、206…演算部、207…提示部
208…入力部、209…主制御部
211…被写体毎の緊急度データベース
212…シーン毎の優先被写体データベース
213…走行状況毎の優先被写体データベース
214…測定対象毎の必要演算量データベース
221…カメラ、222…LiDAR、223…車体センサ
224…レーダー(ミリ波レーダー)

Claims (20)

  1. FCM方式のレーダーの検出信号を演算処理する処理部と、
    他のセンサの検出結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
    を具備し、
    前記制御部は、前記他のセンサの検出結果に基づいて、FCM方式においてFFT解析を実施する演算領域で速度又は距離のうち少なくとも1つについて分解能を調整して演算精度を制御する、
    情報処理装置。
  2. 前記レーダーは車両に搭載して用いられ、前記他のセンサは同じ車両の車載センサである、
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記他のセンサの検出結果に基づいて、前記処理部における演算処理の演算領域をさらに制御する、
    請求項1に記載の情報処理装置。
  4. 前記制御部は、前記他のセンサの検出結果に基づいて、前記処理部により演算処理を実施する対象を選択する、
    請求項1に記載の情報処理装置。
  5. 前記制御部は、前記他のセンサによる物体認識結果に基づいて、前記処理部により演算処理を実施する対象を選択する、
    請求項4に記載の情報処理装置。
  6. 前記情報処理装置は車両に適用され、
    前記制御部は、前記他のセンサにより認識される前記車両が遭遇しているシーンに基づいて、前記処理部により演算処理を実施する対象を選択する、
    請求項4に記載の情報処理装置。
  7. 前記情報処理装置は車両に適用され、
    前記制御部は、前記他のセンサにより認識される前記車両の走行状況に基づいて、前記処理部により演算処理を実施する対象を選択する、
    請求項4に記載の情報処理装置。
  8. 前記制御部は、複数の対象を選択したときに、各対象を前記処理部により演算処理を実施する順序を制御する、
    請求項4に記載の情報処理装置。
  9. 前記制御部は、対象毎の必要演算量に基づいて前記順序を制御する、
    請求項8に記載の情報処理装置。
  10. 前記制御部は、必要演算量に対して前記処理部の演算能力に十分な余力がない対象の前記演算処理を省略する、
    請求項9に記載の情報処理装置。
  11. 前記情報処理装置は車両に適用され、
    前記制御部は、前記車両と前記複数の対象の各々との衝突予想時刻に基づいて前記順序を制御する。
    請求項8に記載の情報処理装置。
  12. 前記制御部は、前記処理部により演算処理を実施することを選択した対象に関する情報を提示する、
    請求項1に記載の情報処理装置。
  13. 前記制御部は、前記処理部による演算処理を省略した対象に関する情報を提示する、
    請求項10の記載の情報処理装置。
  14. 前記制御部は、外部からの指示に基づいて、前記処理部により演算処理を実施する対象を変更する、
    請求項1に記載の情報処理装置。
  15. 前記情報処理装置は車両に適用され、
    前記制御部は、前記処理部の演算能力に十分な余力がない場合に、前記車両の車速低下を指示する、
    請求項1に記載の情報処理装置。
  16. 前記制御部は、前記処理部の演算能力に十分な余力がない場合に、電力確保を指示する、
    請求項1に記載の情報処理装置。
  17. FCM方式のレーダーの検出信号を演算処理する処理ステップと、
    他のセンサの検出結果に基づいて前記処理ステップにおける演算処理の方式を制御する制御ステップと、
    を有し、
    前記制御ステップでは、前記他のセンサの検出結果に基づいて、FCM方式においてFFT解析を実施する演算領域で速度又は距離のうち少なくとも1つについて分解能を調整して演算精度を制御する、
    情報処理方法。
  18. FCM方式のレーダーの検出信号を演算処理する処理部、
    他のセンサの検出結果に基づいて前記処理部における演算処理の方式を制御する制御部、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
    前記制御部は、前記他のセンサの検出結果に基づいて、FCM方式においてFFT解析を実施する演算領域で速度又は距離のうち少なくとも1つについて分解能を調整して演算精度を制御する、
    コンピュータプログラム。
  19. 車両に搭載されたレーダー及びその他の車載センサと、
    前記車載センサの検出信号に基づいて認識処理を行う認識部と、
    前記レーダーの検出信号をFCM方式により演算処理する処理部と、
    前記認識部による認識結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
    を具備し、
    前記制御部は、前記認識結果に基づいて、FCM方式においてFFT解析を実施する演算領域で速度又は距離のうち少なくとも1つについて分解能を調整して演算精度を制御する、
    情報処理システム。
  20. 移動体と、
    前記移動体に搭載されたレーダー及びその他のセンサと、
    前記他のセンサの検出信号に基づいて認識処理を行う認識部と、
    前記レーダーの検出信号をFCM方式により演算処理する処理部と、
    前記認識部による認識結果に基づいて前記処理部における演算処理の方式を制御する制御部と、
    前記処理部による処理結果に基づいて前記移動体を制御する移動体制御部と、
    を具備し、
    前記制御部は、前記認識結果に基づいて、FCM方式においてFFT解析を実施する演算領域で速度又は距離のうち少なくとも1つについて分解能を調整して演算精度を制御する、
    移動体装置。
JP2020536439A 2018-08-09 2019-07-23 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置 Active JP7374098B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018150476 2018-08-09
JP2018150476 2018-08-09
PCT/JP2019/028923 WO2020031689A1 (ja) 2018-08-09 2019-07-23 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置

Publications (2)

Publication Number Publication Date
JPWO2020031689A1 JPWO2020031689A1 (ja) 2021-08-12
JP7374098B2 true JP7374098B2 (ja) 2023-11-06

Family

ID=69413580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020536439A Active JP7374098B2 (ja) 2018-08-09 2019-07-23 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置

Country Status (6)

Country Link
US (1) US20210302570A1 (ja)
EP (1) EP3835823B1 (ja)
JP (1) JP7374098B2 (ja)
KR (1) KR20210040947A (ja)
CN (1) CN112534297A (ja)
WO (1) WO2020031689A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100569A1 (ja) * 2018-11-14 2020-05-22 ソニー株式会社 制御装置、制御方法及びセンサ制御システム
JP7165093B2 (ja) * 2019-03-29 2022-11-02 本田技研工業株式会社 車両制御システム
US11435439B2 (en) * 2019-08-19 2022-09-06 Waymo Llc Multibounce target mitigation
JP7125969B2 (ja) * 2020-10-28 2022-08-25 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11754666B2 (en) * 2021-02-12 2023-09-12 Aptiv Technologies Limited Radar detection prioritization based on downstream feedback
US20240103160A1 (en) * 2022-09-28 2024-03-28 DC-001, Inc. dba Spartan Radar Systems and methods for scheduling radar scan patterns in a vehicular radar system

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191131A (ja) 2002-12-10 2004-07-08 Denso Corp 物標識別方法及び装置、プログラム
JP2008509413A (ja) 2004-08-07 2008-03-27 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング センサシステムの作動方法および作動装置
JP2009058316A (ja) 2007-08-31 2009-03-19 Fujitsu Ten Ltd レーダ装置、物体検出方法、及び車両
JP2009181315A (ja) 2008-01-30 2009-08-13 Toyota Motor Corp 物体検出装置
JP2013195245A (ja) 2012-03-19 2013-09-30 Fujitsu Ten Ltd レーダ装置
JP2014169922A (ja) 2013-03-04 2014-09-18 Denso Corp 物標認識装置
WO2015190565A1 (ja) 2014-06-13 2015-12-17 株式会社デンソー チャープ波を使用するレーダ装置及びレーダ装置における信号処理方法
JP2016114577A (ja) 2014-12-18 2016-06-23 沖電気工業株式会社 信号処理装置、信号処理方法及びプログラム
JP2018059813A (ja) 2016-10-05 2018-04-12 株式会社デンソーテン レーダ装置および物標検出方法
JP2018115936A (ja) 2017-01-17 2018-07-26 株式会社デンソーテン レーダ装置および物標検出方法
WO2019008640A1 (ja) 2017-07-03 2019-01-10 三菱電機株式会社 信号処理装置、信号処理方法、信号処理プログラム及びレーダシステム
WO2019009356A1 (ja) 2017-07-07 2019-01-10 株式会社デンソー レーダ装置
JP2019066284A (ja) 2017-09-29 2019-04-25 株式会社デンソーテン レーダ装置およびレーダ装置の制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04315080A (ja) * 1991-04-11 1992-11-06 Fujitsu Ten Ltd 車間距離測定装置
DE102007002197A1 (de) * 2007-01-16 2008-07-17 Siemens Ag Gemeinsamer Kontroller für verschiedene Fahrerassistenzsysteme
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
EP3164860A4 (en) * 2014-07-03 2018-01-17 GM Global Technology Operations LLC Vehicle cognitive radar methods and systems

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191131A (ja) 2002-12-10 2004-07-08 Denso Corp 物標識別方法及び装置、プログラム
JP2008509413A (ja) 2004-08-07 2008-03-27 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング センサシステムの作動方法および作動装置
JP2009058316A (ja) 2007-08-31 2009-03-19 Fujitsu Ten Ltd レーダ装置、物体検出方法、及び車両
JP2009181315A (ja) 2008-01-30 2009-08-13 Toyota Motor Corp 物体検出装置
JP2013195245A (ja) 2012-03-19 2013-09-30 Fujitsu Ten Ltd レーダ装置
JP2014169922A (ja) 2013-03-04 2014-09-18 Denso Corp 物標認識装置
WO2015190565A1 (ja) 2014-06-13 2015-12-17 株式会社デンソー チャープ波を使用するレーダ装置及びレーダ装置における信号処理方法
JP2016114577A (ja) 2014-12-18 2016-06-23 沖電気工業株式会社 信号処理装置、信号処理方法及びプログラム
JP2018059813A (ja) 2016-10-05 2018-04-12 株式会社デンソーテン レーダ装置および物標検出方法
JP2018115936A (ja) 2017-01-17 2018-07-26 株式会社デンソーテン レーダ装置および物標検出方法
WO2019008640A1 (ja) 2017-07-03 2019-01-10 三菱電機株式会社 信号処理装置、信号処理方法、信号処理プログラム及びレーダシステム
WO2019009356A1 (ja) 2017-07-07 2019-01-10 株式会社デンソー レーダ装置
JP2019066284A (ja) 2017-09-29 2019-04-25 株式会社デンソーテン レーダ装置およびレーダ装置の制御方法

Also Published As

Publication number Publication date
EP3835823A4 (en) 2021-08-11
KR20210040947A (ko) 2021-04-14
CN112534297A (zh) 2021-03-19
WO2020031689A1 (ja) 2020-02-13
JPWO2020031689A1 (ja) 2021-08-12
US20210302570A1 (en) 2021-09-30
EP3835823B1 (en) 2024-01-31
EP3835823A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP7374098B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
US11915452B2 (en) Information processing device and information processing method
US11501461B2 (en) Controller, control method, and program
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
CN112119282A (zh) 信息处理装置、移动装置、方法和程序
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
WO2020031812A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
WO2020183892A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
CN113841100A (zh) 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法
WO2021070768A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
US20220277556A1 (en) Information processing device, information processing method, and program
JP2022113054A (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
US20200357284A1 (en) Information processing apparatus and information processing method
JP2023062484A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20230267746A1 (en) Information processing device, information processing method, and program
US20240019539A1 (en) Information processing device, information processing method, and information processing system
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2022107532A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231024

R150 Certificate of patent or registration of utility model

Ref document number: 7374098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150