JP7483627B2 - 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 Download PDF

Info

Publication number
JP7483627B2
JP7483627B2 JP2020559923A JP2020559923A JP7483627B2 JP 7483627 B2 JP7483627 B2 JP 7483627B2 JP 2020559923 A JP2020559923 A JP 2020559923A JP 2020559923 A JP2020559923 A JP 2020559923A JP 7483627 B2 JP7483627 B2 JP 7483627B2
Authority
JP
Japan
Prior art keywords
unit
object detection
result
sensor
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020559923A
Other languages
English (en)
Other versions
JPWO2020116204A1 (ja
Inventor
英明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020116204A1 publication Critical patent/JPWO2020116204A1/ja
Application granted granted Critical
Publication of JP7483627B2 publication Critical patent/JP7483627B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本技術は、情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体に関し、特に、対象物の追跡を行う場合に用いて好適な情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体に関する。
従来、ミリ波レーダと画像センサを用いて車両の周辺を監視するとともに、ミリ波レーダがカバーするエリアと画像センサがカバーするエリアが重複するフュージョンエリア内の物体の情報の検出精度を高くすることが提案されている（例えば、特許文献１参照）。
特開２００９－３１２９９号公報
しかしながら、特許文献１に記載の発明では、フュージョンエリアが固定されており、必ずしも常に適切であるとは限らない。例えば、障害物が存在していなくても常にフュージョンエリア内の情報の検出精度が高く設定されるため、処理負荷が無駄に大きくなるおそれがある。
本技術は、このような状況に鑑みてなされたものであり、物体検知の精度を適切に設定できるようにするものである。
本技術の第１の側面の情報処理装置は、ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする第１の高精細範囲において他の範囲より前記信号処理の精度を高くする信号処理部と、前記信号処理の結果に基づく第１の物体検知を行う第１の物体検知部と、前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく第２の物体検知を行う第２の物体検知部と、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行う追跡部と、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記第１の高精細範囲を設定する検知精度制御部とを備え、前記第１の高精細範囲は、前記信号処理部が物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である。
本技術の第１の側面の情報処理方法は、情報処理装置が、ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度を高くし、前記信号処理の結果に基づく第１の物体検知を行い、前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく第２の物体検知を行い、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行い、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲を設定し、前記高精細範囲は、物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である。
本技術の第１の側面のプログラムは、ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度を高くし、前記信号処理の結果に基づく第１の物体検知を行い、前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく第２の物体検知を行い、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行い、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲を設定し、前記高精細範囲は、物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である。
本技術の第２の側面の移動体制御装置は、ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度を高くする信号処理部と、前記信号処理の結果に基づいて、移動体の周囲の第１の物体検知を行う第１の物体検知部と、前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づいて、前記移動体の周囲の第２の物体検知を行う第２の物体検知部と、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の推定及び予測を行う追跡部と、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲を設定する検知精度制御部と、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて推定される前記対象物の状態に基づいて、前記移動体の動作の制御を行う動作制御部とを備え、前記高精細範囲は、前記信号処理部が物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である。
本技術の第３の側面の移動体は、ミリ波レーダである第１のセンサと、前記第１のセンサと種類が異なる第２のセンサと、前記第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度を高くする信号処理部と、前記信号処理の結果に基づく第１の物体検知を行う第１の物体検知部と、前記第２のセンサからの第２のセンサデータに基づく第２の物体検知を行う第２の物体検知部と、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の推定及び予測を行う追跡部と、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲を設定する検知精度制御部と、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて推定される前記対象物の状態に基づいて、動作の制御を行う動作制御部とを備え、前記高精細範囲は、前記信号処理部が物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である。
本技術の第１の側面においては、ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理が行われるとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度が高くされ、前記信号処理の結果に基づく第１の物体検知が行われ、前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく第２の物体検知が行われ、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の予測が行われ、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲が設定される。
本技術の第２の側面においては、ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理が行われるとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度が高くされ、前記信号処理の結果に基づいて、移動体の周囲の第１の物体検知が行われ、前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づいて、前記移動体の周囲の第２の物体検知が行われ、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の推定及び予測が行われ、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲が設定され、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて推定される前記対象物の状態に基づいて、前記移動体の動作の制御が行われる。
本技術の第３の側面においては、ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理が行われるとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度が高くされ、前記信号処理の結果に基づく第１の物体検知が行われ、前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく第２の物体検知が行われ、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の推定及び予測が行われ、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲が設定され、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて推定される前記対象物の状態に基づいて、動作の制御が行われる。
本技術を適用した車両制御システムの構成例を示すブロック図である。 データ取得部及び車外情報検出部の第１の実施の形態を示すブロック図である。 カメラの構成例を示すブロック図である。 対象物追跡処理を説明するためのフローチャートである。 撮影画像に基づく物体検知処理の詳細を説明するためのフローチャートである。 ミリ波データに基づく物体検知処理の詳細を説明するためのフローチャートである。 データ取得部及び車外情報検出部の第２の実施の形態を示すブロック図である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（カメラとミリ波レーダを用いた例）
２．第２の実施の形態（ＬｉＤＡＲを追加した例）
３．変形例
４．その他
＜＜１．第１の実施の形態＞＞
まず、図１乃至図６を参照して、本技術の第１の実施の形態について説明する。
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両１０を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜データ取得部１０２及び車外情報検出部１４１の第１の実施の形態＞
図２は、車両制御システム１００のデータ取得部１０２及び車外情報検出部１４１の第１の実施の形態であるデータ取得部１０２Ａ及び車外情報検出部１４１Ａの構成例の一部を示している。
データ取得部１０２Ａは、カメラ２０１及びミリ波レーダ２０２を備える。車外情報検出部１４１Ａは、情報処理部２１１を備える。情報処理部２１１は、信号処理部２２１、物体検知部２２２、及び、追跡処理部２２３を備える。信号処理部２２１は、信号処理部２３１及び信号処理部２３２を備える。物体検知部２２２は、物体検知部２４１及び物体検知部２４２を備える。追跡処理部２２３は、追跡部２５１及び検知精度制御部２５２を備える。
カメラ２０１は、例えば、非常に高精細な（例えば、画素数が１０メガピクセルの）カメラにより構成される。カメラ２０１は、例えば、車両１０の前方を撮影する。カメラ２０１は、撮影により得られた画像（以下、撮影画像と称する）の画素を間引くことにより、解像度を下げた低解像度画像を生成する。また、カメラ２０１は、車外情報検出部１４１Ａの検知精度制御部２５２により設定された高精細読み出し範囲内の画像を撮影画像から切出すことにより、クロップ画像を生成する。カメラ２０１は、低解像度画像及びクロップ画像を信号処理部２３１に供給する。
ミリ波レーダ２０２は、車両１０の前方のセンシングを行い、カメラ２０１とセンシング範囲の少なくとも一部が重なる。例えば、ミリ波レーダ２０２は、ミリ波からなる送信信号を車両１０の前方に送信し、車両１０の前方の物体により反射された信号である受信信号を受信アンテナにより受信する。受信アンテナは、例えば、車両１０の横方向（幅方向）に所定の間隔で複数設けられる。また、受信アンテナを高さ方向にも複数設けるようにしてもよい。ミリ波レーダ２０２は、各受信アンテナにより受信した受信信号の強度を時系列に示すデータ（以下、ミリ波データと称する）を信号処理部２３２に供給する。
信号処理部２３１は、低解像度画像及びクロップ画像に対して所定の信号処理を行う。例えば、信号処理部２３１は、低解像度画像及びクロップ画像のＲＧＢ現像を行う。すなわち、信号処理部２３１は、低解像度画像及びクロップ画像の各画素のＲ成分、Ｇ成分、及び、Ｂ成分の補間処理を行う。信号処理部２３１は、信号処理後の低解像度画像及びクロップ画像を物体検知部２４１に供給する。
信号処理部２３２は、ミリ波データに対して所定の信号処理を行うことにより、車両１０の前方の物体（反射体）の距離、方向、及び、速度を推定する。信号処理部２３２は、車両１０の前方の各物体の距離、方向、及び、速度、並びに、各物体により反射された受信信号の強度を示すレーダマップを生成し、物体検知部２４２に供給する。
物体検知部２４１は、低解像度画像及びクロップ画像に基づいて、車両１０の前方の物体の検知処理を行う。物体検知部２４１は、物体の検知結果を示すデータを追跡処理部２２３に供給する。
物体検知部２４２は、レーダマップに基づいて、車両１０の前方の物体の検知処理を行う。物体検知部２４２は、物体の検知結果を示すデータを追跡処理部２２３に供給する。
追跡部２５１は、例えば、カルマンフィルタ、パーティクルフィルタ等の、観測値に基づいて状態の推定及び予測を行うフィルタが用いて、車両１０の前方の対象物の追跡処理を行う。例えば、追跡部２５１は、物体検知部２４１による物体の検知結果、物体検知部２４２による物体の検知結果、並びに、車両１０の前方の対象物の状態の予測結果に基づいて、車両１０の前方の対象物の現在の状態を推定する。また、追跡部２５１は、物体検知部２４１による物体の検知結果、物体検知部２４２による物体の検知結果、並びに、追跡部２５１による車両１０の前方の対象物の現在の状態の推定結果に基づいて、車両１０の前方の対象物の未来の状態を予測する。
ここで、対象物とは、車両１０の前方の追跡対象となる物体であり、任意の物体を対象物とすることが可能である。ただし、ミリ波レーダ２０２の送信信号の反射率が高い部分を含む物体を対象物とすることが望ましい。以下、対象物が車両である場合を適宜例に挙げながら説明を行う。
また、対象物の状態として、例えば、対象物の位置及び速度等の推定及び予測が行われる。
追跡部２５１は、対象物の状態の推定結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
検知精度制御部２５２は、車両１０の前方の対象物の状態の予測結果に基づいて、物体検知の精度を制御する。具体的には、検知精度制御部２５２は、対象物の予測位置に基づいて、高精細読み出し範囲を設定する。検知精度制御部２５２は、高精細読み出し範囲を示す読み出し制御信号を生成し、カメラ２０１に供給する。また、検知精度制御部２５２は、対象物の予測位置及び予測速度に基づいて、高精細処理範囲を設定する。検知精度制御部２５２は、高精細処理範囲を示す信号処理制御信号を生成し、信号処理部２３２に供給する。
＜カメラ２０１の構成例＞
図３は、カメラ２０１の構成例を示している。カメラ２０１は、レンズ３１１、イメージセンサ３１２、バッファ３１３、間引き部３１４、制御Ｉ／Ｆ（インタフェース）部３１５、切出し部３１６、及び、出力Ｉ／Ｆ（インタフェース）部３１７を備える。
レンズ３１１は、被写体の像をイメージセンサ３１２の受光面に結像させる。
イメージセンサ３１２は、高精細な（例えば、画素数が１０メガピクセルの）イメージセンサにより構成される。イメージセンサ３１２には、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の任意の種類のイメージセンサを用いることができる。イメージセンサ３１２は、被写体の像を撮影し、得られた撮影画像をバッファ３１３に一時的に記憶させる。
間引き部３１４は、バッファ３１３に記憶されている撮影画像の画素を間引くことにより、解像度を下げた低解像画像を生成する。間引き部３１４は、低解像度画像を出力Ｉ／Ｆ部３１７に供給する。
制御Ｉ／Ｆ部３１５は、読み出し制御信号を車外情報検出部１４１Ａの検知精度制御部２５２から受信し、切出し部３１６に供給する。
切出し部３１６は、読み出し制御信号に示される高精細読み出し範囲内の画像をバッファ３１３に記憶されている撮影画像から切出すことにより、クロップ画像を生成する。切出し部３１６は、クロップ画像を出力Ｉ／Ｆ部３１７に供給する。
出力Ｉ／Ｆ部３１７は、低解像度画像及びクロップ画像を信号処理部２３１に供給する。
＜対象物追跡処理＞
次に、図４のフローチャートを参照して、車両１０により実行される対象物追跡処理について説明する。
この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、車両１０の運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ１において、車両１０は、撮影画像に基づく物体検知処理を行う。これにより、車両１０の前方を撮影した撮影画像内の物体が検知され、撮影画像内の物体の領域及び種類を示すデータが、物体検知部２４１から追跡処理部４２３に供給される。
なお、この処理の詳細は後述する。
ステップＳ２において、車両１０は、ミリ波データに基づく物体検知処理を行う。これにより、車両１０の前方の物体が検知され、検知された物体の位置及び速度を示すデータが、物体検知部２４２から追跡処理部４２３に供給される。
なお、この処理の詳細については後述する。
また、撮影画像に基づく物体検知処理とミリ波データに基づく物体検知処理とは、必ずしもこの順番で行う必要はなく、例えば、順番が入れ替わってもよいし、並行して行われてもよい。
ステップＳ３において、追跡部２５１は、対象物の追跡処理を行う。具体的には、追跡部２５１は、物体検知部２４１による撮影画像内の物体の領域及び種類の検知結果、物体検知部２４２による物体の位置及び速度の検知結果、並びに、１つ前（時刻ｔ－１）のステップＳ４の処理で予測された現在（時刻ｔ）の対象物の状態の予測結果に基づいて、現在（時刻ｔ）の対象物の状態を推定する。例えば、追跡部２５１は、物体検知部２４１による撮影画像内の物体の領域及び種類の検知結果、及び、物体検知部２４２による物体の位置及び速度の検知結果に基づいて、現在の対象物の状態の予測結果を補正することにより、現在の対象物の状態を推定する。これにより、現在の対象物の位置及び速度が推定される。
なお、対象物の位置は、例えば、車両１０からの距離、及び、車両１０の進行方向（正面方向）に対する方向（角度）により表される。対象物の速度は、例えば、車両１０に対する相対速度により表される。
追跡部２５１は、現在の対象物の状態の推定結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、対象物の状態の推定結果等に基づいて、車両１０の位置及び姿勢等の推定処理を行う。
マップ解析部１５１は、対象物の状態の推定結果等に基づいて、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。
交通ルール認識部１５２は、対象物の状態の推定結果等に基づいて、車両１０の周囲の交通ルールの認識処理を行う。
状況認識部１５３は、対象物の状態の推定結果等に基づいて、車両１０の周囲の状況の認識処理を行う。
緊急事態回避部１７１は、対象物の状態の推定結果等に基づいて、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。
ステップＳ４において、追跡部２５１は、対象物の状態を予測する。例えば、追跡部２５１は、現在（時刻ｔ）の対象物の状態の推定結果に基づいて、次（時刻ｔ＋１）の対象物の状態を予測する。これにより、次の対象物の位置（距離及び方向（角度））及び速度（相対速度）が予測される。
ステップＳ５において、検知精度制御部２５２は、対象物の予測状態に基づいて、物体検知の精度を制御する。
具体的には、検知精度制御部２５２は、対象物の予測位置に基づいて、高精細読み出し範囲を設定する。例えば、検知精度制御部２５２は、撮影画像において、予測位置が車両１０から所定の距離以上離れている対象物の予測位置を中心とする矩形の領域を高精細読み出し範囲に設定する。高精細読み出し範囲の矩形の大きさ及び形は、固定にしてもよいし、対象物の大きさや形に合わせて変更するようにしてもよい。検知精度制御部２５２は、高精細読み出し範囲を示す読み出し制御信号を、カメラ２０１の制御Ｉ／Ｆ部３１５を介して、切出し部３１６に供給する。
また、検知精度制御部２５２は、対象物の予測位置及び予測速度に基づいて、高精細処理範囲を設定する。例えば、検知精度制御部２５２は、追跡中の対象物までの予測される距離、及び、当該対象物の予測速度を中心とする距離及び速度の範囲を高精細処理範囲に設定する。検知精度制御部２５２は、高精細処理範囲を示す信号処理制御信号を信号処理部２３２に供給する。
その後、処理はステップＳ１に戻り、ステップＳ１乃至ステップ５の処理が繰り返し実行される。
＜撮影画像に基づく物体検知処理の詳細＞
次に、図５のフローチャートを参照して、図４のステップＳ１の撮影画像に基づく物体検知処理の詳細について説明する。
ステップＳ３１において、カメラ２０１は、車両１０の前方を撮影する。具体的には、イメージセンサ３１２は、レンズ３１１を介して、車両１０の前方を撮影し、得られた撮影画像をバッファ３１３に記憶させる。
ステップＳ３２において、間引き部３１４は、撮影画像の間引き処理を行う。具体的には、間引き部３１４は、最新のフレームの撮影画像をバッファ３１３から読みだす。間引き部３１４は、撮影画像のデータサイズを小さくするために、例えば、撮影画像の所定の位置の画素を間引く。間引き部３１４は、間引き処理を行った後の低解像度画像を、出力Ｉ／Ｆ部３１７を介して、信号処理部２３１に供給する。
ステップＳ３３において、切出し部３１６は、撮影画像の切出し処理を行う。具体的には、切出し部３１６は、最新のフレームの撮影画像をバッファ３１３から読みだす。切出し部３１６は、１つ前のステップＳ５の処理で検知精度制御部２５２により設定された高精細読み出し範囲の画像を撮影画像から切出すことにより、クロップ画像を生成する。切出し部３１６は、クロップ画像を、出力Ｉ／Ｆ部３１７を介して信号処理部２３１に供給する。
ステップＳ３４において、信号処理部２３１は、撮影画像に対して信号処理を行う。具体的には、信号処理部２３１は、低解像撮影画像及びクロップ画像に対して、ＲＧＢ現像処理等の所定の信号処理を行う。信号処理部２３１は、信号処理後の低解像撮影画像及びクロップ画像を物体検知部２４１に供給する。
ステップＳ３５において、物体検知部２４１は、物体検知を行う。すなわち、物体検知部２４１は、低解像撮影画像内及びクロップ画像内の物体の検知処理を行う。
低解像度画像内の物体の検知処理を行うことにより、クロップ画像より広い範囲、具体的には、カメラ２０１の撮影範囲（画角）内全体の物体が検知される。ただし、低解像度画像は、クロップ画像より解像度が低いため、検知精度は劣る。
これに対して、クロップ画像内の物体の検知処理を行うことにより、高精細読み出し範囲内において、他の範囲より物体検知の精度が高くなり、物体を高精度に検知することができる。例えば、遠方の車両等の画像内においてサイズが小さい物体が正確に検知される。
物体検知部２４１は、撮影画像（低解像度画像及びクロップ画像）内の物体が存在する領域及び物体の種類を示すデータを追跡処理部２２３に供給する。
その後、撮影画像に基づく物体検知処理は終了する。
＜ミリ波データに基づく物体検知処理の詳細＞
次に、図６のフローチャートを参照して、図４のステップＳ２のミリ波データに基づく物体検知処理の詳細について説明する。
ステップＳ６１において、ミリ波レーダ２０２は、車両１０の前方のセンシングを行う。具体的には、ミリ波レーダ２０２は、車両１０の前方に送信信号を送信し、車両１０の前方の物体により反射された信号である受信信号を複数の受信アンテナにより受信する。ミリ波レーダ２０２は、各受信アンテナにより受信した受信信号の強度を時系列に示すミリ波データを信号処理部２３２に供給する。
ステップＳ６２において、信号処理部２３２は、ミリ波データに基づいて、物体の位置及び速度を推定する。具体的には、信号処理部２３２は、各受信アンテナによるミリ波データに対して所定の信号処理を行うことにより、送信信号を反射した物体の位置及び速度を推定する。物体の位置は、例えば、車両１０からの距離、及び、ミリ波レーダ２０２の光軸方向（車両１０の進行方向）に対する方向（角度）により表される。物体の速度は、例えば、車両１０に対する相対速度により表される。
ここで、物体の距離及び速度については、フーリエ変換等を用いて、比較的少ない演算量で推定することができる。一方、物体の方向、すなわち、受信信号が到来した方向は、Ｃａｐｏｎ法、Ｅｓｐｒｉ法、ディープラーニング等を用いて推定されるが、その演算量は非常に大きくなる。
そこで、例えば、信号処理部２３２は、まず、車両１０の前方の物体の距離及び速度を推定する。次に、信号処理部２３２は、車両１０の前方の物体の方向を推定する。ここで、信号処理部２３２は、物体の距離及び速度に基づいて、信号処理の精度を変える。具体的には、信号処理部２３２は、物体の距離及び速度に基づいて、物体の方向を推定する精度を変える。例えば、信号処理部２３２は、１つ前のステップＳ５の処理で設定された高精細処理範囲以外の距離及び速度の範囲において、高精度処理範囲より角度解像度（分解可能数、ｂｉｎ）を低くして、物体の方向を推定する。
これにより、演算量を削減することができる。また、高精細処理範囲、すなわち、対象物が存在すると予測される範囲については、他の範囲より角度解像度が高く設定され、物体の方向を高精度に推定することができる。
信号処理部２３２は、車両１０の前方の各物体の距離、方向、及び、速度、並びに、各物体により反射された受信信号の強度を示すレーダマップを生成し、物体検知部２４２に供給する。
ステップＳ６３において、物体検知部２４２は、物体検知を行う。具体的には、物体検知部２４２は、レーダマップに基づいて、車両１０の前方の各物体の位置及び速度を検知する。物体の位置は、例えば、車両１０からの距離、及び、車両１０の進行方向（正面方向）に対する方向（角度）により表される。物体の速度は、例えば、車両１０に対する相対速度により表される。物体検知部２４２は、各物体の位置及び速度の検知結果を示すデータを追跡処理部２２３に供給する。
その後、ミリ波データに基づく物体検知処理は終了する。
以上のようにして、車両制御システム１００の限られたリソースを効率よく利用して、対象物を高精度に追跡することが可能になる。
例えば、カメラ２０１とミリ波レーダ２０２の物体検知の結果をフュージョンして対象物の追跡を行うことにより、一方の検知条件が良くない状況でも、他方でカバーすることができ、追跡精度が向上する。
また、カメラ２０１で低解像画像とクロップ画像を生成し、後段に送信することにより、撮影画像をそのまま後段に送信する場合と比較して、データの伝送量が削減される。例えば、イメージセンサ３１２が１０メガピクセルかつ３０ｆｐｓの場合、撮影画像をそのまま後段に送信するには、通信ネットワーク１２１等の伝送路を３．６Gｐｂｐｓ以上の高速なものにする必要がある。これに対して、カメラ２０１から低解像度画像及びクロップ画像を後段に送信することにより、伝送路の転送速度を下げることができる。
また、撮影画像の代わりに低解像度画像及びクロップ画像を用いることにより、信号処理部２３１及び物体検知部２４１の処理能力も下げることができる。一方、低解像度画像では検知が困難な対象物（例えば、遠方の車両等）も、高解像度のクロップ画像を用いて検知することができるため、撮影画像の解像度を下げても、対象物を高精度に追跡することができる。
さらに、転送速度が同じ伝送路、並びに、処理能力が同じ信号処理部２３１及び物体検知部２４１に対して、従来より高精細なカメラ２０１を搭載することが可能になる。これにより、広角用のカメラと望遠用のカメラを個別に設けなくても、例えば、レンズ３１１に広角レンズを用いることにより、両者の役割を１台のカメラ２０１で担うことができる。その結果、１台のカメラ２０１で、対象物をより広範囲かつ遠方まで追跡することが可能になる。これにより、車両制御システム１００のコスト削減や、設計及びデザインの向上等が実現される。
＜＜２．第２の実施の形態＞＞
次に、図７を参照して、本技術の第２の実施の形態について説明する。
＜データ取得部１０２及び車外情報検出部１４１の第２の実施の形態＞
図７は、車両制御システム１００のデータ取得部１０２及び車外情報検出部１４１の第２の実施の形態であるデータ取得部１０２Ｂ及び車外情報検出部１４１Ｂの構成例の一部を示している。なお、図中、図２と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
データ取得部１０２Ｂは、図２のデータ取得部１０２Ａと比較して、カメラ２０１及びミリ波レーダ２０２を備える点で一致し、ＬｉＤＡＲ４０１を備える点が異なる。
車外情報検出部１４１Ｂは、情報処理部４１１を備える。情報処理部４１１は、信号処理部４２１、物体検知部４２２、及び、追跡処理部４２３を備える。信号処理部４２１は、図２の信号処理部２２１と比較して、信号処理部２３１及び信号処理部２３２を備える点で一致し、信号処理部４３１を備える点が異なる。物体検知部４２２は、図２の物体検知部２２２と比較して、物体検知部２４１及び物体検知部２４２を備える点で一致し、物体検知部４４１を備える点が異なる。追跡処理部４２３は、追跡部４５１及び検知精度制御部４５２を備える。
ＬｉＤＡＲ４０１は、例えば、フラッシュライダにより構成される。例えば、ＬｉＤＡＲ４０１は、車両１０の前方に所定の波長のレーザ光（例えば、赤外光）を横方向及び高さ方向の２次元に放射状に照射し、２次元に受光素子が配列されたセンサにより、その反射光を受光する。ＬｉＤＡＲは、各受光素子により受光された反射光の強度を示す受光データを信号処理部４３１に供給する。
信号処理部４３１は、受光データに対して所定の信号処理を行うことにより、車両１０の前方の物体の形状や位置を示す３次元の点群データ（ポイントクラウド）を生成する。信号処理部４３１は、点群データを物体検知部４４１に供給する。
物体検知部４４１は、点群データに基づいて、車両１０の前方の物体の検知処理を行う。例えば、物体検知部４４１は、点群データに基づいて、車両１０の前方の各物体の位置（距離及び方向）を検知する。物体検知部４４１は、各物体の位置の検知結果を示すデータを追跡処理部４２３に供給する。
追跡部４５１は、例えば、追跡部２５１と同様に、カルマンフィルタ、パーティクルフィルタ等の、観測値に基づいて状態の推定及び予測を行うフィルタが用いて、車両１０の前方の対象物の追跡処理を行う。例えば、追跡部４５１は、物体検知部２４１による物体の検知結果、物体検知部２４２による物体の検知結果、物体検知部４４１による物体の検知結果、並びに、車両１０の前方の対象物の状態の予測結果に基づいて、車両１０の前方の対象物の現在の状態を推定する。また、追跡部２５１は、物体検知部２４１による物体の検知結果、物体検知部２４２による物体の検知結果、物体検知部４４１による物体の検知結果、並びに、追跡部２５１による車両１０の前方の対象物の現在の状態の推定結果に基づいて、車両１０の前方の対象物の未来の状態を予測する。
追跡部４５１は、対象物の状態の推定結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
検知精度制御部４５２は、車両１０の前方の対象物の状態の予測結果に基づいて、物体検知の精度を制御する。具体的には、検知精度制御部４５２は、図２の検知精度制御部２５２と同様に、対象物の予測位置に基づいて、高精細読み出し範囲を設定する。検知精度制御部４５２は、高精細読み出し範囲を示す読み出し制御信号を生成し、カメラ２０１に供給する。また、検知精度制御部４５２は、検知精度制御部２５２と同様に、対象物の予測位置及び予測速度に基づいて、第１の高精細処理範囲を設定する。検知精度制御部４５２は、第１の高精細処理範囲を示す第１の信号処理制御信号を生成し、信号処理部２３２に供給する。
さらに、検知精度制御部４５２は、対象物の予測位置に基づいて、第２の高精細処理範囲を設定する。例えば、検知精度制御部４５２は、予測位置が車両１０から所定の距離以上離れている対象物の予測位置を中心とする所定の範囲を第２の高精細処理範囲に設定する。検知精度制御部４５２は、第２の高精細処理範囲を示す第２の信号処理制御信号を生成し、信号処理部４３１に供給する。
以上のように、ＬｉＤＡＲ４０１を追加することにより、さらに高精度に対象物を追跡することができる。
一方、点群データの生成に要する演算量は大きい。これに対して、信号処理部４３１は、第２の高精細処理範囲内の点群データの精度を上げ、その他の範囲の点群データの精度を下げることにより、点群データの生成に必要な演算量を削減する。一方、第２の高精細処理範囲内の点群データの精度を上げることにより、演算量を削減しても、対象物の検知精度が低下することが抑制される。
＜＜３．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
以上の説明では、車両１０の前方の対象物を追跡する例を示したが、本技術は、車両１０の他の方向の対象物を追跡する場合にも適用することができる。
さらに、本技術は、車両以外の移動体の周囲の対象物を追跡する場合にも適用することが可能である。例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体が想定される。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。
また、本技術は、例えば、監視システム等、固定された場所で対象物の追跡を行う場合にも適用することができる。
さらに、本技術は、カメラ２０１（イメージセンサ２０１Ａ）とＬｉＤＡＲ４０１の検知結果をフュージョンする場合、又は、ミリ波レーダ２０２とＬｉＤＡＲ４０１の検知結果をフュージョンする場合にも適用することができる。
また、ＬｉＤＡＲ４０１に用いるフラッシュライダは、例えば、レーザ光を横方向（水平方向）に放射状に照射し、高さ方向に走査する方式のものでもよい。
さらに、ＬｉＤＡＲ４０１には、フラッシュライダではなく、レーザパルスを走査するタイプのＬｉＤＡＲを用いることも可能である。
また、本技術は、ミリ波レーダ及びＬｉＤＡＲ以外の物体を検出するセンサを用いる場合にも適用することができる。
さらに、以上の説明では、カメラ２０１が画素を間引くことにより低解像度画像を生成する例を示したが、例えば、フィルタリング処理等により撮影画像の解像度を下げることにより、低解像度画像を生成するようにしてもよい。
＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
第１のセンサからの第１のセンサデータに基づく物体検知を行う第１の物体検知部と、
前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく物体検知を行う第２の物体検知部と、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行う追跡部と、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて予測される前記対象物の状態に基づいて、物体検知の精度を他の範囲より高くする高精細範囲を設定する検知精度制御部と
を備える情報処理装置。
（２）
前記第１のセンサ及び前記第２のセンサのうちの１つは、ミリ波レーダであり、
前記ミリ波レーダから出力されるデータの信号処理を行うとともに、前記高精細範囲において他の範囲より信号処理の精度を高くする信号処理部を
さらに備える前記（１）に記載の情報処理装置。
（３）
前記信号処理部は、前記ミリ波レーダから出力されるデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定するとともに、前記高精細範囲において他の範囲より物体の方向を推定する精度を高くする
前記（２）に記載の情報処理装置。
（４）
前記信号処理部は、前記高精細範囲において他の範囲より角度解像度を高くして物体の方向を推定する
前記（３）に記載の情報処理装置。
（５）
前記高精細範囲は、前記信号処理部が物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である
前記（３）又は（４）に記載の情報処理装置。
（６）
前記第１のセンサ及び前記第２のセンサのうちの１つは、イメージセンサであり、
前記高精細範囲は、前記イメージセンサを備えるカメラから出力される画像において、解像度を他の範囲より高くする範囲である
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記検知精度制御部は、前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて予測される前記対象物の位置に基づいて、前記高精細範囲を設定する
前記（６）に記載の情報処理装置。
（８）
前記検知精度制御部は、所定の距離以上離れている前記対象物の予測される位置に基づいて、前記高精細範囲を設定する
前記（７）に記載の情報処理装置。
（９）
前記カメラは、前記イメージセンサにより得られる第１の画像の解像度を下げた第２の画像、及び、前記第１の画像から前記高精細範囲内の画像を切出した第３の画像を出力し、
前記第１の物体検知部及び前記第２の物体検知部のうちの１つは、前記第２の画像及び前記第３の画像に基づいて物体検知を行う
前記（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記第１のセンサ及び前記第２のセンサのうちの１つは、フラッシュライダであり、
前記フラッシュライダから出力されるデータに基づいて、点群データを生成するとともに、前記高精細範囲において他の範囲より前記点群データの精度を高くする信号処理部を
さらに備える前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記検知精度制御部は、前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて予測される前記対象物の位置に基づいて、前記高精細範囲を設定する
前記（１０）に記載の情報処理装置。
（１２）
前記第１のセンサ及び前記第２のセンサは、イメージセンサ、ミリ波レーダ、及び、フラッシュライダのうちの２つである
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記追跡部は、前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて、前記対象物の状態の推定及び予測を行う
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記追跡部は、カルマンフィルタ又はパーティクルフィルタを用いる
前記（１３）に記載の情報処理装置。
（１５）
前記第１の物体検知部及び前記第２の物体検知部は、移動体の周囲の物体検知を行い、
前記追跡部は、前記移動体の周囲の前記対象物の状態の予測を行う
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
情報処理装置が、
第１のセンサからの第１のセンサデータに基づく物体検知を行い、
前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく物体検知を行い、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行い、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて予測される前記対象物の状態に基づいて、物体検知の精度を他の範囲より高くする範囲である高精細範囲を設定する
情報処理方法。
（１７）
第１のセンサからの第１のセンサデータに基づく物体検知を行い、
前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく物体検知を行い、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行い、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて予測される前記対象物の状態に基づいて、物体検知の精度を他の範囲より高くする範囲である高精細範囲を設定する
処理をコンピュータに実行させるためのプログラム。
（１８）
第１のセンサからの第１のセンサデータに基づいて、移動体の周囲の物体検知を行う第１の物体検知部と、
前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づいて、前記移動体の周囲の物体検知を行う第２の物体検知部と、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて、追跡対象となる対象物の状態の推定及び予測を行う追跡部と、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて予測される前記対象物の状態に基づいて、物体検知の精度を他の範囲より高くする高精細範囲を設定する検知精度制御部と、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて推定される前記対象物の状態に基づいて、前記移動体の動作の制御を行う動作制御部と
を備える移動体制御装置。
（１９）
第１のセンサと、
前記第１のセンサと種類が異なる第２のセンサと、
前記第１のセンサからの第１のセンサデータに基づく物体検知を行う第１の物体検知部と、
前記第２のセンサからの第２のセンサデータに基づく物体検知を行う第２の物体検知部と、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて、追跡対象となる対象物の状態の推定及び予測を行う追跡部と、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて予測される前記対象物の状態に基づいて、物体検知の精度を他の範囲より高くする高精細範囲を設定する検知精度制御部と、
前記第１のセンサデータに基づく物体検知の結果、及び、前記第２のセンサデータに基づく物体検知の結果に基づいて推定される前記対象物の状態に基づいて、動作の制御を行う動作制御部と
を備える移動体。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 車両， １００ 車両制御システム， １０２，１０２Ａ，１０２Ｂ データ取得部， １０７ 駆動系制御部， １０８ 駆動系システム， １３５ 動作制御部， １４１，１４１Ａ，１４１Ｂ 車外情報検出部， ２０１ カメラ， ２０２ ミリ波レーダ， ２１１ 情報処理部， ２２１ 信号処理部， ２２２ 物体検知部， ２２３ 追跡処理部， ２３１，２３２ 信号処理部， ２４１，２４２ 物体検知部， ２５１ 追跡部， ２５２ 検知精度制御部， ３１２ イメージセンサ， ３１４ 間引き部， ３１６ 切出し部， ４０１ ＬｉＤＡＲ， ４１１ 情報処理部， ４２１ 信号処理部， ４２２ 物体検知部， ４２３ 追跡処理部， ４３１ 信号処理部， ４４１ 物体検知部， ４５１ 追跡部， ４５２ 検知精度制御部

Claims (15)

  1. ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする第１の高精細範囲において他の範囲より前記信号処理の精度を高くする信号処理部と、
    前記信号処理の結果に基づく第１の物体検知を行う第１の物体検知部と、
    前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく第２の物体検知を行う第２の物体検知部と、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行う追跡部と、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記第１の高精細範囲を設定する検知精度制御部と
    を備え、
    前記第１の高精細範囲は、前記信号処理部が物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である
    情報処理装置。
  2. 前記信号処理部は、前記第１の高精細範囲において他の範囲より角度解像度を高くして物体の方向を推定する
    請求項１に記載の情報処理装置。
  3. 前記第２のセンサは、イメージセンサであり、
    前記検知精度制御部は、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記イメージセンサを備えるカメラから出力される画像において、解像度を他の範囲より高くする範囲である第２の高精細範囲を設定する
    請求項１に記載の情報処理装置。
  4. 前記検知精度制御部は、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の位置に基づいて、前記第２の高精細範囲を設定する
    請求項３に記載の情報処理装置。
  5. 前記検知精度制御部は、所定の距離以上離れている前記対象物の予測される位置に基づいて、前記第２の高精細範囲を設定する
    請求項４に記載の情報処理装置。
  6. 前記カメラは、前記イメージセンサにより得られる第１の画像の解像度を下げた第２の画像、及び、前記第１の画像から前記第２の高精細範囲内の画像を切出した第３の画像を出力し、
    前記第２の物体検知部は、前記第２の画像及び前記第３の画像に基づいて前記第２の物体検知を行う
    請求項３に記載の情報処理装置。
  7. 前記第２のセンサは、イメージセンサ又はフラッシュライダである
    請求項１に記載の情報処理装置。
  8. 前記追跡部は、前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、前記対象物の状態の推定及び予測を行う
    請求項１に記載の情報処理装置。
  9. 前記追跡部は、カルマンフィルタ又はパーティクルフィルタを用いる
    請求項８に記載の情報処理装置。
  10. 前記第１の物体検知部及び前記第２の物体検知部は、移動体の周囲の物体検知を行い、
    前記追跡部は、前記移動体の周囲の前記対象物の状態の予測を行う
    請求項１に記載の情報処理装置。
  11. 前記信号処理部は、物体までの距離、物体の速度、物体の方向、及び、物体により反射された受信信号の強度を示すレーダマップを生成し、
    前記第１の物体検知部は、前記レーダマップに基づいて、前記第１の物体検知を行う
    請求項１に記載の情報処理装置。
  12. 情報処理装置が、
    ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度を高くし、
    前記信号処理の結果に基づく第１の物体検知を行い、
    前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく第２の物体検知を行い、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行い、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲を設定し、
    前記高精細範囲は、物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である
    情報処理方法。
  13. ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度を高くし、
    前記信号処理の結果に基づく第１の物体検知を行い、
    前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づく第２の物体検知を行い、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の予測を行い、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲を設定し、
    前記高精細範囲は、物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である
    処理をコンピュータに実行させるためのプログラム。
  14. ミリ波レーダである第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度を高くする信号処理部と、
    前記信号処理の結果に基づいて、移動体の周囲の第１の物体検知を行う第１の物体検知部と、
    前記第１のセンサと種類が異なる第２のセンサからの第２のセンサデータに基づいて、前記移動体の周囲の第２の物体検知を行う第２の物体検知部と、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の推定及び予測を行う追跡部と、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲を設定する検知精度制御部と、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて推定される前記対象物の状態に基づいて、前記移動体の動作の制御を行う動作制御部と
    を備え、
    前記高精細範囲は、前記信号処理部が物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である
    移動体制御装置。
  15. ミリ波レーダである第１のセンサと、
    前記第１のセンサと種類が異なる第２のセンサと、
    前記第１のセンサからの第１のセンサデータに基づいて、物体までの距離、物体の速度、及び、物体の方向を推定する処理を含む信号処理を行うとともに、物体検知の精度を他の範囲より高くする高精細範囲において他の範囲より前記信号処理の精度を高くする信号処理部と、
    前記信号処理の結果に基づく第１の物体検知を行う第１の物体検知部と、
    前記第２のセンサからの第２のセンサデータに基づく第２の物体検知を行う第２の物体検知部と、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて、追跡対象となる対象物の状態の推定及び予測を行う追跡部と、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて予測される前記対象物の状態に基づいて、前記高精細範囲を設定する検知精度制御部と、
    前記第１の物体検知の結果、及び、前記第２の物体検知の結果に基づいて推定される前記対象物の状態に基づいて、動作の制御を行う動作制御部と
    を備え、
    前記高精細範囲は、前記信号処理部が物体の方向を推定する精度を他の範囲より高くする距離及び速度の範囲である
    移動体。
JP2020559923A 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 Active JP7483627B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018230175 2018-12-07
JP2018230175 2018-12-07
PCT/JP2019/045799 WO2020116204A1 (ja) 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Publications (2)

Publication Number Publication Date
JPWO2020116204A1 JPWO2020116204A1 (ja) 2021-10-21
JP7483627B2 true JP7483627B2 (ja) 2024-05-15

Family

ID=70975040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559923A Active JP7483627B2 (ja) 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Country Status (4)

Country Link
US (1) US11987271B2 (ja)
JP (1) JP7483627B2 (ja)
CN (1) CN113167883A (ja)
WO (1) WO2020116204A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050134440A1 (en) 1997-10-22 2005-06-23 Intelligent Technolgies Int'l, Inc. Method and system for detecting objects external to a vehicle
JP2006151125A (ja) 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2006234513A (ja) 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2008172441A (ja) 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
JP2009217680A (ja) 2008-03-12 2009-09-24 Omron Corp 横断物体検知装置および横断物体検知方法、並びにプログラム
JP2009229374A (ja) 2008-03-25 2009-10-08 Fujitsu Ten Ltd レーダ装置、及び方位角検出方法
JP2014142202A (ja) 2013-01-22 2014-08-07 Denso Corp 車載物標検出装置
JP6124340B2 (ja) 2013-08-02 2017-05-10 エステー株式会社 アレルゲン活性低減化剤及びこれを利用したアレルゲン活性低減化方法
US20180095175A1 (en) 2016-08-10 2018-04-05 James Thomas O'Keeffe Lidar with enhanced utilization of a remotely located mirror

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123303B2 (ja) 1992-07-21 2001-01-09 日産自動車株式会社 車両用画像処理装置
JPH11153664A (ja) 1997-09-30 1999-06-08 Sumitomo Electric Ind Ltd 繰り返しパルス光を利用した物体検知装置
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
JP4823282B2 (ja) 2008-09-01 2011-11-24 富士通テン株式会社 周辺監視センサ
JP7003660B2 (ja) 2015-08-19 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2017057058A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10576972B2 (en) 2016-01-22 2020-03-03 Nissan Motor Co., Ltd. Vehicle driving assist control method and control device
US11255663B2 (en) * 2016-03-04 2022-02-22 May Patents Ltd. Method and apparatus for cooperative usage of multiple distance meters
US10699305B2 (en) * 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10608941B2 (en) * 2017-09-27 2020-03-31 Nio Usa, Inc. Dual-network for fault tolerance

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050134440A1 (en) 1997-10-22 2005-06-23 Intelligent Technolgies Int'l, Inc. Method and system for detecting objects external to a vehicle
JP2006151125A (ja) 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2006234513A (ja) 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2008172441A (ja) 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
JP2009217680A (ja) 2008-03-12 2009-09-24 Omron Corp 横断物体検知装置および横断物体検知方法、並びにプログラム
JP2009229374A (ja) 2008-03-25 2009-10-08 Fujitsu Ten Ltd レーダ装置、及び方位角検出方法
JP2014142202A (ja) 2013-01-22 2014-08-07 Denso Corp 車載物標検出装置
JP6124340B2 (ja) 2013-08-02 2017-05-10 エステー株式会社 アレルゲン活性低減化剤及びこれを利用したアレルゲン活性低減化方法
US20180095175A1 (en) 2016-08-10 2018-04-05 James Thomas O'Keeffe Lidar with enhanced utilization of a remotely located mirror

Also Published As

Publication number Publication date
US20220017117A1 (en) 2022-01-20
CN113167883A (zh) 2021-07-23
JPWO2020116204A1 (ja) 2021-10-21
US11987271B2 (en) 2024-05-21
WO2020116204A1 (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
US11994581B2 (en) Information processing device and information processing method, imaging device, computer program, information processing system, and moving body device
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
US11978261B2 (en) Information processing apparatus and information processing method
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
US20220058428A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
WO2019049828A1 (en) INFORMATION PROCESSING APPARATUS, CLEAN POSITION ESTIMATING METHOD, AND PROGRAM
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US11563905B2 (en) Information processing device, information processing method, and program
US20240056694A1 (en) Imaging device, image processing method, and image processing program
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20210295563A1 (en) Image processing apparatus, image processing method, and program
JP7497298B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
US20220148283A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240501

R150 Certificate of patent or registration of utility model

Ref document number: 7483627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150