JP7740539B2 - 物体検知装置および物体検知方法 - Google Patents

物体検知装置および物体検知方法

Info

Publication number
JP7740539B2
JP7740539B2 JP2024521631A JP2024521631A JP7740539B2 JP 7740539 B2 JP7740539 B2 JP 7740539B2 JP 2024521631 A JP2024521631 A JP 2024521631A JP 2024521631 A JP2024521631 A JP 2024521631A JP 7740539 B2 JP7740539 B2 JP 7740539B2
Authority
JP
Japan
Prior art keywords
point cloud
detection point
door
feature vector
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024521631A
Other languages
English (en)
Other versions
JPWO2023223765A1 (ja
Inventor
秀顕 廣瀬
浩司 長瀬
栄二 伊丹
憲一 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Publication of JPWO2023223765A1 publication Critical patent/JPWO2023223765A1/ja
Application granted granted Critical
Publication of JP7740539B2 publication Critical patent/JP7740539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J5/00—Doors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10—Electronic control
    • E05Y2400/52—Safety arrangements associated with the wing motor
    • E05Y2400/53—Wing impact prevention or reduction
    • E05Y2400/54—Obstruction or resistance detection
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Type of wing
    • E05Y2900/531—Doors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Power-Operated Mechanisms For Wings (AREA)

Description

本発明の実施形態は、物体検知装置および物体検知方法に関する。
従来から、車両（自動車）のドアを、乗員や乗り込もうとする者の操作によって自動的に開閉するオートドアシステムの研究、開発が進められている。オートドアシステムでは、ドアの開動作時に、ドアが障害物（人、他車両など）に衝突しない性能が必要不可欠である。以下では、自動的に開閉するドアを「オートドア」とも称する。また、以下では、スイング式のドアを想定する。
上述の性能を実現するために、例えば、オートドア内部に物体検知センサ（ミリ波レーダなど）を設け、センシングによって得た検知点群に基づいて障害物の位置を推定し、ドアが障害物に衝突しないように制御する手法がある。
この手法によれば、物体検知センサで捉えた検知点群の幾何的情報から、障害物の位置を推定（算出）することができる。これにより、オートドアの開可動角度（開放可能な角度）を算出し、オートドアが障害物に衝突しないように開動作させることは、一応可能である。
特開２０１６－１３４０９０号公報 特開２００３－２７１９７５号公報 特許第６２６１４８９号公報
しかしながら、上述の従来技術では、路面などの周辺環境によっては、不具合を生じることがある。例えば、アスファルト路面などのいくつかの種類の路面では、障害物がない場合でも検知点が多く現れる。これにより、障害物がある場合に検知した位置の誤差が大きくなったり、あるいは、障害物がないのに障害物があると誤判定してしまったりすることがある。
つまり、ノイズをある程度以上含んだ検知点群を用いると、障害物までの距離がまだ大きい状況でドアの開動作を停止してしまったり、あるいは、ドアを開動作できる状況なのに全く開動作させなかったり、といった不具合を起こす場合がある。
そこで、本発明の課題の一つは、路面などの周辺環境によらず、車両の周囲の障害物を高精度に検知することができる物体検知装置および物体検知方法を提供することである。
本発明の実施形態の物体検知装置は、例えば、車両のドアに設置されたセンサから送信された探査波が前記車両の周囲の物体で反射することで発生した反射波の複数の受信結果を取得する取得部と、学習フェーズにおいて、前記取得部によって取得された前記複数の受信結果に基づいて前記物体の位置として検知点群を算出し、前記検知点群の分布形状を示す特徴ベクトルと前記物体が障害物か否かを示す情報との関係性を機械学習することによって物体検知モデルを生成するモデル生成部と、推定フェーズにおいて、前記取得部によって取得された前記複数の受信結果に基づいて、前記物体の位置として検知点群を算出する第１算出部と、前記第１算出部によって算出された前記検知点群に基づいて、前記検知点群の分布形状を示す特徴ベクトルを算出する第２算出部と、前記第２算出部によって算出された前記特徴ベクトルと、前記物体検知モデルと、に基づいて、当該物体が障害物か否かを判別し、判別結果を出力する推定部と、を備える。
この構成により、予め機械学習によって生成した物体検知モデルを用いることで、路面などの周辺環境によらず、車両の周囲の障害物を高精度に検知することができる。
また、前記物体検知装置では、例えば、前記モデル生成部は、前記検知点群を前記センサが設置されたドアを基準とする３次元座標へ座標変換し、前記３次元座標において前記検知点群に基づいて少なくとも一つの関心領域を設定し、設定された前記関心領域における前記検知点群の分布形状を示す特徴ベクトルを算出して入力データとし、前記第２算出部は、前記第１算出部によって算出された前記検知点群を前記３次元座標へ座標変換し、前記３次元座標において前記検知点群に基づいて少なくとも一つの関心領域を設定し、設定された前記関心領域における前記検知点群の分布形状を示す特徴ベクトルを算出する。
この構成により、ドアを基準とする３次元座標で関心領域を設定して検知点群の分布形状を示す特徴ベクトルを算出するというより具体的な処理を実現できる。
また、前記物体検知装置では、例えば、前記ドアは、スイング式のドアであり、前記物体検知装置は、前記ドアを開閉動作させる駆動部を制御する制御部を、さらに備え、前記制御部は、前記推定部によって前記物体が障害物であることを示す情報が出力された場合に、当該障害物の位置情報に基づいて前記ドアの開可動角度を設定し、設定された前記開可動角度まで前記ドアが開動作するように前記駆動部を制御する。
この構成により、設定された開可動角度までドアを開動作させることで、ドアと障害物の衝突を回避するとともに、ドアが不要に手前で開動作を停止する事態も回避できる。
また、前記物体検知装置では、例えば、前記制御部は、前記車両の使用者による前記ドアの自動開動作要求に基づいて、設定された前記開可動角度まで前記ドアが開動作するように前記駆動部を制御する。
この構成により、車両の使用者は、ドアの自動開動作要求に対応する所定の操作を行うことで、ドアを開動作させることができる。
また、本実施形態の物体検知方法は、例えば、車両のドアに設置されたセンサから送信された探査波が前記車両の周囲の物体で反射することで発生した反射波の複数の受信結果を取得する取得ステップと、学習フェーズにおいて、前記取得ステップによって取得された前記複数の受信結果に基づいて前記物体の位置として検知点群を算出し、前記検知点群の分布形状を示す特徴ベクトルと前記物体が障害物か否かを示す情報との関係性を機械学習することによって物体検知モデルを生成するモデル生成ステップと、推定フェーズにおいて、前記取得ステップによって取得された前記複数の受信結果に基づいて、前記物体の位置として検知点群を算出する第１算出ステップと、前記第１算出ステップによって算出された前記検知点群に基づいて、前記検知点群の分布形状を示す特徴ベクトルを算出する第２算出ステップと、前記第２算出ステップによって算出された前記特徴ベクトルと、前記物体検知モデルとに基づいて、当該物体が障害物か否かを判別し、判別結果を出力する推定ステップと、を含む。
この構成により、予め機械学習によって生成した物体検知モデルを用いることで、路面などの周辺環境によらず、車両の周囲の障害物を高精度に検知することができる。
本発明の実施形態の物体検知方法は、例えば、車両のスイング式のドアに設置されたセンサから送信された探査波が前記車両の周囲の物体で反射することで発生した反射波の複数の受信結果を取得する取得ステップと、学習フェーズにおいて、前記取得ステップによって取得された前記複数の受信結果に基づいて前記物体の位置として検知点群を算出し、前記検知点群の分布形状を示す特徴ベクトルと前記物体が障害物か否かを示す情報との関係性を機械学習することによって物体検知モデルを生成するモデル生成ステップと、推定フェーズにおいて、前記取得ステップによって取得された前記複数の受信結果に基づいて、前記物体の位置として検知点群を算出する第１算出ステップと、前記第１算出ステップによって算出された前記検知点群に基づいて、前記検知点群の分布形状を示す特徴ベクトルを算出する第２算出ステップと、前記第２算出ステップによって算出された前記特徴ベクトルと、前記物体検知モデルとに基づいて、当該物体が障害物か否かを判別し、判別結果を出力する推定ステップと、前記推定ステップによって前記物体が障害物であることを示す情報が出力された場合に、当該障害物の位置情報に基づいて前記ドアの開可動角度を設定し、設定された前記開可動角度まで前記ドアが開動作するように、前記ドアを開閉動作させる駆動部を制御する制御ステップと、を含む。
この構成により、予め機械学習によって生成した物体検知モデルを用いることで、路面などの周辺環境によらず、車両の周囲の障害物を高精度に検知することができる。また、設定された開可動角度までドアを開動作させることで、ドアと障害物の衝突を回避するとともに、ドアが不要に手前で開動作を停止する事態も回避できる。
図１は、実施形態のセンサ部が搭載される車両を側方から見た外観図である。 図２は、実施形態のオートドアシステムの機能構成図である。 図３は、実施形態のＤＳＰの機能構成図である。 図４は、実施形態のオートドアシステムによる全体処理を示すフローチャートである。 図５は、図４のステップＳ１３の処理の詳細を示すフローチャートである。 図６は、図４のステップＳ１３の変形例の処理の詳細を示すフローチャートである。 図７は、図５のステップＳ２０２の処理の詳細を示すフローチャートである。 図８は、実施形態において障害物がある場合の検知点群の例を示す図である。 図９は、実施形態において障害物がない場合の検知点群の例を示す図である。 図１０は、実施形態において障害物がある場合の関心領域の設定例を示す図である。 図１１は、実施形態において障害物がない場合の関心領域の設定例を示す図である。 図１２は、実施形態において障害物がある場合に抽出した特徴量の例を示す図である。 図１３は、実施形態において障害物がない場合に抽出した特徴量の例を示す図である。 図１４は、実施形態において作成した特徴ベクトルの例を示す図である。 図１５は、実施形態における２つの特徴ベクトルを比較するためのグラフである。 図１６は、実施形態における複数の機械学習器による物体の有無の判別性能を示す比較表である。 図１７は、図５のステップＳ２０４の処理の詳細を示すフローチャートである。 図１８は、実施形態におけるドア可動角度の計算の説明図である。 図１９は、実施形態における検知点群の分布の統計量に基づく物体種類判別の説明図である。 図２０は、実施形態における検知点群の分布の幾何学的特徴に基づく物体種類判別の説明図である。 図２１は、実施形態における検知点群の分布の反射エネルギー値に基づく物体種類判別の説明図である。 図２２は、実施形態における複数の機械学習器による物体の種類の判別性能を示す比較表である。
以下、本発明の物体検知装置および物体検知方法の実施形態について説明する。以下の実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
なお、以下の実施形態では、機械学習の例として、「教師あり学習（教師データを用いた学習）」を採用した場合について説明する。また、機械学習について、学習の場面を「学習フェーズ」と称し、推定の場面を「推定フェーズ」と称する。
図１は、実施形態のセンサ部３が搭載される車両１を側方から見た外観図である。図２は、実施形態のオートドアシステムＳの機能構成図である。
図１に示すように、車両１のスイング式のドア２１の所定位置にセンサ部３が設置される。センサ部３で用いるミリ波は、金属には反射・吸収されてしまうが、プラスチック樹脂は透過しやすい性質を持っているため、センサ部３はドア２１のパネルの樹脂部分に搭載するのが好適である。なお、図示や説明を簡潔にするために図１では１つのドア２１にしかセンサ部３を設置していないものとしたが、これに限定されず、２つ以上のドアにセンサ部が設置されてもよい。
また、図２に示すように、オートドアシステムＳは、センサ部３と、オートドア部２と、を備える。オートドアシステムＳは、１つのドア２１に対して１組が設けられる。
センサ部３は、ドア２１の自動開動作を妨げる障害物を検知する手段である。センサ部３は、ＤＳＰ３１（Digital Signal Processor）と、ミリ波レーダ３２（センサ）と、を備える。
ミリ波レーダ３２は、周囲にミリ波（周波数３０～３００ＧＨｚ帯の電波）を送信するとともに、反射されてきたミリ波を受信し、両波を混合した中間周波数（ＩＦ：Intermediate Frequency）信号を生成・出力するセンサ部品である。なお、ミリ波レーダ３２による出力情報は、アナログ－デジタル変換回路により、デジタル信号化されるものとする。ミリ波レーダ３２は、近年では小型化、薄型化が進み、車両１のドア２１の内部に埋設することが容易になっている。
ＤＳＰ３１は、ミリ波レーダ３２から出力されたＩＦ信号に基づいて、障害物の位置や速度などを算出する。ＤＳＰ３１は、専門的な信号処理を実行する装置である。ＤＳＰ３１は、一種のコンピュータであるので、算出情報を基に更に特別な信号処理を加えるプログラムを追加し、実行することも可能である。
ここで、図３は、実施形態のＤＳＰ３１の機能構成図である。図３に示すように、ＤＳＰ３１は、処理部５と、記憶部６と、を有する。
記憶部６は、処理部５が実行するプログラムや、プログラムの実行に必要なデータを記憶する。例えば、記憶部６は、処理部５が実行する物体検知プログラムや、その物体検知プログラムの実行に必要な数値データやドア軌跡データなどを記憶する。記憶部６は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などによって実現される。ＲＯＭは、各プログラムやパラメータ等を記憶する。ＲＡＭは、ＣＰＵ（Central Processing Unit）での演算で用いられる各種のデータを一時的に記憶する。
処理部５は、ミリ波レーダ３２から出力された情報に基づいて物体の位置などを算出する。処理部５は、例えば、ＣＰＵの機能として実現される。処理部５は、機能構成として、取得部５１と、モデル生成部５２と、第１算出部５３と、第２算出部５４と、推定部５５と、制御部５６と、を備える。処理部５は、例えば、記憶部６に格納された物体検知プログラムを読み込むことによって、各機能構成として動作する。また、各機能構成の一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）を含む回路等のハードウェアによって実現してもよい。
取得部５１は、各種構成から各種情報を取得する。例えば、取得部５１は、ミリ波レーダ３２から送信されたミリ波（探査波）が車両１の周囲の物体で反射することで発生した反射波の複数の受信結果を、ミリ波レーダ３２から取得する。
学習フェーズにおいて、モデル生成部５２は、取得部５１によって取得された複数の受信結果に基づいて物体の位置として検知点群を算出し、検知点群の分布形状を示す特徴ベクトルと物体が障害物か否かを示す情報の関係性を機械学習することによって物体検知モデルを生成する。その場合、モデル生成部５２は、検知点群をセンサ部３が設置されたドア２１を基準とする３次元座標へ座標変換し、３次元座標において検知点群に基づいて少なくとも一つの関心領域を設定し、設定された関心領域における検知点群の分布形状を示す特徴ベクトルを算出して入力データとする（詳細は後述）。
推定フェーズにおいて、第１算出部５３、第２算出部５４、推定部５５は、以下の処理を行う。
第１算出部５３は、新たに取得部５１によって取得された複数の受信結果に基づいて、物体の位置として検知点群を算出する。
第２算出部５４は、第１算出部５３によって算出された検知点群に基づいて、検知点群の分布形状を示す特徴ベクトルを算出する。その場合、第２算出部は、第１算出部５３によって算出された検知点群を３次元座標へ座標変換し、３次元座標において検知点群に基づいて少なくとも一つの関心領域を設定し、設定された関心領域における検知点群の分布形状を示す特徴ベクトルを算出する（詳細は後述）。
推定部５５は、第２算出部５４によって算出された特徴ベクトルと、物体検知モデルとに基づいて、当該物体が障害物か否かを判別し、判別結果を出力する。
制御部５６は、各種制御を実行する。例えば、制御部５６は、推定部５５によって判別結果として物体が障害物であることを示す情報が出力された場合に、当該障害物の位置情報に基づいてドア２１の開可動角度（以下、「ドア可動角度」とも称する。）を設定する（詳細は後述）。
ＤＳＰ３１は、処理した情報を、車載ネットワーク４を介して、オートドア部２に出力する。車載ネットワーク４は、例えば、ＣＡＮ（Controller Area Network）やＣＡＮ－ＦＤ（Flexible Data Rate）等である。
図２に戻って、オートドア部２は、センサ部３による障害物検知情報に基づいてドア２１の開閉動作などを制御する手段である。オートドア部２は、ドア２１と、ドア駆動ユニット２２（ドアを開閉動作させる駆動部）と、ＥＣＵ２３（Electronic Control Unit）と、を備える。
ドア駆動ユニット２２は、ドア２１の開閉動作を行う電気部品である。
ＥＣＵ２３は、ＤＳＰ３１から受け取った情報に基づいて、ドア２１の制御方法を決める専門的な信号処理を実行する装置である。ＥＣＵ２３は、一種のコンピュータであるので、これに加えて特別な信号処理を加えるプログラムを追加し、実行することも可能である。
ＥＣＵ２３は、各種制御を実行する制御部である。ＥＣＵ２３は、ドア２１のヒンジ部分に設置されるドア駆動ユニット２２を制御する。ＥＣＵ２３は、例えば、ＤＳＰ３１によって設定されたドア可動角度までドア２１が開動作するようにドア駆動ユニット２２を制御する。
また、ＥＣＵ２３は、例えば、車両１の使用者によるドア２１の自動開動作要求に基づいて、設定された開可動角度までドア２１が開動作するようにドア駆動ユニット２２を制御する。
次に、図４は、実施形態のオートドアシステムＳによる全体処理を示すフローチャートである。まず、概要を説明する。車両１の使用者が車両１を活動状態にすると同時にこの全体処理が起動し、車両１が活動状態にある間は常時継続するものとする。また、車両１の使用者が車両１を非活動状態にしたときには、この全体処理も停止するものとする。ただし、車両１が走行中であったり、電気エネルギーの消費低減のために車両１が休止状態であったりする場合には、この全体処理は一時停止としてもよい。
まず、ステップＳ１１において、オートドアシステムＳは、車両１が静止しており、かつ、開動作の対象のドア２１が全閉しているか否かを判定し、Ｙｅｓの場合はステップＳ１２に進み、Ｎｏの場合は処理を終了する。オートドア開動作をこのような条件付きとすることで、安全性を確保できる。
ステップＳ１２において、オートドアシステムＳは、使用者によってオートドア開動作の実行を命令するコマンド入力があったか否かを判定し、Ｙｅｓの場合はステップＳ１３に進み、Ｎｏの場合は処理を終了する。ここで、使用者とは、車両１の内部あるいは外部（以下、「車内外」とも称する。）にあって、その操作をし得る者を指す。例えば、使用者は、車内外にあって、他者が乗車あるいは降車するのを支援できる立場の者の場合もあるし、あるいは、実際に自身が車両１に乗ったり車両１から降りたりする者である場合もある。また、車両が自動運転車であるときでは、車両制御を担う人工知能が使用者に該当する場合もある。
また、オートドア開動作のコマンド入力方法としては、キーフォブ、車内ダッシュボード、スマートフォンの専用アプリケーションなどに備わるボタンの押下や、予め定められた発声やジェスチャーの実行等から選択できるものとする。
ステップＳ１３において、オートドアシステムＳは、オートドア開動作を実行する（詳細は図５で後述）。
次に、ステップＳ１４において、オートドアシステムＳは、オートドア閉動作を実行する。なお、ドアの閉動作は、ほかに、使用者あるいは他者が手動で行ってもよい。また、車両が自動運転車であるときでは、人の乗車あるいは降車の完了を認識した後に、人工知能がドアを閉動作させてもよい。ドア２１が全閉した後、動作フローは再帰し、次のオートドア開動作等に備える。
次に、図５、図６を参照して、図４のステップＳ１３の処理の詳細について説明する。なお、図５は常時動作型の場合の例であり、図６はイベント駆動型の場合の例である（詳細は後述）。
図５は、図４のステップＳ１３の処理の詳細を示すフローチャートである。この図５の処理フローは、車両１が活動状態にある間は、周期的に続けられる。本処理フローで重要なことは、使用者によるオートドア開動作のコマンド入力の有無（図４のステップＳ１２のＹｅｓ／Ｎｏ）に関わらず、図４の全体処理の実行中は、ミリ波レーダ３２による障害物検知（図５のステップＳ２０１～Ｓ２０５）が常時実行されることである。以下、具体的に説明する。
ステップＳ２０１において、ミリ波レーダ３２によるセンシングを行う。つまり、ミリ波レーダ３２によって、ドア２１の開軌道近辺にあってドア２１と衝突の可能性がある障害物を検知する。障害物としては、例えば、人、車両、縁石、建物の壁などが挙げられる。
次に、ステップＳ２０２において、ＤＳＰ３１の推定部５５は、ミリ波レーダ３２によるセンシングデータに基づいて障害物の有無の判別を行う。ここでは、ミリ波レーダ３２が捉えた検知点群の分布様式を、障害物の有無を判別する材料とする（詳細は後述）。なお、説明を省略しているが、第１算出部５３や第２算出部５４による処理も適宜行う。
次に、ステップＳ２０３において、ＤＳＰ３１の制御部５６は、自動開動作を妨げる障害物があるか否かを判定し、Ｙｅｓの場合はステップＳ２０４に進み、Ｎｏの場合はステップＳ２０５に進む。
ステップＳ２０４において、ＤＳＰ３１の制御部５６は、障害物の位置情報に基づいてドア可動角度を設定する。つまり、制御部５６は、ドア２１の開軌道近辺にある障害物に対するドア２１の衝突を回避するためのドア可動角度を設定する（詳細は後述）。
ステップＳ２０５において、ＤＳＰ３１の制御部５６は、ドア可動角度を全開に設定する。制御部５６は、例えば、単純に、ドア可動角度を、ドアヒンジの全開値に等しいと決める。
次に、ステップＳ２０６において、ＥＣＵ２３は、使用者によるオートドア開動作のコマンド入力があったか否かを判定し、Ｙｅｓの場合はステップＳ２０７に進み、Ｎｏの場合はステップＳ２０１に戻る。
ステップＳ２０７において、ＥＣＵ２３は、ドア駆動ユニット２２を制御することによるドア２１の自動開動作を開始する。具体的には、ＥＣＵ２３は、例えば、ドア２１の開軌道近辺における障害物の有無や現状のドア開度に応じて、どのような速度や加速度でドア２１を開けるか等を決定し、ドア駆動ユニット２２を制御してドア２１を開動作させる。
次に、ステップＳ２０８において、ＥＣＵ２３は、ドア２１の開度がドア可動角度に到達していないか否かを判定し、Ｙｅｓの場合はステップＳ２０９に進み、Ｎｏの場合はステップＳ２１０に進む。
ステップＳ２０９において、ドア駆動ユニット２２は、ドア２１の自動開動作を実行する。
ステップＳ２１０において、ドア駆動ユニット２２は、ドア２１の自動開動作を終了する。つまり、一連のオートドア開動作を終了させる。
図６は、図４のステップＳ１３の変形例であるステップＳ１３ａの処理の詳細を示すフローチャートである。上述のように、図６はイベント駆動型の場合の例である。ステップＳ２０１～Ｓ２０５、Ｓ２０７～Ｓ２１０は、図５と同様である。図５との違いは、ステップＳ３１において、使用者によるオートドア開動作のコマンド入力が行われた後に、処理フローが始まる点と、ステップＳ２０６がない点である。
イベント駆動型の利点は、常時、信号処理を行う必要が無いので、車両１の電気エネルギー消費を抑えられる点である。ただし、使用者によるオートドア開動作の求めに対する開動作の即応性が低下する可能性がある。
次に、図７は、図５のステップＳ２０２の処理の詳細を示すフローチャートである。ステップＳ４１において、ＤＳＰ３１の第１算出部５３は、前処理として、ミリ波レーダ３２による複数の受信結果に基づいて、物体の位置として検知点群を算出する。例えば、第１算出部５３は、ミリ波レーダ３２で捉えたＩＦ信号から検知点群の距離・速度・角度を計算する。
ここで、検知点とは、ミリ波レーダ３２に対し、反射波を送り返した３次元空間上の一点を指す。ミリ波レーダ３２の一回の検知に対して、複数の検知点が現れるのが通常である（図８で後述）。これらを検知点群と呼称する。
検知点群には、実在する人や車両等の障害物を反映したものだけでなく、偽像や虚像と呼ばれるようなノイズ検知点も含まれることがある。ノイズ検知点は、ミリ波レーダ３２が照射したミリ波が、路面や建物壁等の構造物によって多重反射された結果生まれることが多い。したがって、ノイズ検知点が現れている地点には、何も存在していないことがほとんどである。従来技術では、実在する障害物を反映する検知点とノイズ検知点を見分けることは容易ではなく、そのために障害物の有無の判別の精度が低かった。そこで、本実施形態では、以下のステップＳ４２以降の処理を行うことで、障害物の有無の判別の精度を向上させる。なお、各ステップの処理の詳細については、図８以降で説明する。
ステップＳ４２において、第２算出部５４は、ステップＳ４１で算出された検知点群を３次元座標へ座標変換し、３次元座標において検知点群に基づいて少なくとも一つの関心領域を設定する。
次に、ステップＳ４３において、第２算出部５４は、設定された関心領域における検知点群の特徴量を算出する。
次に、ステップＳ４４において、第２算出部５４は、特徴量に基づいて特徴ベクトルを算出する。
次に、ステップＳ４５において、推定部５５は、特徴ベクトルに基づいて、障害物の有無を判別する。
次に、図８、図９を参照して、検知点群の例について説明する。図８は、実施形態において障害物がある場合の検知点群の例を示す図である。図８は、障害物として三角コーン（灰色領域）を、ミリ波レーダ３２の正面にあって、ドア２１から６０ｃｍ離れた場所に置いた条件での検知例である。
また、図９は、実施形態において障害物がない場合の検知点群の例を示す図である。図９は、ドア２１の周囲に何もない条件での検知例である。
図８、図９において、Ｘ軸は車両の前後方向、Ｙ軸は車両の左右方向、Ｚ軸は天地の高さ方向に沿った座標軸である。また、各図における黒色破線は、オートドア（ドア２１）の開軌道を示す。また、１つの円が、１つの検知点位置を表している。円の大きさと色は、その検知点における反射エネルギー値の大きさを示している。図８、図９のデータは、アスファルト路面上で得られたものである。図８、図９からわかるように、障害物が存在する場合でもしない場合でも、検知点群が現れている。
なお、ＩＦ信号から検知点群の距離・速度・角度を計算する処理過程については、ミリ波レーダ３２の原理的部分であって、本実施形態の技術的特徴ではないので、説明を省略する。本処理過程の結果、各検知点について、ミリ波レーダ３２の中心を原点とする３次元座標系（以下、レーダ座標系と称する。）の距離・速度・角度の極座標値と、反射エネルギー値が得られる。
障害物の有無の判別に利用するために変換する処理では、最初に、各検知点について、レーダ座標系から、当該ドアを中心とする３次元座標系（以下、ドア座標系と称する。）への座標変換を行う。ドア座標系の原点は、車両１のドア２１の表面上にあって、障害物と衝突しやすい地点を選ぶと、ドア可動角度を計算し易い。その場合では、ドア２１の内部に埋設したミリ波レーダ３２の中心からのオフセットを解消する計算が必要である。また、ドア２１の内部において、ミリ波レーダ３２を傾けて設定している場合では、その傾きを解消する座標回転処理を行う。座標変換を行った後では、必要に応じて、直交座標系への変換、ノイズ低減処理を実施する。ノイズ低減処理は、上記ノイズ検知点を減らす目的で、例えば、時間的平均処理や空間的平均処理を施すとよい。
次に、図１０、図１１を参照して、関心領域の設定について説明する。図１０は、実施形態において障害物がある場合の関心領域の設定例を示す図である。図１１は、実施形態において障害物がない場合の関心領域の設定例を示す図である。図７のステップＳ４２では、障害物の有無を判別するために、必要な空間を抽出する処理を行う。この空間を関心領域と呼ぶ。
図１０は、図８に示した検知点群データを基に、関心領域ＲＯＩを設定した例を表している。また、図１１は、図９に示した検知点群データを基に、関心領域ＲＯＩを設定した例を表している。これらの例では、検知点群の中で、最も高い反射エネルギー値を持った検知点を、関心領域ＲＯＩの中心（×印）と定めた。また、関心領域ＲＯＩの大きさは、一辺０．９ｍの立方体形状とした。
なお、関心領域の中心の決め方はこれに限定されず、ほかに、例えば、検知点群の３次元座標の重心、平均値、中間値等を採用する方法であってもよい。関心領域の中心の決め方や大きさは、例えば、後述の判別精度等に基づいて、任意に決定してよい。また、ドア２１の周囲における複数の障害物の有無を判別するために、関心領域を２つ以上設定して、それぞれの関心領域について処理を行ってもよい。
次に、図１２、図１３を参照して、特徴量の抽出について説明する。図１２は、実施形態において障害物がある場合に抽出した特徴量の例を示す図である。図１３は、実施形態において障害物がない場合に抽出した特徴量の例を示す図である。
図７のステップＳ４３では、障害物の有無を判別するための前段階処理として、関心領域中における検知点群の分布様式の特徴を抽出する処理を行う。図１２は、図１０に示した関心領域ＲＯＩ内の各検知点のＸ／Ｙ／Ｚ座標値を基に、検知点群の分布様式の特徴を求めた例を示している。この例では、関心領域ＲＯＩの中心を基準として、０．１ｍ毎に区間を設けて、各区間内に属する検知点群の最大反射エネルギー値を求め、ヒストグラム化した。図１３は、図１１に示した関心領域ＲＯＩ内の各検知点について同様の処理を行ったものである。
図１２と図１３を比較すればわかるように、障害物があった場合の図１２では、少なくとも（ａ）はヒストグラムが明瞭なピークを持ち、また、（ｂ）と（ｃ）は全体的にビン高が高い、といった傾向がある。一方、障害物がない場合の図１３では、そのようなヒストグラムの明瞭なピークや全体的な高いビン高といった傾向がない（または小さい）。したがって、このような特徴量に基づいて障害物の有無を高精度に判別できることがわかる。
次に、図１４を参照して、特徴ベクトルの例について説明する。図１４は、実施形態において作成した特徴ベクトルの例を示す図である。図７のステップＳ４４では、障害物の有無を判別するための前段階処理として、検知点群の分布様式から抽出した特徴量から特徴ベクトルを作成する処理を行う。
図１４（ａ）は図１２に対応する特徴ベクトルである。図１４（ｂ）は図１３に対応する特徴ベクトルである。ここでは、抽出した特徴量を単純に繋ぐことで作成した特徴ベクトルを例示している。具体的には、３つの各ヒストグラムは９区間からなっていたので、作成した特徴ベクトルは２７次元の長さとなった。
次に、図１５は、実施形態における２つの特徴ベクトルを比較するためのグラフである。つまり、図１５は、過去に蓄積した障害物ありと障害物なしの条件下での試験から得られた検知点群に基づく特徴ベクトルを比較のために重ねたグラフである。グラフＧ１は、障害物ありの条件において得られた特徴ベクトルの平均である。また、グラフＧ２は、障害物なしの条件において得られた特徴ベクトルの平均である。また、各グラフに対応する誤差棒は標準偏差を示す。また、各特徴ベクトルは、全特徴ベクトルの最大振幅を基準として、正規化されている。
ここで、障害物あり条件では、人、車両、階段、金属ポール、三角コーン、縁石等の障害物を、ドアから０．２ｍ～１．４ｍ離した位置に設置したときの検知データであった。両条件間には、特徴ベクトルの大きさや形状に明らかな違いを見つけることができる。
障害物の有無を判別するためには、このように特徴ベクトル間の差が明瞭になる様に、それらを作成することが重要である。必要に応じて、上記の例の様に単純に繋ぐだけでなく、特徴量エンジニアリングと呼ばれるような、これらの特徴量から新たな特徴量を作成する様な処理過程を加えてもよい。特徴量エンジニアリングとしては、例えば、エッジ強調処理などが考えられる。これによれば、エッジを強調することで、障害物の有無の判別精度がさらに向上する場合がある。
次に、図１６を参照して、複数の機械学習器による物体の有無の判別性能について説明する。図１６は、実施形態における複数の機械学習器による物体の有無の判別性能を示す比較表である。
図７のステップＳ４５では、機械学習器を用いて、障害物の有無を判別する処理を行う。図１６では、代表的な機械学習器であるＬｉｇｈｔＧＢＭ（Gradient Boosting Machine）、ｋ近傍法、ランダムフォレスト法、決定木法、サポートベクタマシンを用いて、図１５で例示した特徴ベクトル群を基に、障害物の有無を学習させ、判別を試験した結果を表す。
表中の数字は、１０倍交差検定を行った上での各指標の平均値を示す。使用する機械学習器によって判別の正解率は異なり、最も低いのは、サポートベクタマシンを使った場合で、９１．９％であった。最も高いのは、ＬｉｇｈｔＧＢＭを使った場合で、９７.４％であった。
判別の再現率、適合率、Ｆ１といった指標についても、各機械学習器の性質を反映してか、精度にばらつきがあった。また、学習時間についても、１回当たり０.０４８秒から０.７１０秒まで大きな幅があった。なお、本計算には、標準的なＷｉｎｄｏｗｓ（登録商標）コンピュータを使用した。
これらの結果は、機械学習器を用いれば、ミリ波レーダ３２で捉えた検知点群データの分布様式を基にして、オートドアの開動作の妨げる様な障害物が実際に存在するかどうかを非常に高い精度で判別可能であることを示唆する。機械学習器の選別には、車両１に搭載できるＤＳＰ３１の性能を鑑みながら、より高い判別精度を、より短い学習および推定時間で達成できるものを選ぶとよいと考えられる。
また、どんなによい特徴量抽出や特徴量エンジニアリングを行っても、１回の判別で、常に正答率が１００％となるような機械学習器を作ることは困難であるかもしれない。その場合には、過去の複数周期に得た判別結果を総合した上で、最終の判別を行うようにすればよい。例えば、１回の判別正答率が９７％の機械学習器が、偽陽性および偽陰性の回答をする確率は３％あるが、２回連続で誤判別する確率は０.０９％である。３回連続で誤判別する確率は、わずか０.００２７％となる。この工夫を導入することで、障害物の有無の判別を、ほぼ１００％の正答率で行えるようになると期待できる。
また、上記では単一の機械学習器を用いた障害物の有無の判別について述べてきたが、並列して複数の機械学習器を用いた判別を行い、合議をとるアンサンブル学習法を用いてもよい。その場合、判別のバイアスとバリアンスが最小化されるので、判別精度をさらに向上できる可能性がある。
次に、図１７を参照して、図５のステップＳ２０４の処理の詳細について説明する。図１７は、図５のステップＳ２０４の処理の詳細を示すフローチャートである。
ステップＳ２０４では、ドア２１が障害物に衝突するまでに、まだ開動作を続けることができる余地があるかを見積もるためにドア可動角度を計算する処理を行う。ここでは、ドア可動角度＝０となれば、ドア２１は障害物に衝突することを意味する。
ステップＳ５１において、ＤＳＰ３１の制御部５６は、障害物の位置情報に基づいてドア可動角度を計算する。
また、ステップＳ５２において、制御部５６は、障害物の種類を判別する。
ここで、図１８は、実施形態におけるドア可動角度の計算の説明図である。最初に、キー検知点を定めるところから始める。キー検知点は、ドア２１に最も近い検知点を選ぶのが好適である。ただし、実際の障害物位置よりも手前に現れたノイズ検知点を選んでしまう可能性もあるので、例えば、ある閾値以上の反射エネルギー値をもった検知点の中で、ドア２１と最近接のものを選ぶとすれば、この可能性を低減できる。
続けて、キー検知点のドア２１からの距離（Ｙ座標値）を基準として、仮想的な無限壁（ｙ＝ｙmin）を設定する。例えば、この無限壁と現在のドア２１の位置との間に挟まれる空間を、ドア２１の開動作を続けられる余地として定める。ただし、こうして定めると、ドア２１のヒンジ側に存在する障害物ほど、開動作を続けられる余地が少な目に計算されてしまう問題が生じる。これは、ミリ波レーダ３２は障害物の広がりまでを正確に検知することが困難という原理的問題に対処するための、安全上、有効な対応策である。
無限壁とドア２１の開軌道（黒色破線）との交点（xp,ymin）と、ドアヒンジ（xH,0）と、ドア表面を用いて、図１８に示す角度θｐを、以下の（式１）を用いて可動角度として計算する。
次に、図１９は、実施形態における検知点群の分布の統計量に基づく物体種類判別の説明図である。図１７のステップＳ５２では、検知点群の分布様式を基に、障害物の種類を判別する処理を行う。種類には様々なものが考えられるが、以下では、３種の判別方法を例示する。なお、障害物の種類判別は、これらを個別に実施した結果に基づかなければならないわけではなく、必要に応じて組み合わせてよい。
（種類判別法１）検知点群の分布の統計量に基づく判別
金属ポールのような幅や奥行きの小さい障害物（図１９（ａ）の灰色部分）と、階段のような幅と奥行きが大きい障害物（図１９（ｂ）の灰色部分）とでは、検知点群の分布様式に違いがある。以下では、便宜的に、前者を単純形状、後者を複雑形状と称して、説明を続ける。
単純形状では、検知点群は狭い領域に限局して分布する。一方、複雑形状では、検知点群はある程度広がって分布する傾向がある。そこで、両者を分布の統計量にしたがって判別する。
例えば、以下の（式２）、（式３）を用いて、検知点群データの分散値（Ｖｘ、Ｖｙ、Ｖｚ）を計算する。ここで、Ｎは検知点群データ数、（ｘｃ、ｙｃ、ｚｃ）は分布の中心である。
そして、以下の式（４）に示すように、検知点群データの分散値（例えば、Ｖｙ）と閾値ＴＨＤ_Ｖｙを比較し、閾値ＴＨＤ_Ｖｙより小さい場合は単純形状、ＴＨＤ_Ｖｙより大きい場合は複雑形状と判別する。
if (Vy<THD_Vy) (式４)
# 障害物は単純形状
else
# 障害物は複雑形状
（種類判別法２）検知点群の分布の幾何学特徴に基づく判別
単純形状と複雑形状の検知点群の分布の違いは、上記の説明通りであるが、観点を変えて、両者を、その幾何学的特徴から判別する。
図２０は、実施形態における検知点群の分布の幾何学的特徴に基づく物体種類判別の説明図である。例えば、ＹＺ平面上での検知点群の分布様式から、以下の（式５）に示す最小二乗直線を求める。また、最小二乗直線の係数ｃとｄは、（式６）を解くことで求められる。ここで、ｗｉは重み付け係数であり、各検知点における反射エネルギーの正規化値を採用すると、その強弱を反映した最小二乗直線を求めることができる。
続いて、（式７）を用いて、（式５）の最小二乗直線の単位法線ベクトルNVoを計算する。また、（式８）を用いて、レーダ面の単位法線ベクトルNVR=(1,0)がなす角度θYZを計算する。
そして、式（９）に示すように、角度θYZと閾値区間[THD_θYZ1,THD_θYZ2]を比較し、その区間に入っている場合は単純形状、外れる場合は複雑形状と判別する。
if (THD_θYZ1)<θYZ ) and (θYZ<THD_θYZ2) (式９)
# 障害物は単純形状
else
# 障害物は複雑形状
（種類判別法３）検知点群の分布の反射エネルギー値に基づく判別
ミリ波レーダ３２の原理的特徴として、レーダ断面積が狭く、反射し難い素材（例：プラスチック樹脂）であるほど、反射エネルギー値は小さく検知される。逆に、レーダ断面積が広く、反射し難い素材（例：鉄）であるほど、反射エネルギー値は大きく検知される。上記分類によれば、前者は単純形状、後者は複雑形状に相当する。そこで、反射エネルギー値に基づいて、判別する。
図２１は、実施形態における検知点群の分布の反射エネルギー値に基づく物体種類判別の説明図である。この場合の判別法では、機械学習技術を使う。例えば、各検知データについて、図７のステップＳ４１～Ｓ４４と同様の処理を行って、単純形状に分類される障害物（例：金属ポール、三角コーン、縁石等）から得られた特徴ベクトルＧ１２と、複雑形状に分類される障害物（例：人、車両、階段等）から得られた特徴ベクトルＧ１１と、を比較すると、図２１に示す様な違いがあった。なお、各グラフに対応する誤差棒は標準偏差を示す。
ここで、図２２は、実施形態における複数の機械学習器による物体の種類の判別性能を示す比較表である。図７のステップＳ４５と同様の処理を行って、過去データを学習させた機械学習器を使って、新規（未学習）データの種類判別を試みると、最高正解率８５．４％で、単純形状と複雑形状とを判別できた。
図１７に戻って、ステップＳ５１、Ｓ５２の後、ステップＳ５３において、ＤＳＰ３１の制御部５６は、ステップＳ５１、Ｓ５２の結果を総合して、任意に、最終的なドア可動角度を決定し、設定する処理を行う。
例えば、衝突しても損害は軽微と推測される単純形状の障害物では、計算されたままのドア可動角度で作動させるように決定することが可能である。逆に、衝突したら損害が重大と推測される複雑形状の障害物では、ドア可動角度を非常に小さくする（例えば、ポップアップ（ロックを外してドア２１をフリーにする動作）のみを行う）ように決定することもできる。
このように、本実施形態のオートドアシステムＳによれば、予め機械学習によって生成した物体検知モデルを用いることで、路面などの周辺環境によらず、車両１の周囲の障害物を高精度に検知することができる。
また、ドアを基準とする３次元座標で関心領域（図１０、図１１）を設定して検知点群の分布形状を示す特徴ベクトルを算出するというより具体的な処理を実現できる。
また、設定された開可動角度までドア２１を開動作させることで、ドア２１と障害物の衝突を回避するとともに、ドア２１が不要に手前で開動作を停止する事態も回避できる。
また、車両の使用者は、ドア２１の自動開動作要求に対応する所定の操作を行うことで、ドア２１を開動作させることができる。
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、実施形態や変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
例えば、上述の実施形態では、オートドアシステムＳは１つのＥＣＵ２３（図２）を有するものとしたが、これに限定されない。オートドアシステムＳは複数のＥＣＵを有していてもよい。
また、ＤＳＰ３１の機能の一部（例えばモデル生成部５２）は、ＥＣＵ２３が備えるようにしてもよい。
また、図２０では、最小二乗直線を例にとったが、これに限定されず、最小二乗曲線や最小二乗曲面を使ってもよい。
また、物体検知センサは、ミリ波レーダに限定されず、ほかに、超音波センサなどの他の種類のセンサであってもよい。
また、新たに機械学習で判別した特徴ベクトルのデータを次の比較時の比較対象として更新してもよい。
また、上述の実施形態では、物体検知センサが設置される対象を車両１０としたが、これに限定されない。物体検知センサが設置される対象は、移動によって周囲の環境が時々刻々と変化する移動ロボットなどの移動体全般である。
１…車両、２…オートドア部、３…センサ部、４…車載ネットワーク、５…処理部、６…記憶部、２１…ドア、２２…ドア駆動ユニット、２３…ＥＣＵ、３１…ＤＳＰ、３２…ミリ波レーダ、５１…取得部、５２…モデル生成部、５３…第１算出部、５４…第２算出部、５５…推定部、５６…制御部、Ｓ…オートドアシステム

Claims (5)

  1. 車両のドアに設置されたセンサから送信された探査波が前記車両の周囲の物体で反射することで発生した反射波の複数の受信結果を取得する取得部と、
    学習フェーズにおいて、
    前記取得部によって取得された前記複数の受信結果に基づいて前記物体の位置として検知点群を算出し、前記検知点群の分布形状を示す特徴ベクトルと前記物体が障害物か否かを示す情報との関係性を機械学習することによって物体検知モデルを生成するモデル生成部と、
    推定フェーズにおいて、
    前記取得部によって取得された前記複数の受信結果に基づいて、前記物体の位置として検知点群を算出する第１算出部と、
    前記第１算出部によって算出された前記検知点群に基づいて、前記検知点群の分布形状を示す特徴ベクトルを算出する第２算出部と、
    前記第２算出部によって算出された前記特徴ベクトルと、前記物体検知モデルと、に基づいて、当該物体が障害物か否かを判別し、判別結果を出力する推定部と、を備え、
    前記モデル生成部は、前記検知点群を前記センサが設置されたドアを基準とする３次元座標へ座標変換し、前記３次元座標において前記検知点群に基づいて少なくとも一つの関心領域を設定し、設定された前記関心領域における前記検知点群の分布形状を示す特徴ベクトルを算出して入力データとし、
    前記第２算出部は、前記第１算出部によって算出された前記検知点群を前記３次元座標へ座標変換し、前記３次元座標において前記検知点群に基づいて少なくとも一つの関心領域を設定し、設定された前記関心領域における前記検知点群の分布形状を示す特徴ベクトルを算出する、物体検知装置。
  2. 前記ドアは、スイング式のドアであり、
    前記物体検知装置は、前記ドアを開閉動作させる駆動部を制御する制御部を、さらに備え、
    前記制御部は、前記推定部によって前記物体が障害物であることを示す情報が出力された場合に、当該障害物の位置情報に基づいて前記ドアの開可動角度を設定し、設定された前記開可動角度まで前記ドアが開動作するように前記駆動部を制御する、請求項１に記載の物体検知装置。
  3. 前記制御部は、前記車両の使用者による前記ドアの自動開動作要求に基づいて、設定された前記開可動角度まで前記ドアが開動作するように前記駆動部を制御する、請求項２に記載の物体検知装置。
  4. 車両のドアに設置されたセンサから送信された探査波が前記車両の周囲の物体で反射することで発生した反射波の複数の受信結果を取得する取得ステップと、
    学習フェーズにおいて、
    前記取得ステップによって取得された前記複数の受信結果に基づいて前記物体の位置として検知点群を算出し、前記検知点群の分布形状を示す特徴ベクトルと前記物体が障害物か否かを示す情報との関係性を機械学習することによって物体検知モデルを生成するモデル生成ステップと、
    推定フェーズにおいて、
    前記取得ステップによって取得された前記複数の受信結果に基づいて、前記物体の位置として検知点群を算出する第１算出ステップと、
    前記第１算出ステップによって算出された前記検知点群に基づいて、前記検知点群の分布形状を示す特徴ベクトルを算出する第２算出ステップと、
    前記第２算出ステップによって算出された前記特徴ベクトルと、前記物体検知モデルとに基づいて、当該物体が障害物か否かを判別し、判別結果を出力する推定ステップと、を含み、
    前記モデル生成ステップは、前記検知点群を前記センサが設置されたドアを基準とする３次元座標へ座標変換し、前記３次元座標において前記検知点群に基づいて少なくとも一つの関心領域を設定し、設定された前記関心領域における前記検知点群の分布形状を示す特徴ベクトルを算出して入力データとし、
    前記第２算出ステップは、前記第１算出ステップによって算出された前記検知点群を前記３次元座標へ座標変換し、前記３次元座標において前記検知点群に基づいて少なくとも一つの関心領域を設定し、設定された前記関心領域における前記検知点群の分布形状を示す特徴ベクトルを算出する、物体検知方法。
  5. 車両のスイング式のドアに設置されたセンサから送信された探査波が前記車両の周囲の物体で反射することで発生した反射波の複数の受信結果を取得する取得ステップと、
    学習フェーズにおいて、
    前記取得ステップによって取得された前記複数の受信結果に基づいて前記物体の位置として検知点群を算出し、前記検知点群の分布形状を示す特徴ベクトルと前記物体が障害物か否かを示す情報との関係性を機械学習することによって物体検知モデルを生成するモデル生成ステップと、
    推定フェーズにおいて、
    前記取得ステップによって取得された前記複数の受信結果に基づいて、前記物体の位置として検知点群を算出する第１算出ステップと、
    前記第１算出ステップによって算出された前記検知点群に基づいて、前記検知点群の分布形状を示す特徴ベクトルを算出する第２算出ステップと、
    前記第２算出ステップによって算出された前記特徴ベクトルと、前記物体検知モデルとに基づいて、当該物体が障害物か否かを判別し、判別結果を出力する推定ステップと、
    前記推定ステップによって前記物体が障害物であることを示す情報が出力された場合に、当該障害物の位置情報に基づいて前記ドアの開可動角度を設定し、設定された前記開可動角度まで前記ドアが開動作するように、前記ドアを開閉動作させる駆動部を制御する制御ステップと、を含み、
    前記モデル生成ステップは、前記検知点群を前記センサが設置されたドアを基準とする３次元座標へ座標変換し、前記３次元座標において前記検知点群に基づいて少なくとも一つの関心領域を設定し、設定された前記関心領域における前記検知点群の分布形状を示す特徴ベクトルを算出して入力データとし、
    前記第２算出ステップは、前記第１算出ステップによって算出された前記検知点群を前記３次元座標へ座標変換し、前記３次元座標において前記検知点群に基づいて少なくとも一つの関心領域を設定し、設定された前記関心領域における前記検知点群の分布形状を示す特徴ベクトルを算出する、物体検知方法。
JP2024521631A 2022-05-18 2023-04-20 物体検知装置および物体検知方法 Active JP7740539B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022081850 2022-05-18
JP2022081850 2022-05-18
PCT/JP2023/015771 WO2023223765A1 (ja) 2022-05-18 2023-04-20 物体検知装置および物体検知方法

Publications (2)

Publication Number Publication Date
JPWO2023223765A1 JPWO2023223765A1 (ja) 2023-11-23
JP7740539B2 true JP7740539B2 (ja) 2025-09-17

Family

ID=88834978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024521631A Active JP7740539B2 (ja) 2022-05-18 2023-04-20 物体検知装置および物体検知方法

Country Status (4)

Country Link
US (1) US20250164632A1 (ja)
JP (1) JP7740539B2 (ja)
CN (1) CN119183539A (ja)
WO (1) WO2023223765A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2026050305A (ja) * 2024-09-09 2026-03-19 ▲啓▼碁科技股▲ふん▼有限公司 車内生命体監視方法及び車内生命体監視システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010236196A (ja) 2009-03-30 2010-10-21 Denso Corp 車両ドア開度制御装置
JP2020534617A (ja) 2017-09-22 2020-11-26 ズークス インコーポレイテッド 二次元画像および点群データからの三次元境界ボックス
DE102020107293A1 (de) 2020-03-17 2021-09-23 Valeo Schalter Und Sensoren Gmbh Verfahren zum Überwachen eines Schwenkbereichs einer Tür während eines Schwenkvorgangs, Computerprogrammprodukt, computerlesbares Speichermedium sowie Schwenkbereichsüberwachungssystem

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02132515U (ja) * 1989-04-11 1990-11-02

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010236196A (ja) 2009-03-30 2010-10-21 Denso Corp 車両ドア開度制御装置
JP2020534617A (ja) 2017-09-22 2020-11-26 ズークス インコーポレイテッド 二次元画像および点群データからの三次元境界ボックス
DE102020107293A1 (de) 2020-03-17 2021-09-23 Valeo Schalter Und Sensoren Gmbh Verfahren zum Überwachen eines Schwenkbereichs einer Tür während eines Schwenkvorgangs, Computerprogrammprodukt, computerlesbares Speichermedium sowie Schwenkbereichsüberwachungssystem

Also Published As

Publication number Publication date
WO2023223765A1 (ja) 2023-11-23
JPWO2023223765A1 (ja) 2023-11-23
CN119183539A (zh) 2024-12-24
US20250164632A1 (en) 2025-05-22

Similar Documents

Publication Publication Date Title
CN113870347A (zh) 目标车辆的控制方法、装置、电子设备及存储介质
JPH09178848A (ja) 車両用障害物認識装置
JPH07318652A (ja) 車両用障害物認識装置
CN111103587A (zh) 用于预测同时并线车辆的方法和设备及包括其的车辆
US11837095B2 (en) Alarm device for vehicle
KR20210106690A (ko) 도어 열림 제어 장치 및 그의 도어 열림 제어 방법
CN115056792B (zh) 车辆及车辆控制方法
CN110275168A (zh) 一种多目标识别和防撞预警方法和系统
JP7740539B2 (ja) 物体検知装置および物体検知方法
CN117813440A (zh) 用于运行机动车辆的机动化活门装置的方法
JP5078727B2 (ja) 物体検知装置
CN115891990A (zh) 车辆防撞控制方法、系统、设备及存储介质
CN114999224B (zh) 一种电单车及其环境智能感测避障方法、存储介质
US20230324545A1 (en) Object detection device and object detection method
CN107003405B (zh) 用于检测机动车辆的传感器装置由物体屏蔽的方法、计算装置、驾驶员辅助系统和机动车辆
US20050004719A1 (en) Device and method for determining the position of objects in the surroundings of a motor vehicle
CN116569065B (zh) 车辆控制装置
CN118991744B (zh) 泊车方法、装置、车辆及存储介质
CN119963601A (zh) 一种目标对象跟踪监测方法、系统、计算机设备及介质
JP3473405B2 (ja) 車両用後方モニタシステム
CN117250602B (zh) 碰撞类型预测方法、设备和存储介质
JP7641851B2 (ja) 制御装置、制御方法およびプログラム
CN115257538A (zh) 车辆后备箱的预警方法、装置、车辆及存储介质
CN116719318A (zh) 碰撞检测方法及装置、自主移动装置、存储介质
US20250355111A1 (en) Kick sensor, vehicle, and method of detecting kick gesture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250818

R150 Certificate of patent or registration of utility model

Ref document number: 7740539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150