JP7174063B2 - 無人運転車用の障害物回避方法及び装置 - Google Patents

Description

本出願の実施例は、コンピュータ技術分野に関し、具体的には、無人運転技術分野に関し、特に、無人運転車用の障害物回避方法及び装置に関する。

無人運転車は、走行中において環境を感知する必要がある。環境感知には、前方の障害物を検出することは重要である。

一般的には、無人運転車に配置されたカメラにより環境の画像を収集するとともに、レーザレーダを用いて前方の物体からの距離を測定する必要がある。無人運転車における車載人工知能は、カメラにより収集された環境画像を解析して、前方の障害物の有無を判定することともに、レーザレーダからのフィードバックデータに基づいて障害物からの距離を測定することができる。

本願の実施例は、無人運転車用の障害物回避方法及び装置を提供する。

第１の態様によれば、無人運転車用の障害物回避方法であって、所定の走行経路に障害物があると判定したことに応答して、障害物の画像及び位置情報を含む障害物情報を、所定の端末デバイスに送信して当該端末デバイスの表示画面に表示させるステップと、表示された障害物情報に応じて所定の端末デバイスに入力された、障害物の種別を示す前記障害物の種別情報を、所定の端末デバイスから受信するステップと、種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定するステップと、を含む方法を提供する。

幾つかの実施例において、所定の走行経路に障害物があると判定したことに応答して、障害物の画像及び位置情報を含む障害物情報を、所定の端末デバイスに送信して当該端末デバイスの表示画面に表示させるステップは、所定の走行経路に障害物があると判定したことに応答して、事前訓練済みの障害物種別識別モデルを用いて、障害物の参照種別情報を決定するステップであって、参照種別情報は、障害物が無視できる障害物であるか否かを示す情報である、ステップと、参照種別情報により、前記障害物が無視できる障害物ではないことが示されることに応答して、前記障害物情報を前記所定の端末デバイスに送信して、前記所定の端末デバイスの表示画面に前記障害物情報を表示させるステップと、を含み、障害物種別識別モデルは、複数の履歴障害物情報と、前記複数の履歴障害物情報のそれぞれに設定された履歴種別情報とを用いて学習した初期の障害物種別識別モデルであって、障害物情報に基づいて当該障害物の参照種別情報を決定するためのモデルである。

幾つかの実施例において、前記方法は、参照種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、障害物と前記無人運転車との間の距離を決定するステップと、距離が予め設定された距離閾値より小さい場合、減速走行の指令を生成するステップと、を更に含む。

幾つかの実施例において、前記方法は、表示された障害物情報に応じて所定の端末デバイスに入力された、障害物の種別を示す前記障害物の種別情報を、所定の端末デバイスから受信するステップの前に、所定の走行経路に障害物があることを提示するための提示情報を前記所定の端末デバイスに送信して、前記所定の端末デバイスに前記提示情報を再生させるステップを更に含む。

幾つかの実施例において、種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定するステップは、種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、無人運転車の現在状態情報及び障害物情報を事前訓練済みの障害物回避モデルに入力して、障害物回避指令を生成するステップを更に含み、障害物回避モデルは、複数の履歴障害物回避の記録を用いて初期障害物回避モデルに対し訓練したモデルである。

幾つかの実施例において、所定の走行経路に障害物があると判定したことに応答して、障害物情報を所定の端末デバイスに送信するステップの前に、取得された無人運転車の現在の環境データに基づき、所定の走行経路に障害物があるか否かを判定するステップを更に含む。

第２の態様によれば、無人運転車用の障害物回避装置であって、所定の走行経路に障害物があると判定したことに応答して、障害物の画像及び位置情報を含む障害物情報を、所定の端末デバイスに送信して当該端末デバイスの表示画面に表示させるように構成された送信ユニットと、表示された障害物情報に応じて所定の端末デバイスに入力された、障害物の種別を示す前記障害物の種別情報を、所定の端末デバイスから受信するように構成された受信ユニットと、種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定するように構成された指令生成ユニットと、を備える装置を提供する。

幾つかの実施例において、送信ユニットは、さらに、所定の走行経路に障害物があると判定したことに応答して、事前訓練済みの障害物種別識別モデルを用いて、前記障害物の参照種別情報を決定し、前記参照種別情報は、前記障害物が無視できる障害物であるか否かを示す情報であり、参照種別情報により、前記障害物が無視できる障害物ではないことが示されることに応答して、前記障害物情報を前記所定の端末デバイスに送信して、前記所定の端末デバイスの表示画面に前記障害物情報を表示させる、ように配置され、障害物種別識別モデルは、複数の履歴障害物情報と、前記複数の履歴障害物情報のそれぞれに設定された履歴種別情報とを用いて学習した初期の障害物種別識別モデルであって、障害物情報に基づいて当該障害物の参照種別情報を決定するためのモデルである。

幾つかの実施例において、送信ユニットは、さらに、参照種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、前記障害物と前記無人運転車との間の距離を決定し、距離が予め設定された距離閾値より小さい場合、減速走行の指令を生成する、ように構成された。

幾つかの実施例において、当該装置は、提示ユニットを更に備え、提示ユニットは、表示された障害物情報に応じて所定の端末デバイスに入力された、障害物の種別を示す前記障害物の種別情報を、所定の端末デバイスから受信する前に、前記所定の端末デバイスに所定の走行経路に障害物があることを提示するための提示情報を送信し、前記所定の端末デバイスに前記提示情報を再生させる、ように構成される。

幾つかの実施例において、指令生成ユニットは、さらに、種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、無人運転車の現在状態情報及び障害物情報を事前訓練済みの障害物回避モデルに入力して、障害物回避指令を生成するように構成され、障害物回避モデルは、複数の履歴障害物回避の記録を用いて初期障害物回避モデルに対し訓練したモデルである。

幾つかの実施例において、当該装置は、決定ユニットを更に備え、決定ユニットは、所定の走行経路に障害物があると判定したことに応答して、障害物情報を所定の端末デバイスに送信する前に、取得された無人運転車の現在の環境データに基づき、所定の走行経路に障害物があるか否かを判定するように構成された。

第３の態様によれば、電子デバイスであって、１または複数のプロセッサと、１または複数のプログラムが記憶された記憶装置と、を含み、前記１又は複数のプログラムが前記１又は複数のプロセッサにより実行されることにより、前記１又は複数のプロセッサは第１の態様に記載の方法を実現する電子デバイスを提供する。

第４の態様によれば、コンピュータプログラムを記憶したコンピュータ読み取り可能な記録媒体であって、該プログラムがプロセッサに実行される時に第１の態様に記載の方法を実現するコンピュータ読み取り可能な記録媒体を提供する。
第５の態様によれば、コンピュータプログラムであって、プロセッサに実行される時に第一態様に記載の方法を実現するコンピュータプログラムを提供する。

本願の実施例が提供する無人運転車用の障害物回避方法及び装置は、所定の走行経路に障害物があると判定したことに応答して、障害物の画像及び位置情報を含む障害物情報を、所定の端末デバイスに送信して当該端末デバイスの表示画面に表示させるステップと、表示された障害物情報に応じて所定の端末デバイスに入力された、障害物の種別を示す前記障害物の種別情報を、所定の端末デバイスから受信するステップと、種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定する。所定の端末デバイスをヒューマンコンピュータインタラクションインタフェースとすることにより、無人運転車は、障害物類に対するユーザの判定を受信し、且つ障害物類に対するユーザの判定に基づいて、障害物回避ポリシーを決定することができる。上記方法によれば、無人運転車の走行中に、障害物を人為的に補助して認識し、且つ上記補助して認識された結果に基づいて、回避指令を決定することにより、全ての障害物を回避するための減速走行、迂回、駐車等の操作を減少することができ、それにより障害物回避により、減速走行、迂回、及び駐車による運転時間の延長を抑制することができる。

本出願の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例に係る詳細な説明を読むことにより、より明らかになる。
本願の一実施例の無人運転車用の障害物回避方法が適用可能なシステムフレームの構図の一例である。 本願に係る無人運転車用の障害物回避方法の一実施例のフローチャートである。 本願に係る無人運転車用の障害物回避方法の適用シーンの概略図である。 本願に係る無人運転車用の障害物回避方法の他の実施例のフローチャートである。 本願に係る無人運転車用の障害物回避装置の一実施例の構造概略図である。 本願の電子デバイスを実現するために好適なコンピュータシステムの構成を示す図である。

以下、図面及び実施例を参照しながら本出願をより詳細に説明する。ここで説明する具体的な実施例は、関連する発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解されたい。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。

なお、なお、本願の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、図面及び実施例を参照しながら本出願を詳細に説明する。

図１は、本開示の一実施形態に係る無人運転車の障害物回避方法を適用可能なシステムアーキテクチャ１００の一例を示す図である。

図１に示すように、システムアーキテクチャ１００は、無人運転車の制御システム１０１、端末デバイス１０２及びユーザ１０３を含むことができる。端末デバイス１０２は、ネットワークを介して制御システム１０１と通信可能に接続されている。上述したネットワークには、有線又は無線の通信リンク、光ファイバケーブル等の各種の接続形態が含まれていてもよい。

制御システム１０１は、感知ユニットと、運転決定ユニットとを備える。感知ユニットは、複数の車載センサを備え、車載センサは、無人運転車の環境データをリアルタイムに収集することができる。車載センサは、車載カメラ、レーザレーダセンサ、ミリ波レーダセンサ、衝突センサ、速度センサ、空気圧センサ等を含むことができる。

運転決定ユニットは、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、電子制御ユニット）、車載コンピュータ、またリモートサーバであってもよい。運転決定ユニットは、車載センサにより収集されたデータを取得し、データを処理して応答することができる。

制御システム１０１は、車載センサにより収集された無人運転車の環境データを、ネットワークを介して、端末デバイス１０２に送信することができる。端末デバイス１０２は、表示画面ページに環境画像を表示させることができる。上記環境画像には、障害物情報が含まれていてもよい。

ユーザ１０３は、端末デバイス１０２を利用してネットワークを介して制御システム１０１とやり取りして、メッセージ等を受送信することができる。端末デバイス１０２には、地図系アプリケーション、映像再生系アプリケーション等の様々なクライアントアプリケーションがインストールされている。ユーザ１０３は、上記のようにして端末デバイスに表示された環境画像中の障害物の画像から、障害物が無視できるか否かを判定し、その判定結果を端末デバイス１０２に入力することができる。端末デバイス１０２は、上述した判定結果を上述した制御システム１０１に送信することができる。

端末デバイス１０２は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末デバイス１０４がハードウェアである場合、表示画面を有し且つ地図表示をサポートする様々な電子デバイスであってもよく、スマートフォン、タブレットコンピュータ、ノート型携帯コンピュータ及びデスクトップコンピュータ等を含むがこれらに限定されない。端末デバイス１０２がソフトウェアである場合には、上記に例示した電子デバイスに実装することができる。それは複数のソフトウェア又はソフトウェアモジュール（例えば分散サービスを提供するためのソフトウェア又はソフトウェアモジュール）を実現することができ、単一のソフトウェア又はソフトウェアモジュールを実現することもできる。ここで特に限定するものではない。

いくつかの適用シーンにおいて、上記端末デバイス１０２は、遠隔サーバ側に設けられた端末デバイスであってもよい。上記ユーザ１０３も、遠隔サーバ側に設けられてもよい。

他のいくつかの適用シーンにおいて、上記端末デバイスは、無人運転車内に設けられた端末デバイスであってもよい。上記ユーザは、無人運転車内に位置してもよい。

なお、本願の実施例に係る無人運転車用の障害物回避方法は一般的に制御システム１０３によって実行され、それに応じて、無人運転車用の障害物回避装置は、一般的に制御システム１０３に設けられる。

なお、図１の端末デバイスや制御システムの数は、例示的なものである。必要に応じて、任意の数の端末デバイスや制御システムを備えるようにしてもよい。

引き続き図２を参照する。図２は、本願に係る無人運転車の障害物回避方法の一実施例のフロー２００を示す。該無人運転車用の障害物回避方法は、以下のステップを含む。

ステップ２０１において、所定の走行経路に障害物があると判定したことに応答し、障害物情報を所定の端末デバイスに送信し、当該端末デバイスの表示画面に表示させる。

通常、無人運転車が道路を走行し始まる前に、無人運転車の走行経路を計画しておく必要がある。本実施例において、上述した所定の走行経路は、無人運転車が現在位置にいる時の、上記計画経路において計画された無人運転車の次の走行経路であってもよい。

本実施例では、無人運転車用の障害物回避方法の実行主体は、まず、様々な方法によって所定の走行経路に障害物があるか否かを判定することができる。上記実行主体は、所定の走行経路に障害物があると判定したことに応答して、障害物情報を所定の端末デバイス（例えば、図１に示す端末デバイス）に送信することができる。上記所定の端末デバイスは、その表示画面に障害物情報を表示させることができる。

本実施例のいくつかの選択可能な実現形態では、ステップ２０１の前に、無人運転車の障害物回避方法は、取得された無人運転車の現在の環境データに基づいて、所定の走行経路に障害物があるか否かを判定するステップをさらに含むことができる。

これらの選択可能な実現形態において、無人運転車用の障害物回避方法に用いられる実行主体（例えば、図１に示す制御システム）は、無人運転車の現在の環境データを取得することができる。

通常、無人運転車に感知ユニットが備えられる。感知ユニットは、複数の車載センサを含む。複数の車載センサは、環境データを収集するために用いられる。上述した環境データは、無人運転車自体の状態情報及び無人運転車周辺の状態情報を含む。自体の状態情報は、速度、加速度、操舵角度、位置などの情報を含む。周辺状態情報は、道路位置、道路方向、周辺の物体、車両、歩行者等の情報を含む。

例えば、車両の前端に設置された車載カメラは、無人運転車の前方道路環境の画像を取得することができる。レーザレーダセンサは、無人運転車の周囲環境に存在する物体の位置、大きさ、外観形状等のデータを収集することができる。

いくつかの適用シーンにおいて、上記実行本体は、上記無人運転車の走行中において、環境データをリアルタイムに取得し、それにより、環境データに基づいて無人運転車の所定の走行経路に障害物が存在するか否かを判定するようにしてもよい。

前記障害物は、車両、歩行者、動物、植物、警告標識等であってもよい。

通常、上記実行主体は、リアルタイムに取得した環境データを分析し、予め設定された障害物判定条件により、周囲環境に基づいて、無人運転車の所定の走行経路に障害物があるか否かを判定することができる。例えば、上記予め設定された障害物判定条件は、地上の物体の高さが、第１のプリセット高さ以上であることを含むことができる。又は空から垂れ下がる物体の地面からの距離が第２のプリセット高さよりも小さい。ここで、第１のプリセット高さは、例えば、１０ｃｍとされてもよい。第２のプリセット高さは、例えば、無人運転車の高さとされてもよい。

いくつかの適用シーンにおいて、上記実行主体は、リアルタイムに取得された環境データを事前訓練済みの障害物判定モデルに入力して、無人運転車の所定の走行経路に障害物があるか否かを判定することができる。上述した障害物判定モデルは、例えば、サポートベクターマシンモデル、ナイーブベイズモデル、ニューラルネットワークモデル等であってもよい。

上述した障害物判定モデルは、複数の「障害物有り」とマーキングされた環境データと、「障害物無し」とマーキングされた環境データとを用いて、初期障害物判定モデルを訓練して得られたものであってもよい。

上述した障害物情報は、障害物の画像を含んでもよい。障害物の画像は、例えば、車載カメラによって撮影された障害物の画像であってもよいし、車載レーザレーダセンサが走査した障害物の形状や大きさ等に基づいて生成された障害物の画像等であってもよい。

さらに、上記所定の端末デバイスの表示画面において障害物の位置データを表示することができる。障害物の位置データは、例えば、障害物の座標を含むことができる。

いくつかの適用シーンにおいて、上記所定の端末デバイスは、無人運転車に設置することができる。

他の適用シーンにおいて、上記所定の端末デバイスは、遠隔サーバ側に設けられてもよい。

ステップ２０２において、表示された障害物情報に応じて所定の端末デバイスに入力された、障害物の種別を示す前記障害物の種別情報を、所定の端末デバイスから受信する。

上記実行主体は、ネットワークを介して、所定の端末デバイスから、所定のユーザにより入力された障害物の種別情報を受信することができる。上記種別情報は、障害物の種別を示すものである。障害物の種別には、無視できる障害物と無視できない障害物とがある。上記種別情報は、数字、記号、又は、数字と記号との組み合わせ等を含むことができる。すなわち、障害物は、無視できる障害物に属しているか、又は、無視できない障害物に属している。

制御装置は、所定の走行経路に障害物があるか否かの判定結果に基づいて、車両が障害物を回避する必要があるか否かを判定するようにしてもよい。通常、所定の走行経路に障害物がある場合、障害物回避ポリシーを取る必要がある。障害物がない場合、無人運転車は、所定の走行経路に沿って走行し続けることができる。上記障害物回避ポリシーは、所定の走行経路を変更することと、障害物を避けることと、減速走行と、停止などを含む。

本実施例において、無視できる障害物に対し、無人運転車は、所定の走行経路に従って走行するように対応することもそれを回避するポリシーである。

制御システムは、全ての障害物に対し無視できる障害物であるかの判断を正確に行うことができないため、無視できる障害物を無視できない障害物と誤判定すると、無人運転車両が走行中において障害物を避けることや、減速走行又は迂回すること等の障害物回避ポリシーを採用することにより走行時間を延長する現象が発生する。

上記所定のユーザは、所定の端末デバイスの画面において上記障害物情報を観察することができる。障害物自体が無人運転車に損害を与えない場合で且つ、無人運転車が障害物を通過したとしても障害物に重大な損害を与えない場合、上記障害物は無視できる障害物とされてもよい。そうでなければ、障害物は、無視できないものとされる。上記障害物は、例えば、地上に生える草、高空から垂れ下がる樹葉、糸条などであってもよい。

所定のユーザは、障害物の種別に対する判定結果を所定の端末デバイスに入力することができる。上記判定結果は、例えば、文字入力ウィンドウや音声入力ウィンドウを介して入力することができる。また、所定の端末のスクリーンに表示された障害物類の選択肢により、上記判定結果を入力するようにしてもよい。

上記所定の端末デバイスは、上記障害物の種別情報を上記実行主体に送信してもよい。

いくつかの適用シーンにおいて、上記所定のユーザは、例えば車両安全員など、無人運転車内にいるユーザであってもよい。

他のいくつかの適用シーンにおいて、上記所定のユーザは、遠隔サーバ側に位置する遠隔監視ユーザ等であってもよい。

ステップ２０３において、種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定する。

本実施例では、上記種別情報により、障害物が無視可能な障害物に属することが示された場合、上記実行本体は、無人運転車が所定の走行経路に沿って走行し続けることを指示する回避指令を生成する。

上記種別情報により、障害物が無視できない障害物であることが示された場合、上記実行主体は、所定の走行経路を変更して障害物を避けるための迂回走行経路や、迂回走行速度等を含む回避指令を生成する。

本実施例のいくつかの選択可能な実現形態において、上記種別情報により、上記障害物が無視できない障害物に属することが示された場合、無人運転車の現在状態情報及び障害物情報を事前訓練済みの障害物回避モデルに入力して回避指令を生成し、上記障害物回避モデルは、複数の履歴回避記録を用いて初期回避モデルに対し訓練したものである。

上記障害物回避ポリシモデルは、例えばニューラルネットワークに基づく障害物回避ポリシモデル、 ＤＲＬ（Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ、深さ補強学習）に基づく障害物回避ポリシモデルなど、従来の様々な障害物回避ポリシモデルでとされてもよい。

これらの実施形態において、所定のユーザにより入力された種別情報は、障害物が無視できない障害物に属することを示す場合、無人運転車の現在状態、障害物の位置等の関連データを事前訓練済みの障害物回避ポリシーモデルに入力して、障害物回避指令を生成することができる。車両の現在状態情報の示す現在状態は、例えば、車両の現在位置、車速、加速度、姿勢角等を含むことができる。上記回避指令は、例えば、迂回走行経路、迂回走行速度等を含んでもよく、また、停止指令等を含んでもよい。

これらの選択可能な実施形態において、回避ポリシーモデルを用いて無視できない障害物に対して、車両と障害物との衝突を回避するための回避指令を生成することにより、回避指令を速く生成することができる。

引き続き図３を参照する。図３は、本実施例に係る無人運転車の障害物回避方法の適用シーン３００の概略図である。図３の適用シーンにおいて、無人運転車３０１上の車載センサは、無人運転車３０１の環境データをリアルタイムに収集することができる。無人運転車３０１の所定の走行経路には障害物３０３がある。上記障害物３０３は、例えば草であってもよい。車載制御ユニット３０２は、取得した無人運転車の現在状態での環境データに基づき、無人運転車の所定の走行経路に障害物３０４があると判定する。そして、制御ユニット３０２は、無人運転車の進行方向に障害物が存在すると判定した場合には、障害物の画像及び位置情報を含む障害物情報を、所定の端末デバイスに表示画面に表示させるために所定の端末デバイスに送信し、所定の端末デバイスの表示画面に障害物情報３０５を表示させる。次に、制御ユニット３０２は、所定の端末デバイスから、所定のユーザが障害物の画像に基づいて所定の端末デバイスに入力した障害物の種別情報３０６を受信する。ここで、障害物の種別情報３０６は、障害物が無視できる障害物であることを示す情報である。最後に、制御ユニット３０２は、所定のユーザにより入力された障害物の種別情報により、障害物が無視できるものであることが示された場合は、所定の経路を走行し続ける指示３０７を生成する。

本出願の上記実施例が提供する方法は、所定の走行経路に障害物があると判定したことに応答して、障害物情報を所定の端末デバイスに送信し、所定の端末デバイスは、その表示画面に障害物情報を表示させ、その後、所定の端末デバイスから、所定のユーザが障害物情報に基づいて所定の端末デバイスに入力した障害物の種別情報を受信し、最後に、上記種別情報に示された障害物の種別に基づき、無人運転車の障害物回避指令を決定する。

上記方法は、所定の端末デバイスをヒューマンコンピュータインタラクションインタフェースとすることにより、無人運転車は障害物類別に対するユーザの判定を受信し、障害物類別に対する所定のユーザの判定に基づいて回避指令を決定することができる。上記方法は、無人運転車の走行中に、障害物を人為的に補助して認識し、且つ上記補助認識結果に基づいて回避指令を決定することにより、障害物回避のために減速走行、迂回又は停止等の操作を実行することを減少することができ、それにより、全ての障害物を回避することによる運転時間の延長を抑制することができる。

続けて、図４を参照する。図４は、無人運転車用の障害物回避方法の他の実施例のフロー４００を示す。該無人運転車用の障害物回避方法のフロー４００は、以下のステップを含む。

ステップ４０１において、所定の走行経路に障害物があることを判定したことに応答し、事前訓練済みの障害物種別識別モデルを用いて、障害物の参照種別情報を判定する。

本実施例では、無人運転車用の障害物回避方法の実行主体（例えば図１に示す制御システム）内に、事前訓練済みの障害物種別識別モデルを設けることができる。又は、上記実行主体は、有線ネットワークまたは無線ネットワークを介して障害物種別識別モデルが設けられた電子デバイスと通信してもよい。上記障害物種別識別モデルは、入力された障害物情報に基づいて障害物の参照種別情報を決定するために用いられる。

上記事前訓練済みの障害物種別識別モデルは、複数の履歴障害物情報と、当該複数の履歴障害物情報のそれぞれに基づいて設定された障害物の種別情報を用いて、初期障害物種別識別モデルを訓練して得られたものであってもよい。上記事前訓練済みの障害物種別識別モデルは、障害物情報により、障害物の参照種別情報を決定するために用いられる。

上記参照種別情報は、障害物が無視できる障害物であるか否かを示すための情報である。

上記障害物種別識別モデルは、例えば人工ニューラルネットワーク膜、コンボリューションニューラルネットワークモデルなど、様々な機械学習モデルであってもよい。

ステップ４０２において、種別情報により、障害物が無視できる障害物に属しないことが示された場合、障害物情報を所定の端末デバイスに送信し、所定の端末デバイスの表示画面に障害物情報を表示させる。

本実施例では、ステップ４０２において、障害物の参照種別情報の示す障害物が無視できる障害物の場合、上記実行主体は、上記障害物を無視し、無人運転車が元の走行経路に沿って走行し続けることを指示する退避指令を生成する。

上記種別情報により、障害物が無視できる障害物に属していないことが示された場合、上記実行主体は、障害物に関するデータを所定の端末デバイスに送信して、上記障害物情報を所定の端末デバイスの表示画面に表示させるようにしてもよい。

本実施例では、障害物の関連データを所定の端末デバイスに送信して表示させる前に、障害物種別識別モデルを用いて環境データを一回処理するようにする。これにより、所定のユーザが障害物の種別情報を識別する作業量を減少させ、表示された障害物を所定のユーザが処理することにかかる時間の短縮に有利である。

ステップ４０３において、表示された障害物情報に応じて所定のユーザが所定の端末デバイスに入力した、前記障害物の種別を示す障害物の種別情報を、所定の端末デバイスから受信する。

本実施例において、ステップ４０３は、図２に示す実施例のステップ２０２と同様であり、ここでは説明を省略する。

ステップ４０４において、種別情報が指示する障害物の種別に基づき、無人運転車の障害物回避指令を決定する。

本実施例において、ステップ４０４は、図２に示す実施例のステップ２０３と同様であり、ここでは説明を省略する。

図４から分かるように、図２に関連する実施例に比べ、本実施例における無人運転車用の障害物回避方法のフロー４００は、事前訓練済みの障害物種別識別モデルを採用して障害物の参照種別情報を決定ことを強調する。参照種別情報が障害物が無視できない障害物であることを示すと、障害物の関連データを所定の端末デバイスに送信するようにし、それにより、所定のユーザの判断の先に、障害物種別識別モデルによって障害物が無視できるか否かを判定することができる。よって、所定のユーザの作業量を減少させることができるとともに、無人運転車の走行時間をさらに短縮することができる。

本実施例のいくつかの選択可能な実現形態において、所定の端末デバイスから、表示された障害物情報に応じて所定のユーザが入力した障害物の種別情報を受信するステップ４０３の前に、無人運転車用の障害物回避方法は、種別情報により、障害物が無視できる障害物に属しないことが示された場合、障害物と無人運転車との間の距離を決定するステップと、当該距離がプリセット距離閾値より小さい場合、減速走行の指令を生成するステップとをさらに含む。

これらの任意の実現形態では、種別情報により、障害物が無視できる障害物に属しないことが示されたので、無人車の回避方法の実行主体は、さらに障害物と無人運転車との間の距離を決定することができる。障害物と無人運転車との間の距離が予め設定された距離閾値より小さい場合、無人運転車を減速走行させるための減速走行の指令を生成することができ、それにより、所定のユーザは、所定の端末デバイスに表示された障害物情報に基づいて障害物の種別を判定するために十分な時間があり、それにより、所定のユーザが障害物の種別を適時に判定しないことに起因する無人運転車と障害物との衝突現象を回避することができる。

本願の無人運転車用の障害物回避方法の各実施例のいくつかの選択可能な実現形態において、図２に示す実施例のステップ２０３及び図４に示す実施例のステップ４０４の前に、無人運転車用の障害物回避方法は、プリセット経路に障害物があることを提示するための提示情報を所定の端末デバイスに送信し、所定の端末デバイスに上記提示情報を再生させるステップをさらに含んでもよい。

これらの選択可能な実現方式において、上記実行主体は、所定の走行経路に障害物があると判定し、所定の端末デバイスに障害物情報を送信し、その表示画面に障害物情報を表示させると同時に、所定の端末デバイスに走行方向に障害物があると提示するための提示情報を送信することができ、それにより、所定の端末デバイスに上記提示情報を再生させることができる。これらの提示情報は、所定の端末デバイスの表示画面に表示された障害物の画像と位置情報とに基づいて障害物の種別を判定することを、所定のユーザに提示するために用いられる。

このように、所定のユーザは所定の端末デバイスの表示画面に表示された環境画像の詳細を刻々と観察することなく、提示情報を受信した時に所定の端末デバイスに表示された障害物情報を判定し、所定の走行経路における障害物の種別を判定するだけである。所定のユーザの作業量を減少させ、所定のユーザの疲労による誤判定、漏れ判定等を回避することができる。

さらに図５を参照し、上記各図に示す方法に対する実現として、本願は、無人運転車用の障害物回避装置の実施例を提供し、該装置の実施例は、図２に示す方法の実施例に対応し、該装置は、具体的に図５に示すように適用でき、本実施例の無人運転車用の障害物回避装置５００は、送信ユニット５０１、受信ユニット５０２及び指令生成ユニット５０３を含む。ここで、送信ユニット５０１は、所定の走行経路に障害物があると決定したことに応答し、障害物情報を所定の端末デバイスに送信し、その表示画面に前記障害物情報を表示させ、上記障害物情報は、前記障害物の画像及び位置情報を含む。受信ユニット５０２は、表示された障害物情報に基づいて上記所定のユーザが入力した障害物の種別情報を上記所定の端末デバイスから受信し、上記記種別情報は、前記障害物の種別を指示するために用いられる。指令生成ユニット５０３は、上記記種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定する。

本実施例において、無人運転車に用いられる障害物回避装置５００の送信ユニット５０１、受信ユニット５０２及び指令生成ユニット５０３の具体的な処理及びその奏する技術的効果は、それぞれ、図２に対応する実施例におけるステップ２０１、ステップ２０２及びステップ２０３の関連する説明を参照することができ、ここでは説明を省略する。

本実施例のいくつかの任意の実現形態において、送信ユニット５０１は、所定の走行経路に障害物があると判定したことに応答して、事前訓練済みの障害物種別識別モデルを用いて、障害物の参照種別情報を決定し、参照種別情報は、障害物が無視できる障害物であるか否かを示す情報であり、参照種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、障害物情報を所定の端末デバイスに送信して、所定の端末デバイスの表示画面に障害物情報を表示させる、ように構成され、障害物種別識別モデルは、複数の履歴障害物情報と、複数の履歴障害物情報のそれぞれに設定された履歴種別情報とを用いて学習した初期の障害物種別識別モデルであって、障害物情報に基づいて当該障害物の参照種別情報を決定するためのモデルである。

本実施例のいくつかの選択可能な実現形態において、送信ユニット５０１は、前記参照種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、障害物と前記無人運転車との間の距離を決定し、距離が予め設定された距離閾値より小さい場合、減速走行の指令を生成するように構成される。

本実施例のいくつかの選択可能な実現形態において、無人運転車に用いる障害物回避装置５００はさらに提示ユニット（図示せず）を備える。提示ユニットは、表示された障害物情報に応じて前記所定の端末デバイスに入力された、障害物の種別を示す前記障害物の種別情報を、所定の端末デバイスから受信するステップの前に、所定の端末デバイスに所定の走行経路に障害物があることを提示するための提示情報を送信し、所定の端末デバイスに前記提示情報を再生させるように構成される。

本実施例のいくつかの選択可能な実現形態において、指令生成ユニット５０３は、種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、無人運転車の現在状態情報及び障害物情報を事前訓練済みの障害物回避モデルに入力して、障害物回避指令を生成するようにさらに構成され、障害物回避モデルは、複数の履歴障害物回避の記録を用いて初期障害物回避モデルに対し訓練したモデルである。

本実施例のいくつかの選択可能な実現形態において、無人運転車に用いる障害物回避装置５００は、さらに決定ユニット（図示せず）を備える。決定ユニットは、所定の走行経路に障害物があると判定したことに応答して、障害物情報を所定の端末デバイスに送信する前に、取得された無人運転車の現在の環境データに基づき、所定の走行経路に障害物があるか否かを判定するように構成された。

次に、図６を参照して、本願の実施形態に係るサーバを実現するために好適なコンピュータシステム６００の構成を説明する。なお、図６に示したサーバはあくまで一例であり、本願の実施形態の機能や使用範囲を何ら限定するものではない。

図６に示すように、コンピュータシステム６００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１を備えており、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２に記憶されているプログラム、または記憶部６０６からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３にロードされたプログラムに従って各種の動作および処理を実行することが可能である。ＲＡＭ６０３にはまた、システム６００の動作に必要な各種のプログラムやデータが記憶されている。ＣＰＵ６０１、ＲＯＭ６０２、およびＲＡＭ６０３は、バス６０４を介して相互に接続されている。バス６０４にはまた、入出力インタフェース６０５が接続されている。

入出力インタフェース６０５には、ハードディスクなどのような記憶部６０６と、ＬＡＮカード、モデムなどのネットワークインタフェースカードなどより構成される通信部６０７とが接続されている。通信部６０７は、インターネット等のネットワークを介した通信処理を行う。入出力インタフェース６０５にはまた、必要に応じてドライブ６０８が接続される。ドライブ６０８には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６０９が適宜装着され、読み出されたコンピュータプログラムが、必要に応じて記憶部６０６にインストールされる。

特に、本開示の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、コンピュータ可読記録媒体に具現化されるコンピュータプログラムを含むコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは、通信装置６０９によりネットワークからダウンロードされてインストールされることが可能であり、又は記憶部６０６からインストールされ得る。該コンピュータプログラムがプロセッサ６０１によって実行されると、本開示の実施例の方法で限定された上記の機能を実行する。

なお、本開示の実施例に記載されたコンピュータ可読記録媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又はこれらの選択可能な組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体システム、装置もしくはデバイス、又はこれらの選択可能な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本又は複数の導線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、光メモリ、磁気メモリ、又はこれらの選択可能な適切な組み合わせを含むことができるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は、命令実行システム、装置もしくはデバイスによって使用可能な、又はそれらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本開示の実施例において、コンピュータ可読信号媒体は、ベースバンド内の、又は搬送波の一部として伝搬されるデータ信号を含むことができ、その中にコンピュータ可読プログラムコードが担持されている。かかる伝搬されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの選択可能な適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、更にコンピュータ可読記憶媒体以外の選択可能なコンピュータ可読記録媒体であってもよい。当該コンピュータ可読記録媒体は、命令実行システム、装置もしくはデバイスによって使用されるか、又はそれらに組み込まれて使用されるプログラムを、送信、伝搬又は伝送することができる。コンピュータ可読記録媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、当該任意の適切な媒体とは、電線、光ケーブル、ＲＦ（無線頻度）など、又はこれらの選択可能な適切な組み合わせを含むが、これらに限定されない。

なお、本開示の実施例の動作を実行するためのコンピュータプログラムコードは、１種以上のプログラミング言語、又はそれらの組み合わせで作成されることができ、プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む。プログラムコードは、完全にユーザのコンピュータで実行されることも、部分的にユーザのコンピュータで実行されることも、単独のソフトウェアパッケージとして実行されることも、部分的にユーザのコンピュータで実行されながら部分的にリモートコンピュータで実行されることも、又は完全にリモートコンピュータもしくはサーバで実行されることも可能である。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、又は（例えば、インターネットサービスプロバイダによるインターネットサービスを介して）外部のコンピュータに接続することができる。

図面のうちのフローチャート及びブロック図は、本出願の様々な実施例に係るシステム、方法及びコンピュータプログラム製品によって実現できるアーキテクチャ、機能及び動作の表示例である。これについては、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント、又はコードの一部を表すことができる。当該モジュール、プログラムセグメント、又はコードの一部には、所定のロジック機能を実現するための１つ又は複数の実行可能命令が含まれている。さらに注意すべきなのは、一部の代替となる実施態様においては、ブロックに示されている機能は図面に示されているものとは異なる順序で実行することも可能である。例えば、連続して示された二つのブロックは、実際には係る機能に応じて、ほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。さらに注意すべきなのは、ブロック図及び／又はフローチャートにおけるすべてのブロック、ならびにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は動作を実行する専用のハードウェアベースのシステムで実現することもできれば、専用のハードウェアとコンピュータ命令との組み合わせで実現することもできる。

本願の実施例に関連して説明したユニットはソフトウェアの形態によって実現でき、ハードウェアの形態によって実現できる。記述されたユニットはプロセッサに設けられてもよく、例えば、「一種類のプロセッサは、送信ユニットと、受信ユニットと、指令生成ユニットユニットを含む」と記述することができる。ここで、これらのユニットの名称はある場合に該ユニット自体を限定するものではなく、例えば、送信ユニットは、さらに「所定の走行経路に障害物があると判定したことに応答し、障害物情報を所定の端末デバイスに送信し、当該端末デバイスの表示画面に表示させるように構成されたユニット」と記述してもよい。

他の態様として、本願は、さらにコンピュータ読み取り可能な媒体を提供し、該コンピュータ読み取り可能な媒体は、上記実施例に記載の装置に備えれてもよいく、又は、該装置に組み込まれず別に設けられてもよい。上記コンピュータ読み取り可能な媒体に一つ又は複数のコンピュータプログラムが搭載され、上記一つ又は複数のコンピュータプログラムが該装置に実行されると、所定の走行経路に障害物があると判定したことに応答して、障害物の画像及び位置情報を含む障害物情報を、所定の端末デバイスに送信して当該端末デバイスの表示画面に表示させるステップと、所定の端末デバイスから送信された障害物の種別情報を受信するステップであって、障害物の種別情報は、表示された障害物情報に応じて前記所定の端末デバイスに入力された、障害物の種別を示す情報であるステップと、種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定するステップと、を含む操作を該装置に実行させる。

以上の記載は、本出願の好ましい実施例、及び使用された技術的原理に関する説明に過ぎない。当業者であれば、本出願に係る発明の範囲が、上記の技術的特徴の特定の組み合わせからなる解決策に限定されるものではなく、上記の本出願の趣旨を逸脱しない範囲で、上記の技術的特徴又はそれらの同等の特徴の選択可能な組み合わせからなる他の解決策も含むべきであることを理解すべきである。例えば、上記の特徴と本出願に開示された類似の機能を有する技術的特徴（それらに限られない）とを相互に置き換えてなる解決策が該当する。

本願は、２０１８年１１月３０日に提出され、出願番号が２０１８１１４５８４０６．９、出願人がバイドゥ・オンライン・ネットワーク・テクノロジー（ベイジン）・カンパニー・リミテッド、発明の名称が「無人運転車用の障害物回避方法及び装置」の中国特許出願に基づく優先権を主張する。当該出願の全文は、本願に援用されている。

Claims (13)

1. 無人運転車用の障害物回避方法であって、
   所定の走行経路に障害物があると判定したことに応答して、事前訓練済みの障害物種別識別モデルを用いて、前記障害物の参照種別情報を決定するステップであって、前記参照種別情報は、前記障害物が無視できる障害物であるか否かを示す情報であり、前記障害物種別識別モデルは、複数の履歴障害物情報と、前記複数の履歴障害物情報のそれぞれに設定された履歴種別情報とを用いて学習した初期の障害物種別識別モデルであって、障害物情報に基づいて当該障害物の参照種別情報を決定するためのモデルである、ステップと、
   前記参照種別情報により、前記障害物が無視できる障害物ではないことが示されることに応答して、前記障害物の画像及び位置情報を含む障害物情報を、所定の端末デバイスに送信して当該端末デバイスの表示画面に表示させるステップと、
   前記表示された障害物情報に応じて前記所定の端末デバイスに入力された、前記障害物の種別を示す前記障害物の種別情報を、前記所定の端末デバイスから受信するステップであって、前記障害物の種別には、無視できる障害物と無視できない障害物がある、ステップと、
   前記種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定するステップと、
   を含む、方法。
2. 前記表示された障害物情報に応じて前記所定の端末デバイスに入力された、前記障害物の種別を示す前記障害物の種別情報を、前記所定の端末デバイスから受信するステップの前に、
   前記参照種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、前記障害物と前記無人運転車との間の距離を決定するステップと、
   前記距離が予め設定された距離閾値より小さい場合、減速走行の指令を生成するステップと、
   を更に含む、請求項１に記載の方法。
3. 前記表示された障害物情報に応じて前記所定の端末デバイスに入力された、前記障害物の種別を示す前記障害物の種別情報を、前記所定の端末デバイスから受信するステップの前に、
   所定の走行経路に障害物があることを提示するための提示情報を前記所定の端末デバイスに送信して、前記所定の端末デバイスに前記提示情報を再生させるステップを更に含む、
   請求項１に記載の方法。
4. 前記種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定するステップは、
   前記種別情報により、前記障害物が無視できる障害物ではないことが示されることに応答して、前記無人運転車の現在状態情報及び障害物情報を事前訓練済みの障害物回避モデルに入力して、障害物回避指令を生成するステップを更に含み、
   前記障害物回避モデルは、複数の履歴障害物回避の記録を用いて初期障害物回避モデルに対し訓練したモデルである、
   請求項１に記載の方法。
5. 所定の走行経路に障害物があると判定したことに応答して、障害物情報を所定の端末デバイスに送信するステップの前に、
   取得された無人運転車の現在の環境データに基づき、所定の走行経路に障害物があるか否かを判定するステップを更に含む、
   請求項１に記載の方法。
6. 無人運転車用の障害物回避装置であって、
   所定の走行経路に障害物があると判定したことに応答して、事前訓練済みの障害物種別識別モデルを用いて、前記障害物の参照種別情報を決定し、前記参照種別情報により、前記障害物が無視できる障害物ではないことが示されることに応答して、前記障害物の画像及び位置情報を含む障害物情報を、所定の端末デバイスに送信して当該端末デバイスの表示画面に表示させるように構成された送信ユニットであって、前記参照種別情報は、前記障害物が無視できる障害物であるか否かを示す情報であり、前記障害物種別識別モデルは、複数の履歴障害物情報と、前記複数の履歴障害物情報のそれぞれに設定された履歴種別情報とを用いて学習した初期の障害物種別識別モデルであって、障害物情報に基づいて当該障害物の参照種別情報を決定するためのモデルである、送信ユニットと、
   前記表示された障害物情報に応じて前記所定の端末デバイスに入力された、前記障害物の種別を示す前記障害物の種別情報を、前記所定の端末デバイスから受信するように構成された受信ユニットであって、前記障害物の種別には、無視できる障害物と無視できない障害物がある、受信ユニットと、
   前記種別情報の示す障害物の種別に基づいて、無人運転車の障害物回避指令を決定するように構成された指令生成ユニットと、
   を備える、装置。
7. 前記送信ユニットは、さらに、
   前記参照種別情報により、障害物が無視できる障害物ではないことが示されることに応答して、前記障害物と前記無人運転車との間の距離を決定し、
   前記距離が予め設定された距離閾値より小さい場合、減速走行の指令を生成する、
   ように構成された、請求項６に記載の装置。
8. 前記装置は、提示ユニットを更に備え、
   前記提示ユニットは、
   前記表示された障害物情報に応じて前記所定の端末デバイスに入力された、前記障害物の種別を示す前記障害物の種別情報を、前記所定の端末デバイスから受信するステップの前に、前記所定の端末デバイスに所定の走行経路に障害物があることを提示するための提示情報を送信し、前記所定の端末デバイスに前記提示情報を再生させる、
   ように構成される、請求項６に記載の装置。
9. 前記指令生成ユニットは、さらに、
   前記種別情報により、前記障害物が無視できる障害物ではないことが示されることに応答して、前記無人運転車の現在状態情報及び障害物情報を事前訓練済みの障害物回避モデルに入力して、障害物回避指令を生成するように構成され、
   前記障害物回避モデルは、複数の履歴障害物回避の記録を用いて初期障害物回避モデルに対し訓練したモデルである、
   請求項６に記載の装置。
10. 前記装置は、決定ユニットを更に備え、
    前記決定ユニットは、
    所定の走行経路に障害物があると判定したことに応答して、障害物情報を所定の端末デバイスに送信する前に、取得された無人運転車の現在の環境データに基づき、所定の走行経路に障害物があるか否かを判定するように構成された、
    請求項６に記載の装置。
11. 電子デバイスであって、
    １または複数のプロセッサと、
    １または複数のプログラムが記憶された記憶装置と、を含み、
    前記１又は複数のプログラムが前記１又は複数のプロセッサにより実行されると、前記１又は複数のプロセッサに、請求項１～５のいずれか一項に記載の方法を実行させる、電子デバイス。
12. コンピュータプログラムを記憶したコンピュータ読み取り可能な記録媒体であって、
    当該コンピュータプログラムがプロセッサに実行されると、請求項１～５のいずれか一項に記載の方法を実行させるコンピュータ読み取り可能な記録媒体。
13. コンピュータプログラムであって、
    プロセッサに実行される時に請求項１～５のいずれか一項に記載の方法を実現するコンピュータプログラム。

Images