JP7025372B2 - 物体識別装置、方法およびシステム - Google Patents

Description

本発明は、物体識別装置、方法およびシステムに係り、特に、コネクテッドカーの自動運転に好適な物体識別装置、方法およびシステムに関する。

近年、車両の走行方向に存在する物体を各種のセンサで識別し、物体識別の結果が障害物であれば、これを回避するようにハンドルを自動的に操舵し、あるいは運転者や遠隔地のオペレータに識別結果を通知する技術が提案されている。一方、IoT (Internet of Things)の典型として、インターネットへの常時接続機能を具備したコネクテッドカーが注目されている。

特許文献１には、自車両のヘッドライトの配光状態に基づき、物体識別に用いる認識辞書の認識条件を変更し、変更した認識辞書に基づき、自車両の前方を撮影した映像から物体認識を行う技術が開示されている。

特許文献２には、走行環境が急激に変化した場合、カメラでは認識困難な対象物を他の検出手段で検出する技術が開示されている。具体的には、前のフレームで検出していた対象物の消失を検出し、その対象物の方向にレーザーを照射して対象物の距離情報を出力する。

特許文献３には、画像内での物体認識範囲を、採用する画像処理装置に応じて変更することで、物体認識に係る処理量を削減する技術が開示されている。

特開2017-165345号公報 特許第6471528号公報 特許第5777389号公報

車両走行の障害物となる可能性のある物体は多種多様であり、物体を識別する学習モデル（識別モデル）はあらゆる物体を識別できるように学習させる必要がある。しかしながら、このような万能型の識別モデルは、容量が同等であれば、識別対象を限定した専用の識別モデルに比べて識別率が低下する。

一方、障害物となる可能性のある物体ごとに専用の識別モデルを用意すると、識別モデルの保持に多くの記憶容量が消費され、かつ全ての識別モデルを同時に稼働させるとコンピュータリソースが不足する。

特許文献１では、ヘッドライトの配光状態から認識するパラメータを変更することで認識精度を向上できる一方、同じ光源の状態下において、商店街、一般高速道、郊外の一般道などの環境の変化に応じて、識別対象を変更することができない。

特許文献２では、環境変化時の認識精度の向上が可能である一方、認識する対象物が同じであるため、サーバの処理負荷やデータ蓄積量の削減は困難である。

特許文献３では、周辺環境に応じた識別方法を切り替えることが困難である。

本発明の目的は、上記の技術課題を解決し、走行障害物となる可能性のある物体ごとに、その識別用に最適化された複数種の専用モデルを予め用意し、各車両の周囲環境に応じた一部の専用モデルのみを選択的に各車両にダウンロードして物体識別に利用することで、限られたメモリ容量を有効利用し、より正確かつ高速な物体識別を可能にする物体識別装置、方法およびシステムを提供することにある。

上記の目的を達成するために、本発明は、車載カメラの映像を識別モデルに適用して物体識別を行う物体識別装置において、以下の構成を具備した点に特徴がある。

(1) 複数種の識別モデルを記憶する手段と、車載カメラの映像に基づいて周囲環境の特徴を識別する手段と、周囲環境の特徴に基づいて走行環境を推定する手段と、走行環境の推定結果に基づいて一部の識別モデルを選択する手段と、車載カメラの映像を前記選択した識別モデルに適用して物体識別を行う手段とを具備した。

(2) 車両の周囲環境に固有のセンサ出力を取得する手段を更に具備し、前記周囲環境の特徴を識別する手段は、車載カメラの映像およびセンサ出力に基づいて周囲環境の特徴を識別するようにした。

(3) 周囲環境の特徴を識別する手段は、移動体の識別に好適な第１環境辞書、不動産の識別に好適な第２環境辞書および交通／道路標識の識別に好適な第３環境辞書を併用して移動体および不動産を識別するようにした。

本発明によれば、以下のような効果が達成される。

(1) 走行障害物となる可能性のある物体ごとに、その識別用に最適化された複数種の専用の識別モデルを予め用意し、各車両の周囲環境に応じた一部の専用識別モデルのみが選択的に各車両にダウンロードされて物体識別に利用される。したがって、各車両は全ての専用モデルを常に実装しておく必要がなくなるので、限られたメモリ容量の有効利用が可能となる。加えて、識別対象が限定されない万能型の識別モデルを実装する場合に比べて、モデルサイズが同等であれば、同一のコンピュータリソースを用いながら、より正確かつ高速な物体識別が可能となる。

(2) 車両の周囲環境を、画像ベースおよびセンサベースで推定するので、画像ベースでの推定に不向きな夜間、降雨、濃霧時等、あるいはセンサベースでの推定に不向きな形状識別、サイズ識別などで識別精度を相互に補完することができる。したがって、天候、状況、物体の形状等に関わらず、常に高い識別精度が得られるようになる。

(3) 車両の周囲環境を推定するにあたり、その推定パラメータとして、人や動物などの移動体、ビルや住宅などの不動産および交通標識や信号機などに注目し、移動体識別に好適な第１環境辞書、不動産識別に好適な第２環境辞書および交通／道路標識の識別に好適な第３環境辞書を併用して移動体および不動産を優先的に識別するので、周囲環境を正確に推定できるようになる。

本発明の一実施形態に係る物体識別装置の機能ブロック図である。 本発明の物体識別装置を適用したネットワークの構成を示した図である。 物体識別装置の各機能をコネクテッドカーおよびサーバに分散実装する第１の例を示した機能ブロック図である。 第１の実装例における物体識別のシーケンスフローである。 物体識別装置の各機能をコネクテッドカーおよびサーバに分散実装する第２の例を示した機能ブロック図である。 第２の実装例における物体識別のシーケンスフローである。 走行環境と識別モデルとの関係を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る物体識別装置１の機能ブロック図であり、コネクテッドカー等の車両に搭載したカメラ（以下、車載カメラで総称する）が撮影した映像に基づいて、車両走行の障害となる人物、動物その他の物体（以下、「物体」で代表する）を識別する。

カメラ映像取得部１０２は、車載カメラ１０１からカメラ映像を取得して出力する。環境センサ１０３は、各物体までの距離、騒音、温度、湿度、明るさなどの周囲環境に固有のパラメータを計測する。各センサ出力は、センサインタフェース（I/F）１０４から出力される。

周囲環境識別部１０５は、特に車両数や人物数などの移動体の識別用に構築された第１環境辞書１０５ａ、特に建物の数や高さなどの不動産の識別用に構築された第２環境辞書１０５ｂ、特に案内標識、交通標識、信号機および横断歩道等の交通／道路標識の識別用に構築された第３環境辞書１０５ｃを含む複数の辞書を備え、カメラ映像およびセンサ出力を少なくとも一つの識別辞書に適用することで、自車両周辺の車両数、人物数、建物の数およびその高さ、ならびに道路標識などの周囲環境の特徴を識別する。

走行環境推定部１０６は環境識別モデル１０６ａを含み、前記周囲環境識別部１０５が出力する識別結果に基づいて車両の走行環境を推定する。本実施形態では、走行環境が「商店街」またはこれに類する環境、「郊外」またはこれに類する環境、「高速道路」またはこれに類する環境を含む多数の走行環境候補のいずれであるかが推定される。例えば、多数の人物が識別されていると「商店街」またはこれに類する環境と推定される可能性が高い。また、横断歩道や信号機が識別されずに高速道路に固有の案内標識や速度制限標識が識別されていると「高速道路」またはこれに類する環境と推定される可能性が高い。

識別モデルデータベース（DB）１０７には、一時置物の識別用にチューニングされた一時置物識別モデル１０７ａ，標識の識別用にチューニングされた標識識別モデル１０７ｂおよび歩行者数の識別用にチューニングされた歩行者数識別モデル１０７ｃを含む多数の専用識別モデルが蓄積されている。

識別モデル選択部１０８は、前記走行環境推定部１０６による走行環境の推定結果に基づいて、前記識別モデルDB１０７から１ないし複数の識別モデルを選択する。本実施形態では、図７に示したように、走行環境が「商店街」と推定されると、一時置物識別モデル１０７ａおよび歩行者数識別モデル１０７ｃが優先的に選択される。走行環境が「郊外」と推定されると、一時置物識別モデル１０７ａおよび標識識別モデル１０７ｂが優先的に選択される。走行環境が「高速道路」と推定されると、一時置物識別モデル１０７ａが優先的に選択される。

物体識別部１０９は、車載カメラ１０１が撮影した映像に前記選択された識別モデル（１０９ａ，１０９ｂ）を適用して物体識別を実行する。物体識別の結果は、自動運転におけるハンドル操作、アクセル操作あるいは制動操作に反映され、あるいは当該車両を直接または遠隔操作するドライバ（オペレータ）に提供するメッセージに反映される。

このような物体識別装置１は、汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成することもできる。

図２は、前記物体識別装置１が適用されるネットワークの構成を示した図であり、物体識別装置１の主要な機能が実装されるサーバ３、および当該サーバ３とネットワークNWおよび無線基地局BSを中継して無線接続される多数のコネクテッドカー２から構成され、各コネクテッドカー２に前記車載カメラ１０１および環境センサ１０３が搭載されている。

図３は、物体識別装置１の各機能をコネクテッドカー２およびサーバ３に分散実装する第１の例を示した機能ブロック図であり、ここでは、車載カメラ１０１、カメラ映像取得部１０２、環境センサ１０３、センサI/F１０４および物体識別部１０９がコネクテッドカー２に実装され、その他の機能がサーバ３に実装されている。

図４は、第１の実装例における物体識別のシーケンスフローであり、コネクテッドカー２では、時刻t1において車載カメラ１０１による撮影が開始される。時刻t2では、周囲環境センサ１０３により周囲環境が計測される。時刻t3では、車載カメラ映像および各センサ出力がネットワーク経由でサーバ３へアップロードされる。

サーバ３では、時刻t4において周囲環境識別部１０５が前記車載カメラの映像およびセンサ出力を複数の環境辞書１０５ａ，１０５ｂに適用することで、自車両の周囲環境の特徴として、車両数、人物数、建物の数およびその高さなどを識別する。

時刻t5では、前記識別結果が走行環境推定部１０６の環境推定モデル１０６ａに適用されて、コネクテッドカー２の走行環境が「商店街」、「郊外」、「高速道路」あるいは「その他」のいずれであるかが推定される。時刻t6では、前記走行環境の推定結果に基づいて、識別モデル選択部１０８が識別モデルDB１０７から最適な識別モデルを選択する。時刻t7では、前記選択された識別モデルがコネクテッドカー２へ配信される。

コネクテッドカー２は、前記識別モデルが配信されると、時刻t8では、物体識別部１０９が現在の識別モデルに代えて今回の識別モデルをインストールする。時刻t9では、前記識別モデルにカメラ映像を適用することで物体識別が実行される。時刻t10では、前記物体識別の結果が自車両の自動運転制御や運転者等へ通知されるメッセージに反映される。

図５は、物体識別装置１の各機能をコネクテッドカー２およびサーバ３に分散実装する第２の例を示した図であり、ここでは、車載カメラ１０１、カメラ映像取得部１０２、環境センサ１０３、センサI/F１０４および物体識別部１０９に加えて、周囲環境識別部１０５がコネクテッドカー２に実装され、その他の機能がサーバ３に実装されている。

図６は、第２の実装例における物体識別のシーケンスフローであり、コネクテッドカー２では、時刻t1において車載カメラ１０１による撮影が開始される。時刻t2では、周囲環境センサ１０３により周囲環境が計測される。時刻t3では、周囲環境識別部１０５が前記車載カメラ映像およびセンサ出力を複数の環境辞書１０５ａ，１０５ｂに適用することで、自車両周辺の車両数、人物数、建物の数およびその高さなどを識別する。時刻t4では、周囲環境の識別結果がサーバ３へアップロードされる。

時刻t5では、アップロードされた識別結果が走行環境推定部１０６の環境推定モデル１０６ａに適用されて、コネクテッドカー２の走行環境が「郊外」、「都内」、「商店街」あるいは「その他」のいずれであるかが推定される。時刻t6では、前記走行環境の推定結果に基づいて、識別モデル選択部１０８が識別モデルDB１０７から最適な識別モデルを選択する。時刻t7では、前記選択された識別モデルがコネクテッドカー２へ配信される。

コネクテッドカー２は、前記識別モデルが配信されると、時刻t8では、物体識別部１０９が現在の識別モデルに代えて今回の識別モデルをインストールする。時刻t9では、前記識別モデルにカメラ映像を適用することで物体識別が実行される。時刻t10では、前記物体識別の結果が自車両の自動運転制御や運転者等へ通知されるメッセージに反映される。

１...物体識別装置，２...コネクテッドカー，３...サーバ，１０１...車載カメラ，１０２...カメラ映像取得部，１０３...環境センサ，１０４...センサインタフェース（I/F），１０５...周囲環境識別部，１０５ａ...第１環境辞書，１０５ｂ...第２環境辞書，１０５ｃ...第３環境辞書，１０６...走行環境推定部，１０６ａ...環境識別モデル，１０７...識別モデルDB，１０７ａ...一時置物識別モデル，１０７ｂ...標識識別モデル，１０７ｃ...歩行者数識別モデル，１０８...識別モデル選択部，１０９...物体識別部

Claims (13)

1. 車載カメラの映像を識別モデルに適用して物体識別を行う物体識別装置において、
   識別対象である走行障害物ごとに識別モデルを記憶する手段と、
   車載カメラの映像に基づいて周囲環境の特徴を識別する手段と、
   周囲環境の特徴に基づいて走行環境を推定する手段と、
   走行環境の推定結果に基づいて、当該走行環境に固有の走行障害物に対応する一部の識別モデルを選択する手段と、
   車載カメラの映像を前記選択した識別モデルに適用して物体識別を行う手段とを具備し、
   前記周囲環境の特徴を識別する手段は、移動体の識別に好適な第１環境辞書、不動産の識別に好適な第２環境辞書および交通／道路標識の識別に好適な第３環境辞書の少なくとも一つを用いて周囲環境の特徴を識別することを特徴とする物体識別装置。
2. 車両の周囲環境に固有のセンサ出力を取得する手段を更に具備し、
   前記周囲環境の特徴を識別する手段は、車載カメラの映像およびセンサ出力に基づいて周囲環境の特徴を識別することを特徴とする請求項１に記載の物体識別装置。
3. 前記走行環境を推定する手段は、走行環境が、商店街またはこれに類する環境、郊外またはこれに類する環境、高速道路またはこれに類する環境、を含む複数の走行環境候補のいずれであるかを推定することを特徴とする請求項１または２に記載の物体識別装置。
4. 車載カメラの映像を識別モデルに適用して物体識別を行う物体識別装置において、
   識別対象である走行障害物ごとに識別モデルを記憶する手段と、
   車載カメラの映像に基づいて周囲環境の特徴を識別する手段と、
   周囲環境の特徴に基づいて走行環境を推定する手段と、
   走行環境の推定結果に基づいて、当該走行環境に固有の走行障害物に対応する一部の識別モデルを選択する手段と、
   車載カメラの映像を前記選択した識別モデルに適用して物体識別を行う手段とを具備し、
   前記走行環境を推定する手段は、走行環境が、商店街またはこれに類する環境、郊外またはこれに類する環境、高速道路またはこれに類する環境、を含む複数の走行環境候補のいずれであるかを推定することを特徴とする物体識別装置。
5. 前記識別モデルの一つが歩行者数識別用であることを特徴とする請求項１ないし４のいずれかに記載の物体識別装置。
6. 前記識別モデルの一つが交通／道路標識の識別用であることを特徴とする請求項１ないし５のいずれかに記載の物体識別装置。
7. 前記識別モデルの一つが一時置物識別用であることを特徴とする請求項１ないし６のいずれかに記載の物体識別装置。
8. コンピュータが、車載カメラの映像を識別モデルに適用して物体識別を行う物体識別方法において、
   車載カメラの映像に基づいて周囲環境の特徴を識別する手順と、
   周囲環境の特徴に基づいて走行環境を推定する手順と、
   識別対象である走行障害物ごとに記憶した識別モデルから、走行環境の推定結果に基づいて、当該走行環境に固有の走行障害物に対応する一部の識別モデルを選択する手順と、
   車載カメラの映像を前記選択した識別モデルに適用して物体識別を行う手順とを含み、
   前記周囲環境の特徴を識別する手順では、移動体の識別に好適な第１環境辞書、不動産の識別に好適な第２環境辞書および交通／道路標識の識別に好適な第３環境辞書の少なくとも一つを用いて周囲環境の特徴を識別することを特徴とする物体識別方法。
9. 車両の周囲環境に固有のセンサ出力を取得する手順を更に含み、
   前記周囲環境の特徴を識別する手順では、車載カメラの映像およびセンサ出力に基づいて周囲環境の特徴を識別することを特徴とする請求項８に記載の物体識別方法。
10. 車両の車載カメラの映像をサーバが識別モデルに適用して物体識別を行う物体識別システムにおいて、
    前記車両が、
    車載カメラの映像をサーバへアップロードする手段を具備し、
    前記サーバが、
    識別対象である走行障害物ごとに識別モデルを記憶する手段と、
    アップロードされた車載カメラの映像に基づいて周囲環境の特徴を識別する手段と、
    周囲環境の特徴に基づいて走行環境を推定する手段と、
    走行環境の推定結果に基づいて、当該走行環境に固有の走行障害物に対応する一部の識別モデルを選択する手段と、
    前記選択した識別モデルを前記車両へ配信する手段とを具備し、
    前記車両が更に、
    前記サーバから配信された識別モデルを既存の識別モデルに代えてインストールする手段と、
    前記車載カメラの映像を前記インストールした識別モデルに適用して物体識別を行う手段とを具備したことを特徴とする物体識別システム。
11. 前記車両が、
    車両の周囲環境に固有のセンサ出力を取得する手段を更に具備し、
    前記アップロードする手段は、車載カメラの映像およびセンサ出力をアップロードし、
    前記サーバにおいて、周囲環境の特徴を識別する手段は、アップロードされた車載カメラの映像およびセンサ出力に基づいて周囲環境の特徴を識別することを特徴とする請求項１０に記載の物体識別システム。
12. 車両の車載カメラの映像をサーバが識別モデルに適用して物体識別を行う物体識別システムにおいて、
    前記車両が、
    車載カメラの映像に基づいて周囲環境の特徴を識別する手段と、
    周囲環境の特徴をサーバへアップロードする手段とを具備し、
    前記サーバが、
    識別対象である走行障害物ごとに識別モデルを記憶する手段と、
    アップロードされた周囲環境の特徴に基づいて走行環境を推定する手段と、
    走行環境の推定結果に基づいて、当該走行環境に固有の走行障害物に対応する一部の識別モデルを選択する手段と、
    前記選択した識別モデルを前記車両へ配信する手段とを具備し、
    前記車両が更に、
    前記サーバから配信された識別モデルを既存の識別モデルに代えてインストールする手段と、
    前記車載カメラの映像を前記インストールした識別モデルに適用して物体識別を行う手段とを具備したことを特徴とする物体識別システム。
13. 前記車両が、車両の周囲環境に固有のセンサ出力を取得する手段を更に具備し、
    前記周囲環境の特徴を識別する手段は、車載カメラの映像およびセンサ出力に基づいて周囲環境の特徴を識別することを特徴とする請求項１２に記載の物体識別システム。

Images