JP6923362B2 - 操舵角決定装置、自動運転車 - Google Patents

Description

本開示は、自動操舵に関する。

特許文献１は、移動物体を追跡する技術に関し、移動物体の移動シーンを選択し、選択された移動シーンに基づき追跡パラメータを推定する手法を開示している。

特開２０１２−０５９２２４号公報

上記先行技術は、移動シーンの選択の精度、さらには追跡自体の精度が不十分であった。本開示は、上記を踏まえ、進行方向のシーンに基づく自動操舵の精度を向上させることを解決課題とする。

本開示の一形態は、進行方向のシーンに応じた操舵角（ｚ_k）を出力する操舵角決定部（Ｓ２００）と；前記操舵角出力部によって出力された操舵角を修正して得られる値を、操舵角の最終値（ｘ_k）として出力する最終値出力部（Ｓ３００）とを備え；前記最終値出力部は、過去に出力した最終値に基づき、前記修正を実施し；前記操舵角出力部は；前記進行方向のシーンを撮像して得られる画像から取得された入力データが入力されると、複数回のプーリング処理によって７×７までに情報が圧縮された前記入力データの特徴量を表すシーン特徴量（λ）を出力する特徴量出力部（２１０）と；前記シーン特徴量が入力されると、操舵角を出力する操舵角出力部（２２０）とを備える操舵角決定装置である。この形態によれば、進行方向のシーンに基づく特徴量を用いる点、及び、過去に出力した最終値に基づき修正された値が出力される点によって、進行方向のシーンに基づく自動操舵の精度が向上する。

本開示の他の形態は、進行方向のシーンに応じた操舵角を出力する操舵角決定部と；前記操舵角出力部によって出力された操舵角を修正して得られる値を、操舵角の最終値として出力する最終値出力部とを備え；前記最終値出力部は、過去に出力した最終値に基づき、前記修正を実施する操舵角決定装置である。この形態によれば、過去に出力した最終値に基づき修正された値が出力される点によって、進行方向のシーンに基づく自動操舵の精度が向上する。

本開示の他の形態は、進行方向のシーンを撮像して得られる画像から取得された入力データが入力されると、前記入力データの特徴量を表すシーン特徴量を出力する特徴量出力部と；前記シーン特徴量が入力されると、操舵角を出力する操舵角出力部と；を備える操舵角決定装置である。この形態によれば、進行方向のシーンに基づく特徴量を用いる点によって、進行方向のシーンに基づく自動操舵の精度が向上する。

自動運転車の概略を示すブロック図。 操舵角決定処理を示すフローチャート。 初期値決定処理を実現するためのネットワーク構造。 最終値決定処理を実現するためのネットワーク構造。 学習の手順を示すフローチャート。 エキスパートネットワークの構造図。 ゲーティングネットワークの構造図。 最終値決定処理を実現するためのネットワーク構造（実施形態３）。

実施形態１を説明する。図１に示す自動運転車１は、少なくとも自動操舵が可能なレベル以上の自動運転車である。自動運転車１は、ＥＣＵ１０を搭載する。

ＥＣＵ１０は、カメラＥＣＵである。ＥＣＵ１０は、カメラ２１とカメラ２２とから撮像データとして各画素のＲＧＢ値を取得し、後述する操舵角決定処理を実行する。

カメラ２１，２２は、自動運転車１の前方が撮像範囲内となるように搭載されている。カメラ２１，２２は、ステレオカメラを構成している。

ＥＣＵ１０は、この撮像データによって表される画像に基づき、図２に示す操舵角決定処理によって操舵角ｘ_kを決定し、ステアリング装置１５に入力する。ｘに併記された添え字は、時刻を表す。ｋは、現在時刻を表す。

ステアリング装置１５は、図示しないＥＣＵや、モータ等を備える。ステアリング装置１５は、ＥＣＵ１０から入力された操舵角ｘ_kを実現するための動作をすると共に、操舵角ｘ_kに応じてステアリングホイール１７を回転させる。

ＥＣＵ１０は、自動操舵機能がオンに設定されている間、繰り返し、操舵角決定処理を実行する。ステアリング装置１５は、自動操舵機能がオフに設定されている間、電動パワーステアリング装置として機能する。

ＥＣＵ１０は、操舵角決定処理を開始すると、Ｓ１００として、撮像データを取得する。続いて、撮像データに基づき、Ｓ２００として初期値決定処理を実行することによって、初期値ｚ_kを得る。最後に、Ｓ３００として、初期値ｚ_kを用いて最終値決定処理を実行することによって、最終値ｘ_kを得る。最終値ｘ_kは、先述したステアリング装置１５に入力される操舵角ｘ_kのことである。

図３に示すように、初期値決定処理は、畳み込みニューラルネットワーク２１０（以下、ＣＮＮ２１０）と、初期値決定部２２０との動作によって実現される。

撮像データは、入力データに変換される。入力データは、ＣＮＮ２１０に入力される。入力データは、２２７ピクセル×２２７ピクセルである。入力データの各ピクセルには、輝度値と、距離を示す値とが対応付けられている。距離とは、自動運転車１からの距離のことである。

入力データは、畳み込み層によって、中間データＣ１に変換される。中間データＣ１は、プーリング層によって、中間データＭＰ１に変換される。本実施形態では、ＭＡＸプーリングを用いる。中間データＭＰ１は、正規化層による局所コントラスト正規化によって、中間データＬＲＮ１に変換される。ＬＲＮは、Local Contrast Normalizationの頭字語である。

以下、図３に示すように、畳み込み層による中間データＣ２、プーリング層による中間データＭＰ２、正規化層による中間データＬＲＮ２、畳み込み層による中間データＣ３，Ｃ４，Ｃ５順次、得られる。中間データから抽出される７ピクセル×７ピクセル×２５６のデータを、シーン特徴量λと呼ぶ。時刻ｋにおけるシーン特徴量は、λ_kと表される。

初期値決定部２２０は、シーン特徴量λ_kが入力されると、初期値ｚ_kを出力する。初期値決定部２２０は、エクストラツリーに基づく回帰関数（Extra trees-based regression function）によって構成されている。エクストラツリーは、ランダムフォレストの一種であり、分類および回帰のための集団学習法（アンサンブル学習法ともいう）である。

次に、最終値決定処理について説明する。図４に示すように、最終値決定処理における入力は過去値ｘ_k-2，過去値ｘ_k-1及び初期値ｚ_kであり、出力は最終値ｘ_kである。過去値ｘ_k-1は、前回の最終値決定処理における最終値ｘ_kである。ｘ_k-2は、前々回の最終値決定処理における最終値ｘ_kである。最終値決定処理は、初期値ｚ_kを、過去値ｘ_k-2及び過去値ｘ_k-1に基づき修正する処理である。以下、入力値としての３つの値を入力値セットと呼ぶ。

入力値セットは、第１ネットワーク構造３１０に入力される。具体的には、入力値セットは、ゲーティングネットワーク３１１と、エキスパートネットワーク群３２０とのそれぞれに入力される。エキスパートネットワーク群３２０は、第１エキスパートネットワーク３２１と、第２エキスパートネットワーク３２２と、第３エキスパートネットワーク３２３とを備える。入力値セットは、第１〜第３エキスパートネットワーク３２１〜３２３のそれぞれに入力される。上記各種ネットワークの詳細については、これらの学習について後述する際に説明する。

ゲーティングネットワーク３１１は、入力値セットが入力されると、重みｇ_k ¹，重みｇ_k ²，及び重みｇ_k ³を出力する。ｇ_k ¹＋ｇ_k ²＋ｇ_k ³＝１である。

重みｇ_k ¹は，直進するための操舵角を、最終値ｘ_kとして出力すべき尤もらしさを意味する。重みｇ_k ²は，右に操舵するための操舵角を、最終値ｘ_kとして出力すべき尤もらしさを意味する。重みｇ_k ³は，左に操舵するための操舵角を、最終値ｘ_kとして出力すべき尤もらしさを意味する。

本実施形態におけるゲーティングネットワーク３１１は、重みｇ_k ¹，重みｇ_k ²，及び重みｇ_k ³の何れか１つの値が１に決定する。このため、残りの２つの値はゼロになる。つまり、本実施形態におけるゲーティングネットワーク３１１は、直進すべきか、右に操舵すべきか、左に操舵すべきかを、一意に決定していることになる。

第１エキスパートネットワーク３２１は、入力値セットが入力されると、操舵角θ_k ¹を出力する。操舵角θ_k ¹は、直進すべきであると仮定した場合に、入力値セットから導かれる操舵角である。

第２エキスパートネットワーク３２２は、入力値セットが入力されると、操舵角θ_k ²を出力する。操舵角θ_k ²は、右に操舵すべきであると仮定した場合に、入力値セットから導かれる操舵角である。

第３エキスパートネットワーク３２３は、入力値セットが入力されると、操舵角θ_k ³を出力する。操舵角θ_k ³は、左に操舵すべきであると仮定した場合に、入力値セットから導かれる操舵角である。

ゲーティングネットワーク３１１及びエキスパートネットワーク群３２０からの出力は、第２ネットワーク構造３３０に入力される。第２ネットワーク構造３３０に入力されるのは、３つの値である。具体的にはθ_k ¹×ｇ_k ¹、θ_k ²×ｇ_k ²、θ_k ³×ｇ_k ³が入力される。ｇ_k ¹、ｇ_k ²、ｇ_k ³のうちの２つはゼロであるので、実質的にはエキスパートネットワーク群３２０から出力された３つの値のうち、値が１である重みに対応する値のみが入力されることになる。

第２ネットワーク構造３３０は、リファインメントネットワークである。第２ネットワーク構造３３０は、２層の隠れ層から構成される。２層のそれぞれは、３２のユニットから構成される。１層目と２層目とのユニットは、全結合されている。入力層と第１層目とのユニットも全結合されており、第２層目のユニットと出力層とも全結合されている。第２ネットワーク構造３３０による微調整を経て、最終値ｘ_kが出力される。

以下、上記した各種ネットワークの学習について説明する。図５に示すように、初めに、ＣＮＮ２１０の教師あり学習を実施する。真値として与える情報は、入力データにおける各ピクセルが、自車が走行すべき道路面であるか否かを示す情報である。この学習を経ることによって、ＣＮＮ２１０は、シーン特徴量λとして、道路面に関する特徴量を出力できるようになる。

続いて、Ｓ４２０として、初期値決定部２２０の教師あり学習を実施する。真値として与える情報は、運転者がステアリングホイール１７を操作することによって定まる操舵角であり、図３には真値δ_kとして示されている。初期値決定部２２０は、このような学習によって、シーン特徴量λ_kに応じて適切な初期値ｚ_kを出力することができるように、エクストラツリーに基づく回帰関数を決定する。

次に、Ｓ４３０としてエキスパートネットワーク群３２０の教師あり学習を実施する。図６に示された添え字ｉは、１，２，３の何れかである。以下ではｉ＝１として、第１エキスパートネットワーク３２１を例にとって説明する。第１エキスパートネットワーク３２１は、図６に示すように、１層の隠れ層を有する。この隠れ層は、３２のユニットから構成される。入力層および隠れ層は、全結合されている。

上記隠れ層の各ユニットは、ＬＳＴＭから構成されている。ＬＳＴＭは、Long Short-Term Memoryの頭字語である。ＬＳＴＭは、リカレントニューラルネットワークの一種である。ＬＳＴＭは、選択的な忘却や、長期的な依存関係の学習ができるという特徴を有する。このため、初期値ｚ_kを、過去値ｘ_k-2及び過去値ｘ_k-1に基づき修正する処理に適している。

学習データは、入力値セットと真値δ_kとの多数の組み合わせである。つまり、初期値ｚ_k,過去値ｘ_k-1,過去値ｘ_k-2，真値δ_kの組み合わせについて、ｋを３以上の整数として、多数のｋの場合を学習データとする。第１エキスパートネットワーク３２１は、直進のための操舵角を出力するネットワークであるので、実際に直進している場合のみを抽出して学習データとする。抽出は、人が実施する。

図６に示すように、入力値セットを入力層に入力した場合に出力されるｘ_k ¹が、δ_kに一致するように、各ユニットの学習を実施する。

ｉ＝２，３の場合、つまり第２エキスパートネットワーク３２２，第３エキスパートネットワーク３２３の場合についても同様な学習を実施する。

Ｓ４３０の学習を経ることによって、操舵角の決定について、過去の操舵角を加味して現在の操舵角を決定できるようになるので、人が操作した場合と近い操舵角が出力できるようになる。

次に、Ｓ４４０として、ゲーティングネットワーク３１１の教師あり学習を実施する。ゲーティングネットワーク３１１の構造および学習は、エキスパートネットワーク群３２０の場合と類似しているので、エキスパートネットワーク群３２０の場合と異なる点を主に説明する。

図７に示すように、出力層は、重みｇ_k ¹，重みｇ_k ²，及び重みｇ_k ³の各値を出力する。このため、学習データは、入力値セットと、重みｇ_k ¹，重みｇ_k ²，及び重みｇ_k ³の真値との多数の組み合わせである。

重みｇ_k ¹，重みｇ_k ²，及び重みｇ_k ³の真値は、エキスパートネットワーク群３２０の学習の際にｉ＝１，２，３と分類した結果を流用する。例えば、ｉ＝１に分類された入力値セットについて学習させる場合は、ｇ_k ¹＝１，ｇ_k ²＝ｇ_k ³＝０が真値になる。

Ｓ４４０の学習を経ることによって、直進すべきか、右に操舵すべきか、左に操舵すべきかの判断結果として、人が判断した場合と近い出力が得られるようになる。

最後に、Ｓ４５０として、第２ネットワーク構造３３０の教師あり学習を実施する。第２ネットワーク構造３３０のための学習データは、図４に示されるように、学習済みのゲーティングネットワーク３１１及びエキスパートネットワーク群３２０からの出力値と、真値δ_kとである。第２ネットワーク構造３３０から出力されるｘ_kが真値δ_kに一致するように、第２ネットワーク構造３３０を構成する各ユニットの学習が実施される。Ｓ４５０の学習を経ることによって、滑らかな操舵が実現される。

本実施形態によれば、人が操作した場合と近い操舵が自動で実行できる。特に、シーン特徴量λは、複数回のプーリング処理によって、７×７までに情報が圧縮されたデータであるので、シーンの識別用として適している。この点が、上記効果に大きく貢献している。

また、過去値ｘ_k-2及び過去値ｘ_k-1に基づく修正を実施する点も、上記効果に大きく貢献している。これは、上記の修正が、ステアリング操作の学習と相性が良いからである。つまり、人が操作する場合においても、ステアリングホイールの操作量の決定において、現在において視認している前景だけではなく、過去における操作量を加味していると考えられるからである。

但し、人が操作する場合に、過去における操作量を加味しているということは、従来、明確に認知されていた訳ではない。むしろ、本実施形態の自動運転車１によって、従来よりも優れた自動操舵を実現できるという実験結果から「人が操作する場合に、過去における操作量を加味していることが推論できる」という知見が得られたと考えるべきである。

なお、本実施形態の操舵角決定処理は、パーティクルフィルタと同様な働きをしていると考えられる。つまり、操舵角決定処理は、物体の検出と追跡を同時に行う逐次追跡アルゴリズムを実現している。具体的には、現状態から起こり得る多数の次状態を、多数のパーティクルに見立て、全パーティクルの尤度に基づいた重み付け平均を次状態として予測しながら追跡を実行する処理と同種の処理であるといえる。

但し、操舵角決定処理は、特に、ＣＮＮ２１０を用いて自動車の進行方向のシーンを高精度に特定している点において、通常のパーティクルフィルタを用いる手法よりも、人が操作した場合と近い操舵が実現される。

実施形態２を説明する。実施形態２の説明は、実施形態１と異なる点を主な対象とする。特に説明しない点は、実施形態１と同じである。

実施形態２では、最終値決定処理を実施しない。ＥＣＵ１０は、ステアリング装置１５に対して、初期値ｚ_kを入力する。ステアリング装置１５は、初期値ｚ_kを用いて操舵を実現する。

本実施形態によっても、ＣＮＮ２１０を用いているので、人が操作した場合と近い操舵が実現される。

実施形態３を説明する。実施形態３の説明は、実施形態１と異なる点を主な対象とする。特に説明しない点は、実施形態１と同じである。

図８に示すように、実施形態３においては、ゲーティングネットワーク３１１にＧＰＳ信号が入力される。実施形態３においては、ゲーティングネットワーク３１１の学習においてもＧＰＳ信号が真値として入力される。このため、ゲーティングネットワーク３１１の出力の精度が更に向上する。

ＥＣＵ１０は操舵角決定装置に、ＣＮＮ２１０は特徴量出力部に、初期値決定部２２０は操舵角出力部に、Ｓ２００は操舵角決定部に、Ｓ３００は最終値出力部に対応する。

本開示は、本明細書の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下のものが例示される。

実施形態で説明した各種のネットワークについて、構造や、学習のさせ方を変更してもよい。例えば、ＣＮＮ２１０の学習において、具体的な状況を示す情報をシーンの真値として与えてもよい。具体的な状況とは、例えば、高速道路の走行中、郊外路の走行中、駐車場を走行中、高速道路のランプウェイを走行中等である。或いは、ＣＮＮ２１０を構成する層の配置を、変更してもよい。

エキスパートネットワーク群３２０を構成する各々のエキスパートネットワークがどのような出力を担当するかの構造を、変更してもよい。例えば、５つのエキスパートネットワークを用意し、直進、大きく右に操舵、小さく右に操舵、大きく左に操舵、小さく左に操舵の５パターンを担当させてもよい。

実施形態２のように初期値ｚ_kを用いて操舵を実現する形態であっても、最終値決定処理を実施してもよい。

ゲーティングネットワークが出力する各値は、ゼロ又は１でなくてもよく、ゼロより大きく１より小さい値でもよい。

第２ネットワーク構造３３０は、無くてもよい。

最終値決定処理において過去値として用いる値の数は、２つでなくてもよく、少なくとも１つあればよい。

自動操舵を適用する対象は、自動車に限られず、操舵を伴う輸送用機器であればよい。

進行方向は、前方に限られず、例えば後方でもよい。つまり、本開示の自動操舵をバック時に適用してもよい。この場合は、後方を撮像するカメラを備えるのが好ましい。

上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。

１ 自動運転車、１０ ＥＣＵ、２１０ 畳み込みニューラルネットワーク、２２０ 初期値決定部

Claims (8)

1. 進行方向のシーンに応じた操舵角（ｚ_k）を出力する操舵角決定部（Ｓ２００）と、
   前記操舵角決定部によって出力された操舵角を修正して得られる値を、操舵角の最終値（ｘ_k）として出力する最終値出力部（Ｓ３００）とを備え、
   前記最終値出力部は、過去に出力した最終値に基づき、前記修正を実施し、
   前記操舵角決定部は、
   前記進行方向のシーンを撮像して得られる画像から取得された入力データが入力されると、複数回のプーリング処理によって７×７までに情報が圧縮された前記入力データの特徴量を表すシーン特徴量（λ）を出力する特徴量出力部（２１０）と、
   前記シーン特徴量が入力されると、操舵角を出力する操舵角出力部（２２０）とを備える
   操舵角決定装置。
2. 前記操舵角決定部は、教師あり学習によって学習済みである
   請求項１に記載の操舵角決定装置。
3. 前記最終値出力部は、教師あり学習によって学習済みである
   請求項１または請求項２に記載の操舵角決定装置。
4. 前記最終値出力部は、第１ネットワーク構造（３１０）と、第２ネットワーク構造（３３０）とを備え、
   前記第１ネットワーク構造は、前記修正を実施し、
   前記第２ネットワーク構造は、前記第１ネットワーク構造によって修正された値を調整して、前記最終値として出力する
   請求項１から請求項３の何れか一項に記載の操舵角決定装置。
5. 前記第１ネットワーク構造は、ゲーティングネットワーク（３１１）と、エキスパートネットワーク（３２１，３２２，３２３）とを有し、
   前記ゲーティングネットワーク及び前記エキスパートネットワークは、ＬＳＴＭによって構成されたユニットを含むことによって、前記修正を実現する
   請求項４に記載の操舵角決定装置。
6. 前記特徴量出力部は、畳み込みニューラルネットワークによって構成されている
   請求項１に記載の操舵角決定装置。
7. 前記特徴量出力部は、教師あり学習によって学習済みである
   請求項１または請求項６に記載の操舵角決定装置。
8. 請求項１から請求項５の何れか一項に記載の操舵角決定装置と、
   前記最終値を用いて、操舵を実現するステアリング装置と、
   を備える自動運転車。

Images