JP7446568B2 - 自動運転向け「意思決定」モデルの構成方法、その装置、又はプログラム - Google Patents

自動運転向け「意思決定」モデルの構成方法、その装置、又はプログラム Download PDF

Info

Publication number
JP7446568B2
JP7446568B2 JP2019204292A JP2019204292A JP7446568B2 JP 7446568 B2 JP7446568 B2 JP 7446568B2 JP 2019204292 A JP2019204292 A JP 2019204292A JP 2019204292 A JP2019204292 A JP 2019204292A JP 7446568 B2 JP7446568 B2 JP 7446568B2
Authority
JP
Japan
Prior art keywords
driving
probability
self
value
car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019204292A
Other languages
English (en)
Other versions
JP2020061156A (ja
Inventor
澤蒼 顧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2020061156A publication Critical patent/JP2020061156A/ja
Application granted granted Critical
Publication of JP7446568B2 publication Critical patent/JP7446568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/048Fuzzy inferencing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/02Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/023Learning or tuning the parameters of a fuzzy system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Description

本発明は人工知能分野における自動運転向け「意思決定」モデルの構成方法である。
自動運転車は人工知能の主戦場であるが、残念ながら自動運転車の制御問題に応用されている機械学習の研究成果は少なく、今でもそれほど注目されていない。
トヨタ自動車株式会社は、「運転指向推定装置」の特許を発表しており(特許文献1)、該当特許では、自動運転中の突発的な状況に対して、運転者が反応していない場合でも、人工知能のCNNニューラルネットワークの機械学習アルゴリズムにより、運転状態を自動的に選択して、運転事故等を避けることを提案している。
2016年10月9日に日本NHK解説委員室山哲氏が「どう越える?自動運転実現の壁」(非特許文献1)を解説した際、自動運転システムにおける現在まだ解決できていないいくつかの課題を挙げた。
人間とシステムの判断の食い違い課題:今年2月にグーグル社での自動運転の実験中、グーグル車が道路を右折しようと、前方に砂袋があることに気付き、それを避けて、右に車線を変えたところ、後ろからきたバスの運転手は、グーグル車がブレーキをかけるはずと想定し、まさか車線を越えてくるとは思わなかったため、衝突事故が起きた。
自動運転車との車間距離の選択課題:ある会社のアンケートで、自動運転車を道で見つけた時の反応を聞いたところ、41%が近づかないと答えた。しかし、「一定距離を取ったほうがいい」「接近したほうがいい」「好奇心をもって追い上げる」と答えた人もいた。自動運転車として人間との感覚と融合すべきという課題を、どのように解决するか、人間に最も近い運転方式をどのように選択するか、自動制御の難しい課題となっている。
人間と自動運転車の権限譲渡課題:人間とシステム操作の交代段階では、両者の意識がお互いに伝えることができない。例えば、緊急事態に、自動運転からドライバー運転に即時に切り替わる瞬間、自動運転時に選択された応急対策は、ドライバーと異なるため、事故を起こしやすいし、タイミングを逃す可能性がある。
Trolley問題:緊急時に犠牲者の数をどのように最小限に抑えるか?これは有名なトロリー問題で、複雑な倫理問題であるので、技術の対応は困難である。
また、機械学習の自動運転理論では、現在価値のある解決策を提案した人はいない。
2018年3月にUber自動運転車が人に衝突する事件が発生し、自動運転車の開発における安全走行と快適走行の矛盾、また障害物判定用のしき値を設定する問題があった。〔非特許文献2〕
公道テストの走行距離が地球一周に達成し、世界を一変させることが期待されておる市場投入寸前のグーグルの自動運転車は、現在(2018年8月)、家の前で右道路に回った時にトラブルを発生した。〔非特許文献3〕
日立の大島弘安が発表した「予見ファジー制御方式による自動列車運転装置の実現」という論文(非特許文献4)では、ファジィ推論のルールベースにより列車の自動運転が実現できることを提出している。
筑波大学の安信誠二が発表した「予測ファジィ制御列車自動運転システム」(非特許文献5)では、従来のPID調節が列車自動運転の走行を正確に制御することができるが、円滑な走行は自動運転の鍵であり、搭乗者が快適に感じる鍵でもあること、また自動運転の中核的な問題は、安全性、走行速度、駅間の走行時間、快適さ、消費電力、停止精度を考慮した多目的制御問題であることを提出した。
先行特許文献
(特開2008-225923)
http://www.nhk.or.jp/kaisetsu-blog/100/255089.html http://www.sohu.com/a/225962192_100083734 https://baijiahao.baidu.com/s?id=1610113338436012375&wfr=spider&for=pc https://www.jstage.jst.go.jp/article/ieejeiss1987/109/5/109_5_337/_pdf http://ttt.akiba.coocan.jp/yasunobu/edu/intconthtms/text/sic07a_trainATO.pdf#search=%27予見ファジィー制御列車自動運転システム%27
上記(特許文献1)は、人工知能のニューラルネットワークアルゴリズムを採用しているが、ニューラルネットワークアルゴリズムは主に「訓練」により目的関数の情報を膨大なデータ集合に載せる。データ集合は訓練により最適解を得るために、すべての状態を組み合わせする必要があることで、所要組合せの総回数は{(W×T)}×Pになる。ここのnは層の毎のニューラルネットワークの節点数で、Pはニューラルネットワークの層数である。このような指数的な計算の複雑度により生じた膨大な計算量、これに応じて大容量のハードウェアの必要がある。
また、ディープラーニングで採用している学習効果に関する損失関数で引用している確率最急降下法SGDを改善策として取り入れても、得られた訓練値も局所最適解しか得られないため、「ブラックボックス」問題をさけることができない、そのため、何時事故を発生するか不透明である。
また、ニューラルネットワークのモデルにおけるしき値は人間が勝手に決めたものなので、現実の人間の脳のニューラルネットワークのメカニズムと違い、脳神経の刺激信号のメカニズムが何ら反映されておらず、人間の脳がニューロンの神経信号が生じる興奮の程度によって異なる判断を行うメカニズムも現在のニューラルネットワークのモデルに反映できないなど、従来のニューラルネットワークモデルは広く応用できない。現在に流行されているディープラーニングは、従来のニューラルネットワークに比べて隠れ層の数だけ増加し、計算がさらに複雑になるほか、従来のニューラルネットワークの問題点を改善していないため、広く応用が見込みにくい。
上記(非特許文献1)で提出されている「人間とシステムの判断の食い違い課題」、「人間と自動運転車の権限譲渡課題」、「人間と自動運転車の権限譲渡課題」及び「テイリー問題」を、人工知能による自動運転の解決すべき問題とする。また、「意思決定」に基づいた自動運転の決断の方法は、人工知能の導入により、解決できるような方法を期待される。
上記(非特許文献2)と(非特許文献3)から、Googleや数多くの国際的に有名な自動車メーカーが従来の制御方法を採用しており、10年近く自動運転車の開発における進捗が滞っている原因は、自動運転車の複雑度が非常に高いために制御領域のNP問題が発生していることが明確となった、このNP問題を避けなければ自動運転車は決して進展しない。
上記(非特許文献4)では、列車の自動運転問題を主に解決し、ファジィ推論のルールベースにより列車の自動運転を実現することを提案したが、膨大な知識ベースの構築には、大規模な人手によるルールベースの構築作業が必要となり、また、僅かの目的関数しか解決できないため、車の自動運転への適用が困難である。
上記(非特許文献5)では、多目的なファジィ制御が提案されているが、採用されているファジィ制御は、非線形的や、ランダムの目的関数にとって、多目的関数に対応する制御に無理があるため、具体的な目的関数毎の個別制御にとどまっている。特に自動運転車では人間の意識と機械との融合と、安全性と、省エネルギーと、快適性などの目的関数が多く存在する、多目的関数の同時制御について、異なる目的関数が同一空間にないため、共通の最適化された制御値を見つけることができず、たとえ同一空間にマッピングしても、異なる目的関数が従来の方法では共通の最適な交点を得ることができないため、多目的最適制御間の冗長を探らなければならず、さらに非線形的、またはランタムのような多目的最適制御を実現するためには、多目的制御向け機械学習モデルの構築が必要になってくる。
本発明の第一の目的は、最大確率のガウス過程の群知能(Multi-Agent)と言ったSDLモデルの機械学習を提出し、機械学習の計算力を向上させることで、訓練がなくても機械学習により画像の最適なアプローチを実現する。
本発明の第二の目的は、下記通り:自動運転車が優良なドライバーから高い運転技術を機械に学習し、自動運転車の非線形の問題や、ランタム問題や、さらに多目的問題を対応できるような新しい自動制御理論を提供する。または、自動運転車の制御の複雑度が低下させ、従来の自動運転車制御上のNP問題を避ける方法を提供する。
本発明の第三の目的は、「意思決定」の構成する方法を提供し、複雑な道路状況に対応できる「意思決定」により、自動運転車にとって、生物の意識を持つ人間より、もっと最適化、且つ正確的に、意思決定ができる方法を提供する。
本発明の第四の目的は、自動運転車に適した多目的な最適制御機械学習モデルおよびシステム装置を提出し、安全運転、快速到着、快適乗車、省エネなどの多目的の目的関数に対する最適な機械学習モデルの制御を実現できる方法を提供する。
本発明の第五の目的は下記通り:SDLモデルの導入による対象とした画像の抽出方法を提出し、新しい機械学習の画像処理方法を提供することにより、画像処理および画像識別の精度を向上させることを目的とする。
本発明の第六の目的は下記通り:非負性、非縮退性、対称性及び三角不等式の距離尺度の条件を満たしたユークリッド空間と確率空間を統一することが可能になった距離の計算方法を提供する。
本発明の第七の目的は下記通り:ユークリッド空間と確率空間を統一することが可能になったファジィ事象確率測度の計算方法を提出し、ガウス分布がインターリーブされたデータ間の分類問題を解決することや、ミクロで不確定な、不安定な情報からマクロな積分を行うことによって確定的、安定した価値のある情報を生成することができるため、予想外の応用効果を実現することが期待できる方法を提出する。
上記少なくとも1つの目的を達成するために、本発明は、下記技術方法を提供する。
前記課題を解決するために、請求項1に係れる発明は、
自動運転向け「意思決定」モデルの構成方法において、
1.プロセッサ、メモリを含むハードウェアに搭載された「意思決定」モデルのソフトウェアは、自動運転車と周りの同行車との互に、走っている距離、速度、加速度を含む少なくとも一つの要素の値を、人間の運転の知恵に基づいて、安全運転の状態になる度合い、若しくは危険運転状態になるような度合いにより、数学的のような関数として定式化することにおいて、人間の運転知識が機械に理解させることを可能とする;
2.自動運転のハードウェアとソフトウェアを協働することにより、上述の少なくとも二つの数学的のような関数との論理演算を行うことにより、自動運転の最適化されて、正確的な意思決定の結果を得ることが可能になる;或いは上述の数学的のような関数の値に対し、自動運転車が加速して前の同行車に近づけるか、減速して後方の車に近づけるか、又は、左車線へ車線変更するか、右車線へ車線変更するかを決定するためには、正負両方向の情報がすべて利用されることにより、正負両方向の強い競合の結果として、最適化されて、正確的な意思決定をすることを特徴とする自動運転向け「意思決定」モデルの構成方法。
このようなことによって、自動運転車の周りの路上状況にとって、機械が生物の意識を持つ人間より、深く把握することができ、さらに、人間より複雑なロジックを処理することが可能であるので、人間より正確な意思決定を得ることができる。
前記課題を解決するために、請求項2に係れる発明は、自動運転向け「意思決定」モデルの構成方法において、
前記、安全運転の状態になる度合いとは、人間の運転の知恵に基づいて、自動運転車は、安全運転の状態に近づけば近づくほど、安全運転の状態になる度合いは「1」になる、逆に安全運転の状態に離れるほど、「0」に近づくこと;或いは、危険運転の状態になる度合いとは、人間の運転の知恵に基づいて、自動運転車は、危険運転の状態に近づけば近づくほど、危険運転の状態になる度合いは「1」になる、逆に危険運転の状態に離れるほど、「0」に近づくことを特徴とする請求項1に記載の自動運転向け「意思決定」モデルの構成方法。
前記課題を解決するために、請求項3に係れる発明は、自動運転向け「意思決定」モデルの構成方法において、
前記、数学的のような関数とは、ファジィ数学のメンバーシップ関数、或いはファジィ事象確率測度と指すことを特徴とする請求項1に記載の自動運転向け「意思決定」モデルの構成方法。
前記課題を解決するために、請求項4に係れる発明は、自動運転向け「意思決定」モデルの構成装置であって、
プロセッサ、メモリを含むハードウェアに搭載された「意思決定」モデルのソフトウェアは、自動運転車と周りの同行車との互に、走っている距離、速度、加速度を含む少なくとも一つの要素の値を、人間の運転の知恵に基づいて、安全運転の状態になる度合い、若しくは危険運転状態になるような度合いにより、数学的のような関数として定式化することにおいて、人間の運転知識が機械に理解させることを可能とする;
自動運転のハードウェアとソフトウェアを協働することにより、上述の少なくとも二つの数学的のような関数との論理演算を行うことにより、自動運転の最適化されて正確的な意思決定の結果を得ることが可能になる;或いは上述の数学的のような関数の値に対し、自動運転車が加速して前の同行車に近づけるか、減速して後方の車に近づけるか、又は、左車線へ車線変更するか、右車線へ車線変更するかを決定するためには、正負両方向の情報がすべて利用されることにより、正負両方向の強い競合の結果として、最適化されて、正確的な意思決定をすることを特徴とする自動運転向け「意思決定」モデルの構成装置。
前記課題を解決するために、請求5に係れる発明は、
請求項1~3のいずれ1項に記載された方法をプロセッサに実行させるためのプログラム。
前記課題を解決するために、請求項5に係れる発明は、自動運転向け「意思決定」モデルの構成プログラムにおいて、
請求項1~3のいずれ1項に記載された方法をプロセッサに実行させるためのプログラム。
本発明が提案する自動運転向け「意思決定」モデルの構成方法の実施効果は、生物意識を持つ人間より、もっと正確に決断することが可能になった。自動運転車の安全性を向上させ、開発コストを削減し、ドライブテストの距離を短縮させることができる。
図1自動機械学習による道路車線のアプローチ方法を示す図
図2自動機械学習による道路車線のアプローチを実現するフローチャート
図3確率空間を含む異なる空間を越える距離の定義イメージ図
図4車線画像の確率空間の特徴ベクトルを求めるフローチャート
図5最大確率諧調値を計算するフローチャート
図6車線画像の位置を特定する機械学習フローチャート
図7車線線画像の特徴ベクトル間の距離を算出するフローチャート
図8自動機械学習による車線アプローチの効果図
図9 SDLモデルの導入による車線画像抽出の効果図
図10最大確率の導関数値の求め方を示す図
図11画像をエッジ化処理する効果図
図12「機械理解」を定式化する基本な考え方
図13「機械理解」をモデル化する方法
図14「機械推論」の構成方法のイメージ図
図15自動運転の「機知獲得」の制御方法イメージ図
図16自動運転中に遭遇可能な状況を示す図
図17「機知獲得」と「意思決定」の融合方法を示す図
100はエッジ画像上の車線位置付近の離散格子である
101は車線位置近傍に位置する離散格子の中心線である
102と103は中心線101の両側の直線である
301は確率空間を含むユークリッド空間である
302は確率分布320の中心点である
303は確率分布320の第1確率分布値の目盛りである
304は確率分布320の第2の確率分布値の目盛りである
305は確率分布320の第3確率分布値の目盛りである
306は確率分布320の第1確率分布の目盛りに属する領域である
307は確率分布320の第2確率分布の目盛りに属する領域である
308は確率分布320の第3確率分布の目盛りに属する領域である
300はユークリッド空間の一点である
310は確率分布330の中心点である。
311は確率分布330の第1確率分布値の目盛りである
312は確率分布330の第2確率分布値の目盛りである
313は確率分布330の第3確率分布値の目盛りである
314は確率分布330の第1確率分布の目盛りに属する領域である
315は確率分布330の第2確率分布の目盛りに属する領域である
316は確率分布330の第3確率分布の目盛りに属する領域である
320および330は確率空間である
以下、添付図面を合わせて本発明の実施例をさらに詳細に説明するが、本発明の実施例は説明性であり、限定性ではない。
図1は、自動機械学習による道路車線のアプローチ方法を示す図である。
本出願で提案するSDL(SuPerDeePLearning)モデルとは、最大確率のガウス過程に属する数学モデルであり、確率尺度の自己組織化機械学習モデル、あるいは自動機械学習モデルを用いて、ユークリッド空間と確率空間の距離を統一する計算式、またはユークリッド空間と確率空間を統一するファジィ事象確率測度計算式を、全部または一部で用いて構成された人工知能システムである。
図1(a)に示すように、上記、確率尺度自己組織化の定義基づいた教師なし機械学習モデルである。その繰り返しの処理方法は:与えた空間から、ガウス分布の計算方法により最大確率尺度を求める、最大確率尺度に基づいて、必ず新たな空間が生成され、新たな空間に対し、さらに新たな最大確率尺度を求める、このように数回の繰り返しにより処理し、必ず最大確率尺度により収束した空間を得ることができる。その結果は、最大確率の尺度と、最大確率の空間、最大確率の尺度を得る、さらにこの複数な結果により最大確率のガウス分布に現れることができる。
図1(b)に示すように、これは複合機械学習モデルである、ここで、自動機械学習モデルという。具体的原理は、与えた空間に対し、最適化された尺度、または最大情報量の尺度、または最大確率の尺度などに基づいて、繰り返し処理すれば必ず最適化された、または最大情報量、最大密度、最大確率の空間が獲得される。この新たな空間に関数アプローチモデルを加え、関数アプローチの効果を前の空間のアプローチ程度よりも高くすることにより、新たな空間に新たな最適化された尺度、または最大確率、最大密度、または最大確率の尺度が生成し、繰り返し処理すれば、さらに新たな最適化された、または最大情報量、最大密度、または最大確率の空間が生成する。このように空間で関数アプローチモデルを使用し関数最適アプローチをし続けることにより、関数アプローチの効果をより良くなるし、また数回の繰り返しにより処理を経て関数アプローチ効果を最適な状態に達することができる、このような機械学習モデルを、多くの訓練をしなくて、最適な関数アプローチ効果を得ることができるため、自動機械学習と呼べる。
上記最適化された尺度を、フラクタル、または自然環境における生物の遺伝および進化を模倣する遺伝的操作、または最大ファジィ値、または最大密度値、または最大アプローチ値、または最大類似関係値のうちの1つの値とする。
あるいは、非確率空間に対して、ユークリッド距離(EuclideanDistance)尺度、マンハッタン距離(ManhattanDistance)尺度、チェビシェフ距離(ChebyshevDistance)尺度、ミンコフスキー距離(MinkowskiDistance)尺度、マハラノビス距離(MahalanobisDistance)尺度、余弦(Cosine)尺度、ユークリッド空間と確率空間の距離を統一する尺度、またはユークリッド空間と確率空間のファジィ事象確率測度を含め、少なくても1つの尺度とする。
或いはジィャカッド類似係数(Jaccardsimilarity Coefficient)尺度、またはハミング距離(Hamming Distance)尺度を含め、少なくても1つの尺度とする。
上記最大情報量を、最大情報エントロピーとする。
上記最大確率の尺度を、正規分布、多変量正規分布、対数正規分布指数分布、t分布、F分布、X分布、二項分布、負の二項分布、ポアソン分布、アーラン分布(Erlang Distribution)、超幾何分布、幾何分布、トラフィック分布、ワイブル分布(Weibull Distribution)、三角分布、ベータ分布(Bete Distribution)、ガンマ分布(Gamma Distribution)のうちのいずれかに基づく最大確率値のとする。
上記関数アプローチを行うモデルを、線形回帰アプローチ、最小自乗アプローチ、最小二乗アプローチ、チェビシェフ多項式アプローチ、スプライン関数アプローチ、多項式補間アプローチ、三角多項式アプローチ、有理関数アプローチ、パデアプローチとする。
図1(C)は自動学習による車線アプローチのイメージ図である。
図1(C)に示すように、(100)は自動運転車の車線画像であり、車線画像は離散ドットから構成される1本の斜線であり、(101)は車線位置の中心になった離散画素の中心線である。初期状態で、この中心線は最初に与えられた空間から、アプローチ関数により求めたものである。与えた空間に対し、必ず1つの尺度が存在する、この尺度の範囲以内(102と103により囲まれた領域)に属したドットを、極力車線の中心線(101)にアプローチする、尺度の範囲以外(102と103により囲まれた領域以外の領域)に属したドットを取り除くことにより、新たな空間を生成することができる。ここでの尺度を確率分布の分散とし、または(102)と(101)で囲まれた領域のドットの密度としてもいい、(103)と(101)で囲まれた領域のドット密度としてもよい。さらに、(102)と(101)、(103)と(101)、または(102)と(103)で囲まれた領域のドットの二次元確率としてもよい。
密度値を尺度とする場合に、(103)と(101)で囲まれた領域のドット密度、または(103)と(101)で囲まれた領域のドット密度を、増加すると、(103)と(101)のピッチ、または(103)と(101)のピッチを減少することとする。逆に(103)と(101)で囲まれた領域のドット密度、または(103)と(101)で囲まれた領域のドット密度を、減少すれば、(103)と(101)のピッチ、または(103)と(101)のピッチを増加することとする。
二次元確率分布の最大確率分布値を尺度とする場合に、矩形領域の二次元確率分布を使用することとする。
[図2]自動機械学習による道路車線のアプローチを実現するフローチャートである。
図1、図2に示すように、自動機械学習による車線認識の処理手順は、下記通り:
は初期化ステップ:まず、車線認識の前に、車線画像の抽出方法は、人間介入により、元画像データから、抽出対象とした車線画像データを切り離し、抽出対象とした画像の色情報、諧調値の情報、エッジの情報、周波数情報、模様情報、空間関係情報を含む少なくても一つの画像情報に基づいて、複素数の特徴値を求める。
複数の抽出対象とした車線画像の各々特徴値を用いて、最大確率のガウス過程の群知能(Multi-Agent)の機械学習を行う、具体的に、車線画像の各々特徴値に対し、図1に示した機械学習により、ガウス分布の最大確率値、最大確率の尺度を求め、車線画像の各々特徴値のガウス分布により確率空間の特徴ベクトルを構成し、求められた確率空間の特徴ベクトルの各々特徴値の最大確率値、及び最大確率尺度を用いて、各々特徴値のガウス分布を表れる。確率空間の特徴ベクトルの各々特徴値の最大確率値、及び最大確率尺度を確率空間の特徴ベクトルとして、データベースに登録する。
車線認識の初期化処理は、まず車線の大体な領域を決める、データベースに登録された確率空間の特徴ベクトルと、認識画像の車線領域の特徴ベクトルとの後述のような異なる空間距離の尺度を用いて、図1(a)に示した確率尺度の自己組織化機械学習により、繰り返し処理で、画像の画素を洗い出してから、正確な車線領域を得て、登録された最大確率車線諧調を入れ替える。
所定の車線画像の領域内で、諧調値が256諧調のドットの位置をxij、yij(i=1,
Figure 0007446568000001
の順とし、ドット順番と処理結果を無関係とする。
は中心車線を求めるステップ:S初期化ステップで生成した車線領域で、下記計算式により中心線[図1(c)の(101)]を求める。
i番目に与えられた車線領域[図1(c)の(102)と(103)]のドット集合をP(i=1,
Figure 0007446568000002
を行う。
Figure 0007446568000003
Figure 0007446568000004
Figure 0007446568000005
Figure 0007446568000006
Figure 0007446568000007
上述の数式1~5を用い、車線画像の領域で線形回帰線を求める、この直線は最も、車線領域のドットにとって、最適な中心位置である。
はドットから中心線までの距離を求めるステップ:所定の車線領域iの内で、
Figure 0007446568000008
Figure 0007446568000009
ijの正負を判定することにより、所定領域におけるドットが、線形回帰直線のどの方向の領域であるかと分かる。
は繰り返し処理の尺度を求めるステップ:与えた第i車線領域の全て
Figure 0007446568000010
Figure 0007446568000011
Figure 0007446568000012
は新たな空間を求めるステップ:与えた第i車線領域の各々ドットに対し、Sステップにより最大確率距離値d′と、最大確率尺度Sを得た、最大確率尺度Sに基づいて、さらにドットを、図1に示した機械学習の繰り返し処理により洗い出した結果は、新しい最大確率空間を得た。このように繰り返し処理によって、最終車線の最適アプローチの認識結果を獲得した。
さらに正確的に、車線認識の結果を得るために、線形回帰直線(101)と数式8のS尺度(102)または(103)の両側で囲まれた領域のドットの密度を新たな空間を生成する尺度とする。密度が増加すると(302)と(301)または(303)と(301)間の間隔が減少し、逆なら(302)と(301)または(303)と(301)の間の間隔が増加する。
別の方法は、二次元矩形確率分布数式を用いて、最大確率尺度に基づいて、新しい最大確率の空間を、繰り返し処理により、生成することが可能である。
は繰り返し処理が完了したかどうかを判別するステップ:「NO」であればSスキップへ繰り返し処理を継続し、「YES」であればSの終了ステップに進む。判断の根拠は:繰り返し処理の回数が最大繰り返し処理回数に達したか?または、繰り返し処理が最適なアプローチの結果に達したかである。
は終了ステップである。
このように繰り返し処理を行うことで、車線の位置を得て、正確に車線認識を行うことが可能である。
[図3]確率空間を含む異なる空間を越える距離の定義イメージ図である。
図3に示すように、(301)は確率空間を含むユークリッド空間である。ユークリッド空間には2つの確率空間(320)および(330)がある。(302)は確率分布(320)の中心点である。(303)は確率分布(320)の第1確率分布値の目盛りであり、(304)は確率分布(320)の第2確率分布値の目盛りであり、(305)は確率分布(320)の第3確率分布値の目盛りである。
また、(306)を確率分布(320)の第1確率分布の目盛りに所属する領域とし、(302)と(303)の間の尺度の目盛り間隔をD1j (320)とし、この領域における確率分布値をP1j (320)とする。(307)を確率分布(320)の第2確率分布の目盛りに所属する領域とすると、(303)と(304)の間の尺度の目盛り間隔をD2j (320)とし、この領域における確率分布値をP2j (320)とする。(308)を確率分布(320)の第3確率分布の目盛りに所属する領域とすると、(304)と(305)の間の尺度の目盛り間隔をD3j (320)とし、この領域における確率分布値をP3j (320)とする。
同様に、(310)は確率分布(330)の中心点である。(311)を確率分布(330)の第1確率分布値の目盛りとし、(312)を確率分布(330)の第2確率分布値の目盛りとし、(313)を確率分布(330)の第3確率分布値の目盛りとする。また、(314)を確率分布(330)の第1確率分布の目盛りに所属する領域とすると、(310)と(311)の間の尺度の目盛り間隔をD1j (330)とし、この領域における確率分布値をP1j (330)とする。(315)を確率分布(330)の第2確率分布の目盛りに所属する領域とすると、(311)と(312)の間の尺度の目盛り間隔をD2j (330)とし、この領域における確率分布値をP2j (330)とする。(316)を確率分布(330)の第3確率分布の目盛りに所属する領域とすると、(312)と(313)の間の尺度の目盛り間隔をD3j (330)とし、この領域における確率分布値をP3j (330)とする。
なお、確率空間(320)および(330)の確率分布中心を(302)および(310)とし、また(302)と(310)を2つのデータ集合の要素w∈Wとv∈Vとする。さらに確率分布中心(302)および(310)を結ぶ直線の中間に任意の一点r∈Rがあるとし、任意の一点r∈Rが確率空間(320)に属するか、確率空間(330)に属するかを求める。
また、m (wj)はr∈Rと確率分布中心w∈Wとの間の確率分布目盛りの数とし、m (vj)はr∈Rと確率分布中心v∈Vとの間の確率分布目盛りの数とする。例えば、
Figure 0007446568000013
それで、確率空間(330)の集合Vと確率空間(320)の集合Wとの間でユークリッド空間と確率空間の統一距離G(V,W)は下記計算数式により算出できる。
Figure 0007446568000014
Figure 0007446568000015
ここで、上記計算数式が成り立つ根拠は:
まず、確率空間はユークリッド空間に属することは証明する。
ユークリッド空間をEとし、確率空間をPとし、サンプリング空間をΩとし、サンプリング空間の要素をω∈Ωとし、
Figure 0007446568000016
上述の証明の意味は、確率空間のすべてのデータはユークリッド空間に属しているので、確率空間はユークリッド空間に属していることである。
次に確率空間の距離の証明は、確率空間のユークリッド空間の距離をξとし、この距離間での確率分布を1とすると、確率空間距離にとって、ξ=0,すなわち
Figure 0007446568000017
Figure 0007446568000018
が「0」になることを分かった、すなわち確率空間(320)と(330)における(Δ (vj)+Δ (wj))を、ユークリッド距離と確率空間の距離との誤差値とする、この2つの誤差値を除去すれば、確率空間(320)と(330)におけるユークリッド空間と確率空間が統一された厳密な距離を得ることが可能である。
最後、ユークリッド空間と確率空間を統一した距離G(V,W)の距離尺度の対称性、および三角不等数式に満たすことを証明する。
数式9により、確率空間の集合Vから確率空間の集合Wの距離は、数式9により、確率空間の集合Wから確率空間の集合Vと等しい、または、確率空間の集合Vから確率空間の集合Wまでの距離について、集合Vと集合Wの間に一点集合Rを導入し、集合Rから確率空間の集合Vまでの距離に、集合Rから確率空間の集合Wまでの距離は、確率空間の集合Vから集合Rまでの距離と、確率空間の集合Wから集合Rまでの距離は等しい。これによって、数式9により定義された距離尺度の対称性、および三角不等数式に満たすことを分かった。
図3で提案したユークリッド空間と確率空間を統一した距離の獲得方法をまとめると、その特徴は、ユークリッド空間に少なくとも1つ存在している確率空間がある、ユークリッド空間のデータを、確率空間に通ったとき、該当空間の確率距離は通過した領域の確率値に関係されること。
上記ユークリッド空間は、マンハッタン空間;チェビシェフ空間(Chebyshev Space);ミンコフスキー空間(Minkowski Space);マハラノビス空間(Mahalanobis Space);余弦空間(Cosine Space)のうちを含め、流用することが可能である。
上述のように、上記計算式(9)はユークリッド空間と確率空間の距離を統一することができ、且つ以下の距離条件を満たす;
Figure 0007446568000019
(2)非縮退性: d(w,v)=0,ではw=v;
(3)対称性: ∀w,v,d(w,v)=d(v,w);
Figure 0007446568000020
計算数式9のユークリッド空間と確率空間の距離を統一でき、かつ距離尺度のすべての尺度条件を満たすことに基づいて、下記通りのより厳密なファジィ事象確率測度の尺度計算数式を提供ことができる。
上記通り、r∈Rと確率空間(330)の確率分布値の中心値v∈Vとの間のファジィ事象確率測度を考慮した場合、もしr∈Rが確率空間(330)の確率分布のうちのある領域にあれば、その領域の確率分布値をPf (vj)とし、また偶然に確率空間(320)の確率分布値の中心値w∈Wも確率空間(330)の確率分布のうちのある領域にあり、その領域の確率分布値をPf (wj)とすれば、この2つの確率分布がほぼ重なることになった。
数式9から分かるように、集合Rが集合Vに属するファジィ事象確率測度の計算数式は次のようになる。
Figure 0007446568000021
上記数式9および数式10を参照すると、Dij (wj)およびDij (vj)、Pij (wj)およびPij (vj)、m (wj)およびm (vj)、Pf (vj)およびPf (wj)、Ph (vj)およびPh (wj)が計算できる。
集合Rが集合Wに属するファジィ事象確率測度の数式は下記のような計算数式から得ることができる。
Figure 0007446568000022
Figure 0007446568000023
最後に、数式12と数式13より、超深層競合的学習の結果は下記計算数式から得ることができる:
Figure 0007446568000024
数式14から、任意の集合Rが2つの確率分布の中間にあれば、最適な分類を得ることができる。数式9と同様に、数式12および数式13も距離尺度のすべての条件を満たす。
上記数式12の競合的学習は、下記数式13のようにミクロから競合することもできる。
Figure 0007446568000025
数式15は定式化された競合的学習モデルであり、ミクロ上の不確定な空間情報、およびランダムな確率情報を競合させてから積分することにより、マクロ上に確定的で安定した価値のある情報を生成することができる。これがファジィ事象確率測度の競合的学習の優位性である。
上記ファジィ事象確率測度のメンバーシップ関数の数式は一例であり、人間介入により、目的に立つための規則に従って目的関数の結果を0~1の曖昧な数値にするため、任意の数式の構成や、曖昧情報と確率情報を両方に考慮した数式の構成や、さらに空間情報と確率情報を両方に考慮した数式の構成が全部本発明の領域である。
図4は、車線画像の確率空間の特徴ベクトルを求めるフローチャートである。
図4に示すように:車線画像の確率空間の特徴ベクトルを求めるフローチャートは、次のように五つのステップがある。
車線画像の切り抜きステップS:人間の介入により、実際な車線を入った動画から、一つずつのフレームの車線画像を手作業で、切り抜き、数十、または数百個車線画像を集める。
特徴ベクトルの算出ステップS:抽出対象とした車線画像の色情報:例はR、G、B、或いはL、a、bなど色情報。諧調値の情報:例は各々色画像の各々画素の諧調の分布の状態、各々諧調の大きさの状況、各々諧調の密度の状況、最大諧調値、最小諧調値、最大確率の諧調値、最大確率の尺度値など。エッジの情報:例は画像の各方向の導関数の情報。周波数情報:例はFFTのような情報、模様情報:例は画像のフレーム情報など。空間関係情報:例は画像の各々諧調の配置関係などを含む少なくても一つの画像情報に基づいて、複素数の特徴値を求める。
機械学習ステップS:上述の図1の内容を参考して、切り抜きされた数百ぐらい車線画像を用いて、車線画像の特徴ベクトルに属した各々の特徴値に対し、機械学習により、切り抜きされた数百ぐらい車線画像に関するガウス分布の最大確率値、最大確率尺度を求める。
または、車線画像の諧調値に関するガウス分布の最大確率値、最大確率尺度を求める。
データベースの登録ステップS:上記ステップSから、切り離れた数十個、または数百個の車線画像に対し、各々車線画像の特徴値の最大確率値、最大確率尺度から、確率空間の特徴ベクトルを構成し、車線画像の各々特徴値に関するガウス分布の最大確率値、最大確率尺度を一緒にデータベースとして登録する。
終了ステップS:車線画像の確率空間の特徴ベクトルを求める処理を終了する。
上記対象画像の諧調情報の特徴値の求める例として、最大確率値、最大確率尺度の算出は、以下の方法により提供される。
図5は、最大確率尺度に基づいた自己組織の機械学習の処理フローチャートである。
図5に示すように、与えた色画像の最大確率諧調値の算出は、下記5つのステップによって行われる。
初期化ステップS:このステップでは、まず最大繰り返し処理の回数MNを設定し、通常は5~10回とする。また繰り返し処理の効果の評価値をVとし、主に繰り返し処理を収束したか否かを判断する。
諧調値の平均と分散を求めるステップS
Figure 0007446568000026
a画像の平均諧調値g(k)は下記通り:
Figure 0007446568000027
a画像の諧調値の確率分布の分散は下記通り:
Figure 0007446568000028
自己組織化処理ステップS:g(k)を中心とし、S2(k)を最大確率尺度とする。この尺度に基づいて、尺度以外のドットを取り除くことにより、新しい最大確率空間を構成する。
繰り返し処理完了の判断ステップS:繰り返し処理回数から最大繰り返し処理の回数になったかどうかを判断する(MN-K)=0?または繰り返し処理を収束したか否かを判断する|S2(k+1)-S2(k)|≦V?により、「YES」であれば繰り返し処理が完了し、第5ステップのSに進み、「NO」であれば第2ステップのSに戻って繰り返し処理を継続する。
終了ステップSは:繰り返し処理完了。
ここで、図4に示した車線画像の確率空間の特徴ベクトルを求めた結果に基づいて、不特定な画像に対し、対象車線の位置を特定する方法を提供する。
図6は、車線画像の位置を特定する機械学習フローチャートである。
図6に示すように、車線画像の位置を特定する機械学習
車線画像概略位置を決めるステップS:車線の特徴、配置状況など情報を用いて、不特定な車線画像の概略位置を特定する。
特徴ベクトルの算出ステップS:図4のステップSの対象画像の特徴ベクトルを求める方法を用いて、車線画像概略位置を決めるステップSにより求めた車線画像の特徴ベクトルを求める。この特徴ベクトルはユークリッド空間に属することが判明した。
確率空間の距離の算出ステップS:上述の図3により、特徴ベクトルの算出ステップSにより、ユークリッド空間に属した車線画像の特徴ベクトルと、上述の図4により、登録された確率空間特徴ベクトルと距離を、上述の図3により、提供したユークリッド空間と確率空間を統一した距離の数式9を用いて算出する。
車線画像の画素を選ぶステップS:上述確率空間の距離の算出ステップSにより、算出したユークリッド空間に属した車線画像の特徴ベクトルと、登録された確率空間特徴ベクトルと距離に基づいて、不特定な車線画像の画素を選ぶ、取り除いた画素に対し、ユークリッド空間と確率空間を統一した距離が短くなると、この画素は車線画像ではないとし、そのままで取り除く、そうでない場合、この画素を車線画素とする。このように繰り返し処理により、車線画像を選ぶことができる。
車線画像の諧調値を与えるステップS:上記ステップSにより選ばれた車線画像に対し、上記図4により登録された確率空間の特徴ベクトルに該当した車線画像の最大確率の諧調値、または車線画像の諧調の最大確率尺度値を用いて、不特定の車線画像の諧調を決める。
終了ステップS:車線画像の位置を特定する機械学習の処理は完了。
図7は、車線画像の特徴ベクトル間の距離を算出するフローチャートである。
図7に示すように、車線画像の特徴ベクトル間の距離を算出するのは、下記の三つのステップで求めることができる。
対象画像の読み取りステップS:車線画像に属するビデオから1つの対象車線画像を読み取る。
特徴値を求めるステップS:対象画像のRGBの3色画像に対して対象画像の最大確率の諧調値、最大確率尺度値、諧調の平均値、各方向のエジ値などそれぞれ複数な特徴値を求めることができる。
特徴ベクトル間の距離の計算ステップS:異なる環境に取られた車線画像をF(z=1,2,…,g)とし、各画像Fがh個の特徴値を生成できる、機械学習によって、h個の最大確率特徴値データL∈L(j=1,2,...,h)、および最大確率尺度データM∈M(j=1,2,...,h)を得る。最大確率特徴値データと、最大確率尺度データとは、確率空間の特徴ベクトルを構成することが可能である。
また、不特定なサンプル車線画像の特徴ベクトルSの要素s∈S(j=1,2,...,h)は、確率空間の特徴ベクトルとのユークリッド空間と確率空間との距離は
Figure 0007446568000029
終了ステップS:プログラム処理終了である。
図8は、自動機械学習による車線アプローチの効果図である。
図8に示すように、(a)は、自動機械学習を用いて車線アプローチの繰り返し処理過程であり、前回の繰り返し処理車線よりもさらにアプローチされていることが明らかである。(b)は車線識別結果であり、最適なアプローチ車線であることが明らかになった。
図9は、SDLモデルの導入による車線画像抽出の効果図である。
図9に示すように、SDLモデルの導入による車線画像抽出の効果は、従来の2値化画像よりも車線がはっきりに抽出された、また、環境画像が邪魔になれなかった、車線認識の精度は従来の方法より高かったことができた。
以下、本発明の新しいエッジ画像処理方法を提供する。
まず、二次元画像に対して一次導関数の計算を行う。
二次元画像の関数式をF(x,y)とし、画像に対して一次導関数を求める方法は下記通り:
Figure 0007446568000030
画像に対して二次導関数を求める方法は下記通り:
Figure 0007446568000031
Figure 0007446568000032
従来、画像の導関数を算出した結果は、ノイズが強い、ノイズを抑えるために、従来のPrewittアルゴリズムやSobelアルゴリズムがあるが、ここでは確率尺度自己組織化の機械学習アルゴリズムを導入し、複数の画素の導関数から中間の1画素の最大確率の導関数値を求める。
[図10]は最大確率の導関数値の求め方を示す図である。
図10に示すように、画素F(x,y)を中心にし、5*5画素行列の25画素分の一次導関数をそれぞれ求める。図5に示した確率尺度の自己組織化機械学習により25個の導関数値の中から最大確率値を求め、この最大確率導関数値を中心点F(x,y)の正式な導関数値とする。画像全体の導関数値は、各点の水平方向および垂直方向の平行移動により、最終的に画像全体の一次導関数を計算することができる。
上記確率尺度の自己組織化機械学習で求めた一次導数値の最大確率値に対して、「一次導関数値の最大確率値」よりも小さい画素の諧調値を「0」とし、「一次導関数値の最大確率値」よりも大きい画素の諧調値を「256」とすることで、エッジ画像の結果を得ることができる。即ち、確率尺度の自己組織化機械学習で求めた一次導関数値の最大確率尺度以内の最大確率空間が属する画素の諧調値を「256」と、その他の画素の諧調値を「0」とする。
この結果の上で、2次導関数の結果を得るために、上記の導出方法と同様に、5*5の合計25個の画像画素の1次導関数の上に、再び二次導関数を求めることができるが、上記の数式(20)と(21)に従って直接行うこともでき、画像画素に対する二次導関数の計算をそれぞれ行った後、二次導関数の各諧調値を、図5に示す最大確率自己組織化モデルを用いて二次導関数値の諧調値の最大確率値を求める。すなわち二次導関数値の諧調値の最大確率値より小さい画素の諧調値を「0」諧調に、その他の諧調値を「256」とし、または上記のように、最大確率自己組織化モデルで求めた二次導関数値の諧調値の最大確率値の最大確率尺度以内の最大確率空間に属する画素の諧調値を「256」と、その他の画素の諧調値を「0」とすると、二次導関数のエッジ画像が得ることが可能である。
図11は、画像をエッジ化処理する効果図である。
図11から、確率尺度の自己組織化機械学習によるエッジ化処理の効果が顕著であることが分かった。
次は「意思決定」を構成する方法を提供する。
意思決定」とは、環境のすべての情報を深層に感知することができる「機械感知」の機能を、さらに感知した情報を深層に理解できる「機械理解」機能を、持つことによって、人間より正確な判断結果を得ることが可能になったアルゴリズムである。
まず、環境のすべての情報を感知した上、さらに「機械理解」の機能を構成する方法を提供する。
定式化するために、ここではメンバーシップ関数(Membership Function)を導入する。
図12は、「機械理解」を定式化する基本な考え方である。
図12(a)に示すように引数値が小さいほどメンバーシップ関数MFの値が大きくなり、逆に引数値が大きいほどメンバーシップ関数MFの値が小さくなる。例えば自動運転車の速度が安全速度に近いほど、引数値が小さければ、MF値が大きくなり、自動運転車がより安全になるが、逆であれば自動運転車がより危険になる。このような定式を利用することで、自動運転車の状態を簡単に記述することができる。ここで、Tを危険状態のひき値とする。
図12(b)に示すように:引数値が大きいほどメンバーシップ関数MFの値が大きくなり、逆に引数値が小さいほどメンバーシップ関数MFの値が小さくなる。例えば自動運転車と同じ車線で同行している車との間隔が大きいほど、引数値が大きくなりMF値が大きければ、自動運転車がより安全になるが、逆であれば自動運転車がより危険になる。このような定式を利用することにより、自動運転車と同行車の距離に基づいて自動運転車の運転状態を簡単に記述することができる。ここでのTを危険状態のひき値とする。
図12(c)に示すように、自動運転車と近傍車線の同行車とは、前から最後まで車間距離により自動運転車の「意思決定」を反映する関数である。最初の状態で、自動運転車と、前方の近傍車線に走っている同行車との距離が遠ければ、MF値が大きく、自動運転車は安全であるが、自動運転車の速度が同行車より大きいため、2台の車両が徐々に接近し、T状態になると、自動運転車は危
Figure 0007446568000033
車はより安全になる。
図12(d)に示すように、一つの最適値を与えると、引数値がこの最適値より大きい値からこの最適値に近づくと、MF値も徐々に最大値に近づくが、引数値が最適値から小さくなると、MF値も徐々に小さくなる。例えば自動運転車の速度は安全値より高い値から、徐々に安全値に近づくとMF値が大きくなり、Tひき値より小さい場合に、自動運転車は安全状態に近づく。
安全状態と危険状態の変化の過程は指数的な比例により変化されるので、メンバーシップ関数は非線形関数を構成することがある。
図13は、「機械理解」をモデル化する方法である。
図13に示すように:自動運転車Cを真ん中の車線を走行する車とし、前方にある同行車をCとする。Cの位置Pと同行車Cの位置Pとの間の距離をdとする。同様に左側車線の前方の同行車をC’とし、Cの位置Pと同行車C’の位置Pc’との間の距離をしd’とする。また、右側車線の前方の同行車をC″とし、Cの位置Pと同走行車C″の位置P″との間の距離をd″とする。
また、aの領域を、自動運転車Cにとって絶対に許されない危険な領域とする、この領域の前方に車を遭遇すれば、必ず緊急ブレーキを掛けなければならない。
さらに、aの領域を、自動運転車Cにとっての第2の危険領域とし、この領域の前方に車を遭遇すれば、緊急ブレーキによって危険を排除することができる。
の領域を、自動運転車Cにとっての第3の危険領域とし、自動運転車がせざるをえない場合に、この領域の前方に車を遭遇しても許されるが、この領域で自動運転車線変更をしてはいけないし、できるだけ早くこの領域から避ける必要がある。
自動運転車Cの速度をSとし、同行車C、C’又はC″の速度をS、S’又はS″とし、自動運転車Cと同行車C、C’又はC″との初期距離をd、d’又はd″とする場合、自動運転車Cと同行車C、C’またはC″との動的な距離は、下記通りになる。
Figure 0007446568000034
この場合、車間距離に関する動的なメンバーシップ関数の数式は下記通り:
Figure 0007446568000035
この数式があれば、自動運転車が直線走行中のすべての「機械理解」を数式23で表現することができ、これはルールベースの積み重ねによる意思決定モデルよりはるかに簡略化されている。
さらに、同行車がa領域から離れた場合、交通事故が発生する確率は0であるが、a領域において、同行車が同車線の先行車であれば交通事故が発生する確率は0.62であり、a領域において、同行車が同車線の先行車であれば交通事故が発生する確率は0.34であり、a領域において、同行車が同車線の先行車であれば交通事故が発生する確率は0.04である。
同行車の存在による交通事故の発生確率値をPWDとする場合、確率情報を考慮した車間距離に関するファジィ事象確率測度WDの数式は下記通り:
Figure 0007446568000036
このように、自動運転車の走行中の状態を数式24により動的に記述されることができるので、このような「意思決定」に適合した自動運転車の走行状況の記述方法のほか、様々な道路状況に対し、1つの数式により、まとめることができたことで、システム制御の複雑さが簡略化された役割を果たすことを分かった。
自動運転車の具体的な「意思決定」が構成された「機械理解」の方法は次のように定式することができる。
例は、自動運転車Cは、右車線に変更する場合、自動運転車Cは、右車線に走行している前の同行車C”との一定的な車間距離を持つ必要がある。この
Figure 0007446568000037
同様に、自動運転車Cは、右車線に変更する条件としては、また、自動運転車Cは、右車線に走行している後ろの同行車C”との一定な車間距離を持つ必要
Figure 0007446568000038
Figure 0007446568000039
または、自動運転車Cは、右車線に変更するもう一つの条件は、自動運転車Cは、同じの車線の前方に走行している同行車Cとの車間距離は短くすぎる。このようなメンバーシップ関数をWDmin(dC1C2)とすることが可能である、ここで、自動運転車Cと同じの車線の前方に走行している同行車Cとの一定な車間距離の値をdC1C2とし、車間距離の値dC1C2は短くければ、メンバーシップ関数WDmin(dC1C2)の値は大きくなる。
自動運転車Cは、右車線に変更する条件について、また、様々な路上の状況に応じて、いろいろなメンバーシップ関数の定式する必要はあるので、上述の内容を参考して、定式することが可能である。このようなすべての「機械理解」方法を本発明の内容を含めている。
次、自動運転車Cは、右車線に変更するかどうか、次のロジックの演算により結論を出ることが可能になる。
Figure 0007446568000040
ここで、FPの値は大きければ、自動運転車Cは、右車線に変更する必要さも大きい、逆にFPの値は小さければ、自動運転車Cは、右車線に変更する必要はない。
本発明は、次に、競合的学習を導入した「意思決定」の構成を提案する。
ここで、自動運転車Cはスピードアップし、前方の同行車に近づくことのファジィ事象確率測度値をFPとし、前方の同行車から離れることのファジィ事象確率測度値をFP-fとし、スピードダウンして後方の同行車に近づくことのファジィ事象確率測度値をFPとし、後方の同行車から遠ざかることのファジィ事象確率測度値をFP-bとする。
なお、自動運転車Cは左車線へ車線変更することのファジィ事象確率測度値をFPとし、左車線へ車線変更できないことのファジィ事象確率測度値をFP-lとし、同様に、自動運転車Cは、右車線へ車線変更することのファジィ事象確率測度値をFPとし、右車線へ車線変更できないことのファジィ事象確率測度値をFP-rとする。
ここで図13を参照すると、自動運転車Cがスピードアップして前方の同行車に近づくことのファジィ事象確率測度値FPは、前方の同行車との車間距離のファジィ事象確率測度WD(数式24);自動運転車Cの速度Sは要求された速度Sより低い;後方同行車との距離は安全車間の距離DS13に近づきすぎ、また一定時間内に常に近接している状態にあることにより決められる。
Figure 0007446568000041
ここで、ω71~ω75は各要素の重みであり、実際に応じて選択する必要がある。また、前方の同行車から離れることのファジィ事象確率測度値FP-f=1-FP
次に図13を参照したうえで、減速して後方の同行車に近づくことのファジィ事象確率測度FPを定式化する。FP値は、自動運転車Cと前方の同行車Cとの車間距離DS12が近すぎて、同行車Cと離れる必要があること、また、自動運転車Cの速度sが要求速度Sより高い、後方の同行車Cの速度が要求速度Sより遅くなることにより決められる。
Figure 0007446568000042
ここで、ω81~ω86は各要素の重みであり、実際に応じて選択する必要がある。また、自動運転車Cが後方の同行車から離れることのファジィ事象確率測度値FP-b=1-FP
ここで再び図13を参照し、Cが左車線へ車線変更する必要があるファジィ事象確率測度FPを定式化する。FP値は自動運転車Cが左車線の同行車C’から一定の車間距離WDF2をもつこと、自動運転車Cの速度Sが要求された速度Sを下回り、また自動運転車Cと前方同行車Cとの間隔[d-(S-S)T]が近すぎ、
Figure 0007446568000043
決められる。さらにFP値は、自動運転車Cと左側の同行車C’との車間距離が一定であり、前方同行車Cとの間隔[d-(S-S)T]が近すぎるとともに、後方同行車Cとの間隔[d-(S-S)T]も近すぎることにより決められる。
Figure 0007446568000044
ここで,ω91~ω102は各要素の重みであり、実際に応じて選択する必要がある。また、左車線に変更できないことのファジィ事象確率測度値FP-l=1-FP
最後に、自動運転車Cは右車線へ車線変換する必要があることのファジィ事象確率測度FPの定式化をする。FP値は自動運転車Cと右側の同行車C″との車間距離が一定であり、自動運転車Cの速度sは要求された速度Ssより低くなった、また自動運転車Cと前方同行車Cとの距離が近すぎることにより決められる。そしてFP値は自動運転車Cと右面の同行車C″との車間距離が一定であり、前方同行車Cとの間隔が近すぎるとともに後方同行車Cとの間隔も近すぎることにより決められる。
Figure 0007446568000045
ここで、ω111~ω120は各要素の重みであり、実際に応じて選択する必要がある。また、右車線に変更できないことのファジィ事象確率測度FP-r=1-FP
数式22~29実は自動運転車が直線を走行する時の動的な安全運転状態を表しており、前後の速度の変化や走行距離に応じて様々な状態を変化する。
上述のファジィ事象確率測度、若しくはファジィ理論のメンバシップ関数の定式の方法は、図12の考え方を参考して、いろいろな形の公式を作成することが可能である、または、数式26~29の中で、重みの必要があるが、自動運転に関して、生物の意識を持つ人間の判断経験、または安全運転の規則と融合した決断結果に基づいて、重みと見なして、直接に定式化、或いは数学的の処理をすることにより、機械的に深い理解を達成することが可能になれば、これはすべての本発明の内容を含んでいる。
これから、自動運転車Cが前方に向かって加速走行して前方の同行車に接近するか、減速走行して後方の同行車Cに接近するか、左車線へ車線変更するか、右車線へ車線変更するかを、競合的学習により決定する「機械推論」の構成方法を提供する。
図14は、「機械推論」の構成方法のイメージ図である。
ここで提出した「機械推論」は、図14に示すように、「機械推論」を構成する方法である。直進車に走っている自動運転車Cは、複雑な車間の関係の中、自動運転車Cが加速して前の同行車に近づけるか、減速して後方の車に近づけるか、左車線へ車線変更するか、右車線へ車線変換するかを決定するためには、はっきりかつ最適な判断の必要があるので、「機械推論」を導入して「意思決定」を持つシステムを構成しなければならない。
図14に示すように、自動運転車Cが加速して前方の車に近づけることがFP値に関係しているとともに、後車に減速接近しないことのファジィ事象確率測度値FP-b、左車線へ車線変更しないことのファジィ事象確率測度値FP-lおよび右車線へ車線変更しないことのファジィ事象確率測度値FP-rの値にも関係しているとする場合、自動運転車Cが加速して前方の車Cに近づけるファジィ事象確率測度FP’は:
Figure 0007446568000046
ここで、FP-f∪FP∪FP∪FP≠0とする。
これにより正負両方向の情報をすべて利用することができ、正負両方向の強い競合的学習の結果として、最適化されてより正確的に、最もはっきりな決断を実現することが可能になった。これは「機械決断」という役割を果たした。
同様に、自動運転車Cが減速して、前方車Cと離れ、後ろの車Cに近づけるファジィ事象確率測度FP’は:
Figure 0007446568000047
ここで、FP∪FP-b∪FP∪FP≠0とする。
安全運転の規則により、自動車が頻繁に車線変更しないことがあるため、自動運転車Cが左車線に変更するかどうかは、自動運転車Cと左車線同行車との間のファジィ事象確率測度の関係だけでなく、直線車線、および右車線の同行車との間の関係にも決められる。このようなことを、すてに、上述の数式28または29により、考慮されている。
上記の数式30または31の定式方法を参考して、自動運転車Cが左車線へ車線変更することのファジィ事象確率測度FPを次のように定式することができる。
Figure 0007446568000048
ここで、FP∪FP∪FP-l∪FP≠0とする。
同様の方法で、自動運転車Cが右車線へ車線変更するか否かは、上記の30、数式30または31の定式方法を参考して、自動運転車Cが右車線へ車線変更しないことのファジィ事象確率測度FP’-rは次のようになる。
Figure 0007446568000049
ここで、FP∪FP∪FP∪FP-r≠0とする。
数式30~33により、正負両方向の情報をすべて利用することができ、正負両方向の強い競合的学習の結果を得ることが可能であるが、ロジックの演算数式しかできないため、小さい情報をすべて利用することができない。
ここで、すべての曖昧情報と確率情報を利用できる新しい「機械推論」方法を提供する。
まずは、自動運転車Cは、加速して前に進むか、減速して前の同行車と離れるか、前に進むのは、ファジィ事象確率測度値FPとFP-b、または、減速して前の同行車と離れるのは、ファジィ事象確率測度値FPとFP-rに関連して
Figure 0007446568000050
の車線に車線変更しないファジィ事象確率測度値FP-rとを関係している。
まず、上述のように、自動運転車Cが前かあるいは後ろか走るファジィ事象確
Figure 0007446568000051
Figure 0007446568000052
Figure 0007446568000053
次は、自動運転車Cは左の車線に車線変更しないファジィ事象確率測度値FP-lと、また、右の車線に車線変更しないファジィ事象確率測度値FP-rを、加速して前の同行車Cに近づくか、若しくは減速して後ろの同行車Cに近づくか、どちらのファジィ事象確率測度値に加えるか、ここで、前と後ろへ近づくファジィ事象確率測度値の間の比率により分ける。
Figure 0007446568000054
Figure 0007446568000055
式35に基づいて、自動運転車Cは、加速して前に進む比率を、PE
Figure 0007446568000056
数式34と35により、自動運転車Cは、実際に加速して前に進むファジィ事象確率
Figure 0007446568000057
Figure 0007446568000058
同様に、自動運転車Cは、実際に減速して後ろに近づくファジィ事象確率測度値
Figure 0007446568000059
Figure 0007446568000060
次は、自動運転車Cが左車線に車線変更するファジィ事象確率測度値の帰一化
Figure 0007446568000061
Figure 0007446568000062
Figure 0007446568000063
また、自動運転車Cは、左車線に車線変更するファジィ事象確率測度値の算出を
Figure 0007446568000064
Figure 0007446568000065
Figure 0007446568000066
数式39に基づいて、自動運転車Cは、左車線に車線変更するファジィ事象確
Figure 0007446568000067
自動運転車Cは、左車線に車線変更するファジィ事象確率測度値の算出をする方法は次のようになる。
Figure 0007446568000068
同様に、自動運転車Cは、実際に右車線に車線変更するファジィ事象確率測度値を次のように算出することができる。
Figure 0007446568000069
数式34~41を用いて、自動運転車Cは、前に進むか、後ろに近づけるか、左車線に車線変更するか、さらに、右車線に車線変更するか、正負両側のファジィ事象確率測度の情報をすべて利用することが可能になった。
数式30~33は自動運転車Cが直線道路上での走行中に対し、関数FP、FP、FP、FPの数式中で、引数は自動運転車Cと同行車との車間の相対速度、相対距離が変数になっているので、このような定式の方法は次のようになる。
ここで、時間τを引数とすると、数式30~33のFP、FP、FP、FPから関数FP(τ)、FP(τ)、FP(τ)、FP(τ)になる、このようにすると、動的な「機械推論」を構成することができる。
自動運転車Cが加速して前方の車Cに近づけるファジィ事象確率測度関数式FP’(τ)は下記の通りになる。
Figure 0007446568000070
同様に自動運転車Cが減速して、前方車Cと離れ、後ろの車Cに近づけるファジィ事象確率測度関数式FP’(τ)は下記の通りになる。
Figure 0007446568000071
また、自動運転車Cが左車線へ車線変更するファジィ事象確率測度関数式FP’(τ)は下記の通りになる。
Figure 0007446568000072
次、自動運転車Cが右車線車線へ車線変更するファジィ事象確率測度関数式FB’(τ)は:
Figure 0007446568000073
Figure 0007446568000074
次のようになる。
Figure 0007446568000075
Figure 0007446568000076
になる。
Figure 0007446568000077
Figure 0007446568000078
になる。
Figure 0007446568000079
Figure 0007446568000080
になる。
Figure 0007446568000081
これに基づき、自動運転車は自動運転中に、どこが安全な走行エリアであるか、どこからが危険になるか、安全な車間の距離を持つか、これらのことを予測し、危険を避けることに対し、自動運転車の運転環境に基づいて、動的に深層感知が可能な「機械感知」機能、深層理解が可能な「機械理解」機能、さらに深層判断が可能な「機械推論」機能を含め、構成された「意思決定」により、生物の意識により判断した結果の正確度を超えたことが可能である。どんなに称しても、どんな形で構成しても、本発明の内容に属する。
ここで、上述のファジィ事象確率測度値を、確率情報がなければ、メンバーシップ関数値と称することができる、また、動的なファジィ事象確率測度関数を、確率情報がなければ、メンバーシップ関数と称することができる。
上記「意思決定」のモデルとしは、自動運転車が走行している各々路上の状況を判断し、一つずつの路上の状況に応じて、正確な指令を出す、自動運転の制御システムがこの指令を受けて、優良運転者から学習した「知能獲得」のデータベースから、該当された制御データを読み取り、実行する。機械は、人間から知能を受けて、意識を持つ人間より正確的に決断でき、人間の運転レベルより高くなる。これは機械に知能を持たせるアルゴリズムと言える。
以下、本出願が提案する自動運転システムの制御特徴に対し、まず自動運転の制御上の複雑なNP問題をどのように回避するかを考慮すること。従来の制御方法では制御点ごとにひき値を設定して制御するが、それでは少なくとも数十種類の道路状況があり、各道路状況はまた数十個の制御点の調節を行うことになる。これは典型的な組み合わせ理論のNP問題であり、チューリング機械が解決できない難題である。
本出願は自動運転車の複雑な制御上のNP(Non-deterministic Polynomial)問題を解決するために、機械が人間を学習する方法でNP問題を回避することを提案する。機械が人間を学習する方法により各種の自動運転の知識を生成し、機械は人から「機知獲得」を実現し、機械には「知恵」が生れたため、自動運転車は最も人間に近い「機知獲得」の制御結果を実現することが可能になったので、自動運転車の複雑度を大幅に低減させ、それによって自動運転車の制御が複雑なNP問題から脱却し、チューリングテスト効果を実現する自動運転システムが見込める。
[図15]自動運転の「機知獲得」の制御方法イメージ図である。
図15に示すように、自動運転車Cが前方車Cとの車間距離(DD)、自動運転車Cの初期速度(IV)、坂道の角度(TS)及びカーブ道の具合(Dis)等が検索項目に属し、制御項目には、ハンドル角度(Sw)、アクセル度合い(Tv)、ブレーキ度合い(BS)、走行方向(P/N)、カーブ制御(Tc)、ウインカー(TI)、間隔制御(Ci)、道路状況種類(RC)等の条件がある、これらのデータを制御ベクトルとする。
確率尺度の自己組織化機械学習DLは、複数の自動運転車の訓練データから最大確率値を求め、知覚層(P)の節点に入力することを担当する。
知覚層と神経層(P)を結ぶ確率尺度の自己組織化機械学習DLは、
訓練データ集合に属する複数の訓練データ、即ち制御ベクトルに対し、上述図5の確率尺度の自己組織という機械学習の処理方法を参考して、各々要素の最大確率のガウス分布を求め、正確性のない訓練データを除いて、新たな訓練データ空間を得る、このように繰り返し処理することにより、一つの最大確率のガウス分布の制御ベクトルを得ることが可能である、このような訓練結果を自動運転の制御の「機知獲得」データとする。
また、上述の訓練を続ける場合に、ユークリッド空間と確率空間を統一できる距離の計算式(10)と、ユークリッド空間と確率空間を統一できるファジィ事象確率測度数式(11)を用いて、確率空間に属されたガウス分布の制御ベクトルと続けて訓練したサンプリングのデータとの間の距離は一番短い、また確率測度は一番大きい複数な訓練データの集合を構成することができる。一定範囲を超えた場合に、後補データとしてメモリ空間に登録される。このような方法を用いて、ユークリッド空間と確率空間を統一できる距離と、ユークリッド空間と確率空間を統一できるファジィ事象確率測度を選ぶ基準として、最適な複数な訓練データの集合を構成することにより、さらに、これらのデータを確率尺度の自己組織化機械学習を通し、最適な「機知獲得」の確率空間の制御ベクトルを構成することができる。
EPDはデータ検索のために設置されたメモリ空間であり,「意識獲得」の状態指令に従ってEPDデータベースの内容を検索し、制御項目のデータを取り出して自動運転車の走行を制御する。具体的な検索方法は:ユークリッド空間および確率空間の距離を統一する計算式(10)と異なる空間のファジィ事象確率測度式(11)によって、「意識獲得」の状態指令を検索するキーワードとして、EPDデータベース中のデータの確率分布との間の距離、あるいはファジィ事象確率測度を計算し、計算結果の最も近い自動運転の制御に該当された「機知獲得」のデータベースを引き出す、制御ベクトルの各データを用いて自動運転車を制御する。それ以外にまた、ジャイロスコープによる自動運転の姿勢の制御、位置決めの制御、車線制御、また、特別な路上状況に応じて、人間介入により規則の作成することも考える。
自動運転の「機知獲得」は機械が人間から運転技能を学ぶことが可能になり、複雑系な自動運転の制御問題を簡単に解決できる、「機知獲得」が様々な運転状態に対応できる十分な知識を持たせるように、自動運転車にとっていろいろ道路状況に応じて、事前に大量に訓練する必要がある。
自動運転の「機知獲得」を構成するデータの獲得方法について、「意思決定」システムにより、ある1つの同行車との関係、または一つの道路状況に基づいて出された状態指令を取得してから、「機知獲得」システムは、上記の1つの状態指令を受けて、自動運転車を訓練する時に人間の運転者の運転により生成したハンドル情報、アクセル情報、ブレーキ情報、シフト情報、ウインカー情報の少なくとも1つの情報を登録し、複数なこのような情報から、制御特徴ベクドルを生成し、上述の確率尺度の自己組織のアルゴリズムを用いて、最大確率のガウス過程を求めた結果を「機知獲得」データベースに登録する。
上記「意思決定」は、自動運転車と同行車との間の関係を獲得することが、ファジィ事象確率測度関係、ファジィ関係、確率関係、車間距離関係のうちの少なくとも一つ関係を指す。
前記「機知獲得」のデータを、同一の「意思決定」指令が複数回の訓練を経て獲得された複数のデータが確率尺度の自己組織化機械学習により求めた訓練データの最大確率値;訓練データの最大確率空間;訓練データの最大確率の分布とする。
ここで、訓練データの最大確率値を、「機知獲得」システムの制御ベクトル値とする。訓練データの最大確率空間を、訓練品質の判別根拠とし、訓練結果の取捨選択を行う根拠とし、及び新たな「機知獲得」」データの追加の根拠とする。訓練データの最大確率分布は、自動運転の制御上の冗長性を利用することにより、データベースの規模を減らすことができる。また、サンプルデータと、登録された確率空間に属した「機知獲得」が構成されたデータベースを検索することによって、新しい訓練データを選ぶ基準として、「機知獲得」の最適化を活用することを考える。
自動運転の「機知獲得」モデル導入の制御方法は:「意思決定」によって自動運転車と同行車との関係に基づいて道路状況に関した一つの状態指令を取得し、この状態指令を取得した後、その状態指令に対応された「機知獲得」データを呼び出し、「機知獲得」データに従って自動運転車の走行を制御する。
上記「意思決定」によりある同行車との間の関係を獲得することを、ファジィ事象確率測度関係、ファジィ関係、確率関係、車間距離関係のうちの少なくとも1つの関係とする。
上記その状態に対応する「機知獲得」データの呼び出しとは、「意思決定」により与える指令をデータベースの検索条件として、「機知獲得」データベース中の各データとの間で、ユークリッド空間と確率空間を統一した距離の計算式や、ファジィ事象確率測度の計算式により、求めた距離、または測度が最も小さい「機知獲得」データを制御データとするものである。
人間工学で提唱された「快適乗車」」の原則として、自動運転の加速、または減速時に±x[m/s]を超えない、または加速度がy[m/s]を超えないことを制御し、不快な乗車感を与えないように、「快適な乗車」を実現する。
自動運転の制御は決して単に「機知獲得」データの呼び出しだけで実現することではなく、自律分散制御理論によって、自動運転の制御は独立した制御能力を有し、道路状況でランダムに発生する様々な偶然事件に対応するために、「機知獲得」機能システムにも、自動運転車の感知層の様々な情報を把握することを備える必要がある、「意思決定」機能システムから離れても自律的に一定範囲、一定条件での自動運転を行えることを可能とする。
「機知獲得」データは自動運転車が走行過程中にGIS情報や、ジャイロスコープ情報、またはレーター情報によって測定された間隔により連続的に制御するものである。訓練時にはこの間隔でデータ収集を行い「機知獲得」を実現する。自動運転車の走行過程においてもこの間隔によって「機知獲得」データを読み取って該当制御ベクトルに基づいて制御を行うことである。
自動運転車の制御は単に「機知獲得」データを読み取り、「機知獲得」データに従って制御するだけでなく、自律分散的な制御システムとして、自動運転車が読み取った「機知獲得」データを実行し、「機知獲得」データに従って必要な制御を行うとともに、知覚層からの情報を受け取ることにより、突発的な事象の発生や、突発的な事象の発生の可能性に基づいて様々な事象が発生する可能性を自主的に判断し、対応する処理をすることが必要である。
図16は、自動運転中に遭遇可能な状況を示す図である。
図16(a)で、自動運転車Cが右車線で停車したばかりのバスCを通過しようところ、バスの前方が自動運転車を見えない死角エリアであるため、自動運転車の制御システムとしては、万が一バスの前から乗客が跳び出してきた場合、非常停車を可能とする。
図16(b)で、自動運転車Cが信号のない交差点を通過しようところ、交差点の左側の他の道路にも1つの同行車Cが交差点に向かって来ており、走行車Cの位置が自動運転車にとっての死角であるため、自動運転車Cとしては万が一走行車Cが交差点から出てきた場合交通事故が発生することを考慮し、走行車Cが出てきても交通事故にならないことを考えなければならない。
しかし自動運転車の走行中に、これらのように交通事故が発生する可能性があるところが多く、処理がうまくいかないと、自動運転車を乗ることが、非常に
Figure 0007446568000082
せるかが大事である。バスの前から乗客が飛び出してくる確率が小さいため、自動運転車とバスの距離に応じて、自動運転車の速度をバスの先端に近づいて乗
Figure 0007446568000083
に、また良い乗り心地を確保できるようにすること。これを人間から、機械に車の運転知恵とする「機知獲得」の一つの制御特徴である。
自動運転にとって、多目的な問題を解決する方法は、まずは初期速度、目標速度、走行距離、終点速度など様々な走行条件を機械に学習させ、また「安全規則」を守る前提として、自動運転車がどのように「快適乗車」にするか、「安全規則」と「快適乗車」を満足すると同時に、どのように「早く到着」を実現するかを人間から機械に教えて大量の「機知獲得」のデータを形成し、また「機知獲得」のデータが走行する曲線を「意思決定」が予測する走行曲線と融合すること。
ここでは、優れた運転指導者の運転テクニックを機械学習の「機知獲得」により自動運転車に教示し、上記「意思決定」から出された状態指令を通し、自動運転車の「快適乗車」が円滑に行えるような自動運転車が直面する複雑なNP制御問題を解決する方法を提案した。
様々な運転過程における複雑な問題を解決するために、機械学習により、機械が人間に様々な運転スキルを学習し、また、生物の意識を持つ人間より、もっと賢い「意思決定」と、「機知獲得」との融合し、「安全走行」、「快適乗車」及び「快速到着」、「省エネ」等の多目的制御を実現することが可能である。
図17は、「機知獲得」と「意思決定」の融合方法を示す図である。
本出願は「機知獲得」、「意思決定」、「快適乗車」、および「快速到着」の4つの目的関数の融合をする方法を提出する。まずは「機知獲得」により、人間が自動運転に教える際に、訓練したデータにとって、できるだけ「快適乗車」、および「快速到着」の特徴を持たせる。また様々な走行状況下で訓練を行い、優れた運転者の高い運転スキルと、乗車者に「快適乗車」を楽しませることとを自動運転の機械に教えることである。
図17に示すように、通常では自動運転車は「機知獲得」のデータMLDで運転しているが、同行車Cの領域に入った場合に、「機知獲得」から同行車Cの領域を越える指令をもらい、所与された同行車Cの領域を越えるための時間、そして必要とされる速度に基づき、自動運転車Cはtのタイミングで、「意思決定」により、より高速度の「機知獲得」データMLD2を呼び出す。自動運転車の制御は、「快適乗車」を考慮しながら、「意思決定」はより早い段階でデータMLDを呼び出してスピードを徐々に上げるようにする。
「快適乗車」という目的関数については、人間工学で提案されている「快適乗車」から、主に自動運転車の加速及び減速において±7[m/s]を超えない、約10[m/s]の加速度の振動という問題を回避すれば、「快適乗車」の効果を得ることが分かる。
本出願では「機知獲得」、「意思決定」、「快適乗車」及び「快速到着」の四つの目的関数を融合する第二の方法を提案する。上記の人間工学が提出した「快適乗車」の原則を用いて、「機知獲得」データ及び「意思決定」データを修正することで、「機知獲得」「意思決定」のデータが「快適乗車」の要求に満足するようにする。
本願では、「機知獲得」、「意思決定」、「快適乗車」、及び「快速到着」を融合する第三の方法を提案する。「機知獲得」で得られた運転曲線、及び「意思決定」で得られた運転曲線、及び「快適乗車」により、得られた運転曲線をもって、最小二乗法により3つの曲線の最適アプローチを行い、自動運転車を関数アプローチ後の曲線上で走行させることである。あるいは、図5に示す最大確率自己組織化の教師なし機械学習により、3つの曲線の各離散点の最大確率値を算出し、最大確率値で連結し生成した曲線に基づいて、走行させることである。また、スプライン関数を用いてラッピング処理を行うこともできる。「機知獲得」、「意思決定」、「快適乗車」、「早く到着」の4つの目的関数に依存するものは図14の競合的学習を参考すれば取得することもできる。
競合的学習の概念は、現場で得られたデータ、例えば、“速度”、“加速度”や、“早く到着”の確率分布に近づく、“省エレー”、“安全走行”の確率分布からの距離に離れた場合に、“速度”、“加速度”や、“早く到着”のマイナス方向に調整する。逆に、“速度”、“加速度”や、“早く到着”の確率分布にから離れ、“省エレー”、“安全走行”の確率分布に近づく場合に、有利なプラス方向に調整することにより、競合的学習の多目的制御が実現され、自動運転車を最適な制御状態にすることができる。
ここでは上記「意思決定」と「機知獲得」による具体的な自動運転車の訓練方法をまとめる。
一つの走行状態は、アクセルの制御により自動運転車の加速或いは減速制御と、ハンドルの制御により、自動運転車がカーブする、減速または停止のブレーキ制御、自動車が前進または後退するシフトの制御、ウインカーの制御などを同時にできる。1つの走行状態は、意思決定層から走行状態を変更する指令を受けていない、または突発的な状態に遭遇していない限り、走行状態を維持し続ける。1つの走行状態が完了する場合、「意思決定」システムの状態指令に基づいて次の走行状態に移行することができる。
ここでは、優良な運転者が自動車を運転する際に、自動運転車の内部に搭載されている「意思決定」機能システムが受けた自動運転車の周囲の走行車の状態情報、例えば自動運転車と各同行車との距離、各同行車との相対速度などから、上述のような深い「機械理解」の処理、または「機械推論」により、構成された「意思決定」機能は、この走行車の状態、例は自動運転車の速度、前車との距離、及び速度に応じて、優良運転者が制御されたアクセルの加速、減速のデータ、ハンドルで自動運転車をカーブさせるデータ、ブレーキの制御により車両を減速や停止させるデータ、シフト制御により車を前進や後退させるデータ、ウインカー制御データなどを訓練し、データベースに登録する、また「意思決定」の道路情報をもって、優秀な運転手が自動運転車を運転する訓練を各道路状況に分けた上で、各道路状況での運転手の行動、つまり、アクセルの加速、減速のデータ、ハンドルで自動運転車をカーブさせるデータ、ブレーキの制御により車両を減速や停止させるデータ、シフト制御により車を前進や後退させるデータ、ウインカー制御データ等をもって自動運転車制御用「機知獲得」のデータを構成すれば、自動運転車への訓練ができるようになる方法を提出する。
このように、人間の知識が自動運転車の身につけさせ、機械の知恵を生み出すことにより、自動運転車が人のように一定の運転レベルを持つこと、自動運転車の制御の複雑さを低減させること、自動運転車における制御の複雑さから発生したNP問題から避けることができる。
自動運転車の制御方法については、逆に優良運転者の訓練により様々な道路状況での制御データを取得して「機知獲得」を実現しているため、「意思決定」システムが様々な道路状況に応じて出す状態指令に基づき、対応する「機知獲得」データを呼び出し、自動運転車の走行を制御することが可能になった。

Claims (5)

  1. 自動運転向け「意思決定」モデルの構成方法において、
    1.プロセッサ、メモリを含むハードウェアに搭載された「意思決定」モデルのソフトウェアは、自動運転車と周りの同行車との互に、走っている距離、速度、加速度を含む少なくとも一つの要素の値を、人間の運転の知恵に基づいて、安全運転の状態になる度合い、若しくは危険運転状態になるような度合いにより、数学的のような関数として定式化することにおいて、人間の運転知識が機械に理解させることを可能とする;
    2.自動運転のハードウェアとソフトウェアを協働することにより、上述の少なくとも二つの数学的のような関数との論理演算を行うことにより、自動運転の最適化されて、正確的な意思決定の結果を得ることが可能になる;或いは上述の数学的のような関数の値に対し、自動運転車が加速して前の同行車に近づけるか、減速して後方の車に近づけるか、又は、左車線へ車線変更するか、右車線へ車線変更するかを決定するためには、正負両方向の情報がすべて利用されることにより、正負両方向の強い競合の結果として、最適化されて、正確的な意思決定をすることを特徴とする自動運転向け「意思決定」モデルの構成方法。
  2. 自動運転向け「意思決定」モデルの構成方法において、
    前記、安全運転の状態になる度合いとは、人間の運転の知恵に基づいて、自動運転車は、安全運転の状態に近づけば近づくほど、安全運転の状態になる度合いは「1」になる、逆に安全運転の状態に離れるほど、「0」に近づくこと;或いは危険運転の状態になる度合いとは、人間の運転の知恵に基づいて、自動運転車は、危険運転の状態に近づけば近づくほど、危険運転の状態になる度合いは「1」になる、逆に危険運転の状態に離れるほど、「0」に近づくことを特徴とする請求項1に記載の自動運転向け「意思決定」モデルの構成方法。
  3. 自動運転向け「意思決定」モデルの構成方法において、
    前記、数学的のような関数とは、ファジィ数学のメンバーシップ関数、或いはファジィ事象確率測度と指すことを特徴とする請求項1に記載の自動運転向け「意思決定」モデルの構成方法。
  4. 自動運転向け「意思決定」モデルの構成装置であって、
    プロセッサ、メモリを含むハードウェアに搭載された「意思決定」モデルのソフトウェアは、自動運転車と周りの同行車との互に、走っている距離、速度、加速度を含む少なくとも一つの要素の値を、人間の運転の知恵に基づいて、安全運転の状態になる度合い、若しくは危険運転状態になるような度合いにより、数学的のような関数として定式化することにおいて、人間の運転知識が機械に理解させることを可能とする;
    自動運転のハードウェアとソフトウェアを協働することにより、上述の少なくとも二つの数学的のような関数との論理演算を行うことにより、自動運転の最適化されて正確的な意思決定の結果を得ることが可能になる;或いは上述の数学的のような関数の値に対し、自動運転車が加速して前の同行車に近づけるか、減速して後方の車に近づけるか、又は、左車線へ車線変更するか、右車線へ車線変更するかを決定するためには、正負両方向の情報がすべて利用されることにより、正負両方向の強い競合の結果として、最適化されて、正確的な意思決定をすることを特徴とする自動運転向け「意思決定」モデルの構成装置。
  5. 自動運転向け「意思決定」モデルの構成プログラムにおいて、
    請求項1~3のいずれ1項に記載された方法をプロセッサに実行させるためのプログラム。
JP2019204292A 2018-10-11 2019-09-27 自動運転向け「意思決定」モデルの構成方法、その装置、又はプログラム Active JP7446568B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811213226.4 2018-10-11
CN201811213226.4A CN111038521A (zh) 2018-10-11 2018-10-11 一种自动驾驶“意识决定”模型的构成方法

Publications (2)

Publication Number Publication Date
JP2020061156A JP2020061156A (ja) 2020-04-16
JP7446568B2 true JP7446568B2 (ja) 2024-03-11

Family

ID=70220120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019204292A Active JP7446568B2 (ja) 2018-10-11 2019-09-27 自動運転向け「意思決定」モデルの構成方法、その装置、又はプログラム

Country Status (3)

Country Link
US (1) US11550327B2 (ja)
JP (1) JP7446568B2 (ja)
CN (1) CN111038521A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11414094B2 (en) * 2020-03-25 2022-08-16 Toyota Research Institute, Inc. Systems and methods for switching between a primary driver and a secondary driver for a vehicle
WO2021226767A1 (zh) * 2020-05-09 2021-11-18 华为技术有限公司 一种自适应优化自动驾驶系统的方法及装置
CN111667466B (zh) * 2020-05-26 2023-04-18 湖北工业大学 一种带钢表面质量缺陷多分类的多目标优化特征选择方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525174A (ja) 2003-03-26 2006-11-09 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 車両用の電子制御システム及び車両システムで運転者に依存しない少なくとも1つの介入を算出する方法
JP2018135069A (ja) 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法及びプログラム
JP2018142323A (ja) 2017-02-27 2018-09-13 澤蒼 顧 超深層競合学習のニューラルネットワークモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム
WO2018167891A1 (ja) 2017-03-15 2018-09-20 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064800A (ja) * 1992-06-18 1994-01-14 Mitsubishi Electric Corp 車両の安全走行制御装置
JP3063073B2 (ja) * 1995-06-30 2000-07-12 富士ゼロックス株式会社 画像解析表現付加装置
JP3638169B2 (ja) * 1996-02-16 2005-04-13 本田技研工業株式会社 車両衝突予防装置
US20080154629A1 (en) * 1997-10-22 2008-06-26 Intelligent Technologies International, Inc. Vehicle Speed Control Method and Arrangement
CN107298021B (zh) * 2016-04-15 2022-03-08 松下电器(美国)知识产权公司 信息提示控制装置、自动驾驶车及其驾驶辅助系统
CN108509966A (zh) * 2017-02-27 2018-09-07 顾泽苍 一种超深度对抗学习的方法
CN107506830A (zh) * 2017-06-20 2017-12-22 同济大学 面向智能汽车规划决策模块的人工智能训练平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525174A (ja) 2003-03-26 2006-11-09 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 車両用の電子制御システム及び車両システムで運転者に依存しない少なくとも1つの介入を算出する方法
JP2018135069A (ja) 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法及びプログラム
JP2018142323A (ja) 2017-02-27 2018-09-13 澤蒼 顧 超深層競合学習のニューラルネットワークモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム
WO2018167891A1 (ja) 2017-03-15 2018-09-20 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大島弘安 ほか,予見ファジー制御方式による自動列車運転装置の実現,電気学会論文誌C(電子・情報・システム部門誌) [online],第109巻,第5号,1989年05月,pp.337-344,[検索日 2022.04.27], インターネット:<URL:https://www.jstage.jst.go.jp/article/ieejeiss1987/109/5/109_5_337/_pdf/-char/ja>

Also Published As

Publication number Publication date
US11550327B2 (en) 2023-01-10
US20200285242A1 (en) 2020-09-10
JP2020061156A (ja) 2020-04-16
CN111038521A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
JP2020059497A (ja) 「機知獲得」モデルを導入した自動運転の制御方法、装置及びそれによって構成されるプログラム
Lee et al. Convolution neural network-based lane change intention prediction of surrounding vehicles for ACC
Kuutti et al. A survey of deep learning applications to autonomous vehicle control
Huegle et al. Dynamic input for deep reinforcement learning in autonomous driving
JP7446568B2 (ja) 自動運転向け「意思決定」モデルの構成方法、その装置、又はプログラム
DE112020000688T5 (de) Kombinierte vorhersage und pfadplanung für autonome objekte unter verwendung neuronaler netze
US20230124864A1 (en) Graph Representation Querying of Machine Learning Models for Traffic or Safety Rules
JP2020061155A (ja) Sdlモデルの導入した画像の抽出方法
Díaz-Álvarez et al. Modelling the human lane-change execution behaviour through multilayer perceptrons and convolutional neural networks
Johora et al. Modeling interactions of multimodal road users in shared spaces
Aradi et al. Policy gradient based reinforcement learning approach for autonomous highway driving
Yu et al. Autonomous overtaking decision making of driverless bus based on deep Q-learning method
Gaikwad Vehicle Velocity Prediction Using Artificial Neural Networks and Effect of Real-World Signals on Prediction Window
Azadani et al. Toward driver intention prediction for intelligent vehicles: A deep learning approach
Cheng et al. Spatio-temporal image representation and deep-learning-based decision framework for automated vehicles
Szőke et al. Driving on highway by using reinforcement learning with CNN and LSTM networks
Masmoudi et al. Autonomous car-following approach based on real-time video frames processing
JP2020061157A (ja) 自動機械学習の構成方法
CN114919578B (zh) 智能车行为决策方法、规划方法、系统及存储介质
CN111046897A (zh) 一种跨越不同空间的模糊事件概率测度的定义方法
Zhang et al. Spatial attention for autonomous decision-making in highway scene
CN109543497A (zh) 一种适于自动驾驶的多目的控制机器学习模型的构建方法
Bourbakis et al. A smart car model based on autonomous intelligent agents for reducing accidents
Menon et al. Artificial intelligence-based trajectory planning for driverless vehicles—a review
US20240092398A1 (en) Trajectory prediction based on a decision tree

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240213

R150 Certificate of patent or registration of utility model

Ref document number: 7446568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150