JP7135977B2

JP7135977B2 - 車両用演算装置

Info

Publication number: JP7135977B2
Application number: JP2019066776A
Authority: JP
Inventors: 英臣藤本
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2022-09-13
Anticipated expiration: 2039-03-29
Also published as: EP3933799A4; CN113646815A; US20220185304A1; JP2020164046A; CN113646815B; WO2020202936A1; EP3933799B1; EP3933799A1

Description

ここに開示する技術は、例えば車両の自動運転のために用いられる車両用演算装置に関する。

特許文献１には、車両に搭載されたエンジン、ステアリング等の複数の車載機器を制御するシステムが開示されている。この制御システムでは、複数の車載機器を制御するため、統合制御部、ドメイン制御部、および機器制御部に階層化された構成を備えている。

特開２０１７－０６１２７８号公報

高精度の自動運転を実現するためには、車両周囲の環境だけでなく、ドライバの状態や車両の状態等、様々な情報を基にして、総合的な判断により車両の運動を制御しなければならない。このためには、カメラやセンサ、あるいは車外ネットワーク等からの膨大な量のデータを高速に処理して、瞬間毎に車両の最適運動を決定し、各アクチュエータを操作する必要があり、そのための演算装置を構築する必要がある。

そして、このような演算装置に対する性能や機能に対する要求は、車種やグレードに応じて様々である。例えば、車両に設置されるカメラの台数や配置位置によって、カメラ出力に対する画像処理等の処理は異なる。このため、演算装置は車種やグレード毎に構成する必要があるが、これらを互いに独立した装置として構成すると、開発コストや製造コストが増大してしまう。また、演算装置内の特定の構成要素について仕様変更やバージョンアップが必要になった場合に、演算装置全体を交換する必要が生じてしまう。

ここに開示する技術はかかる点に鑑みてなされたものであり、その目的とするところは、車両用演算装置について、コストの増大を抑えるとともに、仕様変更やバージョンアップを容易に実施可能にすることにある。

具体的にここに開示する技術は、車両に搭載され、当該車両の走行を制御するための演算を実行する車両用演算装置であって、当該車両の車種を含む複数車種に関して共通の構成を有する固定部と、前記固定部との間でデータ送受信可能であり、当該車両の車種に応じた構成を有する可変部とを備えており、前記固定部は、当該車両に設置されたカメラの出力に対して、所定の画像処理を行う画像処理部と、前記画像処理部によって生成された画像信号を格納するメモリとを備えており、前記可変部は、前記メモリに格納された画像信号を用いて、当該車両の車種に応じたアプリケーションを実行し、実行結果を前記固定部に送信する処理部を備えている。

この構成によると、車両用演算装置は、複数車種に関して共通の構成を有する固定部と、当該車両の車種に応じた構成を有する可変部とを備えている。固定部は、当該車両に設置されたカメラの出力に対して、所定の画像処理を行う画像処理部と、画像処理部によって生成された画像信号を格納するメモリとを備えており、可変部は、メモリに格納された画像信号を用いて当該車両の車種に応じたアプリケーションを実行し、実行結果を固定部に送信する処理部を備えている。これにより、固定部は複数車種に関して共通であるので、開発コストや製造コストを低減できる。一方、可変部は車種に応じた構成を有しており、処理部の仕様変更やバージョンアップを行うときは、演算装置全体を交換する必要がなく、可変部のみを交換すればよい。

そして、上述の車両用演算装置において、前記可変部は、当該車両の車種に応じたカメラ情報を記憶する第２メモリを備えており、前記固定部は、前記第２メモリからカメラ情報を読み出し、前記カメラ情報に従って、前記画像処理部における画像処理の処理内容を設定する、としてもよい。

この構成によると、可変部が、当該車両の車種に応じたカメラ情報を記憶する第２メモリを備えており、固定部は、第２メモリからカメラ情報を読み出し、カメラ情報に従って、画像処理の処理内容を設定する。これにより、固定部は複数車種に関して共通の構成を有していながら、カメラ出力に対して、車種に応じた画像処理を実行することができる。

また、上述の車両用演算装置において、前記固定部は、第１基板に搭載されており、前記可変部は、前記第１基板とは別の第２基板に搭載されている、としてもよい。

この構成によると、固定部と可変部とは、別の基板に搭載されているので、互いの発熱等の影響を回避することができる。

さらに、前記第１基板と前記第２基板とは、互いに異なる電源系統に接続されている、としてもよい。

これにより、固定部と可変部とは、互いの発熱や消費電力等の影響をより一層、回避することができる。

また、上述の車両用演算装置において、前記処理部は、深層学習によって生成された学習済みモデルを利用して、演算処理を実行する、としてもよい。

この構成では、深層学習によって生成された学習済みモデルを利用して演算処理を実行する、いわゆるＡＩ処理部は、アップデートが頻繁に行われる可能性があるが、これが可変部に設けられる。このため、ＡＩ処理部の仕様変更やバージョンアップを行うとき、演算装置全体を交換する必要がなく、可変部のみを交換すればよい。

さらに、上述の車両用演算装置において、前記固定部は、前記処理部によるアプリケーションの実行結果を基にして、当該車両の経路を生成するものであり、かつ、前記処理部が故障のとき、ルールベース機能でもって経路生成を実行可能に構成されている、としてもよい。

これにより、ＡＩ処理部が故障の場合であっても、車両用演算装置は、経路生成等の基本機能を保持することができる。

本開示によると、車両用演算装置について、コストの増大を抑えるとともに、仕様変更やバージョンアップが容易になる。

車両用演算装置の機能構成例（ａ）～（ｃ）は本開示の特徴を表す概念図実施形態に係る車両用演算装置の具体的なチップ構成例（ａ），（ｂ）は図３の構成をグレードの低い車種に適用した場合を示す図（ａ），（ｂ）は図３の構成をグレードの高い車種に適用した場合を示す図図３の構成例における処理の流れを示すフローチャート

図１は車両用演算装置の機能構成例を示すブロック図である。図１の構成は、車両に搭載された情報処理ユニット１を備えている。情報処理ユニット１は、本開示に係る車両用演算装置の一例である。情報処理ユニット１は、車両に関する各種の信号やデータを入力とし、これらの信号やデータを基にして、例えば深層学習によって生成した学習済みモデルを利用して、演算処理を実行し、車両の目標運動を決定する。そして、決定した目標運動に基づいて、車両の各アクチュエータ２００の操作信号を生成する。

情報処理ユニット１は、車外環境推定部１０、ドライバ状態推定部２０、経路生成部３０，目標運動決定部４０、エネルギーマネジメント部５０を備えている。車外環境推定部１０は、車両に搭載されたカメラ１０１やレーダー１０２等の出力を受け、車外環境を推定する。ドライバ状態推定部２０は、車室内に設置されたカメラ１２０によって撮像された画像から、ドライバの健康状態や感情、あるいは、身体挙動を推定する。経路生成部３０は、車外環境推定部１０の出力を用いて、車両の走行経路を生成する。目標運動決定部４０は、経路生成部３０が生成した走行経路について、目標運動を決定する。エネルギーマネジメント部５０は、目標運動決定部４０が決定した目標運動を実現するための、駆動力、制動力および操舵角を算出する。

図２は本実施形態の特徴を表す概念図である。本実施形態では、車両用演算装置は、固定部と、可変部とに分かれて構成されている。固定部は、複数車種に関して共通の構成を有している。一方、可変部は、車種（グレードを含む）に応じた構成を有している。すなわち、図２（ａ）～（ｃ）に示すように、車種Ａは演算装置１Ａを備え、車種Ｂは演算装置１Ｂを備え、車種Ｃは演算装置１Ｃを備える。演算装置１Ａ，１Ｂ，１Ｃは、共通の構成を有する固定部２を備えている。一方、可変部に関しては、演算装置１Ａは可変部３Ａを備え、演算装置１Ｂは可変部３Ｂを備え、演算装置１Ｃは可変部３Ｃを備えており、可変部３Ａ，３Ｂ，３Ｃは車種に応じた構成を有している。

このような構成によって、車両用演算装置において、固定部はいずれの車種にも共通であるので、開発コストや製造コストを低減できる。一方、可変部は、車種によって構成を変えることができるので、仕様変更やバージョンアップが容易になる。すなわち、可変部には、アップデートが頻繁に行われる可能性がある構成要素を含めるのが好ましい。例えば、深層学習によって生成された学習済みモデルを利用して演算処理を実行するいわゆるＡＩ処理部は、可変部に設けるのが好ましい。これにより、ＡＩ処理部の仕様変更やバージョンアップを行うとき、演算装置全体を交換する必要がなく、可変部のみを交換すればよい。

図３は本実施形態における車両用演算装置の具体的なチップ構成例である。図３では、車両用演算装置は、メイン基板３０１と、サブ基板３０２とに分かれて構成されている。メイン基板３０１は、ＳＯＣ（System On chip）３１０と、メモリ３２０と、制御マイコン３３０とが搭載されている。サブ基板３０２は、ＡＩアクセラレータ３４０と、フラッシュメモリ３５０とが搭載されている。ＳＯＣ３１０、メモリ３２０、制御マイコン３３０が搭載されたメイン基板３０１が、固定部に相当する。すなわち、メイン基板３０１は、複数の車種に関して共通の構成を有する。一方、ＡＩアクセラレータ３４０、フラッシュメモリ３５０が搭載されたサブ基板３０２が、可変部に相当する。すなわち、サブ基板３０２は、車種に応じた構成を有する。

メイン基板３０１において、ＳＯＣ３１０は、車両に設置されたカメラの出力を入力とする入力ポートを備える。この入力ポートの個数は、メイン基板３０１を共通に用いる複数の車種において、想定される最大のカメラ台数とするのが好ましい。図３の構成では、４個の入力ポートＣ１～Ｃ４を備えているため、最大で４台のカメラの出力を入力することができる。また、ＳＯＣ３１０は、画像処理部（ＩＳＰ：Image Signal Processor）３１１と、メモリアクセス部（ＤＭＡ：Direct Memory Access）３１２とを備える。画像処理部３１１は、入力ポートＣ１～Ｃ４に入力されたカメラ出力に対して、所定の画像処理を行う。メモリアクセス部３１２は、メモリ３２０へのアクセスを実行する。例えば、画像処理部３１１によって生成された画像信号は、メモリアクセス部３１２を介して、メモリ３２０に格納される。

サブ基板３０１において、ＡＩアクセラレータ３４０は、深層学習によって生成された学習済みモデルを利用して、演算処理を実行する。例えば、ＡＩアクセラレータ３４０は、メモリ３２０に格納された画像信号を用いて、当該車両の車種に応じたアプリケーションを実行し、アプリケーションの実行結果をメモリ３２０に格納する。フラッシュメモリ３５０は、当該車両の車種に応じたカメラ情報を記憶している。ＳＯＣ３１０は、フラッシュメモリ３５０からカメラ情報を読み出し、読み出したカメラ情報に従って、例えば、画像処理部３１１における画像処理の処理内容を設定する。

ＡＩアクセラレータ３４０は、メイン基板３０１とのデータ入出力を、フラッシュメモリ３５０とは別の入出力ポートを介して実行する。ここでは、ＡＩアクセラレータ３４０は、ＳＯＣ３１０との間で、例えばＰＣＩＥｘｐｒｅｓｓを介してデータ転送を行う。

メイン基板３０１において、制御マイコン３３０は、例えば、ＡＩアクセラレータ３４０によるアプリケーションの実行結果をメモリ３２０から読み出して、当該車両の走行経路の生成を行う。そして、生成した走行経路について当該車両の目標運動を決定し、決定した目標運動を実現するための、駆動力、制動力および操舵角を算出する。

図４は図３の構成をグレードの低い車種に適用した場合を示す。図４（ａ）に示すように、この車種では、車両の前方を撮像するカメラＡが設置されている。カメラＡは、１画素１２ビットのデータをＲＣＣＢ形式で出力するものとする。ここでいうＲＣＣＢとは、それぞれ色を示しており、ＲはＲｅｄ、ＢはＢｌｕｅ、ＣはＣｌｅａｒ画素を示している。Ｃｌｅａｒ画素は、ＲＧＢといった通常光の色の抽出のための波長バンドパスフィルタを通らないものであり、低照度でも高感度を発揮する画素データである。この場合、フラッシュメモリ３５０は、カメラＡの出力に対する画像処理の情報として、ガンマ変換により８ビットのデータに変換する処理が設定されているものとする。図４（ｂ）に示すように、ＳＯＣ３１０は、フラッシュメモリ３５０からカメラ情報を読み出し、画像処理として、ガンマ変換により８ビットのデータに変換する処理を設定する。そして、入力ポートＣ１に入力されたカメラ出力に対して、画像処理部３１１が画像処理を実行し、実行した結果の画像信号をメモリ３２０に格納する（ＣＨ１データ）。

ＡＩアクセラレータ３４０は、この車種のアプリケーションとして、前方障害物監視とＡＨ（オートハイビーム）検知が設定されている。前方障害物監視は、ＣＨ１データのＣ画素を使用して実行し、ＡＨ検知は、ＣＨ１データのＲ画素を使用して実行する。ＡＩアクセラレータ３４０は、アプリケーションの実行結果をメモリ３２０に保存する。例えば、障害物が急接近しているため前方緊急ブレーキが必要か否か、といった情報がメモリ３２０に保存される。ＡＩアクセラレータ３４０によるアプリケーションの実行結果は、その後の処理、例えば制御マイコン３３０が実行する経路生成のために用いられる。

図５は図３の構成をグレードの高い車種に適用した場合を示す。図５（ａ）に示すように、この車種では、車両の前方を撮像するカメラＡに加えて、車両右後方を撮像するカメラＢと、車両左後方を撮像するカメラＣとが設置されている。カメラＡは、１画素１２ビットのデータをＲＣＣＢ形式で出力し、カメラＢとカメラＣはそれぞれ、１画素８ビットのデータをＹＵＶ形式で出力するものとする。Ｙは輝度信号、Ｕは青色成分との差、Ｖは赤色成分との差であり、ＹＵＶは人間の目が輝度の変化に敏感である特性を利用するデータである。この場合、フラッシュメモリ３５０は、カメラ出力に対する画像処理の情報として、カメラＡに関しては、ガンマ変換により８ビットのデータに変換する処理が設定されており、カメラＢ，Ｃに関しては、Ｙ成分のみを抽出する処理が設定されているものとする。図５（ｂ）に示すように、ＳＯＣ３１０は、フラッシュメモリ３５０からカメラ情報を読み出し、画像処理として、カメラＡに対して、ガンマ変換により８ビットのデータに変換する処理を設定し、カメラＢ，Ｃに対して、Ｙ成分のみを抽出する処理を設定する。そして、入力ポートＣ１，Ｃ２，Ｃ３に入力されたカメラ出力に対して、画像処理部３１１が画像処理を実行し、実行した結果の画像信号をメモリ３２０にそれぞれ格納する（ＣＨ１データ、ＣＨ２データ、ＣＨ３データ）。

ＡＩアクセラレータ３４０は、この車種のアプリケーションとして、前方障害物監視、ＡＨ検知、および、左右後方接近者監視が設定されている。前方障害物監視は、ＣＨ１データのＣ画素を使用して実行し、ＡＨ検知は、ＣＨ１データのＲ画素を使用して実行し、左右後方接近者監視はＣＨ１およびＣＨ２データのＹ画素を使用して実行する。ＡＩアクセラレータ３４０は、アプリケーションの実行結果をメモリ３２０に保存する。例えば、障害物が急接近しているため前方緊急ブレーキが必要か否か、自動ハイビームしてよいか否か、右後方から車両が接近しておらず、レーン変更が可能か否か、といった情報がメモリ３２０に保存される。ＡＩアクセラレータ３４０によるアプリケーションの実行結果は、その後の処理、例えば、制御マイコン３３０による経路生成のために用いられる。

なお、ＡＩアクセラレータ３４０によるアプリケーションの実行結果をメモリ３２０に格納する際のアドレスは、車種によらず共通にしておけばよい。この場合、グレードの高い車種にあってグレードの低い車種にはないアプリケーションに関しては、グレードの低い車種では、その実行結果を格納するアドレスは固定値を格納しておけばよい。

図６は図３の構成例における処理の流れを示すフローチャートである。まず、車両が起動されると、ＳＯＣ３１０がフラッシュメモリ３５０からカメラ情報を読み出す（Ｓ１１）。ＳＯＣ３１０は、読み出したカメラ情報を基にして、カメラ出力に対する画像処理の処理内容と、処理結果の画像信号の書き込み先アドレスを設定する（Ｓ１２）。

その後、ＳＯＣ３１０は、入力ポートからカメラ出力を取り込み、画像処理を実行する（Ｓ１３）。そして、ＳＯＣ３１０は、画像処理の結果生成された画像信号を、メモリ３２０に格納する（Ｓ１４）。ＡＩアクセラレータ３４０は、メモリ３２０に格納された画像信号を用いて、アプリケーションを実行する（Ｓ１５）。そして、ＡＩアクセラレータ３４０は、アプリケーションの実行結果をメモリ３２０に格納する（Ｓ１６）。ＳＯＣ３１０は、ＡＩアクセラレータ３４０によるアプリケーションの実行結果をメモリ３２０から読み出し、制御マイコン３３０に出力する（Ｓ１７）。制御マイコン３３０は、ＡＩアクセラレータ３４０によるアプリケーションの実行結果を用いて、例えば経路生成等の処理を実行する（Ｓ１８）。その後、Ｓ１３～Ｓ１８の処理が繰り返し実行される。

以上のように本実施形態によると、車両用演算装置は、複数車種に関して共通の構成を有する固定部と、当該車両の車種に応じた構成を有する可変部とを備えている。例えば、固定部は、当該車両に設置されたカメラの出力に対して、所定の画像処理を行うＳＯＣ３１０と、生成された画像信号を格納するメモリ３２０とを備えており、可変部は、メモリ３２０に格納された画像信号を用いて当該車両の車種に応じたアプリケーションを実行し、実行結果を固定部に送信するＡＩアクセラレータ３４０を備えている。これにより、固定部は複数車種に関して共通であるので、開発コストや製造コストを低減できる。一方、可変部は車種に応じた構成を有しており、例えばＡＩアクセラレータ３４０の仕様変更やバージョンアップを行うときは、演算装置全体を交換する必要がなく、可変部のみを交換すればよい。

また、固定部と可変部とを別の基板に設けることによって、互いの発熱等の影響を回避することができる。例えば、図３のチップ構成では、ＡＩアクセラレータ３４０は処理速度が高速であり、他のチップと比べて消費電力や発熱量が格段に高い。このため、ＡＩアクセラレータ３４０を、ＳＯＣ３１０や制御マイコン３３０が搭載されたメイン基板３０１とは別のサブ基板３０２に搭載することによって、ＡＩアクセラレータ３４０による発熱がＳＯＣ３１０等に与える影響を回避することができる。

さらに、メイン基板３０１とサブ基板３０２とは、互いに異なる電源系統に接続するようにしてもよい。これにより、互いの発熱や消費電力等の影響をより一層、回避することができる。

また、制御マイコン３３０は、ＡＩアクセラレータ３４０によるアプリケーションの実行結果を基にして、当該車両の経路を生成するものとした。ここで、制御マイコン３３０は、ルールベース機能でもって経路生成を実行可能に構成されているのが好ましい。これにより、ＡＩアクセラレータ３４０が故障の場合であっても、ルールベース機能でもって経路生成を実行できるので、車両用演算装置は経路生成等の基本機能を保持することができる。

なお、図３のチップ構成は一例であり、本開示はこれに限定されるものではない。例えば、サブ基板３０２のフラッシュメモリ３５０は、他の構成のメモリであってもよい。また、このメモリは、ＡＩアクセラレータ３４０と同一チップに含めてもかまわない。ただし、ＡＩアクセラレータ３４０には最先端の製造プロセスが適用されるため、製造プロセス上は、ＡＩアクセラレータ３４０とメモリとは、別チップに分ける方が好ましい。あるいは、ＡＩアクセラレータ３４０とメモリとを、別の基板に分けて搭載してもかまわない。

また、車両用演算装置において、固定部と可変部とに含める構成要素は、ここで示したものに限られるものではない。例えば、可変部には、ドライバの画像からドライバの状態を推定するＡＩ処理部を設けるようにしてもよい。

１情報処理ユニット（車両用演算装置）
１Ａ，１Ｂ，１Ｃ車両用演算装置
２固定部
３Ａ，３Ｂ，３Ｃ可変部
３０１メイン基板（固定部）
３０２サブ基板（可変部）
３１０ＳＯＣ
３１１画像処理部
３２０メモリ
３３０制御マイコン
３４０ＡＩアクセラレータ（処理部）
３５０フラッシュメモリ（第２メモリ）

Claims

車両に搭載され、当該車両の走行を制御するための演算を実行する車両用演算装置であって、
当該車両の車種を含む複数車種に関して共通の構成を有する、固定部と、
前記固定部との間でデータ送受信可能であり、当該車両の車種に応じた構成を有する、可変部とを備えており、
前記固定部は、
当該車両に設置されたカメラの出力に対して、所定の画像処理を行う画像処理部と、
前記画像処理部によって生成された画像信号を格納するメモリとを備えており、
前記可変部は、
前記メモリに格納された画像信号を用いて、当該車両の車種に応じたアプリケーションを実行し、実行結果を前記固定部に送信する処理部を備えている
ことを特徴とする車両用演算装置。
請求項１記載の車両用演算装置において、
前記可変部は、
当該車両の車種に応じたカメラ情報を記憶する第２メモリを備えており、
前記固定部は、
前記第２メモリからカメラ情報を読み出し、前記カメラ情報に従って、前記画像処理部における画像処理の処理内容を設定する
ことを特徴とする車両用演算装置。
請求項１または２記載の車両用演算装置において、
前記固定部は、第１基板に搭載されており、
前記可変部は、前記第１基板とは別の第２基板に搭載されている
ことを特徴とする車両用演算装置。
請求項３記載の車両用演算装置において、
前記第１基板と前記第２基板とは、互いに異なる電源系統に接続されている
ことを特徴とする車両用演算装置。
請求項１～４のうちいずれか１項の車両用演算装置において、
前記処理部は、深層学習によって生成された学習済みモデルを利用して、演算処理を実行する
ことを特徴とする車両用演算装置。
請求項５記載の車両用演算装置において、
前記固定部は、
前記処理部によるアプリケーションの実行結果を基にして、当該車両の経路を生成するものであり、かつ、前記処理部が故障のとき、ルールベース機能でもって経路生成を実行可能に構成されている
ことを特徴とする車両用演算装置。