JP7355717B2 - 映像変換システム、映像変換方法及び映像変換プログラム - Google Patents

Description

本発明は、映像変換システム、映像変換方法及び映像変換プログラムに関し、特に、車載カメラセンサを用いて車両制御を行う車両制御ユニット（ＥＣＵ）の評価やデバッグ等の際に用いられる映像変換システム、映像変換方法及び映像変換プログラムに関する。

車載カメラセンサを用いて車両制御を行う電子制御ユニット（Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ，ＥＣＵ）の開発が現在進められている。ＥＣＵは車載カメラセンサからカメラ映像を受信し、カメラ映像から車両の周辺の状況を判断し、車両の走行速度、進行方向等の車両制御を行う。

特許文献１には、車載カメラセンサから撮影されたカメラ映像、及び、車載カメラセンサによって撮影されたカメラ映像の代わりに、仮想的なＣＧ画像を、画像認識を行う画像認識部に認識させ、自動運転学習を行うことによって学習効率を向上させる方法について開示されている。

特開２０１８－６０５１１号公報

車載カメラセンサは、カメラ映像に加えて、カメラの設定等のカメラ情報を１つの映像信号に含めて、映像信号をＥＣＵに対して送信する。ＥＣＵは、受信した映像信号に含まれるカメラ情報に基づいて、受信した映像信号が車載カメラセンサから送信されたものであるかどうかを判断し、カメラ情報が車載カメラセンサのものと一致しない場合は車載カメラセンサの異常を検出する。

ＥＣＵの評価や、ＥＣＵの動作不具合等におけるデバッグを行う際、映像信号として、特許文献１に開示されているような仮想的なＣＧ画像を用いると、効率よく評価やデバック等を行うことが出来る。仮想的なＣＧ画像をＥＣＵに送信するためには、ＥＣＵが有する、車載カメラセンサの異常を検出する機能（ダイアグ機能）を無効にするか、又はカメラ情報が含まれたＣＧ画像を作成する必要がある。ＥＣＵが有するダイアグ機能の無効化には多くの手間を要し、非効率的である。又、カメラ情報が含まれたＣＧ画像を作成する場合、カメラ情報には非開示の情報が含まれていることが多く、カメラ情報が含まれたＣＧ画像の作成は容易ではない。カメラ情報がすべて開示されていたとしても、車載カメラセンサとＥＣＵ間の通信内容に変更が生じた場合、カメラ情報が変更されるため、都度カメラ情報を変更する必要が生じる。

上記問題点を鑑み、本発明は、ＥＣＵが有するダイアグ機能を無効化、又は開示されたカメラ情報が含まれたＣＧ画像を作成することなくＥＣＵの評価やデバッグ等が可能な映像変換システム、映像変換方法及び映像変換プログラムを提供することを目的とする。

本発明の第１の態様は、映像変換システムであって、試験映像を生成する映像生成手段と、ＥＣＵから送信されたカメラ設定信号に対応するカメラ設定情報を生成するカメラ設定情報生成手段と、試験映像を受信する第１入力部と、カメラ設定情報を受信する第２入力部と、第１入力部から試験映像を受信し、試験映像にカメラレンズ相当のレンズ歪効果を加える調整部と、調整部から歪効果を加えた試験映像と、第２入力部からカメラ設定情報とを合成して、試験映像データを生成する合成部と、ＥＣＵに試験映像データを出力する出力部とを備える映像変換装置と、試験映像データを受信し、試験映像データに対して画像認識を行ったのち、自動車の動作を決定するＥＣＵとを備えることを要旨とする。

本発明の第１の態様において、映像変換装置は、ＦＰＧＡであってもよい。

本発明の第１の態様において、カメラ設定情報生成手段はカメラセンサであって、カメラ設定信号はカメラセンサに入力されたのち、カメラセンサからカメラ設定情報とカメラ映像が含まれたカメラ映像データが第２入力部に入力され、合成部はカメラ映像データに含まれるカメラ映像データと歪を加えられた試験映像とを置き換えることで試験映像データを生成してもよい。

本発明の第１の態様において、カメラ設定情報生成手段は、カメラ設定情報が記憶されている記憶部と、ＥＣＵからカメラ設定信号を受信する第３入力部と、受信したカメラ設定信号に対応するカメラ設定情報を記憶部から読み出し、第２出力部に送信する生成部と、読み出されたカメラ設定情報を映像変換装置に出力する第２出力部とを備えてもよい。

本発明の第２の態様は、映像変換方法であって、ＥＣＵがカメラ撮影の設定を指示するカメラ設定信号を送信するステップと、カメラ設定情報生成手段が、ＥＣＵから送信されたカメラ設定信号を受信し、カメラ設定信号に対応したカメラ設定情報を第２入力部に送信するステップと、映像生成手段が試験映像を生成し、第１入力部に送信するステップと、試験映像にカメラレンズに応じた歪みが加えられるステップと、カメラ設定情報と試験映像を含む試験映像データを生成し、ＥＣＵに出力するステップと、ＥＣＵが、試験映像データを受信し、試験映像データに対して画像認識を行ったのち、車両制御を決定するステップとを備えることを要旨とする。

本発明の第３の態様は、映像変換プログラムであって、コンピュータに、電子制御ユニットがカメラ撮影の設定を指示するカメラ設定信号を送信する手順と、カメラ設定情報生成手段が、電子制御ユニットから送信されたカメラ設定信号を受信し、カメラ設定信号に対応したカメラ設定情報を第２入力部に送信する手順と、 映像生成手段が試験映像を生成し、第１入力部に送信する手順と、試験映像に魚眼レンズに応じた歪みが加えられる手順と、カメラ設定情報と試験映像を含む試験映像データを生成し、電子制御ユニットに出力する手順と、電子制御ユニットが、試験映像データを受信し、試験映像データに対して画像認識を行ったのち、自動車の制御を決定する手順とを実行させることを要旨とする。

本発明によれば、ＥＣＵが有するダイアグ機能を無効化、又は開示されたカメラ情報が含まれたＣＧ画像を作成することなくＥＣＵの評価やデバッグ等が可能な映像変換システム、映像変換方法及び映像変換プログラムを提供できる。

本発明の第１の実施形態に係る映像変換システムの構成の一例を示す概略図である。 第１の実施形態に係る映像変換システムの映像変換装置の構成の一例を示すブロック図である。 第１の実施形態に係る映像変換方法を説明するフローチャートである。 本発明の第２の実施形態に係る映像変換システムの構成の一例を示す概略図である。 第２の実施形態に係る映像変換システムの映像変換装置の構成の一例を示すブロック図である。 第３の実施形態に係る映像変換システムを利用した映像シミュレータシステムの構成の一例を示す概略図である。

次に、図面を参照して、本発明の実施形態を説明する。実施形態に係る図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、平面寸法等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

又、実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、各構成要素の構成や配置、レイアウト等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（第１の実施形態）
本発明の第１の実施形態に係る映像変換システムの構成の一例を図１に示す。図１に示す映像変換システム１０は、映像生成手段１０１、映像変換装置１０２、カメラセンサ１０３及びＥＣＵ１０４から構成される。

本実施形態に係る映像変換システムの映像変換装置１０２の構成の一例を図２に示す。図２に示す映像変換装置１０２は、第１入力部２０１、第２入力部２０２、調整部２０３、合成部２０４、出力部２０５から構成される。

ＥＣＵ１０４は映像データを受信し、映像データから車両の周辺の状況を判断し、車両の走行速度、進行方向等の車両の制御を行う。本実施形態に係る映像変換システムは、ＥＣＵ１０４が映像データから車両の周辺の状況を適切に判断できるか、ＥＣＵ１０４の動作自体にエラーがないかどうかの評価、デバッグを行うために、映像生成手段１０１において生成した試験映像１０５のＥＣＵ１０４への送信を容易にする。

カメラセンサ１０３は、車両を制御するＥＣＵに、撮影したカメラ映像を送信するカメラであって、自動車に搭載され、自動車の進行方向前方、後方等を撮影する。本実施形態に係る映像変換システムにおいては、カメラセンサ１０３は自動車に搭載されている必要はない。

映像変換装置１０２は、映像生成手段１０１において生成した試験映像１０５を、ＥＣＵ１０４がカメラセンサ１０３の異常を検出しないようにＥＣＵ１０４に送信する装置であって、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路から構成される。映像変換装置１０２は、本実施形態においては単体で動作するものとするが、例えばシステムバス等を介してコンピュータ等に接続されているような形態でもかまわない。

映像生成手段１０１において生成され、映像変換装置１０２に送信される試験映像１０５は、車載カメラセンサで撮影したものと同等の映像であって、ＣＧ画像、カメラセンサ１０３又は他のカメラで予め撮影された映像、又はカメラ等で撮影された映像の一部をＣＧ画像に置き換えた画像等であってよい。試験映像１０５は、カメラで予め撮影された映像であるか、ＣＧ画像であれば画像認識が可能な程度に精巧な画像である。また、効率よく評価、デバッグ等を行うために、試験映像１０５は、様々な状況、様々な視野、他の車両や歩行者等が映り込む等、多様なパターンに対応した映像であって良い。

ＥＣＵ１０４においては、受信した映像に対して画像認識が行われたのち、その結果に基づいて自動車の動作が決定されるが、映像生成手段１０１において生成された試験映像１０５はＥＣＵ１０４のこのような動作の評価、デバック等に使用される。また、映像生成手段１０１は、試験映像１０５を作成、加工、記憶が可能な装置であって、例えば、パーソナルコンピュータ等の汎用コンピュータであって良い。

ＥＣＵ１０４はカメラセンサ１０３に、シャッターの絞り、シャッター速度等のカメラ撮影の設定を指示するカメラ設定信号を送信する。カメラセンサ１０３は、ＥＣＵ１０４から送信されたカメラ設定信号を受信し、ＥＣＵ１０４に指示された設定に従って撮影を行い、得られたカメラ映像データ１０６を映像変換装置１０２の第２入力部２０２に送信する。又、映像生成手段１０１は映像変換装置１０２の第１入力部２０１に試験映像１０５を送信する。

車載カメラセンサは、通常、カメラレンズを有しており、車載カメラセンサによって撮影された映像はレンズによる歪みが生じたものが撮影される。ＥＣＵ１０４はカメラセンサ１０３から撮影された映像を受信して映像の画像認識を行う際、カメラレンズによる画像の歪みを補正したのち画像認識を行う。一方、映像生成手段１０１において生成された試験映像１０５には通常カメラレンズによる画像の歪みがないため、映像生成手段１０１において生成された試験映像１０５をＥＣＵ１０４に送信すると、ＥＣＵ１０４は、カメラレンズによる画像の歪みがない画像である試験映像１０５に対して、カメラレンズによる画像の歪みを補正してしまう。従って、映像生成手段１０１から映像変換装置１０２を介してＥＣＵ１０４に試験映像１０５を送信してＥＣＵ１０４において試験映像１０５の画像認識を行う際、試験映像に予めカメラレンズによる歪みを加えてからＥＣＵ１０４に試験映像１０５を送信する。本実施形態においては、映像生成手段１０１から第１入力部２０１に送信された試験映像１０５には、調整部２０３においてカメラセンサ１０３が有するカメラレンズに応じた歪みが加えられる。

更に、調整部２０３において、カメラセンサ１０３の撮影時のシャッター速度などに応じて、映像生成手段１０１から送信された試験映像１０５の輝度などを調整してもよい。

カメラセンサ１０３がＥＣＵ１０４に指示された設定に従って撮影して得られたカメラ映像データ１０６には、カメラ映像１０８に加えて、ＥＣＵ１０４に指示された設定が記載されたカメラ設定情報１０７が含まれる。ＥＣＵ１０４は映像データを受信する際、カメラ設定情報１０７が映像データに含まれていない場合、カメラセンサ１０３に異常があったものと判断する機能を備えている（ダイアグ機能）。映像生成手段１０１が映像変換装置１０２に送信した試験映像１０５には、カメラ設定情報１０７が含まれていないため、映像生成手段１０１から映像変換装置１０２を介してＥＣＵ１０４に試験映像１０５を送信するとＥＣＵ１０４はカメラセンサ１０３に異常があると判断する。従って、合成部２０４において、カメラセンサ１０３から第２入力部２０２に送信されたカメラ映像データ１０６のカメラ映像１０８を、映像生成手段１０１から第１入力部２０１に送信された試験映像１０５に差し替え、映像生成手段１０１から送信された試験映像１０５にカメラ設定情報１０７が含まれた試験映像データ１０９を出力部２０５に出力する。

映像生成手段１０１から送信された試験映像１０５にカメラ設定情報１０７が含まれた試験映像データ１０９は出力部２０５からＥＣＵ１０４へ送信される。送信された試験映像データ１０９に対して、ＥＣＵ１０４において、カメラセンサ１０３の異常が検出されるか否かの判断がなされたのち、試験映像１０５に対して、調整部２０３において加えられた、カメラセンサ１０３が有する魚眼レンズに応じた歪みが補正され、画像認識が行われる。

以上述べたように、本実施形態に係る映像変換システムによれば、カメラセンサ１０３から送信されるカメラ映像データ１０６に含まれるカメラ設定情報１０７の内容が開示されていなくても、映像生成手段１０１からＥＣＵ１０４へ試験映像１０５を送信し、ＥＣＵ１０４の評価やデバッグ等を効率よく行うことが出来る。また、カメラセンサ１０３の設定が変更された場合においても、映像生成手段１０１及び映像変換装置１０２に変更を加えることなくＥＣＵ１０４の評価やデバッグ等を行うことが出来る。

次に、図３に示すフローチャートを参照しながら、映像変換方法を説明する。ステップＳ３０１において、ＥＣＵ１０４はカメラセンサ１０３に、カメラ撮影の設定を指示するカメラ設定信号を送信する。

ステップＳ３０２において、カメラセンサ１０３は、ＥＣＵ１０４から送信されたカメラ設定信号を受信し、ＥＣＵ１０４に指示された設定に従って撮影を行い、得られたカメラ映像データ１０６を第２入力部２０２に送信する。

ステップＳ３０３において、映像生成手段１０１は第１入力部２０１に試験映像１０５を送信する。

ステップＳ３０４において、映像生成手段１０１から第１入力部２０１に送信された試験映像１０５には、調整部２０３においてカメラセンサ１０３が有するカメラレンズに応じた歪みが加えられる。

ステップＳ３０５において、合成部２０４で、カメラセンサ１０３から第２入力部２０２に送信されたカメラ映像データ１０６のカメラ映像１０８を、映像生成手段１０１から第１入力部２０１に送信された試験映像１０５に差し替え、映像生成手段１０１から送信された試験映像１０５にカメラ設定情報１０７が含まれた試験映像データ１０９を出力部２０５に出力する。

ステップＳ３０６において、映像生成手段１０１から送信された試験映像１０５にカメラ設定情報１０７が含まれた試験映像データ１０９は出力部２０５からＥＣＵ１０４へ送信される。

（第２の実施形態）
本発明の第２の実施形態に係る映像変換システムの構成の一例を図４に示す。また、映像変換装置４０１の構成の一例を図５に示す。図４に示す映像変換システム４０は、図１に示す映像変換システム１０と比較すると、映像変換装置４０１にカメラセンサ１０３は接続されていない。また、図５に示す映像変換装置４０１は、図２に示す映像変換装置１０２と比較すると、第２入力部２０２の代わりに、記憶部５０１、生成部５０２及び第３入力部５０３を備えている。第３入力部５０３はＥＣＵ１０４に接続されている。記憶部５０１には、ＥＣＵ１０４から送信されるカメラ設定信号に対応するカメラ設定情報５０４が記憶されている。

第１の実施形態に係る映像変換システムは、カメラセンサから送信されるカメラ映像データに含まれるカメラ設定情報が開示されていない場合に映像生成手段からＥＣＵへ試験映像を送信し、ＥＣＵの評価やデバッグ等を行うためのシステムであった。カメラセンサから送信されるカメラ映像データに含まれるカメラ設定情報が開示されている場合、本実施形態に係る映像変換システムを適用することが出来る。

ＥＣＵ１０４は映像変換装置４０１の第３入力部５０３にカメラ設定信号を送信する。生成部５０２は、第３入力部５０３からカメラ設定信号を受信すると、記憶部５０１からカメラ設定信号に対応するカメラ設定情報５０４を読み出し、合成部２０４に出力する。又、第１の実施形態の場合と同様に、映像生成手段１０１は映像変換装置４０１の第１入力部２０１に試験映像１０５を送信する。調整部２０３において、映像生成手段１０１から第１入力部２０１に送信された試験映像１０５に、カメラレンズに応じた歪みが加えられる。合成部２０４において、調整部２０３において調整された試験映像１０５に、記憶部５０１から読み出されたカメラ設定情報５０４を付加し、試験映像データ５０５として出力部２０５を介してＥＣＵ１０４へ送信される。

本実施形態において、映像変換装置４０１はカメラ設定情報５０４が記憶された記憶部５０１を備えた構成となっているが、映像変換装置４０１の代わりに映像変換装置１０２を備え、第２入力部２０２からカメラ設定情報を入力する構成でも構わない。即ち、映像変換装置１０２の第２入力部２０２に、カメラ設定情報が記憶された記憶部と、ＥＣＵ１０４から送信されたカメラ設定信号に応じて記憶部からカメラ設定情報を読み出し映像変換装置１０２の第２入力部２０２に送信する生成部とを備えるカメラ情報設定手段を接続し、ＥＣＵ１０４から送信されたカメラ設定信号に応じて記憶部からカメラ設定情報が合成部２０４に入力される構成でも構わない。

本実施形態に係る映像変換装置を利用した映像変換システムによれば、カメラセンサから送信される映像データに含まれるカメラ情報が開示されていれば、カメラセンサに接続することなくＥＣＵの評価やデバッグ等を行うことが出来る。また、カメラセンサの設定が変更される場合、記憶部５０１にカメラ情報をデータベースとして記憶させてもよい。

（第３の実施形態）
本発明の第３の実施形態に係る映像変換システムを利用した映像シミュレータシステムの構成の一例を図６に示す。図６に示す映像シミュレータシステム６０は、映像生成手段１０１、映像変換装置４０１、ＥＣＵ１０４及びリアルタイムシミュレータ６０１から構成される。図６に示す映像生成手段１０１、映像変換装置４０１及びＥＣＵ１０４は、図４に示すそれぞれの構成要素と同様のものである。

ＥＣＵ１０４は映像変換装置４０１にカメラ設定信号を送信すると、第２の実施形態において述べたように、映像生成手段１０１から送信された試験映像１０５に、カメラ設定信号に対応するカメラ設定情報５０４が付加され、映像変換装置４０１からＥＣＵ１０４へ送信される。ＥＣＵ１０４は試験映像データ５０５を受信すると、画像認識ののち、自動車の制御を判定し、自動車の動きを指示する制御信号をリアルタイムシミュレータ６０１に送信する。リアルタイムシミュレータ６０１の中に仮想の車両６０２があり、制御信号を受信すると、映像生成手段１０１において車両の動きに応じた新たな試験映像が生成される。映像生成手段１０１から新たな試験映像がＥＣＵ１０４へ送信される。以上の動作を繰り返し行い、ＥＣＵ１０４の評価を行う。

以上述べたように、本実施形態に係る映像変換システム、映像変換方法及び映像変換プログラムによれば、ＥＣＵが有するダイアグ機能を無効化、又は開示されたカメラ情報が含まれたＣＧ画像を作成することなくＥＣＵの評価やデバッグ等を行うことが出来る。

以上、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１０、４０ 映像変換システム
１０１ 映像生成手段
１０２、４０１ 映像変換装置
１０３ カメラセンサ
１０４ ＥＣＵ
１０５ 試験映像
１０６ カメラ映像データ
１０７ カメラ映像
１０８、５０４ カメラ設定情報
１０９、５０５ 試験映像データ
２０１ 第１入力部
２０２ 第２入力部
２０３ 調整部
２０４ 合成部
２０５ 出力部
５０１ 記憶部
５０２ 生成部
５０３ 第３入力部
６０ 映像シミュレータシステム
６０１ リアルタイムシミュレータ
６０２ 仮想の車両

Claims (6)

1. 試験映像を生成する映像生成手段と、
   電子制御ユニットから送信されたカメラ設定信号に対応するカメラ設定情報を生成するカメラ設定情報生成手段と、
   前記試験映像を受信する第１入力部と、
   前記カメラ設定情報を受信する第２入力部と、
   前記第１入力部から前記試験映像を受信し、前記試験映像にカメラレンズによる歪効果を加える調整部と、
   前記調整部から歪効果を加えた前記試験映像と、前記第２入力部から前記カメラ設定情報とを合成して、試験映像データを生成する合成部と、
   前記電子制御ユニットに前記試験映像データを出力する出力部と
   を備える映像変換装置と、
   前記試験映像データを受信し、前記試験映像データに対して画像認識を行ったのち、自動車の制御を決定する前記電子制御ユニットと
   を備えることを特徴とする映像変換システム。
2. 前記映像変換装置は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であることを特徴とする請求項１記載の映像変換システム。
3. 前記カメラ設定情報生成手段はカメラセンサであって、前記カメラ設定信号は前記カメラセンサに入力されたのち、前記カメラセンサから前記カメラ設定情報とカメラ映像が含まれたカメラ映像データが前記第２入力部に入力され、前記合成部は前記カメラ映像データに含まれる前記カメラ映像データと前記歪を加えられた試験映像とを置き換えることで前記試験映像データを生成することを特徴とする請求項１又は２に記載の映像変換システム。
4. 前記カメラ設定情報生成手段は、
   前記カメラ設定情報が記憶されている記憶部と、
   前記電子制御ユニットから前記カメラ設定信号を受信する第３入力部と、
   受信した前記カメラ設定信号に対応する前記カメラ設定情報を前記記憶部から読み出し、第２出力部に送信する生成部と、
   読み出された前記カメラ設定情報を前記映像変換装置に出力する前記第２出力部と
   を備えることを特徴とする請求項１又は２に記載の映像変換システム。
5. 電子制御ユニットがカメラ撮影の設定を指示するカメラ設定信号を送信するステップと、
   カメラ設定情報生成手段が、前記電子制御ユニットから送信された前記カメラ設定信号を受信し、前記カメラ設定信号に対応したカメラ設定情報を第２入力部に送信するステップと、
   映像生成手段が試験映像を生成し、第１入力部に送信するステップと、
   前記試験映像にカメラレンズに応じた歪みが加えられるステップと、
   前記カメラ設定情報と前記試験映像を含む試験映像データを生成し、前記電子制御ユニットに出力するステップと、
   前記電子制御ユニットが、前記試験映像データを受信し、前記試験映像データに対して画像認識を行ったのち、自動車の制御を決定するステップと
   を備えることを特徴とする映像変換方法。
6. コンピュータに、
   電子制御ユニットがカメラ撮影の設定を指示するカメラ設定信号を送信する手順と、
   カメラ設定情報生成手段が、前記電子制御ユニットから送信された前記カメラ設定信号を受信し、前記カメラ設定信号に対応したカメラ設定情報を第２入力部に送信する手順と、
   映像生成手段が試験映像を生成し、第１入力部に送信する手順と、
   前記試験映像にカメラレンズに応じた歪みが加えられる手順と、
   前記カメラ設定情報と前記試験映像を含む試験映像データを生成し、前記電子制御ユニットに出力する手順と、
   前記電子制御ユニットが、前記試験映像データを受信し、前記試験映像データに対して画像認識を行ったのち、自動車の制御を決定する手順と
   を実行させるための映像変換プログラム。

Images