JP7314834B2 - 映像情報出力装置 - Google Patents

Description

本発明は、監視者が車両の走行を遠隔地又は車内から監視又は操縦するための映像を、監視者等に提供する映像情報出力装置、映像出力方法、及び映像出力プログラム等に関する。

自動運転車両の監視システムでは、車両周囲の安全・状況を確認するための映像を、自動運転車両やインフラから監視者に送信し、表示する。監視者は、該映像により、必要な際には、自動走行の許可、停止や自動走行経路の変更の判断、又は自動運転車両に代わって操縦を行う。

特許文献１では、自動運転中の自車両が次に取ろうとしている走行行動を乗員に予告表示するために、車線変更の走行コースを、矢印のシンボル画像と該矢印を軌跡としてその上を走行する自車両の仮想車両の動画表示により、各ディスプレイ装置の表示画面に表示する開示がある。

また、特許文献２には、遠隔操縦される車両に搭載される画像送信装置において、安全な遠隔操作が行えるようにするために、遠隔操作元が遠隔操縦装置の画像選択部より選択した選択画像領域のみを送信して、遠隔操縦元が注視したい領域を自身で選択して拡大できるようにする開示がある。

特開２０１６－１８２８９１号公報 特開２０１９－１４０４７２号公報

しかしながら、特許文献１のように走行コースや走行経路全体をディスプレイ上に表示すると、遠方領域が小さく表示され見えにくいため、遠隔地にいる監視者が走行停止や開始を判断するのが難しい場合がある。
また、特許文献２のように選択された領域を遠方領域として拡大表示すると、当該遠方領域の確認はできるが、選択された領域以外の確認ができない。また、注視したい領域を自身で選択するために時間と手作業が必要となる。

上記課題を解決するために、本発明の映像情報出力装置は、
表示装置に表示する映像を示す映像情報を生成し出力する映像情報出力装置であって、
車両の周囲の映像である車両周囲映像を取得する映像取得部（３１）と、
前記車両が将来に走行する予定の軌跡である将来軌跡を取得する将来軌跡取得部（３２）と、
前記将来軌跡に基づいて、前記表示装置で表示する表示領域を示す表示領域情報を生成する表示領域情報算出部（３３）と、
前記車両周囲映像と前記表示領域情報を関連付けて、将来の映像を模した情報である将来模擬映像情報を生成し出力する将来模擬映像情報出力部（３４）と、
を備える。

なお、特許請求の範囲、及び本項に記載した発明の構成要件に付した括弧内の番号は、本発明と後述の実施形態との対応関係を示すものであり、本発明を限定する趣旨ではない。

本発明の映像情報出力装置によれば、車両が将来に走行する予定の軌跡の安全性等を直感的かつ瞬時に確認、判断することができる。

本発明の実施形態１の映像情報出力装置が使用される遠隔監視システムの説明図 実施形態１の映像情報出力装置の構成を説明するための遠隔監視システム全体のブロック図 実施形態１の映像取得部が取得する車両周囲映像を示す図 実施形態１の将来軌跡取得部が取得する将来軌跡を示す図 将来軌跡に基づいて生成される表示領域情報を示す図 表示領域情報の生成方法を説明する説明図 車両周囲映像と表示領域情報とが関連付けられた例を説明する説明図 将来模擬映像情報の例を示す説明図 実施形態１の映像情報出力装置の動作のフロー図 遠隔監視システムの監視者の監視作業手順のフロー図 実施形態２の映像情報出力装置の構成を説明するための遠隔監視システム全体のブロック図 実施形態３の映像情報出力装置の構成を説明するための遠隔監視システム全体のブロック図 実施形態４の映像情報出力装置の構成を説明するための遠隔監視システム全体のブロック図 実施形態５の映像情報出力装置の構成を説明するための車載装置のブロック図 将来模擬映像を生成する状況の他の例を示す図

以下、本発明の実施形態について、図面を参照して説明する。

なお、本発明とは、特許請求の範囲又は課題を解決するための手段の項に記載された発明を意味するものであり、以下の実施形態に限定されるものではない。また、少なくともかぎ括弧内の語句は、特許請求の範囲又は課題を解決するための手段の項に記載された語句を意味し、同じく以下の実施形態に限定されるものではない。

特許請求の範囲の従属項に記載の構成及び方法は、特許請求の範囲の独立項に記載の発明において任意の構成及び方法である。従属項に記載の構成及び方法に対応する実施形態の構成及び方法、並びに特許請求の範囲に記載がなく実施形態のみに記載の構成及び方法は、本発明において任意の構成及び方法である。特許請求の範囲の記載が実施形態の記載よりも広い場合における実施形態に記載の構成及び方法も、本発明の構成及び方法の例示であるという意味で、本発明において任意の構成及び方法である。いずれの場合も、特許請求の範囲の独立項に記載することで、本発明の必須の構成及び方法となる。

実施形態に記載した効果は、本発明の例示としての実施形態の構成を有する場合の効果であり、必ずしも本発明が有する効果ではない。

複数の実施形態がある場合、各実施形態に開示の構成は各実施形態のみで閉じるものではなく、実施形態をまたいで組み合わせることが可能である。例えば一の実施形態に開示の構成を、他の実施形態に組み合わせても良い。また、複数の実施形態それぞれに開示の構成を集めて組み合わせても良い。

発明が解決しようとする課題に記載した課題は公知の課題ではなく、本発明者が独自に知見したものであり、本発明の構成及び方法と共に発明の進歩性を肯定する事実である。

１．実施形態１
（１）遠隔監視システム
図１を用いて、本発明の実施形態１の映像情報出力装置３０が使用される遠隔監視システム１を説明する。

自動運転車両９０は搭乗している人間が運転操作を行わなくとも自動で走行できる車両である。遠隔監視システム１では、監視者が、自動運転車両９０を、自動運転車両９０の外部にある監視センター９１から監視する。自動運転車両９０には、自動運転制御や通信のための車載装置１０が搭載されている。

車載装置１０は、カメラ１１及び将来軌跡生成部１２で取得した車両周囲映像及び将来軌跡から生成した映像情報を出力する。そして、車載装置１０は、その映像情報を、セルラー通信網の基地局９２、ゲートウェイやネットワーク回線９３を介して、監視センター９１にある遠隔監視装置２０に送信する。

遠隔監視装置２０は、受信した映像情報から得られた映像を、表示装置を用いて監視者に表示する。監視者は、映像情報から自動運転車両９０の挙動や将来の走行計画について確認する。確認の結果、自動運転車両９０の挙動や走行計画を修正する必要がある場合は、自動運転車両９０に対し、走行計画の修正の指示を送信、又は自動運転車両９０を遠隔操作する。

（２）映像情報出力装置、及びこれに関係する装置の構成
以下、図２から図８までの図面を用いて、本実施形態の映像情報出力装置３０及びこれに関連する装置について説明する。

図２は本実施形態の映像情報出力装置３０の構成を説明するための遠隔監視システム全体のブロック図である。
車載装置１０は、カメラ１１、将来軌跡生成部１２、映像情報出力装置３０、車載側映像送信部１３から構成される。一方、遠隔監視装置２０は、監視側映像受信部２１、表示装置２２、指示入力部２３、指示送信部２４から構成される。

映像情報出力装置３０は、表示装置２２（「表示装置」に相当）に表示する「映像」を示す映像情報、本実施形態では将来模擬映像情報を生成し出力する。

ここで、「表示装置」とは、将来模擬映像情報に基づく映像を表示可能な表示装置であればよく、表示装置と映像情報出力装置との接続手段は有線でも無線でもよい。また、映像情報出力装置と直接接続されていても、ネットワークや中継装置を介して間接的に接続されていてもよい。
また、「映像」とは、１枚以上の画像から構成された動画像の他、静止画像であってもよい。また、カメラのレンズを通して撮像された映像の他、ＬＩＤＡＲ(LIght Detection And Ranging)等の距離センサのスキャニングで得られた３次元データから２次元データに変換された映像でもよい。

本実施形態では、映像情報出力装置３０は、車載装置１０の内部の一部品として説明するが、映像情報出力装置３０の形態は部品に限らず、半完成品や完成品の形態をとることもできる。後述の各実施形態においても同様である。

映像情報出力装置３０は、映像取得部３１、将来軌跡取得部３２、表示領域情報算出部３３、将来模擬映像情報出力部３４から構成される。将来模擬映像出力部３４は、関連付け部３５及び切り抜き部３６から構成される。

映像取得部３１は、カメラ１１から、自動運転車両９０の「周囲」の映像である車両周囲映像を「取得」する。カメラ１１は、ＣＣＤカメラが用いられるが、ＬＩＤＡＲなど、映像に変換できる情報を取得するデバイスであればよい。
ここで、「周囲」とは、必ずしも３６０度の範囲をカバーする必要はなく、その一部でもよい。例えば、車両前方のみ、又は車両前方及び後方のみ、でもよい。
また、「取得」とは、自ら生成する場合の他、記憶装置等からの読出しや、有線又は無線通信を用いて受信する場合も含む。

図３は映像取得部３１が取得する車両周囲映像の例である。カメラ１１は、車両前方の車両周囲映像を、所定のフレームレートの動画でリアルタイムに撮像し、映像取得部３１に出力する。図３において、１００は道路、１０１は自動運転車両９０の前方に駐車している他の車両である。なお、本実施形態では、車両周囲映像を撮像している間、自動運転車両９０は停車しているとして説明する。

なお、本実施形態では、カメラ１１は映像情報出力装置３０の外部に設けているが、映像情報出力装置３０の内部に設けてもよい。その場合は、カメラ１１が映像取得部３１となる。
また、映像取得部３１は、カメラ１１から直接ではなく、カメラ１１が撮影した車両周囲映像が記憶されたメモリから読み出すことにより取得してもよい。

将来軌跡取得部３２は、将来軌跡生成部１２から、自動運転車両９０が将来に走行する予定の「軌跡」である将来軌跡を「取得」する。

ここで、「軌跡」とは、線で表現される場合はもちろん、離散点の集合で表現される場合であってもよい。

将来軌跡生成部１２は、車線や周囲の障害物を検知し、自動運転車両９０が自ら作成した走行計画に基づいて、将来に走行する予定の軌跡である将来軌跡を生成する。将来軌跡は、自動運転車両９０が走行制御のために使用する軌跡である。将来軌跡は、走行制御が可能なように座標データ又は所定時間ごとの移動ベクトルで表される。
座標データは、ＷＧＳ８４（World Geodetic System 1984）等の絶対座標に基づく絶対位置で示される座標でもよいし、自車両を原点とした相対座標に基づく相対位置で示される座標でもよい。また、座標データや移動ベクトルは、例えば道路平面における２次元座標若しくは２次元ベクトルでもよいし、平面ではなく高さも含んだ３次元の座標データ若しくは３次元ベクトルで表されてもよい。

車線や周囲の障害物を検知することにより自動運転車両９０が自ら作成した走行計画はローレベルの走行計画と呼ばれる。この他、Ｖ２Ｘ（Vehicle to everything）やＶＩＣＳ（登録商標）（Vehicle Information and Communication System）を用いて、路側機等から受信した信号情報、交通規制情報、あるいは渋滞情報から生成したミドルレベルの走行計画や、事前に登録された目的地までの経路を示すハイレベルの走行計画がある。本実施形態では、ローレベルの走行計画を用いて説明するが、ミドルレベルの走行計画やハイレベルの走行計画を用いるようにしてもよい。

図４は、将来軌跡取得部３２で取得する将来軌跡１０３を示す図である。なお、図４では説明のために将来軌跡１０３を車両周囲映像に重畳した図を用いているが、将来軌跡取得部３２で取得するのは将来軌跡１０３のみであり、車両周囲映像を含めて取得する必要は必ずしもない。図４で示す将来軌跡１０３は、自動運転車両９０が車両１０１を回避するための将来軌跡である。

将来軌跡１０３は、自動運転車両９０を１点の質点とみなしたときに、質点が移動する軌跡として表される。具体的には、将来軌跡１０３は、複数のウェイポイント（「区切り点」に相当）から構成される。図４において、ウェイポイントは、ＷＰ０から将来走行する順に所定の距離ごとにＷＰ１、ＷＰ２、ＷＰ３、ＷＰ４、・・と設定される。つまり、自動運転車両９０の現在位置、又は現在位置から最も近いウェイポイントがＷＰ０となり、最も遠いウェイポイントがＷＰ８となる。

なお、ウェイポイントは必ずしも一定距離ごとに設けられる点でなくてもよい。例えば、他の車両や障害物等の前方障害物に近いほど細かく区切る点であってもよい。あるいは、走行開始から自動運転車両の９０の加速度、速度を考慮した上での所定時間ごとの点であってもよい。

本実施形態の映像情報出力装置３０では、後述の車両周囲映像との関連付けのために、３次元の座標データである将来軌跡は、将来軌跡生成部１２又は将来軌跡取得部３２により２次元座標データに変換される。したがって、以下の説明では将来軌跡を特に限定する場合を除き、２次元の情報であるとする。ただし、将来軌跡取得部３２で扱う将来軌跡を２次元の情報に限定するものではなく、３次元の情報であってもよい。

なお、本実施形態では、将来軌跡生成部１２は映像情報出力装置３０の外部に設けているが、映像情報出力装置３０の内部に設けてもよい。その場合は、将来軌跡生成部１２が将来軌跡取得部３２となる。
また、将来軌跡取得部３２は、将来軌跡生成部１２からではなく、あらかじめ生成した将来軌跡が保存されたメモリから読み出すことにより取得してもよい。

表示領域情報算出部３３は、将来軌跡取得部３２から出力された将来軌跡に基づいて、表示装置２２で表示する表示領域を示す表示領域情報を生成する。

図５は、将来軌跡に基づいて生成される表示領域情報を示す図である。
図５は、図４の画像に対し、さらに各ウェイポイントから求めた表示領域を重畳したものである。図５も図４と同様、表示領域情報の説明のために車両周囲映像を表示しているが、実際の車両周囲映像が重畳される必要は必ずしもない。

表示領域情報算出部３３は、将来軌跡を示すウェイポイントに基づいて、ウェイポイントごとに表示装置２２で表示する表示領域を求める。図５では、ウェイポイントＷＰ０から表示領域ａ０が求められる。以下同様に、ＷＰ１からａ１、ＷＰ４からａ４、ＷＰ５からａ５、ＷＰ６からａ６が求められる。

以下、図６を用いて、表示領域情報の生成方法の例を説明する。
図６（１）は、ウェイポイントの位置から求めた表示領域の大きさと位置を示す。ウェイポイントの位置及び表示領域の位置は、車両周囲映像を構成する画像と等しい領域である表示領域ａ０の左下端を原点として、横軸をｘ、縦軸をｙとしたときの二次元座標で表される。

表示領域情報のうち、まず表示領域の大きさを求める方法を説明する。
表示領域の大きさは、表示領域ａ０に対する大きさとして表現できる。各ウェイポイントに対応する表示領域は、表示領域ａ０と相似形である。つまり、表示領域の縦横比は変わらない。したがって、各ウェイポイントに対応する表示領域の大きさは、表示領域ａ０に対する相似比、又は面積比で表すことができる。図６（１）では、表示領域の大きさは、表示領域ａ０に対する面積比（倍）で示している。

表示領域情報算出部３３は、ウェイポイントが車両周囲映像を構成する画像の下端、すなわち表示領域ａ０の下端から離れるほど、表示領域の大きさを小さく設定する。つまり、ウェイポイントのｙ座標（正値）が大きくなるほど、表示領域を小さくする。

例えば、表示領域の相似比Ｍを、ウェイポイントのｙ座標値に対して負の傾きを持った１次関数で表すことができる。例えば、数１のように、傾きが－０．０１、ｙ切片が１で表すことができる。

Ｍ＝－０．０１ｙ＋１ ・・・・（数１）

例えば、ｙ１が１０とすると、数１から、表示領域ａ１の相似比Ｍは０．９である。また、ｙ４が５０とすると、数１から、表示領域ａ１の相似比Ｍは０．５である。面積比は相似比の２乗で表されるので、図８（１）に示すように、表示領域の大きさは、表示領域ａ１について０．８１、表示領域ａ４について０．２５と求めることができる。

もちろん、相似比Ｍがウェイポイントのｙ座標値に対して１次関数の関係である必要はない。例えば、相似比Ｍをｙ座標値に対して指数関数的に小さくしてもよい。また、必ずしも式で表す必要はなく、ｙ座標値に対する相似比Ｍを設定したテーブルをあらかじめ作成しておいてもよい。

次に、表示領域情報のうち、表示領域の位置を求める方法を説明する。
図６（２）に示すように、表示領域ａ０において、ＷＰ０は表示領域ａ０の下端の辺をＲ１とＲ２の比に内分している。各表示領域は相似形であり、また各ウェイポイントはカメラ１１の視野上、常に一定の位置にあることから、各表示領域におけるウェイポイントの相対位置は変わらない。これを利用すれば、表示領域情報算出部３３は、ウェイポイントが表示領域の下端上に位置するように、表示領域の位置を設定すればよい。例えば、図６（２）（３）に示す通り、表示領域ａ４の位置は、ＷＰ４が表示領域ａ４の下端の辺の上に位置し、かつ表示領域ａ４の下端の辺をＲ１とＲ２の比に内分する点となるように設定すればよい。

このように、表示領域の位置はウェイポイントの位置で表現できる。しかもこの例の場合、表示領域の位置を示す座標はウェイポイントの位置を示す座標と同じとすることができる。これは、各表示領域が相似形であることに由来する。

なお、ウェイポイントは表示領域の下端の辺の上にある必要はなく、各表示領域の中、もしくは各表示領域の外側にあってもよい。

また、この例では、表示領域情報は、表示領域の大きさと表示領域の位置からなるが、これ以外のパラメータで表示領域を特定するようにしてもよい。例えば、ＷＰ０を起点とした各ウェイポイントのベクトルを求め、その方向と大きさから表示領域の位置と大きさを求めてもよい。また、映像情報出力装置の処理能力に余裕があるならば、自動運転車両９０の重心を原点とした各ウェイポイントの３次元座標の位置を基準に表示領域の位置と大きさを求めてもよい。
なお、この例のようにウェイポイントの位置と表示領域の位置とが同じである場合は、表示領域の位置をウェイポイントの位置で代用し、省略することができる。

図２に戻り、将来模擬映像情報出力部３４は、映像取得部３１から出力された車両周囲映像と表示領域情報算出部３３から出力された表示領域情報を「関連付けて」、「将来の映像を模した」情報である将来模擬映像情報を生成し出力する。

ここで、「関連付けて」とは、２つのデータを紐づける場合の他、２つのデータを所定のルールに従って合成する場合も含む。
また、「将来の映像を模した」とは、車両が将来軌跡を走行した場合に、車両が取得すると想定される映像を模擬することをいう。

将来模擬映像情報出力部３４の関連付け部３５は、映像取得部３１から出力された車両周囲映像と表示領域情報算出部３３から出力された表示領域情報を関連付ける。車両周囲映像は自動運転車両９０の前方を撮像している動画であり、動画を構成する画像は起点となる時刻からの時間で特定できる。一方、表示領域情報は各ウェイポイントにおける表示領域の大きさと位置の情報であり、各ウェイポイントは起点となる地点からの距離で特定できる。そうであれば、走行計画を実行する際に想定される走行速度を定めることにより、各ウェイポイントを通過する時間を求めることができるのであるから、車両周囲映像を構成する画像と各ウェイポイントでの表示領域とを関連付けることが可能となる。

図７は、車両周囲映像と表示領域情報とが関連付けられた例を説明する図である。
図７において、前段には、自動運転車両９０が一定速度で走行すると仮定したとき、各ウェイポイントを通過する通過時刻が求められるとともに、各ウェイポイントに対応する表示領域情報が紐づけられている。後段には、各ウェイポイントを通過する時刻に対応する撮影時刻に撮影されたフレームが紐づけられている。そして、これらのテーブルを用いて撮影時刻と通過時刻とを介することにより、車両周囲映像を構成する画像であるフレームと表示領域とを関連付けることができる。

図７の例では、自動運転車両９０が一定速度で走行する場合で説明したが、速度は任意に設定することができる。例えば、速度ゼロから徐々に速度を上げていくと仮定して、各ウェイポイントを通過する時刻を求めてもよい。
また、図７の例では、各ウェイポイントを通過する時刻に対応する撮影時刻に撮影されたフレームを用いているが、一のウェイポイントから次のウェイポイントまでの時間に相当する動画を用いてもよい。動画を用いることにより、映像が連続的に変化する場合でも監視者に違和感を感じさせない映像とすることができる。

将来模擬映像情報出力部３４の切り抜き部３６は、車両周囲映像の一部を、関連付け部３５で車両周囲映像と関連付けられた表示領域情報を用いて切り抜くことにより部分映像を生成する。

具体的には、切り抜き部３６は、まず、図７に示すような関連付けられた車両周囲映像と表示領域情報を参照し、表示領域情報を用いて車両周囲映像を切り抜いて部分映像を生成する。そして、それぞれの部分映像を、車両周囲映像を構成する切り抜き前の画像と同じ大きさに拡大する。

図８は、将来模擬映像情報の例を示す図である。
図８において、時刻０における車両周囲映像を表示領域ａ０で切り抜き拡大した部分映像がｂ０である。以下同様に、時刻Ｔｐにおける車両周囲映像を表示領域ａ１で切り抜き拡大した部分映像がｂ１、時刻４Ｔｐにおける車両周囲映像を表示領域ａ４で切り抜き拡大した部分映像がｂ４、時刻５Ｔｐにおける車両周囲映像を表示領域ａ５で切り抜き拡大した部分映像がｂ５、時刻６Ｔｐにおける車両周囲映像を表示領域ａ６で切り抜き拡大した部分映像がｂ６である。

これらの部分映像は、自動運転車両９０が各ウェイポイントの位置に進行したと仮定した場合に、その時刻に撮影されるであろうと考えられる映像を模している。そして、切り抜き部３６は、これらの部分映像を将来模擬映像情報として出力する。

なお、切り抜き部３６は、それぞれの部分映像を拡大して同じ大きさにそろえているが、必ずしも拡大する必要はなく、大きさが異なるままの部分映像としてもよい。この場合、後述の遠隔監視装置２０の側で、表示装置２２で表示する際に、表示装置２２又は表示装置２２に表示されるウィンドウの大きさ又は解像度に合わせて拡大すればよい。

また、部分映像を拡大するに際して、例えば表示領域の大きい側、つまり表示領域ａ０に近い側の映像の画質をあらかじめ落としておくことで、表示領域が小さくなった部分映像においても、部分映像の画質を一定に保つようにしてもよい。つまり、表示領域が小さくなるほど映像取得部から取得する際の画質を良くする。これにより、部分映像の画質が拡大によって変化するという違和感をなくすことができる。また、部分映像の全体サイズを小さくすることができる。

車載側映像送信部１３は、切り抜き部３６から出力された将来模擬映像情報を、遠隔監視装置２０に送信する。

指示取得部３７は、遠隔監視装置２０からの動作指示を取得し、動作指示を関連付け部３５へ出力する。関連付け部３５は受け取った動作指示により、関連付けの処理内容を変更する。遠隔監視装置２０からの動作指示については後述する。

遠隔監視装置２０の監視側映像受信部２１は、将来模擬映像情報である部分映像を受信する。

遠隔監視装置２０の表示装置２２は、監視者に対し将来模擬映像情報である部分映像を表示する。部分映像は連続して表示してもよいし、コマ送りで表示してもよい。

以上、本実施形態の映像情報出力装置３０は、あたかも自動運転車両９０が将来軌跡を走行したかのような映像を将来模擬映像情報として出力し、遠隔監視装置２０の表示装置２２に表示させることができる。つまり、自動運転車両９０が走行計画に基づき将来走行した場合に撮影されるであろう映像を擬似体験することができるため、直感的かつ瞬時に走行区間全体の安全性を確認・判断することができる。

また、将来軌跡に基づき表示領域を求めているので、拡大領域の指定は不要である。

さらに、将来軌跡に基づき表示領域を求め、これを車両周囲映像と関連付けているので、自動運転車両９０の近傍から遠方までの間の中間領域についても映像として確認することができる。

そして、実時間の車両周囲映像を用いることで、動画である車両周囲映像のリアルタイム性は維持されているので、他の車両の移動をはじめとする現在の周辺状況を同時に確認できる。

（３）遠隔監視装置の構成

図２に示す通り、遠隔監視装置２０は、監視側映像受信部２１、表示装置２２、指示入力部２３、指示送信部２４から構成される。

指示入力部２３は、表示装置２２で将来模擬映像を確認した監視者からの動作指示を受け付ける。動作指示は、監視者が自動運転車両９０の走行に関し、さらなる安全性確認のため映像情報出力装置３０に対して要求するものである。
例えば、将来模擬映像情報を入念に確認するために将来模擬映像情報をスローで再度出力する指示、将来模擬映像情報を迅速に確認するために将来模擬映像情報を早送りで再度出力する指示、将来模擬映像情報を途中で止める一時停止の指示等が挙げられる。

指示送信部２４は、指示入力部２３から受け取った動作指示を、車載装置１０へ送信する。

車載装置１０側では、実施形態１の映像情報出力装置の構成の説明で述べたとおり、映像情報出力装置３０において、指示取得部３７が取得した動作指示を、関連付け部３５に送る。関連付け部３５は、所望の動作指示に従い関連付けの内容を変更することとなる。

具体的には、動作指示の内容に従い、図７における時間間隔値Ｔｐの値を変えるようにすることが考えられる。
スローモードの動作指示があった場合は時間間隔値Ｔｐを例えば２倍にする。これにより、表示領域情報が変更される間隔が通常より遅くなり、将来模擬映像情報を入念に確認することができる。
倍速モードの動作指示があった場合は時間間隔値Ｔｐを例えば０．５倍にする。これにより、表示領域情報が変更される間隔が通常より速くなり、将来模擬映像情報を再度かつ迅速に確認することができる。
一時停止の動作指示があった場合は時間間隔値Ｔｐを例えば無限大にする。これにより、表示領域情報は動作指示があった時間以降、表示領域情報が変更されず、特定軌跡上での安全性を詳細に確認できる。

以上のように、遠隔監視装置２０は、実施形態１の映像情報出力装置３０が出力した将来模擬映像情報を映像表示部２２で表示することにより、監視者による遠隔監視に利用することができる。

監視者は、遠隔監視装置２０を用いて、映像情報出力装置部が出力した将来模擬映像情報を監視することにより、自動運転車両９０から離れた遠隔の地において、自動運転車両９０が将来軌跡を走行した際の映像を擬似体験でき、安全性を確認することができる。さらに、監視者が瞬時に安全性を確認・判断できる結果、自動運転車両９０への走行許可や監視者の遠隔操縦等、その後の行動への対応時間削減にも貢献できる。

さらに、監視者は、遠隔監視装置２０を介して、映像情報出力装置３０に、将来模擬映像情報をスロー、倍速、一時停止等にする等の動作指示を行うことができる。これにより、監視者の確認時の利便性、安全性判断の迅速性及び正確性等を高めることができる。

（４）映像情報出力装置の動作
次に、図９を用いて本実施形態の映像情報出力装置３０の動作について説明する。
なお、以下の動作は、映像情報出力装置３０における映像情報出力方法を示すだけでなく、映像情報出力装置３０で実行される映像情報出力プログラムの処理手順を示すものである。
そして、これらの処理は、図９で示した順序には限定されない。すなわち、あるステップでその前段のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えてもよい。
以上、本実施形態だけでなく、他の実施形態や変形例においても同様である。

Ｓ１０１において、映像取得部３１は、自動運転車両の周囲の映像である車両周囲映像を取得する。

Ｓ１０２において、将来軌跡取得部３２は、自動運転車両９０が将来に走行する予定の軌跡である将来軌跡を取得する。
具体的には、将来軌跡を構成するウェイポイントの情報を取得する。

Ｓ１０３において、表示領域情報算出部３３は、将来軌跡に基づいて、表示装置２２で表示する表示領域を示す表示領域情報を生成する。
具体的には、ウェイポイントごとに、表示領域の大きさと位置を求める。

Ｓ１０４において、将来模擬映像情報出力部３４の関連付け部３５は、車両周囲映像と表示領域情報とを関連付ける。
具体的には、車両周囲映像の撮影時刻とウェイポイントを通過する通過時刻を介することにより、車両周囲映像を構成する画像であるフレームと表示領域とを関連付ける。

Ｓ１０５において、将来模擬映像情報出力部３４の切り抜き部３６は、表示領域情報と関連付けられた車両周囲映像の一部を、表示領域情報を用いて切り抜くことにより部分映像を生成し、部分映像を将来模擬映像情報として出力する。

（５）遠隔監視システムの監視者の監視手順
以下、図１０を用いて、遠隔監視システム１の監視者による自動運転車両を監視する監視手順について説明する。また、その監視作業と実施形態１の映像情報出力装置３０の動作との関連についても併せて説明する。

監視者による監視は、例えば、自動運転車両９０からの監視要求があった場合に発生する作業である。自動運転車両９０は、安全性確保のために、自動運転車両９０自身で立てた将来軌跡についての是非についての監視要求を遠隔監視装置２０に送信する。監視作業は、その監視要求を受けて開始する。

Ｓ３０１において、監視者は、自動運転車両９０が計画した将来軌跡の確認のため、指示入力部２３から映像情報出力装置３０に対して将来模擬映像の出力の開始を指示する。映像情報出力装置は、この指示を受けて、図９のフローに従い映像情報出力の処理を開始する。

Ｓ３０２において、監視者は、本実施形態の映像情報出力装置３０が出力した将来模擬映像を表示装置２２に表示させることにより確認する。

Ｓ３０３において、監視者は、将来に自動運転車両９０が将来軌跡を走行しても、走行の危険性がないかを判断し、危険性がないと判断した場合はＳ３０４の作業に進む。
危険性がないと判断できない場合はＳ３０５の作業に進む。

Ｓ３０４において、監視者は、自動運転車両９０に対して、将来軌跡通りの自動走行を開始する旨の指示を送る。

Ｓ３０５において、監視者は、さらに詳細に確認するために、入力部２３から映像情報出力装置３０に対し、将来模擬映像出力の処理についての動作指示を行う。例えば、スローモード、倍速モード、一時停止の動作指示を行う。

以上のように、監視者は遠隔監視システム１を介して自動運転車両９０を監視し、自動運転車両９０に指示を送る。また、監視者は遠隔監視システム１から映像情報出力装置３０に対して動作指示を行うことにより、映像情報出力装置３０の動作を制御し、自動運転車両９０の監視作業を円滑に進めることができる。

２．実施形態２
次に、実施形態２の映像情報出力装置４０の構成について説明する。
図１１は、実施形態２の映像情報出力装置４０の構成を説明するための遠隔監視システム全体のブロック図である。実施形態１の映像情報出力装置３０と同様の構成については図２と同一の符号を付し、図２の説明を引用する。

映像情報出力装置４０は、将来模擬映像情報出力部４４に関連付け部３５のみを有しており、切り抜き部３６を有していない。これに対し、遠隔監視装置２０の側に切り抜き部２６を有している。これに伴い、車載装置１０はさらに車載側表示領域情報送信部１４を有し、遠隔監視装置はさらに監視側表示領域情報受信部２５を有している。以上の点が実施形態１と異なる。

将来模擬映像情報出力部４４は、実施形態１と同様に、関連付け部３５において車両周囲映像と表示領域情報とを関連付ける。例えば、図７のように、表示領域を示す表示領域情報は、車両周囲映像を構成するフレームと関連付けられる。

そして、関連付け部３５は、関連付け部３５で車両周囲情報と関連付けられた表示領域情報を、車載側表示領域情報送信部１４に出力する。具体的には図７に示されたテーブル又はその一部のデータを出力する。車載側表示領域情報送信部１４は、車両周囲情報と関連付けられた表示領域情報を、遠隔監視装置２０に送信する。

これと並行して、車載側映像送信部１３は、映像取得部３１で取得した車両周囲映像を、遠隔監視装置２０に送信する。
このように本実施形態においては、車両周囲映像と、車両周囲映像と関連付けられた表示領域情報とが遠隔監視装置２０に送信される。つまり、本実施形態では、これらを併せて将来模擬映像情報として出力している。

これに対し、遠隔監視装置２０においては、監視側映像受信部２１で車両周囲映像を受信し、監視側表示領域情報受信部２５で車両周囲情報と関連付けられた表示領域情報を受信する。

切り抜き部２６は、車両周囲映像と表示領域情報とを参照し、実施形態１の切り抜き部３６と同様の処理を行うことで、車両周囲映像の一部を、車両周囲映像と関連付けられた表示領域情報を用いて切り抜くことにより部分映像を生成する。そして、生成された部分映像は、映像表示部２２に表示される。

以上の構成により、本実施形態の映像情報出力装置４０においては、車両周囲映像と表示領域情報を出力すればよく、車両周囲映像を、表示領域情報を用いて切り抜くことにより部分映像を生成する処理を有しない。このため、映像情報出力装置４０の処理の負担を軽減することができる。

３．実施形態３
次に、実施形態３の映像情報出力装置５０の構成について説明する。
図１２は、本実施形態の映像情報出力装置５０の構成を説明するための遠隔監視システム全体のブロック図である。実施形態１の映像情報出力装置３０と同様の構成については図２と同一の符号を付し、図２の説明を引用する。

本実施形態では、映像情報出力装置５０は、車載装置１０にではなく、遠隔監視装置２０に設けられている点が、実施形態１の映像情報出力装置３０と異なる。

映像情報出力装置５０で用いる車両周囲映像は、車載側映像出力部１３から送信されたものを、映像取得部３１で受信することにより取得する。
また、映像情報出力装置５０で用いる将来軌跡は、車載側軌跡送信部１６から送信されたものを、将来軌跡取得部３２で受信することにより取得される。

切り抜き部３６は、切り抜き部３６で生成した部分映像を将来模擬映像情報として表示装置２２に出力する。

なお、映像情報出力装置５０は、映像取得部３１から将来模擬映像情報出力部３４を介さずに表示装置２２に直接、車両周囲映像を出力するようにしてもよい。そして、この構成により、車両周囲映像と将来模擬映像情報の両方を同時に表示装置２２に表示させてもよい。このような構成によれば、常に車両周囲映像と部分映像の両方を確認できるため、走行区間全体の安全性をより確実に確認・判断することができる。

以上の構成により、本実施形態の映像情報出力装置５０においては、映像情報出力装置５０は遠隔監視装置２０側に設けられており、関連付け部３５及び切り抜き部３６の処理を遠隔監視装置２０が行うので、車載装置１０の処理の負担を軽減させることができる。

４．実施形態４
次に、実施形態４の映像情報出力装置６０の構成について説明する。
図１３は、本実施形態の映像情報出力装置６０の構成を説明するための遠隔監視システム全体のブロック図である。実施形態１の映像情報出力装置３０と同様の構成については図２と同一の符号を付し、図２の説明を引用する。

本実施形態では、実施形態３と同様、映像情報出力装置６０は、車載装置１０ではなく、遠隔監視装置２０に設けられている点が、実施形態１の映像情報出力装置３０と異なる。また、本実施形態では、将来軌跡を車載装置１０から受信せず、遠隔監視装置２０の将来軌跡生成部２６で生成したものを取得する点が、実施形態３の映像情報出力装置５０と異なる。

将来軌跡生成部２６で生成される将来軌跡は、事前に登録された目的地までの経路を示すハイレベルの走行計画を用いる。なお、将来軌跡生成部２６は、車載装置１０でＶ２ＸやＶＩＣＳ（登録商標）（Vehicle Information and Communication System）により受信した信号情報、交通規制情報、あるいは渋滞情報を車載装置１０から受信して、ミドルレベルの走行計画を生成してもよい。この場合、車載装置１０から、自動運転車両９０の位置情報も受信することが望ましい。

以上の構成により、関連付け部３５及び切り抜き部３６の処理に加えて、さらに将来軌跡の生成に関する処理も遠隔監視装置２０が行うことで、車載装置１０の処理の負担を軽減させることができる。

５．実施形態５
次に、実施形態５の映像情報出力装置７０の構成について説明する。
図１４は、本実施形態の映像情報出力装置７０の構成を説明するための車載装置１０のブロック図である。実施形態１の映像情報出力装置３０と同様の構成については図２と同一の符号を付し、図２の説明を引用する。

将来模擬映像情報出力部３４の切り抜き部３６は、切り抜き部３６で生成した部分映像を将来模擬映像情報として表示装置１７に出力する。

なお、指示入力部１８は、監視者ではなく自動運転車両９０の乗員からの動作指示を受け付け、その動作指示を指示取得部３７に送る。

以上の構成により、自動運転車両９０の乗員に対しても将来模擬映像情報を出力することができる。自動運転車両９０の乗員は、自動運転車両９０の将来の走行についての安全性を自ら確認・判断することができる。

６．変形例
（１）視点変換
各実施形態では、将来模擬映像情報を生成するにあたり、図５のように自動運転車両９０が車両１０１を回避する状況を例に挙げて説明した。しかしながら、将来模擬映像情報を用いて安全性を確認する必要のある状況はこれに限らない。

図１５は、交差点付近における将来模擬映像情報を生成する例を示す図である。図１５では、自動運転車両９０が、前方の交差点を右折する状況を示している。

この例においては、右折により将来軌跡が現在の車両中心線より大きく右に変位している。これに伴い、現実的には実際の車両の旋回とともに視点も回転する。これに対し、各実施形態の将来模擬映像は視点の方向は固定されている。このため、将来模擬映像の視点が実際の視点と大きくずれるので、歩行者２０１の位置や挙動を把握しにくい場合が想定される。

そこで、切り抜き部３６は、さらに、将来軌跡と車両中心線とが成す角度に応じて、部分映像の視点を変更する変換処理である視点変換を行うようにしてもよい。

なお、車両中心線とは、直進姿勢にある車両を平坦な面に置いたとき、４輪以上の車両においては、左右の前車輪及び後車輪のそれぞれのタイヤ接地部中心点を結ぶ線分の中点を通る直線、２輪の車両においては、前後車輪のタイヤ接地部中心線を含む直線とすることができるが、これに限らない。

（２）その他
各実施形態の映像情報出力装置は、将来模擬映像情報を、自動運転車両９０が停止している場合だけでなく、走行している場合も生成し出力してもよい。これにより、走行中の進路変更時や旋回時の監視に利用することができる。

各実施形態の映像情報出力装置は、将来模擬映像情報を、自動運転車両が前進している場合だけでなく、後進している場合も生成し出力してもよい。これにより、並列駐車や縦列駐車等の駐車支援や駐車時の監視にも利用することができる。

各実施形態の映像情報出力装置は、将来模擬映像情報を、自動運転車両が監視者に判断を仰ぐ状況だけでなく、常時又は随時に生成し出力してもよい。これにより、自動運転車両の挙動を、常時又は随時に監視することができる。

各実施形態の映像情報出力装置は、表示領域情報が表示装置に合わせて長方形であったが、楕円等任意の形の領域でもよい。また、将来模擬映像情報は明るい色で強調された枠で囲まれていても良い。これにより、将来模擬映像情報であることが明らかになり、監視時の確認が容易となる。

さらに、表示領域情報が将来軌跡の進行方向に合わせて変形しうる平行四辺形であってもよい。これにより、将来軌跡に沿って進行方向が変わることが認識しやすくなる。

各実施形態の映像情報出力装置は、自動運転車両以外の車両に用いてもよい。例えば、カーナビゲーションシステムと連動し、経路案内時に将来模擬映像を表示してもよい。これにより、将来運転者が見る映像を事前に擬似体験することができる。

７．総括
以上、本発明の各実施形態における映像情報出力装置等の特徴について説明した。
各実施形態で使用した用語は例示であるので、同義の用語、あるいは同義の機能を含む用語に置き換えてもよい。

実施形態の説明に用いたブロック図は、装置の構成を機能毎に分類及び整理したものである。それぞれの機能を示すブロックは、ハードウェア又はソフトウェアの任意の組み合わせで実現される。また、機能を示したものであることから、かかるブロック図は方法の発明、及び当該方法を実現するプログラムの発明の開示としても把握できるものである。

各実施形態に記載した処理、フロー、及び方法として把握できるブロック、については、一のステップでその前段の他のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えても良い。

本発明は、特許請求の範囲で特に限定する場合を除き、車両用途以外の専用又は汎用の映像情報出力装置も含むものである。

また、本発明の映像情報出力装置の形態の例として、以下のものが挙げられる。
部品の形態として、半導体素子、電子回路、モジュール、マイクロコンピュータが挙げられる。
半完成品の形態として、電子制御装置（ＥＣＵ（Electric Control Unit））、システムボードが挙げられる。
完成品の形態として、携帯電話、スマートフォン、タブレット、パーソナルコンピュータ（ＰＣ）、ワークステーション、サーバが挙げられる。
その他、通信機能を有するデバイス等を含み、例えばビデオカメラ、スチルカメラ、カーナビゲーションシステムが挙げられる。

本発明の映像情報出力装置は、各種サービスの提供を目的とするために用いられることが想定される。かかるサービスの提供に伴い、本発明の映像情報出力装置が使用され、本発明の方法が使用され、又は／及び本発明のプログラムが実行されることになる。

加えて、本発明は、各実施形態で説明した構成及び機能を有する専用のハードウェアで実現できるだけでなく、メモリやハードディスク等の記録媒体に記録した本発明を実現するためのプログラム、及びこれを実行可能な専用又は汎用ＣＰＵ及びメモリ等を有する汎用のハードウェアとの組み合わせとしても実現できる。

専用や汎用のハードウェアの非遷移的実体的記録媒体（例えば、外部記憶装置（ハードディスク、ＵＳＢメモリ、ＣＤ／ＢＤ等）、又は内部記憶装置（ＲＡＭ、ＲＯＭ等））に格納されるプログラムは、記録媒体を介して、あるいは記録媒体を介さずにサーバから通信回線を経由して、専用又は汎用のハードウェアに提供することもできる。これにより、プログラムのアップグレードを通じて常に最新の機能を提供することができる。

本発明の映像情報出力装置は、主として自動運転車両用又は自律運転車両用の遠隔監視、遠隔操縦、若しくは運転者の監視のため、又は運転者との操縦の交代を判断するために、監視員や乗員に映像を提供する映像情報出力装置として説明したが、カーナビゲーションの経路案内、教習車の監視又は遠隔操縦、ゲーム機等、様々な用途に用いられる映像情報出力装置に適用可能である。

１０ 車載装置、１１ カメラ、２０ 遠隔監視装置、３０，４０，５０，６０，７０ 映像情報出力装置、３２ 将来軌跡取得部、３３ 表示領域情報算出部、３４ 将来模擬映像情報出力部、３５ 関連付け部、３６ 切り抜き部、１７，２２ 映像表示部

Claims (11)

1. 表示装置に表示する映像を示す映像情報を生成し出力する映像情報出力装置であって、
   車両の周囲の映像である車両周囲映像を取得する映像取得部（３１）と、
   前記車両が将来に走行する予定の軌跡である将来軌跡を取得する将来軌跡取得部（３２）と、
   前記将来軌跡に基づいて、前記表示装置で表示する表示領域を示す表示領域情報を生成する表示領域情報算出部（３３）と、
   前記車両周囲映像と前記表示領域情報を関連付けて、将来の映像を模した情報である将来模擬映像情報を生成し出力する将来模擬映像情報出力部（３４）と、
   を備える映像情報出力装置（３０，４０，５０，６０，７０）。
2. 前記将来模擬映像情報出力部は、前記車両周囲映像と前記表示領域情報とを関連付ける関連付け部（３５）と、
   前記車両周囲映像の一部を、前記関連付け部で前記車両周囲映像と関連付けられた前記表示領域情報を用いて切り抜くことにより部分映像を生成する切り抜き部を備え（３６）、
   前記部分映像を前記将来模擬映像情報とする、
   請求項１記載の映像情報出力装置（３０）。
3. 前記切り抜き部は、さらに、前記部分映像を切り抜き前の前記車両周囲映像と同じ大きさに拡大する、
   請求項２記載の映像情報出力装置。
4. 前記将来模擬映像情報出力部は、前記車両周囲映像と前記表示領域情報とを関連付ける関連付け部（３５）を有し、
   前記車両周囲映像と、前記関連付け部で前記車両周囲映像と関連付けられた前記表示領域情報と、を併せて前記将来模擬映像情報とする、
   請求項１記載の映像情報出力装置（４０）。
5. 前記将来軌跡は、複数の区切り点から構成され、
   前記表示領域情報は、前記区切り点ごとの前記表示領域を示し、
   前記表示領域情報算出部は、前記区切り点が前記車両周囲映像を構成する画像の下端から離れるほど、前記表示領域の大きさを小さく設定する、
   請求項１記載の映像情報出力装置。
6. 前記将来軌跡は、複数の区切り点から構成され、
   前記表示領域情報は、前記区切り点ごとの前記表示領域を示し、
   前記表示領域情報算出部は、前記区切り点が前記表示領域の下端の辺の上に位置するように、前記画像における前記表示領域の位置を設定する、
   請求項５記載の映像情報出力装置。
7. 前記切り抜き部は、さらに、前記将来軌跡と車両中心線とが成す角度に応じて、前記部分映像の視点を変更する変換処理である視点変換を行う、
   請求項２記載の映像情報出力装置。
8. 前記将来模擬映像情報出力部は、前記将来模擬映像情報を、前記車両を前記車両の外部から監視する遠隔監視装置に出力し、
   前記遠隔監視装置は、前記表示装置（２２）を有する、
   請求項１記載の映像情報出力装置（３０，４０，５０，６０）。
9. 前記将来模擬映像情報出力部は、前記将来模擬映像情報を、前記車両に搭載される前記表示装置（１７）に出力する、
   請求項１記載の映像情報出力装置（７０）。
10. 表示装置に表示する映像を示す映像情報を生成し出力する映像情報出力方法であって、
    車両の周囲の映像である車両周囲映像を取得し（Ｓ１０１）、
    前記車両が将来に走行する予定の軌跡である将来軌跡を取得し（Ｓ１０２）、
    前記将来軌跡に基づいて、前記表示装置で表示する表示領域を示す表示領域情報を生成し（Ｓ１０３）、
    前記車両周囲映像と前記表示領域情報を関連付けて、将来の映像を模した情報である将来模擬映像情報を生成し出力する（Ｓ１０４,Ｓ１０５）、
    映像情報出力方法。
11. 表示装置に表示する映像を示す映像情報を生成し出力する映像情報出力装置で実行する映像情報出力プログラムであって、
    車両の周囲の映像である車両周囲映像を取得し（Ｓ１０１）、
    前記車両が将来に走行する予定の軌跡である将来軌跡を取得し（Ｓ１０２）、
    前記将来軌跡に基づいて、前記表示装置で表示する表示領域を示す表示領域情報を生成し（Ｓ１０３）、
    前記車両周囲映像と前記表示領域情報を関連付けて、将来の映像を模した情報である将来模擬映像情報を生成し出力する（Ｓ１０４,Ｓ１０５）、
    映像情報出力装置で実行可能な映像情報出力プログラム。