WO2023210279A1 - 電子機器、方法及びプログラム - Google Patents

Abstract

態様の１つに係る電子機器（１００）は、移動体に搭載された撮像部（１１０）により撮像された画像が示す信号機の出現位置に関する第１出現位置情報を取得する位置算出部（１５４）と、所定の経路上において移動体が信号機を撮像する位置である基準撮像位置の情報を記憶する記憶部（１４０）と、第１出現位置情報と基準撮像位置において撮像される画像における信号機の位置である第２出現位置情報とに基づいて、移動体の所定の経路に対するずれ状態を判定する判定部（１５５）と、を備える。

Description

電子機器、方法及びプログラム

　本出願は、電子機器、方法及びプログラムに関する。

　従来、移動体に搭載される車載器では、移動体の位置を特定する技術が用いられている。特許文献１には、移動体に搭載されたカメラの撮像画像に基づいて検出した道路上の対象物を移動体の移動に応じて検出し、対象物の間隔と地図上の対象物との間隔とに基づいて移動体の位置を判定することが開示されている。

特開２０１５－１７５６９０号公報

　従来技術では、信号機の存在した間隔から移動体の現在位置を判定するには、異なる複数の間隔を検出しなければならない。このため、移動体の現在位置を判定する従来技術では、移動体の経路における位置ずれの判定を簡単化したいとのニーズがある。

　態様の１つに係る電子機器は、移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第１出現位置情報を取得する位置算出部と、所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶する記憶部と、前記第１出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第２出現位置情報とに基づいて、前記移動体の前記所定の経路に対するずれ状態を判定する判定部と、を備える。

　態様の１つに係る方法は、コンピュータが、移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第１出現位置情報を取得することと、所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶部に記憶することと、前記第１出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第２出現位置情報とに基づいて、前記移動体の前記所定の経路に対するずれ状態を判定することと、を含む。

　態様の１つに係るプログラムは、コンピュータに、移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第１出現位置情報を取得することと、所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶部に記憶することと、前記第１出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第２出現位置情報とに基づいて前記移動体の前記所定の経路に対するずれ状態を判定することと、を実行させる。

図１は、実施形態に係る電子機器の概要を説明するための図である。 図２は、図１に示す電子機器の構成の一例を示す図である。 図３は、信号機の出現位置の変化情報の一例を説明するための図である。 図４は、図３に示す変化情報と基準情報とに基づくずれ状態の一例を説明するための図である。 図５は、図３に示す変化情報と基準情報とに基づく遅延の一例を説明するための図である。 図６は、実施形態に係る電子機器の制御部が実行する処理手順の一例を示すフローチャートである。 図７は、実施形態に係る電子機器の巡行環境の一例を説明するための図である。 図８は、実施形態に係る電子機器の動作の一例を説明するための図である。 図９は、実施形態に係る電子機器の評価の一例を説明するための図である。 図１０は、実施形態の変形例に係る電子機器のシステム構成の一例を示す図である。

　本出願に係る電子機器、方法、プログラム等を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。

　図１は、実施形態に係る電子機器の概要を説明するための図である。図１に示すように、電子機器１００は、移動体１０００に搭載されている。電子機器１００は、移動体１０００に搭載された車載器を含む。移動体１０００は、例えば、自動走行、運転者による手動走行等で移動可能な車両を含む。車両は、例えば、バス、トラック、乗用車等を含む。本実施形態では、移動体１０００は、巡行経路１０００Ｒを自動で走行する車両である場合について説明するが、これに限定されない。巡行経路１０００Ｒは、定められた時間に定められた経路を巡回する周期ルートの一例であり、所定の経路の一例である。移動体１０００は、飛行機、船、バイク、ドローンなどを含むとしてもよい。

　図１に示す一例では、移動体１０００は、巡行経路１０００Ｒの走行レーン２０００を走行している。走行レーン２０００は、進行方向２０００Ｄで、１又は複数の車線２１００を有する。移動体１０００は、自動巡行車両であり、同じ巡行経路を繰り返し走行している。走行レーン２０００には、交差点、横断歩道等の近傍に信号機３０００が設置されている。このため、巡行経路１０００Ｒでは、進行方向２０００Ｄで移動体１０００の前方に信号機３０００が存在する場所を移動体１０００が移動する。本実施形態では、電子機器１００は、移動体１０００の前景を撮像した画像データが示す信号機３０００に基づいて、移動体１０００の現在位置の判定を簡単化する技術を提供する。

　図２は、図１に示す電子機器１００の構成の一例を示す図である。図２に示すように、電子機器１００は、撮像部１１０と、センサ部１２０と、通信部１３０と、記憶部１４０と、制御部１５０と、を備える。制御部１５０は、撮像部１１０、センサ部１２０、通信部１３０、記憶部１４０等と電気的に接続されている。

　なお、本実施形態では、電子機器１００が撮像部１１０、センサ部１２０、通信部１３０、記憶部１４０及び制御部１５０を備える構成について説明するがこれに限定されない。例えば、電子機器１００は、通信部１３０、記憶部１４０及び制御部１５０を備え、機器外部の撮像装置、センサ等から情報を取得する構成としてもよい。

　撮像部１１０は、移動体１０００の前景を撮像可能に、移動体１０００のウインドシールドの近傍、屋根等に設けられる。撮像部１１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像データを撮像できる。撮像部１１０の撮像方向は、移動体１０００の進行方向２０００Ｄで信号機３０００を撮像可能な方向を含む。撮像部１１０は、移動体１０００の前景を所定のフレームレートでリアルタイムに撮像し、撮像した画像データを制御部１５０に供給できる。

　センサ部１２０は、移動体１０００の状態を識別可能なセンサ情報を検出する。センサ部１２０は、例えば、位置センサ、ジャイロセンサ等のセンサを用いることができる。位置センサとしては、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機等の絶対座標の位置を取得するセンサ等が例示される。センサ部１２０は、移動体１０００の位置（電子機器１００の位置）、角速度等を含むセンサ情報を制御部１５０に供給できる。これにより、制御部１５０は、センサ情報に基づいて、移動体１０００の自己位置情報を取得できる。

　通信部１３０は、例えば、他の通信機器等と通信できる。通信部１３０は、各種通信規格をサポートできる。通信部１３０は、例えば、有線又は無線ネットワーク等を介して各種データを送受信できる。通信部１３０は、受信したデータを制御部１５０に供給できる。通信部１３０は、制御部１５０が指示した送信先にデータを送信できる。通信部１３０は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）通信をサポートできる。移動体１０００が車載センサを用いて自己位置を推定する機能を有する場合、通信部１３０は、移動体１０００から自己位置情報を受信して制御部１５０に供給できる。車載センサは、例えば、ＧＰＳ、ＩＭＵ（Ｉｎｔｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）等を含む。自己位置情報は、電子機器１００の管理対象とする移動体１０００の自己位置、移動方向等を識別可能な情報を含む。

　記憶部１４０は、プログラム及びデータを記憶できる。記憶部１４０は、制御部１５０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１４０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。記憶部１４０は、複数の種類の記憶媒体を含んでよい。記憶部１４０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１４０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

　記憶部１４０は、例えば、プログラム１４１、巡行データ１４２、変化情報１４３、出現位置情報１４４、支援情報１４５、評価情報１４６、画像データＤ１０等の各種データを記憶できる。プログラム１４１は、電子機器１００の各種動作に関する処理を実現するための機能を制御部１５０に実行させるプログラムである。巡行データ１４２は、移動体１０００の巡行経路１０００Ｒ（周期ルート）、巡行予定、巡行経路１０００Ｒにおける信号機３０００の位置等に関するデータを含む。巡行データ１４２は、通信部１３０を介して、データベース、サーバ等から取得したデータである。本実施形態では、巡行データ１４２は、巡行経路情報Ｄ２１と、１又は複数の基準情報Ｄ２２とを有する。巡行経路情報Ｄ２１は、移動体１０００の巡行経路に関する情報を有する。基準情報Ｄ２２は、巡行経路１０００Ｒにおける信号機３０００に関連付けて設けられ、信号機３０００の画像上での基準となる出現位置、信号機３０００における移動体１０００の位置及び車線と、通過時間における信号機３０００の状態とを識別可能な情報を有する。基準情報Ｄ２２は、巡行経路１０００Ｒ上において、移動体１０００が信号機３０００を撮像する位置である基準撮像位置の情報を含む。

　記憶部１４０は、例えば、機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。機械学習データは、機械学習によって生成されるパラメータを含むとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩの一部には、機械学習が含まれるとしてもよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。

　本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープニューラルネットワークラーニングを利用するとしてよい。ディープニューラルネットワークラーニングは、ニューラルネットワークの一種であり、一般にネットワークの階層が中間層が１層以上の深い構造のものを意味するニューラルネットワークがディープラーニングと呼ばれている。ディープラーニングは、ＡＩを構成するアルゴリズムとして多用されている。

　変化情報１４３は、画像データＤ１０が示す同一の信号機３０００の出現位置の変化を識別可能な情報である。変化情報１４３は、例えば、画像における信号機３０００の出現位置、位置の変化を示す方向ベクトル、軌跡等を含む。出現位置情報１４４は、移動体１０００が走行する走行レーン２０００で画像における信号機３０００の出現位置の変化を識別可能な情報、信号機３０００を撮像した移動体１０００の位置を識別可能な情報等を含む。支援情報１４５は、移動体１０００の経路のずれ状態、遅延状態等に基づく運行を支援可能な情報を含む。評価情報１４６は、移動体１０００の経路のずれ状態、遅延状態等に基づく走行の評価結果を識別可能な情報を含む。画像データＤ１０は、撮像部１１０が撮像した画像を識別可能なデータである。記憶部１４０は、複数の画像データＤ１０を時系列の順に記憶できる。

　制御部１５０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。制御部１５０は、電子機器１００の動作を統括的に制御して各種の機能を実現できる。

　具体的には、制御部１５０は、記憶部１４０に記憶されている情報を必要に応じて参照しつつ、記憶部１４０に記憶されているプログラム１４１に含まれる命令を実行できる。そして、制御部１５０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現できる。機能部は、例えば、センサ部１２０及び通信部１３０を含むが、これらに限定されない。

　制御部１５０は、画像認識部１５１、取得部１５２、推定部１５３、位置算出部１５４、判定部１５５、検出部１５６、動作支援部１５７、評価部１５８等の機能部を有する。制御部１５０は、プログラム１４１を実行することによって、画像認識部１５１、取得部１５２、推定部１５３、位置算出部１５４、判定部１５５、検出部１５６、動作支援部１５７、評価部１５８等の機能部を実現する。プログラム１４１は、電子機器１００の制御部１５０を、画像認識部１５１、取得部１５２、推定部１５３、位置算出部１５４、判定部１５５、検出部１５６、動作支援部１５７及び評価部１５８として機能させるためのプログラムである。

　画像認識部１５１は、撮像部１１０が撮像した画像データＤ１０が示す移動体１０００の前景の画像から、信号機３０００を認識する。画像認識部１５１は、例えば、信号機３０００を学習済みの学習モデル、画像認識プログラム等を用いて、画像における信号機３０００の有無、信号機３０００の状態等を認識する機能を有する。信号機３０００の状態は、例えば、信号機３０００の点灯の有無、点灯している信号の色等を含む。画像認識部１５１は、撮像部１１０から画像データＤ１０が供給されるごとに、画像認識を実行する。例えば、移動体１０００から前景を撮像する場合、信号機３０００は、画像の上半分の領域に撮像される可能性が高い。このため、画像認識部１５１は、画像データＤ１０が示す画像で信号機３０００が撮像される可能性がある領域に対して信号機３０００の認識処理を行う構成としてもよいし、画像の全ての領域に対して信号機３０００の認識処理を行う構成としてもよい。画像認識部１５１は、画像データＤ１０の認識結果を記憶部１４０に記憶する。認識結果は、例えば、画像が信号機３０００を示しているか否か、示している場合に信号機３０００の状態等を含む。

　取得部１５２は、センサ部１２０が制御部１５０に供給したセンサ情報に基づいて、移動体１０００の自己位置情報を取得する。取得部１５２は、取得した自己位置情報に基づいて、移動体１０００の現在位置を認識する。取得部１５２は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップを用いて自己位置を取得してもよい。取得部１５２は、移動体１０００から速度パルス信号、角速度信号、加速度信号等を取得して自律航法位置を推定する機能を有する。取得部１５２は、自己位置情報が示す衛星による位置と自律航法位置とに基づく自己位置情報を取得できる。自己位置情報は、道路リンクや交差点名は特定できるが、走行する車線２１００の位置の精度は不確かな情報である。

　推定部１５３は、撮像部１１０が同一の信号機３０００を異なるタイミングで撮像した複数の画像データＤ１０に基づいて、画像における信号機３０００の出現位置の変化情報１４３を推定する。推定部１５３は、同一の信号機３０００を異なるタイミングで撮像した複数の画像データＤ１０に基づいて、画像における信号機３０００の出現位置の変化を示す変化情報１４３を推定する。推定部１５３は、推定した変化情報１４３を位置算出部１５４に提供できる。

　位置算出部１５４は、移動体１０００に搭載された撮像部１１０により撮像された画像データＤ１０の画像Ｄ１１が示す信号機３０００の出現位置に関する出現位置情報１４４（第１出現位置情報）を取得する。位置算出部１５４は、移動体１０００に搭載された撮像部１１０により撮像された複数の画像データＤ１０が示す信号機３０００の出現位置に基づいて、移動体１０００が走行する走行レーン２０００で画像Ｄ１１における信号機３０００の変化を識別可能な出現位置情報１４４を算出する。位置算出部１５４は、画像データＤ１０が示す画像において、画像認識部１５１が認識した信号機３０００の出現位置を算出し、変化情報１４３が示す連続する信号機３０００の出現位置との変化を識別可能な出現位置情報１４４を算出する。位置算出部１５４は、画像Ｄ１１における信号機３０００の出現位置情報１４４に自己位置情報を関連付けることで、出現位置情報１４４が示す座標と自己位置情報が示す座標を関連付けることができる。出現位置情報１４４が示す座標と自己位置情報が示す座標を関連付けた情報とを、出現位置情報１４４としてもよい。例えば、移動体１０００で推定された自己位置は、走行レーン２０００を特定できても、その車線２１００の位置が不確かな情報である。このため、位置算出部１５４は、自己位置と信号機３０００の出現位置の変化とを参照することで、自己位置では不確かな車線２１００の位置の算出を可能にしている。位置算出部１５４は、例えば、機械学習済みプログラム、ルックアップテーブル、算出プログラム等を用いて、信号機３０００の出現位置の変化情報１４３とその位置における走行レーン２０００を示す基準情報Ｄ２２に対応した移動体１０００の走行レーン２０００における位置を算出する。

　判定部１５５は、第１出現位置情報と基準撮像位置において撮像される画像Ｄ１１における信号機３０００の位置である第２出現位置情報とに基づいて、移動体１０００の巡行経路１０００Ｒに対するずれ状態を判定する。判定部１５５は、位置算出部１５４によって算出された出現位置情報１４４と記憶部１４０に記憶された移動体１０００の基準情報Ｄ２２とを比較して移動体１０００の巡行経路１０００Ｒ（経路）のずれ状態を判定する。判定部１５５は、信号機３０００の近傍における移動体１０００の位置と巡行経路１０００Ｒが示す基準位置とのずれ状態を判定する。ずれ状態の判定例については、後述する。判定部１５５は、巡行経路１０００Ｒのずれ状態を、信号機３０００の基準情報Ｄ２２に関連付けて記憶部１４０に記憶する。これにより、判定部１５５は、信号機３０００に対応した判定結果を記憶部１４０に蓄積することができる。

　検出部１５６は、画像データＤ１０から信号機３０００の点灯状態を検出する。この信号機３０００の点灯状態は、信号機の点灯タイミングを含む。検出部１５６は、画像認識部１５１が認識した信号機３０００の状態に基づいて、信号機３０００の点灯タイミングを検出する。検出部１５６は、例えば、信号機３０００が点灯している信号の色、所定の信号の点灯又は無灯等の状態を点灯タイミングとして検出できる。例えば、移動体１０００が巡行経路１０００Ｒを予定時間通りに移動する場合、信号機３０００を通過する時間における信号機３０００の状態も同じである可能性が高い。このため、検出部１５６は、画像データＤ１０から信号機３０００の点灯タイミングを検出することで、検出結果を移動体１０００の遅延判定に提供できる。

　判定部１５５は、検出部１５６によって検出された信号機３０００の点灯タイミングと記憶部１４０に記憶された基準情報Ｄ２２の基準点灯タイミングとを比較して移動体１０００の遅延状態を判定する。移動体１０００の遅延状態は、例えば、巡行経路１０００Ｒにおける信号機３０００の点滅するタイミングに対して、移動体１０００の移動を現状維持、移動を早くする、移動を遅くする等の状態を含む。判定部１５５は、移動体１０００の遅延状態を、信号機３０００の基準情報Ｄ２２に関連付けて記憶部１４０に記憶する。

　動作支援部１５７は、判定部１５５によって判定された巡行経路１０００Ｒのずれ状態及び遅延状態の少なくとも一方に基づいて、移動体１０００の動作を支援する処理を実行する。移動体１０００の動作を支援する処理は、例えば、巡行経路１０００Ｒのずれ状態を、移動体１０００、移動体１０００を管理する管理装置等に通知するための処理、ずれ状態に基づく巡行経路１０００Ｒの変更を指示する処理、遅延状態を解消するための処理等を含む。

　評価部１５８は、判定部１５５が判定した移動体１０００の巡行経路１０００Ｒのずれ状態及び遅延状態の少なくとも一方に基づいて、移動体１０００の走行軌跡、巡行結果等の走行結果を評価する。評価部１５８は、巡行経路１０００Ｒにおける１又は複数の信号機３０００におけるずれ状態に基づいて移動体１０００の走行軌跡、巡行時間等を評価し、評価結果を示す評価情報１４６を記憶部１４０に記憶する。評価情報１４６は、例えば、巡行経路１０００Ｒと実際に走行した走行経路との一致度、複数の信号機３０００の遅延状態等の情報を含む。評価情報１４６は、自動運転の場合、移動体１０００の巡行の見直しや変更等に利用可能な情報である。評価情報１４６は、手動運転の場合、移動体１０００の運転者の指導、評価等に利用可能な情報である。評価部１５８は、通信部１３０を介して、評価情報１４６を移動体１０００、外部の管理装置やサーバ等に提供できる。評価部１５８は、走行軌跡の評価結果を走行軌跡の改善を役立てることができる。例えば、評価部１５８は、移動体１０００が手動運転の場合、走行軌跡の評価結果を、運転者の教育に用いるように評価ランクや点数で出力する。例えば、評価部１５８は、移動体１０００が自動運転の場合、走行軌跡の評価結果を、自動走行アルゴリズムの改善に適用可能な情報として出力する。

　以上、本実施形態に係る電子機器１００の機能構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る電子機器１００の機能構成は係る例に限定されない。本実施形態に係る電子機器１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。

（ずれ状態及び遅延状態の判定例）
　図３は、信号機３０００の出現位置の変化情報１４３の一例を説明するための図である。図４は、図３に示す変化情報１４３と基準情報Ｄ２２とに基づくずれ状態の一例を説明するための図である。図５は、図３に示す変化情報１４３と基準情報Ｄ２２とに基づく遅延の一例を説明するための図である。

　図３に示すように、電子機器１００は、時間Ｔ１において、撮像部１１０が撮像した画像データＤ１０を取得すると、画像データＤ１０が示す画像Ｄ１１における信号機３０００の出現位置Ｐ１１及び出現位置Ｐ２１を認識する。出現位置Ｐ１１は、移動体１０００が移動している走行レーン２０００で移動体１０００の近傍に存在する信号機３０００の位置である。出現位置Ｐ２１は、移動体１０００の前方の遠方に存在する信号機３０００の位置である。電子機器１００は、認識した出現位置Ｐ１１及び出現位置Ｐ２１を、時間Ｔ１の画像データＤ１０に関連付けて記憶部１４０の変化情報１４３に記憶する。

　その後、電子機器１００は、時間Ｔ２において、時間Ｔ１の位置よりも前方の位置に移動している。電子機器１００は、撮像部１１０が撮像した画像データＤ１０を取得すると、画像データＤ１０が示す画像Ｄ１１における信号機３０００の出現位置Ｐ１２及び出現位置Ｐ２２を認識する。出現位置Ｐ１２は、移動体１０００が移動している走行レーン２０００で移動体１０００の近傍に存在する信号機３０００の位置である。出現位置Ｐ２２は、移動体１０００の前方の遠方に存在する信号機３０００の位置である。

　電子機器１００は、変化情報１４３が示す時間Ｔ１の出現位置Ｐ１１から時間Ｔ２の出現位置Ｐ１２に向かうベクトルを含む出現位置情報１４４を算出する。電子機器１００は、時間Ｔ１の出現位置Ｐ２１から時間Ｔ２の出現位置Ｐ２２に向かうベクトルを含む出現位置情報１４４を算出する。図３に示す一例では、出現位置Ｐ２１及び出現位置Ｐ２２が、移動体１０００から遠方の位置であるため、電子機器１００は、出現位置Ｐ２２の出現位置情報１４４を算出しない。

　電子機器１００は、画像データＤ１０が示す信号機３０００を巡行データ１４２から特定し、信号機３０００に対応した基準情報Ｄ２２を記憶部１４０から抽出する。電子機器１００は、移動体１０００の自己位置に近い信号機３０００を巡行データ１４２から特定してもよいし、信号機３０００を通過する順番に基づいて巡行データ１４２から特定してもよい。

　電子機器１００は、図４に示すように、画像データＤ１０に対応するマップを示す画像Ｄ１２において、算出した出現位置情報１４４が示すベクトル１４４Ｖと、基準情報Ｄ２２が示す基準ベクトルＤ２２Ａまたは基準ベクトルＤ２２Ｂとを比較してずれ状態Ｇを判定する。例えば、基準情報Ｄ２２が基準ベクトルＤ２２Ａを示している場合、ベクトル１４４Ｖがベクトルに重なると、電子機器１００は、基準ベクトルＤ２２Ａとベクトル１４４Ｖとがずれていないと判定する。

　例えば、基準情報Ｄ２２が基準ベクトルＤ２２Ａを示している場合、ベクトル１４４Ｖがベクトルに対して右側にずれていると、電子機器１００は、基準ベクトルＤ２２Ａとベクトル１４４Ｖとのずれ状態Ｇを判定する。この場合、移動体１０００は、巡行経路１０００Ｒから右に寄り気味であることを示している。例えば、基準情報Ｄ２２が基準ベクトルＤ２２Ｂを示している場合、ベクトル１４４Ｖがベクトルに対して左側にずれている場合、電子機器１００は、基準ベクトルＤ２２Ｂとベクトル１４４Ｖとのずれ状態Ｇを判定する。この場合、移動体１０００は、巡行経路１０００Ｒから左に寄り気味であることを示している。これにより、電子機器１００は、移動体１０００が走行している走行レーン２０００におけるずれ状態Ｇを判定することで、走行レーン２０００における車線２１００の走行位置のずれ、車線等の特定に貢献できる。

　なお、図４に示す一例では、ずれ状態Ｇは、時刻Ｔ２における出現位置Ｐ１２における状態を判定しているが、これに限定されない。ずれ状態Ｇは、例えば、ベクトル同士の間隔が最大または最小となる箇所の状態を判定してもよいし、状態の平均として判定してもよい。また、電子機器１００は、ずれ状態Ｇの大きさをずれ量として算出し、判定結果に関連付けることができる。

　また、基準情報Ｄ２２は、図５に示すように、信号機３０００の点滅が出現する基準点灯タイミングと信号機３０００の出現位置との関係を、画像Ｄ１２のマップ上に変換した判定領域Ｄ２２Ｃ、判定領域Ｄ２２Ｄ及び判定領域Ｄ２２Ｅを示す情報を有する。信号機３０００の点滅は、他の交通に注意して走行することが可能なタイミングである。判定領域Ｄ２２Ｃは、移動体１０００がそのまま走行することで、信号機３０００が切り替わる前に通過可能な領域である。判定領域Ｄ２２Ｄは、移動体１０００が急いで走行することで、信号機３０００が切り替わる前に通過可能な領域である。判定領域Ｄ２２Ｅは、信号機３０００が切り替わるので、移動体１０００を減速して信号機３０００の次の点灯を待つ領域である。

　電子機器１００は、推定した出現位置情報１４４が示すベクトル１４４Ｖと、基準情報Ｄ２２が示す判定領域Ｄ２２Ｃ、判定領域Ｄ２２Ｄ及び判定領域Ｄ２２Ｅとに基づいて遅延状態を判定する。例えば、画像データＤ１０が示す画像Ｄ１２における信号機３０００の出現位置Ｐ１２である場合、電子機器１００は、出現位置Ｐ１２が判定領域Ｄ２２Ｃに位置するので、移動体１０００の移動を現状維持とすることを示す遅延状態と判定する。例えば、画像データＤ１０が示す画像Ｄ１１における信号機３０００の出現位置Ｐ１３である場合、電子機器１００は、出現位置Ｐ１３が判定領域Ｄ２２Ｄに位置するので、移動体１０００の移動を早くすることを示す遅延状態と判定する。例えば、画像データＤ１０が示す画像Ｄ１１における信号機３０００の出現位置Ｐ１４である場合、電子機器１００は、出現位置Ｐ１４が判定領域Ｄ２２Ｅに位置するので、移動体１０００の移動を遅くすることを示す遅延状態と判定する。このように、電子機器１００は、信号機３０００の点滅タイミングに対する遅延状態を判定することで、移動体１０００の巡行状態の補正を支援することができる。

　図６は、実施形態に係る電子機器１００の制御部１５０が実行する処理手順の一例を示すフローチャートである。図６に示す処理手順は、制御部１５０がプログラム１４１を実行することによって実現される。図６に示す処理手順は、移動体１０００が巡行している場合、制御部１５０によって繰り返し実行される。

　図６に示すように、電子機器１００の制御部１５０は、撮像部１１０から取得した画像データＤ１０から信号機３０００を認識する（ステップＳ１００）。例えば、制御部１５０は、取得した画像データＤ１０が示す画像Ｄ１１における信号機３０００を認識する認識処理を実行し、認識結果を記憶部１４０に記憶する。制御部１５０は、ステップＳ１００の処理が終了すると、処理をステップＳ１０１に進める。

　制御部１５０は、画像Ｄ１１から信号機３０００を認識したか否かを判定する（ステップＳ１０１）。例えば、制御部１５０は、ステップＳ１００の認識結果が認識したことを示している場合、画像Ｄ１１から信号機３０００を認識したと判定する。制御部１５０は、画像Ｄ１１から信号機３０００を認識していないと判定した場合（ステップＳ１０１でＮｏ）、図６に示す処理手順を終了させる。また、制御部１５０は、画像Ｄ１１から信号機３０００を認識したと判定した場合（ステップＳ１０１でＹｅｓ）、処理をステップＳ１０２に進める。

　制御部１５０は、信号機３０００を認識済みであるか否かを判定する（ステップＳ１０２）。例えば、制御部１５０は、前回の処理手順で信号機３０００を認識している場合、信号機３０００に関連付けられた変化情報１４３が存在する場合等に、信号機３０００を認識済みであると判定する。制御部１５０は、信号機３０００を認識済みではない、すなわち、信号機３０００の最初の認識と判定した場合（ステップＳ１０２でＮｏ）、処理をステップＳ１０３に進める。

　制御部１５０は、画像Ｄ１１における信号機３０００の出現位置を示す変化情報１４３を記憶部１４０に記憶する（ステップＳ１０３）。例えば、制御部１５０は、信号機３０００の前回の出現位置と認識時間とを含む変化情報１４３を記憶部１４０に記憶する。制御部１５０は、ステップＳ１０３の処理が終了すると、図６に示す処理手順を終了させる。

　また、制御部１５０は、信号機３０００を認識済みであると判定した場合（ステップＳ１０２でＹｅｓ）、処理をステップＳ１０４に進める。制御部１５０は、画像Ｄ１１における信号機３０００の出現位置の変化情報１４３を推定する（ステップＳ１０４）。例えば、制御部１５０は、画像データＤ１０が示す画像Ｄ１１における信号機３０００の出現位置と、同一の信号機３０００の前回の出現位置とのベクトル等を示す変化情報１４３を推定する。制御部１５０は、推定した変化情報１４３を記憶部１４０に記憶すると、処理をステップＳ１０５に進める。

　制御部１５０は、自己位置情報を取得する（ステップＳ１０５）。例えば、制御部１５０は、通信部１３０を介して、移動体１０００で推定された自己位置情報を取得し、記憶部１４０に記憶する。制御部１５０は、ステップＳ１０５の処理が終了すると、処理をステップＳ１０６に進める。

　制御部１５０は、画像データＤ１０が示す信号機３０００の出現位置に基づいて、走行レーン２０００における信号機３０００の出現位置の変化を識別可能な出現位置情報１４４を算出する（ステップＳ１０６）。例えば、制御部１５０は、自己位置情報が示す自己位置をリファレンスとし、変化情報１４３が示す前回を含む過去の出現位置と画像Ｄ１１における信号機３０００の今回の出現位置とその変化を示すベクトル１４４Ｖを含む出現位置情報１４４を算出する。制御部１５０は、ステップＳ１０６の処理が終了すると、処理をステップＳ１０７に進める。

　制御部１５０は、出現位置情報１４４と基準情報Ｄ２２とを比較して移動体１０００の経路のずれ状態Ｇ及び遅延状態を判定する（ステップＳ１０７）。例えば、制御部１５０は、移動体１０００の巡行経路１０００Ｒから信号機３０００に対応する基準情報Ｄ２２を抽出する。そして、制御部１５０は、出現位置情報１４４が示すベクトルと基準情報Ｄ２２が示す基準ベクトルを比較して、ずれ状態Ｇを判定する。制御部１５０は、出現位置情報１４４が示す出現位置と基準情報Ｄ２２が示す判定領域とを比較して、遅延状態を判定する。制御部１５０は、ずれ状態Ｇ及び遅延状態の判定結果を記憶部１４０に記憶すると、処理をステップＳ１０８に進める。

　制御部１５０は、判定したずれ状態Ｇ及び遅延状態に基づいて、移動体１０００の動作を支援する処理を実行する（ステップＳ１０８）。例えば、制御部１５０は、移動体１０００の動作を支援する処理を実行することで、巡行経路１０００Ｒのずれ状態Ｇを移動体１０００の管理装置等に通知し、ずれ状態Ｇに基づく巡行経路１０００Ｒの変更を指示する。例えば、制御部１５０は、移動体１０００の動作を支援する処理を実行することで、遅延状態を解消するように運行計画を変更させる指示を行う。制御部１５０は、ステップＳ１０８の処理が終了すると、処理をステップＳ１０９に進める。

　制御部１５０は、移動体１０００の巡行経路１０００Ｒのずれ状態Ｇ及び遅延状態に基づいて、移動体１０００の走行結果を評価する（ステップＳ１０９）。例えば、制御部１５０は、信号機３０００におけるずれ状態Ｇ及び遅延状態に基づいて、移動体１０００の走行軌跡、巡行時間等を評価し、評価結果を示す評価情報１４６を記憶部１４０に記憶する。制御部１５０は、ステップＳ１０９の処理が終了すると、図６に示す処理手順を終了させる。

　図６に示す処理手順では、画像Ｄ１１から信号機３０００を認識した場合に、ステップＳ１０９で移動体１０００の走行を評価する処理手順になっているが、これに限定されない。例えば、図６に示す処理手順は、ステップＳ９の処理を、移動体１０００が巡行経路１０００Ｒの移動を終了した場合に実行するように変更することができる。

（電子機器の動作）
　図７は、実施形態に係る電子機器１００の巡行環境の一例を説明するための図である。図８は、実施形態に係る電子機器１００の動作の一例を説明するための図である。図９は、実施形態に係る電子機器１００の評価の一例を説明するための図である。

　図７に示す一例では、電子機器１００を搭載した移動体１０００が移動する巡行経路１０００Ｒを示している。巡行経路１０００Ｒの走行レーン２０００には、複数の信号機３０００が設置されている。電子機器１００は、巡行を開始する場合、巡行経路１０００Ｒを示す巡行データ１４２を記憶部１４０に記憶することで、巡行経路１０００Ｒにおける複数の信号機３０００ごとの基準情報Ｄ２２を記憶部１４０に記憶する。

　移動体１０００は、走行レーン２０００の進行方向２０００Ｄに向かって移動しており、信号機３０００に接近している。この場合、図８に示すように、電子機器１００は、画像データＤ１０が示す画像Ｄ１１に信号機３０００を認識し、連続する複数の画像データＤ１０から信号機３０００の変化情報１４３に基づいて出現位置情報１４４を算出する。電子機器１００は、出現位置情報１４４と信号機３０００に対応した基準情報Ｄ２２とを比較して移動体１０００の経路のずれ状態Ｇを判定する。図８に示す一例では、電子機器１００は、信号機３０００の基準情報Ｄ２２が示す基準ベクトルＤ２２Ａに対する変化情報１４３のずれ状態Ｇが右方向にずれていると判定する。

　電子機器１００は、巡行経路１０００Ｒに対するずれ状態の判定結果を含む支援情報１４５を、移動体１０００、管理装置等に提供する。電子機器１００は、例えば、巡行データ１４２、ずれ状態等に基づいて、移動体１０００が巡行経路１０００Ｒに復帰するための移動方向、経路等の情報を含む支援情報１４５に含めることができる。これにより、例えば、自動走行中の移動体１０００は、右に寄っていることを解消可能な支援情報１４５に基づいて、巡行経路１０００Ｒに復帰するように、移動方向、移動速度等を変更することができる。

　電子機器１００は、信号機３０００の基準情報Ｄ２２が示す基準点灯タイミングに対する遅延状態を判定する。電子機器１００は、図５に示したように、変化情報１４３が示す出現位置Ｐ１２が基準情報Ｄ２２の判定領域Ｄ２２Ｃに存在する場合、移動体１０００の移動を現状維持とすることを示す遅延状態と判定する。この場合、移動体１０００の巡行を補正する必要がないので、電子機器１００は、処理を継続する。

　また、変化情報１４３が示す出現位置Ｐ１２が基準情報Ｄ２２の判定領域Ｄ２２Ｄに存在する場合、電子機器１００は、移動体１０００の移動を早くすることを示す遅延状態と判定する。この場合、電子機器１００は、移動速度を速めることを指示する支援情報１４５を移動体１０００、管理装置等に提供する。これにより、移動体１０００は、移動速度が法定速度内で早くなり、信号機３０００を止まることなく通過することができる。

　また、変化情報１４３が示す出現位置Ｐ１２が基準情報Ｄ２２の判定領域Ｄ２２Ｅに存在する場合、電子機器１００は、移動体１０００の移動を遅くすることを示す遅延状態と判定する。この場合、電子機器１００は、移動速度を遅くすることを指示する支援情報１４５を移動体１０００、管理装置等に提供する。これにより、移動体１０００は、減速して信号機３０００の次の青信号を待つことで、安全運転を行うことができる。

　電子機器１００は、ずれ状態Ｇに基づいて移動体１０００の動作を支援するために、巡行経路１０００Ｒからの移動体１０００のずれ値を算出し、当該ずれ値を含む支援情報１４５を移動体１０００、管理装置等に提供する。これにより、移動体１０００は、支援情報１４５のずれ値に基づいて、走行レーン２０００における移動体１０００の走行位置を補正することができる。

　電子機器１００は、判定した移動体１０００の経路のずれ状態Ｇ及び遅延状態に基づいて、移動体１０００の走行を評価する。電子機器は、信号機ごとの評価結果を示す評価情報１４６を生成し、巡行データ１４２に関連付けて記憶部１４０に記憶する。例えば、電子機器１００は、図９に示すように、右に寄りやすい傾向あり、基準点灯タイミングから遅れる傾向あり等の評価結果を示す評価情報１４６を生成する。例えば、移動体１０００が手動運転の場合、電子機器１００は、評価情報１４６を移動体１０００のパネル、ディスプレイ等に表示させることで、運転中の運転手を指導することができる。例えば、移動体１０００が自動運転の場合、電子機器１００は、評価情報１４６を移動体１０００の管理装置等に提供することで、移動体１０００の巡行経路１０００Ｒの評価等を支援することができる。

　実施形態に係る電子機器１００は、複数の画像データＤ１０が示す画像Ｄ１１における信号機３００の出現位置の変化を算出するだけで、移動体１０００の経路のずれ状態を判定することができる。これにより、電子機器１００は、移動体１０００の自己位置の検出精度が低く、画像データＤ１０しか得られない移動環境であっても、巡行経路１０００Ｒにおける位置ずれの判定精度を向上させることができる。

（変形例）
　上述した電子機器１００は、移動体１０００に搭載される場合について説明したが、これに限定されない。電子機器１００は、例えば、移動体１０００の外部に設けられたサーバ装置等で実現してもよい。図１０は、実施形態の変形例に係る電子機器１００のシステム構成の一例を示す図である。図１０に示すように、電子機器１００は、ネットワークを介して移動体１０００と相互に通信可能な構成になっている。電子機器１００は、例えば、パーソナル・コンピュータ、タブレット端末、スマートフォン等で実現してもよい。電子機器１００は、移動体１０００の撮像部１１０から画像データＤ１０を、ネットワークを介して取得する。電子機器１００は、取得した画像データＤ１０に基づく移動体１０００の経路のずれ状態及び遅延状態を判定し、判定結果に基づく支援情報１４５、評価情報１４６を、ネットワークを介して移動体１０００に提供する。電子機器１００は、ずれ状態及び遅延状態の判定結果を示す情報を移動体１０００に提供してもよい。

　添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

　１００　電子機器
　１１０　撮像部
　１２０　センサ部
　１３０　通信部
　１４０　記憶部
　１４１　プログラム
　１４２　巡行データ
　１４３　変化情報
　１４４　出現位置情報
　１４５　支援情報
　１４６　評価情報
　１５０　制御部
　１５１　画像認識部
　１５２　取得部
　１５３　推定部
　１５４　位置算出部
　１５５　判定部
　１５６　検出部
　１５７　動作支援部
　１５８　評価部
　１０００　移動体
　１０００Ｒ　巡行経路
　２０００　走行レーン
　２１００　車線
　３０００　信号機
　Ｄ１０　画像データ
　Ｄ２１　巡行経路情報
　Ｄ２２　基準情報
　Ｇ　ずれ状態
　Ｐ１１，Ｐ１２　出現位置

Claims (8)

1. 　移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第１出現位置情報を取得する位置算出部と、
   　所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶する記憶部と、
   　前記第１出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第２出現位置情報とに基づいて、前記移動体の前記所定の経路に対するずれ状態を判定する判定部と、
   　を備える電子機器。
2. 　請求項１に記載の電子機器において、
   　前記画像から前記信号機の点灯状態を検出する検出部をさらに備え、
   　前記記憶部は、前記移動体の基準となる前記信号機の基準点灯状態の情報を有し、
   　前記判定部は、検出された前記信号機の前記点灯状態と前記基準点灯状態とを比較して前記移動体の遅延状態を判定する
   　電子機器。
3. 　請求項２に記載の電子機器において、
   　前記移動体は、周期ルートを走行する移動体であり、
   　前記移動体の基準となる前記基準撮像位置及び前記基準点灯状態は、前記周期ルートにおける前記信号機で設定された値である
   　電子機器。
4. 　請求項３に記載の電子機器において、
   　算出された前記ずれ状態及び前記遅延状態の少なくとも一方に基づいて前記移動体の動作を支援する処理を実行する動作支援部をさらに備える
   　電子機器。
5. 　請求項４に記載の電子機器において、
   　前記移動体のセンサ情報に基づいて前記移動体の自己位置情報を取得する取得部をさらに備え、
   　前記位置算出部は、前記画像における前記信号機の前記出現位置と前記自己位置情報に基づいて、前記移動体が走行する走行レーンで画像における前記信号機の出現位置の変化を識別可能な第３出現位置情報を算出する
   　電子機器。
6. 　請求項５に記載の電子機器において、
   　前記判定部が判定した前記移動体の経路の前記ずれ状態及び前記遅延状態の少なくとも一方に基づいて、前記移動体の走行結果を評価する評価部をさらに備える
   　電子機器。
7. 　コンピュータが、
   　移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第１出現位置情報を取得することと、
   　所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶部に記憶することと、
   　前記第１出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第２出現位置情報とに基づいて、前記移動体の前記所定の経路に対するずれ状態を判定することと、
   　を含む方法。
8. 　コンピュータに、
   　移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第１出現位置情報を取得することと、
   　所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶部に記憶することと、
   　前記第１出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第２出現位置情報とに基づいて前記移動体の前記所定の経路に対するずれ状態を判定することと、
   　を実行させるプログラム。

Images