WO2022153838A1 - 情報処理装置、情報処理システム、および方法、並びにプログラム - Google Patents

Abstract

道路に設置されたチャートを一定距離から撮影し、撮影画像を解析してカメラ解像度を算出し、算出結果に応じて警告出力、自動運転レベル低下処理を実行する。画像解析部が、カメラ撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する。解像度算出部が、画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、撮影画像の解像度を算出する。基準線は、移動装置が走行する道路に設置された解像度解析用チャートから一定距離、離間した道路上に記録されており、チャートを一定距離から撮影した画像に基く高精度な撮影画像の解像度の算出が可能となる。

Description

情報処理装置、情報処理システム、および方法、並びにプログラム

　本開示は、情報処理装置、情報処理システム、および方法、並びにプログラムに関する。さらに詳細には、より安全な自動運転や運転サポートを行うことを可能とした情報処理装置、情報処理システム、および方法、並びにプログラムに関する。

　昨今、自動運転や運転サポートに関する技術開発が盛んに行われている。
　自動運転技術は、車両（自動車）に備えられた位置検出手段等の様々なセンサーを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。

　自動運転や運転サポートには、カメラやレーダー等の様々なセンサーの検出情報が利用される。
　しかし、例えば車両に搭載したカメラは、車両の走行過程で発生する振動や温度変化などの影響により、例えば解像度の低下など画像解析性能の劣化が発生することがある。

　このようなカメラ性能の判定、例えば、カメラで撮影した画像の解像度が初期的な解像度に維持されているか否かの検査は、定期的な車検などの際にディーラーなどで専用の検査機を用いて行われるのが一般的である。

　しかし、今後、車両に搭載するカメラの高画素・高解像度化が進み、かつ車両の自動運転の高機能化が進むことが予測され、カメラで撮影した画像の解像度の劣化は重大事故に直結する問題となることが予測される。
　従って、カメラで撮影した画像の解像度が一定水準に維持されているか否かについて、より高精度にかつ高い頻度で確認する必要がある。
　なお、カメラの誤差確認技術を開示した従来技術として、例えば特許文献１（特開２０１９－０２８６３３号公報）などがある。

　しかし、車両のユーザに対して、例えば１か月や数か月ごとの車両点検を義務付けるのは、ユーザの負担が大きく、実際には困難である。

特開２０１９－０２８６３３号公報

　本開示は、例えば、上述の問題点に鑑みてなされたものであり、ユーザに負担を発生させることなく、車両に装着されたカメラで撮影した画像の解像度の点検を確実に実行可能とした情報処理装置、情報処理システム、および方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　カメラの撮影画像が入力されて入力画像の解析を行なう画像解析部と、
　前記撮影画像の解像度を算出する解像度算出部を有し、
　前記画像解析部は、
　前記カメラの撮影画像から基準線を所定の位置で検出したタイミングの撮影画像を解像度解析用画像として選択し、
　前記解像度算出部は、
　前記画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出する情報処理装置にある。

　さらに、本開示の第２の側面は、
　移動装置と、管理サーバを有する情報処理システムであり、
　前記移動装置は、
　前記移動装置に装着されたカメラの撮影画像を入力して入力画像の解析を行なう画像解析部と、
　前記カメラの解像度を算出する解像度算出部と、
　通信部を有し、
　前記画像解析部は、
　前記カメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択し、
　前記解像度算出部は、
　前記画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出して前記通信部を介して算出した解像度を前記管理サーバに送信し、
　前記管理サーバは、
　複数の移動装置から受信する複数の解像度データの解析を実行する情報処理システムにある。

　さらに、本開示の第３の側面は、
　移動装置に搭載された情報処理装置において実行する情報処理方法であり、
　画像解析部が、
　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する画像解析ステップと、
　解像度算出部が、
　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出する撮影画像解像度算出ステップを実行する情報処理方法にある。

　さらに、本開示の第４の側面は、
　移動装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記移動装置の画像解析部が、
　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する画像解析ステップと、
　前記移動装置の解像度算出部が、
　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出して、算出した解像度を前記管理サーバに送信する解像度算出、送信ステップを実行し、
　前記管理サーバが、
　複数の移動装置から受信する複数の解像度データの解析を実行する情報処理方法にある。

　さらに、本開示の第５の側面は、
　移動装置に搭載された情報処理装置において情報処理を実行させるプログラムであり、
　前記プログラムは、画像解析部に、
　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択させる画像解析ステップと、
　解像度算出部に、
　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出させる撮影画像解像度算出ステップを実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、道路に設置されたチャートを一定距離から撮影し、撮影画像を解析してカメラ解像度を算出し、算出結果に応じて警告出力、自動運転レベル低下処理を実行する構成が実現される。
　具体的には、例えば、画像解析部が、カメラ撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する。解像度算出部が、画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、カメラの解像度を算出する。基準線は、移動装置が走行する道路に設置された解像度解析用チャートから一定距離、離間した道路上に記録されており、チャートを一定距離から撮影した画像に基く高精度なカメラの解像度算出が可能となる。
　本構成により、道路に設置されたチャートを一定距離から撮影し、撮影画像を解析してカメラ解像度を算出し、算出結果に応じて警告出力、自動運転レベル低下処理を実行する構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の移動装置（例：車両）の構成と処理の概要について説明する図である。 自動運転レベルについて説明する図である。 本開示の移動装置（例：車両）の構成と、実行する処理について説明する図である。 道路上のマーカーの一構成例について説明する図である。 道路上のマーカーの一構成例について説明する図である。 解像度解析用チャートの具体例について説明する図である。 解像度解析用チャートの撮影画像の例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置の構成例について説明する図である。 本開示の情報処理システムの構成例について説明する図である。 本開示の情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の移動装置（例：車両）の構成と処理の概要について
　２．本開示の移動装置（例：車両）の構成と実行する処理の詳細について
　３．本開示の移動装置や情報処理装置が実行する処理のシーケンスについて
　４．本開示の移動装置、情報処理装置の構成例について
　５．各移動装置からの解像度解析結果を収集して解析するサーバを有する情報処理システム構成例について
　６．本開示の情報処理装置のハードウェア構成例について
　７．本開示の構成のまとめ

　　［１．本開示の移動装置（例：車両）の構成と処理の概要について］
　図１を参照して、本開示の移動装置（例：車両）の構成と処理の概要について説明する。

　図１に示す移動装置（例：車両）１０は、例えば自動運転車両、あるいは、一部の運転を自動化した運転サポート機能を有する車両である。なお、運転サポート機能には、例えば自動ブレーキや、定速走行機能等、様々な機能が含まれる。

　自動運転車両や運転サポート機能を有する車両１０は、車両１０に備えられたカメラ、レーダー、位置検出手段等の様々なセンサーを有し、このセンサーの検出情報を用いて道路上を安全に走行させることを可能としている。
　図１に示す車両１０は、センサーの１つであるカメラ１１を有している。

　しかし、車両１０に搭載したカメラ１１は、車両１０の走行過程で発生する振動や温度変化などの影響により、画像センサー部やレンズ部の取り付け位置のずれなどが発生することがあり、この結果、例えば解像度の低下など、センサーとしての重要な機能の品質を低下させてしまうことがある。

　例えば図１に示す車両１０の前方を撮影するカメラ１１の解像度が低下してしまうと、車両１０の前方の障害物や、標識等の認識レベルが低下してしまい、安全な自動運転や運転サポートを行なうことが困難になる。

　車両に搭載するカメラは、高画素・高解像度化が進んでおり、また、車両の自動運転の高機能化も急速に進んでいる。このような状況においては、カメラで撮影した画像の解像度が常に一定水準以上に維持されていることが求められる。この水準維持のためには、高精度、かつ高頻度なカメラで撮影した画像の解像度の確認処理を行うことが必要となる。
　カメラで撮影した画像の解像度は、カメラのレンズ性能、カメラのイメージセンサとレンズの位置ずれ、カメラのイメージセンサ画素数に依存する。つまり、カメラで撮影した画像の解像度は、カメラのレンズ性能、カメラのイメージセンサとレンズの位置ずれ、カメラのイメージセンサ画素数の少なくとも一つにより制約される。なお、この位置ずれは接着剤の膨張等の影響によるメカニカルなずれである。
　本開示は、この要求に応えるものであり、車両１０の走行中にカメラ１１の解像度の点検を行うことを可能としている。

　なお、カメラ等のセンサーを利用した自動運転や運転サポートを利用した走行は、現行では特定の道路区間、例えば高速道路や幹線道路の一部区間等に限られている。これは、例えば安全な自動運転等が可能なインフラ設備が整備されているといった条件等によって規定される区間であり、自動運転走行可能区間（ＯＤＤ：Ｏｐｅｒａｔｉｏｎａｌ　Ｄｅｓｉｇｎ　Ｄｏｍｅｉｎ）と呼ばれる。

　移動装置（例：車両）１０は、このような自動運転走行可能区間（ＯＤＤ）において自動運転を行なうことになる。しかし、このような区間でカメラ１１の解像度が低下している場合、安全な自動運転走行ができなくなる可能性がある。

　本開示の構成では、例えば高速道路の入り口やその本線上の一定間隔、または幹線道路上の移動装置（例：車両）１０のカメラ１１が撮影可能な位置に、カメラ解像度検査用のチャートを設置する。
　例えば、図１に示すような標識の端部にカメラ解像度検査用のチャート２３を設置する。

　チャート２３は、移動装置（例：車両）１０のカメラ１１によって撮影される。ただし、カメラ１１の解像度解析を行うためには、チャート２３の撮影距離を一定にすることが必要となる。
　このチャート２３の撮影位置の位置決めのためのマーカー２１と基準線２２が道路上に記録される。

　道路上のマーカー２１が、移動装置（例：車両）１０のカメラ１１の画角内に入ると、カメラ１１の撮影画像解析を行う画像解析部がマーカー２１を検出し、マーカー２１の前方の基準線２２の検出タイミングで撮影されたチャート２３の画像フレームを取り出し、取り出した画像フレームを解像度解析用画像フレームとして解像度解析処理を行う。
　このような処理を行うことで、一定距離から撮影したチャート２３の撮影画像を用いたカメラ１１の解像度解析が可能となる。

　なお、チャート２３は、例えば道路上の所定区間ごとに設置される。また、道路上に設置された各チャート位置の一定距離、手前の位置にマーカー２１と基準線２２が記録される。
　このような構成とすることで、移動装置（例：車両）１０は、各チャート位置で、繰り返し、解像度検査を行なうことができる。

　このように、本開示の構成は、マーカー２１と基準線２２によって規定される位置、すなわちチャート２３から一定距離、離れた位置から移動装置（例：車両）１０のカメラ１１で解像度解析用のチャート２３の画像を撮影する。
　移動装置（例：車両）１０内の情報処理装置は、この撮影画像を用いてカメラ１１の解像度を算出し、予め規定した基準の解像度が保たれているか否かを判定する。

　さらに移動装置（例：車両）１０内の情報処理装置は、カメラ１１の解像度が規程の基準に満たない場合には、警告の出力や、自動運転レベルを低下させる制御などを実行する。

　なお、米国の自動車技術会であるＳＡＥ（Ｓｏｃｉｅｔｙ　ｏｆ　Ａｕｔｏｍｏｔｉｖｅ　Ｅｎｇｉｎｅｅｒｓ）は、自動運転のレベルとしてレベル０（手動運転）～レベル５（完全自動運転）までの６段階の自動運転レベルを定義している。日本を含め世界各国の多くは、このＳＡＥの自動運転レベル定義を採用している。

　図２を参照して、ＳＡＥの自動運転レベル定義について説明する。
　ＳＡＥは、自動運転のレベルとして図２に示すレベル０（手動運転）～レベル５（完全自動運転）までの６段階の自動運転レベルを定義している。
　各自動運転レベルの定義（運転状態）は以下の通りである。

　レベル０＝ドライバー（運転者）が全ての運転操作を実行（＝手動運転）
　レベル１＝自動運転システムがアクセルとブレーキ操作、またはハンドル操作のいずれかを実行
　レベル２＝自動運転システムがアクセルとブレーキ操作、およびハンドル操作を実行
　レベル３＝規程条件下（例えば所定の高速道路区間等）で自動運転システムが全ての自動運転を実行。ただし、ドライバー（運転者）が常時、監視し、緊急時には手動運転に復帰することが必要
　レベル４＝規程条件下で自動運転システムが全ての自動運転を実行
　レベル５＝条件なしに自動運転システムが全ての自動運転を実行

　ＳＡＥでは、これら、レベル０（手動運転）～レベル５（完全自動運転）までの６段階の自動運転レベルを定義している。
　なお、レベル３やレベル４における規定条件とは、例えば特定場所での走行を条件とした規定である。具体的には、例えば高速道路、あるいは、過疎地などの比較的交通量が少なく見通しの良いエリアや大学構内、空港施設内など比較的走行環境が単純なエリアでの走行等を条件としたものである。

　図１に示す移動装置（例：車両）１０が、これらＳＡＥの定義レベルである自動運転レベルの少なくとも複数のレベルの切り替えが可能な車両である場合、移動装置（例：車両）１０内の情報処理装置は、自動運転レベルの制御も実行する。
　すなわち、カメラ１１の解像度が規程の基準に満たないと判定した場合、自動運転レベルを低下させる制御等を実行する。

　具体的には、図１に示す移動装置（例：車両）１０が、例えばレベル０（手動運転）～レベル２（一部自動運転）の切り替え可能な車両、あるいはレベル０（手動運転）～レベル４（半自動運転）の切り替え可能な車両、あるいはレベル０（手動運転）～レベル５（完全自動運転）の切り替え可能な車両、このような車両の場合には、自動運転レベルを低下させる制御を実行する。

　　［２．本開示の移動装置（例：車両）の構成と実行する処理の詳細について］
　次に、図３以下を参照して、本開示の移動装置（例：車両）の構成と実行する処理の詳細について説明する。
　図３は、先に説明した図１と同様の移動装置（例：車両）１０を示している。
　カメラ１１は、移動装置（例：車両）１０のウインドシールド（Ｗ／Ｓ）（＝フロントウィンド）部に固定されている。カメラ１１の道路からの高さをＨとする。

　図に示すように、カメラ撮影方向を示すカメラ光軸は道路面に平行な軸であり、カメラの撮影範囲を示すカメラ画角は２θである。カメラ画角の下方向の最大画角（θ）の位置にマーカー２１や基準線２２が入ると、マーカー２１や基準線２２は、カメラ１１によって撮影される。

　なお、道路上のマーカー２１や基準線２２は、解像度解析用画像を撮影するタイミングを規定するために道路上に記録された識別マークである。マーカー２１や基準線２２の具体例を図４と図５に示す。

　マーカー２１は、例えば図４に示すような特定形状（山形状）の図形パターンや、図５に示すような特定の２次元パターンからなる識別マークによって構成される。
　マーカー２１は、その前方に基準線２２が記録されていることを示すマークである。
　マーカー２１の前方の基準線２２の検出タイミングでチャート２３を撮影し、この撮影画像フレームを解像度解析用画像フレームとして解像度解析処理を行う。
　このような処理を行うことで、一定距離から撮影したチャート２３の撮影画像を用いたカメラ１１の解像度解析が可能となる。

　移動装置（例：車両）１０内の情報処理装置は、道路走行中、カメラ１１の撮影画像からマーカー２１を検出し、さらに、マーカー２１の前方に記録された基準線２２を検出すると、基準線２２検出タイミングの撮影画像フレームをカメラ解像度解析用の画像フレームとして選択し、選択した画像フレームに撮影されたチャート２３の画像に基づいてカメラ１１の解像度解析を実行する。

　なお、移動装置（例：車両）１０内の情報処理装置は、カメラ１１の撮影画像内に検出される基準線２２の画像位置に基づいてカメラ解像度解析用の画像フレームを選択する。具体的には、移動装置（例：車両）１０に装着されたカメラ１１とチャート２３との距離が図３に示すＬ（＝Ｌ１＋Ｌ２）となるタイミングの撮影画像内の基準線２２の画像位置を予めメモリに登録しておき、この登録情報と撮影画像中の基準線２２の画像位置を比較して、一致したタイミングにおける撮影画像をカメラ解像度解析用の画像フレームとして選択する。

　なお、チャート２３は、例えば交通標識の横側に設置される。あるいは専用の独立した標識として道路上に設置する。
　カメラ解像度の解析には、特定の画像パターンを有する解像度解析用チャートが用いられる。

　解像度解析用チャートの具体例を図６に示す。
　図６には、カメラで撮影した画像の解像度を解析するために用いられるチャート（画像パターン）の例を、複数、示している。例えばこのようなチャートが、道路上の交通標識の横側などに設置される。
　なお、図６には、４種類の解像度解析用チャートを示しているが、この他にも様々なチャートがある。

　このようなチャートを撮影した画像に基づいてカメラで撮影した画像の解像度の解析が実行される。
　図７は、解像度が高いカメラで撮影した場合のチャート撮影画像例と、解像度が低下したカメラで撮影した場合のチャート撮影画像例を示す図である。

　図７（ａ）が撮影対象チャートである。
　（ｂ１）は、（ａ）撮影対象チャートを、解像度が高いカメラで撮影した場合のチャート撮影画像例である。
　（ｂ２）は、同じ（ａ）撮影対象チャートを、解像度が低下したカメラで撮影した場合のチャート撮影画像例である。
　このように、同じチャートを撮影した場合でも、解像度が低下したカメラの撮影画像は、エッジ部がぼやけた画像となる。

　なお、カメラで撮影した画像の解像度を正しく解析するためには、チャート２３を予め規定した距離から撮影した画像を用いて解析することが必要である。
　図３に示す例では、カメラ１１とチャート２３の距離（Ｌ）は、
　Ｌ１：カメラ１１と基準線２２間の距離
　Ｌ２：基準線２２とチャート２３間の距離、
　これらの２つの距離の加算値、すなわち、
　Ｌ＝Ｌ１＋Ｌ２
　となる。

　距離Ｌ２は、カメラ１１と基準線２２間の距離であるが、この距離Ｌ２は、固定値である下方画角θ（カメラ光軸とカメラの下方視野）と、カメラの高さ（Ｈ）から以下の式に従って算出される。なお、ここでは、カメラ光軸は地面に平行としている。
　Ｌ２＝Ｈ×（ｃｏｔθ）

　上記式において、カメラの高さ（Ｈ）、下方画角θは、いずれも固定値であるので、カメラ１１と基準線２２間の距離：Ｌ２も固定値となる。

　基準線２２とチャート２３間の距離：Ｌ１も予め規定した距離として設定されるので、結果として、カメラ１１とチャート２３の距離（Ｌ）、すなわち、
　Ｌ＝Ｌ１＋Ｌ２
　この距離Ｌは固定値なる。
　結果として、移動装置（例：車両）１０のカメラ１１は、一定距離（Ｌ＝Ｌ１＋Ｌ２）からチャート２３を撮影し、この一定距離からの撮影画像を用いて解像度解析を行う、
　このような処理を行うことで、高精度な解像度解析が可能となる。

　なお、チャート２３は、例えば、先に図６を参照して説明したような解像度解析用のパターン画像によって構成されるチャートである。
　道路上に設置されるチャート２３は、例えば、通常の標識と同様、板状素材にパターン画像を印刷して構成することが可能である。
　なお、チャートの視認性を保つため、チャート２３の前方からＬＥＤ光源などの光源を配置して、チャート（パターン画像）を照射する構成としてもよい。
　また、チャート２３を光透過性の素材として、背部にＬＥＤ光源などの光源を設け、チャート（パターン画像）背部から光を照射する構成としてもよい。

　なお、光源による照射を行なう場合、フリッカが生じないよう、光源ＯＮ／ＯＦＦのＤｕｔｙ比は、カメラのシャッタースピードに対して十分に短い設定とすることが好ましい。
　また、チャート２３に、直射日光が入射すると反射光により視認性が低下してしまうため、直射日光が照射されないように、例えば信号機のように「ひさし」を設けてもよい。

　なお、移動装置（例：車両）１０のカメラ１１は継続的に移動装置（例：車両）１０前方の画像を撮影する。移動装置（例：車両）１０内の情報処理装置が、道路走行中、カメラ１１の撮影画像から基準線２２を検出すると、基準線検出タイミングの撮影画像フレームをカメラ解像度解析用の画像フレームとして選択する。
　さらに、移動装置（例：車両）１０内の情報処理装置は、選択した画像フレームに撮影されたチャート２３の画像に基づいてカメラ１１の解像度解析処理を実行する。

　移動装置（例：車両）１０内の情報処理装置は、カメラ１１の解像度解析の結果、解像度が予め規定したしきい値以下である場合は、例えば、表示部やスピーカを介してドライバーに対する警告を出力する。

　警告メッセージ表示例を図８に示す。
　図８には、以下の警告メッセージを表示部に表示した例を示している。
　「撮影画像の解像度が低下しています。自動運転やサポート運転は行わないようにお願いします。お近くのディーラー、修理工場、ガソリンスタンド等へ、お立ち寄りの上、カメラの修理、または調整を行うことをお勧めします。」というメッセージの表示例である。

　ユーザ（ドライバー）は、このメッセージを見て、カメラで撮影した画像の解像度の低下を認識し、修理を依頼するなどの対応を、遅滞なく実行することが可能となる。

　なお、図８に示す警告メッセージは一例であり、この他、例えば、自動ブレーキシステム（ＡＥＢ：Ａｕｔｏｎｏｍｏｕｓ　Ｅｍｅｒｇｅｎｃｙ　Ｂｒａｋｉｎｇ）や、自動運転制御装置（ＡＣＣ：Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ）等、自動運転処理機能の信頼性が低下したことを通知する警告を行なう構成としてもすい。

　例えば、図９に示すような警告メッセージ、すなわち、
　「撮影画像の解像度が低下しています。解像度低下に伴い、自動運転やサポート運転に必要なＡＥＳ，ＡＣＳの機能低下が発生している可能性があります。お近くのディーラー、修理工場、ガソリンスタンド等へ、お立ち寄りの上、カメラの修理、または調整を行うことをお勧めします。」が挙げられる。

　さらに、移動装置（例：車両）１０が自動運転を実行中である場合には、自動運転の制御レベルを下げる処理や、手動運転への切り替えを促す警告を出力する構成としてもよい。

　なお、図３に示すチャート２３は、マーカー２１や基準線２２とともに、例えば、道路上の所定距離ごととに複数、配置する構成とすることが好ましい。
　移動装置（例：車両）１０内の情報処理装置は、これら複数の異なる地点のチャート撮影画像に基いて算出した複数の解像度算出結果を加算平均するなどの処理を実行することで、より精度の高い解像度を算出することができる。
　例えば、画像撮影時の大気の状態等に起因する解像度算出値のばらつきを補正した高精度な値を算出することが可能となる。

　また、例えば前方に大型トラックなどが走行している場合には、チャートの撮影ができない場合もある。
　このような場合にも、道路上に多数のチャートが所定間隔で配置されていれば、いずれかのチャート撮影に成功し、解像度算出を確実に行うことが可能となる。

　　［３．本開示の移動装置や情報処理装置が実行する処理のシーケンスについて］
　次に、本開示の移動装置や情報処理装置が実行する処理のシーケンスについて説明する。

　図１０、図１１に示すフローチャートを参照して、本開示の移動装置（例：車両）１０や、移動装置（例：車両）１０内に搭載された情報処理装置が実行する処理のシーケンスについて説明する。

　なお、以下において説明するフローに従った処理は、例えば移動装置（例：車両）１０内に搭載された情報処理装置の記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するＣＰＵ等を有するデータ処理部（制御部）の制御の下で実行される。
　以下、図１０、図１１に示すフローチャートの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　まず、移動装置（例：車両）１０内に搭載された情報処理装置のデータ処理部は、移動装置（例：車両）１０内に装着されたカメラ１１やＧＰＳ、雨滴センサー等、移動装置（例：車両）１０に装着された様々なセンサーを利用した外部環境情報取得処理を実行する。
　例えばカメラ１１の撮影画像を入力し、さらに、ＧＰＳによる位置情報取得処理、雨滴センサーによる降雨情報取得処理などを行う。

　　（ステップＳ１０２）
　情報処理装置のデータ処理部は、ステップＳ１０２において、ステップＳ１０１で取得した外部環境情報に基づいて、移動装置（例：車両）１０の走行路に雨が降っているか否かを判定する。この処理は、雨滴センサーの検出情報を用いて行われる。

　雨が降っている場合は、視界が悪く、カメラ１１によるチャート撮影画像に基く解像度解析を行っても精度の高い解像度算出が困難であるため、チャート撮影による解像度解析は行わない。
　この処理は、フローのステップＳ１０２の判定がＹｅｓ（＝雨が降っている）となり、ステップＳ１１０（検査停止）に進む場合の処理である。

　一方、ステップＳ１０２の判定がＮｏ（＝雨が降っていない）の場合は、視界が良好であり、カメラ１１によるチャート撮影画像に基く高精度な解像度解析が可能であると判断し、チャート撮影による解像度解析を実行する。
　この場合は、フローのステップＳ１０２の判定がＮｏ（＝雨が降っていない）となり、ステップＳ１０３以下の処理に進む。

　　（ステップＳ１０３）
　ステップＳ１０２においてＮｏ（＝雨が降っていない）の判定がなされた場合、ステップＳ１０３以下の処理を実行する。
　情報処理装置のデータ処理部は、ステップＳ１０３において、移動装置（例：車両）１０の前方を撮影するカメラ１１の撮影画像を入力して、画像解析を実行し、撮影画像からマーカー２１を検出する。

　マーカー２１は、例えば、先に図３を参照して説明したマーカーである。すなわち、マーカー２１は、解像度解析に利用するチャート２３の撮影画像の撮影ポイントとして規定される基準線２２の手前位置に記録され、移動装置（例：車両）１０のカメラ１１が撮影可能な路面位置に記録されたマーカーである。

　ステップＳ１０３において、カメラ１１の撮影画像からマーカー２１の画像が検出されたと判定した場合はステップＳ１０４に進む。

　　（ステップＳ１０４）
　ステップＳ１０３において、カメラ１１の撮影画像からマーカー２１の画像が検出された場合、次に、情報処理装置のデータ処理部は、ステップＳ１０４において、カメラ１１の撮影画像から基準線２２を検出する。

　先に図３等を参照して説明したように、基準線２２は、その検出タイミングで撮影されたチャート２３の画像フレームを解像度解析用画像フレームとして設定するための基準線である。すなわち、解像度解析処理を実行するための画像を撮影する距離、タイミングを規定するため、チャート２３から規定距離離れた道路上に記録された基準線である。

　ステップＳ１０４において、カメラ１１の撮影画像から基準線２２の画像が検出されたと判定した場合はステップＳ１０５に進む。

　　（ステップＳ１０５）
　ステップＳ１０４において、カメラ１１の撮影画像から基準線２２の画像が検出された場合、次に、情報処理装置のデータ処理部は、ステップＳ１０５において、チャートの撮影処理を実行する。

　撮影対象となるチャートは、先に図３、図６等を参照して説明したチャート２３である。チャート２３は、例えば交通標識の横側、あるいは専用の独立した標識として道路上に設置されている。
　チャートは、例えば先に図６を参照して説明したように、カメラで撮影した画像の解像度を解析するために用いられるチャート（画像パターン）である。

　ステップＳ１０５では、カメラ１１の撮影画像から基準線２２が検出されたタイミングで例えば図６に示すようなチャートの撮影処理を実行する。

　　（ステップＳ１０６）
　次に、移動装置（例：車両）１０の情報処理装置は、ステップＳ１０６において、基準線２２の位置からのカメラ撮影画像を、カメラ解像度解析用画像として内部メモリ（記憶部）に格納する。

　なお、先に図３を参照して説明したように、移動装置（例：車両）１０内の情報処理装置は、カメラ１１の撮影画像内に検出される基準線２２の画像位置に基づいてカメラ解像度解析用の画像フレームを選択する。具体的には、移動装置（例：車両）１０に装着されたカメラ１１とチャート２３との距離が図３に示すＬ（＝Ｌ１＋Ｌ２）となるタイミングの撮影画像内の基準線２２の画像位置を予めメモリに登録しておき、この登録情報と撮影画像中の基準線２２の画像位置を比較して、一致したタイミングにおける撮影画像をカメラ解像度解析用の画像フレームとして選択して内部メモリ（記憶部）に格納する。

　　（ステップＳ１０７）
　次に、移動装置（例：車両）１０の情報処理装置は、ステップＳ１０７において、内部メモリ（記憶部）に格納されたカメラ解像度解析用画像を利用して、カメラ解像度の算出処理を開始する。

　メモリ（記憶部）に格納されたカメラ解像度解析用画像は、チャート２３の撮影画像である。チャートは、例えば先に図６を参照して説明したように、カメラで撮影した画像の解像度を解析するために用いられるチャート（画像パターン）である。
　先に図７を参照して説明したように、撮影したカメラで撮影した画像の解像度の違いにより、チャートを構成する白黒パターンのエッジのぼやけ具合が異なることになる。

　　（ステップＳ１０８）
　移動装置（例：車両）１０の情報処理装置は、ステップＳ１０８において、メモリ（記憶部）から取得したカメラ解像度解析用画像の黒レベル、白レベル補正を実行する。
　このレベル補正は、撮影環境による白黒レベルの誤差を修正することなどを目的として実行される。
　この白黒レベル補正を実行した後、次のステップＳ１２１に進む。

　　（ステップＳ１２１）
　次に、移動装置（例：車両）１０の情報処理装置は、ステップＳ１２１において、白黒レベル補正がなされたカメラ解像度解析用画像、すなわちチャート画像のコントラストの指標値である変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）の算出処理を実行する。
　変調伝達関数（ＭＴＦ）の値は、カメラで撮影した画像の解像度の指標値として用いられる。

　　（ステップＳ１２２、Ｓ１２２ｂ）
　次に、移動装置（例：車両）１０の情報処理装置は、ステップＳ１２１で算出した変調伝達関数（ＭＴＦ）の値、あるいは変調伝達関数（ＭＴＦ）の値に基づいて算出された解像度を、ステップＳ１２２において、情報処理装置の内部メモリに格納する。
　さらに、ステップＳ１２２ｂにおいて、変調伝達関数（ＭＴＦ）の値、あるいは変調伝達関数（ＭＴＦ）の値に基づいて算出された解像度を、外部の管理サーバに送信（アップロード）する。

　なお、変調伝達関数（ＭＴＦ）の値、あるいは変調伝達関数（ＭＴＦ）の値に基づいて算出された解像度を外部の管理サーバに送信（アップロード）する際には、変調伝達関数（ＭＴＦ）の値、または解像度とともに、移動装置（例：車両）１０または情報処理装置の識別子（ＩＤ）、さらに、変調伝達関数（ＭＴＦ）または解像度の算出タイミング（日時）も併せて送信する。

　管理サーバは、各車両から変調伝達関数（ＭＴＦ）の値または解像度を受信して、各移動装置単位のＭＴＦ（または解像度）履歴データを生成してサーバ内のデータベースに記録する。
　管理サーバは、この履歴データを参照して、各移動装置に装着されたカメラで撮影した画像の解像度の低下傾向を解析し、例えば解像度が自動運転に必要な許容レベルに低下しているような場合、その移動装置に対して警告を送信するといった処理を行う。

　　（ステップＳ１２３）
　次に、移動装置（例：車両）１０の情報処理装置は、ステップＳ１２３において、ステップＳ１２１で算出したコントラスト指標値である変調伝達関数（ＭＴＦ）または解像度の値があらかじめ規定された規格値（しきい値）、すなわち、自動運転を安全に実行するために必要となる規格値以下であるか否かを判定する。

　規格値以下でない、すなわち、移動装置（例：車両）に装着されたカメラ１１の変調伝達関数（ＭＴＦ）または解像度が自動運転を安全に実行するために必要となる規格値を満たしている場合は、ステップＳ１２４に進む。
　一方、規格値以下である、すなわち、カメラ１１が自動運転を安全に実行するために必要となる規格値を満たしていないと判定した場合は、ステップＳ１４１に進む。

　　（ステップＳ１２４）
　ステップＳ１２３において、コントラスト指標値である変調伝達関数（ＭＴＦ）または解像度の値があらかじめ規定された規格値、すなわち、自動運転を安全に実行するために必要となる規格値以下でないと判定した場合、ステップＳ１２４の処理を実行する。

　移動装置（例：車両）１０の情報処理装置は、ステップＳ１２４において、移動装置（例：車両）に装着されたカメラ１１の解像度低下傾向の有無を判定する。この判定処理は、例えば移動装置（例：車両）１０の情報処理装置の内部メモリに格納されたＭＴＦ値（または解像度値）の履歴データを参照して実行する。あるいは、管理サーバから自車のカメラのＭＴＦ値（または解像度値）履歴データを取得して判定処理を実行してもよい。

　ステップＳ１２４において、移動装置（例：車両）に装着されたカメラ１１の解像度低下傾向が無いと判定した場合は、ステップＳ１２５に進む。
　一方、移動装置（例：車両）に装着されたカメラ１１の解像度低下傾向があると判定した場合は、ステップＳ１３１に進む。

　　（ステップＳ１２５）
　ステップＳ１２５の処理は、ステップＳ１２４において、移動装置（例：車両）に装着されたカメラ１１の解像度低下傾向が無いと判定した場合に実行する。

　この場合、移動装置（例：車両）１０の情報処理装置は、ステップＳ１２５において、移動装置（例：車両）に装着されたカメラ１１の解像度低下傾向が無いことを示す検査レポートを生成して出力する。例えば移動装置（例：車両）の表示部にカメラ１１の解像度低下傾向が無いことを示す検査レポートを表示して処理を終了する。

　　（ステップＳ１３１）
　一方、ステップＳ１２４において、移動装置（例：車両）に装着されたカメラ１１の解像度低下傾向があると判定した場合はステップＳ１３１～Ｓ１３２の処理を実行する。

　移動装置（例：車両）１０の情報処理装置は、ステップＳ１３１において、ユーザ（ドライバー）に対する警告を出力する。
　例えば、図１２に示すような警告メッセージを出力する。

　すなわち、以下のような警告メッセージを出力する。
　「撮影画像の解像度が低下傾向にあります。できるだけ早く検査、修理を行ってください。また、自動運転を行う場合は、運転者監視の下、レベル３以下の自動運転を行うことをお勧めします」

　ユーザ（ドライバー）は、このメッセージを見て、カメラで撮影した画像の解像度の低下を認識し、修理を依頼するなどの対応を、遅滞なく実行することが可能となる。

　　（ステップＳ１３２）
　ユーザ（ドライバー）は、ステップＳ１３１において表示部に表示された警告を見て確認する場合、表示部（タッチパネル）に表示された確認アイコンにタッチする。

　移動装置（例：車両）１０の情報処理装置は、ユーザ（ドライバー）による確認アイコンのタッチ処理を検出すると、ユーザによる確認が完了したと判定し処理を終了する。

　　（ステップＳ１４１）
　ステップＳ１４１～Ｓ１４３の処理は、ステップＳ１２３において、ステップＳ１２１で算出したコントラスト指標値である変調伝達関数（ＭＴＦ）の値があらかじめ規定された規格値、すなわち、自動運転を安全に実行するために必要となる規格値以下であると判定した場合に実行する処理である。

　この場合、移動装置（例：車両）１０の情報処理装置は、ステップＳ１４１において、ユーザ（ドライバー）に対する警告を出力する。

　例えば、移動装置（例：車両）１０の表示部に警告情報を表示する。
　図１３に具体的な表示データの例を示す。
　図１３に示すように、移動装置（例：車両）１０のドライバー（運転者）が観察可能な表示部に対して、警告情報を表示する。

　図１３に示す表示情報例は、以下のメッセージを表示した例である。
　「撮影画像の解像度が低下しています。自動運転を行う場合は、運転者監視の下、レベル３以下の自動運転を行ってください。」

　ユーザであるドライバーは、表示部に表示されたメッセージを見て、カメラで撮影した画像の解像度の低下が発生している可能性があることを認識し、自動運転への移行を中止する、あるいは低レベルの自動運転を行い、自動運転中は細心の注意を払うなどの対応を行うことが可能となる。

　　（ステップＳ１４２）
　ユーザ（ドライバー）は、ステップＳ１４１において表示部に表示された警告を見て確認する場合、例えば図１３に示す表示部（タッチパネル）に表示された確認アイコンにタッチする。

　移動装置（例：車両）１０の情報処理装置は、ユーザ（ドライバー）による確認アイコンのタッチ処理を検出すると、ユーザによる確認が完了したと判定し、ステップＳ１４３に進む。

　　（ステップＳ１４３）
　移動装置（例：車両）１０の情報処理装置は、ステップＳ１４３において、現在実行中の自動運転のレベルを低下させる処理を実行する。
　例えば、現在実行中の自動運転のレベルが、レベル５である場合、レベル４の自動運転へ切り替える処理等を実行する。

　なお、低下レベルは、例えば解析されたカメラ解像度の低下レベルに応じて変更する設定としてもよい。
　例えばカメラ解像度の低下レベルが少ない場合は自動運転レベルの低下レベルを１レベルとし、カメラ解像度の低下レベルが大きい場合は自動運転レベルの低下レベルを２～３レベルとする等の処理を行う構成としてもよい。

　ステップＳ１４３において自動運転のレベル低下処理が完了すると一連の処理を終了する。

　なお、ステップＳ１４１において移動装置（例：車両）１０のドライバー（運転者）に提示する警告情報の例について図１３を参照して説明したが、図１３に示す例は一例であり、ドライバー（運転者）に提示する警告情報は、様々な異なるタイプの情報とすることが可能である。

　図１４に異なるタイプの具体的な表示データの例を示す。
　図１４に示す表示情報例は、以下のメッセージを表示した例である。
　「撮影画像の解像度が低下しています。現在、レベル５の自動運転実行中です。以下のいずれに切り替えるかを選択してください。」さらに、以下の選択肢が表示されている。
　〇自動運転をレベル４に切り替える
　〇自動運転を手動運転に切り替える

　ユーザであるドライバーは、表示部に表示されたメッセージを見て、選択肢のいずれかを選択する。
　自動運転を手動運転に切り替えたいと思ったユーザは、例えば、図１５に示すように、下側の選択肢、
　〇自動運転を手動運転に切り替える
　この選択肢を選択する。

　このように、ユーザは、表示部に表示された２つの選択肢からいずれかの選択肢の選択情報を入力することができる。

　なお、図１４や図１５に示す表示データ例は、移動装置（例：車両）１０が現在、自動運転実行中である場合の表示データの例である。
　移動装置（例：車両）１０が現在、自動運転ではなく手動運転実行中である場合には、異なるデータが表示される。

　図１６に移動装置（例：車両）１０が現在、自動運転ではなく手動運転実行中である場合の表示データの例を示す。
　図１６に示す表示情報例は、以下のメッセージを表示した例である。
　「撮影画像の解像度が低下しています。現在、手動運転実行中ですが、自動運転制御システムに異常が発生している可能性があります。自動運転を行う場合は、運転者監視の下、レベル３以下の自動運転を行うことをお勧めします。」

　ユーザであるドライバーは、表示部に表示されたメッセージを見て、カメラで撮影した画像の解像度の低下が発生している可能性があることを認識し、自動運転への移行を中止する、あるいは低レベルの自動運転を行い、自動運転中は細心の注意を払うなどの対応を行うことが可能となる。

　　［４．本開示の移動装置、情報処理装置の構成例について］
　次に、本開示の移動装置、情報処理装置の構成例について説明する。

　図１７は、本開示の移動装置（例：車両）１０に搭載される情報処理システム１００の構成例について説明するブロック図である。

　図１７に示すように情報処理システム１００は、撮像部（カメラ）１０１、画像処理プロセッサ（ＩＳＰ）１０２、画像解析部１０３、解像度算出部１０４、内部メモリ１０５、制御部（ＣＡＮ　ＭＣＵ：車載ネットワーク・マイクロコントローラ・ユニット）１１１、さらに車載ネットワーク（ＣＡＮ）接続構成要素として、雨滴センサー１２１、通信部１２２、センターコンソールＵＩ部１２３を有する。撮像部（カメラ）１０１、画像処理プロセッサ（ＩＳＰ）１０２、画像解析部１０３、解像度算出部１０４、内部メモリ１０５、制御部（ＣＡＮ　ＭＣＵ：車載ネットワーク・マイクロコントローラ・ユニット）１１１、さらに車載ネットワーク（ＣＡＮ）接続構成要素として、雨滴センサー１２１、通信部１２２、センターコンソールＵＩ部１２３それぞれを、一つの装置として構成しても良い。また、撮像部（カメラ）１０１、画像処理プロセッサ（ＩＳＰ）１０２、画像解析部１０３、解像度算出部１０４、内部メモリ１０５、制御部（ＣＡＮ　ＭＣＵ：車載ネットワーク・マイクロコントローラ・ユニット）１１１、さらに車載ネットワーク（ＣＡＮ）接続構成要素として、雨滴センサー１２１、通信部１２２、センターコンソールＵＩ部１２３の任意の組み合わせのものを装置として設けても良い。
また、画像処理プロセッサ（ＩＳＰ）１０２、画像解析部１０３、解像度算出部１０４、内部メモリ１０５、制御部（ＣＡＮ　ＭＣＵ：車載ネットワーク・マイクロコントローラ・ユニット）１１１を一つの装置としても良いし、撮像部（カメラ）１０１、画像処理プロセッサ（ＩＳＰ）１０２、画像解析部１０３、解像度算出部１０４、内部メモリ１０５を一つの装置としてもよい。画像解析部１０３、解像度算出部１０４、内部メモリ１０５、を一つの装置としても良い。

　撮像部（カメラ）１０１は、例えば図１や図３に示す移動装置（例：車両）１０に装着されたカメラ１０に対応する。
　移動装置（例：車両）１０の前方画像を撮影するカメラである。
　カメラ１０１は、移動装置（例：車両）１０が走行中、常時、移動装置（例：車両）１０の前方方向を撮影する。

　撮像部（カメラ）１０１の撮影データであるＲＡＷ画像は、画像処理プロセッサ（ＩＳＰ）１０２に入力される。
　画像処理プロセッサ（ＩＳＰ）１０２は、撮像部（カメラ）１０１の撮影データであるＲＡＷ画像を入力して、ホワイトバランス調整、ガンマ補正等、画像生成のための一般的なカメラ信号処理を実行して撮影画像データを生成する。撮影画像データは、後段の画像解析部、および解像度算出部１０４に入力される。

　なお、解像度算出部１０４に入力される画像は解像度解析用画像である。すなわち、先に図３等を参照して説明した基準線２２の検出タイミングで撮像部（カメラ）１０１によって撮影されたチャート撮影画像である。

　なお、図１７では、チャート撮影画像が画像処理プロセッサ（ＩＳＰ）１０２から解像度算出部１０４に、直接、入力するように示しているが、これはデータの流れを簡略化して示したものである。実際には、基準線２２の検出タイミングにおいて撮像部（カメラ）１０１によって撮影されたチャート撮影画像は、一旦、内部メモリ１０５に格納される。その後、解像度算出部１０４が、内部メモリ１０５に格納された画像を利用して解像度の解析を行う。

　画像解析部１０３は、画像処理プロセッサ（ＩＳＰ）１０２から撮像部（カメラ）１０１の撮影画像データを入力し、撮影画像から、マーカーや基準線の検出を行う。
　先に図３を参照して説明したように、マーカーや基準線は、解像度解析用画像を撮影するタイミングを規定するために道路上に記録された識別マークである。

　マーカーは、その前方に基準線が記録されていることを示すマークである。
　マーカーの前方の基準線の検出タイミングでチャートを撮影し、この撮影画像フレームを解像度解析用画像フレームとして解像度解析処理を行う。
　このような処理を行うことで、一定距離から撮影したチャートの撮影画像を用いた、カメラで撮影した画像の解像度の解析が可能となる。

　画像解析部１０３は、例えば、解像度解析用画像フレームの撮影時間情報を解像度算出部１０４に出力する。
　解像度算出部１０４は、画像解析部１０３から入力した解像度解析用画像フレームの撮影時間情報に基づいて、内部メモリ１９５に格納された撮影画像から、入力した撮影時間情報に一致する時間に撮影された画像を取得し、取得した画像を利用して解像度の解析を行う。

　なお、内部メモリ１０５には、撮像部（カメラ）１０１が撮影し、画像処理プロセッサ（ＩＳＰ）１０２において生成された連続撮影画像（映像データ）を構成する画像が各画像の撮影時間情報とともに記録されている。

　解像度算出部１０４は、画像解析部１０３から入力した解像度解析用画像フレームの撮影時間に一致する時間の撮影画像を内部メモリ１０５から取得し、取得した画像を利用して解像度の解析を行う。
　取得した画像は、図３を参照して説明したチャート２３の撮影画像であり、図３に示す距離Ｌ（＝Ｌ１＋Ｌ２）からチャート２３を撮影した画像である。

　先に図３を参照して説明したように、基準線２２とチャート間の距離はＬ１であり、基準線２２と撮像部（カメラ）１０１（＝図３のカメラ１０）との距離はＬ２である。これらＬ１，Ｌ２はいずれも固定値であり、撮像部（カメラ）１０１（＝図３のカメラ１０）からチャート２３までの距離Ｌは、
　Ｌ＝Ｌ１＋Ｌ２
　となり、固定距離となる。

　従って、基準線２２の検出タイミングで撮影されたチャート２３の画像フレームを選択して、選択した画像フームを解像度解析用画像フレームとして解像度解析を行うことで、一定距離（Ｌ＝Ｌ１＋Ｌ２）から撮影したチャート２３の撮影画像に基く精度の高い解像度算出が可能となる。

　なお、先に図６を参照して説明したようにチャート２３は、様々な種類があるが、先に図７を参照して説明したように、いずれの種類を用いた場合でも、チャート撮影画像は、カメラ解像度に応じてエッジ部の画像が異なるものとなる。すなわち、解像度が低下したカメラの撮影画像は、エッジ部がぼやけた画像となる。

　解像度算出部１０４は、チャート２３を撮影した解像度解析用画像を内部メモリ１０５から取り出して、例えば撮影画像に含まれるチャート画像のエッジ部の輝度分布等を解析し、カメラ１０１の解像度を解析する。

　なお、この解像度解析アルゴリズムは既存の様々なアルゴリズムが適用可能である。
　解像度解析アルゴリズムの一例が例えば、先に図１０、図１１のフローチャートを参照して説明した処理であり、チャート画像のコントラストの指標値である変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を算出し、算出した変調伝達関数（ＭＴＦ）に基づいて撮像部（カメラ）１０１の解像度を算出する処理である。

　図１７に示すように、情報処理システム１００は、制御部（ＣＡＮ　ＭＣＵ：車載ネットワーク・マイクロコントローラ・ユニット）１１１を有し、さらに車載ネットワーク（ＣＡＮ）接続構成要素として、雨滴センサー１２１、通信部１２２、センターコンソールＵＩ部１２３を含んでいる。

　制御部（ＣＡＮ　ＭＣＵ）１１１は、画像解析部１０３や解像度算出部１０４と、車載ネットワーク（ＣＡＮ）間の通信データのプロトコル変換を実行する。

　さらに、制御部（ＣＡＮ　ＭＣＵ）１１１は、例えば解像度算出部１０４が算出したカメラ解像度が予め規定した規格値（しきい値）以下であるか否かを判定し、カメラ解像度が予め規定したしきい値以下である場合、警告を出力する処理等を実行する。
　警告は、車載ネットワーク（ＣＡＮ）接続構成要素として構成されたセンターコンソールＵＩ部１２３に出力される。

　例えば、カメラ解像度が予め規定したしきい値以下である場合、移動装置の自動運転、またはサポート運転を行なう自動運転処理機能の信頼性が低下していることを通知する警告や、移動装置で実行中の自動運転のレベル低下を促す警告を出力する。

　また、制御部（ＣＡＮ　ＭＣＵ）１１１は、カメラ解像度が予め規定したしきい値以下である場合、自動運転のレベル制御を行う。あるいは情報処理システム１００外部の運転制御部にコマンドを出力して自動運転レベル制御を実行させてもよい。例えば、移動装置の自動運転のレベル低下、または手動運転へ切り替え制御を実行、または実行させる。
　例えば先に図１５を参照して説明したように入力部（タッチディスプレイ型のＵＩ）を介したユーザ入力に基づいて、移動装置の自動運転のレベル低下、または手動運転へ切り替え制御を実行する。

　車載ネットワーク（ＣＡＮ）接続構成要素として構成された雨滴センサー１２１は、例えば、移動装置（例：車両）の屋根に取り付けられたセンサーであり、降雨状態を検出する。
　雨滴センサー１２１の検出情報、すなわち雨が降っているか否かの情報は、制御部（ＣＡＮ　ＭＣＵ）１１１を介して画像解析部１０３や、解像度算出部１０４に通知される。

　先に図１０、図１１に示すフローチャートを参照して説明したように、雨が降っている場合は視界が悪く、チャート撮影画像に基く解像度解析処理を高精度に実行することができないため、解像度解析を中止する。

　また、解像度算出部１０４において算出された解像度情報は、制御部（ＣＡＮ　ＭＣＵ：車載ネットワーク・マイクロコントローラ・ユニット）１１１を介して、車載ネットワーク（ＣＡＮ）接続構成要素として構成された通信部１２２を介して管理サーバ２１０に送信される。

　なお、解像度情報を、外部の管理サーバ２１０に送信する際には、解像度とともに、移動装置（例：車両）１０または情報処理装置の識別子（ＩＤ）、さらに、解像度の算出タイミング（日時）も併せて送信する。

　管理サーバ２１０は、各車両から解像度の値を受信して、各移動装置単位の解像度履歴データを生成してサーバ内のデータベースに記録する。
　管理サーバ２１０は、この履歴データを参照して、各移動装置に装着されたカメラで撮影した画像の解像度の低下傾向を解析し、例えば解像度が自動運転に必要な許容レベルに低下しているような場合、その移動装置に対して警告を送信するといった処理を行う。

　また、解像度算出部１０４において算出された解像度情報に基づく警告情報が、制御部（ＣＡＮ　ＭＣＵ：車載ネットワーク・マイクロコントローラ・ユニット）１１１を介して、車載ネットワーク（ＣＡＮ）接続構成要素として構成されたセンターコンソールＵＩ部１２３に出力される。
　これは、例えば先に図８、図９や、図１２～図１６を参照して説明した警告情報の出力処理である。

　なお、図１７に示す情報処理システム１００の制御部（ＣＡＮ　ＭＣＵ）１１１は、前述したように、自ら自動運転レベルの制御を行う構成としてもよいが、情報処理システム１００外部の運転制御部とＣＡＮを介した通信を行って運転制御部に対して自動運転制御や、サポート運転の制御コマンドを出力する構成としてもよい。
　例えば、情報処理システム１００の生成した解像度情報が運転制御部に出力されると、運転制御部は、自動運転レベルの設定や手動運転への切り替え制御を実行する。
　また、運転制御部を制御部（ＣＡＮ　ＭＣＵ）１１１と別構成として情報処理システム１００内部に構成してもよい。

　　［５．各移動装置からの解像度解析結果を収集して解析するサーバを有する情報処理システム構成例について］
　次に、各移動装置からの解像度解析結果を収集して解析するサーバを有する情報処理システム構成例について説明する。

　例えば、ある車載カメラメーカーの提供する車載カメラを搭載した複数の移動装置（例：車両）が、上述した処理、すなわち道路上のチャートを撮影して、撮影画像に基づく解像度解析を行うと、ある１つの車載カメラに対応する多数の解像度解析結果が得られることになる。

　このようなデータは、例えば車載カメラの性能や弱点、さらに経年劣化等を解析するために有用なデータとなる。
　例えば図１８に示すように、多数の移動装置１０ａ～ｎと、車載カメラメーカーの管理サーバ２１０を通信ネットワーク１５１で結んだ情報処理システム２００を構築する。

　移動装置（例：車両）１０ａ～ｎ各々は、各移動装置（例：車両）において実行した解像度解析の結果を、遂次、管理サーバ２１０に送信する。
　管理サーバ２１０は、各移動装置（例：車両）１０ａ～ｎから受信する解像度解析結果を検証する。これらの検証処理により、例えば、車載カメラの経年劣化や弱点などを高精度に解析することが可能となり、新たな商品開発に生かすことができる。

　　［６．本開示の情報処理装置のハードウェア構成例について］
　次に、本開示の情報処理装置の具体的なハードウェア構成例について、図１９を参照して説明する。

　図１９は、先に図１７を参照して説明した本開示の情報処理システム１００のハードウェア構成の一例を示す図である。
　以下、図１９に示すハードウェア構成の各構成要素について説明する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、カメラ等のセンサー、ＧＰＳ等の状況データ取得部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
　なお、入力部３０６には、カメラ等のセンサー３２１からの入力情報も入力される。
　また、出力部３０７は、移動装置の駆動部３２２に対する駆動情報も出力する。

　ＣＰＵ３０１は、入力部３０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　カメラの撮影画像が入力されて入力画像の解析を行なう画像解析部と、
　前記撮影画像の解像度を算出する解像度算出部を有し、
　前記画像解析部は、
　前記カメラの撮影画像から基準線を所定の位置で検出したタイミングの撮影画像を解像度解析用画像として選択し、
　前記解像度算出部は、
　前記画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出する情報処理装置。

　（２）　前記基準線は、前記移動装置が走行する道路に設置された解像度解析用チャートから一定距離、離間した道路上に記録された基準線であり、
　前記画像解析部は、
　前記移動装置に装着されたカメラによって前記基準線が撮影される位置で撮影した画像を解像度解析用画像として選択する（１）に記載の情報処理装置。

　（３）　前記画像解析部は、
　前記カメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択して記憶部に格納し、
　前記解像度算出部は、
　前記記憶部に格納された解像度解析用画像を取得し、取得した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出する（１）または（２）に記載の情報処理装置。

　（４）　前記情報処理装置は、さらに、
　前記解像度算出部が算出した撮影画像の解像度を入力する制御部を有し、
　前記制御部は、
　前記解像度算出部が算出した撮影画像の解像度が予め規定したしきい値以下であるか否かを判定し、
　撮影画像の解像度が予め規定したしきい値以下である場合、警告を出力する（１）～（３）いずれかに記載の情報処理装置。

　（５）　前記制御部は、
　撮影画像の解像度が予め規定したしきい値以下である場合、前記移動装置の自動運転、またはサポート運転を行なう自動運転処理機能の信頼性が低下していることを通知する警告を出力する（４）に記載の情報処理装置。

　（６）　前記制御部は、
　撮影画像の解像度が予め規定したしきい値以下である場合、前記移動装置で実行中の自動運転のレベル低下を促す警告を出力する（４）または（５）に記載の情報処理装置。

　（７）　前記情報処理装置は、さらに、
　前記解像度算出部が算出した撮影画像の解像度を入力する制御部を有し、
　前記制御部は、
　前記解像度算出部が算出した撮影画像の解像度が予め規定したしきい値以下であるか否かを判定し、
　撮影画像の解像度が予め規定したしきい値以下である場合、
　前記移動装置の自動運転のレベル制御を実行する（１）～（６）いずれかに記載の情報処理装置。

　（８）　前記制御部は、
　撮影画像の解像度が予め規定したしきい値以下である場合、
　前記移動装置の自動運転のレベル低下、または手動運転へ切り替え制御を実行する（７）に記載の情報処理装置。

　（９）　前記制御部は、
　入力部を介したユーザ入力に基づいて、前記移動装置の自動運転のレベル低下、または手動運転へ切り替え制御を実行する（８）に記載の情報処理装置。

　（１０）　移動装置と、管理サーバを有する情報処理システムであり、
　前記移動装置は、
　前記移動装置に装着されたカメラの撮影画像を入力して入力画像の解析を行なう画像解析部と、
　前記カメラの解像度を算出する解像度算出部と、
　通信部を有し、
　前記画像解析部は、
　前記カメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択し、
　前記解像度算出部は、
　前記画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出して前記通信部を介して算出した解像度を前記管理サーバに送信し、
　前記管理サーバは、
　複数の移動装置から受信する複数の解像度データの解析を実行する情報処理システム。

　（１１）　移動装置に搭載された情報処理装置において実行する情報処理方法であり、
　画像解析部が、
　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する画像解析ステップと、
　解像度算出部が、
　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出する撮影画像解像度算出ステップを実行する情報処理方法。

　（１２）　移動装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記移動装置の画像解析部が、
　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する画像解析ステップと、
　前記移動装置の解像度算出部が、
　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出して、算出した解像度を前記管理サーバに送信する解像度算出、送信ステップを実行し、
　前記管理サーバが、
　複数の移動装置から受信する複数の解像度データの解析を実行する情報処理方法。

　（１３）　移動装置に搭載された情報処理装置において情報処理を実行させるプログラムであり、
　前記プログラムは、画像解析部に、
　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択させる画像解析ステップと、
　解像度算出部に、
　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出させる撮影画像解像度算出ステップを実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、道路に設置されたチャートを一定距離から撮影し、撮影画像を解析してカメラで撮影した画像の解像度を算出し、算出結果に応じて警告出力、自動運転レベル低下処理を実行する構成が実現される。
　具体的には、例えば、画像解析部が、カメラ撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する。解像度算出部が、画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、カメラで撮影した画像の解像度を算出する。基準線は、移動装置が走行する道路に設置された解像度解析用チャートから一定距離、離間した道路上に記録されており、チャートを一定距離から撮影した画像に基く高精度なカメラの解像度算出が可能となる。
　本構成により、道路に設置されたチャートを一定距離から撮影し、撮影画像を解析してカメラ解像度を算出し、算出結果に応じて警告出力、自動運転レベル低下処理を実行する構成が実現される。

　　１０　移動装置（例：車両）
　　１１　カメラ
　　２１　マーカー
　　２２　基準線
　　２３　チャート
　１００　情報処理システム
　１０１　撮像部（カメラ）
　１０２　画像処理プロセッサ（ＩＳＰ）
　１０３　画像解析部
　１０４　解像度算出部
　１０５　内部メモリ
　１１１　制御部（ＣＡＮ　ＭＣＵ）
　１２１　雨滴センサー部
　１２２　通信部
　１２３　センターコンソールＵＩ部
　２００　情報処理システム
　２１０　管理サーバ
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア
　３２１　センサー
　３２２　駆動部

Claims (13)

1. 　カメラの撮影画像が入力されて入力画像の解析を行なう画像解析部と、
   　前記撮影画像の解像度を算出する解像度算出部を有し、
   　前記画像解析部は、
   　前記カメラの撮影画像から基準線を所定の位置で検出したタイミングの撮影画像を解像度解析用画像として選択し、
   　前記解像度算出部は、
   　前記画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出する情報処理装置。
2. 　前記基準線は、前記移動装置が走行する道路に設置された解像度解析用チャートから一定距離、離間した道路上に記録された基準線であり、
   　前記画像解析部は、
   　前記移動装置に装着されたカメラによって前記基準線が撮影される位置で撮影した画像を解像度解析用画像として選択する請求項１に記載の情報処理装置。
3. 　前記画像解析部は、
   　前記カメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択して記憶部に格納し、
   　前記解像度算出部は、
   　前記記憶部に格納された解像度解析用画像を取得し、取得した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出する請求項１に記載の情報処理装置。
4. 　前記情報処理装置は、さらに、
   　前記解像度算出部が算出した撮影画像の解像度を入力する制御部を有し、
   　前記制御部は、
   　前記解像度算出部が算出した撮影画像の解像度が予め規定したしきい値以下であるか否かを判定し、
   　撮影画像の解像度が予め規定したしきい値以下である場合、警告を出力する請求項１に記載の情報処理装置。
5. 　前記制御部は、
   　撮影画像の解像度が予め規定したしきい値以下である場合、前記移動装置の自動運転、またはサポート運転を行なう自動運転処理機能の信頼性が低下していることを通知する警告を出力する請求項４に記載の情報処理装置。
6. 　前記制御部は、
   　撮影画像の解像度が予め規定したしきい値以下である場合、前記移動装置で実行中の自動運転のレベル低下を促す警告を出力する請求項４に記載の情報処理装置。
7. 　前記情報処理装置は、さらに、
   　前記解像度算出部が算出した撮影画像の解像度を入力する制御部を有し、
   　前記制御部は、
   　前記解像度算出部が算出した撮影画像の解像度が予め規定したしきい値以下であるか否かを判定し、
   　撮影画像の解像度が予め規定したしきい値以下である場合、
   　前記移動装置の自動運転のレベル制御を実行する請求項１に記載の情報処理装置。
8. 　前記制御部は、
   　撮影画像の解像度が予め規定したしきい値以下である場合、
   　前記移動装置の自動運転のレベル低下、または手動運転へ切り替え制御を実行する請求項７に記載の情報処理装置。
9. 　前記制御部は、
   　入力部を介したユーザ入力に基づいて、前記移動装置の自動運転のレベル低下、または手動運転へ切り替え制御を実行する請求項８に記載の情報処理装置。
10. 　移動装置と、管理サーバを有する情報処理システムであり、
    　前記移動装置は、
    　前記移動装置に装着されたカメラの撮影画像を入力して入力画像の解析を行なう画像解析部と、
    　前記カメラの解像度を算出する解像度算出部と、
    　通信部を有し、
    　前記画像解析部は、
    　前記カメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択し、
    　前記解像度算出部は、
    　前記画像解析部が選択した解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出して前記通信部を介して算出した解像度を前記管理サーバに送信し、
    　前記管理サーバは、
    　複数の移動装置から受信する複数の解像度データの解析を実行する情報処理システム。
11. 　移動装置に搭載された情報処理装置において実行する情報処理方法であり、
    　画像解析部が、
    　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する画像解析ステップと、
    　解像度算出部が、
    　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出する撮影画像解像度算出ステップを実行する情報処理方法。
12. 　移動装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
    　前記移動装置の画像解析部が、
    　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択する画像解析ステップと、
    　前記移動装置の解像度算出部が、
    　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出して、算出した解像度を前記管理サーバに送信する解像度算出、送信ステップを実行し、
    　前記管理サーバが、
    　複数の移動装置から受信する複数の解像度データの解析を実行する情報処理方法。
13. 　移動装置に搭載された情報処理装置において情報処理を実行させるプログラムであり、
    　前記プログラムは、画像解析部に、
    　前記移動装置に装着されたカメラの撮影画像から基準線を検出したタイミングの撮影画像を解像度解析用画像として選択させる画像解析ステップと、
    　解像度算出部に、
    　前記画像解析ステップにおいて選択された解像度解析用画像に含まれる解像度解析用チャート画像を利用して、前記撮影画像の解像度を算出させる撮影画像解像度算出ステップを実行させるプログラム。

Images