JP7441839B2 - 異常検出装置と異常検出方法およびプログラムと情報処理システム - Google Patents

Description

この技術は、異常検出装置と異常検出方法およびプログラムと情報処理システムに関し、精度よくフォーカスの異常を検出できるようにする。

従来、自動車などの移動体を用いた情報処理システムは、移動体に搭載して移動体前方等の撮像を行い、得られた撮像画像を処理解析して、障害物の認識等を行っている。このようなシステムは、撮像装置が正常に動作しないと、正しく障害物の認識等を行うことができない。このため、例えば特許文献１は、撮像装置で取得したステレオ画像データから視差画像データを生成して、視差画像データに基づき撮像装置が異常であるか否かの判断が行われている。

特開２０１４－００６２４３号公報

ところで、視差画像データに基づき異常であるか否かの判断を行う場合、撮像装置はステレオ画像データを生成しなければならないことから、１つの視点の画像データを生成する撮像装置は異常を検出することができない。

そこで、この技術は精度よくフォーカスの異常を検出できる異常検出装置と異常検出方法およびプログラムと情報処理システムを提供することを目的とする。

この技術の第１の側面は、
有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を用いて、前記撮像画のケラレ領域の変化に基づきフォーカスの異常を検出する検出部
を備える異常検出装置にある。

この技術においては、有効像円がイメージセンサの撮像面より小さいレンズを用いた撮像部で取得された撮像画からケラレ領域が検出されて、基準時におけるケラレ領域に対するフォーカス異常検出処理時におけるケラレ領域の変化に基づきフォーカスの異常が検出される。例えば、検出部は、撮像画の四隅毎にケラレ領域の領域サイズの変化を検出して、四隅の何れかで領域サイズの変化がケラレ判定閾値を超える場合にフォーカスの異常を検出したと判断する。また、検出部は、撮像画の鮮鋭度を検出して、検出した鮮鋭度が予め設定した鮮鋭度閾値よりも低下している場合にフォーカスの異常を検出したと判断する。なお、検出部は、フォーカスの異常を検出したときにおけるケラレ領域の変化に基づき、フォーカスの異常の原因を判別してもよい。

また、異常検出装置は、イメージセンサで撮像される被写体の照明を行う光源部をさらに備えてもよく、イメージセンサが搭載された車両の動作制御を行う動作制御部をさらに備えてもよい。動作制御部は、検出部でフォーカスの異常が検出されたとき、車両の運転支援機能を停止してもよく、動作制御部でイメージセンサが搭載された車両の自動運転制御機能を実行する場合、検出部は動作制御部で車両の自動運転を開始する前にフォーカス異常検出処理を行い、動作制御部は、検出部でフォーカスの異常が検出されたとき自動運転制御機能を停止して手動運転に切り替える。

この技術の第２の側面は、
有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を用いて、前記撮像画のケラレ領域の変化に基づきフォーカスの異常を検出部で検出すること
を含む異常検出方法にある。

この技術の第３の側面は、
フォーカスの異常の検出をコンピュータで実行させるプログラムであって、
有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を取得する手順と、
前記取得した撮像画のケラレ領域に基づきフォーカスの異常を検出する手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
異常検出装置と前記異常検出装置の検出結果を用いるサーバを有する情報処理システムであって、
前記異常検出装置は、
有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を用いて、前記撮像画のケラレ領域の変化に基づきフォーカスの異常を検出する検出部を有し、
前記サーバは、
前記検出部のフォーカス異常検出結果を利用してユーザ通知情報を生成する通知情報生成部を有する
情報処理システムにある。

移動体を用いた情報処理システムの構成を例示した図である。 制御システムの概略的な機能構成を例示した図である。 検出部の構成の一部を示した図である。 焦点からのずれ量と画角の関係を例示した図である。 撮像部の基準時の状態を例示した図である。 検出部の動作を例示したフローチャートである。 検出部の他の動作を例示したフローチャートである。 撮像部が基準時の状態から変化を生じている場合を例示した図である。 撮像部が基準時の状態から変化を生じている他の場合を例示した図である。 撮像部でレンズの光軸ずれを生じた場合を例示した図である。 イメージセンサの角が変形した場合を示した図である。 照明光を用いていない場合と照明光を用いた場合を例示した図である。 撮像面を垂直方向および水平方向にそれぞれ区分した場合を例示した図である。 車両前方を撮像する撮像装置にフォーカス異常の検出等の機能を設けた場合を例示した図である。 車両後方や車両側方を撮像する撮像装置にフォーカス異常の検出等の機能を設けた場合を例示した図である。 サーバの構成を例示した図である。 サーバの動作を例示したフローチャートである。 サーバの他の構成を例示した図である。 サーバの他の動作を例示したフローチャートである。 サーバの他の一部の構成を例示した図である。 サーバの他の一部の動作を例示したフローチャートである。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．実施の形態
１－１．車両の構成
１－２．車両の動作
１－３．変形例
１－４．サーバの構成と動作
１－５．サーバの他の構成と動作
２．応用例

＜１．実施の形態＞
図１は、本技術が適用され得る移動体を用いた情報処理システムの構成を例示している。情報処理システム１０は、移動体例えば車両２０が１または複数台設けられており、各車両２０とサーバ３０はネットワーク４０を介して接続されている。車両２０には本技術の異常検出装置が設けられており、異常検出装置は、有効像円がイメージセンサの撮像面より小さいレンズを用いてイメージセンサで取得された撮像画を用いて、撮像画のケラレ領域の変化に基づきフォーカスの異常を検出する。また、サーバ３０は、車両２０から取得したフォーカス異常検出結果を利用してユーザ通知情報を生成する。

＜１－１．車両の構成＞
次に、車両２０の構成について説明する。車両２０は、撮像部を有しており、撮像部で取得された撮像画像を利用して運転支援機能あるいは自動運転制御機能を実行する。また、車両２０は、撮像部におけるフォーカスの異常を検出して、フォーカス異常検出結果を車両の搭乗者や運転制御部等に通知する。また、車両２０は、フォーカス異常検出結果や車両等の識別情報を少なくとも含むログ情報をサーバ３０へ通知する。サーバ３０は、車両２０から通知されたログ情報に基づきユーザ通知情報を生成して、車両２０の管理者等へ通知するサービス等を行う。

図２は、車両における制御システムの概略的な機能構成を例示した図である。車両２０の制御システム２００は、入力部２０１、データ取得部２０２、通信部２０３、車内機器２０４、出力制御部２０５、出力部２０６、駆動系制御部２０７、駆動系システム２０８、ボディ系制御部２０９、ボディ系システム２１０、記憶部２１１、及び、自動運転制御部２１３を備える。入力部２０１、データ取得部２０２、通信部２０３、出力制御部２０５、駆動系制御部２０７、ボディ系制御部２０９、記憶部２１１、及び、自動運転制御部２１３は、通信ネットワーク２１２を介して相互に接続されている。なお、制御システム２００の各部は、通信ネットワーク２１２を介さずに、直接接続される場合もある。

なお、以下、制御システム２００の各部が、通信ネットワーク２１２を介して通信を行う場合、通信ネットワーク２１２の記載を省略するものとする。例えば、入力部２０１と自動運転制御部２１３が、通信ネットワーク２１２を介して通信を行う場合、単に入力部２０１と自動運転制御部２１３が通信を行うと記載する。

入力部２０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部２０１は、タッチパネル、ボタン、スイッチ等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部２０１は、赤外線若しく電波等を利用したリモートコントロール装置や制御システム２００の操作に対応した外部接続機器であってもよい。入力部２０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、制御システム２００の各部に供給する。

データ取得部２０２は、制御システム２００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、制御システム２００の各部に供給する。データ取得部２０２は、車外状況を把握するための撮像部５００を備えている。撮像部５００は、有効像円がイメージセンサの撮像面より小さいレンズを用いて撮像画を取得する。また、データ取得部２０２は、車外状況を検出するために、例えば、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備えてもよい。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

また、データ取得部２０２は、自車の状態等を検出するためのセンサ等を備えている。例えば、データ取得部２０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。さらに、データ取得部２０２は、自車の現在位置を検出するための各種のセンサを備えている。例えば、データ取得部２０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、データ取得部２０２は、車内の情報を検出するための各種のセンサを備えてもよい。例えば、データ取得部２０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部２０３は、車内機器２０４、並びに、サーバ３０等の車外機器等と通信を行い、制御システム２００の各部から供給されるデータを送信したり、受信したデータを制御システム２００の各部に供給したりする。なお、通信部２０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部２０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部２０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器２０４と無線通信を行う。また、例えば、通信部２０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器２０４と有線通信を行う。

また、通信部２０３は、ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）を介してサーバ３０との通信を行う。さらに、通信部２０３は、自車の近傍に存在する端末や無線局等との通信や、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等を行うようにしてもよい。

車内機器２０４は、例えば、搭乗者が有する機器、車内に設けられた情報機器、及び経路探索を行うナビゲーション装置等を含む。

出力制御部２０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部２０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部２０６に供給することにより、出力部２０６からの視覚情報及び聴覚情報の出力を制御する。例えば、出力制御部２０５は、俯瞰画像又はパノラマ画像等を含む出力信号を出力部２０６に供給する。また、出力制御部２０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データ等を含む出力信号を出力部２０６に供給する。

出力部２０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部２０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、ウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部２０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部２０７は、各種の制御信号を生成し、駆動系システム２０８に供給することにより、駆動系システム２０８の制御を行う。また、駆動系制御部２０７は、必要に応じて、駆動系システム２０８以外の各部に制御信号を供給し、駆動系システム２０８の制御状態の通知等を行う。

駆動系システム２０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム２０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部２０９は、各種の制御信号を生成し、ボディ系システム２１０に供給することにより、ボディ系システム２１０の制御を行う。また、ボディ系制御部２０９は、必要に応じて、ボディ系システム２１０以外の各部に制御信号を供給し、ボディ系システム２１０の制御状態の通知等を行う。

ボディ系システム２１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム２１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部２１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部２１１は、制御システム２００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部２１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

また、記憶部２１１は、制御システム２００が設けられた車両２０のログ情報を記憶する。ログ情報は、車両２０の識別情報（例えば車台番号や車両番号、初期登録年（最初のユーザが使い始めた年等）、データ取得部２０２に設けられている撮像部５００の識別情報（例えば部品番号やシリアル番号等）、撮像部５００の使用開始年、撮像部５００におけるフォーカス異常検出結果と異常を検出した時刻や位置および異常検出時の撮像画等を含む。また、ログ情報は、フォーカス異常の原因を含んでいてもよい。また、ログ情報は、車両２０の管理者等の情報、フォーカスの異常の原因の判別結果等を含んでもよい。さらに、ログ情報は、車外や車内の環境情報（例えば車両２０の使用時の車内温度や車外温度，天候等）、車両の利用状況情報（走行距離や利用開始時刻および利用終了時刻等）、各部の故障状況情報（例えば故障の発生状況や修理状況等）等を含んでもよい。撮像部５００で撮像された画像の鮮鋭度を判定する際に使われる閾値（鮮鋭度閾値）や、ケラレの変化を判定する際に使われる閾値（ケラレ判定閾値）を、ログ情報は含んでもよい。なお、ログ情報は、後述する検出部２２１で検出された情報や判断結果等や、それらを用いて算出された情報を含んでも良い。また、ログ情報は、異常状態を運転者や車両の乗員に通知した履歴を含んでもよく、事故情報（例えば事故の種類，被害状況等）を含んでもよい。

自動運転制御部２１３は、自動運転制御機能あるいは運転支援機能等を実行する。自動運転制御部２１３は、例えば自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。また、自動運転制御部２１３は、自動運転制御機能に替えて運転支援機能を実行してもよい。自動運転制御部２１３は、検出部２２１、自己位置推定部２２２、状況分析部２２３、計画部２２４、及び、動作制御部２２５を備える。

自動運転制御部２１３は、自動運転機能制御や運転支援機能を実行する際、自動運転レベル制御情報に基づいて、自動運転機能制御や運転支援機能を実行して良いかどうかの可否判断を行う。実行してよい場合は、自動運転制御部２１３は、これらの機能を実行する。実行してはいけない機能がある場合、自動運転制御部２１３は、実行してはいけない機能を実行しない。自動運転レベル制御情報は予め設定しておいてもよいし、車外のサーバ等から受信したものを用いてもよい。

検出部２２１は、自動運転の制御に必要な各種の情報の検出を行う。検出部２２１は、制御システム２００の各部からのデータ又は信号に基づいて、自車の外部の情報や周囲の環境の検出処理を行う。検出部２２１は、自車の外部の情報の検出処理として、他車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等の認識処理や追跡処理、並びに距離の検出処理等を行い、周囲の環境の検出処理として、天候、気温、湿度、明るさ、及び、路面の状態の検出処理等を行う。

また、検出部２２１は、制御システム２００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。検出部２２１は、車内の情報の検出処理として、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出部２２１は、運転者の状態の検出処理において、体調、覚醒度、集中度、疲労度、視線方向等を検出して、車内の環境の検出処理において、気温、湿度、明るさ、臭い等を検出する。

また、検出部２２１は、制御システム２００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出部２２１は、自車の状態の検出処理として、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等を検出する。

さらに、検出部２２１は、データ取得部２０２に設けられた撮像部５００についてフォーカスの異常検出処理を行う。なお、フォーカスの異常検出処理の詳細については後述する。

検出部２２１は、フォーカス異常検出結果を示すデータを自己位置推定部２２２、状況分析部２２３、動作制御部２２５等に供給する。また、検出部２２１は、フォーカス異常検出結果に関する情報や、制御システム２００の各部からのデータ又は信号に基づいて各種検出処理を行うことにより得られた検出結果を記憶部２１１に記憶させる。

自己位置推定部２２２は、検出部２２１や後述する状況分析部２２３等からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行い、推定結果を示すデータを状況分析部２２３に供給する。

状況分析部２２３は、自車及び周囲の状況の分析処理を行う。状況分析部２２３は、検出部２２１および自己位置推定部２２２等の制御システム２００の各部からのデータ又は信号を必要に応じて用いながら、記憶部２１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。

状況分析部２２３は、構築したマップと検出部２２１および自己位置推定部２２２等の制御システム２００の各部からのデータ又は信号に基づいて、例えば自車の周囲の信号機の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等の交通ルールに関する認識処理を行う。

また、状況分析部２２３は、検出部２２１、自己位置推定部２２２等の制御システム２００の各部からのデータ又は信号および構築したマップ等に基づいて、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。状況分析部２２３は、自車の状況の認識処理として、例えば自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等の認識処理を行う。また、状況分析部２２３は、自車の周囲の状況の認識処理として、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等の認識処理を行う。さらに、状況分析部２２３は、自車の運転者の状況等の認識処理として、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等の認識処理を行う。

また、状況分析部２２３は、交通ルールに関する認識処理結果や自車の状況、自車の周囲の状況、自車の運転者の状況等の認識処理結果に基づき、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。状況分析部２２３は、自車の状況の予測処理として、例えば自車の挙動、異常の発生、及び、走行可能距離等の予測処理を行い、自車の周囲の状況の予測処理として、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等の予測処理を行う。また、状況分析部２２３は、運転者の状況の予測処理として、例えば運転者の挙動及び体調等の予測処理を行う。状況分析部２２３は、構築したマップや認識処理および予測処理の結果を示すデータを計画部２２４に供給する。

計画部２２４は、状況分析部２２３等の制御システム２００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。計画部２２４は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを、例えば渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等を考慮して計画する。また、計画部２２４は、計画したルートを計画された時間内で安全に走行するため、例えば発進、停止、進行方向、走行車線、走行速度、及び、追い越し等の行動を計画する。さらに、計画部２２４は、計画した行動を実現するための自車の動作、例えば加速、減速、及び、走行軌道等の計画を行う。計画部２２４は、計画した自車の動作を示すデータを、動作制御部２２５に供給する。

動作制御部２２５は、自車の動作の制御を行う。動作制御部２２５は、計画部２２４で計画された自車の動作、例えば加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値、および目的地への走行や車線変更等を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部２０７に供給する。また、動作制御部２２５は、検出部２２１の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行い、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画して、計画した動作を自車で行う制御指令を駆動系制御部２０７に供給する。また、動作制御部２２５は、検出部２２１でフォーカスが異常であると判断されたとき、運転支援機能や自動運転制御機能を停止して手動運転への切り替えを行うようにしてもよい。

図３は、検出部の構成の一部を示している。検出部２２１は、データ取得部２０２に設けられている撮像部５００のフォーカスの異常を検出する異常検出部２２１０を有している。異常検出部２２１０は、信号処理部２２１１とケラレ量算出部２２１２、および判断部２２１４を有している。また、異常検出部２２１０は、フェイルセーフ検出部２２１３をさらに有してもよい。

信号処理部２２１１は、データ取得部２０２の撮像部５００で生成された画像信号に対して、ケラレ量の算出を精度よく行うことができるように信号処理を行う。例えば、画像信号の信号レベルが小さいと、ケラレ領域の境界が不明瞭となり、ケラレ量を精度よく算出することができない。したがって、信号処理部２２１１は、ケラレ量を精度よく算出できるように撮像部５００で生成された画像信号の信号レベルを調整する。また、信号処理部２２１１は、ケラレ量がノイズによる影響を受けることがないように、画像信号のノイズ除去を行ってもよい。信号処理部２２１１は、処理後の画像信号をケラレ量算出部２２１２とフェイルセーフ検出部２２１３へ出力する。

ケラレ量算出部２２１２は、信号処理部２２１１から供給された画像信号からケラレ領域を判別して、ケラレ領域の領域サイズをケラレ量として算出する。ケラレ領域は、例えば四隅毎に、隅から予め設定した領域閾値よりも信号レベルが小さい連続する画素領域として、ケラレ領域の面積（あるいは画素数）をケラレ量とする。ケラレ量算出部２２１２は算出したケラレ量を判断部２２１４へ出力する。

フェイルセーフ検出部２２１３は、信号処理部２２１１から供給された画像信号に基づきフェイルセーフ動作を行うか検出する。例えば、データ取得部２０２の撮像部５００でフォーカス異常等によって撮像画の鮮鋭度が低下すると周辺の被写体の判別等が困難となる。そこで、フェイルセーフ検出部２２１３は、信号処理部２２１１から供給された画像信号に基づき鮮鋭度を検出して、鮮鋭度が予め設定した鮮鋭度閾値よりも低い場合（画像がぼやけている場合）は、信号処理部２２１１から供給された画像信号に基づいた運転支援機能あるいは自動運転制御機能等を行わないように、警告あるいは動作制御を行う。鮮鋭度は、例えば信号処理部２２１１から供給された画像信号に対して高周波成分とエッジ領域の抽出を行い、所定のエッジ領域サイズにおける高周波成分の強度とする。なお、鮮鋭度の算出は他の手法を用いてもよい。フェイルセーフ検出部２２１３は、鮮鋭度と予め設定した鮮鋭度閾値との比較結果をフェイルセーフ検出結果として判断部２２１４へ出力する。なお、鮮鋭度閾値は、車外のサーバから送信された閾値を用いてもよい。

判断部２２１４は、ケラレ量算出部２２１２で算出されたケラレ量に基づき、データ取得部２０２の撮像部５００が正常であるか判断する。判断部２２１４は、ケラレ量算出部２２１２で算出されたケラレ量が基準時（例えば製造工程における調芯時や最初の使用開始時、あるいは修理完了時等）のケラレ量に対してフォーカス異常検出処理時におけるケラレ量の変化がケラレ判定閾値を超えていないとき撮像部５００は正常であると判断して、ケラレ判定閾値を超えたとき撮像部５００は異常であると判断する。例えば判断部２２１４は、撮像画における四隅毎の何れかでケラレ量の変化がケラレ判定閾値を超える場合にフォーカスの異常を検出したと判断する。ケラレ量の変化を判定するためのケラレ判定閾値は、予め設定されている。なお、ケラレ判定閾値は、車外のサーバから送信された閾値を用いてもよい。

また、判断部２２１４は、フェイルセーフ検出部２２１３をさらに有している場合、ケラレ量だけでなく、フェイルセーフ検出部２２１３の検出結果を用いて、データ取得部２０２の撮像部５００が正常であるか判断する。判断部２２１４は、フェイルセーフ検出部２２１３の検出結果によって鮮鋭度が予め設定した鮮鋭度閾値よりも低いことが示された場合、ケラレ量に係らず撮像部５００は異常であると判断する。判断部２２１４は、判断結果を動作制御部２２５へ出力する。なお、判断部２２１４は、ケラレ量の変化に基づき異常の原因を判別してもよい。

判断部２２１４は、フォーカスずれが正常範囲ないか異常か判断し、その判断結果を出力する。判断結果は、鮮鋭度に基づく判断か、ケラレ量に基づく判断かを示す情報を含んでいても良いし、また、鮮鋭度の値や鮮鋭度閾値や、各ケラレ量の値やケラレ量の閾値を含んでいても良い。

＜１－２．車両の動作＞
図４は、焦点からのずれ量と画角の関係を例示している。撮像部は、レンズとイメージセンサの間隔が長くなると画角が広くなり、短くなると画角が狭くなる性質がある。また焦点から離れれば離れるほど、解像度は失われ空間解像度（ＭＴＦ）が低下する。したがって、本技術はフォーカスの異常を画角の変化に基づいて検出する。具体的には、データ取得部２０２に用いる撮像部５００は、イメージセンサのサイズに対して有効像円が小さなレンズを用いて、イメージセンサの撮像面の周辺にケラレ領域を生じさせる。また、検出部は、ケラレ領域（ケラレ量）の変化に基づきフォーカスの異常を判断する。

図５は、撮像部の基準時の状態を例示している。図５の（ａ）は、データ取得部２０２に設けられた撮像部５００の構成を例示している。撮像部５００はレンズ５０１と、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）あるいはＣＣＤ（Charge Coupled Device）等のイメージセンサ５０２を有している。レンズ５０１はレンズホルダ５０３に固定して設けられており、イメージセンサ５０２はベース部５０４に固定して設けられている。レンズホルダ５０３は固定部材５０５を用いてベース部５０４に固定されている。

図５の（ｂ）は、レンズ５０１とイメージセンサ５０２の位置関係を示しており、イメージセンサ５０２は、レンズ５０１の焦点位置に設けられている。図５の（ｃ）は、有効像円ＩＭＣ（Image circle）とイメージセンサの位置関係を示している。例えばレンズ５０１の光軸位置はイメージセンサ５０２における撮像面５０２ａの中央位置とされており、有効像円ＩＭＣは撮像面５０２ａに対して小さく、撮像面５０２ａの四隅にケラレ領域が生じている。なお、基準時における右上のケラレ領域を領域サイズＳru-s、左上のケラレ領域を領域サイズＳlu-s、右下のケラレ領域を領域サイズＳrd-s、左下のケラレ領域を領域サイズＳld-sとする。

検出部２２１は、基準時におけるケラレ領域の領域サイズ（ケラレ量）と、その後のフォーカス異常検出処理時に検出した領域サイズ（ケラレ量）に基づき、撮像部５００でフォーカスの異常を生じているか判断する。

図６は、制御システム２００における検出部２２１の動作を例示したフローチャートであり、この動作は例えば撮像部５００の起動時や車両２０の自動運転を開始する前に行われる。なお、図６は、フェイルセーフ検出部２２１３が設けられていない場合の動作である。

また、この動作は、自動運転を開始する前だけではなく、自動運転中（自動運転機能（ドライバ支援機能を含む）を使っている時）に行ってもよく、手動運転がなされている時に、あるいはドライバ等の操作に応じて行ってもよい。

ステップＳＴ１で検出部は右上ケラレ量の変化が閾値内であるか判別する。検出部２２１は、右上ケラレ量として右上のケラレ領域の領域サイズＳruを算出して、算出した領域サイズＳruが基準時の領域サイズＳru-sに対してケラレ判定閾値内（例えば±Ｔs％の範囲内）の変化であるか判別する。検出部２２１は、算出した右上のケラレ領域の変化がケラレ判定閾値内であるときはステップＳＴ２に進み、ケラレ判定閾値を超えるときはステップＳＴ６に進む。

ステップＳＴ２で検出部は左上ケラレ量の変化が閾値内であるか判別する。検出部２２１は、左上ケラレ量として左上のケラレ領域の領域サイズＳluを算出して、算出した領域サイズＳluが基準時の領域サイズＳlu-sに対してケラレ判定閾値内（例えば±Ｔs％の範囲内）の変化であるか判別する。検出部２２１は、算出した左上のケラレ領域の変化がケラレ判定閾値内であるときはステップＳＴ３に進み、ケラレ判定閾値を超えるときはステップＳＴ６に進む。

ステップＳＴ３で検出部は右下ケラレ量の変化が閾値内であるか判別する。検出部２２１は、右下ケラレ量として右下のケラレ領域の領域サイズＳrdを算出して、算出した領域サイズＳrdが基準時の領域サイズＳrd-sに対してケラレ判定閾値内（例えば±Ｔs％の範囲内）の変化であるか判別する。検出部２２１は、算出した右下のケラレ領域の変化がケラレ判定閾値内であるときはステップＳＴ４に進み、ケラレ判定閾値を超えるときはステップＳＴ６に進む。

ステップＳＴ４で検出部は左下ケラレ量の変化が閾値内であるか判別する。検出部２２１は、左下ケラレ量として左下のケラレ領域の領域サイズＳldを算出して、算出した領域サイズＳldが基準時の領域サイズＳld-sに対してケラレ判定閾値内（例えば±Ｔs％の範囲内）の変化であるか判別する。検出部２２１は、算出した左下のケラレ領域の変化がケラレ判定閾値内であるときはステップＳＴ５に進み、ケラレ判定閾値を超えるときはステップＳＴ６に進む。

ステップＳＴ５で検出部は正常と判断する。検出部２２１はデータ取得部２０２の撮像部５００のフォーカスずれが正常の範囲であるとの判断結果を生成して動作制御部２２５へ出力する。したがって、自動運転制御部２１３は、データ取得部２０２の撮像部５００で取得された撮像画を利用した運転支援機能の実行可否判定、あるいは車両２０の自動運転制御機能の実行可否判定が行われる。そして、実施しても良い場合は、自動運転制御部２１３により、運転支援機能や自動運転機能が実行される。

ステップＳＴ６で検出部は異常と判別する。検出部２２１は、データ取得部２０２の撮像部５００のフォーカスずれが正常範囲を超えており異常であるとの判断結果を生成して動作制御部２２５へ出力する。したがって、自動運転制御部２１３は、データ取得部２０２の撮像部５００で取得された撮像画を利用した運転支援機能や自動運転制御機能を停止する。

このように、検出部２２１は、１つの視点の撮像画におけるケラレ領域の変化に基づいて、フォーカスの異常（フォーカスずれ）を精度よく検出できるようになる。

次に、フェイルセーフ検出部が設けられている場合の動作について説明する。図７は、制御システム２００における検出部２２１の他の動作を例示したフローチャートである。なお、図７は、フェイルセーフ検出部２２１３が設けられている場合の動作であり、この動作も図６に示す動作と同様に、例えば撮像部５００の起動時や車両２０の自動運転を開始する前に行われる。

ステップＳＴ１０で検出部は撮像画の鮮鋭度が予め設定された閾値以上であるか判別する。検出部２２１は、データ取得部２０２の撮像部５００で取得された撮像画の鮮鋭度を算出する。検出部２２１は算出した鮮鋭度が予め設定された鮮鋭度閾値以上である場合はステップＳＴ１１に進み、算出した鮮鋭度が予め設定された鮮鋭度閾値よりも低い場合（画像がぼやけている場合）はステップＳＴ１６に進む。

ステップＳＴ１１で検出部は右上ケラレ量の変化が閾値内であるか判別する。検出部２２１は、右上ケラレ量として右上のケラレ領域の領域サイズＳruを算出して、算出した領域サイズＳruが基準時の領域サイズＳru-sに対してケラレ判定閾値内（例えば±Ｔs％の範囲内）の変化であるか判別する。検出部２２１は、算出した右上のケラレ領域の変化がケラレ判定閾値内であるときはステップＳＴ１２に進み、ケラレ判定閾値を超えるときはステップＳＴ１６に進む。

ステップＳＴ１２で検出部は左上ケラレ量の変化が閾値内であるか判別する。検出部２２１は、左上ケラレ量として左上のケラレ領域の領域サイズＳluを算出して、算出した領域サイズＳluが基準時の領域サイズＳlu-sに対してケラレ判定閾値内（例えば±Ｔs％の範囲内）の変化であるか判別する。検出部２２１は、算出した左上のケラレ領域の変化がケラレ判定閾値内であるときはステップＳＴ１３に進み、ケラレ判定閾値を超えるときはステップＳＴ１６に進む。

ステップＳＴ１３で検出部は右下ケラレ量の変化が閾値内であるか判別する。検出部２２１は、右下ケラレ量として右下のケラレ領域の領域サイズＳrdを算出して、算出した領域サイズＳrdが基準時の領域サイズＳrd-sに対してケラレ判定閾値内（例えば±Ｔs％の範囲内）の変化であるか判別する。検出部２２１は、算出した右下のケラレ領域の変化がケラレ判定閾値内であるときはステップＳＴ１４に進み、ケラレ判定閾値を超えるときはステップＳＴ１６に進む。

ステップＳＴ１４で検出部は左下ケラレ量の変化が閾値内であるか判別する。検出部２２１は、左下ケラレ量として左下のケラレ領域の領域サイズＳldを算出して、算出した領域サイズＳldが基準時の領域サイズＳld-sに対してケラレ判定閾値内（例えば±Ｔs％の範囲内）の変化であるか判別する。検出部２２１は、算出した左下のケラレ領域の変化がケラレ判定閾値内であるときはステップＳＴ１５に進み、ケラレ判定閾値を超えるときはステップＳＴ１６に進む。

ステップＳＴ１５で検出部は正常と判断する。検出部２２１はデータ取得部２０２の撮像部５００のフォーカスずれが正常の範囲であるとの判断結果を生成して動作制御部２２５へ出力する。したがって、自動運転制御部２１３は、データ取得部２０２の撮像部５００で取得された撮像画を利用した運転支援機能の実行可否判定、あるいは車両２０の自動運転制御機能の実行可否判定が行われる。そして、実施しても良い場合は、自動運転制御部２１３により、運転支援機能や自動運転機能が実行される。

ステップＳＴ１６で検出部は異常と判別する。検出部２２１はデータ取得部２０２の撮像部５００のフォーカスずれが正常範囲を超えており異常であるとの判断結果を生成して動作制御部２２５へ出力する。したがって、自動運転制御部２１３は、データ取得部２０２の撮像部５００で取得された撮像画を利用した運転支援機能や車両２０の自動運転制御機能を停止する。

このように、検出部２２１は、１つの視点の画像データに基づき、撮像画の鮮鋭度が予め設定された鮮鋭度閾値以上である場合、撮像画におけるケラレ領域の変化に基づいて、フォーカスの異常を精度よく検出できるようになる。また、撮像画の鮮鋭度が予め設定された鮮鋭度閾値よりも低い場合（画像がぼやけている場合）、鮮鋭度が低い撮像画に基づいた運転支援機能が停止されるので、車両２０は、撮像画に基づき周囲の状況を精度よく把握できない状況で自動運転等が行われることを防止できるようになる。

図８は、撮像部が基準時の状態から変化を生じている場合を例示している。図８の（ａ）は、経時変化や外力等によって、レンズ５０１とイメージセンサ５０２の間隔が基準時よりも狭くなった場合を示している。この場合、図８の（ｂ）に示すようにイメージセンサ５０２はレンズ５０１の焦点位置よりもレンズ５０１に近づいており、図８の（ｃ）に示すように、有効像円ＩＭＣは基準時よりも小さくなり、四隅のケラレ領域の領域サイズは、基準時よりも大きくなる。すなわち、右上のケラレ領域の領域サイズＳru-nは領域サイズＳru-sよりも大きくなる。同様に、左上のケラレ領域の領域サイズＳlu-nは領域サイズＳlu-sよりも大きく、右下のケラレ領域の領域サイズＳrd-nは領域サイズＳrd-sよりも大きく、左下のケラレ領域の領域サイズＳld-nは領域サイズＳld-sよりも大きくなる。したがって、四隅のケラレ領域の領域サイズが基準時よりも大きくなり、いずれかのケラレ領域の変化がケラレ判定閾値を超えた場合、検出部２２１は撮像部５００の異常と判断する。

図９は、撮像部が基準時の状態から変化を生じている他の場合を例示している。図９の（ａ）は、経時変化や外力等によって、レンズ５０１とイメージセンサ５０２の間隔が基準時よりも広くなった場合を示している。この場合、図９の（ｂ）に示すようにイメージセンサ５０２はレンズ５０１の焦点位置よりもレンズ５０１から離れており、図９の（ｃ）に示すように、有効像円ＩＭＣは基準時よりも大きくなり、四隅のケラレ領域の領域サイズは、基準時よりも小さくなる。すなわち、右上のケラレ領域の領域サイズＳru-fは領域サイズＳru-sよりも小さくなる。同様に、左上のケラレ領域の領域サイズＳlu-fは領域サイズＳlu-sよりも小さく、右下のケラレ領域の領域サイズＳrd-fは領域サイズＳrd-sよりも小さく、左下のケラレ領域の領域サイズＳld-fは領域サイズＳld-sよりも小さくなる。したがって、四隅のケラレ領域の領域サイズが基準時よりも小さくなり、いずれかのケラレ領域の変化がケラレ判定閾値を超えた場合、検出部２２１は撮像部５００の異常と判断する。

図１０は、撮像部でレンズの光軸ずれを生じた場合を例示している。図１０の（ａ）は、経時変化や外力等によって、イメージセンサ５０２に対するレンズ５０１の光軸が傾きを生じた場合を示している。この場合、図１０の（ｂ）に示すようにレンズの焦点位置はイメージセンサ５０２の中央から移動して、図１０の（ｃ）に示すように、有効像円ＩＭＣが基準時の位置から移動して、四隅のケラレ領域の領域サイズが変化する。例えば、図１０の（ｃ）の場合、右上のケラレ領域の領域サイズＳru-tは領域サイズＳru-sよりも小さくなり、右下のケラレ領域の領域サイズＳrd-tは領域サイズＳrd-sよりも小さくなる。また、左上のケラレ領域の領域サイズＳlu-tは領域サイズＳlu-sよりも大きくなり、左下のケラレ領域の領域サイズＳld-tは領域サイズＳld-sよりも小さくなる。したがって、四隅のいずれかのケラレ領域の領域サイズが基準時よりも大きくあるいは小さくなり、ケラレ領域の変化がケラレ判定閾値を超えた場合、検出部２２１は撮像部５００の異常と判断する。

なお、図１０は、レンズ５０１の光軸が傾きを生じた場合を例示しているが、イメージセンサが傾きを生じた場合にも、図１０の（ｃ）に示すように、四隅のケラレ領域の領域サイズが変化する。したがって、検出部２２１はイメージセンサの傾きによるフォーカスの異常も検出できる。

さらに、検出部２２１は、イメージセンサの角が変形したことによるフォーカスの異常も検出できる。図１１は、イメージセンサの角が変形した場合を示している。図１１の（ａ）に示すようにイメージセンサ５０２はレンズ５０１の焦点位置にあり、右下の角が変形している。この場合、図１１の（ｂ）に示すように、有効像円ＩＭＣは基準時と略等しく、変形を生じた角に対応するケラレ領域の領域サイズが基準時と異なる。すなわち、右上のケラレ領域の領域サイズＳru-wは領域サイズＳru-sと略等しく、左上のケラレ領域の領域サイズＳlu-wは領域サイズＳlu-sと略等しく、左下のケラレ領域の領域サイズＳld-wは領域サイズＳld-sと略等しくなる。また、右下のケラレ領域の領域サイズＳrd-wは領域サイズＳld-sよりも大きくなる。したがって、右下のケラレ領域変化がケラレ判定閾値を超えた場合、検出部２２１は撮像部５００の異常と判断する。

このような本技術によれば、検出部は、使用環境による経時変化や外力によってレンズホルダ５０３とベース部５０４との固定状態の変化やイメージセンサの変形等が生じて、レンズとイメージセンサの位置関係が変化したことによるフォーカスの異常を、ケラレ領域の変化に基づき検出できるようになる。また、検出部は、レンズの劣化等によりイメージセンサで取得できる撮像画の鮮鋭度が低下するフォーカスの異常を検出できる。

例えば、検出部２２１は、撮像部５００に対して想定以上の衝撃が加わった場合や保証対象外の温度環境下で用いられた場合、化学薬品等にされたれた場合、あるいは偶発的故障等によって、レンズとイメージセンサの位置関係の変化やレンズの劣化が生じたことによるフォーカスの異常を、空間解像度測定用チャートや異常検出のための広い作業スペース、作業スペースを小さくするためのコンバージョンレンズ等を用いることなく、容易に精度よく検出できる。

さらに、ケラレ領域の変化は、上述のようにフォーカスの異常原因に対応していることから、検出部２２１はケラレ領域の変化に基づき異常の原因を判別してもよい。例えば、図８に示すように、四隅のケラレ領域の領域サイズが大きくなっているとき、検出部２２１は、レンズとイメージセンサとの間隔が狭くなっていることが異常の原因であると判別する。また、検出部２２１は、判別した原因を出力部２０６から車両２０の利用者等に通知してもよい。このように、ケラレ領域の変化に基づき異常原因を通知すれば、サービスセンター等は異常状態を解消するための作業を容易に行うことが可能となる。

ところで、車両の周辺が暗い場合、検出部２２１は、信号処理部２２１１で画像信号の信号レベルを調整しても、撮像画におけるケラレ領域の境界を判別することが困難である。したがって、車両２０は、撮像部５００で明るい撮像画を取得できるように照明光を出射する光源部ＬＴを有してもよい。図１２は、照明光を用いていない場合と照明光を用いた場合を例示している。車両の周辺が暗い場合、検出部２２１は、照明光を用いていないと、図１２の（ａ）に示すように、撮像画が暗くケラレ領域の領域サイズを算出することが困難である。しかし、検出部２２１は、図１２の（ｂ）に示すように、光源部ＬＴを用いて被写体ＯＢの照明を行えば、図１２の（ｃ）に示すように、有効像円ＩＭＣの外側であるケラレ領域を容易に判別できるようになる。したがって、検出部２２１は、車両の周辺が暗い場合であってもフォーカスの異常を精度よく検出できる。

なお、本技術のように、メージセンサのサイズに対して有効像円が小さなレンズを用いて、イメージセンサの撮像面の周辺にケラレ領域を生じさせる場合、ケラレ領域が連続した状態となると、検出部は、四隅のケラレ領域の領域サイズを算出することが困難となる。このような場合、検出部は、予めイメージセンサの撮像面を区分して、区分領域毎にケラレ領域の領域サイズを算出してもよい。図１３は、光軸位置を基準として撮像面を垂直方向および水平方向にそれぞれ区分した場合を例示している。なお、図では区分位置を破線で示している。このように、撮像面を４つに区分して、区分領域毎にケラレ領域の領域サイズを算出すれば、検出部は、ケラレ領域が連続する状態となっても、右上と左上および右下と左下のケラレ領域の領域サイズを算出できるようになる。

また、図６および図７に示す動作は、撮像部の起動時だけでなく、撮像部の使用状況等に応じたタイミングで行うようにしてもよい。例えば図６および図７に示す動作は、起動から所定時間か経過する毎に行うようにしてもよく、気温の変動が所定値を超えた場合や天候が変化した場合に行うようにしてもよい。

また、本技術は、メージセンサのサイズに対して有効像円が小さなレンズを用いて、イメージセンサの撮像面の端部にケラレ領域を生じさせている。したがって、撮像部５００で取得された画像を用いて例えば被写体認識等の各種画像処理を行う場合、検出部は、例えばケラレ領域を除く中央部分の所定領域の画像を切り出して用いることで、ケラレの影響を受けることなく各種画像処理を行うことができる。

＜１－３．変形例＞
ところで、上述の実施の形態は、車両２０のデータ取得部２０２に設けられている撮像部５００で取得された画像データに基づきフォーカス異常を自動運転制御部２１３で検出する場合を例示したが、フォーカス異常の検出等は、例えばＦＳＣ（Front Sensing Camera）のように車両前方を撮像する撮像装置で行うようにしてもよい。

図１４は、車両前方を撮像する撮像装置にフォーカス異常の検出等の機能を設けた場合を例示している。

撮像装置６０ｆは、光学系６１、撮像部６２、画像処理部６３、認識処理部６４、算出処理部６５、情報生成部６７、駆動制御部６８、異常検出部６９、出力部７０を有している。

光学系６１は、図５等に示すレンズ５０１を用いて構成されており、車両前方や車両周辺を示す光学像を撮像部６２に結像させる。なお、光学系６１は、図５等に示すように、レンズホルダ５０３や固定部材５０５を用いて撮像部６２に取り付けられている。

撮像部６２は、図５等に示すイメージセンサ５０２とイメージセンサ５０２を駆動する駆動回路等で構成されており、光学像を示す画像信号を生成する。本願の技術は、イメージセンサにおける撮像領域の縦と横のサイズが例えば４．３２ｍｍと８．６４ｍｍ（１／１．７型）で、画素数が数Ｍピクセル以上（特に、７Ｍピクセル以上）であり、焦点位置ずれの許容範囲が±数μｍ（例えば、±３μｍ）以内の光学系を用いた撮像装置に適している。また、本願の技術は、上記の１／１，７型で７Ｍピクセルであるイメージセンサよりも画素の密度が高いイメージセンサ（例えば１画素辺り面積が６．１（μｍ×μｍ）より小さい）を利用して、かつ、焦点位置ずれの許容範囲が±数μｍ（例えば±３μｍ）以内の光学系をもつ撮像装置に適している。撮像部６２は、生成した画像信号を画像処理部６３と異常検出部６９へ出力する。

画像処理部６３は、撮像部６２で取得された撮像画像中の物体を認識しやすくするための処理を行う。例えば、画像処理部６３は、自動露出制御、自動ホワイトバランス調整、ハイダイナミックレンジ合成などの画像処理を行い、処理画像を認識処理部６４へ出力する。

認識処理部６４は、画像処理部６３から出力された処理画像を用いて物体の認識処理を行い、処理画像から例えば車両，歩行者，障害物，信号機，交通標識，道路の車線（レーン），歩道の縁石等を検出する。認識処理部６４は、認識結果を算出処理部６５へ出力する。

算出処理部６５は、認識処理部６４で検出された物体に関する物体情報を算出する。算出処理部６５は、物体情報として、例えば物体の形状，物体までの距離，物体の移動方向及び移動速度など算出する。また、算出処理部６５は、動的な物体情報を算出する際に、時間的に連続する複数の撮像画像を用いる。

情報生成部６７は、車両に必要な駆動内容を含む駆動制御情報を生成する。情報生成部６７は、認識処理部６４の認識結果や算出処理部６５で算出された物体情報に基づいて車両に実行させるべき駆動内容を判断し、この駆動内容を含む駆動制御情報を生成する。

車両の駆動内容としては、例えば、速度の変更（加速、減速）、進行方向の変更などが挙げられる。具体例として、情報生成部６７は、車両と先行車両との車間距離が小さい場合には減速が必要と判断し、車両がレーンを逸脱しそうな場合にはレーン中央寄りへの進行方向の変更が必要と判断する。

情報生成部６７は、駆動制御情報を駆動制御部６８に送信する。なお、情報生成部６７は、駆動制御情報以外の情報を生成してもよい。例えば、情報生成部６７は、処理画像から周囲環境の明るさを検出し、周囲環境が暗い場合に車両の前照灯を点灯させるための照明制御情報を生成してもよい。

駆動制御部６８は、駆動制御情報に基づいた駆動制御信号を生成して出力部７０から出力させる。例えば、駆動制御部６８は、駆動力発生機構によって車両を加速させ、制動機構によって車両を減速させ、ステアリング機構によって車両の進行方向を変更させることができる。

異常検出部６９は、図３に示す異常検出部２２１０と同様に構成されている。異常検出部６９は、撮像部６２で生成された画像信号に対して、ケラレ量の算出を精度よく行うことができるように信号処理、例えば信号レベルの調整やノイズ除去等を行う。また、異常検出部６９は、画像信号からケラレ領域を判別して、ケラレ領域の領域サイズをケラレ量として算出する。異常検出部６９は、算出されたケラレ量に基づき撮像部６０ｆが正常であるか判断を行い、算出されたケラレ量が基準時のケラレ量に対してフォーカス異常検出処理時におけるケラレ量の変化がケラレ判定閾値を超えていないとき撮像部６０ｆは正常であると判断して、ケラレ判定閾値を超えたとき撮像部６０ｆは異常であると判断する。

また、異常検出部６９は、撮像部６２で生成された画像信号に基づき鮮鋭度を検出して、鮮鋭度が予め設定した鮮鋭度閾値よりも低い場合（画像がぼやけている場合）は、撮像部６２で取得された撮像画像に基づいた運転支援機能あるいは自動運転制御機能等を実行しないように、警告あるいは動作制御を行う。

さらに、異常検出部６９は、鮮鋭度と鮮鋭度閾値との比較結果をフェイルセーフ検出結果として、ケラレ量とフェイルセーフ検出結果を用いて撮像部６２が正常であるか判断して、鮮鋭度が予め設定した鮮鋭度閾値よりも低いことが示された場合、ケラレ量に係らず撮像部６２は異常であると判断する。異常検出部６９は、判断結果を出力部７０へ出力する。

出力部７０は、駆動制御部６８で生成された駆動制御信号と異常検出部６９での判断結果を車両の他の機能ブロックへ出力する。また、出力部７０は、撮像部６２で生成された画像信号、あるいは画像処理部６３で処理された画像信号を他の機能ブロックへ出力してもよい。

また、フォーカス異常の検出等は、車両前方を撮像する撮像装置に限らず車両後方や車両側方を撮像する撮像装置に設けてもよい。

図１５は、車両後方や車両側方を撮像する撮像装置にフォーカス異常の検出等の機能を設けた場合を例示している。

撮像装置６０ｓｂは、光学系６１、撮像部６２、画像処理部６３、認識処理部６４、第２算出処理部６６、異常検出部６９、出力部７０を有している。また、光学系６１、撮像部６２、画像処理部６３、認識処理部６４、異常検出部６９、出力部７０は、上述の撮像装置６０ｆと同様に構成されている。

第２算出処理部６６は、認識処理部６４で検出された物体に関する物体情報を算出する。第２算出処理部６６は、物体情報として例えば検出した物体の位置と自車両の位置関係に基づき物体までの距離を算出して出力部７０を介して出力する。

出力部７０は、第２算出処理部６６で算出された物体情報と異常検出部６９での判断結果を車両の他の機能ブロックへ出力する。また、出力部７０は、撮像部６２で生成された画像信号、あるいは画像処理部６３で処理された画像信号を他の機能ブロックへ出力してもよい。

なお、車両後方や車両側方の撮像画像に含まれた物体に応じて車両の駆動制御を行う場合、撮像装置６０ｓｂは、情報生成部６７や駆動制御部６８を有してもよい。

また、上述の実施の形態は、車両２０の記憶部２１１にログ情報を記憶しているが、撮像装置（６０ｆあるいは６０ｓｂ）にログ情報を記憶してもよい。

このように、車両２０と別個に撮像装置を設けても、本技術は上述の実施の形態と同様な動作を行うことや同様な効果を得ることが可能である。

＜１－４．サーバの構成と動作＞
次に、サーバの構成と動作について説明する。図１６はサーバの構成を例示している。サーバ３０は、通信部３０１、通知情報生成部３０２、ユーザ情報データベース３０５および通知部３０６を有している。

通信部３０１は、車両２０との通信を行い、車両２０の記憶部２１１に記憶されているログ情報を取得して、通知情報生成部３０２へ出力する。

通知情報生成部３０２は、車両２０から取得したログ情報等に基づいた車両性能の判断結果に応じて通知情報を生成する。通知情報生成部３０２は、車両２０から取得したログ情報等に基づき所定の性能が維持させているか判断する。通知情報生成部３０２は、異常の発生、異常の発生頻度等により所定の性能を維持できていないと判断した場合、その旨を車両の管理者等へ通知するための通知情報を生成して通知部３０６へ出力する。なお、管理者は、車両の所有者，車両を共同で使用する際の管理者や管理会社等を含む。

ユーザ情報データベース３０５は、車両毎の管理者等に関するユーザ情報、例えば管理者等の名称や住所、連絡先等を示す情報を記憶している。

通知部３０６は、通知情報生成部３０２で性能を判別した車両２０の管理者等に関する情報をユーザ情報データベース３０５から取得して、取得したユーザ情報で示された連絡先に、通知情報生成部３０２で生成した通知情報を通知する。例えば、通知部３０６は、車両２０の管理者宛てに、フォーカスの異常等が生じていることを示すメールの送付や送信あるいは音声通知等の処理を行う。なお、ログ情報に管理者等の連絡先を示す情報が含まれている場合、通知部３０６は、ログ情報で示された連絡先を使用してもよい。

図１７は、サーバの動作を例示したフローチャートである。ステップＳＴ２１でサーバはログ情報を取得する。サーバ３０の通信部３０１は、車両２０と通信を行い車両２０で生成された情報を取得してステップＳＴ２２に進む。なお、ログ情報の取得は、例えば所定期間が経過する毎にサーバ３０から車両２０にログ情報の要求を行ってもよく、所定期間が経過する毎にあるいは異常が生じたときに車両２０から提供されるログ情報をサーバ３０で取得してもよい。

ステップＳＴ２２でサーバは性能判断処理を行う。サーバ３０の通知情報生成部３０２は、車両２０から取得したログ情報に基づき車両２０の性能を判断してステップＳＴ２３に進む。

ステップＳＴ２３でサーバは通知が必要か判断する。サーバ３０の通知情報生成部３０２は、ステップＳＴ２２の性能判断結果に基づき、車両の管理者等への通知が必要は判断する。通知情報生成部３０２は、車両２０で所定の性能が維持されていると判断した場合は、通知が必要ないと判断してステップＳＴ２１に戻る。また、通知情報生成部３０２は、車両２０で所定の性能が維持できていないと判断した場合は、通知が必要であると判断してステップＳＴ２４に進む。

ステップＳＴ２４でサーバは通知情報を生成する。サーバ３０の通知情報生成部３０２は、所定の性能が維持できていないことあるいは異常箇所等を通知するための通知情報を生成してステップＳＴ２５に進む。

ステップＳＴ２５でサーバは通知処理を行う。サーバ３０の通知部３０６は、ステップＳＴ２１でログ情報を取得した車両の管理者等に対して、ステップＳＴ２４で生成した通知情報を通知する処理を行う。

このように、車両２０の管理者等に性能判別結果を通知すれば、フォーカスの異常等が生じた場合に車両２０の搭乗者だけでなく管理者等でも異常を把握できるので、異常発生に対する対処を確実に行うことができるようになる。また、サーバ３０を車両２０のメーカーやサービスセンター等で利用することで、車両状況の把握が容易となり、迅速に適切なサービスを提供することも可能となる。

＜１－５．サーバの他の構成と動作＞
次に、サーバの他の構成と動作について、例えば車両の保険契約を行う保険会社でサーバを利用する場合について説明する。図１８はサーバの他の構成を例示している。サーバ３０は、通信部３０１、事故情報データベース３０３、通知情報生成部３０４、ユーザ情報データベース３０５および通知部３０６を有している。

通信部３０１は、車両２０との通信を行い、車両２０における記憶部２１１に記憶されているログ情報を取得して、通知情報生成部３０４へ出力する。

事故情報データベース３０３は、例えば事故車両の種類、事故車両における異常の発生状態、事故車両の種類や発生した異常毎の事故発生率や事故の種類，被害状況等を事故情報として記憶している。

通知情報生成部３０４は、車両２０から取得したログ情報および事故情報データベース３０３に記憶されている事故情報に基づき、ログ情報を取得した車両２０の保険料を算出する。通知情報生成部３０４は算出した保険料を示す通知情報を生成して通知部３０６へ出力する。通知情報生成部３０４は、例えばフォーカスの異常が生じた場合における事故発生率や事故の種類および被害状況等、フォーカスの異常が生じている状態の継続期間や異常の程度等の少なくとも何れかを用いて保険料の算出を行う。通知情報生成部３０４は、例えばフォーカスの異常が生じていない場合や異常発生に対する対処が速やかに行われて異常状態の継続期間が短期間である場合に保険料を軽減する。また、通知情報生成部３０４は、例えば異常が生じている状態が長期間放置されている場合、フォーカスの異常が生じているときの事故発生率が高い場合や重大事故が多い場合等では保険料を増額してもよい。

ユーザ情報データベース３０５は、車両毎に保険契約を行った契約者等に関するユーザ情報、例えば契約者の名称や住所、連絡先等を示す情報を記憶している。

通知部３０６は、通知情報生成部３０４で保険料を算出した車両２０の保険契約者に関する情報をユーザ情報データベース３０５から取得して、取得したユーザ情報で示された連絡先に通知情報を通知する。例えば、通知部３０６は、保険契約者宛てに、フォーカスの異常が生じていることにより保険料が変更されること等を示すメールの送付や送信あるいは音声通知等の処理を行う。

なお、保険料の算出および保険料の通知は、例えば保険契約満了時から所定期間前のタイミングで行ってもよく、ログ情報に基づき保険料の軽減ができない事象（あるいは保険料が高くなるような事象）が生じた場合には、速やかに保険料の通知を行うようにしてもよい。

図１９は、サーバの他の動作を例示したフローチャートである。ステップＳＴ３１でサーバはログ情報を取得する。サーバ３０の通信部３０１は、車両２０と通信を行い車両２０で生成された情報を取得してステップＳＴ３２に進む。なお、ログ情報の取得は、例えば所定期間が経過する毎にサーバ３０から車両２０に対してログ情報の要求を行ってもよく、所定期間が経過する毎にあるいは異常が生じたときに車両２０から提供されるログ情報をサーバ３０で取得してもよい。

ステップＳＴ３２でサーバは保険料算出処理を行う。サーバ３０の通知情報生成部３０４は、車両２０から取得したログ情報およびデータベースに記憶されている事故情報に基づいて上述のように保険料を算出してステップＳＴ３３に進む。

ステップＳＴ３３でサーバは通知処理を行う。サーバ３０の通知部３０６は、ステップＳＴ３１でログ情報を取得した車両の管理者等に対して、ステップＳＴ３２で算出した保険料を通知する処理を行う。

このように、車両２０を契約車とする保険契約を行った契約者等に保険料算出結果を通知すれば、フォーカスの異常が生じた場合に契約者等に保険料が通知されるので、保険料が高くならないように異常発生に対する対処を速やかに行うことができるようになる。

ところで、サーバ３０は、情報データベースに蓄積されているログ情報を用いて、自動運転制御部２１３で用いる自動運転レベル制御情報や、自動運転制御部２１３の検出部２２１あるいは撮像装置６０ｆ（６０ｓｂ）の異常検出部６９で用いる閾値（鮮鋭度閾値やケラレ判定閾値）を生成してもよい。

図２０は、サーバの他の一部の構成を例示している。通信部３０１は、上述したように、車両２０との通信を行い、車両からログ情報（事故情報が含まれてもよい）取得する。なお、通信部３０１は、外部のデータベース（例えば保険会社等のデータベース）から事故情報等を取得してもよい。また、通信部３０１は、後述する自動運転レベル制御情報や、適切な閾値（鮮鋭度閾値やケラレ判定閾値）を各車両に送信する。

情報データベース３１１は、車両毎の情報例えば車両の種類、車の初期登録年、車載カメラの種類（モデル毎）、車載カメラの使用年数、閾値（鮮鋭度閾値やケラレ判定閾値）、事故の有無等と、事故車両毎の情報例えば事故車両における異常の発生状態、事故車両の種類や発生した異常毎の事故発生率や事故の種類，被害状況等を記憶する。

安全性判定部３１２は、情報データベース３１１に記憶されている情報の情報に基づき、閾値の安全性を判別する。例えば、事故を起こしていない車両に関する情報と事故の生じた車両に関する情報や事故情報を統計処理して設定された閾値（鮮鋭度閾値やケラレ判定閾値）が安全性に関して適切であるか判定する。

安全性判定部３１２は、安全性が十分でないと判定した場合、自動運転レベル制御情報として、車両において許容される自動運転レベルを下げる指示情報（自動運転機能（／ＡＤＡＳ機能）を許可しない指示情報を含む）を生成して、通信部３０１を介して、車両に送信する。また、安全性判定部３１２は、安全性が十分であると判定した場合、自動運転レベル制御情報として自動運転許可情報を生成して、通信部３０１を介して、車両に送信する。

なお、安全性判定部３１２は、上述の統計処理によって、例えば、車種，車載カメラの種類，車載カメラの使用年数ごとに、適切な閾値を算出するようにしてもよい。また、安全性判定部３１２は、算出した適切な閾値が設定されている現在の閾値と異なる場合、通信部３０１を介して、適切な閾値を各車両に送信する。

図２１は、サーバの他の一部の動作を例示したフローチャートである。ステップＳＴ４１でサーバはログ情報と事故情報を取得する。サーバ３０の通信部３０１は、車両２０と通信を行い車両２０で生成されたログ情報や事故情報を取得して、情報データベース３１１は取得したログ情報や事故情報を記憶してステップＳＴ４２に進む。なお、ログ情報の取得は、例えば所定期間が経過する毎にサーバ３０から車両２０に対してログ情報の要求を行ってもよく、所定期間が経過する毎にあるいは異常が生じたときに車両２０から提供されるログ情報をサーバ３０で取得してもよい。また、事故情報の取得は、例えば事故が生じたときに車両２０から提供される事故情報をサーバ３０で取得する。

ステップＳＴ４２でサーバは安全性判定処理を行う。サーバ３０の安全性判定部３１２は、情報データベース３１１に記憶されているログ情報および事故情報に基づいて閾値の安全性を判別して、判別結果に応じた自動運転レベル制御情報を生成してステップＳＴ４３に進む。例えば、安全性判定部３１２は、設定された閾値（鮮鋭度閾値やケラレ判定閾値）が安全性に関して十分でないと判定した場合、車両において許容される自動運転レベルを下げる指示を示す自動運転レベル制御情報を生成する。また、安全性判定部３１２は、設定された閾値が安全性に関して十分であると判定した場合、自動運転許可情報を示す自動運転レベル制御情報を生成する。また、安全性判定部３１２は、上述のように統計処理によって適切な閾値を算出してステップＳＴ４３に進む。

ステップＳＴ４３でサーバは情報送信処理を行う。サーバ３０の通信部３０１は、ステップＳＴ４２で生成した自動運転レベル制御情報を車両２０へ送信する処理を行う。また、通信部３０１は、算出した適切な閾値が現在設定されている閾値と異なると安全性判定部３１２で判定された場合、算出した適切な閾値を、通信部３０１を介して、車両あるいは撮像装置に送信する。

このように、サーバ３０は、車両２０から取得したログ情報や事故情報に基づいて生成した自動運転レベル制御情報や算出した適切な閾値を車両２０や撮像装置６０ｆ,６０ｓｂへ送信するので、車両２０は、より安全に運転制御を行うことができる。

＜２．応用例＞
本開示に係る技術は、撮像部を用いる様々な分野へ適用することができる。例えば、本開示に係る技術は、上述のような車両だけでなく、二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の移動体に搭載される装置として実現されてもよい。また、工場の生産工程で用いられる機器や建設分野で用いられる機器、監視分野や医療分野等へ適用することもできる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の異常検出装置は以下のような構成も取ることができる。
（１） 有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を用いて、前記撮像画のケラレ領域の変化に基づきフォーカスの異常を検出する検出部
を備える異常検出装置。
（２） 前記検出部は、基準時における前記ケラレ領域に対してフォーカス異常検出処理時における前記ケラレ領域の変化がケラレ判定閾値を超える場合に前記フォーカスの異常を検出したと判断する（１）に記載の異常検出装置。
（３） 前記検出部は、前記撮像画の四隅毎に前記ケラレ領域の領域サイズの変化を検出して、四隅の何れかで前記変化が前記ケラレ判定閾値を超える場合に前記フォーカスの異常を検出したと判断する（２）に記載の異常検出装置。
（４） 前記検出部は、前記フォーカスの異常の検出時における前記ケラレ領域の変化に基づき、前記フォーカスの異常の原因を判別する（３）に記載の異常検出装置。
（５） 前記検出部は、前記撮像画の鮮鋭度を検出して、検出した鮮鋭度が予め設定した鮮鋭度閾値よりも低下している場合に前記フォーカスの異常を検出したと判断する（１）乃至（４）の何れかに記載の異常検出装置。
（６） 前記イメージセンサで撮像される被写体の照明を行う光源部をさらに備える
（１）乃至（５）の何れかに記載の異常検出装置。
（７） 前記有効像円がイメージセンサの撮像面より小さいレンズを用いて撮像画を取得する撮像部をさらに備える（１）乃至（６）の何れかに記載の異常検出装置。
（８） 前記イメージセンサが搭載された車両の動作制御を行う動作制御部を備え、
前記動作制御部は、前記検出部で前記フォーカスの異常が検出されたとき、前記車両の運転支援機能を停止する（１）乃至（７）の何れかに記載の異常検出装置。
（９） 前記イメージセンサが搭載された車両の自動運転制御機能を実行する動作制御部を備え、
前記動作制御部は、前記検出部で前記フォーカスの異常が検出されたとき、前記自動運転制御機能を停止して手動運転に切り替える（１）乃至（７）の何れかに記載の異常検出装置。
（１０） 前記検出部は、前記動作制御部で前記車両の自動運転を開始する前に前記フォーカス異常検出処理を行う（９）に記載の異常検出装置。

１０・・・情報処理システム
２０・・・車両
３０・・・サーバ
４０・・・ネットワーク
６０ｆ，６０ｓｂ・・・撮像装置
６１・・・光学系
６２・・・撮像部
６３・・・画像処理部
６４・・・認識処理部
６５・・・算出処理部
６６・・・第２算出処理部
６７・・・情報生成部
６８・・・駆動制御部
６９・・・異常検出部
７０・・・出力部
２００・・・制御システム
２０１・・・入力部
２０２・・・データ取得部
２０３・・・通信部
２０４・・・車内機器
２１１・・・記憶部
２１２・・・通信ネットワーク
２１３・・・自動運転制御部
２２１・・・検出部
２２２・・・自己位置推定部
２２３・・・状況分析部
２２４・・・計画部
２２５・・・動作制御部
３０１・・・通信部
３０２，３０４・・・通知情報生成部
３０３・・・事故情報データベース
３０５・・・ユーザ情報データベース
３０６・・・通知部
３１１・・・情報データベース
３１２・・・安全性判定部
５００・・・撮像部
５０１・・・レンズ
５０２・・・イメージセンサ
５０２ａ・・・撮像面
５０３・・・レンズホルダ
５０４・・・ベース部
５０５・・・固定部材
２２１０・・・異常検出部
２２１１・・・信号処理部
２２１２・・・ケラレ量算出部
２２１３・・・フェイルセーフ検出部
２２１４・・・判断部

Claims (16)

1. 有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を用いて、前記撮像画のケラレ領域の変化に基づきフォーカスの異常を検出する検出部
   を備える異常検出装置。
2. 前記検出部は、基準時における前記ケラレ領域に対してフォーカス異常検出処理時における前記ケラレ領域の変化がケラレ判定閾値を超える場合に前記フォーカスの異常を検出したと判断する
   請求項１に記載の異常検出装置。
3. 前記検出部は、前記撮像画の四隅毎に前記ケラレ領域の領域サイズの変化を検出して、四隅の何れかで前記変化が前記ケラレ判定閾値を超える場合に前記フォーカスの異常を検出したと判断する
   請求項２に記載の異常検出装置。
4. 前記検出部は、前記フォーカスの異常の検出時における前記ケラレ領域の変化に基づき、前記フォーカスの異常の原因を判別する
   請求項３に記載の異常検出装置。
5. 前記検出部は、前記撮像画の鮮鋭度を検出して、検出した鮮鋭度が予め設定した鮮鋭度閾値よりも低下している場合に前記フォーカスの異常を検出したと判断する
   請求項１に記載の異常検出装置。
6. 前記イメージセンサで撮像される被写体の照明を行う光源部をさらに備える
   請求項１に記載の異常検出装置。
7. 前記有効像円がイメージセンサの撮像面より小さいレンズを用いて撮像画を取得する撮像部をさらに備える
   請求項１に記載の異常検出装置。
8. 前記イメージセンサが搭載された車両の動作制御を行う動作制御部を備え、
   前記動作制御部は、前記検出部で前記フォーカスの異常が検出されたとき、前記車両の運転支援機能を停止する
   請求項１に記載の異常検出装置。
9. 前記イメージセンサが搭載された車両の自動運転制御機能を実行する動作制御部を備え、
   前記動作制御部は、前記検出部で前記フォーカスの異常が検出されたとき、前記自動運転制御機能を停止して手動運転に切り替える
   請求項１に記載の異常検出装置。
10. 前記検出部は、前記動作制御部で前記車両の自動運転を開始する前に前記フォーカス異常検出処理を行う
    請求項９に記載の異常検出装置。
11. 有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を用いて、前記撮像画のケラレ領域の変化に基づきフォーカスの異常を検出部で検出すること
    を含む異常検出方法。
12. フォーカスの異常検出をコンピュータで実行させるプログラムであって、
    有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を取得する手順と、
    前記取得した撮像画のケラレ領域の変化に基づきフォーカスの異常を検出する手順と
    を前記コンピュータで実行させるプログラム。
13. 異常検出装置と前記異常検出装置の検出結果を用いるサーバを有する情報処理システムであって、
    前記異常検出装置は、
    有効像円がイメージセンサの撮像面より小さいレンズを用いて前記イメージセンサで取得された撮像画を用いて、前記撮像画のケラレ領域の変化に基づきフォーカスの異常を検出する検出部を有し、
    前記サーバは、
    前記検出部のフォーカス異常検出結果を利用してユーザ通知情報を生成する通知情報生成部を有する
    情報処理システム。
14. 前記通知情報生成部は、前記イメージセンサが搭載された機器の管理者に対して前記フォーカス異常検出結果を用いて判別した前記機器の性能を示す性能情報を前記ユーザ通知情報として生成する
    請求項１３に記載の情報処理システム。
15. 前記通知情報生成部は、前記イメージセンサが搭載された車両の管理者に対して前記フォーカス異常検出結果を用いて算出した保険料を示す情報を前記ユーザ通知情報として生成する
    請求項１３に記載の情報処理システム。
16. 前記サーバは、
    前記検出部のフォーカス異常検出結果を含むログ情報を用いて、自動運転レベル制御情報と、前記検出部で前記フォーカスの異常を検出するための閾値を生成する安全性判定部を有する
    請求項１３に記載の情報処理システム。

Images