JPWO2020122057A1 - 画像処理装置、画像処理方法および画像処理システム - Google Patents

Abstract

情報処理装置は、撮像画像を取得する取得部と、撮像画像の未使用領域に画像を重畳した重畳画像を生成する重畳部と、重畳部から伝送された重畳画像のうち、画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する判定部とを有する。

Description

本開示は、画像処理装置、画像処理方法および画像処理システムに関する。

車載カメラシステムにおいて、撮像素子を含む初段画像処理ＩＣ（Integrated Circuit）と、認識機能等を有する後段画像処理ＩＣとが含まれる。また、初段画像処理ＩＣと、後段画像処理ＩＣとの間には、他の画像処理ＩＣ、メモリ、バッファ、信号伝送回路等が含まれる。

特開２０１５−１７１１０６号公報

しかしながら、上述した従来技術では、初段画像処理ＩＣから伝送された画像情報が、後段画像処理ＩＣに到達するまでの間に、変化する場合がある。

変化の生じた画像情報に対して後段画像処理ＩＣが認識処理を行うと、誤った認識を行う場合があり、初段画像処理ＩＣから伝送された画像情報の状態を判定することが課題となる。

そこで、本開示では、画像情報の状態を判定することができる画像処理装置、画像処理方法および画像処理システムを提案する。

上記の課題を解決するために、本開示に係る一形態の画像処理装置は、撮像画像を取得する取得部と、前記撮像画像の未使用領域に画像を重畳した重畳画像を生成する重畳部と、前記重畳部から伝送された前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する判定部とを具備する。

第１の実施形態に係る撮像装置の機能構成の一例を示す図である。 第１の実施形態に係る重畳部の処理を説明するための図（１）である。 第１の実施形態に係る重畳部の処理を説明するための図（２）である。 第１の実施形態に係る状態判定結果データのデータ構造の一例を示す図である。 判定部の処理を説明するための図である。 正常時の標準偏差と積算値との分布の一例を示す図である。 画像固着発生時の標準偏差と積算値との分布の一例を示す図である。 映像マスク発生時の標準偏差と積算値との分布の一例を示す図である。 階調変化発生時の標準偏差と積算値との分布の一例を示す図である。 ノイズ重畳発生時の標準偏差と積算値との分布の一例を示す図である。 第１の実施形態に係る画像処理装置の処理手順を示すフローチャートである。 状態判定処理の処理手順を示すフローチャートである。 通知処理の処理手順を示すフローチャートである。 重畳部のその他の処理を説明するための図である。 画像反転発生時の標準偏差と積算値との分布の一例を示す図である。 第２の実施形態に係るシステムの一例を示す図である。 第２の実施形態に係る撮像装置の処理手順を示すフローチャートである。 ディーラーサーバが行うサービスの一例を説明するための図である。 撮像装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。 その他の画像処理システムの機能構成の一例を示す図である。 本技術が適用され得る車両制御システムの概略的な機能の構成例を示すブロック図である。 自動運転緊急対応モードの処理手順を示すフローチャートである。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

（１．第１の実施形態）
［１−１．第１の実施形態に係る撮像装置の機能構成］
図１は、第１の実施形態に係る撮像装置の機能構成の一例を示す図である。図１に示すように、撮像装置１００は、初段画像処理部１１０と、信号伝送回路１２０と、画像処理部１３０と、記憶部１３５と、後段画像処理部１４０とを有する。たとえば、撮像装置１００は、車両に搭載された車載システムに含まれる装置である。撮像装置１００は、画像処理装置の一例である。

初段画像処理部１１０、画像処理部１３０、後段画像処理部１４０は、たとえば、ＩＣにより実現される。

初段画像処理部１１０は、信号伝送回路１２０に接続される。画像処理部１３０は、信号伝送回路１２０に接続される。後段画像処理部１４０は、信号伝送回路１２０に接続される。

初段画像処理部１１０は、CMOS、CCD等のイメージセンサー等に対応する装置である。たとえば、初段画像処理部１１０は、撮像素子部１１０ａと、重畳部１１０ｂと、画像出力部１１０ｃとを有する。なお、初段画像処理部１１０は、後段画像処理部１４０等からリセット命令を受け付けた場合には、再起動する。

撮像素子部１１０ａは、カメラのレンズ（図示略）から入ってきた光を電気信号に変換することで映像信号を生成する（取得する）処理部である。撮像素子部１１０ａは、取得部の一例である。以下の説明では、撮像素子部１１０ａが生成する映像信号を「撮像画像」と表記する。撮像素子部１１０ａは、撮像画像を、重畳部１１０ｂに出力する。撮像素子部１１０ａは、所定のフレームレート（FPS：frames per second）で、上記処理を繰り返し実行する。

重畳部１１０ｂは、撮像画像の未使用領域に画像を重畳した重畳画像を生成する処理部である。たとえば、未使用領域は、撮像画像において、イメージサークル外の非露光領域に対応する。なお、イメージサークル内の露光領域であっても、画像処理部１３０、後段画像処理部１４０等で使用されない領域を、未使用領域としてもよい。

重畳部１１０ｂが、撮像画像の未使用領域に重畳するチェック画像は、複数の輝度を含むパターン画像である。たとえば、重畳部１１０ｂは、複数種類の単一輝度の画像、輝度が段階的に変換するグラデーションの画像を、パターン画像として、撮像画像の未使用領域に重畳する。以下の説明では、単一輝度の画像を「単一輝度画像」と表記する。グラデーションの画像を「グラデーション画像」と表記する。また、単一輝度の画像およびグラデーションの画像を特に区別しない場合には「パターン画像」と表記する。重畳部１１０ｂは、メモリ（図示略）に保存されたビットマップ用いて、画像を重畳してもよいし、ＩＣのＣＰＵ／ＧＰＵが画像を描画してもよい。

図２および図３は、第１の実施形態に係る重畳部の処理を説明するための図である。図２について説明する。図２に示す例では、２ｎ−１番目（ｎは自然数）の撮像画像１０ａに、未使用領域に対応する領域Ａ１，Ａ４，Ａ６，Ａ７が含まれる。重畳部１１０ｂは、領域Ａ１に、グラデーション画像Ｐ１を重畳する。重畳部１１０ｂは、領域Ａ４に、グラデーション画像Ｐ４を重畳する。重畳部１１０ｂは、領域Ａ６に、単一輝度画像Ｐ６を重畳する。重畳部１１０ｂは、領域Ａ７に、単一輝度画像Ｐ７を重畳する。ここで、単一輝度画像Ｐ６の輝度値と、単一輝度画像Ｐ７の輝度値とは、異なる輝度値である。これにより、重畳部１１０ｂは、重畳画像１１ａを生成する。

図３について説明する。図３に示す例では、２ｎ番目の撮像画像１０ｂに、未使用領域となる領域Ａ２，Ａ３，Ａ５，Ａ８が含まれる。重畳部１１０ｂは、領域Ａ２にグラデーション画像Ｐ２を重畳する。重畳部１１０ｂは、領域Ａ３にグラデーション画像Ｐ３を重畳する。重畳部１１０ｂは、領域Ａ５に単一輝度画像Ｐ５を重畳する。重畳部１１０ｂは、領域Ａ８に単一輝度画像Ｐ８を重畳する。ここで、単一輝度画像Ｐ５の輝度値と、単一輝度画像Ｐ８の輝度値とは、異なる輝度値である。これにより、重畳部１１０ｂは、重畳画像１１ｂを生成する。

上記のように、重畳部１１０ｂは、複数の撮像画像を撮像素子部１１０ａから取得し、２ｎ−１番目の撮像画像１０ａについては、パターン画像Ｐ１，Ｐ４，Ｐ６，Ｐ７をそれぞれ重畳することで、重畳画像１１ａを生成する。重畳部１１０ｂは、２ｎ番目の撮像画像１０ｂについては、パターン画像Ｐ２，Ｐ３，Ｐ５，Ｐ８をそれぞれ重畳することで、重畳画像１１ｂを生成する。重畳部１１０ｂは、重畳画像１１ａ，１１ｂを順番に、画像出力部１１０ｃに出力する。

画像出力部１１０ｃは、重畳部１１０ｂから、重畳画像１１ａ，１１ｂを取得し、取得した重畳画像１１ａ，１１ｂを、信号伝送回路１２０に出力する処理部である。重畳画像１１ａ，１１ｂは、信号伝送回路１２０を伝送して、画像処理部１３０および後段画像処理部１４０に到達する。

信号伝送回路１２０は、初段画像処理部１１０から受け付けた重畳画像１１ａ，１１ｂ等の信号を伝送する回路である。たとえば、信号伝送回路１２０には、バッファ、メモリ、各種の信号処理ＩＣが含まれており、重畳画像１１ａ，１１ｂ等は、かかるバッファ、メモリ、各種の信号処理ＩＣを経由して、画像処理部１３０、後段画像処理部１４０に伝送される。

画像処理部１３０は、重畳画像１１ａ，１１ｂに含まれる未使用領域以外の領域を基にして、各種の画像処理を実行する処理部である。

記憶部１３５は、状態判定結果データ１３５ａを保持する記憶装置である。記憶部１３５は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。記憶部１３５は、揮発性メモリ、不揮発性メモリのどちらかでもよいし、両方使用してもよい。

状態判定結果データ１３５ａは、撮像画像の状態の判定結果の情報である。図４は、第１の実施形態に係る状態判定結果データのデータ構造の一例を示す図である。図４に示すように、この状態判定結果データ１３５ａは、状態異常ビット領域、画像固着ビット領域、映像マスクビット領域、階調変化ビット領域、ノイズ重畳ビット領域を有する。各ビット領域には、後段画像処理部１４０により、「１」または「０」に設定される。

撮像画像に異常がある場合には、状態異常ビット領域に「１」が設定され、異常がない場合には、状態異常ビット領域に「０」が設定される。撮像画像に画像固着の異常がある場合には、画像固着ビット領域に「１」が設定され、画像固着の異常がない場合には、画像固着ビット領域に「０」が設定される。

また、状態判定結果データ１３５ａは、標準偏差領域、積算値領域を有する。標準偏差領域は、領域Ａ１〜Ａ８から算出される標準偏差を保持する領域である。積算値領域は、領域Ａ１〜Ａ８から算出される積算値を保持する領域である。

撮像画像に映像マスクの異常がある場合には、映像マスクビット領域に「１」が設定され、映像マスクの異常がない場合には「０」が設定される。撮像画像に階調変化の異常がある場合には、階調変化ビット領域に「１」が設定され、階調変化の異常がない場合には「０」が設定される。撮像画像にノイズ重畳の異常がある場合には、ノイズ重畳ビット領域に「１」が設定され、ノイズ重畳の異常がない場合には「０」が設定される。

後段画像処理部１４０は、重畳画像１１ａ，１１ｂを基にして、撮像画像の状態を判定し、状態判定結果データ１３５ａを記憶部１３５に保存する処理部である。後段画像処理部１４０は、状態判定結果データ１３５ａを、外部装置（図示略）や、撮像装置１００の他の回路に通知する。また、後段画像処理部１４０は、重畳画像１１ａ，１１ｂに対して、センシング処理等を実行する。

たとえば、後段画像処理部１４０は、画像入力部１４０ａ、判定部１４０ｂ、解析処理部１４０ｃ、通知部１４０ｄを有する。解析処理部１４０ｃは、センシング処理部の一例である。

画像入力部１４０ａは、初段画像処理部１１０から伝送される重畳画像１１ａ，１１ｂを取得する処理部である。画像入力部１４０ａは、重畳画像１１ａ，１１ｂを、判定部１４０ｂに出力する。また、画像入力部１４０ａは、重畳画像１１ａ，１１ｂを、解析処理部１４０ｃに出力する。

判定部１４０ｂは、重畳画像１１ａ，１１ｂを基にして、撮像画像の状態を判定する処理部である。判定部１４０ｂは、判定結果に応じて、状態判定結果データ１３５ａの各ビット領域に「１」を設定する。なお、状態判定結果データ１３５ａの各ビット領域の初期値を「０」とする。判定部１４０ｂは、係る処理を行うことで、状態判定結果データ１３５ａを生成し、状態判定結果データ１３５ａを、記憶部１５０に保存する。また、判定部１４０ｂは、状態判定結果データ１３５ａを、通知部１４０ｄに出力する。

以下に説明するように、判定部１４０ｂは、輝度値の標準偏差、輝度値の積算値を算出する処理、状態を判定する処理を行う。

判定部１４０ｂが輝度値の標準偏差、輝度値の積算値を算出する処理について説明する。図５は、判定部の処理を説明するための図である。たとえば、判定部１４０ｂは、重畳画像１１ａ，１１ｂの領域Ａ１〜Ａ８からそれぞれ、輝度値の標準偏差および輝度値の積算値を算出し、撮像画像の状態を判定する。図５では一例として、重畳画像１１ａの領域Ａ１の標準偏差を算出する場合について説明する。部分エリア１１_Ａ１は、領域Ａ１付近を拡大したものである。領域Ａ１は、複数の画素からなる。判定部１４０ｂは、領域Ａ１の標準偏差σを、式（１）に基づいて算出する。

式（１）において、「ｎ」は、標準偏差の算出対象となる領域の画素数を示す。「Ｙ_ｉ」は、標準偏差の算出対象となる領域の各画素の輝度値を示す。「Ｙ_ＡＶＥ」は、標準偏差の算出対象となる領域の全画素の輝度値の平均値を示す。

判定部１４０ｂは、積算値の算出対象となる領域の各画像の輝度値を合計することで、積算値を算出する。積算値の算出対象となる領域は、標準偏差の算出対象となる領域と同じ領域である。判定部１４０ｂは、領域Ａ１の各画素の輝度値を合計することで、領域Ａ１の輝度値の積算値を算出する。

判定部１４０ｂは、領域Ａ２〜Ａ８についても、領域Ａ１と同様にして、標準偏差と、積算値とをそれぞれ算出する。

続いて、判定部１４０ｂが状態を判定する処理について説明する。なお、判定部１４０ｂは、重畳画像１１ａ，１１ｂの領域Ａ１〜Ａ８の標準偏差の期待値および積算値の期待値を予め保持しておくものとする。

たとえば、判定部１４０ｂは、式（２ａ）〜（２ｈ）により算出される差分値Ｄ１ａ〜Ｄ１ｈが、閾値Ｔｈ１−１以上であるか否かを判定する。式（２ａ）〜（２ｈ）において、σ_Ａ１〜σ_Ａ８は、領域Ａ１〜Ａ８の輝度値の標準偏差である。ｅ１_Ａ１〜ｅ１_Ａ８は、領域Ａ１〜Ａ８の標準偏差の期待値である。

Ｄ１ａ＝｜σ_Ａ１−ｅ１_Ａ１｜・・・（２ａ）
Ｄ１ｂ＝｜σ_Ａ２−ｅ１_Ａ２｜・・・（２ｂ）
Ｄ１ｃ＝｜σ_Ａ３−ｅ１_Ａ３｜・・・（２ｃ）
Ｄ１ｄ＝｜σ_Ａ４−ｅ１_Ａ４｜・・・（２ｄ）
Ｄ１ｅ＝｜σ_Ａ５−ｅ１_Ａ５｜・・・（２ｅ）
Ｄ１ｆ＝｜σ_Ａ６−ｅ１_Ａ６｜・・・（２ｆ）
Ｄ１ｇ＝｜σ_Ａ７−ｅ１_Ａ７｜・・・（２ｇ）
Ｄ１ｈ＝｜σ_Ａ８−ｅ１_Ａ８｜・・・（２ｈ）

また、判定部１４０ｂは、式（３ａ）〜（３ｈ）により算出される差分値Ｄ２ａ〜Ｄ２ｈが、閾値Ｔｈ１−２以上であるか否かを判定する。式（３ａ）〜（３ｈ）において、Ｉ_Ａ１〜Ｉ_Ａ８は、領域Ａ１〜Ａ８の輝度値の積算値である。ｅ２_Ａ１〜ｅ２_Ａ１は、領域Ａ１〜Ａ８の積算値の期待値である。

Ｄ２ａ＝｜Ｉ_Ａ１−ｅ２_Ａ１｜・・・（３ａ）
Ｄ２ｂ＝｜Ｉ_Ａ２−ｅ２_Ａ２｜・・・（３ｂ）
Ｄ２ｃ＝｜Ｉ_Ａ３−ｅ２_Ａ３｜・・・（３ｃ）
Ｄ２ｄ＝｜Ｉ_Ａ４−ｅ２_Ａ４｜・・・（３ｄ）
Ｄ２ｅ＝｜Ｉ_Ａ５−ｅ２_Ａ５｜・・・（３ｅ）
Ｄ２ｆ＝｜Ｉ_Ａ６−ｅ２_Ａ６｜・・・（３ｆ）
Ｄ２ｇ＝｜Ｉ_Ａ７−ｅ２_Ａ７｜・・・（３ｇ）
Ｄ２ｈ＝｜Ｉ_Ａ８−ｅ２_Ａ８｜・・・（３ｈ）

判定部１４０ｂは、差分値Ｄ１ａ〜Ｄ１ｈのいずれかが、閾値Ｔｈ１−１以上である場合、または、差分値Ｄ２ａ〜Ｄ２ｈのいずれかが、閾値Ｔｈ１−２以上である場合に、撮像画像に異常があると判定し、状態判定結果データ１３５ａの状態異常ビット領域に１を設定する。

判定部１４０ｂは、撮像画像に異常があると判定した場合には、領域Ａ１〜Ａ８の標準偏差を、状態判定結果データ１３５ａの標準偏差領域に保存する。また、領域Ａ１〜Ａ８の積算値を、状態判定結果データ１３５ａの積算値領域に保存する。

また、判定部１４０ｂは、撮像画像に異常があると判定した場合には、画像固着、映像マスク、階調変化、ノイズ重畳の有無を判定する処理を行う。一方、判定部１４０ｂは、撮像画像に異常がないと判定した場合には、処理を終了する。

図６は、正常時の標準偏差と積算値との分布の一例を示す図である。図６の重畳画像１１ａ，１１ｂは、信号伝送回路１２０を伝送して、後段画像処理部１４０に到達したものである。分布１５ａの横軸は、各領域Ａ１〜Ａ８を示すものである。左側の縦軸は、標準偏差の大きさに対応する軸である。各領域Ａ１〜Ａ８の標準偏差の大きさを「三角印」で示す。右側の縦軸は、積算値の大きさに対応する軸である。各領域Ａ１〜Ａ８の積算値の大きさを「円印」で示す。撮像画像に異常がない場合の分布は、図６の分布１５ａに示すものとなる。

判定部１４０ｂが「画像固着」の有無を判定する処理について説明する。判定部１４０ｂは、領域Ａ１〜Ａ４の標準偏差σ_Ａ１〜σ_Ａ４と、閾値Ｔｈ２とをそれぞれ比較し、３つ以上の標準偏差が、閾値Ｔｈ２以上でない場合に、撮像画像に画像固着が発生していると判定する。判定部１４０ｂは、撮像画像に画像固着が発生している判定した場合には、状態判定結果データ１３５ａの画像固着ビット領域に１を設定する。

図７は、画像固着発生時の標準偏差と積算値との分布の一例を示す図である。図７の重畳画像１１ａ，１１ｂは、信号伝送回路１２０を伝送して、後段画像処理部１４０に到達したものである。分布１５ｂの横軸は、各領域Ａ１〜Ａ８を示すものである。左側の縦軸は、標準偏差の大きさに対応する軸である。各領域Ａ１〜Ａ８の標準偏差の大きさを「三角印」で示す。右側の縦軸は、積算値の大きさに対応する軸である。各領域Ａ１〜Ａ８の積算値の大きさを「円印」で示す。撮像画像に画像固着が発生している場合の分布は、図７の分布１５ｂに示すものとなる。図７に示す分布１５ｂでは、領域Ａ２、Ａ３の標準偏差が、閾値Ｔｈ２未満となっている。図７において、黒色の三角印は、標準偏差の実際値であり、実線の円印は、積算値の実際値である。なお、標準偏差の実際値が、異常状態時の値であるものについては、正常値（期待値）を白色の三角印で示す。積算値の実際値が、異常状態時の値であるものついては、正常値（期待値）を破線の円印で示す。

たとえば、初段画像処理部１１０、または、初段画像処理部１１０と後段画像処理部１４０との間にある別の信号処理ＩＣ、メモリ、バッファ（信号伝送回路１２０）の不具合が発生すると、画像固着が発生すると考えられる。

判定部１４０ｂが「映像マスク」の有無を判定する処理について説明する。判定部１４０ｂは、領域Ａ５〜Ａ８の積算値Ｉ_Ａ５〜Ｉ_Ａ８のバラツキ（分散）を算出する。判定部１４０ｂは、算出した分散が閾値Ｔｈ３未満である場合に、撮像画像に映像マスクが発生していると判定する。判定部１４０ｂは、撮像画像に映像マスクが発生している判定した場合には、状態判定結果データ１３５ａの映像マスクビット領域に１を設定する。

図８は、映像マスク発生時の標準偏差と積算値との分布の一例を示す図である。図８の重畳画像１１ａ，１１ｂは、信号伝送回路１２０を伝送して、後段画像処理部１４０に到達したものである。分布１５ｃの横軸は、各領域Ａ１〜Ａ８を示すものである。左側の縦軸は、標準偏差の大きさに対応する軸である。各領域Ａ１〜Ａ８の標準偏差の大きさを「三角印」で示す。右側の縦軸は、積算値の大きさに対応する軸である。各領域Ａ１〜Ａ８の積算値の大きさを「円印」で示す。撮像画像に映像マスクが発生している場合の分布は、図８の分布１５ｃに示すものとなる。図８に示す分布１５ｃでは、各領域Ａ１〜Ａ８の積算値のバラツキが少なく、分散が小さくなる。図８において、黒色の三角印は、標準偏差の実際値であり、実線の円印は、積算値の実際値である。なお、標準偏差の実際値が、異常状態時の値であるものについては、正常値（期待値）を白色の三角印で示す。積算値の実際値が、異常状態時の値であるものついては、正常値（期待値）を破線の円印で示す。

初段画像処理部１１０、または、初段画像処理部１１０と後段画像処理部１４０との間にある別の信号処理ＩＣがエラーを検出した場合に、エラー状態に応じて輝度の異なる単一色のマスクを、画像に重畳することがある。このマスクが、映像マスクとして発生する。

判定部１４０ｂが「階調変化（階調跳び）」の有無を判定する処理について説明する。判定部１４０ｂは、領域Ａ１〜Ａ４の積算値と、それぞれ期待値との差分が全て閾値Ｔｈ４以上である場合に、撮像画像に階調変化は発生していると判定する。たとえば、判定部１４０ｂは、｜Ｉ_Ａ１−ｅ２_Ａ１｜、｜Ｉ_Ａ２−ｅ２_Ａ２｜、｜Ｉ_Ａ３−ｅ２_Ａ３｜、｜Ｉ_Ａ４−ｅ２_Ａ４｜の全てが、閾値Ｔｈ４以上である場合に、撮像画像に階調変化が発生していると判定する。判定部１４０ｂは、撮像画像に階調変化が発生している判定した場合には、状態判定結果データ１３５ａの階調変化ビット領域に１を設定する。

図９は、階調変化発生時の標準偏差と積算値との分布の一例を示す図である。図９の重畳画像１１ａ，１１ｂは、信号伝送回路１２０を伝送して、後段画像処理部１４０に到達したものである。分布１５ｄの横軸は、各領域Ａ１〜Ａ８を示すものである。左側の縦軸は、標準偏差の大きさに対応する軸である。各領域Ａ１〜Ａ８の標準偏差の大きさを「三角印」で示す。右側の縦軸は、積算値の大きさに対応する軸である。各領域Ａ１〜Ａ８の積算値の大きさを「円印」で示す。撮像画像に階調変化が発生している場合の分布は、図９の分布１５ｄに示すものとなる。図９に示す分布１５ｄでは、領域Ａ１〜Ａ４の積算値が、全て閾値Ｔｈ４以上である。図９において、黒色の三角印は、標準偏差の実際値であり、実線の円印は、積算値の実際値である。なお、積算値の実際値が、異常状態時の値であるものついては、正常値（期待値）を破線の円印で示す。

たとえば、初段画像処理部１１０と後段画像処理部１４０との間にある信号伝送回路１２０（または、別のＩＣ）の不具合や、経年劣化による半田クラックの発生により映像信号ラインのショートやオープンが発生している場合に、階調変化が発生すると考えられる。

判定部１４０ｂが「ノイズ重畳」の有無を判定する処理について説明する。判定部１４０ｂは、領域Ａ５〜Ａ８の標準偏差が全て閾値Ｔｈ５以上である場合に、撮像画像にノイズ重畳が発生していると判定する。判定部１４０ｂは、ノイズ重畳が発生していると判定した場合には、状態判定結果データ１３５ａのノイズ重畳ビット領域に１を設定する。

図１０は、ノイズ重畳発生時の標準偏差と積算値との分布の一例を示す図である。図１０の重畳画像１１ａ，１１ｂは、信号伝送回路１２０を伝送して、後段画像処理部１４０に到達したものである。分布１５ｅの横軸は、各領域Ａ１〜Ａ８を示すものである。左側の縦軸は、標準偏差の大きさに対応する軸である。各領域Ａ１〜Ａ８の標準偏差の大きさを「三角印」で示す。右側の縦軸は、積算値の大きさに対応する軸である。各領域Ａ１〜Ａ８の積算値の大きさを「円印」で示す。撮像画像にノイズ重畳が発生している場合の分布は、図１０の分布１５ｅに示すものとなる。図１０に示す分布１５ｅでは、領域Ａ５〜Ａ８の標準偏差が、全て閾値Ｔｈ５以上となっている。図７において、黒色の三角印は、標準偏差の実際値であり、実線の円印は、積算値の実際値である。なお、標準偏差の実際値が、異常状態時の値であるものについては、正常値（期待値）を白色の三角印で示す。積算値の実際値が、異常状態時の値であるものついては、正常値（期待値）を破線の円印で示す。

信号伝送中に他の信号ラインからのノイズや、静電気等のノイズの影響により、ノイズ重畳が発生すると考えられる。

上記のように、判定部１４０ｂは、撮像画像に異常があると判定した場合には、画像固着、映像マスク、階調変化、ノイズ重畳の有無を判定する処理を行い、状態判定結果データ１３５ａにビットを設定する。判定部１４０ｂは、状態判定結果データ１３５ａを、通知部１４０ｄに出力する。

図１の説明に戻る。解析処理部１４０ｃは、画像入力部１４０ａから重畳画像１１ａ，１１ｂを取得し、重畳画像１１ａ，１１ｂの領域のうち、未使用領域以外の領域（以下、センシング領域）に対して、各種のセンシング処理を行う処理部である。

たとえば、解析処理部１４０ｃは、センシング領域からエッジ等を検出し、パターンマッチング等を行うことで、歩行者、他の車両等を検出する。解析処理部１４０ｃは、センシング結果を、車載カメラシステムの表示装置等に出力してもよい。また、解析処理部１４０ｃは、センシング結果を、ブレーキ制御を行う制御装置に通知してもよい。

通知部１４０ｄは、状態判定結果データ１３５ａを基にして、各種の通知、対応を行う処理部である。通知部１４０ｄは、状態判定結果データ１３５ａを参照し、状態異常ビット領域に「１」が設定されている場合に、車載カメラシステムの表示装置等に、認識エラーのメッセージを表示させる。たとえば、通知部１４０ｄは、「＜認識エラー＞周囲をよく確認して運転してください」なるメッセージを表示させる。

また、通知部１４０ｄは、状態判定結果データ１３５ａを参照し、状態異常ビット領域に「１」が設定されている場合において、他の各ビット領域を参照し、各処理を実行する。以下において、画像固着ビット領域、映像マスクビット領域、階調変化ビット領域、ノイズ重畳ビット領域のビットに応じた通知部１４０ｄの処理について説明する。

「画像固着ビット領域」に１が設定されている場合の通知部１４０ｄの処理について説明する。通知部１４０ｄは、画像固着ビット領域に「１」が設定されている場合には、リセット命令を、初段画像処理部１１０に出力する。通知部１４０ｄは、信号伝送回路１２０を介して、リセット命令を初段画像処理部１１０に出力してもよいし、他の経路を介して、リセット命令を初段画像処理部１１０に出力してもよい。

「映像マスクビット領域」に１が設定されている場合の通知部１４０ｄの処理について説明する。通知部１４０ｄは、映像マスクビット領域に「１」が設定されている場合には、状態判定結果データ１３５ａの積算値領域から積算値を取得し、積算値に応じた処理を実行する。また、通知部１４０ｄは、リセット命令を、初段画像処理部１１０に出力する。

「階調変化ビット領域」に１が設定されている場合の通知部１４０ｄの処理について説明する。通知部１４０ｄは「カメラが故障している可能性があります」なるメッセージを、車載カメラシステムの表示装置等に表示させる。

「ノイズ重畳ビット領域」に１が設定されている場合の通知部１４０ｄの処理について説明する。通知部１４０ｄは、ノイズ重畳ビット領域に１が設定されているか否かによらず、処理をスキップする。

ところで、通知部１４０ｄは、状態判定結果データ１３５ａにおいて、状態異常ビット領域に「１」が設定され、かつ、画像固着ビット領域、映像マスクビット領域、階調変化ビット領域、ノイズ重畳ビット領域のビットが全て「０」である場合には、予期せぬエラーが発生していると判定する。この場合には、通知部１４０ｄは「予期せぬエラーが発生しています」なるメッセージを、車載カメラシステムの表示装置等に表示させる。

［１−２．第１の実施形態に係る撮像装置の処理手順］
図１１は、第１の実施形態に係る撮像装置の処理手順を示すフローチャートである。図１１に示すように、撮像装置１００の撮像素子部１１０ａは、撮像画像の取得を開始する（ステップＳ１０１）。

撮像装置１００の重畳部１１０ｂは、撮像画像にパターン画像を重畳し、重畳画像を生成する（ステップＳ１０２）。撮像装置１００の画像出力部１１０ｃは、重畳画像を画像処理部１３０、後段画像処理部１４０に向けて伝送する（ステップＳ１０３）。

撮像装置１００の画像入力部１４０ａは、信号伝送回路１２０を伝送された重畳画像を取得する（ステップＳ１０４）。撮像装置１００の判定部１４０ｂは、状態判定処理を行う（ステップＳ１０５）。撮像装置１００の通知部１４０ｄは、通知処理を実行する（ステップＳ１０６）。

撮像装置１００は、処理を継続する場合には（ステップＳ１０７，Ｙｅｓ）、ステップＳ１０２に移行する。撮像装置１００は、処理を継続しない場合には（ステップＳ１０７，Ｎｏ）、処理を終了する。

続いて、図１１のステップＳ１０５に示した判定部１４０ｂが実行する状態判定処理の処理手順について説明する。図１２は、状態判定処理の処理手順を示すフローチャートである。図１２に示すように、撮像装置１００の判定部１４０ｂは、重畳画像１１ａ，１１ｂから、領域Ａ１〜Ａ８の輝度値の標準偏差、輝度値の積算値を算出する（ステップＳ２０１）。

判定部１４０ｂは、領域Ａ１〜Ａ８のいずれかの標準偏差、積算値とそれぞれの期待値との差分が閾値（Ｔｈ１−１、Ｔｈ１−２）以上であるか否かを判定する（ステップＳ２０２）。判定部１４０ｂは、領域Ａ１〜Ａ８のいずれかの標準偏差、積算値とそれぞれの期待値との差分が閾値Ｔｈ以上でない場合には（ステップＳ２０２，Ｎｏ）、状態判定処理を終了する。

一方、判定部１４０ｂは、領域Ａ１〜Ａ８のいずれかの標準偏差、積算値とそれぞれの期待値との差分が閾値Ｔｈ以上となる場合には（ステップＳ２０２，Ｙｅｓ）、状態異常ビット領域に１を設定する（ステップＳ２０３）。判定部１４０ｂは、領域Ａ１〜Ａ８の標準偏差、積算値を状態判定結果データ１３５ａに保存する（ステップＳ２０４）。

判定部１４０ｂは、領域Ａ１〜Ａ４の３つ以上において、標準偏差が閾値Ｔｈ２以上であるか否かを判定する（ステップＳ２０５）。判定部１４０ｂは、領域Ａ１〜Ａ４の３つ以上において、標準偏差が閾値Ｔｈ２以上でない場合には（ステップＳ２０５，Ｎｏ）、画像固着ビット領域に１を設定し（ステップＳ２０６）、ステップＳ２０９に移行する。

一方、判定部１４０ｂは、領域Ａ１〜Ａ４の３つ以上において、標準偏差が閾値Ｔｈ２以上である場合には（ステップＳ２０５，Ｙｅｓ）、ステップＳ２０７に移行する。判定部１４０ｂは、領域Ａ５〜Ａ８において、積算値の分散が閾値Ｔｈ３未満であるか否かを判定する（ステップＳ２０７）。

判定部１４０ｂは、積算値の分散が閾値Ｔｈ３未満である場合には（ステップＳ２０７，Ｙｅｓ）、映像マスクビット領域に１を設定し（ステップＳ２０８）、ステップＳ２１１に移行する。

一方、判定部１４０ｂは、積算値の分散が閾値Ｔｈ３未満でない場合には（ステップＳ２０７，Ｎｏ）、ステップＳ２０９に移行する。判定部１４０ｂは、領域Ａ１〜Ａ４の積算値とそれぞれの期待値との差分が全て閾値Ｔｈ４以上であるか否かを判定する（ステップＳ２０８）。

判定部１４０ｂは、領域Ａ１〜Ａ４の積算値とそれぞれの期待値との差分が全て閾値Ｔｈ４以上でない場合には（ステップＳ２０９，Ｎｏ）、ステップＳ２１１に移行する。判定部１４０ｂは、領域Ａ１〜Ａ４の積算値とそれぞれの期待値との差分が全て閾値Ｔｈ４以上である場合には（ステップＳ２０９，Ｙｅｓ）、階調変化ビット領域に１を設定し（ステップＳ２１０）、ステップＳ２１１に移行する。

一方、判定部１４０ｂは、領域Ａ５〜Ａ８の積算値とそれぞれの期待値との差分が全て閾値Ｔｈ４以上である場合には（ステップＳ２１１，Ｙｅｓ）、ノイズ重畳ビット領域に１を設定する（ステップＳ２１２）。判定部１４０ｂは、状態判定結果データ１３５ａを、記憶部１３５に保存する（ステップＳ２１３）。

続いて、図１１のステップＳ１０６に示した判定部１４０ｂが実行する通知処理の処理手順について説明する。図１３は、通知処理の処理手順を示すフローチャートである。撮像装置１００の通知部１４０ｄは、状態判定結果データ１３５ａを取得する（ステップＳ３０１）。

通知部１４０ｄは、状態異常ビット領域に１が設定されているか否かを判定する（ステップＳ３０２）。通知部１４０ｄは、状態異常ビット領域に１が設定されていない場合には（ステップＳ３０２，Ｎｏ）、通知処理を終了する。

一方、通知部１４０ｄは、状態異常ビット領域に１が設定されている場合には（ステップＳ３０２，Ｙｅｓ）、「＜認識エラー＞周囲をよく確認して運転してください」なるメッセージを通知する（ステップＳ３０３）。

通知部１４０ｄは、画像固着ビット領域に１が設定されているか否かを判定する（ステップＳ３０４）。通知部１４０ｄは、画像固着ビット領域に１が設定されている場合には（ステップＳ３０４，Ｙｅｓ）、初段画像処理部１１０に対してリセット命令を送信する（ステップＳ３０５）。

一方、通知部１４０ｄは、画像固着ビット領域に１が設定されていない場合には（ステップＳ３０４，Ｎｏ）、ステップＳ３０６に移行する。通知部１４０ｄは、映像マスクビット領域に１が設定されているか否かを判定する（ステップＳ３０６）。通知部１４０ｄは、映像マスクビット領域に１が設定されている場合には（ステップＳ３０６，Ｙｅｓ）、積算値を取得し、積算値に応じた処理を実施し、積算値を保存し（ステップＳ３０７）、ステップＳ３０５に移行する。ステップ３０７では、積算値に応じて、フラッシュメモリ読出しエラーか画素エラーかをエラー判断情報に基づいて判断する。フラッシュメモリ読出しエラーであれば、フラッシュメモリからの読出し処理を再度行いステップＳ３０１以降の処理を再度行う。そして、フラッシュメモリ読出しエラーを繰り返した場合は、積算値を保存してから、Ｓ３０５に移行しリセット処理を行う。画素エラーの場合は、積算値を保存してから、Ｓ３０５に移行しリセット処理を行う。エラー判断に際しては、積算値に対応したエラーの種類を示すエラー判断情報を、予め実験ないし学習等で、準備しておく。

通知部１４０ｄは、映像マスクビット領域に１が設定されていない場合には（ステップＳ３０６，Ｎｏ）、ステップＳ３０８に移行する。通知部１４０ｄは、階調変化ビット領域に１が設定されているか否かを判定する（ステップＳ３０８）。通知部１４０ｄは、階調変化ビット領域に１が設定されている場合には（ステップＳ３０８，Ｙｅｓ）、「カメラが故障している可能性があります」なるメッセージを通知する（ステップＳ３０９）。

通知部１４０ｄは、階調変化ビット領域に１が設定されていない場合には（ステップＳ３０８，Ｎｏ）、ステップＳ３１０に移行する。通知部１４０ｄは、ノイズ重畳ビット領域に１が設定されているか否かを判定する（ステップＳ３１０）。通知部１４０ｄは、階調変化ビット領域に１が設定されている場合には（ステップＳ３１０，Ｙｅｓ）、通知処理を終了する。

一方、通知部１４０ｄは、階調変化ビット領域に１が設定されていない場合には（ステップＳ３０８，Ｎｏ）、「予期せぬエラーが発生しています」なるメッセージを通知する（ステップＳ３１１）。

［１−３．第１の実施形態に係る撮像装置の効果］
上述してきたように、第１の実施形態に係る撮像装置１００は、撮像画像の未使用領域に画像を重畳した重畳画像を生成し、初段画像処理部１１０から後段画像処理部１４０に伝送された重畳画像のうち、画像の重畳された領域の特徴に基づいて、撮像画像の状態を判定する。これにより、初段画像処理部１１０から伝送された撮像画像に何らかの要因で意図しない状態の変化が起きた場合に、係る状態の変化を判定することができる。状態の変化を判定することで、初段画像処理部１１０に対するリセット命令による対応や、運転手に対する注意喚起を行うことができる。

撮像装置１００は、撮像画像の領域のうちイメージサークル外となる未使用領域に画像を重畳した重畳画像を生成する。このため、撮像画像に対する各種の画像処理に影響を与えることなく、撮像画像に異常があるか否かを判定することができる。

撮像装置１００は、撮像画像の領域のうち解析処理部１４０ｃのセンシング対象外となる未使用領域に画像を重畳して重畳画像を生成する。このため、解析処理部１４０ｃが行う解析処理に影響を与えることなく、撮像画像に異常があるか否かを判定することができる。

撮像装置１００は、撮像画像の未使用領域に、単一輝度の画像またはグラデーションの画像を重畳して、重畳画像を生成する。かかる重畳画像を用いることで、撮像画像に異常が発生した場合に、状態異常の要因を特定することができる。

撮像装置１００は、撮像画像の未使用領域の四隅に、画像を重畳して、重畳画像を生成する。このため、それぞれ輝度の異なる複数の単一輝度の画像、グラデーション画像を、重畳画像に含めることができ、これによって、状態異常の要因を特定することができる。

撮像装置１００は、バッファやメモリ、各種の信号処理ＩＣを有する信号伝送回路１２０を伝送した重畳画像を基にして、撮像画像の状態を判定する。このため、信号伝送回路１２０を伝送することで発生する状態異常を判定することができる。

撮像装置１００は、重畳画像に重畳された単一輝度の画像、グラデーションの画像を基にして、標準偏差および輝度の積算値を算出し、標準偏差および積算値を基にして、撮像画像の状態を判定する。これにより、複数の状態異常の要因から、特定の要因を判定することができる。たとえば、撮像装置１００は、画像固着、映像マスク、階調変化、ノイズ重畳などの状態異常を判定することができる。

撮像装置１００は、状態判定結果データ１３５ａの判定結果を基にして、各種の通知を行う。これにより、撮像画像の状態や、異常が含まれる場合の要因を通知することができる。

（２．第１の実施形態の変形例）
［２−１．第１の実施形態の重畳部の変形例］
上述した実施形態で説明した重畳部１１０ｂでは、撮像画像の四隅にパターン画像を重畳していたがこれに限定されるものではない。重畳部１１０ｂは、未使用領域の端に、パターン画像を重畳してもよい。図１４は、重畳部のその他の処理を説明するための図である。また、パターン画像も上述以外のパターンでも良い。また、チェック画像としてパターン画像以外の画像でも良い。

図１４に示す例では、重畳画像１３ａ，１３ｂを示す。重畳画像１３ａは、２ｎ−１番目（ｎは自然数）の撮像画像１２ａの未使用領域に対応する領域Ａ９にグラデーションの画像を重畳したものである。重畳画像１３ｂは、２ｎ番目（ｎは自然数）の撮像画像１２ｂの未使用領域に対応する領域Ａ１０，Ａ１１，Ａ１２，Ａ１３に、単一輝度の画像を重畳する。Ａ１０，Ａ１１，Ａ１２，Ａ１３に重畳される単一輝度の輝度値はそれぞれ異なる。図１４において、Ｈ１は、イメージサークルの縦方向の幅を示すものである。重畳部１１０ｂは、領域Ａ９〜Ａ１３を、Ｈ１に含まれない領域に設定する。重畳部１１０ｂは、重畳画像１３ａ，１３ｂを生成し、画像出力部１１０ｃは、重畳画像１３ａ，１３ｂを順番に、信号伝送回路１２０に伝送する。

判定部１４０ｂは、重畳画像１３ａ，１３ｂを基にして、撮像画像の状態を判定する。たとえば、判定部１４０ｂは、図２、図３で説明した領域Ａ１，Ａ２，Ａ３，Ａ４の代わりに、領域Ａ９の輝度値の標準偏差、積算値を用いる。判定部１４０ｂは、図２、図３で説明した、領域Ａ５，Ａ６，Ａ７，Ａ８の代わりに、領域Ａ１０，Ａ１１，Ａ１２，Ａ１３の標準偏差、積算値を用いる。また、判定部１４０ｂは、管理者に設定されるその他の判定基準に基づいて、撮像画像の状態を判定してもよい。

［２−２．第１の実施形態の判定部の変形例（１）］
上述した実施形態で説明した判定部１４０ｂでは、領域Ａ１〜Ａ８に含まれるパターン画像の標準偏差を算出して、撮像画像の状態を判定していたが、標準偏差の代わりに、Ｓ／Ｎ(signal-to-noise ratio)を用いてもよい。たとえば、判定部１４０ｂは、式（４）を基にして、Ｓ／Ｎを算出する。式（４）において、「σ」は、式（１）により算出される標準偏差である。「Ｙ_ＡＶＥ」は、標準偏差の算出対象となる領域（対象エリア内）の全画素の輝度値の平均値を示す。

また、判定部１４０ｂは、パターン画像の積算値を算出する代わりに、輝度値の平均値や、チェックサム値を用いて、撮像画像の状態を判定してもよい。

［２−３．第１の実施形態の判定部の変形例（２）］
上述した実施形態で説明した判定部１４０ｂでは、異常な撮像画像の状態として、画像固着、映像マスク、階調変化、ノイズ重畳を判定していたが、これに限定されるものではない。たとえば、判定部１４０ｂは、異常な撮像画像の状態として「画像反転」を検出することもできる。

たとえば、判定部１４０ｂは、領域Ａ１〜Ａ４の標準偏差σ_Ａ１〜σ_Ａ４と、領域Ａ５〜Ａ８の標準偏差の期待値ｅ１_Ａ５〜ｅ１_Ａ８との差分がそれぞれ閾値Ｔｈ６未満である場合に、撮像画像に画像反転が発生していると判定する。判定部１４０ｂは、撮像画像に画像反転が発生している判定した場合には、状態判定結果データ１３５ａの画像反転ビット領域（図示略）に１を設定する。

図１５は、画像反転発生時の標準偏差と積算値との分布の一例を示す図である。図１５の重畳画像１１ａ，１１ｂは、信号伝送回路１２０を伝送して、後段画像処理部１４０に到達したものである。分布１５ｆの横軸は、各領域Ａ１〜Ａ８を示すものである。左側の縦軸は、標準偏差の大きさに対応する軸である。各領域Ａ１〜Ａ８の標準偏差の大きさを「三角印」で示す。右側の縦軸は、積算値の大きさに対応する軸である。各領域Ａ１〜Ａ８の積算値の大きさを「円印」で示す。撮像画像に画像反転が発生している場合の分布は、図１５の分布１５ｆに示すものとなる。図１５に示す分布１５ｆでは、領域Ａ１〜Ａ４の標準偏差、積算値の期待値と、領域Ａ５〜Ａ８の標準偏差、積算値の期待値とが左右に反転している。図１５において、黒色の三角印は、標準偏差の実際値であり、実線の円印は、積算値の実際値である。なお、標準偏差の実際値が、異常状態時の値であるものについては、正常値（期待値）を白色の三角印で示す。積算値の実際値が、異常状態時の値であるものついては、正常値（期待値）を破線の円印で示す。

（３．第２の実施形態）
［３−１．第２の実施形態に係る画像処理システムの構成］
図１６は、第２の実施形態に係る画像処理システムの一例を示す図である。図１６に示すように、この画像処理システム５は、撮像装置２００、表示装置３００、ディーラーサーバ４００を有する。

撮像装置２００は、撮像画像の状態を判定する装置である。撮像装置２００は、撮像画像の状態を判定し、異常を検出した場合には、状態判定結果データ１３５ａを、ディーラーサーバ４００に送信する。また、撮像装置２００は、状態異常に対処するためのメッセージを、表示装置３００に出力して表示させる。

表示装置３００は、撮像装置２００から出力される撮像画像の情報を表示する装置である。また、表示装置３００は、撮像装置２００から出力されるメッセージを表示する。たとえば、表示装置３００は、カーナビゲーションシステムの液晶ディスプレイ等の表示装置に対応する。

ディーラーサーバ４００は、撮像装置２００から送信される状態判定結果データ２３５ａを受信し、状態判定結果データ２３５ａの履歴を保持する。ディーラーサーバ４００は、状態判定結果データ２３５ａの履歴を用いて、各種のサービスを提供する。

［３−２．第２の実施形態に係る撮像装置の機能構成］
続いて、第２の実施形態に係る撮像装置の機能構成の一例について説明する。図１６に示すように、撮像装置２００は、初段画像処理部２１０と、画像２分岐部２２０と、記憶部２３５と、後段画像処理部２４０，２５０と、ＣＡＮ（Controller Area Network）マイコン２６０と、バス２６５と、無線通信部２７０とを有する。

初段画像処理部２１０、画像２分岐部２２０、後段画像処理部２４０，２５０、ＣＡＮマイコン２６０は、たとえば、ＩＣ等により実現される。

初段画像処理部２１０は、画像２分岐部２２０に接続される。後段画像処理部２４０，２５０は、画像２分岐部２２０に接続に接続される。ＣＡＮマイコン２６０は、後段画像処理部２４０，２５０に接続される。ＣＡＮマイコン２６０は、バス２６５を介して、無線通信部２７０に接続される。また、ＣＡＮマイコン２６０は、図示しない信号線により、初段画像処理部２１０、画像２分岐部２２０、後段画像処理部２４０，２５０に接続する。

初段画像処理部２１０は、CMOS、CCD等のイメージセンサー等に対応する装置である。たとえば、初段画像処理部２１０は、撮像素子部２１０ａと、重畳部２１０ｂと、画像出力部２１０ｃとを有する。初段画像処理部２１０は、ＣＡＮマイコンからリセット命令を受信した場合には、再起動する。

撮像素子部２１０ａは、カメラ（図示略）のレンズから入ってきた光を電気信号に変換することで映像信号（撮像画像）を生成する（取得する）処理部である。撮像素子部２１０ａは、撮像画像を、重畳部２１０ｂに出力する。

重畳部２１０ｂは、撮像画像の未使用領域に画像を重畳した重畳画像を生成する処理部である。重畳部２１０ｂは、重畳部１１０ｂと同様にして、重畳画像１１ａ，１１ｂを生成する。重畳部２１０ｂは、重畳画像１１ａ，１１ｂを順番に、画像出力部２１０ｃに出力する。

画像出力部２１０ｃは、重畳部２１０ｂから、重畳画像１１ａ，１１ｂを取得し、取得した重畳画像１１ａ，１１ｂを、画像２分岐部２２０に出力する処理部である。重畳画像１１ａ，１１ｂは、画像２分岐部２２０を伝送して、後段画像処理部２４０，２５０に到達する。

画像２分岐部２２０は、初段画像処理部２１０から受け付けた重畳画像１１ａ，１１ｂ等の信号を伝送する回路である。たとえば、画像２分岐部２２０には、バッファ、メモリ、各種の信号処理ＩＣが含まれており、重畳画像１１ａ，１１ｂ等は、かかるバッファ、メモリ、各種の信号処理ＩＣを経由して、後段画像処理部２４０，２５０に伝送される。

記憶部２３５は、状態判定結果データ２３５ａを保持する記憶装置である。記憶部２３５は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、ＨＤＤなどの記憶装置に対応する。記憶部２３５は、揮発性メモリ、不揮発性メモリのどちらかでもよいし、両方使用してもよい。

状態判定結果データ２３５ａは、撮像画像の状態の判定結果の情報である。状態判定結果データ２３５ａのデータ構造は、図４で説明した、状態判定結果データ１３５ａのデータ構造と同様である。

後段画像処理部２４０は、重畳画像１１ａ，１１ｂを基にして、撮像画像の状態を判定し、状態判定結果データ２３５ａを記憶部２３５に保存する処理部である。後段画像処理部２４０は、撮像画像の異常を検出した場合には、状態判定結果データ２３５ａを、ＣＡＮマイコン２６０に出力する。また、後段画像処理部２４０は、重畳画像１１ａ，１１ｂに対して、センシング処理等を実行する。

画像入力部２４０ａは、初段画像処理部２１０から伝送される重畳画像１１ａ，１１ｂを取得する処理部である。画像入力部２４０ａは、重畳画像１１ａ，１１ｂを、判定部２４０ｂに出力する。また、画像入力部２４０ａは、重畳画像１１ａ，１１ｂを、解析処理部２４０ｃに出力する。

判定部２４０ｂは、重畳画像１１ａ，１１ｂを基にして、撮像画像の状態を判定する処理部である。判定部２４０ｂは、判定結果に応じて、状態判定結果データ２３５ａの各ビット領域に「１」を設定する。判定部２４０ｂが重畳画像１１ａ，１１ｂを基にして、撮像画像の状態を判定する処理は、判定部１４０ｂが撮像画像の状態を判定する処理と同様である。

解析処理部２４０ｃは、画像入力部２４０ａから重畳画像１１ａ，１１ｂを取得し、重畳画像１１ａ，１１ｂの領域のうち、未使用領域以外の領域（センシング領域）に対して、各種のセンシング処理を行う処理部である。解析処理部２４０ｃの解析処理は、解析処理部１４０ｃのセンシング処理に対応する。

通知部２４０ｄは、状態判定結果データ２３５ａを参照し、状態異常ビット領域に「１」が設定されている場合に、状態判定結果データ２３５ａを、ＣＡＮマイコン２６０に出力する処理部である。なお、通知部２４０ｄは、通知部１４０ｄと同様にして、各種のメッセージの通知を行ってもよい。

後段画像処理部２５０は、画像２分岐部２２０から伝送される重畳画像を、Viewing用の画像として、表示装置３００に出力し、表示させる処理部である。

ＣＡＮマイコン２６０は、通知部２４０ｄから状態判定結果データ２３５ａを取得した場合に、各種の通知、対応を行う処理部である。たとえば、ＣＡＮマイコン２６０は、図１２で説明した通知部１４０ｄと同様の処理を行って、メッセージの情報を生成し、メッセージを、表示装置３００に表示させる。ＣＡＮマイコン２６０は、状態判定結果データ２３５ａの画像固着ビット領域に１が設定されている場合、映像マスクビット領域に１が設定されている場合には、初段画像処理部２１０に対してリセット命令を送信する。また、ＣＡＮマイコン２６０は、状態判定結果データ２３５ａを、無線通信部２７０に出力する。

無線通信部２７０は、ディーラーサーバ４００との間で無線通信を実行し、ＣＡＮマイコン２６０から受信する状態判定結果データ２３５ａを、ディーラーサーバ４００に送信する処理部である。無線通信部２７０は、無線通信装置に対応する。なお、撮像装置２００は、有線によって、ディーラーサーバ４００に接続してもよいし、他のネットワークを介して、ディーラーサーバ４００に接続してもよい。

［３−３．第２の実施形態に係る撮像装置の処理手順］
図１７は、第２の実施形態に係る撮像装置の処理手順を示すフローチャートである。図１７に示すように、撮像装置２００の撮像素子部２１０ａは、撮像画像の取得を開始する（ステップＳ４０１）。

撮像装置２００の重畳部２１０ｂは、撮像画像にパターン画像を重畳し、重畳画像を生成する（ステップＳ４０２）。撮像装置２００の画像出力部２１０ｃは、重畳画像を後段画像処理部２４０，２５０に向けて伝送する（ステップＳ４０３）。

撮像装置２００の画像入力部２４０ａは、画像２分岐部２２０から伝送された重畳画像を取得する（ステップＳ４０４）。撮像装置２００の判定部２４０ｂは、状態判定処理を行う（ステップＳ４０５）。撮像装置２００の通知部２４０ｄは、通知処理を実行する（ステップＳ４０６）。

撮像装置２００のＣＡＮマイコン２６０は、状態判定結果データ２３５ａの状態異常ビット領域に１が設定されているか否かを判定する（ステップＳ４０７）。ＣＡＮマイコン２６０は、状態異常ビット領域に１が設定されていない場合には（ステップＳ４０７，Ｎｏ）、ステップＳ４０９に移行する。

ＣＡＮマイコン２６０は、状態異常ビット領域に１が設定されている場合には（ステップＳ４０７，Ｙｅｓ）、状態判定結果データ２３５ａを、ディーラーサーバ４００に送信する（ステップＳ４０８）。

撮像装置２００は、処理を継続する場合には（ステップＳ４０９，Ｙｅｓ）、ステップＳ４０２に移行する。撮像装置２００は、処理を継続しない場合には（ステップＳ４０９，Ｎｏ）、処理を終了する。

図１７のステップＳ４０５に示した状態判定処理は、図１２に示した状態判定処理に対応する。図１７のステップＳ４０６に示した通知処理は、図１３に示した通知処理に対応する。

［３−４．第２の実施形態に係る撮像装置の効果］
上述してきたように、第２の実施形態に係る撮像装置２００は、撮像画像の未使用領域に画像を重畳した重畳画像を生成し、初段画像処理部２１０から後段画像処理部２４０に伝送された重畳画像のうち、画像の重畳された領域の特徴に基づいて、撮像画像の状態を判定する。これにより、初段画像処理部２１０から伝送された撮像画像に何らかの要因で意図しない状態の変化が起きた場合に、係る状態の変化を判定することができる。状態の変化を判定することで、初段画像処理部２１０に対するリセット命令による対応や、運転手に対する注意喚起を行うことができる。

なお、図１６で説明したように、初段画像処理部２１０から出力された重畳画像（映像信号）は画像２分岐部２２０によって、Sensing用の後段画像処理部２４０と、Viewing用の後段画像処理部２５０と、に２分配されている。この場合に、後段画像処理部２４０，２５０に伝送される重畳画像は、画像２分岐部２２０を経由するため、必ずしも同じ重畳画像にならず、異なる状態異常が発生する場合があり得る。

たとえば、Viewing用の後段画像処理部２５０には元の重畳画像がきちんと入力できているが、Sensing用の後段画像処理部２４０へ入力される重畳画像は何らかの異常状態が発生する場合がある。その場合、Sensing用の後段画像処理部２４０から誤ったセンシング結果が出力される可能性があるが、ユーザが確認している画像（重畳画像）はViewing用の後段画像処理部２５０からの出力であるため問題がなく、異常に気付くことはできない。このため、図１６で説明したように、初段画像処理部２１０とSensing用の後段画像処理部２４０を盛り込むことで、Sensing用の後段画像処理部２４０に入力される重畳画像に異常がある場合（後段画像処理部２５０に入力される重畳画像に異常がない場合でも）に、異常を検出することが可能となる。

［３−５．第２の実施形態に係るディーラーサーバのサービスの一例］
図１８は、ディーラーサーバが行うサービスの一例を説明するための図である。図１８に示すように、このサービスでは、ユーザ４と、車両３０と、ディーラー３１と、車両メーカ３２と、保険会社３３とが含まれることを想定する。

ユーザ４は、車両３０の所有者とする。車両３０は、図１６で説明した撮像装置２００を搭載する車両である。ディーラー３１は、ユーザ４に車両３０を販売した販売店であり、ディーラーサーバ４００を所有する。車両メーカ３２は、車両３０を製造した車両メーカである。保険会社３３は、ユーザ４が加入する保険の保険会社である。

車両３０に搭載された撮像装置２００は、撮像画像の異常状態を検出した場合に、無線通信により、状態判定結果データ２３５ａをディーラーサーバ４００に送信する。たとえば、撮像装置２００は、状態判定結果データ２３５ａを送信する場合に、車両３０や、ユーザ４を一意に識別する識別情報を付与してもよい。

ディーラーサーバ４００は、撮像装置２００から送信された状態判定結果データ２３５ａを受信し、記憶装置に状態判定結果データ２３５ａを保存する。ディーラー３１の販売員は、ディーラーサーバ４００を操作し、状態判定結果データ２３５ａにアクセスすることで、異常が検出された車両３０を特定する。

ディーラー３１の販売員は、状態判定結果データ２３５ａ等を車両メーカ３２に通知して、異常が発生した原因の解析、改善の依頼を行う。車両メーカ３２では、状態判定結果データ２３５ａを基にして、異常が発生した原因を解析する。車両メーカ３２は、原因、改善手段の連絡を、ディーラー３１に対して行う。

ディーラー３１の販売員は、原因、改善手段の連絡を受けると、ユーザ４に対してリコール、点検の案内を行うと共に、エビデンスを保険会社３３に通知する。エビデンスには、車載システムに異常が発生した原因の解析結果等が含まれる。

ユーザ４は、ディーラー３１からリコール、点検の案合いを応じることを前提として、保険料の割引を受けることができる旨の保険の案内を、保険会社３３から受け付ける。

図１８で説明したように、状態判定結果データ２３５ａを用いて、ディーラー３１、車両メーカ３２、保険会社が連携することで、ユーザ４にサービスを提供することができる。

（４．ハードウェア構成）
上述してきた各実施形態に係る撮像装置１００，２００は、たとえば、図１９に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る撮像装置１００を例に挙げて説明する。図１９は、撮像装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＩＣ群１４００、ＨＤＤ（Hard Disk Drive）１５００、通信インターフェイス１６００、及び入出力インターフェイス１７００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１５００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１５００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＩＣ群１４００は、初段画像処理部１１０，２１０、信号伝送回路１２０、画像処理部１３０、後段画像処理部１４０，２４０，２５０、画像２分岐部２２０等に対応するＩＣである。

ＨＤＤ１５００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１５００は、プログラムデータ１５５０の一例である本開示に係る画像処理プログラムを記録する記録媒体である。たとえば、ＩＣ群１４００が、画像処理プログラム１５５０を読み出して、処理を行うことで、撮像素子部１１０ａ、重畳部１１０ｂ、画像出力部１１０ｃ、画像入力部１４０ａ、判定部１４０ｂ、通知部１４０ｄ、解析処理部等の機能を実現してもよい。

通信インターフェイス１６００は、コンピュータ１０００が外部ネットワーク１６５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１７００は、入出力デバイス１７５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

また、ＨＤＤ１５００には、本開示に係る画像処理プログラムや、記憶部１３５内の状態判定結果データ１３５ａが格納される。なお、ＣＰＵ１１００は、プログラムデータ１５５０をＨＤＤ１５００から読み取って実行するが、他の例として、外部ネットワーク１６５０を介して、他の装置からこれらのプログラムを取得してもよい。

（５．その他の画像処理システム）
図２０は、その他の画像処理システム３０１の機能構成の一例を示す図である。図２０に示すように、この画像処理システム３０１は、撮像装置３１０と、信号伝送ネットワーク３２０と、画像処理装置３３０と、記憶装置３３５と、後段画像処理装置３４０とを有する。

撮像装置３１０は、撮像部３１０ａと、重畳部１１０ｂと、画像出力部１１０ｃとを有する。重畳部１１０ｂと、画像出力部１１０ｃに関する説明は、図１で説明した重畳部１１０ｂと、画像出力部１１０ｃに関する説明と同様である。撮像部３１０aは、CMOS,CCD等のイメージセンサ等に対応する。

信号伝送ネットワーク３２０は、撮像装置３１０から受け付けた重畳画像１１ａ，１１ｂ等の信号を伝送する回路である。信号伝送ネットワーク３２０に関する説明は、図１で説明した信号伝送回路１２０の説明と同様である。

画像処理装置３３０は、重畳画像１１ａ，１１ｂに含まれる未使用領域以外の領域を基にして、各種の画像処理を実行する処理部である。画像処理装置３３０に関する説明は、図１で説明した画像処理部１３０に関する説明と同様である。

記憶装置３３５は、状態判定結果データ１３５ａを保持する記憶装置である。記憶装置３３５は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、ＨＤＤなどの記憶装置に対応する。記憶装置３３５は、揮発性メモリ、不揮発性メモリのどちらかでもよいし、両方使用してもよい。記憶装置３３５に関する説明は、図１で説明した記憶部１３５に関する説明と同様である。

後段画像処理装置３４０は、重畳画像１１ａ，１１ｂを基にして、撮像画像の状態を判定し、状態判定結果データ１３５ａを記憶装置３３５に保存する処理部である。後段画像処理装置３４０は、状態判定結果データ１３５ａを、外部装置（図示略）等の他の回路に通知する。また、後段画像処理装置３４０は、重畳画像１１ａ，１１ｂに対して、解析処理等を実行する。

たとえば、後段画像処理装置３４０は、画像入力部１４０ａ、判定部１４０ｂ、解析処理部１４０ｃ、通知部１４０ｄを有する。画像入力部１４０ａ、判定部１４０ｂ、解析処理部１４０ｃ、通知部１４０ｄに関する説明は、図１で説明した画像入力部１４０ａ、判定部１４０ｂ、解析処理部１４０ｃ、通知部１４０ｄに関する説明と同様である。

（６．自動運転システムへの適用）
ところで、上述の本願のシステムは、図２１に示す自動運転システム（車両制御システム４１０）に適用することが可能である。上述のシステムを、車両制御システム４１０に適用する場合、通知部１４０ｄは、車両制御システム４１０（緊急事態回避部１７１）に、状態判定結果データを通知し、自動運転緊急対応モードの制御を行う。なお、以下、車両制御システム４１０が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

図２２は、自動運転緊急対応モードの処理手順を示すフローチャートである。図２２に示すように、車両制御システム４１０は、自動運転走行を開始する（ステップＳ５０１）。車両制御システム４１０は、通知部１４０ｄから、状態判定結果データを受信する（ステップＳ５０２）。

車両制御システム４１０は、状態ビットが異常でない場合には（ステップＳ５０３，Ｎｏ）、ステップＳ５０７に移行する。一方、車両制御システム４１０は、状態ビットが異常である場合には（ステップＳ５０３，Ｙｅｓ）、ステップＳ５０４に移行する。

車両制御システム４１０は、異常がノイズ異常だけで、かつ、ノイズ異常が継続して発生した時間が所定時間以内である場合には（ステップＳ５０４，Ｙｅｓ）、ステップＳ５０７に移行する。一方、車両制御システム４１０は、異常がノイズ異常だけではなかったり、ノイズ異常だけの場合でも所定時間継続している場合には（ステップＳ５０４，Ｎｏ）、ステップＳ５０６に移行する。なお、ステップＳ５０４の判定において、ノイズ異常が所定時間（１秒）継続している場合は、異常とし、継続しない場合は異常としない。

車両制御システム４１０は、車両が自動運転中の場合は、緊急対応モードの処理を実行する（ステップＳ５０６）。ステップＳ５０６において、緊急対応モードには、例１〜３が上げられる。例１：緊急停車処理を行う。ハザードランプ点滅、ホーンならす等を行うと同時に、ブレーキ制御等で減速し、車両を止める。例２：異常がノイズ異常、階調以上の場合は、自動運転モードを終了し、手動運転モードに切り替える。例３：例２で、運転者が運転できる状況ではなく手動運転モードに移行されない状態が所定の時間続いたら、例１の停止処理を行う。

車両制御システム４１０は、自動運転走行を継続する場合には（ステップＳ５０７，Ｙｅｓ）ステップＳ５０２に移行する。一方、車両制御システム４１０は、自動運転走行を継続しない場合には（ステップＳ５０７，Ｎｏ）、処理を終了する。

図２１は、本技術が適用され得る車両制御システム４１０の概略的な機能の構成例を示すブロック図である。車両制御システム４１０は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム４１１、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム４１０の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム４１０の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム４１０の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム４１０の各部に供給する。

データ取得部１０２は、車両制御システム４１０の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム４１０の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム４１０の各部から供給されるデータを送信したり、受信したデータを車両制御システム４１０の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム４１１に供給することにより、ボディ系システム４１１の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム４１１以外の各部に制御信号を供給し、ボディ系システム４１１の制御状態の通知等を行う。

ボディ系システム４１１は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム４１１は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム４１０の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部４３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム４１０の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部４３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム４１０の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部４３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム４１０の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部４３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム４１０の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム４１０の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム４１０の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム４１０の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム４１０の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム４１０の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム４１０の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム４１０の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部４３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部４３５は、自車の動作の制御を行う。動作制御部４３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。また、緊急事態回避部１７１は、通知部１４０ｄからの緊急対応モードの指示を受けると緊急回避モードとして緊急停車等の指示を加減速制御部１７２や方向制御部１７３等に行う。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

（７．発明の効果）
画像処理装置は、取得部と、重畳部と、判定部とを有する。取得部は、撮像画像を取得する。重畳部は、前記撮像画像の未使用領域に画像を重畳した重畳画像を生成する。判定部は、前記重畳部から伝送された前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する。これにより、伝送された撮像画像に何らかの要因で意図しない状態の変化が起きた場合に、係る状態の変化を判定することができる。

前記重畳部は、前記撮像画像の領域のうちイメージサークル外となる前記未使用領域に前記画像を重畳した重畳画像を生成する。撮像画像に対する各種の画像処理に影響を与えることなく、撮像画像に異常があるか否かを判定することができる。

画像処理装置は、前記重畳画像を用いてセンシングを行うセンシング処理部を更に有し、前記重畳部は、前記撮像画像の領域のうち前記センシング処理部のセンシング対象外となる前記未使用領域に前記画像を重畳した重畳画像を生成する。このため、センシング処理部が行うセンシング処理に影響を与えることなく、撮像画像に異常があるか否かを判定することができる。

前記重畳部は、前記撮像画像の前記未使用領域に、単一輝度の画像を重畳して、前記重畳画像を生成する。前記判定部は、前記重畳画像に重畳された前記単一輝度を基にして、輝度の標準偏差および輝度の積算値を算出し、前記標準偏差および前記積算値を基にして、前記撮像画像の状態を判定する。前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の標準偏差を基にして、前記撮像画像に画素固着が発生しているか否かを判定する。前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の分散を基にして、前記撮像画像に映像マスクが発生しているか否かを判定する。前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の標準偏差を基にして、前記撮像画像にノイズが発生しているか否かを判定する。前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の分散を基にして、前記撮像画像に反転が発生しているか否かを判定する。かかる単一輝度の画像が重畳された重畳画像を用いることで、撮像画像に異常が発生した場合に、状態異常の要因を特定することができる。

前記重畳部は、前記撮像画像の前記未使用領域に、グラデーションの画像を重畳して、前記重畳画像を生成する。前記判定部は、前記重畳画像に重畳された前記グラデーションの画像の輝度の積算値を用いて、前記撮像画像に階調跳びが発生しているか否かを判定することを特徴とする。前記判定部は、前記重畳画像に重畳された前記グラデーションの画像を基にして、輝度の標準偏差および輝度の積算値を算出し、前記標準偏差および前記積算値を基にして、前記撮像画像の状態を判定する。前記判定部は、前記重畳画像に重畳された前記グラデーションの画像の分散を基にして、前記撮像画像に映像マスクが発生しているか否かを判定する。

前記重畳部は、前記撮像画像の四隅である前記未使用領域に前記画像を重畳して、前記重畳画像を生成する。このため、それぞれ輝度の異なる複数の単一輝度の画像、グラデーション画像を、重畳画像に含めることができ、これによって、状態異常の要因を特定することができる。

前記判定部は、記憶装置および信号処理回路を含む信号伝送回路を伝送した後の前記重畳画像を基にして、前記撮像画像の状態を判定する。これにより、信号伝送回路を伝送することで発生する状態異常を判定することができる。

前記重畳部および前記判定部は、それぞれ異なるＩＣ（Integrated Circuit）に含まれる。これにより、各ＩＣの間に位置する信号伝送回路を伝送することで発生する状態異常を判定することができる。

画像処理装置は、前記判定部の判定結果を、外部装置に通知する通知部を更に有する。これにより、撮像画像の状態や、異常が含まれる場合の要因を通知することができる。

画像処理システムは、第１画像処理装置と、第２画像処理装置とを含む。第１画像処理装置は、取得部と、重畳部とを有する。取得部は、撮像画像を取得する。重畳部は、前記撮像画像の未使用領域に画像を重畳した重畳画像を生成する。第２画像処理装置は、判定部を有する。判定部は、前記重畳部から伝送された前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する。これにより、第１画像処理装置から、第２画像処理装置に伝送された撮像画像に何らかの要因で意図しない状態の変化が起きた場合に、係る状態の変化を判定することができる。

前記取得部は、移動体の撮像装置から、前記撮像画像を取得する。これにより、移動体の撮像装置により撮像された撮像画像が、第１画像処理装置から、第２画像処理装置に伝送された際に、何らかの要因で意図しない状態の変化が起きたか否かを判定することができる。

なお、本技術は以下のような構成も取ることができる。
（１）
撮像画像を取得する取得部と、
前記撮像画像の未使用領域に画像を重畳した重畳画像を生成する重畳部と、
前記重畳部から伝送された前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する判定部と
を有することを特徴とする画像処理装置。
（２）
前記重畳部は、前記撮像画像の領域のうちイメージサークル外となる前記未使用領域に前記画像を重畳した重畳画像を生成することを特徴とする（１）に記載の画像処理装置。
（３）
前記重畳画像を用いてセンシングを行うセンシング処理部を更に有し、前記重畳部は、前記撮像画像の領域のうち前記センシング処理部のセンシング対象外となる前記未使用領域に前記画像を重畳した重畳画像を生成することを特徴とする（１）または（２）に記載の画像処理装置。
（４）
前記重畳部は、前記撮像画像の前記未使用領域に、単一輝度の画像を重畳して、前記重畳画像を生成することを特徴とする（１）、（２）または（３）に記載の画像処理装置。
（５）
前記判定部は、前記重畳画像に重畳された前記単一輝度を基にして、輝度の標準偏差および輝度の積算値を算出し、前記標準偏差および前記積算値を基にして、前記撮像画像の状態を判定することを特徴とする（１）〜（４）のいずれか一つに記載の画像処理装置。
（６）
前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の標準偏差を基にして、前記撮像画像に画素固着が発生しているか否かを判定することを特徴とする（１）〜（５）のいずれか一つに記載の画像処理装置。
（７）
前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の分散を基にして、前記撮像画像に映像マスクが発生しているか否かを判定することを特徴とする（１）〜（６）のいずれか一つに記載の画像処理装置。
（８）
前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の標準偏差を基にして、前記撮像画像にノイズが発生しているか否かを判定することを特徴とする（１）〜（７）のいずれか一つに記載の画像処理装置。
（９）
前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の分散を基にして、前記撮像画像に反転が発生しているか否かを判定することを特徴とする（１）〜（８）のいずれか一つに記載の画像処理装置。
（１０）
前記重畳部は、前記撮像画像の前記未使用領域に、グラデーションの画像を重畳して、前記重畳画像を生成することを特徴とする（１）〜（９）のいずれか一つに記載の画像処理装置。
（１１）
前記判定部は、前記重畳画像に重畳された前記グラデーションの画像の輝度の積算値を用いて、前記撮像画像に階調跳びが発生しているか否かを判定することを特徴とする請求項（１）〜（１０）のいずれか一つに記載の画像処理装置。
（１２）
前記判定部は、前記重畳画像に重畳された前記グラデーションの画像を基にして、輝度の標準偏差および輝度の積算値を算出し、前記標準偏差および前記積算値を基にして、前記撮像画像の状態を判定することを特徴とする（１）〜（１１）のいずれか一つに記載の画像処理装置。
（１３）
前記判定部は、前記重畳画像に重畳された前記グラデーションの画像の分散を基にして、前記撮像画像に映像マスクが発生しているか否かを判定することを特徴とする（１）〜（１２）のいずれか一つに記載の画像処理装置。
（１４）
前記判定部は、前記重畳画像に重畳された前記グラデーションの画像の分散を基にして、前記撮像画像に反転が発生しているか否かを判定することを特徴とする（１）〜（１３）のいずれか一つに記載の画像処理装置。
（１５）
前記重畳部は、前記撮像画像の四隅である前記未使用領域に前記画像を重畳して、前記重畳画像を生成することを特徴とする（１）〜（１４）のいずれか一つに記載の画像処理装置。
（１６）
前記判定部は、記憶装置および信号処理回路を含む信号伝送回路を伝送した後の前記重畳画像を基にして、前記撮像画像の状態を判定することを特徴とする（１）〜（１５）のいずれか一つに記載の画像処理装置。
（１７）
前記重畳部および前記判定部は、それぞれ異なるＩＣ（Integrated Circuit）に含まれることを特徴とする（１）〜（１６）のいずれか一つに記載の画像処理装置。
（１８）
前記判定部の判定結果を、外部装置に通知する通知部を更に有することを特徴とする（１）〜（１７）のいずれか一つに記載の画像処理装置。
（１９）
前記判定部は、前記重畳画像に重畳された前記単一輝度を基にして、輝度のＳ／Ｎ(signal-to-noise)比および輝度の積算値を算出し、前記Ｓ／Ｎ比および前記積算値を基にして、前記撮像画像の状態を判定することを特徴とする（１）〜（１８）のいずれか一つに記載の画像処理装置。
（２０）
前記判定部は、前記重畳画像に重畳された前記グラデーションの画像を基にして、輝度のＳ／Ｎ比および輝度の積算値を算出し、前記Ｓ／Ｎ比および前記積算値を基にして、前記撮像画像の状態を判定することを特徴とする（１）〜（１９）のいずれか一つに記載の画像処理装置。
（２１）
コンピュータが、
撮像画像を取得し、
前記撮像画像の未使用領域に画像を重畳した重畳画像を生成し、
前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する
処理を実行する画像処理方法。
（２２）
第１画像処理装置と、第２画像処理装置とを含む画像処理システムであって、
前記第１画像処理装置は、
撮像画像を取得する取得部と、
前記撮像画像の未使用領域に画像を重畳した重畳画像を生成する重畳部と、
を有し、
前記第２画像処理装置は、
前記重畳部から伝送された前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する判定部
を有することを特徴とする画像処理システム。
（２３）
前記取得部は、移動体の撮像装置から、前記撮像画像を取得することを特徴とする（２２）に記載の画像処理システム。
（２４）
コンピュータを、
撮像画像を取得する取得部と、
前記撮像画像の未使用領域に画像を重畳した重畳画像を生成する重畳部と、
前記重畳部から伝送された前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する判定部と
として機能させるための画像処理プログラム。

５ 画像処理システム
１００、２００ 撮像装置
１１０，２１０ 初段画像処理部
１１０ａ，２１０ａ 撮像素子部
１１０ｂ，２１０ｂ 重畳部
１１０ｃ，２１０ｃ 画像出力部
１２０ 信号伝送回路
１３０ 画像処理部
１３５，２３５ 記憶部
１３５ａ，２３５ａ 状態判定結果データ
１４０，２４０，２５０ 後段画像処理部
１４０ａ，２４０ａ 画像入力部
１４０ｂ，２４０ｂ 判定部
１４０ｃ，２４０ｃ 解析処理部
１４０ｄ，２４０ｄ 通知部
２２０ 画像２分岐部
２６０ ＣＡＮマイコン
２６５ バス
２７０ 無線通信部
３００ 表示装置
４００ ディーラーサーバ

Claims (20)

1. 撮像画像を取得する取得部と、
   前記撮像画像の未使用領域に画像を重畳した重畳画像を生成する重畳部と、
   前記重畳部から伝送された前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する判定部と
   を有することを特徴とする画像処理装置。
2. 前記重畳部は、前記撮像画像の領域のうちイメージサークル外となる前記未使用領域に前記画像を重畳した重畳画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記重畳画像を用いてセンシングを行うセンシング処理部を更に有し、前記重畳部は、前記撮像画像の領域のうち前記センシング処理部のセンシング対象外となる前記未使用領域に前記画像を重畳した重畳画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記重畳部は、前記撮像画像の前記未使用領域に、単一輝度の画像を重畳して、前記重畳画像を生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記判定部は、前記重畳画像に重畳された前記単一輝度を基にして、輝度の標準偏差および輝度の積算値を算出し、前記標準偏差および前記積算値を基にして、前記撮像画像の状態を判定することを特徴とする請求項４に記載の画像処理装置。
6. 前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の標準偏差を基にして、前記撮像画像に画素固着が発生しているか否かを判定することを特徴とする請求項４に記載の画像処理装置。
7. 前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の分散を基にして、前記撮像画像に映像マスクが発生しているか否かを判定することを特徴とする請求項４に記載の画像処理装置。
8. 前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の標準偏差を基にして、前記撮像画像にノイズが発生しているか否かを判定することを特徴とする請求項４に記載の画像処理装置。
9. 前記判定部は、前記重畳画像に重畳された前記単一輝度の画像の分散を基にして、前記撮像画像に反転が発生しているか否かを判定することを特徴とする請求項４に記載の画像処理装置。
10. 前記重畳部は、前記撮像画像の前記未使用領域に、グラデーションの画像を重畳して、前記重畳画像を生成することを特徴とする請求項１に記載の画像処理装置。
11. 前記判定部は、前記重畳画像に重畳された前記グラデーションの画像の輝度の積算値を用いて、前記撮像画像に階調跳びが発生しているか否かを判定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記判定部は、前記重畳画像に重畳された前記グラデーションの画像を基にして、輝度の標準偏差および輝度の積算値を算出し、前記標準偏差および前記積算値を基にして、前記撮像画像の状態を判定することを特徴とする請求項１０に記載の画像処理装置。
13. 前記判定部は、前記重畳画像に重畳された前記グラデーションの画像の分散を基にして、前記撮像画像に映像マスクが発生しているか否かを判定することを特徴とする請求項１０に記載の画像処理装置。
14. 前記重畳部は、前記撮像画像の四隅である前記未使用領域に前記画像を重畳して、前記重畳画像を生成することを特徴とする請求項１に記載の画像処理装置。
15. 前記判定部は、記憶装置および信号処理回路を含む信号伝送回路を伝送した後の前記重畳画像を基にして、前記撮像画像の状態を判定することを特徴とする請求項１に記載の画像処理装置。
16. 前記重畳部および前記判定部は、それぞれ異なるＩＣ（Integrated Circuit）に含まれることを特徴とする請求項１に記載の画像処理装置。
17. 前記判定部の判定結果を、外部装置に通知する通知部を更に有することを特徴とする請求項１に記載の画像処理装置。
18. コンピュータが、
    撮像画像を取得し、
    前記撮像画像の未使用領域に画像を重畳した重畳画像を生成し、
    前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する
    処理を実行する画像処理方法。
19. 第１画像処理装置と、第２画像処理装置とを含む画像処理システムであって、
    前記第１画像処理装置は、
    撮像画像を取得する取得部と、
    前記撮像画像の未使用領域に画像を重畳した重畳画像を生成する重畳部と、
    を有し、
    前記第２画像処理装置は、
    前記重畳部から伝送された前記重畳画像のうち、前記画像の重畳された領域の特徴に基づいて、前記撮像画像の状態を判定する判定部
    を有することを特徴とする画像処理システム。
20. 前記取得部は、移動体の撮像装置から、前記撮像画像を取得することを特徴とする請求項１９に記載の画像処理システム。

Images