JP7247760B2

JP7247760B2 - 固着判断装置および固着判断方法

Info

Publication number: JP7247760B2
Application number: JP2019103813A
Authority: JP
Inventors: 伸彦谷端
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-06-03
Filing date: 2019-06-03
Publication date: 2023-03-29
Anticipated expiration: 2039-06-03
Also published as: US20220058412A1; CN113892259B; DE112020002689T5; WO2020246117A1; JP2020198551A; CN113892259A

Description

カメラによって撮像された画像データの固着を判断する固着判断装置および固着判断方法に関する。

カメラが撮像した画像を表示装置に表示させる技術が知られている。特許文献１には、表示装置に表示する画像のデータが異常であるかを自動検出する技術が開示されている。特許文献１に開示された技術では、カメラからの画像データを１フレーム分取得した後、測定エリア内の画像データに対して動体除去処理をする。次いで、測定エリア内の画像データを領域に区分して、各領域の輝度値の平均値あるいはその変化から画像の異常を検出する。

国際公開第２０１５／１８２７５１号

画像データの異常の一態様である固着が生じているかを判断したいという要求がある。固着が生じているときは輝度値の変化がない。それに対して、固着が生じていないときには、輝度値に時間的変化がある。そこで、輝度値に時間的変化があれば、固着が生じていないと判断することになる。

特許文献１の技術では、信号処理負荷を低くするために、複数の画素を含む領域を設定し、領域を単位として輝度値の平均値を算出する。ここで、たとえば、カメラが車両に搭載されている場合を考える。固着が生じていなくても、車両が停止している間は各画素の輝度値の変化は少ない。そのため、固着を検出する場合に、特許文献１のように、領域の輝度値の平均値を算出してしまうと、固着が生じている場合と正常な場合とで、輝度値の平均値に違いが少ない。よって、平均値では固着の判断が困難である。

そこで、画素毎に輝度値を前回値と比較することが考えられる。特許文献１に開示された技術では、１フレーム分の画像データを取り込んだ後に、測定エリア内の画像データ全体に対して、異常を検出するための処理を開始する。

通常、カメラで撮像した画像データをディスプレイに表示する装置では、ＣＰＵ、ＧＰＵ、メモリがバスにより接続されている。画素毎に輝度値を前回値と比較する場合、次の（１）～（４）の処理を実行することが考えられる。

まず、（１）カメラが撮像した画像データをメモリに取り込む。（２）その後、ＣＰＵは、バスを介してＧＰＵに対して、メモリから、次に比較を行う画素の画素値の取得を依頼する。（３）ＧＰＵは、ＣＰＵに指示された画素値を、バスを介してメモリから取得し、取得した画素値をＣＰＵへ提供する。（４）ＣＰＵは提供された画素値を保存し、前回の画素値と比較する。（２）～（４）の処理を全部の画素について行う。

上記（２）～（４）の処理ではＣＰＵが動作する。したがって、（２）～（４）の処理が実行されているときのＣＰＵの処理負荷が高い。

本開示は、この事情に基づいて成されたものであり、その目的とするところは、ＣＰＵの処理負荷を低くすることができる固着判断装置および固着判断方法を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示した技術的範囲を限定するものではない。

上記目的を達成するための固着判断装置に係る１つの開示は、ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）を備え、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データが固着しているかどうかを判断する固着判断装置（４）であって、カメラから画像データを取得してメモリに保存する画像取得部（４１）を備え、画像取得部は、１フレーム分の画像データを分割した分割単位の画像データをメモリに保存したことに基づいて、分割単位の保存が終了したことを示す保存完了通知をＣＰＵに送信し、ＧＰＵは、メモリから固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値を読み出しＣＰＵに送信し、ＣＰＵは、保存完了通知を受信したことに基づいて、ＧＰＵに対して読み出し指示を送信し、かつ、ＣＰＵは、画像データが固着しているかどうかを判断するために、分割単位の画像データのメモリへの保存が完了する毎に、当該分割単位における、メモリから読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを、比較する画素値比較処理（Ｓ７）を行う。

また、上記目的を達成するための固着判断方法に係る１つの開示は、ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）と、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データを取得してメモリに保存する画像取得部（４１）とを備えた装置が、画像データが固着しているかどうかを判断する固着判断方法であって、画像取得部は、１フレーム分の画像データを分割した分割単位の画像データをメモリに保存したことに基づいて、分割単位の保存が終了したことを示す保存完了通知をＣＰＵに送信し、ＧＰＵは、メモリから固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値を読み出しＣＰＵに送信し、ＣＰＵは、保存完了通知を受信したことに基づいて、ＧＰＵに対して読み出し指示を送信し、かつ、ＣＰＵは、画像データが固着しているかどうかを判断するために、分割単位の画像データのメモリへの保存が完了する毎に、当該分割単位における、メモリから読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを、比較する画素値比較処理（Ｓ７）を行う。

上記固着判断装置および固着判断方法では、画像取得部は、分割単位の画像データの保存が終了したことを示す保存完了通知をＣＰＵに送信する。ＣＰＵは、この保存完了通知を受信したことに基づいて、固着判断をするための処理（以下、固着判断処理）の開始処理である読み出し指示を行う。そのため、１フレーム分の画像データがメモリに全部取り込まれる前に固着判断処理を開始できる。固着判断処理の開始を早くすることができるので、１フレーム分の画像データがメモリに全部取り込まれてから固着判断処理を開始するよりも、処理負荷を分散することができる。処理負荷が分散されることで、時間当たりのＣＰＵの処理負荷を低くすることができる。

上記目的を達成するための固着判断装置に係る他の１つの開示は、
ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）を備え、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データが固着しているかどうかを判断する固着判断装置（４）であって、
カメラから画像データを取得してメモリに保存する画像取得部（４１）を備え、
画像取得部は、１フレーム分の画像データの一部または全部の画像データをメモリに保存したことに基づいて、保存が終了したことを示す保存完了通知をＣＰＵに送信し、
ＧＰＵは、メモリから固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値を読み出しＣＰＵに送信し、
ＣＰＵは、保存完了通知を受信したことに基づいて、ＧＰＵに対して読み出し指示を送信し、
ＣＰＵは、画像データが固着しているかどうかを判断するために、メモリから読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）を行い、
ＣＰＵは、固着判断位置とする画素位置を１フレーム分の画素位置の一部とする。

上記目的を達成するための固着判断方法に係る他の１つの開示は、
ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）と、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データを取得してメモリに保存する画像取得部（４１）とを備えた装置が、画像データが固着しているかどうかを判断する固着判断方法であって、
画像取得部は、１フレーム分の画像データの一部または全部の画像データをメモリに保存したことに基づいて、保存が終了したことを示す保存完了通知をＣＰＵに送信し、
ＧＰＵは、メモリから固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値を読み出しＣＰＵに送信し、
ＣＰＵは、保存完了通知を受信したことに基づいて、ＧＰＵに対して読み出し指示を送信し、
ＣＰＵは、画像データが固着しているかどうかを判断するために、メモリから読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）を行い、
ＣＰＵは、固着判断位置とする画素位置を１フレーム分の画素位置の一部とする。

この固着判断装置および固着判断方法では、固着判断位置とする画素位置を１フレーム分の画素位置の一部とする。よって、１フレーム分の画素位置を全部、固着判断位置とする場合に比較して固着判断位置が少なくなるので、ＣＰＵの負荷を低くすることができる。

カメラ画像表示システム１の構成図である。ＣＰＵ４８が実行する固着判断処理および固着判断処理に関連してＩＰＵ４１およびＧＰＵ４６が実行する処理を示す図である。

以下、実施形態を図面に基づいて説明する。図１は、カメラ画像表示システム１の構成図である。カメラ画像表示システム１は車両Ｃに搭載されている。カメラ画像表示システム１は、カメラ２、ディスプレイ３、制御ユニット４を備えている。これらカメラ２、ディスプレイ３、制御ユニット４は、車内ＬＡＮバス５に接続されている。カメラ２、ディスプレイ３、制御ユニット４は車内ＬＡＮバス５を介して相互に信号の送受信ができる。

カメラ２は、車外であって車両前方を撮像する位置に設置することができる。また、カメラ２の設置位置は、車両後方や車室内を撮像する位置に設置することができる。カメラ２は、連続的に画像を撮像することができる。カメラ２が撮像した１回分を１フレームという。カメラ２は１秒間に数十フレーム以上撮像することで動画が撮像できるようになっていてもよい。カメラ２は、イメージセンサを備えており、イメージセンサは複数の画素を備える。カメラ２は、イメージセンサの各画素が検出した値（以下、画素値）により画像を表す。画素値は、色別の輝度値である。カメラ２は、撮像した画像を画素毎の画素値で表す画像データを出力する。本実施形態のカメラ２が撮像する画像は矩形であり、カメラ２は、画像データを、横１ラインずつ出力する。

ディスプレイ３は、車両Ｃの車室において乗員が視認できる位置に配置されている。ディスプレイ３は、種々の画像が表示可能である。ディスプレイ３として、液晶ディスプレイや有機ＥＬディスプレイを用いることができる。

制御ユニット４は、図１に示すように、ＩＰＵ（Image Processing Unit）４１、バス４２、フラッシュメモリ４３、メインメモリ４４、キャッシュ４５、ＧＰＵ４６、キャッシュ４７、ＣＰＵ４８を備えている。制御ユニット４は、カメラ２が撮像した画像をディスプレイ３に表示する。また、制御ユニット４は、画像データが固着しているかどうかを逐次判断する。つまり、制御ユニット４は固着判断装置であり、制御ユニット４は固着判断方法を実行する。固着とは、正常であれば、ある画素が出力した画素値が変化するはずであるが、その画素値が変化しない状態になっていることを意味する。

ＩＰＵ４１は、画像取得部であり、プロセッサを備えた構成である。ＩＰＵ４１は、カメラ２から画像データを取得し、メインメモリ４４に保存する。カメラ２は、画像データを横１ラインずつ出力することから、ＩＰＵ４１は、画像データを横１ラインずつ取得する。ＩＰＵ４１は、横１ラインの画像データを取得するごとに、メインメモリ４４に保存する。本実施形態では、横１ライン分が、１フレーム分の画像データを複数に分割した分割単位である。ＩＰＵ４１は、横１ラインの画像データをメインメモリ４４に保存するごとに保存完了通知をＣＰＵ４８に出力する。

バス４２には、ＩＰＵ４１、フラッシュメモリ４３、メインメモリ４４，キャッシュ４５、キャッシュ４７が接続されている。フラッシュメモリ４３は不揮発性メモリである。フラッシュメモリ４３にはＣＰＵ４８が実行するプログラムなどが記憶されている。メインメモリ４４は、揮発性メモリである。メインメモリ４４は、たとえばＤＲＡＭを用いて構成される。メインメモリ４４には、画像データが保存される。メインメモリ４４に保存される画像データは、その画像データが示す画像がディスプレイ３に表示された後に、メインメモリ４４から消去される。キャッシュ４５は、ＧＰＵ４６との間でデータの送受信が可能である。キャッシュ４５は、たとえばＳＲＡＭを用いて構成される。

ＧＰＵ４６は、画像処理用のプロセッサであり、メインメモリ４４に保存された画像データを読み出し、その画像データに基づいてディスプレイ３に画像を表示する。また、ＧＰＵ４６は、ＣＰＵ４８からの読み出し指示を受信した場合に、その指示に従ってメインメモリ４４から画像データを読み出す。ＧＰＵ４６は読み出した画像データをＣＰＵ４８に送信する。

キャッシュ４７は、ＣＰＵ４８との間でデータの送受信が可能である。キャッシュ４７は、たとえばＳＲＡＭを用いて構成される。ＣＰＵ４８は、プロセッサを備えた構成であり、ＧＰＵ４６に指示して、ディスプレイ３にカメラ２が撮像した画像を表示させる。また、ＣＰＵ４８は、固着判断処部として機能し、固着判断処理を実行する。固着判断処理は、画像データが固着しているかどうかを判断する処理である。

ＣＰＵ４８は、固着判断処理を所定の頻度で実行する。たとえば、ＣＰＵ４８は固着判断処理を、各フレームで実行する。ＣＰＵ４８は、固着判断処理を実行する場合、ＧＰＵ４６に読み出し指示を出力する。読み出し指示は、メインメモリ４４から固着判断位置の画像の画像データを読み出すことを指示するものである。固着判断位置は、画像データが固着しているかどうかを判断する画素の位置である。

本実施形態では、１フレームを構成する全部の画素の位置を固着判断位置とするのではなく、一部の画素の位置のみを固着判断位置とする。より詳しくは、本実施形態では、各横１ラインを構成する画素のうち一部の画素の位置を固着判断位置とする。よって、本実施形態では、横１ライン毎に、固着判断位置となる画素位置と、固着判断位置とならない画素位置がある。

図２に、ＣＰＵ４８が実行する固着判断処理、および、固着判断処理に関連してＩＰＵ４１およびＧＰＵ４６が実行する処理を示す。図２に示す処理は、１フレーム毎に実行される。ステップ（以下、ステップを省略）Ｓ１では、ＩＰＵ４１が、カメラ２から横１ライン分の画像データを取り込む。

Ｓ２では、ＩＰＵ４１が、Ｓ１で取り込んだ画像データをメインメモリ４４に保存する。Ｓ３では、保存完了通知をＣＰＵ４８に送信する。保存完了通知は、横１ライン分の画像データを取り込んだことを意味する通知であり、取り込んだ画像データが、何番目の横１ラインの画像データであるかを示す情報も含まれている。

ＣＰＵ４８は保存完了通知を受信した場合、Ｓ４を実行する。Ｓ４では、読み出し指示をＧＰＵ４６に送信する。読み出し指示には、次に、画素値を比較する画素を特定する情報が含まれている。本実施形態では、画素値を比較する画素は、フレームによらず同じ画素になっている。

ＧＰＵ４６がこの読み出し指示を受信すると、ＧＰＵ４６は、Ｓ５において、読み出し指示に示されている画素の画素値を、メインメモリ４４から取得する。そして、Ｓ６において、ＧＰＵ４６は、Ｓ５で取得した画素値をＣＰＵ４８へ送信する。Ｓ７では、ＣＰＵ４８は、Ｓ６でＧＰＵ４６から送信された今回の画素値を、今回、画素値が読み出された画素の前回の画素値と比較する。比較の結果、今回の画素値と前回の画素値が同じ値であった場合には、画像データが固着していると判断する。なお、ＣＰＵ４８は、前回の画素値を、このＳ７における処理が終了するまでキャッシュ４７に保存する。このＳ７の処理は、画素値比較処理である。また、上記Ｓ４からＳ７は、分割固着判断処理５０である。分割固着判断処理５０は、分割単位である横１ラインについて、画像データが固着しているかどうかを判断する処理である。分割固着判断処理５０を、全部の分割単位、すなわち本実施形態では横１ラインについて行う処理が固着判断処理である。

なお、図２では、Ｓ４～Ｓ７をそれぞれ１回ずつ示している。しかし、横１ライン分の画素のうち、固着判断位置となっている画素位置が複数ある場合、一度のＳ４の処理において、読み出しを指示する画素を横１ライン分の固着判断位置のうちの一部の画素のみとしてもよい。たとえば、１度のＳ４の処理において読み出し指示をする画素を１画素のみとしてもよい。一度のＳ４の処理において、読み出しを指示する画素を横１ライン分の固着判断位置のうちの一部の画素のみとする場合、横１ラインに対して設定された全部の固着判断位置の画素値に対して画素値比較処理が終了するまで、Ｓ４～Ｓ７の処理を繰り返す。

Ｓ１１は、画像データを取り込む横１ラインの位置が、Ｓ１で画像データを取り込んだ横１ラインの次のラインになっている以外は、Ｓ１と同じ処理を実行する。Ｓ１２、Ｓ１３ではＳ２、Ｓ３と同じ処理を実行する。ＩＰＵ４１は、Ｓ３を実行後、Ｓ１１を実行する。したがって、Ｓ１１１、Ｓ１２、Ｓ１３は、ＣＰＵ４８およびＧＰＵ４６が分割固着判断処理５０を実行中に並行して実行される。ＩＰＵ４１がＳ１３を実行することにより、ＣＰＵ４８およびＧＰＵ４６は、Ｓ１１～Ｓ１３の処理によりメインメモリ４４に取り込まれた横１ライン分の画像データを用いて、その横１ラインに対する分割固着判断処理５０を実行することができる。

Ｓｎ１、Ｓｎ２、Ｓｎ３は、それぞれ、Ｓ１、Ｓ２、Ｓ３と同じである。ｎは、１フレームを構成する横ラインの数である。つまり、Ｓｎ１では、最後の１ラインの画像データを取り込む。Ｓｎ２、Ｓｎ３は、Ｓ２、Ｓ３と同じ処理である。

ＣＰＵ４８は、全部の横１ラインに対して分割固着判断処理５０を実行した結果、いずれか１つの画素位置でも固着していると判断していた場合、画像データが固着していると判断する。ＣＰＵ４８は、画像データが固着していると判断した場合には、たとえば、警告画像をディスプレイ３に出力するなど、予め設定された固着判断時処理を実行する。

［実施形態まとめ］
以上、説明した本実施形態では、制御ユニット４は、ＩＰＵ４１は、横１ライン分の画像データをメインメモリ４４に保存した場合に、保存完了通知をＣＰＵ４８に送信する（Ｓ３、Ｓ１３、Ｓｎ３）。ＣＰＵ４８は、この保存完了通知を受信した場合に、分割固着判断処理５０を開始する（Ｓ４）。そのため、１フレーム分の画像データがメインメモリ４４に全部取り込まれる前に、全部の固着判断処理が分割単位ごとに分割された分割固着判断処理５０を開始できる。すなわち、１フレーム分の画像データがメインメモリ４４に全部取り込まれた後に固着判断処理を開始するよりも、固着判断処理の開始を早くすることができる。

固着判断処理の開始を早くすることができるので、１フレーム分の画像データがメインメモリ４４に全部取り込まれてから固着判断処理を開始するよりも、処理負荷を分散することができる。

具体的に説明する。仮に、Ｓｎ３の処理が終了した後に固着判断処理を開始する場合を考える。固着判断処理を終了しなければならない時点は、本実施形態と同じである。たとえば、固着判断処理を終了しなければならない時点は、次の１フレームをカメラ２が撮像し終えるまでであるとする。これを比較例とする。比較例に対し、本実施形態では、Ｓ３の処理が終了した時点からＳｎ３の処理が終了するまでの時間分、分割固着判断処理５０に使える時間が長いことになる。換言すれば、比較例は、本実施形態よりも短い時間で固着判断処理を行わなければならないので、処理速度が高速な高価なＣＰＵ４８が必要になる。

これに対して、本実施形態では、比較例よりも、Ｓ３の処理が終了した時点からＳｎ３の処理が終了するまでの時間分、分割固着判断処理５０に使える時間が長い。Ｓ３の処理が終了した時点から、分割固着判断処理５０（すなわち固着判断処理の一部）を開始することにより、固着判断処理を分散させていると言える。これにより、単位時間当たりに実行する必要がある処理を低減させることができるので、ＣＰＵ４８の負荷が低減する。

また、分割固着判断処理５０に含まれているＳ４、Ｓ５、Ｓ６では、バス４２を画像データが流れる。比較例では、Ｓ４、Ｓ５、Ｓ６の処理も一時期に集中する。そのため、バス４２に通信速度が高いものを使用する必要がある。これに対して、本実施形態では、分割固着判断処理５０によりＣＰＵ４８の処理が時間的に分散されることに伴い、時間当たりのバス負荷も低減する。

また、本実施形態では、１フレーム分の固着判断処理において固着判断位置とする画素位置を１フレーム分の画素位置の一部としている。これにより、１フレーム分の画素位置を全部、固着判断位置とする場合に比較して、固着判断位置が少なくなる。この点でも、ＣＰＵ４８の負荷を低くすることができる。

カメラ２の撮像範囲が車外であっても、また車内であっても、カメラ２の撮像対象はアナログ情報である。そのため、固着をしていなければ、同じ画素位置についての画素値は、カメラ２が移動していなくても、同じ画素値にはならないという特徴がある。また、画像データの固着は、通常、１つの画素のデータのみが固着することはなく、複数あるいは全部の画素のデータが固着する。

したがって、本実施形態のように、固着判断位置とする画素位置を１フレーム分の画素位置の一部としても、固着判断の精度低下は抑制されている。よって、本実施形態では、ＣＰＵ４８の負荷を低くしつつも、固着判断の精度低下を抑制できる。

本実施形態では、カメラ２は車両Ｃに搭載されている。カメラ２は、車両外の車両前方または後方を撮像する場合、車両制御あるいは運転操作に支障がないように、制御ユニット４は、固着を毎フレーム判断する。また、制御ユニット４の低コスト化も必要である。したがって、高機能なＣＰＵ４８を使うことができない場合も多い。

本実施形態では、上述したように、ＣＰＵ４８の処理負荷を低減できるので、処理速度の速い高価なＣＰＵ４８を用いなくてもよい。よって、本実施形態によれば、低コストな制御ユニット４で固着を毎フレーム判断することができる。

以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。なお、以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

＜変形例１＞
実施形態では、分割固着判断処理５０において、一部の画素位置のみを固着判断位置としていた。しかし、前述したように、分割固着判断処理５０により、ＣＰＵ４８の負荷を低減できる。よって、分割固着判断処理５０をする場合、必ずしも一部の画素位置のみを固着判断位置とする必要はなく、全部の画素位置を固着判断位置としてもよい。

＜変形例２＞
また、一部の画素位置のみを固着判断位置とすれば、ＣＰＵ４８の負荷を低減できる。よって、一部の画素位置のみを固着判断位置とする場合、分割固着判断処理５０を実施せず、全部の画像データがメインメモリ４４に保存されてから、各固着判断位置の画素値を前回の画素値と比較してもよい。

＜変形例３＞
実施形態では、固着判断位置は固定されていた。したがって、実施形態では、固着判断位置とする画素位置の数は変化しない。しかし、固着判断位置とする画素位置の数をＣＰＵ４８の負荷が高いほど少ない数にしてもよい。固着判断位置とする画素位置の数は、ＣＰＵ４８の負荷に応じて、段階的に少なくしてもよいし、また、ＣＰＵ４８の負荷に応じて連続的に少なくしてもよい。ＣＰＵ４８の負荷は、ＣＰＵ４８の使用率から定めることができる。ＣＰＵ４８の使用率が低いほどＣＰＵ４８の負荷は低い。

ＣＰＵ４８は、ＧＰＵ４６に指示して、ディスプレイ３にカメラ２が撮像した画像を表示させる処理と固着判断処理以外の処理（以下、他処理）も実行する。したがって、この変形例３のように、固着判断位置とする画素位置の数をＣＰＵ４８の負荷が高いほど少ない数にすることで、他処理に遅延が生じることを抑制することができる。

また、この変形例３では、ＣＰＵ４８の負荷が低いほど、固着判断処理において固着判断位置とする画素位置の数を多くする。固着判断位置とする画素位置の数が多いほど、固着判断の精度は高くなる。よって、この変形例３のようにすれば、他処理に遅延が生じることを抑制しつつ、固着判断の精度を高めることができる。

なお、固着判断位置とする画素位置の数をＣＰＵ４８の負荷に応じて変更する場合、固着判断位置の少なくとも一部が、前回の固着判断位置ではないことになる。以下の変形例においても、今回の固着判断位置の少なくとも一部が、前回の固着判断位置ではないことがある。

今回の固着判断位置の少なくとも一部が、前回の固着判断位置ではない場合には、メインメモリ４４には、今回の画像データに加えて、前回の画像データは保存しておき、Ｓ５において、ＧＰＵ４６は今回の画像値とともに前回の画素値を取得すればよい。そして、Ｓ６において、ＧＰＵ４６は、今回の画素値と前回の画素値をＣＰＵ４８に送信する。

＜変形例４＞
実施形態では、固着判断位置は固定されていた。しかし、固着判断位置する画素位置の少なくとも一部をフレーム毎に変更してもよい。固着判断位置とする画素位置を、前回の固着判断位置の１つ横隣の画素位置に変更することができる。この場合、前回の固着判断位置が、横１ラインの端であって、次に固着判断位置とする側の横隣に画素がない場合には、次の固着判断位置は、その横１ラインにおける反対側の端の画素位置とする。

＜変形例５＞
また、固着判断位置とする画素位置の少なくとも一部をフレーム毎に変更する他の態様として、変更する固着判断位置をフレーム毎にランダムに決定してもよい。

＜変形例６＞
また、固着判断位置が、フレームによらず同じ位置に設定されている場合には、１つの画素位置ごとに前回の画素値と比較する必要はない。１フレーム分の固着判断処理において、固着判断位置にある複数の画素の画素値からハッシュ値を算出してもよい。この場合、そのハッシュ値を、そのハッシュ値を算出した画素の前回の画素値から算出した前回のハッシュ値と比較する。そして、今回のハッシュ値と前回のハッシュ値が一致していれば、画像データが固着していると判断する。このようにすれば、よりＣＰＵ４８の負荷を軽減できる。

ハッシュ値を算出する複数の画素は、たとえば、横１ライン内の複数の画素とすることができる。また、縦１ライン内の複数の画素とすることもできる。

＜変形例７＞
実施形態では、分割単位を横１ラインとしていた。しかし、分割単位は横１ラインに限られない。分割単位は、ＩＰＵ４１がメインメモリ４４に画像データを保存する単位とすることが好ましい。ＩＰＵ４１がメインメモリ４４に横１ライン分の画像データよりも小さい単位でメインメモリ４４に画像データを保存することができれば、分割単位を横１ラインよりも小さい単位としてもよい。また、１フレーム分の画像データよりも少なければ、複数のラインの画像データを分割単位としてもよい。

＜変形例８＞
ＣＰＵ４８およびＧＰＵ４６は制御部である。これら本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。ハードウエア論理回路は、たとえば、ＡＳＩＣ、ＦＰＧＡである。

また、コンピュータプログラムを記憶する記憶媒体はＲＯＭに限られず、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていればよい。たとえば、フラッシュメモリに上記プログラムが記憶されていてもよい。

１：カメラ画像表示システム２：カメラ３：ディスプレイ４：制御ユニット（固着判断装置）５：車内ＬＡＮバス４１：ＩＰＵ（画像取得部）４２：バス４３：フラッシュメモリ４４：メインメモリ４５：キャッシュ４７：キャッシュ４８：ＣＰＵ５０：分割固着判断処理Ｃ：車両Ｓ７：画素値比較処理

Claims

ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）を備え、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データが固着しているかどうかを判断する固着判断装置（４）であって、
前記カメラから前記画像データを取得して前記メモリに保存する画像取得部（４１）を備え、
前記画像取得部は、１フレーム分の前記画像データを分割した分割単位の前記画像データを前記メモリに保存したことに基づいて、前記分割単位の保存が終了したことを示す保存完了通知を前記ＣＰＵに送信し、
前記ＧＰＵは、前記メモリから固着判断位置の画素の前記画素値を読み出す読み出し指示を前記ＣＰＵから受けた場合に、前記メモリから前記画素値を読み出し前記ＣＰＵに送信し、
前記ＣＰＵは、前記保存完了通知を受信したことに基づいて、前記ＧＰＵに対して前記読み出し指示を送信し、かつ、
前記ＣＰＵは、前記画像データが固着しているかどうかを判断するために、前記分割単位の画像データの前記メモリへの保存が完了する毎に、当該分割単位における、前記メモリから読み出された前記画素値と、今回の画素値が読み出された画素の前回の画素値とを、比較する画素値比較処理（Ｓ７）を行う、固着判断装置。
ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）を備え、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データが固着しているかどうかを判断する固着判断装置（４）であって、
前記カメラから前記画像データを取得して前記メモリに保存する画像取得部（４１）を備え、
前記画像取得部は、１フレーム分の前記画像データの一部または全部の前記画像データを前記メモリに保存したことに基づいて、保存が終了したことを示す保存完了通知を前記ＣＰＵに送信し、
前記ＧＰＵは、前記メモリから固着判断位置の画素の前記画素値を読み出す読み出し指示を前記ＣＰＵから受けた場合に、前記メモリから前記画素値を読み出し前記ＣＰＵに送信し、
前記ＣＰＵは、前記保存完了通知を受信したことに基づいて、前記ＧＰＵに対して前記読み出し指示を送信し、
前記ＣＰＵは、前記画像データが固着しているかどうかを判断するために、前記メモリから読み出された前記画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）を行い、
前記ＣＰＵは、前記固着判断位置とする画素位置を１フレーム分の画素位置の一部とする、固着判断装置。
前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置を１フレーム分の画素位置の一部とする、請求項１に記載の固着判断装置。
前記カメラは車両（Ｃ）に搭載されて、前記車両の前方または後方を撮像するものであり、
前記画像データが固着しているかどうかを毎フレーム判断する、請求項３に記載の固着判断装置。
前記ＣＰＵは、ＣＰＵ負荷の高さに応じて、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置の数を少なくする、請求項２～４のいずれか１項に記載の固着判断装置。
前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置の少なくとも一部をフレーム毎に変更する、請求項２～５のいずれか１項に記載の固着判断装置。
前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置を、前回の前記固着判断位置の隣の画素位置に変更する、請求項６に記載の固着判断装置。
前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置を、フレーム毎にランダムに決定する、請求項６に記載の固着判断装置。
前記固着判断位置が、フレームによらず同じ位置に設定されており、
前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置にある複数の画素の画素値からハッシュ値を算出し、そのハッシュ値を、そのハッシュ値を算出した画素の前回の画素値から算出した前回のハッシュ値と比較して、前記画像データが固着しているかどうかを判断する、請求項１～４のいずれか１項に記載の固着判断装置。
前記ＣＰＵは、前記ハッシュ値を、縦または横一ライン内の前記画素の画素値から算出する請求項９に記載の固着判断装置。
ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）と、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データを取得して前記メモリに保存する画像取得部（４１）とを備えた装置が、前記画像データが固着しているかどうかを判断する固着判断方法であって、
前記画像取得部は、１フレーム分の前記画像データを分割した分割単位の前記画像データを前記メモリに保存したことに基づいて、前記分割単位の保存が終了したことを示す保存完了通知を前記ＣＰＵに送信し、
前記ＧＰＵは、前記メモリから固着判断位置の画素の前記画素値を読み出す読み出し指示を前記ＣＰＵから受けた場合に、前記メモリから前記画素値を読み出し前記ＣＰＵに送信し、
前記ＣＰＵは、前記保存完了通知を受信したことに基づいて、前記ＧＰＵに対して前記読み出し指示を送信し、かつ、
前記ＣＰＵは、前記画像データが固着しているかどうかを判断するために、前記分割単位の画像データの前記メモリへの保存が完了する毎に、当該分割単位における、前記メモリから読み出された前記画素値と、今回の画素値が読み出された画素の前回の画素値とを、比較する画素値比較処理（Ｓ７）を行う、固着判断方法。
ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）と、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データを取得して前記メモリに保存する画像取得部（４１）とを備えた装置が、前記画像データが固着しているかどうかを判断する固着判断方法であって、
前記画像取得部は、１フレーム分の前記画像データの一部または全部の前記画像データを前記メモリに保存したことに基づいて、保存が終了したことを示す保存完了通知を前記ＣＰＵに送信し、
前記ＧＰＵは、前記メモリから固着判断位置の画素の前記画素値を読み出す読み出し指示を前記ＣＰＵから受けた場合に、前記メモリから前記画素値を読み出し前記ＣＰＵに送信し、
前記ＣＰＵは、前記保存完了通知を受信したことに基づいて、前記ＧＰＵに対して前記読み出し指示を送信し、
前記ＣＰＵは、前記画像データが固着しているかどうかを判断するために、前記メモリから読み出された前記画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）を行い、
前記ＣＰＵは、前記固着判断位置とする画素位置を１フレーム分の画素位置の一部とする、固着判断方法。