JP5407785B2 - 撮像装置及び画像処理状態判断方法 - Google Patents

Description

本発明は、自動車等の車両等に設置され、撮影した画像の処理を行う機能を有する撮像装置であって、かかる処理が正常に行われているか否かの判断を可能とする撮像装置及び画像処理状態判断方法に関する。

自動車等の車両等に設置される撮像装置であって、ＣＣＤ、ＣＭＯＳイメージセンサー等の撮像素子を備えているカメラシステムとして、たとえば、車の運転中の映像を記録するドライブレコーダーが知られている（たとえば、〔特許文献１〕参照）。このドライブレコーダーでは、コスト等の問題から、撮影中、その撮影イメージを確認するようなディスプレイが実装されていないことが一般的である。

そのため、撮影中である運転中などにおいては、正しく撮影できているかどうかを確認することができず、撮影後、メモリ等に記録された映像データを確認することで初めて映像が正しく撮影されたかどうかが分かることとなる。カメラシステムは、事故等が発生した場合の証拠データを収集する目的で使われることがあるため、正しく撮影できなかった場合はその所期の機能を果たせず、大きな問題となる。

そこで、単一色の画像が連続して所定時間撮影されていることを検出することで、ディスプレイを用いることなく、撮影が正常に行われているかどうかを判断可能とする技術が提案されている（たとえば、〔特許文献１〕参照）。なお、受光素子が受光した画像データを用いて所定の光量分布を解析する技術が知られている（たとえば、〔特許文献２〕参照）。

一方、かかる撮像装置であって、かかる撮像素子を備えているとともに、かかる撮像素子で撮影した画像に対する画像処理機能を搭載しているカメラシステムがあり、このようなカメラシステムにおいて、正しく画像処理が実行されないと、やはり、その所期の機能が果たされず問題となる可能性がある。たとえば、かかる画像処理機能が、使用する画像処理パラメータをＲＯＭ等に記憶しておき、電源起動後にＲＯＭデータを読み込むことで、画像処理を実行するようになっている場合、電源起動時の起動不良等により、正常にＲＯＭデータが読み込めず、正しく画像処理が実行されないと、その所期の機能が果たされないこととなり得るのである。

ところが、かかる問題を解決するために、上述の、単一色の画像が連続して所定時間撮影されていることを検出するような技術を用いても、この技術では撮影そのものが正常に行われているか否かを判断するに過ぎないため、画像処理が正常に実行されているか否かを判断できない。すなわち、たとえば、画像処理として鏡像処理を行う場合であって撮影そのものは正常に行われている場合にあっては、鏡像処理が正常に実行されていなくとも、単一色の画像が連続して所定時間撮影されていることは検出されないため、異常状態は検出されない。

よって、かかる画像処理機能を有する撮像装置においては、撮影そのものが正常に行われている場合であっても、撮影した画像を表示する手段を用いることなく、画像処理が正常に実行されているか否かを検出する技術が必要である。

本発明は、自動車等の車両等に設置され、撮影した画像の処理を行う機能を有する撮像装置であって、撮影した画像を表示する手段を用いずとも、かかる処理が正常に行われているか否かの判断を可能とする撮像装置及び画像処理状態判断方法を提供することを目的とする。

上記目的を達成するため、請求項１記載の発明は、撮像素子と、この撮像素子によって撮影された画像を処理する画像処理手段と、前記撮像素子に光を照射可能な発光素子と、前記発光素子からの光が前記撮像素子に照射されていないときに同撮像素子によって撮影された第１の像と、前記発光素子からの光が前記撮像素子に照射されているときに同撮像素子によって撮影された第２の像との比較に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かの判断を行う画像処理状態判断手段と、前記発光素子からの光が前記撮像素子に非対称に照射されるように、前記発光素子からの光の一部を遮断する光学素子とを有する撮像装置にある。

請求項２記載の発明は、請求項１記載の撮像装置において、第１の像と第２の像とを記憶する画像記憶手段と、この画像記憶手段によって記憶された第１の像と第２の像との差分を算出する減算手段とを有し、前記画像処理状態判断手段は、前記減算手段によって算出された前記差分に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かを判断することを特徴とする。

請求項３記載の発明は、請求項１または２記載の撮像装置において、前記画像処理手段は、前記画像に対して、鏡像処理及び／又は上下反転処理を行うものであることを特徴とする。

請求項４記載の発明は、請求項１ないし３の何れか１つに記載の撮像装置において、前記画像処理手段は、前記画像に対して、ガンマ処理を行うものであり、前記画像処理状態判断手段は、前記発光素子からの光のみが前記撮像素子に照射されているときの同撮像素子の出力に対してガンマ処理を行った場合のデータとガンマ処理を行わない場合のデータと、前記比較によって得られたデータとを比較して、前記判断を行うことを特徴とする。

請求項５記載の発明は、請求項１ないし４の何れか１つに記載の撮像装置において、前記画像処理状態判断手段は、第１の像の一部を構成する画素に対応したデータと、第１の像の前記一部に対応する、第２の像の一部を構成する画素に対応したデータとの比較に基づいて、前記判断を行うことを特徴とする。

請求項６記載の発明は、請求項１ないし５の何れか１つに記載の撮像装置において、前記画像処理状態判断手段は、第１の像と第２の像とに含まれる、前記発光素子からの光と同じ色により、前記判断を行うことを特徴とする。

請求項７記載の発明は、請求項１ないし６の何れか１つに記載の撮像装置において、前記画像処理状態判断手段は、第１の像と第２の像との輝度又は色差により、前記判断を行うことを特徴とする。

請求項８記載の発明は、撮像素子と、この撮像素子によって撮影された画像を処理する画像処理手段と、前記撮像素子に光を照射可能な発光素子と、前記発光素子からの光が前記撮像素子に照射されているときに同撮像素子によって撮影された第１の像と、前記発光素子からの光が前記撮像素子に照射されていないときに同撮像素子によって撮影された第２の像との比較に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かの判断を行う画像処理状態判断手段と、前記発光素子からの光が前記撮像素子に非対称に照射されるように、前記発光素子からの光の一部を遮断する光学素子とを用いる画像処理状態判断方法にある。

本発明は、撮像素子と、この撮像素子によって撮影された画像を処理する画像処理手段と、前記撮像素子に光を照射可能な発光素子と、前記発光素子からの光が前記撮像素子に照射されていないときに同撮像素子によって撮影された第１の像と、前記発光素子からの光が前記撮像素子に照射されているときに同撮像素子によって撮影された第２の像との比較に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かの判断を行う画像処理状態判断手段と、前記発光素子からの光が前記撮像素子に非対称に照射されるように、前記発光素子からの光の一部を遮断する光学素子とを有する撮像装置にあるので、撮影した画像を表示する手段を用いずとも、光学素子によって高精度に形成されるかかる非対称性を用いて撮影した画像の処理が正常に行われているか否かの判断を行うことが可能であり、信頼性を向上し得る撮像装置を提供することができる。

第１の像と第２の像とを記憶する画像記憶手段と、この画像記憶手段によって記憶された第１の像と第２の像との差分を算出する減算手段とを有し、前記画像処理状態判断手段は、前記減算手段によって算出された前記差分に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かを判断することとすれば、撮影した画像を表示する手段を用いずとも、かかる差分の算出によって光学素子からの光の撮像素子への照射状態を抽出し、抽出したかかる照射状態によって撮影した画像の処理が正常に行われているか否かの判断を行うことが可能であり、信頼性を向上し得る撮像装置を提供することができる。

前記画像処理手段は、前記画像に対して、鏡像処理及び／又は上下反転処理を行うものであることとすれば、撮影した画像を表示する手段を用いずとも、撮影した画像の鏡像処理及び／又は上下反転処理が正常に行われているか否かの判断を行うことが可能であり、信頼性を向上し得る撮像装置を提供することができる。

前記画像処理手段は、前記画像に対して、ガンマ処理を行うものであり、前記画像処理状態判断手段は、前記発光素子からの光のみが前記撮像素子に照射されているときの同撮像素子の出力に対してガンマ処理を行った場合のデータとガンマ処理を行わない場合のデータと、前記比較によって得られたデータとを比較して、前記判断を行うこととすれば、撮影した画像を表示する手段を用いずとも、撮影した画像のガンマ処理が正常に行われているか否かの判断を行うことが可能であり、信頼性を向上し得る撮像装置を提供することができる。

前記画像処理状態判断手段は、第１の像の一部を構成する画素に対応したデータと、第１の像の前記一部に対応する、第２の像の一部を構成する画素に対応したデータとの比較に基づいて、前記判断を行うこととすれば、撮影した画像を表示する手段を用いずとも、少ないデータ量により、撮影した画像の処理が正常に行われているか否かの判断を、この判断にかかる負荷や実装規模を抑制しつつ行うことが可能であり、信頼性を向上し得るとともに、かかるデータを記憶する場合にはその記憶容量を低減可能でありコストを抑制可能な撮像装置を提供することができる。

前記画像処理状態判断手段は、第１の像と第２の像とに含まれる、前記発光素子からの光と同じ色により、前記判断を行うこととすれば、撮影した画像を表示する手段を用いずとも、かかる色のみのデータを用いることにより、撮影した画像の処理が正常に行われているか否かの判断を、この判断にかかる負荷や実装規模を抑制しつつ行うことが可能であり、信頼性を向上し得るとともにコストを抑制可能な撮像装置を提供することができる。

前記画像処理状態判断手段は、第１の像と第２の像との輝度又は色差により、前記判断を行うこととすれば、撮影した画像を表示する手段を用いずとも、かかる輝度又は色差により、撮影した画像の処理が正常に行われているか否かの判断を、この判断にかかる負荷や実装規模を抑制しつつ行うことが可能であり、信頼性を向上し得るとともにコストを抑制可能な撮像装置を提供することができる。

本発明は、撮像素子と、この撮像素子によって撮影された画像を処理する画像処理手段と、前記撮像素子に光を照射可能な発光素子と、前記発光素子からの光が前記撮像素子に照射されているときに同撮像素子によって撮影された第１の像と、前記発光素子からの光が前記撮像素子に照射されていないときに同撮像素子によって撮影された第２の像との比較に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かの判断を行う画像処理状態判断手段と、前記発光素子からの光が前記撮像素子に非対称に照射されるように、前記発光素子からの光の一部を遮断する光学素子とを用いる画像処理状態判断方法にあるので、撮影した画像を表示する手段を用いずとも、光学素子によって高精度に形成されるかかる非対称性を用いて撮影した画像の処理が正常に行われているか否かの判断を行うことが可能であり、信頼性を向上し得る画像処理状態判断方法を提供することができる。

本発明を適用した撮像装置のメカ構成を示した概略側面図である。 図１に示した撮像装置の制御ブロック図である。 図１に示した撮像装置に備えられた撮像素子に対する発光素子からの光の照射態様を示した概念図である。 図１に示した撮像装置に備えられた画像処理状態判断手段の制御ブロック図である。 図１に示した撮像装置を用いて実行される画像処理状態判断方法のフローチャートである。 図４に示した画像処理状態判断手段において、鏡像処理が正常に行われているかを判断する場合のフローチャートである。 図１に示した撮像装置に備えられた撮像素子に発光素子からの光の照射が行われているときの画像に対し、鏡像処理が行われている場合の画像の概念図である。 図４に示した画像処理状態判断手段において、上下反転処理が正常に行われているかを判断する場合のフローチャートである。 図１に示した撮像装置に備えられた撮像素子に発光素子からの光の照射が行われているときの画像に対し、上下反転処理が行われている場合の画像の概念図である。 図４に示した画像処理状態判断手段において、ガンマ処理が正常に行われているかを判断する場合に用いられる概念を示した図である。

図１に本発明を適用したカメラシステムである撮像装置のハードウェア構成の概略を示す。この撮像装置１００は、自動車等の車両、ビル等の建物等に設置され、撮影した画像の処理を行う機能を有する撮像装置である。撮像装置１００は、撮影した画像を目視するためのディスプレイ等の表示装置を備えていない。

撮像装置１００は、ＣＭＯＳイメージセンサーであるイメージセンサー１１と、イメージセンサー１１を実装したエレキ基板である基板１２と、イメージセンサー１１に撮像イメージを集光して結像させるための結像素子としてのレンズセル１３と、イメージセンサー１１に光を照射可能な発光素子としての赤色発光ＬＥＤであるＬＥＤ１４と、ＬＥＤ１４からの光の一部を遮断する光学素子としてのパターンスリットであるスリット１５とを有している。

撮像装置１００はまた、イメージセンサー１１、基板１２、レンズセル１３の一部、ＬＥＤ１４及びスリット１５を内蔵した金属製の筐体１６と、基板１２に一端を接続され同基板１２から筐体１６の外部にＮＴＳＣ出力を行う出力部１７と、筐体１６の外部に配設され基板１２に接続されたＬＥＤ１８と、出力部１７の他端を接続されＮＴＳＣ出力を受け画像を記憶するイメージキャプチャである図示しない記憶装置と、撮像装置１００の動作全般を制御する図示しないメモリ等を含む制御部を有している。
なお、筐体１６は金属製でなくても良い。撮像装置１００は記憶装置を含まないものであっても良い。

図２に、イメージセンサー１１、ＬＥＤ１４及び基板１２上に配設された各機能ブロックを含む制御ブロック図を示す。

イメージセンサー１１は、撮像素子としてのＣＭＯＳセンサーアレイ１９と、ＣＭＯＳセンサーアレイ１９によって撮影された画像を処理する画像処理機能（ＩＳＰ）を備えた画像処理手段としての画像処理部２０とを搭載した、撮像手段としての撮像デバイスであり、撮像データとして、ＶＧＡサイズ（６４０×４８０）のＲＧＢ各８ｂｉｔの画像データを、毎秒３０フレームの速度で出力する。ここで、１フレームは１ページ分の画像を意味する。

ＣＭＯＳセンサーアレイ１９は、ＶＧＡサイズの６４０×４８０ピクセルを持っている。ＣＭＯＳセンサーアレイ１９は、１フレームを１／３０秒で撮影する。
画像処理部２０は、画像処理機能として、ガンマ変換、鏡像処理、上下反転処理の各機能を備えている。画像処理部２０において各画像処理に用いるパラメータ、すなわち、ガンマテーブル、鏡像処理ＯＮ／ＯＦＦ設定、上下反転処理ＯＮ／ＯＦＦ設定は、設定パラメータである内部画像処理パラメータレジスタ値の設定値としてのパラメータデータ設定値に基づいて制御される。

なお、本形態では、撮像デバイスとしてＩＳＰ機能を搭載したＣＭＯＳイメージセンサーを例として挙げているが、撮像デバイスは、撮像素子としてのＣＣＤイメージセンサーと、画像処理手段としての画像処理モジュールとを備えた構成であってもよい。また、画像処理部２０において行う画像処理は、ガンマ処理であるガンマ変換、鏡像処理、上下反転処理に限るものではなく、画像処理部２０は他の画像処理を行ってもよい。

基板１２上には、画像処理部２０において用いるパラメータデータ設定値とされる画像処理パラメータが保管されたフラッシュＲＯＭであるＥＥＰＲＯＭ２１と、イメージセンサー１１から出力されたＶＧＡサイズ（６４０×４８０）のＲＧＢ各８ｂｉｔの画像データを入力されるとともにこの画像データをアナログ出力データに変換しＮＴＳＣ信号として出力するＮＴＳＣエンコーダー２２とが配設されている。

基板１２上にはまた、イメージセンサー１１から出力される、ＲＧＢの８ｂｉｔの各画像データのうち、Ｒ８ｂｉｔの画像データを、フレーム単位で蓄積する画像記憶手段としてのラインバッファであるバッファ２３と、バッファ２３に蓄積された画像データをチェックするデータチェック手段としてのデータチェックブロック２４とが配設されている。

基板１２上にはまた、バッファ２３とデータチェックブロック２４との間に介在した減算器２５と、データチェックブロック２４からの信号を受けてＬＥＤ１４の発光を制御し、ＬＥＤ１４を、ＣＭＯＳセンサーアレイ１９に光を照射可能とするＬＥＤドライバー２６と、データチェックブロック２４からの信号を受けてイメージセンサー１１に対してリセット信号を発行するリセットコントローラ２７とが配設されている。

ＥＥＰＲＯＭ２１は、電源起動時等に発生するリセット処理時に、イメージセンサー１１によって画像処理パラメータがパラメータデータ設定値として読み込まれ、これにより、画像処理部２０は、内部画像処理パラメータレジスタ値を更新する。

バッファ２３は、イメージセンサー１１から出力される、ＲＧＢの８ｂｉｔの各画像データのうち、Ｒ８ｂｉｔの画像データを、フレーム単位で蓄積するが、ＶＧＡサイズ（６４０×４８０）の、１フレーム全てのＲ画像を構成するデータを蓄積するわけではなく、図３においてＡ、Ｂ、Ｃ、Ｄで示す４画素に対応する４箇所のデータをサンプリングして蓄積する。バッファ２３は図２において符号Ａ、Ｂで示すＡ面／Ｂ面の２面分の記憶領域を持っており、各面にそれぞれ１フレーム分のデータを蓄積することで、合計２フレーム分のデータを蓄積することが可能となっている。なお、バッファ２３は、１フレームの画像を構成する全てのデータを蓄積してもよいし、１フレームの画像を構成する複数のラインを構成するデータを蓄積してもよい。

減算器２５は、バッファ２３に記憶されている２面分のデータを読み込み、Ｂ面のデータからＡ面のデータを減算し、減算結果をデータチェックブロック２４に入力する。
なお、本形態では、ＶＧＡサイズの画像を撮影等するようになっているが、ＶＧＡサイズに限定されるものではない。また、バッファ２３によるサンプリングは、後述する、ＬＥＤ１４からの光の、ＣＭＯＳセンサーアレイ１９の配設エリアへの照射の非対称性が、画像処理部２０における画像処理の態様に応じて検出されるように行われればよいものであり、本形態の態様でのサンプリングに限らず、他の態様でサンプリングしてもよい。バッファ２３の記憶サイズは、サンプリングする箇所に応じて変更されるものである。

データチェックブロック２４は、ＣＭＯＳセンサーアレイ１９によって撮影された画像が画像処理部２０により正常に処理されているか否かの判断を行う画像処理状態判断手段としての機能を有する。データチェックブロック２４は、ＣＭＯＳセンサーアレイ１９によって撮影された画像が画像処理部２０により正常に処理されていると判断したときに、ＬＥＤ１８に向けて正常動作表示信号を出力する。

画像処理状態判断手段としてのデータチェックブロック２４は、図４に示すように、画像処理部２０において鏡像処理が正常に行われているか否かを判断する鏡像処理状態判断手段としての鏡像処理チェック手段３１と、画像処理部２０において上下反転処理が正常に行われているか否かを判断する上下反転処理状態判断手段としての上下反転処理チェック手段３２と、画像処理部２０においてガンマ処理すなわちガンマ変換処理が正常に行われているか否かを判断するガンマ処理状態判断手段としてのガンマ変換処理チェック手段３３と、撮像装置１００の出荷時までの事前に取得した、ＬＥＤ１４の出力を８段階で変化させつつＬＥＤ１４からの光のみをＣＭＯＳセンサーアレイ１９に照射しガンマ処理を行ったときの画像データを記憶、保存したバッファ３４とを有している。

バッファ３４が記憶している画像データはＲ８ｂｉｔ値であり、この画像データを取得するにあたって、ＬＥＤ１４の出力の変化は、ＬＥＤＤ１４に印加される電流値によって定まる輝度によって与えられており、バッファ３４が記憶している画像データもＲの輝度によって与えられている。その他、バッファ２３がサンプリングする画像データや、ＣＭＯＳセンサーアレイ１９によって撮影された画像が画像処理部２０により正常に処理されているか否かの判断を画像処理状態判断手段として機能するデータチェックブロック２４により行うのに用いられるデータも同様に、輝度を基準としている。

図１に示したＬＥＤ１８は、ユーザーに対して撮像装置１００が正常動作可能な状態であるかどうかを通知するために設けられたものであって、ＣＭＯＳセンサーアレイ１９によって撮影された画像が画像処理部２０により正常に処理されているか否かの、画像処理状態判断手段としてのデータチェックブロック２４による判断結果をユーザーに対して報知する報知手段として機能する。
なお、報知手段は、かかる判断結果をユーザーに知らせることが可能であれば、ＬＥＤ１８のようにユーザーの視覚に作用するものに限らず、音声通知装置など、ユーザーの聴覚等に作用するものであっても良い。

図２に示したリセットコントローラ２７は、データチェックブロック２４からの信号を受けたことを、イメージセンサー１１に対してリセット信号を発行する条件とするほか、電源起動時には、データチェックブロック２４からの信号の有無に関わらず、イメージセンサー１１に対してリセット信号を発行する。

ＬＥＤ１４は、ＣＭＯＳセンサーアレイ１９への一部エリアへの照射光として使用する。具体的には、ＬＥＤ１４は、ＣＭＯＳセンサーアレイ１９に非対称に光を照射するために用いられる。そのため、スリット１５は、ＬＥＤ１４からの光の一部を遮断し、ＬＥＤ１４からの光を、図３に示すように、ＣＭＯＳセンサーアレイ１９の配設エリアに対して上下及び左右に非対称に透過させて照射する。ここで、非対称、とは、画像処理部２０において行われる画像処理に応じて定まるものであり、ＬＥＤ１４からの光の強度の差が画像処理部２０における画像処理前と画像処理後とで検出される場合に、かかる光の照射位置ないし照射態様について生じているものである。かかる強度として、本形態では輝度を採用しているが、色差を採用しても良い。

なお、ＬＥＤ１４は、赤色の光をＣＭＯＳセンサーアレイ１９に照射するが、ＣＭＯＳセンサーアレイ１９に照射する光の色は、赤色に限らず、ＣＭＯＳセンサーアレイ１９が感度を有する色であれば、緑色、青色、赤外等他色であっても良い。バッファ２３は、ＬＥＤ１４が発光する色に応じて、本形態では赤色の画像データを保存するが、バッファ２３が保存する画像データに対応する信号は、ＬＥＤ１４の発光する色に応じて、Ｂ信号、Ｇ信号や、輝度色差信号のＹ、Ｕ、Ｖや、Ｙ、Ｃｒ、Ｃｂ信号等であっても良い。

また、ＬＥＤ１４は、距離に応じた強度差により、ＣＭＯＳセンサーアレイ１９の配設エリアに対して非対称に光を照射するものであって、ＣＭＯＳセンサーアレイ１９がかかる強度差に感度を有するものであれば、スリット１５のような光学素子は不要である。また、光学素子を設ける場合、ＬＥＤ１４からの光の一部を遮断し、ＣＭＯＳセンサーアレイ１９の配設エリアに対して非対称に光を照射するものであれば、光学素子はスリットに限らない。光学素子が、ＬＥＤ１４からの光の透過性、遮断性を制御可能である場合には、ＬＥＤ１４からの光がＣＭＯＳセンサーアレイ１９に照射されていない状態を形成するときであっても、ＬＥＤ１４を発光させた状態とし、ＬＥＤ１４からＣＭＯＳセンサーアレイ１９に向かう光を光学素子で遮断するようにしても良い。

このような構成の撮像装置１００は次のように動作する。
動作の前提条件は以下のとおりである。

イメージセンサー１１内部の画像処理パラメータレジスタのデフォルト値は、センサーの仕様として、鏡像処理ＯＦＦ、上下反転処理ＯＦＦ、ガンマ変換ＯＦＦ、つまり、入力データをそのまま出力するような設定値となっている。
撮像装置１００において、レンズセル１３を通すと外部から入射される画像は上下反転されＣＭＯＳセンサーアレイ１９に入射するため、ＥＥＰＲＯＭ２１には、期待する出力画像結果を得るために、画像処理パラメータとして、鏡像処理ＯＮ、上下反転処理ＯＮとするパラメータが蓄積されている。また、ＥＥＰＲＯＭ２１には、画像処理パラメータとして、ガンマ変換により入出力のデータ値の関係がイコールで無い変換処理を実施するパラメータが蓄積されている。
ＬＥＤ１４は、電源起動後は、ＬＥＤドライバー２６からの発光制御がなされない限りは、発光しない状態となっている。
このような前提条件に基づいて、動作例を、図５を参照しつつ、以下に説明する。

電源起動時には、リセットコントローラ２７は、イメージセンサー１１に対してリセット信号を発行する（図５（Ｓ１））。イメージセンサー１１は、リセット信号を受けたら、ＥＥＰＲＯＭ２１に、Ｉ２Ｃバスを経由して、リードアクセスを実施し、画像処理パラメータを読み込み、画像処理部２０内部の画像処理パラメータレジスタを更新する（図５（Ｓ２））。

かりにここでは、画像処理部２０は、ＥＥＰＲＯＭ２１からの画像処理パラメータの読み込みに失敗しており、内部画像処理パラメータ設定値は、デフォルト設定の、鏡像処理ＯＦＦ、上下反転処理ＯＦＦ、ガンマ変換ＯＦＦとして画像処理を実施するものとする。

ＣＭＯＳセンサーアレイ１９は、ＬＥＤ１４の非発光状態言い換えるとＬＥＤ１４からの光の非被照射状態で撮像を行い、画像処理部２０は、この撮像によって得られた画像に対してかかる設定の画像処理を行う。イメージセンサー１１は、この画像処理を経ることで得られた第１の像を構成するＲＧＢ８ｂｉｔデータを、ＮＴＳＣエンコーダー２２へ出力するが、そのうちのＲデータは、図３に示した１フレーム中Ａ、Ｂ、Ｃ、Ｄの４画素のデータを、バッファ２３にサンプリングされ、Ａ面の記憶領域に蓄積される（図５（Ｓ３））。

データチェックブロック２４は、Ａ面の記憶領域へのデータ蓄積が完了したら、ＬＥＤドライバー２６に対して発光命令を出力し、ＬＥＤドライバー２６は、発光命令を受けたら、ＬＥＤ１４を発光させる（図５（Ｓ４））。ＣＭＯＳセンサーアレイ１９は、ＬＥＤ１４の発光状態言い換えるとＬＥＤ１４からの光の被照射状態で撮像を行い、画像処理部２０は、この撮像によって得られた画像に対してかかる設定の画像処理を行う。

イメージセンサー１１は、この画像処理を経ることで得られた第２の像を構成するＲＧＢ８ｂｉｔデータを、ＮＴＳＣエンコーダー２２へ出力するが、そのうちのＲデータは、ＬＥＤ１４の非発光状態時と同様に、１フレーム中Ａ、Ｂ、Ｃ、Ｄの４画素に対応する４箇所のデータとしてサンプリングされ、バッファ２３の２面分の記憶領域中の、Ｂ面の記憶領域に蓄積される（図５（Ｓ５））。なお、ＬＥＤ１４の非発光状態でバッファ２３にＲデータを蓄積したタイミングと、ＬＥＤ１４の発光状態でＲデータをバッファに蓄積したタイミングとの間隔は、数フレーム以内の非常に短い間隔とされている。よって、レンズアセル１３を経てＣＭＯＳセンサーアレイ１９によって撮影された画像はほぼ同じであるとみなせる。

次に、減算器２５は、バッファ２３から、Ｂ面のデータとＡ面のデータとを読み込み、Ｂ面のデータから、Ａ面のデータを減算し、この減算結果をデータチェックブロック２４に入力する。この点、減算器２５は、バッファ２３によって記憶された第１の像の一部を構成する画素に対応したデータと、第１の像のかかる一部に対応する、第２の像の一部を構成する画素に対応したデータとの差分を算出する減算手段として機能する。

データチェックブロック２４は、減算器２５から入力されたかかる減算結果をチェックし（図５（Ｓ６））、ＣＭＯＳセンサーアレイ１９によって撮影された画像が画像処理部２０により正常に処理されているか否かの判断を行う（図５（Ｓ７〜Ｓ９））。このように、画像処理状態判断手段としてのデータチェックブロック２４は、第１の像と第２の像との比較、具体的には、第１の像の一部を構成する画素に対応したデータと、第１の像のかかる一部に対応する、第２の像の一部を構成する画素に対応したデータとの比較、さらに具体的には、Ｂ面のデータからＡ面のデータを減算した結果として得られる第１の像の当該一部と第２の像の当該一部との差分に基づいて、かかる判断を行う。

かかる減算処理は、ＬＥＤ１４の点灯時のデータからＬＥＤ１４の非点灯時のデータを減算することで、ＬＥＤ１４の純粋な点灯分のデータ値を得るための動作である。したがって、画像処理状態判断手段としてのデータチェックブロック２４は、第１の像と第２の像とに含まれる、ＬＥＤ１４からの光と同じ色により、かかる判断を行うものとなっている。

画像処理状態判断手段としてのデータチェックブロック２４は、鏡像処理チェック手段３１により画像処理部２０において鏡像処理が正常に行われているか否かを判断、チェックし（図５（Ｓ７））、上下反転処理チェック手段３２により画像処理部２０において上下反転処理が正常に行われているか否かを判断、チェックし（図５（Ｓ８））、ガンマ変換処理チェック手段３３により画像処理部２０においてガンマ処理すなわちガンマ変換処理が正常に行われているか否かを判断、チェックする（図５（Ｓ９））。

これらのチェックは、以下のようにして実施される。

・鏡像処理ＯＮ／ＯＦＦチェック（図５（Ｓ７））
鏡像処理のＯＮ／ＯＦＦチェック方法を、図６、図７を用いて説明する。図６は同チェック方法における処理フローを示したものである。図７は、ＣＭＯＳセンサーアレイ１９から出力される、フレームデータの、鏡像処理がかかっている場合の２パターンのイメージを示したものであり、同図（ａ）は上下反転処理がかかっていない場合を示しており、同図（ｂ）は上下反転処理がかかっている場合を示している。

画像処理状態判断手段としてのデータチェックブロック２４は、鏡像処理チェック手段３１において、バッファ２３に記憶されている、図７に示すＡ、Ｂ、Ｃ、Ｄ点に相当するデータ値を、それぞれＤａ、Ｄｂ、Ｄｃ、Ｄｄとして取得する（図６（Ｓ１））。次に、図７（ａ）に示した鏡像処理ＯＮ、上下反転ＯＦＦの状態であるかをチェックするために、（｜Ｄａ−Ｄｂ｜≦α（＝３２））＆（Ｄｃ−Ｄｄ≧β（＝１２８））が成り立つかどうかをチェックする（図６（Ｓ２））。成立する場合は、鏡像処理ＯＮであると判定し、そうで無い場合は、次に、図７（ｂ）に示した鏡像処理ＯＮ、上下反転処理ＯＮの状態であることをチェックするために、(Ｄａ−Ｄｂ≧β（＝１２８）)＆(｜Ｄｃ−Ｄｄ｜≦α（＝３２）)が成り立つかどうかをチェックする（図６（Ｓ３））。成立する場合は、鏡像処理ＯＮであると判定し、そうで無い場合は、鏡像処理ＯＦＦであると判定する。以上のようにして、鏡像処理ＯＮ、ＯＦＦチェックを実施することが可能である。なお、図６（Ｓ２）、図６（Ｓ３）の各ステップで用いるα、βの各値は、適宜設定されるものである。

・上下反転処理ＯＮ／ＯＦＦチェック（図５（Ｓ８））
上下反転処理ＯＮ／ＯＦＦチェックの方法を、図８、図９を用いて説明する。図８は同チェック方法における処理フローを示したものである。図９は、ＣＭＯＳセンサーアレイ１９から出力される、フレームデータの、上下反転処理がかかっている場合の２パターンのイメージを示したものであり、同図（ａ）は鏡像処理がかかっていない場合を示しており、同図（ｂ）は鏡像処理がかかっている場合を示している。

鏡像処理ＯＮ／ＯＦＦチェック時と同様に、画像処理状態判断手段としてのデータチェックブロック２４は、上下反転処理チェック手段３２において、図７に示したＡ、Ｂ、Ｃ、Ｄ点と同じ図９に示すＡ、Ｂ、Ｃ、Ｄ点に相当するデータ値を、それぞれＤａ、Ｄｂ、Ｄｃ、Ｄｄとして取得する（図８（Ｓ１））。次に、図９（ａ）に示した上下反転処理ＯＮ、鏡像処理ＯＦＦの状態であるかをチェックするために、（｜Ｄａ−Ｄｃ｜≦α（＝３２））＆（Ｄｂ−Ｄｄ≧β（＝１２８））が成立するかどうかをチェックする（図８（Ｓ２））。成立する場合は、上下反転処理ＯＮであると判定し、そうで無い場合は、次に、図９（ｂ）に示した上下反転処理ＯＮ、鏡像処理ＯＮの状態であることをチェックするために、(Ｄａ−Ｄｃ≧β（＝１２８）)＆(｜Ｄｂ−Ｄｄ｜≦α（＝３２）)が成り立つかどうかをチェックする。成立する場合は、上下反転処理ＯＮであると判定し、そうで無い場合は、上下反転処理ＯＦＦであると最終決定する。以上のようにして、上下反転処理ＯＮ、ＯＦＦチェックを実施することが可能である。なお、図８（Ｓ２）、図８（Ｓ３）の各ステップで用いるα、βの各値は、適宜設定されるものである。

・ガンマ変換処理ＯＮ／ＯＦＦチェック（図５（Ｓ９））
ガンマ変換処理ＯＮ／ＯＦＦチェックの方法を、図４、図１０を用いて説明する。図１０は、ＬＥＤ１４によって照射された光を受光した画素の、ＣＭＯＳセンサーアレイ１９でキャッチした輝度の測定値と、この値をガンマ変換処理した後の処理値との関係を示したものである。

すでに概略的に述べたが、図４に示したバッファ３４には、事前に、ＬＥＤ１４が、ある８段階の強度で発光した場合の、ガンマ変換ＯＮ時の特定画素すなわち図７、図９に示したＡ、Ｂ、Ｃ、Ｄ点のＲデータ値と、ガンマ変換ＯＦＦ時の特定画素すなわち図７、図９に示したＡ、Ｂ、Ｃ、Ｄ点のＲデータ値とが参照値として記憶されている。

画像処理状態判断手段としてのデータチェックブロック２４は、ガンマ変換処理チェック手段３３において、その参照値と、ガンマ変換処理ＯＮ／ＯＦＦチェックのために取得した、同じ特定画素すなわち図７、図９に示したＡ、Ｂ、Ｃ、Ｄ点のＲデータとを比較し、ガンマ変換ＯＮ時の参照値とガンマ変換ＯＦＦ時の参照値との何れに近い値になっているかで、ガンマ変換がＯＮとなっているかＯＦＦとなっているかを判断する。

画像処理状態判断手段としてのデータチェックブロック２４は、ガンマ変換処理チェック手段３３において、鏡像処理チェック手段３１と、上下反転処理チェック手段３２の処理結果を入力されており、これにより、ガンマ変換処理チェック手段３３は、ＬＥＤ１４の照射光を受けた素子に対応する画素が、図７、図９に示したＡ、Ｂ、Ｃ、Ｄ点のどれに相当するかを認識する。鏡像処理ＯＮ、上下反転処理ＯＮの場合を想定すると、図７（ｂ）、図９（ｂ）を参照して、Ａ点の画素がＬＥＤ１４からの光を受けたＲ値となることが分かる。

図１０に示すように、ある輝度、ここでは輝度７の光がＬＥＤ１４からＣＭＯＳセンサーアレイ１９に照射されたときに、Ａ点の画素において符号Ｚで示すＲ８ｂｉｔのデータ値が得られた場合、同輝度において、値Ｚは、ガンマ変換処理していない値Ｘに比べ、ガンマ変換処理後の値Ｙの方に近い。よって、この場合、画像処理状態判断手段としてのデータチェックブロック２４は、ガンマ変換処理チェック手段３３において、ガンマ変換処理が正常にかかっていると判断する。

このように、画像処理状態判断手段としてのデータチェックブロック２４は、ガンマ変換処理チェック手段３３において、ＬＥＤ１４からの光のみがＣＭＯＳセンサーアレイ１９に照射されているときのＣＭＯＳセンサーアレイ１９の出力に対してガンマ処理を行った場合のデータ及びガンマ処理を行わない場合のデータと、減算器２５によって算出されたデータ、すなわち第１の像の一部である図７、図９に示したＡ、Ｂ、Ｃ、Ｄ点と第２の像の一部である図７、図９に示したＡ、Ｂ、Ｃ、Ｄ点との差分のデータとを比較して、ガンマ変換がＯＮとなっているかＯＦＦとなっているかを判断する。

以上のようにして、画像処理状態判断手段としてのデータチェックブロック２４は、鏡像処理ＯＮ／ＯＦＦチェック（図５（Ｓ７））、上下反転処理ＯＮ／ＯＦＦチェック（図５（Ｓ８））、ガンマ変換処理ＯＮ／ＯＦＦチェック（図５（Ｓ９））を実施する（図５（Ｓ６））のであるが、前提として、画像処理部２０は、ＥＥＰＲＯＭ２１からの画像処理パラメータの読み込みに失敗しているため、鏡像処理、上下反転処理、ガンマ変換処理が何れも正常に働いていないと判断される。

この結果を得られたら、データチェックブロック２４は、ＬＥＤ１４の消灯命令を、ＬＥＤドライバー２６に発行し、ＬＥＤドライバー２６は、ＬＥＤ１４を消灯する（図５（Ｓ１０））。また、データチェックブロック２４は、リセットコントローラ２７にリセット発行命令を出し、イメージセンサー１１に再度リセット処理が施される（図５（Ｓ１））。
リセット後は、再度、電源起動後からの同様の処理を繰り返し実施し、鏡像処理、上下反転処理、ガンマ変換処理が正常に動作するまで繰り返す。

このような処理を継続後、鏡像処理、上下反転処理、ガンマ変換処理が何れも正常に動作することが、画像処理状態判断手段としてのデータチェックブロック２４によるチェック（図５（Ｓ６〜Ｓ９））により確認されたら、データチェックブロック２４は、ＬＥＤ消灯命令を発行し、ＬＥＤ１４を消灯する（図５（Ｓ１１））。消灯後は、正常動作状態である旨の信号を出力してＬＥＤ１８を発光させ、同旨を外部に通知し（図５（Ｓ１２））、撮像装置１００の撮影、記録動作が安定して開始される。

制御部は、メモリに、以上述べたようにして、ＣＭＯＳセンサーアレイ１９によって撮影された画像が画像処理部２０により正常に処理されているか否かの判断を行う画像処理状態判断方法を、撮像装置１００を用いて実行するための画像処理状態判断プログラムを記憶している。この点、制御部ないしメモリは、画像処理状態判断プログラム記憶手段として機能している。かかる画像処理状態判断プログラムは、制御部に備えられたメモリのみならず、半導体媒体（たとえば、ＲＯＭ、不揮発性メモリ等）、光媒体（たとえば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（たとえば、ハードディスク、磁気テープ、フレキシブルディスク等）その他の記憶媒体に記憶可能であり、かかるメモリ、他の記憶媒体は、かかる画像処理状態判断プログラムを記憶した場合に、かかる画像処理状態判断プログラムを記憶したコンピュータ読取可能な記録媒体を構成する。

以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。

たとえば、ＬＥＤ１４によって例示された発光素子を、報知手段に用いるようにしても良い。すなわち、画像処理状態判断方法を実行している場合における、発光素子の発光時間、強度等がユーザーにとって視認されるものである場合には、発光素子から照射される光がユーザーに視認されるように撮像装置１００を構成すれば、画像処理状態判断方法の終了によって発光素子が発光しなくなったことをもって、画像処理手段による画像処理が正常に行われていることがユーザーに通知されることとすることが可能である。

また、図５（Ｓ１０）のステップが繰り返して実行された場合など、画像処理手段による画像処理が正常に行われていないとの判断が所定回数行われた場合に、報知手段によって画像処理手段による画像処理が正常に行われていない旨をエラーメッセージとしてユーザーに通知するようにしても良い。

本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。

１４ 発光素子
１５ 光学素子
１９ 撮像素子
２０ 画像処理手段
２３ 画像記憶手段
２４ 画像処理状態判断手段
２５ 減算手段
１００ 撮像装置

特開２００８−１２３４９８号公報 特許第４１３２６１９号公報

Claims (8)

1. 撮像素子と、
   この撮像素子によって撮影された画像を処理する画像処理手段と、
   前記撮像素子に光を照射可能な発光素子と、
   前記発光素子からの光が前記撮像素子に照射されていないときに同撮像素子によって撮影された第１の像と、前記発光素子からの光が前記撮像素子に照射されているときに同撮像素子によって撮影された第２の像との比較に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かの判断を行う画像処理状態判断手段と、
   前記発光素子からの光が前記撮像素子に非対称に照射されるように、前記発光素子からの光の一部を遮断する光学素子とを有する撮像装置。
2. 請求項１記載の撮像装置において、
   第１の像と第２の像とを記憶する画像記憶手段と、
   この画像記憶手段によって記憶された第１の像と第２の像との差分を算出する減算手段とを有し、
   前記画像処理状態判断手段は、前記減算手段によって算出された前記差分に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かを判断することを特徴とする撮像装置。
3. 請求項１または２記載の撮像装置において、
   前記画像処理手段は、前記画像に対して、鏡像処理及び／又は上下反転処理を行うものであることを特徴とする撮像装置。
4. 請求項１ないし３の何れか１つに記載の撮像装置において、
   前記画像処理手段は、前記画像に対して、ガンマ処理を行うものであり、
   前記画像処理状態判断手段は、前記発光素子からの光のみが前記撮像素子に照射されているときの同撮像素子の出力に対してガンマ処理を行った場合のデータとガンマ処理を行わない場合のデータと、前記比較によって得られたデータとを比較して、前記判断を行うことを特徴とする撮像装置。
5. 請求項１ないし４の何れか１つに記載の撮像装置において、
   前記画像処理状態判断手段は、第１の像の一部を構成する画素に対応したデータと、第１の像の前記一部に対応する、第２の像の一部を構成する画素に対応したデータとの比較に基づいて、前記判断を行うことを特徴とする撮像装置。
6. 請求項１ないし５の何れか１つに記載の撮像装置において、
   前記画像処理状態判断手段は、第１の像と第２の像とに含まれる、前記発光素子からの光と同じ色により、前記判断を行うことを特徴とする撮像装置。
7. 請求項１ないし６の何れか１つに記載の撮像装置において、
   前記画像処理状態判断手段は、第１の像と第２の像との輝度又は色差により、前記判断を行うことを特徴とする撮像装置。
8. 撮像素子と、
   この撮像素子によって撮影された画像を処理する画像処理手段と、
   前記撮像素子に光を照射可能な発光素子と、
   前記発光素子からの光が前記撮像素子に照射されているときに同撮像素子によって撮影された第１の像と、前記発光素子からの光が前記撮像素子に照射されていないときに同撮像素子によって撮影された第２の像との比較に基づいて、前記画像処理手段により前記画像が正常に処理されているか否かの判断を行う画像処理状態判断手段と、
   前記発光素子からの光が前記撮像素子に非対称に照射されるように、前記発光素子からの光の一部を遮断する光学素子とを用いる画像処理状態判断方法。

Images