JP6462536B2 - 画像処理装置 - Google Patents

Description

本発明は、イメージセンサで撮像した画像の明るさ補正や歪み補正に使用する補正データの異常を検出する画像処理装置に関する。

イメージセンサの感度不均一性や、光学系の歪みにより、イメージセンサで撮像した画像には明るさのムラや、画像の歪みが発生する。この明るさのムラや画像歪みは、取得画像を画像処理に掛けて所定情報を取り出す際の、性能劣化の原因となるため、画像処理を掛ける前に、取得した画像に補正処理を掛ける事が一般的に知られている。

上記補正処理の１つにシェーディング補正がある。シェーディング補正を実施するためには、予め均一な明るさの被写体をイメージセンサで撮像して、得られた画像から、各画素の補正係数を求めておく。この補正係数と撮像画像を掛け合わせることで、撮像画像から明るさのムラを低減させることが可能となるが、一方で、この補正に使用するデータが正しくなかった場合には、誤った補正を掛けることになり、本来の目的を達成することができない。

上記の問題を解決するために、例えば特許文献１には、シェーディング補正データを使用する際にチェックサム値を算出し、予めチェックサムメモリに保持しているチェックサム値と比較することで、補正データの誤りを検出している。

特開平８−２４２３７２号公報

しかしながら、使用するイメージセンサの画素数が増加すると、それに比例して補正データ量が増加するので、前述した従来の方法では、補正データの誤り検出の計算負荷が増加するという問題がある。

近年、イメージセンサの画素数は飛躍的に増加しており、従来方法のまま補正データの誤り検出を実行するには、計算量増加分だけ撮像間隔を長くするか、補正データの誤り検出の実行を撮像数回に分けた実施が必要になる。撮像間隔を長くした場合は、画像処理の応答性低下や性能低下の問題が発生する。また、チェックサムの実行を撮像数回に分けて実施した場合は、補正データに異常が発生してから、異常を検出するまでに時間が掛かってしまう問題がある。

本発明の目的は、補正データの誤り検出時の計算負荷を削減し、画像処理の応答性や性能を損なうことなく補正データの異常を早期に検出することである。

上記課題を解決するために、本発明の画像処理装置は例えば、周囲を撮像する撮像手段と、補正データを用いて前記撮像手段で取得した画像データを補正する補正手段と、前記補正された画像データを用いて画像処理を実行する画像処理手段と、前記補正データの所定の範囲を読み出して計算された誤り検出データを補正データ誤り検出データと比較して前記補正データの誤りを検出する補正データ誤り検出手段と、を有し、前記補正データの誤り検出対象領域は、前記画像処理で実行される処理領域の少なくとも一部を含む。

本発明によれば、補正データの誤り検出時の計算負荷を削減し、画像処理の応答性や性能を損なうことなく補正データの異常を早期に検出することが可能となる。

本発明が適用される画像処理装置の概略構成を示す図である。 本発明が適用される画像処理装置で実施される動作画像処理切換え部の一例を示すフロー図である。 本発明が適用される画像処理装置で実施される画像処理部の一例を示すフロー図である。 本発明が適用される画像処理装置で実施される補正データ誤り検出部の一例を示すフロー図である。 本発明が適用される画像処理装置で取得した画像の一例を図である。 本発明が適用される画像処理装置で設定される、補正データ誤り検出領域の一例を示す図である。 本発明が適用される画像処理装置で設定される、補正データ誤り検出領域の一例を示す図である。 本発明が適用される画像処理装置で設定される、補正データ誤り検出領域の一例を示す図である。

次に、本発明の実施形態について図を用いて以下に説明する。

図１は、本実施形態における画像処理装置の概略構成である。撮像部１００で取得した画像が補正処理部１０２に入力される。補正処理部１０２は、撮像部１００から入力された画像を、補正データ１０３を使って補正し、補正後の画像を画像処理部１０６に入力する。画像処理部１０６は１つ以上の画像処理機能を有しており、動作画像処理切換え部１０１の指示にしたがい実行する画像処理を切換え、画像処理結果を外部出力する。また補正処理部１０２で補正データ１０３を使用するのに同期して、補正データ誤り検出部１０４が、補正データ１０３が正常であることを、補正データ誤り検出データ１０５を使って確認する。このとき補正データ誤り検出部１０４は、動作画像処理切換え部１０１から入力される情報により、動作中の画像処理機能を判断する。この判断結果を元に、動作中の画像処理機能に必要な画像領域の補正データに対して誤り検出を実行し、誤り検出結果が外部に出力される。

次に、処理の詳細について具体的に説明するため、道路標識検知機能／信号検知機能／車線検知機能を有する画像処理装置へ本発明を適用した場合の事例を、図２〜図８を用いて説明する。

図２は、動作画像処理切換え部１０１で実行される具体的な処理の一例である。まずＳ２０１で走行中の道路種別が判定される。高速道路走行中であると判定された場合（Ｓ２０１：ＹＥＳ）は、高速道路上に信号が存在しないので、道路標識検知と走行車線検知を、撮像毎に交互に実行するように指示を出す（Ｓ２０２）。一方、高速道路ではないと判定された場合（Ｓ２０１：ＮＯ）は、道路標識検知、走行車線検知、信号検知を、撮像毎に順番に切り替えながら実行するように指示を出す（Ｓ２０３）。このように、動作画像処理切換え部１０１は、どの画像処理機能を動作させるかを切り替える機能を有しており、切換え条件としては、図２に示したように走行環境によって切換える、あるいは、単純に所定時間周期の切換えることでも構わない。

図３は、動作画像処理部１０６で実行される具体的な処理の一例である。動作画像処理切換え部１０１から道路標識検知実行を指示されている場合（Ｓ３０１：ＹＥＳ）は道路標識検知を実行（Ｓ３０３）し、走行車線検知実行を指示されている場合（Ｓ３０１：ＮＯ、Ｓ３０２：ＹＥＳ）は走行車線検知を実行し、信号検知実行を指示されている場合（Ｓ３０１：ＮＯ、Ｓ３０２：ＮＯ）は信号検知を実行する。このように動作画像処理部１０６は、動作画像処理切換え部１０１の指示にしたがって、実行する画像処理を切換える。

図４は、補正データ誤り検出部１０４で実行される具体的な処理の一例である。動作画像処理切換え部１０１から道路標識検知実行を指示されている場合（Ｓ４０１：ＹＥＳ）は、道路標識検知用に設定された領域の補正データのチェックサム計算（Ｓ４０３）と、予め用意されている道路標識検知用チェックサムデータの読出し（Ｓ４０６）を実行する。また動作画像処理切換え部１０１から走行車線検知実行を指示されている場合（Ｓ４０１：ＮＯ、Ｓ４０２：ＹＥＳ）は、走行車線検知用に設定された領域の補正データのチェックサム計算（Ｓ４０４）と、予め用意されている走行車線検知用チェックサムデータの読出し（Ｓ４０７）を実行する。信号検知実行を指示されている場合も同様に、信号検知用のチェックサム計算（Ｓ４０５）と、チェックサム読出し（Ｓ４０８）を実行する。次にＳ４０９では、ここまでで取得したチェックサム計算値とチェックサム読出し値の比較を実施し、一致していた場合（Ｓ４０９：ＹＥＳ）は補正データ正常と判断する（Ｓ４１０）。一方、不一致だった場合（Ｓ４０９：ＮＯ）は補正データ異常と判断する（Ｓ４１１）。ここで本実施例では、補正データ誤り検出にチェックサムを使用したが、誤り検出ができれば、ＣＲＣ等の他の手法でも問題ない。

上記した補正データ誤り検出部１０４によれば、動作している画像処理機能に応じて誤り検出の計算領域を限定して計算負荷を軽減することができ、さらには、動作している画像処理機能にとって、重要な領域の補正データを誤り検出の対象とするので、画像処理に影響のある補正データの異常を早期に発見することが可能となる。

次に図５〜図８を使って、補正データの誤り検出対象領域の設定例について説明する。

図５は、画像処理装置で取得した画像の一例であり、道路標識５０１、信号５０２、走行車線５０３が存在する場合を示している。図５に示すように、道路標識は道路端に設置されているので、標識検知の処理領域は、左側通行の場合は画像中の左側、右側通行の場合は画像中の右側となる。そこで補正データの誤り検出も、この処理領域に対して実行すれば良く、左側通行の場合は図６に示す領域６０１の補正データの誤りを検出すれば良い。したがって、補正データ誤り検出データ１０５も、この領域６０１に関して求めて置けばよい。

また同様の考え方で、信号検知は画像の上側、走行車線検知は画像の下側が処理領域になるので、それぞれ、補正データ誤り検出領域は、信号検知用が図７の領域７０２、走行車線検知用が図８の領域８０３のように設定することができ、補正データ誤り検出データ１０５も、それぞれの領域に関して求めて置けば良い。

１００…撮像部、１０１…動作画像処理切換え部、１０２…補正処理部、１０３…補正データ、１０４…補正データ誤り検出部、１０５…補正データ誤り検出データ、１０６…画像処理部、５０１…道路標識、５０２…信号、５０３…走行車線、６０１…道路標識検知用の補正データ誤り検出領域、７０２…信号検知用の補正データ誤り検出領域、８０３…走行車線検知用の補正データ誤り検出領域

Claims (4)

1. 周囲を撮像する撮像手段と、
   補正データを用いて前記撮像手段で取得した画像データを補正する補正手段と、
   前記補正された画像データを用いて画像処理を実行する画像処理手段と、
   前記補正データの所定の範囲を読み出して計算された誤り検出データを補正データ誤り検出データと比較して前記補正データの誤りを検出する補正データ誤り検出手段と、を有し、
   前記補正データの誤り検出対象領域は、前記画像処理で実行される処理領域の少なくとも一部を含み、前記撮像手段により撮像された画像の一部の領域である、ことを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記補正データ誤り検出手段は、前記画像処理手段と同期して動作することを特徴とする画像処理装置。
3. 請求項１記載の画像処理装置であって、
   前記画像処理手段で実行する画像処理を切替える画像処理切替え手段を有し、
   前記補正データ誤り検出手段は、前記画像処理切替え手段の切替え指示に基づき、前記補正データの誤り検出対象領域を切替えながら動作することを特徴とする画像処理装置。
4. 請求項１記載の画像処理装置であって、
   前記補正データ誤り検出手段による誤り検出対象領域毎に、前記補正データ誤り検出データを具備することを特徴とする画像処理装置

Images