JP6127620B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関するものである。

従来より、異なる時刻に撮像された２つの輝度画像の差分に基づいて、差分画像を生成し、生成した差分画像に基づいて、移動する被写体を検出する技術が知られている。しかしながら、差分画像は２つの輝度画像の差分に基づいて生成されるものであるため、輝度画像の輝度が高い場合でも、差分画像の輝度は低くなり、差分画像において、ショットノイズの影響が大きくなる場合があった。そこで、このようなショットノイズの影響を低減するために、ショットノイズが画素の輝度値の平方根に比例して大きくなることに鑑みて、差分画像の各画素の輝度値を、該輝度値の平方根で除算する補正を行い、輝度値を補正した差分画像から被写体を検出する技術が知れている（特許文献１参照）。

特願２００８−２３４６１９号

同期検波処理により、投光量の異なる２つの輝度画像の差分から、投光された光成分に基づく画像を検波処理画像として生成する場合も、従来技術と同様に、ショットノイズの影響が問題となる場合があった。しかしながら、ショットノイズの影響を低減するために、従来技術のように、各画素の輝度値を該輝度値の平方根で除算してしまうと、被写体のコントラストが低下してしまい、その結果、被写体のエッジを適切に抽出することができず、被写体を適切に検出できない場合があった。

本発明が解決しようとする課題は、ショットノイズの影響を低減させることができ、かつ、被写体のエッジを適切に抽出することができる画像処理装置を提供することである。

本発明は、同期検波処理により生成された検波処理画像から被写体のエッジを抽出する際に、輝度画像上において、隣接する画素間の輝度差の大きさが、一方の画素の輝度値の平方根に基づいて決定される判定値以下となる領域を、対象領域として設定し、対象領域に対応する検波処理画像の領域を補正領域として設定し、検波処理画像における補正領域内の輝度のバラツキが低減するように、補正領域内の輝度を補正し、補正した検波処理画像から被写体のエッジを抽出することで、上記課題を解決する。

本発明によれば、対象領域における輝度のバラつきは、画素の輝度値の平方根に基づいて決定される判定値以下であるために、同一被写体内でのショットノイズの影響によるものと判断し、この対象領域に対応する検波処理画像上の補正領域において輝度のバラつきが低減するように、補正領域の輝度を補正することで、同一被写体内でのショットノイズの影響を低減させることができるとともに、異なる被写体間におけるコントラストの低下を有効に防止することができ、その結果、被写体のエッジを適切に抽出することができる。

本実施形態に係る画像処理装置１のブロック構成図である。 カメラの撮像範囲と投光装置の照射範囲との関係を示す図である。 投光装置の投光量および投光タイミングと、カメラの露光タイミングの一例を示す図である。 検波処理画像の生成方法を説明するための図である。 輝度画像における処理範囲および対象領域の設定方法を説明するための図である。 輝度画像における対象領域の設定方法の詳細を説明するための図である。 検波処理画像における補正領域の設定方法を説明するための図である。 第１実施形態に係る画像処理方法を示すフローチャートである。 第２実施形態に係る画像処理方法を示すフローチャートである。

以下、図面に基づいて、本発明の実施形態について説明する。なお、以下においては、車両に搭載され、路面を撮像した撮像画像に基づいて白線などの対象被写体のエッジを検出することで、白線などの対象被写体を検出する画像処理装置１を例示して説明する。

《第１実施形態》
図１は、第１実施形態に係る画像処理装置１のブロック構成図である。図１に示すように、第１実施形態に係る画像処理装置１は、制御装置１０、投光装置２０、カメラ３０およびメモリ４０を備えている。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができるようになっている。

投光装置２０は、たとえば、ＬＥＤとＬＥＤ制御回路とで構成され、制御装置１０からの指令に基づいて、周期的に光の照射を行う。また、カメラ３０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を備えており、撮像素子により撮像された輝度画像を、制御装置１０に出力する。

ここで、図２は、カメラ３０の撮像範囲と投光装置２０の照射範囲との関係を示す図である。図２に示すように、投光装置２０とカメラ３０とは、投光装置２０による光の照射範囲が、カメラ３０の撮像範囲内となるように配置されており、これにより、カメラ３０は、投光装置２０により照射された被写体の像を撮像することができる。

制御装置１０は、図１に示すように、各種プログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。

そして、制御装置１０は、カメラ３０により撮像された被写体のエッジを抽出するために、露光・投光制御機能と、輝度画像記憶機能と、同期検波処理機能と、エッジ候補検出機能と、処理範囲設定機能と、対象領域設定機能と、補正領域設定機能と、補正機能と、エッジ抽出機能とを備えている。制御装置１０は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。以下に、画像処理装置１の制御装置１０が実現する各機能について説明する。

まず、制御装置１０の露光・投光制御機能について説明する。露光・投光制御機能は、投光装置２０による光の照射動作およびカメラ３０による露光動作を制御する。具体的には、制御装置１０は、まず、図３（Ａ）に示すように、所定の投光周期の正弦波信号ｓｉｎωＦ（ただし、ωは一周期当たりの投光数（フレーム数）、Ｆは１秒当たりのフレーム数である。）を生成する。なお、図３（Ａ）は、投光装置２０による投光量および投光タイミングの一例を示す図である。

そして、露光・投光制御機能は、生成した正弦波信号ｓｉｎωＦに基づいて、投光装置２０の投光動作を制御する。具体的には、露光・投光制御機能は、正弦波信号ｓｉｎωＦの周期に応じた投光タイミングで、投光装置２０に光を照射させる。たとえば、図３（Ａ）に示す例では、露光・投光制御機能により、１周期に８回の照射を行う正弦波信号ｓｉｎωＦが生成され、この正弦波信号ｓｉｎωＦに基づいて、１周期において８回の照射光の照射が、一定間隔で行われる。たとえば、図３（Ａ）に示す例では、時刻ｔ_０から時刻ｔ_８までの１周期のうち、時刻ｔ_０〜時刻ｔ_８の各タイミングで照射光が照射される。

また、露光・投光制御機能は、正弦波信号ｓｉｎωＦの周期に応じた量の光を、投光装置２０に照射させる。たとえば、図３（Ａ）に示す例において、露光・投光制御機能は、投光装置２０の投光量の最大値を１００％とした場合に、時刻ｔ_０においては０％の投光量で照射光を照射させ（すなわち、投光装置２０による投光を禁止し）、時刻ｔ_１においては３０％程度の投光量で照射光を照射させ、時刻ｔ_２においては５０％程度の投光量で照射光を照射させ、時刻ｔ_３においては７０％の投光量で照射光を照射させ、時刻ｔ_４においては、１００％の投光量で照射光を照射させる。同様に、露光・投光制御機能は、時刻ｔ_５〜時刻ｔ_１０においても、正弦波信号ｓｉｎωＦの周期に応じた投光量の光を、投光装置２０に照射させる。

また、制御装置１０の露光・投光制御機能は、投光装置２０の投光タイミングに合わせて、カメラ３０に備えられた撮像素子の電子シャッタまたは機械シャッタを動作させることで、カメラ３０の露光動作を制御する。ここで、図３（Ｂ）は、カメラ３０による撮像光量および露光タイミングの一例を示す図である。なお、図３（Ａ）の時刻ｔ_０〜時刻ｔ_１０と、図３（Ｂ）の時刻ｔ_０〜時刻ｔ_１０とはそれぞれ同一の時刻を示す。

具体的には、露光・投光制御機能は、図３（Ｂ）に示すように、投光装置２０により光の照射が行われる時刻ｔ_０〜時刻ｔ_１０と同一のタイミングで、カメラ３０に露光動作を行わせる。ここで、図３（Ａ）に示すように、投光装置２０の投光量は、正弦波信号ｓｉｎωＦの周期に応じて変化するため、カメラ３０の撮像素子で受光される撮像光量も、正弦波信号ｓｉｎωＦの周期に応じて変化する。

たとえば、図３（Ｂ）に示す例では、時刻ｔ_０において、投光装置２０による投光量が０％であるため、カメラ３０の撮像素子で受光される光量は太陽光（自然光）に基づく光量となる。そのため、図３（Ｂ）に示す例において、太陽光（自然光）による輝度画像の輝度が７０００ｃｄ／ｍ^２である場合には、投光装置２０による照射が行われていない時刻ｔ_０においては、撮像される輝度画像の輝度は７０００ｃｄ／ｍ^２となる。一方、時刻ｔ_１〜時刻ｔ_７では、投光装置２０による光の照射が行われているため、投光装置２０による投光量に応じた、太陽光（自然光）よりも大きい輝度値の輝度画像が撮像される。たとえば、図３（Ｂ）に示す例において、投光装置２０の投光量が５０％の時刻ｔ_２において撮像される輝度画像の輝度値は７５００ｃｄ／ｍ^２となり、投光装置２０の投光量が１００％の時刻ｔ_４で撮像される輝度画像の輝度値は８０００ｃｄ／ｍ^２となる。

なお、投光装置２０の投光時間は、カメラ３０の露光時間よりも長い時間に設定される。すなわち、本実施形態において、露光・投光制御機能は、カメラ３０の露光時間よりも投光装置２０の投光時間の方が長くなるように、投光装置２０の投光動作およびカメラ３０の露光動作の制御を行う。

次に、制御装置１０の輝度画像記憶機能について説明する。輝度画像記憶機能は、カメラ３０による露光動作の結果、得られた輝度画像を取得し、取得した輝度画像の画像信号を、投光装置２０の光の照射パターンの情報とともに、メモリ４０に記憶する。また、制御装置１０は、カメラ３０から画像信号を取得した際に、取得した画像信号に対応する輝度画像が、投光装置２０によって光が照射された状態で撮像された輝度画像である場合には、光照射フラグｆとともに画像信号をメモリ４０に記憶する。たとえば、図３（Ｂ）に示す例においては、時刻ｔ_０（第１フレーム）で得られる輝度画像の画像信号は、照射パターンが８フレームで１周期であるとの情報、および該周期における１フレーム目の画像であるとの情報（照射パターンの情報）とともにメモリ４０に記憶される。また、時刻ｔ_１（第２フレーム）で得られた輝度画像の画像信号は、照射パターンが８フレームで１周期であるとの情報、および該周期における２フレーム目の画像であるとの情報（照射パターンの情報）および光照射フラグｆとともにメモリ４０に記憶される。

なお、輝度画像記憶機能は、取得した画像信号に対応する輝度画像が、投光装置２０によって光が照射された状態で撮像された輝度画像であるか否かを、たとえば、露光・投光動作を制御するための正弦波信号ｓｉｎωＦに基づいて判定することができる。あるいは、投光装置２０から、光の照射を実行した旨の信号を受信することにより判定する構成としてもよいし、取得した画像信号に対応する画像の輝度平均値などの画像情報に基づいて、投光装置２０によって光が照射された状態で撮像された輝度画像であるか否かの判断を行う構成としてもよい。また、メモリ４０としては、たとえば、ＲＡＭ（Randam Access Memory）や、ＦｌａｓｈＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）など各種記憶装置、記憶媒体を用いることができる。

次に、制御装置１０の同期検波処理機能について説明する。本実施形態の制御装置１０は、メモリ４０から読み出された１周期分の輝度画像の画像信号（たとえば、図３（Ｂ）に示す例では、連続する８フレーム分の輝度画像の画像信号）に基づいて、投光装置２０の照射タイミングに同期した同期検波処理を行い、投光装置２０からの照射光に対する撮像対象からの反射光を抽出する処理を行う。

たとえば、同期検波処理機能は、投光量の異なる２つの輝度画像の各画素の信号出力の差分を、対応する画素ごとに算出することで、投光装置２０により照射された光成分を、２つの輝度画像の投光量の差に応じた量だけ抽出することができる。そして、同期検波処理機能は、正弦波信号ｓｉｎωＦの１周期分の輝度画像から、投光装置２０により照射された光成分を抽出することで、投光装置２０により照射された光成分に基づく検波処理画像を生成する。

たとえば、同期検波処理機能は、図４（Ａ）に示すように、投光装置２０により光が照射されていない場合の輝度画像と、図４（Ｂ）に示すように、投光装置２０により光が照射されている場合の輝度画像とから、図４（Ｃ）に示すように、投光装置２０により照射された光成分に基づく画像を、検波処理画像として生成することができる。特に、同期検波処理機能により生成される検波処理画像は、投光装置２０から照射された光成分に基づくものであるため、図４（Ｃ）に示すように、他車両の影や路面の傷など、太陽光により生じた非検出対象を除去することができる。

このように、検波処理画像は、他車両の影や路面の傷など、太陽光により生じる被写体を除去することができるため、検波処理画像から被写体のエッジを検出することで、白線などの検出対象被写体を適切に検出することができる。

一方で、検波処理画像からエッジを検出する場合には、以下のような問題があった。すなわち、カメラ２０の撮像素子には一定の頻度でショットノイズが発生することが知られており、一定の輝度の被写体を撮像した場合でも、被写体の輝度がバラついてしまう場合があった。特に、ショットノイズの標準偏差は輝度値の平方根に比例するため、輝度画像の輝度が高いほど、ショットノイズによる輝度のバラつきは大きくなる。一方で、輝度画像の輝度が高いほど、Ｓ／Ｎ比は大きくなるため、輝度画像では、輝度画像の輝度が高いほど、ショットノイズの影響は相対的に小さくなる。そのため、輝度画像では、被写体の輝度が高い場合ほど、被写体のエッジを高い精度で検出することができる。

これに対して、検波処理画像は、投光量の異なる２つの輝度画像の差に基づいて生成されるため、たとえ輝度画像自体の輝度が高い場合でも、検波処理画像の輝度が低くなってしまう場合がある。一方で、元の輝度画像の輝度が高い場合には、輝度画像において、ショットノイズによる輝度のバラつきが大きくなり、投光量の異なる２つの輝度画像の差から生成した検波処理画像においても、ショットノイズによる輝度のバラつきが生じやすい。そのため、元の輝度画像の輝度が高いが、検波処理画像の輝度が低い場合には、検波処理画像において、ショットノイズの影響が大きくなり、その結果、検波処理画像において、被写体の輪郭がぼやけたり、切れてしまい、検波処理画像から被写体のエッジを適切に抽出することができないという問題があった。

本実施形態に係る制御装置１０では、検波処理画像におけるショットノイズの影響を低減し、検波処理画像から被写体のエッジを適切に抽出するために、以下に説明する機能を備えている。

まず、制御装置１０のエッジ候補検出機能について説明する。エッジ候補検出機能は、メモリ４０に記憶された画像信号に対応する輝度画像から、隣接する画素間の輝度差の大きさが基準値以上となる画像特徴部を、被写体のエッジ候補として検出する。たとえば、図５（Ａ）に示す例では、他車両の影、路面の傷、および白線が輝度画像上に撮像されており、他車両の影、路面の傷、および白線と、路面との輝度差の大きさが基準値以上となっている。この場合、エッジ候補検出機能は、図５（Ｂ）に示すように、他車両の影、路面の傷、白線の輪郭を、それぞれエッジ候補として検出する。

なお、エッジ候補検出機能は、エッジ候補を検出する際に、エッジ候補を検出するための基準値を、輝度画像を構成する各画素の輝度のヒストグラムに基づいて設定することができる。たとえば、エッジ候補検出機能は、輝度画像全体の輝度値の平均値が大きいほど基準値を大きな値に設定し、一方、輝度画像全体の輝度値の平均値が小さいほど基準値を小さな値に設定することができる。これにより、周囲の光環境にかかわらず、輝度画像からエッジ候補を適切に検出することができる。なお、エッジ候補を検出する方法は、特に限定されず、公知のエッジ検出方法を用いることができる。

次に、制御装置１０の処理範囲設定機能について説明する。処理範囲設定機能は、エッジ候補検出機能により検出されたエッジ候補に基づいて、後述するエッジ検出処理を行うための範囲を、処理範囲として設定する。具体的には、処理範囲設定機能は、輝度画像上のエッジ候補を含む範囲であり、かつ、該エッジ候補から所定の画素数分だけ広がった範囲を、処理範囲として設定する。

たとえば、図５（Ｂ）に示すように、エッジ候補が検出されている場合、処理範囲設定機能は、図５（Ｃ）に示すように、他車両の影、路面の傷、および白線のそれぞれの輪郭に対応するエッジ候補を含み、かつ、これらのエッジ候補から所定の画素数分だけ広がった領域を、処理範囲として設定する。なお、図５（Ｃ）においては、エッジ候補を破線で表示している。

次に、制御装置１０の対象領域設定機能について説明する。対象領域設定機能は、処理範囲設定機能により設定された処理範囲内において、隣接する画素間の輝度差の大きさが、所定の判定値以下となる領域を同一の対象領域として設定することで、１または複数の対象領域を設定する。

ここで、図６は、対象領域設定機能による対象領域の設定方法を説明するための図である。対象領域設定機能は、まず、エッジ候補に隣接する一の画素を判定対象画素とし（図６中において「１」で示す画素）、この判定対象画素と、該判定対象画素に隣接する画素（図６中において「２」で示す画素）との輝度差の大きさ（絶対値）を算出する。そして、対象領域設定機能は、算出した輝度差の大きさが、この判定対象画素の輝度値の平方根に基づいて決定される判定値よりも大きいか否かを判定する。

具体的には、対象領域設定機能は、エッジ候補に隣接する判定対象画素（図６中において「１」で示す画素）の輝度値ＩをＩ（Ｘ_ａ，Ｙ_ａ）とし、この判定対象画素に隣接する隣接画素（図６中において「２」で示す画素）の輝度値ＩをＩ（Ｘ_ｂ，Ｙ_ｂ）とした場合に、下記式（１）に示すように、判定対象画素の輝度値Ｉ（Ｘ_ａ，Ｙ_ａ）と隣接画素の輝度値Ｉ（Ｘ_ｂ，Ｙ_ｂ）との輝度差の大きさが、判定対象画素の輝度値Ｉ（Ｘ_ａ，Ｙ_ａ）の平方根に基づいて決定される判定値よりも大きい場合には、判定対象画素と隣接画素とを異なる対象領域として設定する。一方、対象領域設定機能は、下記式（２）に示すように、判定対象画素の輝度値Ｉ（Ｘ_ａ，Ｙ_ａ）と隣接画素の輝度値Ｉ（Ｘ_ｂ，Ｙ_ｂ）との輝度差の大きさが、判定対象画素の輝度値Ｉ（Ｘ_ａ，Ｙ_ａ）の平方根に基づく判定値以下である場合には、判定対象画素と隣接画素とを同一の対象領域として設定する。

なお、上記式（１），（２）中、ｋは、カメラ３０の撮像素子の受光感度に応じて異なる定数であり、実験により予め設定された値である。なお、ｋの値の設定方法については後述する。

ここで、各画素で発生するショットノイズの標準偏差は、その画素の輝度値の平方根に比例することが知られている。そのため、上記式（１），（２）に示すように、判定対象画素の輝度値Ｉ（Ｘ_ａ，Ｙ_ａ）と隣接画素の輝度値Ｉ（Ｘ_ｂ，Ｙ_ｂ）との輝度差の大きさが、判定対象画素の輝度値Ｉ（Ｘ_ａ，Ｙ_ａ）の平方根に基づいて設定される判定値よりも大きいか否かを判定することで、隣接する画素間の輝度差がショットノイズに起因するものであるか、それとも被写体が異なることに起因するものであるかを有効に判定することができる。そこで、本実施形態では、隣接する画素の輝度が上記式（２）の関係を満たす場合には、これらの画素の輝度の差はショットノイズの影響によるものであり、これらの画素は同一の被写体に対応するものと判断して、このような画素を同一の対象領域として設定する。一方、隣接する画素の輝度が上記式（１）の関係を満たす場合には、これらの画素の輝度の差は、単にショットノイズの影響によるものではなく、被写体が異なることに起因するものと判断して、このような画素を異なる対象領域として設定する。

なお、上記式（１），（２）においては、ショットノイズの判定精度を向上させるために、判定対象画素の輝度値の平方根にｋを乗じている。たとえば、上記式（１），（２）において、ｋを１よりも大きい値とすることで、異なる被写体に対応する画素をより高い精度で判定することができるが、ｋを過剰に大きい値に設定してしまうと、隣接する画素間の輝度差が異なる被写体に対応する場合も、これらの画素を同一の対象領域として設定してしまう場合がある。そこで、本実施形態では、隣接する画素の輝度差がショットノイズに起因するものであるか否かを適切に判定することができるように、実験により、ｋの値が予め設定されている。

また、対象領域設定機能は、図６に示すように、判定対象画素（図６中において「１」で示す画素）に隣接する９個の隣接画素のそれぞれについて、上記式（１）または上記式（２）の関係を満たすか否かを判定することで、これらの画素を、１または複数の対象領域に設定する。

さらに、対象領域設定機能は、隣接画素（図６中において「２」で示す画素）を新たな判定対象画素とし、この判定対象画素に隣接する画素（図６中において「３」で示す画素）を新たな隣接画素として、上記式（１）または上記式（２）の関係を満たすか否かを判定することで、これらの画素を、１または複数の対象領域に設定する。そして、対象領域設定機能は、処理範囲内の全ての画素について、隣接する画素との間で上記式（１）または上記式（２）の関係を満たすか否かを判定することで、最終的に、処理範囲内において１または２以上の対象領域を設定する。

たとえば、図５（Ｃ）に示す例では、他車両の影、路面の傷、および白線に対応する処理範囲が設定されており、対象領域設定機能は、図５（Ｄ）に示すように、これらの処理範囲内において、１または２以上の対象領域を設定する。たとえば、図５（Ｄ）に示す例では、他車両の影に対応する処理範囲内において、他車両の影に対応する画素と路面に対応する画素との間で判定値以上の輝度差が生じており、この場合、対象領域設定機能は、他車両の影に対応する処理範囲内において、他車両の影に対応する対象領域と、路面に対応する対象領域とを設定する。同様に、図５（Ｄ）に示す例では、白線に対応する処理範囲内において、白線に対応する画素と路面に対応する画素との間で判定値以上の輝度差が生じており、この場合、対象領域設定機能は、白線に対応する処理範囲内において、白線に対応する対象領域と、路面に対応する対象領域とを設定する。一方、図５（Ｄ）に示す例では、路面の傷に対応する処理範囲内において、隣接する画素間で判定値以上の輝度差が生じておらず、対象領域設定機能は、路面の傷に対応する処理範囲内において、対象領域を１つのみ設定する。

次に、制御装置１０の補正領域設定機能について説明する。補正領域設定機能は、輝度画像上において設定された対象領域に基づいて、同期検波処理機能により生成された検波処理画像上に、対象領域に対応する補正領域を設定する。具体的には、補正領域設定機能は、対象領域を設定した輝度画像と検波処理画像とを位置合わせした場合に、対象領域に対応する検波処理画像上の領域を、補正領域として設定する。

たとえば、補正領域設定機能は、図７（Ａ）に示す検波処理画像と、図７（Ｂ）に示す対象領域が設定された輝度画像とを位置合わせし、図７（Ｃ）に示すように、対象領域に対応する検波処理画像上の領域を、補正領域としてそれぞれ設定する。たとえば、図７（Ｃ）に示す例において、補正領域設定機能は、他車両の影、路面の傷、および白線に応じた対象領域に対応する検波処理画像上の領域を、他車両の影、路面の傷、および白線に対応する補正領域としてそれぞれ設定する。

また、本実施形態において、補正領域設定機能は、補正領域の設定に加えて、輝度画像上に設定された処理範囲に対応する検波処理画像上の範囲を、特定範囲として設定する。なお、特定範囲は、検波処理画像において検出対象被写体のエッジを抽出する際に用いられることとなる。

次に、制御装置１０の補正機能について説明する。補正機能は、検波処理画像上に設定された補正領域内における輝度の補正を行う。具体的には、補正機能は、補正領域内の輝度のバラつきが低減するように、補正領域内の各画素の輝度値をこれら画素の平均値で均一化し、あるいは、補正領域内の各画素の輝度値を該補正領域内の輝度値のうちの最も小さい輝度値で均一化する。これにより、検波処理画像において、ショットノイズの影響による輝度のバラツキを低減することができる。

次に、制御装置１０のエッジ抽出機能について説明する。エッジ抽出機能は、補正機能により補正された検波処理画像から、隣接する画素間の輝度差の大きさが所定値以上となる画像特徴部を、白線などの対象被写体のエッジとして抽出する。上述したように、エッジ抽出の対象となる検波処理画像はショットノイズの影響が低減するように補正されているため、このような検波処理画像から対象被写体のエッジを抽出することで、対象被写体のエッジを適切に抽出することができる。また、本実施形態において、エッジ抽出機能は、検波処理画像から対象被写体のエッジを抽出する際に、補正領域設定機能により設定された特定範囲内においてエッジの抽出を行うことで、被写体のエッジ近傍においてエッジの抽出を行うことができるため、エッジ抽出における処理時間および処理負荷を軽減することができる。

たとえば、エッジ抽出機能は、図７（Ｃ）に示す補正後の検波処理画像から対象被写体のエッジを抽出することで、図７（Ｄ）に示すように、他車両の影や道路の傷などの太陽光により生じた非検出対象を除外して、対象被写体である白線のエッジを適切に抽出することができる。すなわち、検波処理画像では、図７（Ａ）に示すように、他車両の影や道路の傷などの太陽光により生じる被写体が撮像されないため、図７（Ｃ）に示すように、他車両の影や道路の傷に対応する補正領域において補正を行ったとしても、検波処理画像から他車両の影や道路の傷に対応するエッジは抽出されず、図７（Ｄ）に示すように、白線に対応するエッジのみが抽出される。

続いて、図８を参照して、第１実施形態に係るエッジ検出処理について説明する。図８は、第１実施形態に係る画像処理方法を示すフローチャートである。

ステップＳ１０１では、制御装置１０の露光・投光制御機能により、図３（Ａ）に示すように、所定周期の正弦波信号ｓｉｎωＦの生成が行われる。そして、ステップＳ１０２では、露光・投光制御機能により、ステップＳ１０１で生成された正弦波信号ｓｉｎωＦに基づいて、投光装置２０の投光動作、および、カメラ３０の露光動作の制御が行われる。具体的には、投光装置２０により、正弦波信号ｓｉｎωＦに応じた投光タイミングおよび投光量で光が照射されるとともに、カメラ３０により、投光装置２０の投光タイミングに合わせて露光が行われる。

ステップＳ１０３では、制御装置１０の輝度画像記憶機能により、ステップＳ１０２において撮像された輝度画像がメモリ４０に記憶される。そして、ステップＳ１０４では、輝度画像記憶機能により、正弦波信号ｓｉｎωＦの一周期分の輝度画像が記憶されたか否かの判断が行われる。たとえば、図３（Ｂ）に示す例では、正弦波信号ｓｉｎωＦに基づいて、一周期に８フレームの輝度画像が撮像されるため、連続する８フレーム分の輝度画像が撮像され、これら８フレーム分の輝度画像がメモリ４０に記憶された場合に、正弦波信号ｓｉｎωＦの一周期分の輝度画像が記憶されたと判断される。一周期分の輝度画像が記憶された場合には、ステップＳ１０５に進み、一方、一周期分の輝度画像が記憶されていない場合には、ステップＳ１０２に戻る。

ステップＳ１０５では、制御装置１０のエッジ候補検出機能により、図５（Ｂ）に示すように、ステップＳ１０４で記憶した１つの輝度画像から、被写体のエッジがエッジ候補として抽出される。そして、ステップＳ１０６では、制御装置１０の処理範囲設定機能により、図５（Ｃ）に示すように、ステップＳ１０５で抽出されたエッジ候補を含み、かつ、該エッジ候補から所定の画素数分だけ広がった領域が、処理範囲として設定される。

さらに、ステップＳ１０７では、制御装置１０の対象領域設定機能により、図５（Ｄ）に示すように、ステップＳ１０６で設定された処理範囲内において、対象領域の設定が行われる。すなわち、対象領域設定機能は、処理範囲内の画素のうち、隣接する画素の輝度値が上記式（２）の関係を満たし、これらの画素の輝度の差が、ショットノイズの影響によるものと判断できる場合には、これらの画素を同一の対象領域に設定し、一方、隣接する画素の輝度値が上記式（１）の関係を満たし、これらの画素の輝度の差が、ショットノイズの影響によるものと判断できない場合には、これらの画素を異なる対象領域に設定することで、処理範囲内において１または複数の対象領域を設定する。このように、本実施形態では、一周期分の輝度画像のうち、１つの輝度画像について対象領域の設定が行われる。

そして、ステップＳ１０８では、制御装置１０の同期検波処理機能により、ステップＳ１０３で記憶された一周期分の輝度画像に対して同期検波処理が施されることで、図４（Ｃ）に示すように、検波処理画像の生成が行われる。そして、ステップＳ１０９では、制御装置１０の補正領域設定機能により、ステップＳ１０８で生成された検波処理画像上に補正領域が設定される。すなわち、補正領域設定機能は、図７（Ａ）〜（Ｃ）に示すように、対象領域を設定した輝度画像と検波処理画像とを位置合わせし、対象領域に対応する検波処理画像上の領域を、補正領域として設定する。さらに、補正領域設定機能は、処理範囲に対応する検波処理画像上の領域を、特定範囲として設定する。

ステップＳ１１０では、制御装置１０の補正機能により、ステップＳ１０９で設定された補正領域の輝度のバラつきが低減するように、検波処理画像に設定された補正領域内の輝度の補正が行われる。これにより、検波処理画像におけるショットノイズの影響を低減することができる。そして、ステップＳ１１１では、ステップＳ１１０で補正された検波処理画像から、被写体のエッジの抽出が行われる。これにより、ショットノイズの影響が低減された検波処理画像から、被写体のエッジを適切に抽出することができる。

以上のように、第１実施形態では、隣接する画素の輝度差が、一方の画素の輝度値の平方根に基づいて決定される判定値以下であるか否かを判断し、隣接する画素の輝度差が一方の画素の輝度値の平方根に基づいて決定される判定値以下である場合には、隣接する画素の輝度差はショットノイズの影響によるものと判断し、検波処理画像において、これらの画素に対応する輝度のバラつきを補正することで、検波処理画像におけるショットノイズの影響を低減させることができる。

一方、隣接する画素の輝度差が、一方の画素の輝度値の平方根に基づいて決定される判定値よりも大きい場合には、隣接する画素の輝度差は実際の被写体の輝度に起因するものと判断して、検波処理画像において、これらの画素に対応する輝度のバラつきを補正しないことで、被写体間のコントラストが低下してしまうことを有効に防止することができ、これにより、被写体のエッジをより適切に抽出することができる。

さらに、第１実施形態では、輝度画像からエッジ候補を抽出し、抽出したエッジ候補を含み、かつ、該エッジ候補から所定の画素数分の距離内となる範囲を処理範囲として設定し、輝度画像上の処理範囲内において対象領域を設定する。これにより、第１実施形態では、輝度画像全体に対象領域を設定する場合と比べて、エッジ検出処理に要する処理時間および処理負荷を軽減することができる。また、第１実施形態では、処理範囲に対応する検波処理画像上の領域を特定範囲として設定し、検波処理画像の特定範囲内において被写体のエッジを抽出することで、同様に、エッジ検出処理に要する処理時間および処理負荷を軽減することができる。

《第２実施形態》
続いて、第２実施形態に係る画像処理装置を説明する。第２実施形態における画像処理装置１は、図１に示す第１実施形態に係る画像処理装置１と同様の構成を備え、以下に説明するように動作すること以外は、第１実施形態に係る画像処理装置１と同様である。

具体的には、第１実施形態では、制御装置１０の対象領域設定機能が、輝度画像上に対象領域を設定し、制御装置１０の補正領域設定機能が、対象領域に対応する検波処理画像上の領域を補正領域として設定しているが、第２実施形態では、制御装置１０の補正領域設定機能が、輝度画像上に補正領域を設定する。

すなわち、第２実施形態において、補正領域設定機能は、輝度画像上に設定された処理範囲内において、上記式（１）に示すように、隣接する画素間の輝度差の大きさが該画素の輝度値の平方根に基づいて決定される判定値よりも大きい場合には、これらの画素を異なる補正領域に設定し、一方、上記式（２）に示すように、隣接する画素間の輝度差の大きさが該画素の輝度値の平方根に基づいて決定される判定値以下となる場合には、これらの画素を同一の補正領域に設定することで、輝度画像上の処理範囲内に１または複数の補正領域を設定する。

そして、第２実施形態において、制御装置１０の補正機能は、輝度画像上に設定された補正領域内の輝度のバラつきが低減するように、補正領域内の輝度を補正する。なお、第２実施形態においては、撮像された全ての輝度画像について補正領域が設定され、それぞれの輝度画像の補正領域内において輝度の補正が行われる。そして、制御装置１０の同期検波処理機能は、輝度が補正された一周期分の輝度画像に対して同期検波処理を施すことで検波処理画像を生成する。このように、第２実施形態では、ショットノイズの影響が低減するように輝度画像の輝度を補正し、補正した輝度画像に基づいて検波処理画像を生成することで、ショットノイズの影響が低減された検波処理画像を生成することができ、その結果、検波処理画像から被写体のエッジを適切に抽出することができる。

次に、図９を参照して、第２実施形態に係る画像処理方法について説明する。なお、図９は、第２実施形態に係る画像処理方法を示すフローチャートである。

ステップＳ２０１〜Ｓ２０４では、第１実施形態のステップＳ１０１〜Ｓ１０４と同様に、正弦波信号ｓｉｎωＦの生成が行われ（ステップＳ２０１）、生成された正弦波信号ｓｉｎωＦに基づいて、投光装置２０の投光動作およびカメラ３０の露光動作の制御が行われ（ステップＳ２０２）、露光動作により撮像された輝度画像がメモリ４０に記憶される（ステップＳ２０３）。そして、正弦波信号ｓｉｎωＦの一周期分の輝度画像が記憶された場合には（ステップＳ２０４＝Ｙｅｓ）、ステップＳ２０５に進み、一周期分の輝度画像が記憶されていない場合には（ステップＳ２０４＝Ｎｏ）、ステップＳ２０２に戻る。

ステップＳ２０５〜Ｓ２１０では、ステップＳ２０３で記憶された輝度画像について輝度の補正が行われる。なお、ステップＳ２０５〜Ｓ２１０の処理は、ステップＳ２０３で記憶された一周期分の輝度画像のそれぞれについて行われる。

まず、ステップＳ２０５では、第１実施形態のステップＳ１０５と同様に、輝度画像からエッジ候補の抽出が行われ、ステップＳ２０６では、第１実施形態のステップＳ１０６と同様に、輝度画像上に処理範囲が設定される。

そして、ステップＳ２０７では、制御装置１０の補正領域設定機能により、輝度画像上に設定された処理範囲内において、補正領域の設定が行われる。具体的には、補正領域設定機能は、隣接する画素の輝度が、上記式（１）に示すように、隣接する画素の輝度差の大きさが、一方の画素の輝度値の平方根に基づいて決定される判定値を超える場合には、これらの画素を異なる補正領域に設定し、一方、上記式（２）に示すように、隣接する画素の輝度差の大きさが、一方の画素の輝度値の平方根に基づいて決定される判定値以下となる場合には、これら画素を同一の補正領域に設定することで、処理範囲内において１または複数の補正領域を設定する。

そして、ステップＳ２０８では、制御装置１０の補正機能により、輝度画像上に設定された補正領域内の輝度のバラつきが低減するように、補正領域内の輝度の補正が行われる。これにより、輝度画像におけるショットノイズの影響を低減することができる。そして、ステップＳ２０９では、ステップＳ２０８で補正された輝度画像がメモリ４０に記憶される。

ステップＳ２１０では、一周期分の輝度画像の全てについて、ステップＳ２０５〜Ｓ２０９の処理が行われたか否かの判断が行われる。たとえば、図３（Ｂ）に示す例では、一周期で８フレーム分の輝度画像が撮像されるため、この８フレーム分の輝度画像の全てについて、補正領域の設定および補正領域内の輝度の補正が行われたか否かの判断が行われる。一周期分の輝度画像の全てについて、ステップＳ２０５〜Ｓ２０９の処理が行われたと判断された場合には、ステップＳ２１１に進み、一方、一周期分の輝度画像の全てについて、ステップＳ２０５〜Ｓ２０９の処理が行われていないと判断された場合には、ステップＳ２０５に戻り、処理が行われていない輝度画像について、ステップＳ２０５〜Ｓ２０９の処理が行われる。

ステップＳ２１１では、ステップＳ２０８で補正された一周期分の輝度画像がメモリ４０から読み出され、読み出された一周期分の輝度画像に対して同期検波処理が施される。これにより、ショットノイズの影響が低減された輝度画像に基づいて、ショットノイズの影響が低減された検波処理画像が生成される。そして、ステップＳ２１２では、ステップＳ２１１で生成された検波処理画像から、被写体のエッジの抽出が行われる。

以上のように、第２実施形態では、隣接する画素間の輝度差が一方の画素の輝度値の平方根に基づいて決定される判定値以下であり、隣接する画素間の輝度差がショットノイズの影響によるものと判断できる場合には、輝度画像上において、これらの画素を同一の補正領域として設定し、補正領域内の輝度のバラつきを補正することで、輝度画像におけるショットノイズの影響を低減させることができる。そして、ショットノイズによる輝度のバラつきが補正された輝度画像に基づいて、検波処理画像を生成することで、検波処理画像におけるショットノイズの影響を低減させることができ、その結果、検波処理画像から被写体のエッジを適切に抽出することができる。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

なお、上述した実施形態の投光装置２０は本発明の投光手段に、カメラ３０は本発明の撮像手段に、メモリ４０は本発明の記憶手段に、制御装置１０の同期検波処理機能は本発明の同期検波処理手段に、制御装置１０の対象領域設定機能は本発明の対象領域設定手段に、制御装置１０の補正領域設定機能は本発明の補正領域設定手段および特定範囲設定手段に、制御装置１０の補正機能は本発明の補正手段に、制御装置１０のエッジ抽出機能は本発明のエッジ抽出手段に、制御装置１０のエッジ候補抽出機能は本発明のエッジ候補抽出手段に、制御装置１０の処理範囲設定機能は本発明の処理範囲設定手段に、それぞれ対応する。

１…画像処理装置
１０…制御装置
２０…投光装置
３０…カメラ
４０…メモリ

Claims (5)

1. 投光量を変化させながら、所定の投光領域に光を照射する投光手段と、
   前記投光手段の投光タイミングに合わせて、前記投光領域を含む撮像範囲を撮像し、撮像した輝度画像を出力する撮像手段と、
   前記撮像手段により撮像された前記輝度画像を記憶する記憶手段と、
   前記記憶手段に記憶された前記輝度画像に対して同期検波処理を行うことで、前記投光手段により照射された光成分に基づく画像を、検波処理画像として生成する同期検波処理手段と、
   前記輝度画像上において、隣接する画素間の輝度差の大きさが、一方の画素の輝度値の平方根に基づいて決定される判定値以下となる領域を、対象領域として設定する対象領域設定手段と、
   前記対象領域が設定された前記輝度画像と前記検波処理画像とを位置合わせした場合に、前記対象領域に対応する前記検波処理画像上の領域を、補正領域として設定する補正領域設定手段と、
   前記検波処理画像において、前記補正領域内における輝度のバラツキが低減するように、前記補正領域内の輝度を補正する補正手段と、
   前記補正手段により補正された前記検波処理画像から、被写体のエッジを抽出するエッジ抽出手段と、を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記対象領域設定手段は、前記輝度画像上の処理範囲内において、一の画素と該画素に隣接する隣接画素との輝度差の大きさが前記判定値以下である場合には、前記一の画素と前記隣接画素とを同一の前記対象領域に設定し、前記一の画素と前記隣接画素との輝度差の大きさが前記判定値よりも大きい場合には、前記一の画素と前記隣接画素とを異なる前記対象領域に設定することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記撮像手段により撮像された前記輝度画像から被写体のエッジをエッジ候補として抽出するエッジ候補抽出手段と、
   前記輝度画像において、前記エッジ候補を含み、かつ、該エッジ候補から所定の画素数分の距離内となる範囲を、処理範囲として設定する処理範囲設定手段と、をさらに備え、
   前記対象領域設定手段は、前記輝度画像上に設定された前記処理範囲内において、前記対象領域を設定することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記処理範囲が設定された前記輝度画像と、前記検波処理画像とを位置合わせした場合に、前記処理範囲に対応する前記検波処理画像上の範囲を、特定範囲として設定する特定範囲設定手段をさらに備え、
   前記エッジ抽出手段による前記エッジの抽出は、前記特定範囲内で行われることを特徴とする画像処理装置。
5. 投光量を変化させながら光が照射された投光範囲を連続して撮像し、撮像した輝度画像に対して同期検波処理を行うことで、照射された光成分に基づく画像を検波処理画像として生成し、生成した前記検波処理画像から被写体のエッジを抽出する画像処理方法であって、
   前記輝度画像において、隣接する画素間の輝度差の大きさが、一方の画素の輝度値の平方根に基づいて決定される判定値以下となる領域を、対象領域として設定し、前記対象領域に対応する前記検波処理画像の領域を補正領域として設定し、前記検波処理画像における補正領域内の輝度のバラツキが低減するように、前記補正領域内の輝度を補正し、補正した前記検波処理画像から、被写体のエッジを抽出することを特徴とする画像処理方法。

Images