以下、図面に基づいて、本発明の実施形態について説明する。
《第1実施形態》
図1は、本実施形態に係るカメラシステム1のブロック構成図である。図1に示すように、本実施形態に係るカメラシステム1は、制御装置10、投光装置20、カメラ30およびメモリ40を備えている。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができるようになっている。なお、本実施形態のカメラシステム1は、たとえば、車両に備えられ、車両用の撮影システムとして用いられる。以下においては、本実施形態のカメラシステム1が車両用の撮影システムとして用いられる場合を例示して説明する。ただし、本実施形態のカメラシステム1は、車両用の撮影システムに特に限定されるものではない。
カメラ20は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)などの撮像素子を備え、撮像素子により撮像された画像の画像信号を、制御装置10に出力する。
投光装置30は、たとえば、LEDとLED制御回路とで構成され、制御装置10からの指令に基づいて、周期的に光の照射を行なう。図2は、カメラ20の撮像範囲と、投光装置30による光の照射範囲との関係を示す図である。図2に示すように、投光装置30による光の照射範囲は、カメラ20の撮像範囲内となるように配置される。言い換えると、カメラ20の撮像範囲は、投光装置30による光の照射範囲を含む所定の範囲に設定される。
また、制御装置10は、図1に示すように、各種プログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
そして、制御装置10は、投光装置30に周期的に光の照射を行わせながら、カメラ20に繰り返し撮像を行なわせて、これにより得られた撮像画像について同期検波処理を行なうことで、投光装置30による光の照射タイミングに同期した検波処理画像を得るために、露光・投光制御機能と、画像信号記憶機能と、撮像対象移動速度算出機能と、読出画素位置変更機能と、信号出力合成機能と、同期検波処理機能とを備えている。制御装置10は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。
以下に、カメラシステム1の制御装置10が実現する各機能についてそれぞれ説明する。
まず、制御装置10の露光・投光制御機能について説明する。本実施形態の制御装置10は、カメラ20による露光動作および投光装置30による光の照射動作を制御する。具体的には、制御装置10は、カメラ20に備えられた撮像素子の電子シャッタまたは機械シャッタを制御し、所定の間隔でカメラ20に露光動作を実行させる。また、制御装置10は、カメラ20による撮像のタイミングに応じて、投光装置30を制御し、投光装置30に所定の検波周期に応じたタイミングで光を照射させる。図3に、カメラ20による露光のタイミング、および投光装置30による光の照射タイミングの一例を示す。図3に示すように、本実施形態では、投光装置30により光を照射するタイミングは、カメラ20の露光が開始された時点t1から露光が終了するまでの時点t4の間に行なわれる。なお、図3においては、次のような場面を例示して示している。すなわち、まず、時間t1にて、制御装置10からカメラ20に露光開始信号が送出され、これによりカメラ20により露光が開始された後、時間t2にて、制御装置10から投光装置30に照射開始信号が送出され、これにより投光装置30により光の照射が開始される。そして、時間t3において、制御装置10から投光装置30に照射終了信号が送出され、これにより投光装置30による光の照射が終了された後、時間t4にて、制御装置10からカメラ20に露光終了信号が送出され、これによりカメラ20による露光が終了する。
本実施形態では、後述する同期検波処理により、投光装置30からの照射光に対する撮像対象からの反射光を抽出するために、図4に示すように、カメラ20により繰り返し撮像を行なう際に、特定の撮像フレームの画像のみに、照射光が含まれるように、所定の照射パターンにより照射光の照射を行なわせる。具体的には、図4に示すように、1フレームおきに照射/非照射が切り替わるように、投光装置30による照射光の照射パターンを制御する。すなわち、2フレームを1周期とし、1フレーム目に照射光の照射を行い、2フレーム目に照射光の照射を行なわないという照射パターンにて、投光装置30による光の照射を繰り返し実行させる。そして、図4に示すように、第1フレームおよび第3フレームの露光時には、投光装置30による光の照射が行なわれ、そのため、第1フレームおよび第3フレームにおいては、光が照射された状態における画像が得られ、一方、第2フレームおよび第4フレームの露光時には、投光装置30による光の照射が行なわれず、そのため、第2フレームおよび第4フレームにおいては、光が照射されていない状態における画像が得られることとなる。すなわち、本実施形態では、光が照射された状態における画像、および光が照射されていない状態における画像が交互に得られることとなる。
なお、本実施形態では、図4に示すように、1フレームおきに照射/非照射が切り替わるように、投光装置30による照射光の照射パターンを制御する例を示したが、投光装置30による照射光の照射/非照射の切り替えパターンは、このような態様に特に限定されず、たとえば、4フレームを1周期とし、1フレーム目〜3フレーム目にて連続して光の照射を行い、4フレーム目に光の照射を行なわないという照射パターンを採用してもよい。また、1フレーム目〜3フレーム目にて連続して光の照射を行なう等複数のフレームにおいて連続して光の照射を行なう場合には、照射する光の強度をフレームごとに変化させるような態様としてもよい。
次に、制御装置10の画像信号記憶機能について説明する。本実施形態の制御装置10は、カメラ20による露光動作の結果、得られた撮像画像の画像信号を取得し、取得した画像信号を、投光装置30の光の照射パターンの情報とともに、メモリ40に記憶させる。また、制御装置10は、カメラ20から画像信号を取得した際に、取得した画像信号に対応する画像が、投光装置30によって光が照射された状態で撮像された画像である場合には、光照射フラグfとともに画像信号をメモリ40に記憶させる。たとえば、図4に示す例においては、第1フレームで得られた撮像画像の画像信号は、照射パターンが2フレームで1周期であるとの情報、および該周期における1フレーム目の画像であるとの情報(照射パターンの情報)および光照射フラグfとともにメモリ40に記憶される。また、第2フレームで得られた撮像画像の画像信号は、照射パターンが2フレームで1周期であるとの情報、および該周期における2フレーム目の画像であるとの情報(照射パターンの情報)とともにメモリ40に記憶される。
なお、取得した画像信号に対応する画像が、投光装置30によって光が照射された状態で撮像された画像であるか否かは、たとえば、投光装置30から、光の照射を実行した旨の信号を受信することにより判定することができる。あるいは、取得した画像信号に対応する画像の輝度平均値などの画像情報に基づいて、投光装置30によって光が照射された状態で撮像された画像であるか否かの判断を行なうような構成としてもよい。また、メモリ40としては、たとえば、RAM(Randam Access Memory)や、FlashROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)など各種記憶装置、記憶媒体を用いることができる。
次に、制御装置10の撮像対象移動速度算出機能について説明する。本実施形態の制御装置10は、カメラ20で撮像され、メモリ40に記憶された画像信号を読出し、読み出した画像信号から、撮像画像上における撮像対象の移動速度を算出する。ここで、図5(A)に、カメラ20により撮像された画像の一例を、図5(B)に、図5(A)に続くフレームにて、カメラ20により撮像された画像の一例を示す。制御装置10は、撮像画像上における撮像対象の移動速度を算出するために、まず、図5(A)に示す画像中における特定領域を選定し、選定した特定領域における輝度情報の配置を輝度プロファイルとして記憶する。なお、特定領域の選定方法としては特に限定されないが、たとえば、投光装置30の光の照射領域の中央付近に存在する被写体の領域を、特定領域として選定するような構成としてもよいし、あるいは、投光装置30の光の照射領域において最も輝度の高い被写体の領域を特定領域としても選定するような構成としてもよいし、さらには、予め定められた特定の被写体(たとえば、先行車両等)の領域を特定領域として選定するような構成としてもよい。図5(A)においては、先行車両が存在する領域が特定領域として選定された場面を例示している。
そして、制御装置10は、図5(A)に続くフレームにて撮像された画像、すなわち、図5(B)に示す画像中において、図5(A)に示す画像中において選定された特定領域の輝度プロファイルに対して最も相関値の高い画像領域を探索する処理を行なう。具体的には、図5(B)に示す画像中において、特定領域と同じ大きさを有する領域を、一画素ずつずらしながら、特定領域の輝度プロファイルに対する相関値を算出し、相関値の最も高い画像領域(特定領域の輝度プロファイルに最も近い輝度プロファイルを有する画像領域)を検出する。そして、図5(A)に示す画像中において選定された特定領域の位置と、図5(B)に示す画像中において検出された最も相関値の高い画像領域の位置とに基づいて、撮像画像上における撮像対象の移動速度の算出を行なう。
具体的には、たとえば、X方向のみの移動速度について着目した場合において、図5(A)に示す画像中において選定された特定領域の画像位置(特定領域の中心位置)をX’0とし、図5(B)に示す画像中において検出された最も相関値の高い画像領域の画像位置(最も相関値の高い画像領域の中心位置)をX0とし、画像位置X0における特定領域の輝度プロファイルに対する相関値をC0とする。また、最も相関値の高い画像領域からX方向負方向に1画素分ずれた領域の画像位置をX0−1、画像位置X0−1における特定領域の輝度プロファイルに対する相関値をC−1、最も相関値の高い画像領域からX方向正方向に1画素分ずれた領域の画像位置をX0+1、画像位置X0+1における特定領域の輝度プロファイルに対する相関値をC+1とする。そして、撮像対象の画像上の移動速度V0(単位:画素/フレーム)は、X’0、X0、C0、C−1、およびC+1を用いて、下記式(1)にしたがって算出することができる。
V0=X0−X’0+(C+1−C−1)/2(2C0−C+1−C−1) ・・・(1)
そして、上記方法にしたがい、図5(A)、図5(B)に示す場面例においては、図6に示すように、撮像対象としての先行車両の撮像画像上のX方向の移動速度を、たとえば、5.4画素/フレームと算出することができる。すなわち、図5(A)、図5(B)に示す場面例においては、図5(A)に示す画像中の撮像対象としての先行車両は、これに続く図5(B)に示す画像中において、5.4画素だけX方向正方向に移動したと算出することができる。また、上記方法では、X方向のみの移動速度について着目して説明したが、Y方向についても同様に移動速度を算出し、本実施形態では、X方向およびY方向の移動速度を、撮像対象の移動速度として検出する。
あるいは、撮像画像上における撮像対象の移動速度は、たとえば、輝度勾配法などの公知の画像速度算出法を用いて算出してもよいし、カメラシステム1が搭載される車両の移動速度を用いて算出してもよい。
次に、制御装置10の読出画素位置変更機能について説明する。制御装置10は、後述する同期検波処理により、投光装置30からの照射光に対する撮像対象からの反射光を抽出するために、メモリ40に記憶された画像信号の読出しを行なう。具体的には、制御装置10は、後述する同期検波処理を行なうために、投光装置30によって光が照射された状態で撮像された画像(以下、適宜、「光照射時画像」とする。)の画像信号と、該画像に続いて、投光装置30によって光が照射されない状態で撮像された画像(以下、適宜、「非照射時画像」とする。)の画像信号とを読み出す。たとえば、図4に示す第3フレームの画像の画像信号と、これに続く第4フレームの画像の画像信号を読み出す。なお、メモリ40に記憶された画像信号が、光照射時画像の画像信号であるか否かは、画像信号とともに記憶された光照射フラグfに基づいて、判断することができる。
ここで、光照射時画像と、これに続くフレームにおいて撮像された非照射時画像とにおいて、ある撮像対象に着目すると、撮像対象の移動速度が1画素/フレーム以上である場合には、この撮像対象の画像中における位置は、光照射時画像と、これに続くフレームにおいて撮像された非照射時画像とで1画素以上ずれた位置となってしまうこととなる。たとえば、撮像対象のX方向の移動速度が、5画素/フレームである場合には、図7(A)に示すように、光照射時画像においてカメラ20の撮像素子の画素20a〜20dにより撮像された撮像対象は、図7(B)に示すように、続くフレームにおいて撮像された非照射時画像においては、画素20f〜20iでそれぞれ撮像されることとなる。すなわち、このような場合においては、同じ画素同士(たとえば、画素20a同士)の出力を比較しても、撮像対象が異なってしまうため、後述する同期検波処理を良好に行なうことができなくなってしまう。
これに対して、本実施形態では、撮像対象の移動速度の演算を行なった結果、撮像対象の移動速度が、1画素/フレーム以上である場合には、撮像対象の移動速度に応じて、画像信号を読み出す際に画素位置を変更して読み出しを行なう。具体的には、撮像対象のX方向の移動速度が5画素/フレームである場合には、光照射時画像の画像信号はそのまま読み出す一方で、続くフレームにおいて撮像された非照射時画像の画像信号を、X方向に5画素ずらして読み出す。同様に、撮像対象のX方向の移動速度が10画素/フレームである場合には、非照射時画像の画像信号を、X方向に10画素ずらして読み出す。
ただし、図5(A)、図5(B)に示す場面例のように、撮像対象のX方向の移動速度が5.4画素/フレームである場合には(図6参照)、非照射時画像の画像信号を、X方向に5画素ずらして読み出す。すなわち、本実施形態では、画像信号を読み出す際に画素ずらしを行なう際の画素のずらし数は、小数点以下を切り捨てたものとする。あるいは、画素のずらし数を、小数点以下を切り捨てたものとする代わりに、最も近い整数を選択するような態様としてもよい。すなわち、撮像対象のX方向の移動速度が5.4画素/フレームである場合には、画素のずらし数を5とし、撮像対象のX方向の移動速度が5.6画素/フレームである場合には、画素のずらし数を6としてもよい。なお、この場合においては、撮像対象の移動速度が1画素/フレーム未満である場合でも、撮像対象の移動速度の値が、0よりも1に近いような場合には、画素のずらし数を1とし、画素位置を変更して読み出す処理を行なってもよい。
また、本実施形態では、このような画素位置を変更して読み出す処理は、X方向だけでなく、同様にしてY方向についても行うものとする。
次いで、制御装置10の信号出力合成機能について説明する。本実施形態の制御装置10は、上述した画素位置を変更して読み出す処理に加えて、撮像対象の小数点以下の移動量(単位画素未満の移動量)を補正するために、画素位置を変更して読み出した非照射時画像の画像信号に対して、信号出力を合成する処理を行なう。ここで、図5(A)、図5(B)に示す場面例のように、撮像対象のX方向の移動速度が5.4画素/フレームである場合には(図6参照)、画素位置を変更して読み出す処理により、5画素分の移動量に対する補正が可能となるものの、小数点以下の移動量である0.4画素分の補正については行なうことはできず、そのため、このような小数点以下の移動量の影響により、後述する同期検波処理を良好に行なうことができなくなってしまう。
これに対し、本実施形態では、このような小数点以下の移動量を補正するために、画素位置を変更して読み出した非照射時画像の画像信号に対して、信号出力を補正する処理を行なう。以下、図8、図9(A)、図9(B)、図10(A)、図10(B)を参照して、このような信号出力を合成する処理について説明する。図8は、本実施形態に係る照射光の光量と、撮像対象の反射率と、カメラ20で撮像される反射光との関係を示すモデル図である。図8に示すように、本実施形態においては、投光装置30および投光装置30以外の光源から光量iの光が、撮像対象に照射され、撮像対象により反射された反射光をカメラ20で撮像することにより、撮像画像を得るものである。なお、図8に示すように、撮像対象の反射率をrとすると、カメラ20で撮像される反射光の光量はi・rとなる。
ここで、図9(A)に、光照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図を、図9(B)に、続くフレームにおいて非照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図を示す。
図9(A)に示すように、光照射時画像を撮像した際における撮像対象に照射された光(主として、投光装置30からの光)の光量をiとすると、カメラ20の撮像画素P0は、撮像対象S0(反射率r0)からの反射光i・r0を受光し、撮像画素P0により得られる輝度値(出力値)I0は、I0=i・r0となる。また、同様に、撮像画素P1は、撮像対象S1(反射率r1)からの反射光i・r1を受光し、撮像画素P1により得られる輝度値I1は、I1=i・r1となり、さらに、撮像画素P2は、撮像対象S2(反射率r2)からの反射光i・r2を受光し、撮像画素P2により得られる輝度値I2は、I2=i・r2となり、同様に、撮像画素P3は、撮像対象S3(反射率r3)からの反射光i・r3を受光し、撮像画素P3により得られる輝度値I3は、I3=i・r3となる。
その一方で、図9(B)に示すように、図9(A)に続くフレームにおいて非照射時画像を撮像した際においては、撮像対象に照射された光(主として、投光装置30以外からの光)の光量をi’とした場合に、カメラ20の撮像画素P2に着目すると、小数点以下の移動量Δの影響により、撮像対象S2からの反射光i’・r2の一部に加えて、撮像対象S1からの反射光i’・r1の一部が入射してしまうこととなる。すなわち、撮像画素P2で得られる輝度値I’2は、撮像対象S2からの反射光i’・r2の一部および撮像対象S1からの反射光i’・r1の一部に基づくものとなり、図9(A)に示す光照射時画像を撮像したときから比較して、撮像対象がずれてしまうこととなる。具体的には、「撮像対象S1からの反射光i’・r1」:「撮像対象S2からの反射光i’・r2」=Δ:1−Δの比率で、撮像画素P2に反射光が入射することとなる。たとえば、図5(A)、図5(B)に示す場面例においては、撮像対象のX方向の移動速度が5.4画素/フレームであり(図6参照)、小数点以下の値は0.4であるため、「撮像対象S1からの反射光i’・r1」:「撮像対象S2からの反射光i’・r2」=0.4:0.6の比率で、撮像画素P2に反射光が入射することとなる。そして、撮像画素P0,P1,P3についても、撮像画素P2と同様に、小数点以下の移動量Δの影響を受けることとなる。なお、図9(B)中においては、撮像画素P0で得られる輝度値をI’0とし、撮像画素P1で得られる輝度値をI’1とし、撮像画素P3で得られる輝度値をI’3とした。また、非照射時画像を読み出す際に、上述したように、画像信号を読み出す際に画素位置を変更して読み出す処理を行なった場合には、図9(B)における撮像画素P0〜P3は、図9(A)における撮像画素P0〜P3に対応する(画素ずらしを行なった後の)撮像画素である。すなわち、画素のずらし数を5とした場合には、図9(B)における撮像画素P0〜P3は、図9(A)における撮像画素P0〜P3よりも、それぞれ5画素ずれた位置にある撮像画素となる。
これに対し、本実施形態では、以下の方法により、このような小数点以下の移動量Δの影響を補正する。すなわち、本実施形態では、図10(A)、図10(B)に示すように、光照射時画像の画像信号の信号出力について、隣り合う2つの画素の輝度値の平均値を算出し、算出した平均値をこれら2つの画素の合成輝度値(合成出力値)とすることにより、少数点以下の移動量Δの影響を補正する。具体的には、図10(A)に示すように、撮像画素P0,P1について、これらの輝度値の平均値(I0+I1)/2を算出し、これを撮像画素P0,P1の合成輝度値とし、同様に、撮像画素P2,P3について、これらの輝度値の平均値(I2+I3)/2を算出し、これを撮像画素P2,P3の合成輝度値とする。さらに、図10(B)に示すように、撮像画素P0,P1について、これらの輝度値の平均値(I’0+I’1)/2を算出し、これを撮像画素P0,P1の合成輝度値とし、同様に、撮像画素P2,P3について、これらの輝度値の平均値(I’2+I’3)/2を算出し、これを撮像画素P2,P3の合成輝度値とする。
たとえば、撮像画素P2,P3に着目すると、図9(B)に示すように、撮像画素P2については、対応する撮像対象S2からの反射光i’・r2に加えて、撮像対象S2以外の撮像対象S1からの反射光i’・r1がΔ/1の割合で含まれてしまう。また、同様に、撮像画素P3についても、対応する撮像対象S3からの反射光i’・r3に加えて、撮像対象S3以外の撮像対象S2からの反射光i’・r2がΔ/1の割合で含まれてしまうこととなる。たとえば、図5(A)、図5(B)に示す場面例においては、撮像対象のX方向の移動速度が5.4画素/フレームであり(図6参照)、小数点以下の値は0.4であるため、撮像画素P2については、対応する撮像対象S2以外の撮像対象S1からの反射光i’・r1が0.4/1の割合で含まれてしまい、同様に、撮像画素P3についても、対応する撮像対象S3以外の撮像対象S2からの反射光i’・r2が0.4/1の割合で含まれてしまうこととなる。
これに対して、上述したように、隣り合う2つの画素の輝度値の平均値をこれら2つの画素の合成輝度値とすることにより、図10(B)に示すように、撮像画素P2,P3については、対応する撮像対象S2および撮像対象S3以外の撮像対象S1からの反射光i’・r1の割合を、Δ/2に低減することができる。たとえば、図5(A)、図5(B)に示す場面例においては、撮像対象のX方向の移動速度が5.4画素/フレームであり(図6参照)、小数点以下の値は0.4であるため、撮像画素P2,P3については、対応する撮像対象S2および撮像対象S3以外の撮像対象S1からの反射光i’・r1の割合を、0.4/2に低減することができる。すなわち、図10(A)に示す光照射時画像においては、撮像画素P2,P3は、対応する撮像対象S2および撮像対象S3のみから反射光を受光するものであり、そのため、対応する撮像対象S2および撮像対象S3以外の撮像対象S1からの反射光i’・r1の割合を低減し、これにより小数点以下の移動量Δの影響を低減することができるものである。
そのため、本実施形態では、このように隣り合う2つの画素の輝度値の平均値を算出し、算出した平均値をこれら2つの画素の合成輝度値とすることにより、少数点以下の移動量Δの影響を低減するものである。
なお、図9(A)、図9(B)、図10(A)、図10(B)および上述した説明では、X方向における小数点以下の移動量Δを補正する方法について説明したが、本実施形態では、Y方向における小数点以下の移動量についても、同様に補正を行なう。
また、画像信号を読み出す際に画素ずらしを行なう際の画素のずらし数を、小数点以下を切り捨てたものとする代わりに、最も近い整数を選択するような態様とし、たとえば、撮像対象のX方向の移動速度が5.6画素/フレームである場合に、画素のずらし数を6とした場合には、小数点以下の移動量Δを0.4として、小数点以下の移動量Δを補正することができる。
次に、制御装置10の同期検波処理機能について説明する。本実施形態の制御装置10は、メモリ40から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とに基づいて、投光装置30の照射タイミングに同期した同期検波処理を行ない、投光装置30からの照射光に対する撮像対象からの反射光を抽出する処理を行なう。具体的には、制御装置10は、光照射時画像の各撮像画素の信号出力と、これに続くフレームで撮像された光照射時画像の各撮像画素の信号出力との差分を、対応する画素ごとに算出し、これにより、投光装置30からの照射光に対する撮像対象からの反射光を抽出することで、投光装置30からの照射光に対する撮像対象からの反射光からなる検波処理画像を生成する。これにより、たとえば、図11(A)に示すような光照射時画像と、図11(B)に示すような非照射時画像とから、図11(C)に示すような検波処理画像を生成することができる。図11(A)、図11(B)、図11(C)に示すように、本実施形態で生成する検波処理画像は、投光装置30からの照射光に対する撮像対象からの反射光成分を抽出したものであるため、先行車両などの被写体の陰など、太陽光などの投光装置30からの照射光以外の光の影響を除去したものとすることができる。
なお、本実施形態においては、同期検波処理を行なう際において、上述した制御装置10の読出画素位置変更機能により、画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、画素位置が変更された画像信号を用い、さらに、上述した制御装置10の信号出力合成機能により、小数点以下の移動量Δの影響を除去するために、信号出力の合成が行なわれている場合には、補正後の信号出力を用いて、同期検波処理を行なう。
そして、このようにして得られた検波処理画像は、たとえば、NTSC方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力され、距離計測やその他の用途に用いられる。
次いで、本実施形態の動作について、説明する。図12は、本実施形態に係る同期検波処理を示すフローチャートである。以下に説明する動作は、カメラシステム1の電源がONとされることによって開始される。なお、以下に説明する動作は、制御装置10により実行される。また、以下においては、図4に示すように、投光装置30による光の照射パターンを、1フレームおきに照射/非照射を切り替えるパターンとする場合を例示して説明する。
まず、ステップS1では、制御装置10からカメラ20に露光開始信号が送出され、これによりカメラ20により露光が開始される。
次いで、ステップS2では、制御装置10により、今回処理時において撮像するフレームが、投光装置30によって光の照射を行なうフレームであるか否かの判断が行なわれ、投光装置30によって光の照射を行なうフレームである場合には、ステップS3に進む。一方、投光装置30によって光の照射を行なうフレームでない場合には、ステップS6に進む。たとえば、図4に示す例において、今回処理時において撮像するフレームが第1フレームに該当する場合には、ステップS3に進み、一方、第2フレームに該当する場合には、ステップS6に進む。
ステップS3では、制御装置10から投光装置30に照射開始信号が送出され、これにより投光装置30により光の照射が開始され、予め定められた所定の照射時間が経過した後(ステップS4=Yes)、ステップS5に進み、制御装置10から投光装置30に照射終了信号が送出され、投光装置30による光の照射が終了する。
次いで、ステップS6では、制御装置10により、ステップS1でカメラ20により露光が開始されてから予め定められた所定の露光時間が経過したか否かの判定が行なわれ、所定の露光時間がしたと判断されると、ステップS7に進み、制御装置10からカメラ20に露光終了信号が送出され、カメラ20による露光を終了する。
カメラ20による露光を終了した後、ステップS8に進み、ステップS8では、カメラ20により露光を行なった結果、得られた撮像画像の画像信号を、投光装置30の光の照射パターンの情報とともに、メモリ40に記憶させる処理が行なわれる。なお、この際において、ステップS3にて投光装置30により光の照射を行なった場合には、画像信号とともに、光照射フラグfが併せてメモリ40に記憶されることとなる。
ステップS9では、今回処理時において、上述したステップS1〜S7にて撮像された撮像画像が、投光装置30により光の照射を行なった光照射時画像であるか、あるいは、投光装置30により光の照射を行なわなかった非照射時画像であるか否かの判断が行なわれる。光照射時画像であると判断された場合には、ステップS17に進み、一方、非照射時画像であると判断された場合には、ステップS10に進む。
ステップS9において、今回処理時において撮像された撮像画像が非照射時画像であると判断された場合には、ステップS10に進み、今回処理時において撮像された非照射時画像と、前回処理時において撮像された光照射時画像とに基づいて、上述した方法にしたがい、撮像対象の画像上の移動速度の算出が行なわれる。
次いで、ステップS11では、上述したステップS10で算出された撮像対象の画像上の移動速度に基づいて、上述した方法にしたがって、今回処理時において撮像された非照射時画像の画像信号を読み出す際における画素のずらし数を算出する処理が行なわれる。たとえば、図6に示すように、撮像対象のX方向の移動速度が5.4画素/フレームである場合には、X方向の画素のずらし数は5とされる。また、Y方向についても同様に画素のずらし数の算出が行なわれる。
次いで、ステップS12では、今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号を読み出す処理が行なわれる。なお、ステップS11にて、今回処理時において撮像された非照射時画像の画像信号を読み出す際における画素のずらし数が算出されている場合には、非照射時画像の画像信号を読み出す際には、算出された画素のずらし数に基づいて、画素位置を変更して読み出しを行なう。
ステップS13では、上述したステップS10で算出された撮像対象の画像上の移動速度に基づいて、上述した方法にしたがって、今回処理時において撮像された非照射時画像の画像信号について、小数点以下の移動量Δの影響を除去するために、隣り合う2つの画素の輝度値の平均値を求め、これを合成輝度値として算出することで、信号出力を合成する処理が行なわれる。たとえば、図6に示すように、撮像対象のX方向の移動速度が5.4画素/フレームである場合には、0.4画素分の移動量の影響を除去するために信号出力の補正が行なわれる。また、Y方向についても同様に信号出力の補正が行なわれる。
ステップS14では、ステップS12においてメモリ40から読み出された今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号に基づいて、投光装置30の照射タイミングに同期した同期検波処理を行なうために、同期検波処理の対象とする画素を選択する処理が行なわれる。そして、ステップS15に進み、選択された画素の画像信号に対して、投光装置30の照射タイミングに同期した同期検波処理を行ない、画素ごとに検波出力の算出を行なう。なお、上述したステップS12において、今回処理時において撮像された非照射時画像の画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、非照射時画像として、画素位置が変更された画像信号を用いて、同期検波処理が行なわれる。さらに、上述したステップS13において、小数点以下の移動量Δの影響を除去するために、信号出力を合成する処理が行なわれている場合には、合成処理がされた信号出力を用いて、同期検波処理が行なわれる。
ステップS16では、ステップS15において、全ての画素について、同期検波処理が行なわれたか否かの判定が行なわれる。全ての画素について、同期検波処理が終了していない場合には、ステップS14に戻る。一方、全ての画素について、同期検波処理が終了した場合には、ステップS17に進み、ステップS15にて算出された各画素の検波出力に基づいて、検波処理画像を生成する処理が行なわれる。そして、生成された検波処理画像は、NTSC方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力される。
そして、ステップS18に進み、制御装置10により、カメラシステム1の電源をオフとする指令を受信しているか否かの判定が行なわれ、カメラシステム1の電源をオフとする指令を受信していない場合には、ステップS1に戻り、ステップS1〜S17の処理を繰り返し行ない、一方、カメラシステム1の電源をオフとする指令を受信した場合には、カメラシステム1の電源をオフとする処理を行ない、本処理を終了する。
本実施形態においては、光照射時画像の画像信号と、これに続くフレームにおいて撮像された非照射時画像の画像信号とを読み出し、読み出した光照射時画像の画像信号と、これに続くフレームにおいて撮像された非照射時画像の画像信号とに基づいて、同期検波処理を行なって、検波処理画像を生成する際に、撮像対象が撮像画像中を移動することにより検波処理画像中に生じるノイズを、撮像対象の移動速度に応じた補正を行なうものであり、これにより、良好な検波処理画像を得ることができるものである。
特に、本実施形態によれば、撮像対象の移動速度の演算を行なった結果、撮像対象の移動速度が1画素/フレーム以上である場合には、撮像対象の移動速度に応じて、非照射時画像の画像信号を読み出す際における画素位置を変更して読み出すことにより、撮像対象の1画素以上の移動量を補正することができるものである。加えて、本実施形態によれば、撮像対象の移動速度から、撮像対象の小数点以下の移動量(単位画素未満の移動量)を検出し、検出した小数点以下の移動量の影響を補正するために、検出した小数点以下の移動量に応じて、非照射時画像の画像信号の信号出力を補正するものである。具体的には、隣り合う2つの画素の輝度値の平均値を算出し、算出した平均値をこれら2つの画素の合成輝度値とすることにより、少数点以下の移動量Δの影響を補正するものである。そのため、本実施形態によれば、撮像対象の1画素以上の移動量に加えて、小数点以下の移動量、すなわち、1画素未満の移動量を補正することができるものである。そして、本実施形態によれば、撮像対象が撮像画像中を移動することにより検波処理画像中に生じるノイズを有効に低減することができ、これにより、良好な検波処理画像を得ることができるものである。特に、本実施形態によれば、隣り合う2つの画素の輝度値の平均値を算出するという比較的演算負荷の低い方法により、1画素未満の移動量を補正することができ、これにより、良好な検波処理画像を得ることができるものである。
《第2実施形態》
次いで、本発明の第2実施形態について説明する。
第2実施形態に係るカメラシステム1は、図1に示す制御装置10が、特定画素検出機能をさらに有する以外は、上述の第1実施形態と同様の構成を有し、同様の作用を奏するものである。
まず、制御装置10の特定画素検出機能について説明する。第2実施形態の制御装置10は、メモリ40から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とのそれぞれについて、同期検波処理を行なう前に、輝度値(出力値)の変化の大きい画素を特定画素として検出する。具体的には、制御装置10は、メモリ40から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とのそれぞれについて、画素ごとに、該画素の輝度値と、これと隣り合う画素の輝度値との差分を算出し、差分が予め定められた所定値Th以上であるか否かの判断を行ない、所定値Th以上である画素を特定画素として検出する。
そして、制御装置10は、特定画素として検出された画素については、同期検波処理を行なわずに、代わりに最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を用いるものである。あるいは、特定画素として検出された画素については、同期検波処理を行なわずに、近接する画素のうち、同期検波処理が実行された画素で算出された検波出力の平均値を用いるように構成することもできる。
次いで、第2実施形態の動作について説明する。図13は、第2実施形態に係る同期検波処理を示すフローチャートである。なお、第2実施形態では、図13に示すステップS101〜S113においては、上述した第1実施形態のステップS1〜S13と同様に動作する一方で、ステップS114以降の動作が上述した第1実施形態と異なるため、以下においては、ステップS114以降の動作について説明する。
図13に示すステップS114では、ステップS112においてメモリ40から読み出された今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号に基づいて、投光装置30の照射タイミングに同期した同期検波処理を行なうために、同期検波処理の対象とする画素を選択する処理が行なわれる。そして、ステップS115に進み、選択された画素の輝度値と、これと隣り合う画素の輝度値との差分を算出し、差分が予め定められた所定値Th以上であるか否かの判断を行ない、所定値Th以上である画素を特定画素として検出する処理が行われる。その結果、ステップS114において選択された画素が特定画素に該当しない場合には、ステップS116に進み、一方、特定画素に該当する場合には、ステップS117に進む。なお、本実施形態では、今回処理時において撮像された非照射時画像中における選択された画素の輝度値の差分、および前回処理時において撮像された光照射時画像中における選択された画素の輝度値の差分の少なくとも一方が、所定値Th以上であった場合に、選択された画素を特定画素として検出する。
ステップS115において、選択された画素が特定画素に該当しないと判断された場合には、ステップS116に進み、ステップS116では、選択された画素の画像信号に対して、投光装置30の照射タイミングに同期した同期検波処理が行なわれる。なお、ステップS112において、今回処理時において撮像された非照射時画像の画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、非照射時画像として、画素位置が変更された画像信号を用いて、同期検波処理が行なわれる。さらに、ステップS113において、小数点以下の移動量Δの影響を除去するために、信号出力を合成する処理が行なわれている場合には、合成処理がされた信号出力を用いて、同期検波処理が行なわれる。
一方、ステップS115において、選択された画素が特定画素に該当しないと判断された場合には、ステップS117に進み、ステップS117では、選択された画素については、同期検波処理を行なわずに、代わりに最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を入力するために、選択された画素が特定画素として記憶させる処理が行なわれる。
ステップS118では、全ての画素について、特定画素であるか否かの判断(ステップS115)および同期検波処理の実行(ステップS116)または特定画素として記憶する処理(ステップS117)が行なわれたか否かの判定が行なわれる。全ての画素について、これらの処理が終了していない場合には、ステップS114に戻る。一方、全ての画素について、これらの処理が終了した場合には、ステップS119に進み、特定画素として検出され、ステップS117において、記憶された画素について、最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を入力するための処理を行なった後に、各画素の検波出力に基づいて、検波処理画像を生成する処理が行なわれる。そして、生成された検波処理画像は、NTSC方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力される。
そして、ステップS120に進み、制御装置10により、カメラシステム1の電源をオフとする指令を受信しているか否かの判定が行なわれ、カメラシステム1の電源をオフとする指令を受信していない場合には、ステップS101に戻り、ステップS101〜S119の処理を繰り返し行ない、一方、カメラシステム1の電源をオフとする指令を受信した場合には、カメラシステム1の電源をオフとする処理を行ない、本処理を終了する。
第2実施形態によれば、上述した第1実施形態の効果に加えて、次の効果を奏する。
すなわち、第2実施形態によれば、隣り合う画素に対する輝度値の差分が所定値Th以上である画素を特定画素として検出し、検出された特定画素については、同期検波処理を行なわないため、たとえば、撮像対象に影等が差し込むことによって、急激に画素出力が変化した場合でも、このような画素出力が変化した画素において、同期検波処理を実行することにより、得られる検波処理画像に大きなノイズが入力されてしまうことを有効に防止することができる。
なお、上述した実施形態において、投光装置30は本発明の投光手段に、カメラ20は本発明の撮像手段に、メモリ40は本発明の記憶手段に、制御装置10の同期検波処理機能は本発明の同期検波処理手段に、制御装置10の撮像対象移動速度算出機能は本発明の移動速度算出手段に、制御装置10の読出画素位置変更機能は本発明の補正手段および読出画素位置変更手段に、制御装置10の信号出力合成機能は本発明の補正手段および信号出力合成手段に、制御装置10の特定画素検出機能は本発明の特定画素検出手段に、それぞれ相当する。
以上、本発明の実施形態について説明したが、これらの実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した実施形態では、制御装置10の信号出力合成機能により信号出力の合成を行なう際に、2つの画素の合成輝度値を算出し、信号出力を合成する画素の数を2とする例を示したが、隣り合う3つ以上の画素の輝度値の平均値を算出し、算出した平均値をこれら3つ以上の画素の合成輝度値を算出し、信号出力を合成する画素の数を3以上としてもよい。あるいは、少数点以下の移動量Δに応じて、信号出力を合成する画素の数を変更するような構成としてもよく、この場合には、少数点以下の移動量Δが比較的小さい場合には、信号出力を合成する画素の数を2とし、少数点以下の移動量Δが大きくなるほど、信号出力を合成する画素の数を多くしていくような構成とすることができる。