JP7497423B2

JP7497423B2 - 撮像システム

Info

Publication number: JP7497423B2
Application number: JP2022510420A
Authority: JP
Inventors: 隆雄村松; 和隆北村; 主時田
Original assignee: Koito Manufacturing Co Ltd
Current assignee: Koito Manufacturing Co Ltd
Priority date: 2020-03-23
Filing date: 2021-03-19
Publication date: 2024-06-10
Anticipated expiration: 2041-03-19
Also published as: WO2021193426A1; US20230017893A1; JPWO2021193426A1; CN115349251A; CN115349251B

Description

本発明は、撮像システムに関する。

従来、自車照明が視認性に与える影響が大きい領域に適切に照明光が投光されるよう照明領域を設定することができる照明制御装置が考案されている（特許文献１参照）。この照明制御装置は、照明光点灯時に撮影された点灯画像と消灯時に撮影された消灯画像との差分画像に基づいて、自車照明がドライバの視認性に与える影響が大きい領域に適切に照明光が投光されるよう照明領域を設定することができるとされている。

特開２０１０－２３５０４５号公報

ところで、照明光点灯時に撮影された点灯画像と消灯時に撮影された消灯画像との差分画像に基づいて車両前方領域の状況を判断する場合、差分画像の数は撮影画像の数の半分となる。また、ある差分画像の消灯画像と次の差分画像の点灯画像との間の期間に生じる車両前方領域の状況変化に関する情報は、いずれの差分画像にも反映されない。

また、カメラのダイナミックレンジの限界を超えて撮影された画像は、白飛びしたり黒つぶれしたりする。例えば、点灯画像を撮影した際の照明光が明るすぎれば識別対象が白飛びし、消灯時の環境光が暗すぎれば識別対象が黒つぶれすることがある。そのため、車両前方を撮影する際には適切な明るさで照明する必要がある。

本発明はこうした状況に鑑みてなされたものであり、その例示的な目的の一つは、車両周囲の状況をより精度よく判別するための新たな技術を提供することにある。

本発明の他の例示的な目的の一つは、車両周囲の状況をより精度よく判別するための新たな技術を提供することにある。

上記課題を解決するために、本発明のある態様の撮像システムは、車両の周囲へ光を発する発光部と、発光部が発する光が照射される領域を含む範囲を撮像する撮像部と、撮像部で撮像されたｎ（ｎは３以上の整数）枚の撮像画像からｎ－１枚の差分画像を生成する差分画像生成部と、を備える。差分画像生成部は、ｎ枚の撮像画像に含まれる、発光部の点灯時に撮像した画像と発光部の減光時に撮像した画像とに基づいて、差分画像を生成する。

この態様によると、ｎ枚の撮像画像から１枚だけ少ないｎ－１枚の差分画像が得られるので、フレームレートをそれほど上げずに所望の数の差分画像が得られる。これにより、所定の時間内でより多くの差分画像を用いて車両周囲の状況をより精度よく判別できる。

撮像部は、連続したｎ個のフレームからｎ枚の撮像画像を取得してもよい。これにより、不連続なｎ個のフレームからｎ枚の撮像画像を取得した場合と比較して、差分画像と差分画像との間で生じた車両周囲の状況の変化の情報を取りこぼしにくくなる。

差分画像生成部は、第１のフレームから取得した、発光部の点灯時に撮像した第１の撮像画像と、第１のフレームに続く第２のフレームから取得した、発光部の減光時に撮像した第２の撮像画像と、から第１の差分画像を生成し、第２のフレームに続く第３のフレームから取得した、発光部の点灯時に撮像した第３の撮像画像と、前述の第２の撮像画像と、から第２の差分画像を生成してもよい。これにより、連続した３枚の撮像画像から、２枚の差分画像が生成される。また、各差分画像は、発光部の点灯時と減光時（消灯時も含む）のそれぞれに撮像した撮像画像の差分であるため、周囲の環境からの光の影響が抑えられている。つまり、発光部が発する光が照射される領域が主として撮像されるため、周囲の環境からの光やそれに伴う影の影響が低減され、撮像画像から生成される差分画像を用いた画像認識の精度が増す。

発光部は、車両用灯具が備える光源の通常の光度の１０倍以上の光度で発光できるように構成されていてもよい。これにより、周囲の環境からの光の影響がより抑えられる。

撮像部は、１フレームの期間をＴとすると、１フレームの期間内でＴ／ｘ（ｘ＞１）の時間露光し、発光部は、Ｔ／ｘの時間内において光を発し、かつ、光源の光度のｘ倍以上の光度で発光できるように構成されていてもよい。このように、短時間で大出力の発光を行うことで露光時間を短くでき、その結果、環境光（例えば太陽光）が撮像画像に与える影響の割合を小さくできる。

発光部は、発する光のピーク波長が９４０±２０ｎｍであってもよい。このような近赤外の波長の光は、環境光にあまり含まれていない。そのため、撮像部によって環境光と近赤外の波長の光とが区別されることで、近赤外の波長の光により照射された車両周囲の状況が精度よく判別できる。

本発明の他の態様の撮像システムは、車両の周囲へ光を発する発光部と、発光部が発する光が照射される領域を含む範囲を撮像する撮像部と、撮像部で撮像されたｎ枚の撮像画像からｎ－１枚の差分画像を生成する差分画像生成部と、を備える。差分画像生成部は、ｎ枚の撮像画像に含まれる、発光部が第１の光度Ｃ１で発光しているときに撮像した第１の撮像画像と、発光部が第２の光度Ｃ２（０＜Ｃ２＜Ｃ１）で発光しているときに撮像した第２の撮像画像と、に基づいて、差分画像を生成する。

この態様によると、発光部の光度が異なる照射条件で撮像された、少なくとも２枚の撮像画像に基づいて差分画像が生成される。そのため、環境光の影響を低減しつつ、判別可能な明るさの対象物を含む差分画像が得られやすくなる。

差分画像生成部は、第１の撮像画像と、発光部が第３の光度Ｃ３（Ｃ２＜Ｃ３＜Ｃ１）で発光しているときに撮像した第３の撮像画像と、に基づいて、差分画像を生成してもよい。これにより、２枚の撮像画像を撮像した際の発光部の光度の差（Ｃ１－Ｃ２，Ｃ１－Ｃ３）が異なる２枚の差分画像が生成される。そのため、少なくとも一方の差分画像において、判別可能な明るさの対象物を含む可能性が高くなる。

差分画像生成部は、第１の撮像画像と第２の撮像画像とから第１の差分画像を生成し、第１の撮像画像と第３の撮像画像とから第２の差分画像を生成してもよい。

車両の周囲にある複数の標識を判別する判別部を更に備えてもよい。判別部は、第１の差分画像から複数の標識に含まれる第１の標識を判別し、第２の差分画像から複数の標識に含まれる第２の標識を判別してもよい。これにより、判別可能な標識が増える。

判別部は、第１の差分画像から第２の標識よりも車両に近い位置にある第１の標識を判別し、第２の差分画像から第１の標識よりも車両から遠い位置にある第２の標識を判別してもよい。これにより、距離の異なる複数の標識が存在していても、両方の標識を判別できる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、車両周囲の状況をより精度よく判別できる。

車両が備えるカメラが取得する多様な光を説明するための模式図である。本実施の形態に係る撮像システムのブロック図である。本実施の形態に係る撮像システムによる画像処理の一例を示す模式図である。撮像システムによる画像処理の参考例を示す模式図である。本実施の形態に係る撮像システムによる画像処理の他の例を示す模式図である。距離の異なる複数の交通標識を車両が備える発光部で照射した様子を示す模式図である。本実施の形態に係る撮像システムによる画像処理の変形例を示す模式図である。本実施の形態に係る撮像部における検出対象の輝度値と検出後の階調値との関係を示す模式図である。図９（ａ）は、撮像画像１を示す図、図９（ｂ）は、撮像画像２を示す図である。本実施の形態の他の状況での撮像部における検出対象の輝度値と検出後の階調値との関係を示す模式図である。本実施の形態に係る撮像システムによる画像処理の他の変形例を示す模式図である。図１２（ａ）は、光度Ｃ１でランプが照射されたタイミングでカメラが取得した撮像画像１を示す図、図１２（ｂ）は、光度Ｃ２でランプが照射されたタイミングでカメラが取得した撮像画像２を示す図、図１２（ｃ）は、光度Ｃ３でランプが照射されたタイミングでカメラが取得した撮像画像３を示す図である。図１３（ａ）は、差分画像１を示す図、図１３（ｂ）は、差分画像２を示す図である。

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。また、以下に述べる構成は例示であり、本発明の範囲を何ら限定するものではない。

（第１の実施の形態）
図１は、車両が備えるカメラが取得する多様な光を説明するための模式図である。近年、ADAS（Advanced Driver-Assistance Systems：先進運転支援システム）や自動運転に用いる画像認識は、車両１０が備えるカメラ１２によって取得した画像をもとにしてＡＩや機械学習による認識を行っている。しかしながら、画像取得の際に、周囲の光やそれによって生じる影の影響が問題となる。例えば、カメラ１２に入射する光には、太陽や月の光といった自然環境光Ｌ１が照射された交通参加者からの反射光Ｌ１’が挙げられる。ここで、交通参加者１４とは、車両がADASや自動運転のために必要とする認識対象であり、自動車、自転車、自動二輪車、歩行者、交通標識、信号灯等をいう。

これら交通参加者１４のうち、自動車１６や自動二輪車１８が備える灯具や、信号機といった照明器具からの照射光Ｌ２もカメラ１２に入射する。加えて、車両１０が備える発光部としてのランプ２０から車両周囲へ発せられた照射光Ｌ３は、交通参加者１４を照射し、その反射光Ｌ３’もカメラ１２に入射する。このように、カメラに入射する光は多様であり、１枚の画像における明部や影がどの光によって生じているかを判別することは簡単ではない。

具体的には、夜間では、周囲の光Ｌ２や車両１０のロービームカットラインにより形成される光Ｌ３によって生じるコントラストがあげられる。昼間では、太陽の自然環境光Ｌ１と建物によって生じる影が認識の精度を低下させる。また、薄暮時では、周囲が薄暗くなって見にくくなるが、車両１０のヘッドランプによる光を照射しても効果は薄く、認識がしづらい状況となる。また、同じ場所でも光の当たり方で影のでき方が異なるため、ＡＩや機械学習の学習もそれらシーンまで想定して行わなければならないことが考えられる。

そこで、上記課題を鑑み、本願発明者らは、自車側から照射する光Ｌ３による反射光Ｌ３’だけを検出することで、周囲の環境光による影響を受けることなく、また、影のない安定した画像を取得する可能性に想到した。具体的には、外部の光の影響を受けずに、自車側の光の反射だけを効率的に取り込む方法として以下の手法が考えられる。

（手法１）照射する光の波長を選択する。例えば、環境光の中でも比較的少ない波長帯域の光（９４０ｎｍ±２０ｎｍの近赤外線）を使う。

（手法２）カメラの露光時間を短くして、露光時間に同期してパルス的に大出力の光を照射することで、外部の光取り込みを抑えつつ、自車の光を効率的に取り込む。

（手法３）さらに周囲の光の影響を排除するために、第１のタイミングで自車の光の照射と同期して露光して画像１を取得。続いて第２のタイミングで自車の光を照射しないでカメラを露光して画像２を取得する。その後、画像１と画像２の差分画像を生成することで、自車の照射光以外の光を相殺させる。

上述の手法１～３を組み合わせることで、さらに周囲の光の影響を少なくすることができる。また、手法１ではピーク波長が９４０ｎｍ前後の近赤外線を用いるが、例えば可視光を用いて手法２と手法３とを組み合わせてもよい。また、可視光を用いる場合は、例えば光源をＤＲＬ（Daytime Running Lamps：デイタイムランニングランプ）の機能と共通にしてもよい。

光の影響は、昼間の太陽光が１００万ｃｄ／ｍ^２、自車の照射光が平均１万ｃｄ／ｍ^２（例えば出力が平均１０Ｗ）とする。ここで自車の照射光をＤｕｔｙ１％で平均１０Ｗを出力すると、瞬間で１０００Ｗ出力できることとなり、輝度は１００万ｃｄ／ｍ^２となる。

そして、カメラの露光時間をＤｕｔｙ１％で同期させれば、昼間の輝度と同等の明るさが照射できる。さらに手法３のように２つの画像の差分をとることで、昼間でも自車の照射光の影響だけの映像を取得することが可能である。その際、カメラで受光する反射光として、ピーク波長が９４０ｎｍ前後の近赤外線に絞ることで、さらに鮮明に画像が取得可能となる。

図２は、本実施の形態に係る撮像システム１００のブロック図である。図２に示すように、撮像システム１００は、車両の周囲へ光を発する発光部１０２と、発光部１０２が発する光が照射される領域を含む範囲を撮像する撮像部１０４と、発光部１０２が発する光の強度や発光タイミング、撮像部の感度や撮像タイミングを制御する制御部１０６と、を有する。制御部１０６は、撮像部１０４で撮像された複数の撮像画像から差分画像を生成する差分画像生成部１０８を有する。

図３は、本実施の形態に係る撮像システムによる画像処理の一例を示す模式図である。図３に示すように、カメラは所定のフレームレートで連続して車両周囲を撮像する。具体的には、フレームＦ１のタイミングＴ１において、カメラの露光（時間ｔ１）を開始するとともに、ランプの照射（時間ｔ１’≦時間ｔ１）を開始する。その結果、１枚目の撮像画像１が得られる。次に、フレームＦ２のタイミングＴ２において、カメラの露光（時間ｔ２＝時間ｔ１）を開始するが、ランプは照射しない（または減光する）。その結果、２枚目の撮像画像２が得られる。

撮像画像１は、図１に示す自然環境光Ｌ１に起因する反射光Ｌ１’、交通参加者１４からの照射光Ｌ２、ランプ２０が照射した光の反射光Ｌ３’の情報を含んでいる。一方、撮像画像２は、ランプ２０が非点灯の状態で撮像されているため、反射光Ｌ３’の情報を含んでおらず、反射光Ｌ１’と照射光Ｌ２との情報しか含んでいない。そこで、制御部１０６の差分画像生成部１０８において、撮像画像１と撮像画像２とから差分画像１を生成する。

これにより、反射光Ｌ３’の情報のみを含んだ差分画像１が得られ、自然環境光Ｌ１に起因する反射光Ｌ１’や交通参加者１４からの照射光Ｌ２の影響を抑えられる。その結果、ADAS（Advanced Driver-Assistance Systems：先進運転支援システム）や自動運転において、撮像画像や差分画像を用いた状況認識の精度が高まる。

次に、フレームレートをそれほど上げずに差分画像を多く取得する方法について説明する。はじめに、特定の２枚の撮像画像から１枚の差分画像を生成する場合について説明する。図４は、撮像システムによる画像処理の参考例を示す模式図である。図４に示すように、各フレームＦ１～Ｆ４において、４枚の撮像画像１～４が得られる。撮像画像１および撮像画像３は、ランプの照射がある状態で撮像した画像、撮像画像２および撮像画像４は、ランプの照射がない状態で撮像した画像である。

参考例に係る撮像システムでは、撮像画像１および撮像画像２から反射光Ｌ３’の情報のみを含んだ差分画像１が得られ、撮像画像３および撮像画像４から反射光Ｌ３’の情報のみを含んだ差分画像２が得られる。しかしながら、得られる差分画像の数は４フレームの撮像画像に対して２枚であり、仮に同じ時間で４枚の差分画像を取得しようとすれば、フレームレートを２倍に上げる必要がある。

加えて、差分画像１および差分画像２に含まれる情報には、フレームＦ２でカメラの露光およびランプの照射が終了してから（Ｔ２＋ｔ１）、フレームＦ３で撮像が開始されるタイミングＴ３までに車両周囲で生じた状況の変化は含まれていない。つまり、一部の期間において情報の欠落が生じる可能性がある。

図５は、本実施の形態に係る撮像システムによる画像処理の他の例を示す模式図である。本実施の形態に係る撮像システム１００が備える差分画像生成部１０８は、撮像されたｎ（ｎは３以上の整数）枚の撮像画像からｎ－１枚の差分画像を生成する。差分画像生成部１０８は、ｎ枚の撮像画像に含まれる、発光部の点灯時に撮像した画像と発光部の減光時に撮像した画像とに基づいて、差分画像を生成する。以下では、４枚の撮像画像から３枚の差分画像を生成する場合について説明する。

図５に示すように、各フレームＦ１～Ｆ４において、４枚の撮像画像１～４が得られる。撮像画像１および撮像画像３は、ランプの照射がある状態で撮像した画像、撮像画像２および撮像画像４は、ランプの照射がない状態（あるいは減光時の状態）で撮像した画像である。

本実施の形態に係る撮像システム１００では、撮像画像１および撮像画像２から反射光Ｌ３’の情報のみを含んだ差分画像１が得られ、撮像画像２および撮像画像３から反射光Ｌ３’の情報のみを含んだ差分画像２が得られ、撮像画像３および撮像画像４から反射光Ｌ３’の情報のみを含んだ差分画像３が得られる。

この態様によると、４枚の撮像画像から１枚だけ少ない３枚の差分画像が得られるので、フレームレートをそれほど上げずに所望の数の差分画像が得られる。同様に、６０枚の撮像画像から５９枚の差分画像が得られるので、フレームレートをほとんど変えずに撮像画像の枚数とほぼ変わらない枚数の差分画像が得られる。これにより、所定の時間内でより多くの差分画像を用いて車両周囲の状況をより精度よく判別できる。

また、図５に示す例では、撮像部１０４は、連続した４個のフレームから４枚の撮像画像１～４を取得している。これにより、不連続な４個のフレームから４枚の撮像画像を取得した場合と比較して、差分画像と差分画像との間で生じた車両周囲の状況の変化の情報を取りこぼしにくくなる。

また、本実施の形態に係る差分画像生成部１０８は、フレームＦ１から取得した、発光部１０２の点灯時に撮像した撮像画像１と、フレームＦ１に続くフレームＦ２から取得した、発光部１０２の減光時に撮像した撮像画像２と、から差分画像１を生成し、フレームＦ２に続くフレームＦ３から取得した、発光部１０２の点灯時に撮像した撮像画像３と、前述の撮像画像２と、から差分画像２を生成している。これにより、連続した３枚の撮像画像１～３から、２枚の差分画像１，２が生成される。また、差分画像１や差分画像２は、発光部１０２の点灯時と減光時（減光時には消灯時も含まれる）のそれぞれに撮像した撮像画像の差分であるため、周囲の環境からの光の影響が抑えられている。つまり、発光部１０２が発する光が照射される領域が主として撮像されるため、周囲の環境からの光やそれに伴う影の影響が低減され、撮像画像から生成される差分画像を用いた画像認識の精度が増す。

（第２の実施の形態）
次に、自車からの距離が異なる複数の交通標識（交通参加者１４の一例）を判別する方法について説明する。図６は、距離の異なる複数の交通標識を車両が備える発光部で照射した様子を示す模式図である。図７は、本実施の形態に係る撮像システムによる画像処理の変形例を示す模式図である。図８は、本実施の形態に係る撮像部における検出対象の輝度値と検出後の階調値との関係を示す模式図である。図９（ａ）は、撮像画像１を示す図、図９（ｂ）は、撮像画像２を示す図である。

図６に示す交通標識２２ａ，２２ｂは、車両１０からの距離が異なり、その反射光Ｌ３’がカメラ１２に入射した場合に制御部１０６で検出される輝度値はそれぞれ異なる。例えば、図７に示すように、カメラは所定のフレームレートで連続して車両周囲を撮像する。具体的には、フレームＦ１のタイミングＴ１において、カメラの露光（時間ｔ１）を開始するとともに、光度Ｃ１でランプの照射（時間ｔ１’≦時間ｔ１）を開始する。その結果、１枚目の撮像画像１が得られる。次に、フレームＦ２のタイミングＴ２において、カメラの露光（時間ｔ２＝時間ｔ１）を開始するとともに、光度Ｃ２（０＜Ｃ２＜Ｃ１）でランプの照射（時間ｔ１’＝時間ｔ２’＜時間ｔ２）を開始する。その結果、２枚目の撮像画像２が得られる。

得られた２枚の画像のそれぞれには、輝度値の異なる２つの交通標識２２ａ，２２ｂが含まれることになる。そして、図８に示す輝度と階調との関係から、光度Ｃ１でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌａの交通標識２２ａは、撮像画像１において階調Ｇａの交通標識２２ａとして認識される。同様に、光度Ｃ１でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌｂの交通標識２２ｂは、撮像画像１において階調Ｇｂの交通標識２２ｂとして認識される。同様に、光度Ｃ２でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌａ’の交通標識２２ａは、撮像画像２において階調Ｇａ’の交通標識２２ａとして認識される。同様に、光度Ｃ２でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌｂ’の交通標識２２ｂは、撮像画像２において階調Ｇｂ’の交通標識２２ｂとして認識される。

撮像画像１，２における交通標識２２ａ，２２ｂの輝度値Ｌａ，Ｌｂ，Ｌａ’，Ｌｂ’がカメラの検出範囲（ダイナミックレンジＲ１）に含まれる場合、図９（ａ）や図９（ｂ）に示すように、いずれの撮像画像においても交通標識２２ａ，２２ｂの内容を判別できる。また、制御部１０６の差分画像生成部１０８において、撮像画像１と撮像画像２とから差分画像１を生成することで、反射光Ｌ３’の情報のみを含んだ差分画像１が得られ、自然環境光Ｌ１に起因する反射光Ｌ１’や他の交通参加者１４からの照射光Ｌ２の影響を抑えられる。その結果、ADAS（Advanced Driver-Assistance Systems：先進運転支援システム）や自動運転において、撮像画像や差分画像を用いた状況認識の精度が高まる。

一方、所定のランプの光度Ｃ１，Ｃ２によってあらゆる交通参加者１４の判別ができるわけではない。その理由は、交通参加者それぞれの反射率が異なり、また、交通参加者との距離によってカメラに届く反射光Ｌ３’の明るさが異なるためである。そこで、本願発明者らは、判別可能な明るさの対象物の範囲を広げる差分画像を得られる技術を考案した。

図１０は、本実施の形態の他の状況での撮像部における検出対象の輝度値と検出後の階調値との関係を示す模式図である。図１１は、本実施の形態に係る撮像システムによる画像処理の他の変形例を示す模式図である。図１２（ａ）は、光度Ｃ１でランプが照射されたタイミングでカメラ１２が取得した撮像画像１を示す図、図１２（ｂ）は、光度Ｃ２でランプが照射されたタイミングでカメラ１２が取得した撮像画像２を示す図、図１２（ｃ）は、光度Ｃ３でランプが照射されたタイミングでカメラ１２が取得した撮像画像３を示す図である。

例えば、自車と交通標識との距離によっては、発光部の光度が高すぎる場合がある。その場合、撮像部における検出対象の輝度値と検出後の階調値との関係が図１０に示す白飛びの範囲Ｒ２に含まれることになる。したがって、光度Ｃ１でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌａの交通標識２２ａは、撮像画像１において階調Ｇａ（階調値２５５）となり真っ白として認識される。同様に、光度Ｃ１でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌｂの交通標識２２ｂは、撮像画像１において階調Ｇｂ（階調値２５５）となり真っ白として認識される（図１２（ａ）参照）。

一方、発光部の光度が低すぎると、自車から遠い交通標識まで十分な光が届かない場合がある。その場合、撮像部における検出対象の輝度値と検出後の階調値との関係が図１０に示す黒つぶれの範囲Ｒ３に含まれることになる。したがって、光度Ｃ２でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌａ’の交通標識２２ａは、撮像画像２において階調Ｇａ’となり標識の内容が認識される。それに対して、光度Ｃ２でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌｂ’の交通標識２２ｂは、撮像画像２において階調Ｇｂ’（階調値０）となり真っ黒として認識される（図１２（ｂ）参照）。

したがって、図１２（ａ）示す撮像画像１と図１２（ｂ）に示す撮像画像２とから生成される差分画像１においては、交通標識２２ａは内容が判別できるものの交通標識２２ｂは判別できない。そこで、本実施の形態に係る他の変形例では、図１１に示すように、フレームＦ１とフレームＦ２との間のフレームＦ３のタイミングＴ３において、カメラの露光（時間ｔ３）を開始するとともに、光度Ｃ３（Ｃ２＜Ｃ３＜Ｃ１）でランプの照射（時間ｔ３’≦時間ｔ３）を開始する。その結果、３枚目の撮像画像３が得られる。

次に、フレームＦ２のタイミングＴ２において、カメラの露光（時間ｔ２＝時間ｔ１）を開始するとともに、光度Ｃ２（０＜Ｃ２＜Ｃ１）でランプの照射（時間ｔ１’＝時間ｔ２’＜時間ｔ２）を開始する。その結果、２枚目の撮像画像２が得られる。光度Ｃ３でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌａ”の交通標識２２ａは、撮像画像３において階調Ｇａ”（階調値２５５）となり真っ白として認識される。一方で、光度Ｃ３でランプが照射されたタイミングでカメラ１２が取得した輝度値Ｌｂ”の交通標識２２ｂは、撮像画像３において階調Ｇｂ”（階調値≠２５５）として認識される（図１２（ｃ）参照）。

図１３（ａ）は、差分画像１を示す図、図１３（ｂ）は、差分画像２を示す図である。前述のように、制御部１０６の差分画像生成部１０８において、撮像画像１と撮像画像２とから差分画像１を生成し、撮像画像１と撮像画像２とから差分画像２を生成することで、反射光Ｌ３’の情報のみを含んだ差分画像１，２が得られ、自然環境光Ｌ１に起因する反射光Ｌ１’や他の交通参加者１４からの照射光Ｌ２の影響を抑えられる。また、撮像画像１と撮像画像２のみでは判別できなかった交通標識２２ｂが、撮像画像３を用いることで判別可能となる。その結果、ADAS（Advanced Driver-Assistance Systems：先進運転支援システム）や自動運転において、撮像画像や差分画像を用いた状況認識の精度が高まる。なお、差分画像を生成する際に用いる２枚の撮像画像の組合せは、必ずしも上述の組合せに限られない。例えば、撮像画像２と撮像画像３とから差分画像２を生成してもよい。

以上のように、本実施の形態に係る撮像システム１００は、撮像部１０４で撮像されたｎ枚の撮像画像からｎ－１枚の差分画像を生成する差分画像生成部１０８を備える。差分画像生成部１０８は、ｎ枚の撮像画像に含まれる、発光部１０２が光度Ｃ１で発光しているときに撮像した撮像画像１と、発光部１０２が光度Ｃ２（０＜Ｃ２＜Ｃ１）で発光しているときに撮像した撮像画像２と、に基づいて、差分画像１を生成する。

これにより、発光部１０２の光度が異なる照射条件で撮像された、少なくとも２枚の撮像画像に基づいて差分画像が生成される。そのため、環境光の影響を低減しつつ、判別可能な明るさの対象物を含む差分画像が得られやすくなる。

また、差分画像生成部１０８は、撮像画像１と、発光部１０２が光度Ｃ３（Ｃ２＜Ｃ３＜Ｃ１）で発光しているときに撮像した撮像画像３と、に基づいて、差分画像２を生成する。これにより、２枚の撮像画像を撮像した際の発光部の光度の差（Ｃ１－Ｃ２，Ｃ１－Ｃ３）が異なる２枚の差分画像が生成される。そのため、少なくとも一方の差分画像において、判別可能な明るさの対象物を含む可能性が高くなる。

また、撮像システム１００は、車両の周囲にある複数の交通標識を判別する判別部１１０を更に備えている。判別部１１０は、図１３（ａ）に示すように、差分画像１から複数の交通標識に含まれる交通標識２２ａを判別し、差分画像２から複数の標識に含まれる交通標識２２ｂを判別できる。これにより、判別可能な標識が増える。

換言すると、判別部１１０は、差分画像１から交通標識２２ｂよりも車両１０に近い位置にある交通標識２２ａを判別し、差分画像２から交通標識２２ａよりも車両１０から遠い位置にある交通標識２２ｂを判別できる。これにより、距離の異なる複数の標識が存在していても、両方の標識を判別できる。

次に、フレームレートをそれほど上げずに差分画像を多く取得する方法について説明する。図７に示すように、本実施の形態に係る撮像システム１００が備える差分画像生成部１０８は、撮像されたｎ（ｎは３以上の整数）枚の撮像画像からｎ－１枚の差分画像を生成する。差分画像生成部１０８は、ｎ枚の撮像画像に含まれる、発光部の点灯時に撮像した画像と発光部の減光時に撮像した画像とに基づいて、差分画像を生成する。以下では、４枚の撮像画像から３枚の差分画像を生成する場合について説明する。

図７に示すように、各フレームＦ１～Ｆ４において、４枚の撮像画像１～４が得られる。撮像画像１および撮像画像３は、ランプの照射がある状態で撮像した画像、撮像画像２および撮像画像４は、ランプの照射がない状態（あるいは減光時の状態）で撮像した画像である。

また、図７に示す例では、撮像部１０４は、連続した４個のフレームから４枚の撮像画像１～４を取得している。これにより、不連続な４個のフレームから４枚の撮像画像を取得した場合と比較して、差分画像と差分画像との間で生じた車両周囲の状況の変化の情報を取りこぼしにくくなる。

なお、発光部１０２は、車両１０の車両用灯具が備える光源の通常の光度の１０倍以上の光度で発光できるように構成されているとよい。車両用灯具が備える光源とは、例えば、ヘッドランプやデイタイムランニングランプが有するＬＥＤ光源やレーザ光源である。また、光源の通常の光度とは、例えば、車両１０が備える車両用前照灯により形成される配光パターンの平均光度であり、数千～数万（１０００～９００００）［ｃｄ］の範囲である。そして、発光部１０２は、撮像のタイミングで点灯する際に、瞬間のピーク光度が数万～１００万［ｃｄ］以上となるように構成されている。これにより、周囲の環境からの光の影響がより抑えられる。

撮像部１０４は、図５に示すように、１フレームの期間をＴとすると、１フレームの期間内でＴ／ｘ（＝ｔ１：ｘ＞１）の時間露光する。発光部１０２は、Ｔ／ｘの時間内（時間ｔ１’≦時間ｔ１）において光を発し、かつ、車両用灯具が備える光源の通常の光度のｘ倍以上の光度で発光できるように構成されている。このように、短時間で大出力の発光を行うことで露光時間を短くでき、その結果、自然環境光Ｌ１（例えば太陽光）が撮像画像１～４に与える影響の割合を小さくできる。

発光部１０２は、前述のように発する光のピーク波長が９４０±２０ｎｍであってもよい。このような近赤外の波長の光は、環境光にあまり含まれていない。そのため、撮像部によって環境光と近赤外の波長の光とが区別されることで、近赤外の波長の光により照射された車両周囲の状況が精度よく判別できる。

また、発光部や撮像部は、車両用灯具に備えられていてもよいし、車両用灯具以外の場所に備えられていてもよい。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて各実施の形態における組合せや処理の順番を適宜組み替えることや各種の設計変更等の変形を実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。

本発明は、車両の撮像システムに利用できる。

１０車両、１２カメラ、１４交通参加者、１６自動車、１８自動二輪車、２０ランプ、１００撮像システム、１０２発光部、１０４撮像部、１０６制御部、１０８差分画像生成部。

Claims

車両の周囲へ光を発する発光部と、
前記発光部が発する光が照射される領域を含む範囲を撮像する撮像部と、
前記撮像部で撮像されたｎ（ｎは３以上の整数）枚の撮像画像からｎ－１枚の差分画像を生成する差分画像生成部と、を備え、
前記差分画像生成部は、前記ｎ枚の撮像画像に含まれる、前記発光部の点灯時に撮像した画像と前記発光部の減光時に撮像した画像とに基づいて、前記差分画像を生成し、
前記撮像部は、１フレームの期間をＴとすると、１フレームの期間内でＴ／ｘ（ｘ＞１）の時間露光し、
前記発光部は、Ｔ／ｘの時間内において光を発し、かつ、車両用灯具が備える光源の光度のｘ倍以上の光度で発光できるように構成されていることを特徴とする撮像システム。
前記撮像部は、連続したｎ個のフレームから前記ｎ枚の撮像画像を取得することを特徴とする請求項１に記載の撮像システム。
前記差分画像生成部は、
第１のフレームから取得した、前記発光部の点灯時に撮像した第１の撮像画像と、前記第１のフレームに続く第２のフレームから取得した、前記発光部の減光時に撮像した第２の撮像画像と、から第１の前記差分画像を生成し、
前記第２のフレームに続く第３のフレームから取得した、前記発光部の点灯時に撮像した第３の撮像画像と、前記第２の撮像画像と、から第２の前記差分画像を生成することを特徴とする請求項２に記載の撮像システム。
前記発光部は、発する光のピーク波長が９４０±２０ｎｍであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
車両の周囲へ光を発する発光部と、
前記発光部が発する光が照射される領域を含む範囲を撮像する撮像部と、
前記撮像部で撮像されたｎ枚の撮像画像からｎ－１枚の差分画像を生成する差分画像生成部と、を備え、
前記差分画像生成部は、前記ｎ枚の撮像画像に含まれる、前記発光部が第１の光度Ｃ１で発光しているときに撮像した第１の撮像画像と、前記発光部が第２の光度Ｃ２（０＜Ｃ２＜Ｃ１）で発光しているときに撮像した第２の撮像画像と、に基づいて、前記差分画像を生成し、前記第１の撮像画像と、前記発光部が第３の光度Ｃ３（Ｃ２＜Ｃ３＜Ｃ１）で発光しているときに撮像した第３の撮像画像と、に基づいて、前記差分画像を生成することを特徴とする撮像システム。
前記撮像部は、連続したｎ個のフレームから前記ｎ枚の撮像画像を取得することを特徴とする請求項５に記載の撮像システム。
前記差分画像生成部は、
前記第１の撮像画像と前記第２の撮像画像とから第１の差分画像を生成し、
前記第１の撮像画像と前記第３の撮像画像とから第２の差分画像を生成することを特徴とする請求項５に記載の撮像システム。
車両の周囲にある複数の標識を判別する判別部を更に備え、
前記判別部は、前記第１の差分画像から前記複数の標識に含まれる第１の標識を判別し、前記第２の差分画像から前記複数の標識に含まれる第２の標識を判別することを特徴とする請求項７に記載の撮像システム。
前記判別部は、前記第１の差分画像から前記第２の標識よりも車両に近い位置にある前記第１の標識を判別し、前記第２の差分画像から前記第１の標識よりも車両から遠い位置にある前記第２の標識を判別することを特徴とする請求項８に記載の撮像システム。
前記発光部は、車両用灯具が備える光源の通常の光度の１０倍以上の光度で発光できるように構成されていることを特徴とする請求項５乃至９のいずれか１項に記載の撮像システム。
前記撮像部は、１フレームの期間をＴとすると、１フレームの期間内でＴ／ｘ（ｘ＞１）の時間露光し、
前記発光部は、Ｔ／ｘの時間内において光を発し、かつ、前記光源の光度のｘ倍以上の光度で発光できるように構成されていることを特徴とする請求項１０に記載の撮像システム。
前記発光部は、発する光のピーク波長が９４０±２０ｎｍであることを特徴とする請求項５乃至１１のいずれか１項に記載の撮像システム。