JP3850021B2 - Imaging device with infrared illumination - Google Patents

Imaging device with infrared illumination Download PDF

Info

Publication number
JP3850021B2
JP3850021B2 JP2002005389A JP2002005389A JP3850021B2 JP 3850021 B2 JP3850021 B2 JP 3850021B2 JP 2002005389 A JP2002005389 A JP 2002005389A JP 2002005389 A JP2002005389 A JP 2002005389A JP 3850021 B2 JP3850021 B2 JP 3850021B2
Authority
JP
Japan
Prior art keywords
infrared
camera
predetermined
illumination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002005389A
Other languages
Japanese (ja)
Other versions
JP2003209742A (en
Inventor
孝 徳山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2002005389A priority Critical patent/JP3850021B2/en
Publication of JP2003209742A publication Critical patent/JP2003209742A/en
Application granted granted Critical
Publication of JP3850021B2 publication Critical patent/JP3850021B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、カメラにより周囲を撮影する際に、夜間においてもその機能を十分果たすことができるように近赤外線を照射して撮影を行うことができるようにした赤外線照明付撮影装置に関し、特に、同システム搭載カメラの照明を受光することにより、画像にハレーション現象を生じることがないようにした赤外線照明付撮影装置に関する。
【0002】
【従来の技術】
近年のデジタルカメラ、ビデオカメラの技術開発と急速な普及により、これらを小型パソコンやPDAに搭載し、更に携帯電話に搭載する等、広く利用されるようになっており、このようなカメラを安価に利用できるようになっている。また、これを車両の取り付けて各種の用途に利用することも提案されている。
【0003】
その際には、例えば車両の後部にビデオカメラを搭載し、運転者がモニター画面に表示された車両後部の画像を参考にしながら車を後退させること、車の先端に取り付け見通しの悪い道路に入る時の補助を行わせること等、運転者の視界外のものを撮影してモニターに表示し、安全運転を行うことができるようにすることが提案されている。
【0004】
また、近年の画像処理速度の向上と画像認識技術の進歩により、上記のようなビデオカメラで撮影した画像を直接モニターに表示して利用する以外に、例えばビデオカメラで撮影した走行車線を画像処理してこれを認識し、無意識に車線が変更されていくことを知らせることが提案され、或いは前方の車両との車間距離が近くなり過ぎることを知らせること等も提案されている。
【0005】
更に、前方の信号機の信号を検知して運転者が赤信号の見落としを行わないようにすること、信号のある交差点の通過を検出すること、一方通行や進入禁止等の通行規制標識を検知して運転者に注意を促すこと、横断歩道や道路周辺の歩行者、ガードレール、他の車両等の障害物を検知すること等、撮影した映像信号を処理して特定の物体や形状を認識し、種々の情報を運転者に示すことが提案されている。
【0006】
なお、上記ビデオカメラとは、所定時間間隔で1フレームの画像を連続的に撮影するものを意味し、動画として利用するもの以外に、1フレーム毎に分解して静止画を利用することもある。したがって、静止画を撮影するデジタルカメラを所定時間間隔で撮影するものと同様の技術であり、これら全てを含む意味で以下これらを「カメラ」と総称する。
【0007】
一方、近年の車両にはナビゲーション装置が広く用いられており、誘導経路に沿って目的地まで確実に、しかも安全に車両を案内することができるようになっている。しかしながら、単にナビゲーション装置を用いるのみでは、例えば片側に複数の車線が存在し左側車線を走行しているとき、走行している車線と交差点での右左折の関係に応じて予め車線変更を行っておく必要があるにもかかわらず、現在走行している車線がいずれであるかをナビゲーション装置が知ることができないときには、例えば右側車線を走行しているにも関わらず、「次の交差点で右折です。右車線を走行して下さい。」のような無意味な案内を行う等、適切な右左折案内を行うことができない。
【0008】
その対策として前記のように車両にカメラを設置し、複数の車線を撮影して車両がどの車線を走行しているかを検出し、右左折交差点の案内等に際して、現在の車両の走行車線に応じて適切な案内を行うようにすることが提案されている。また、このようにナビゲーション装置とカメラを組み合わせることにより、上記のような道路上に印された車線以外に交差点の近くの道路上に矢印として表示される右折用道路、直進用道路、左折用道路、左折と直進用道路等の道路標示を認識して、現在走行している車線と誘導経路とを照合し、走行が適切であるか否かを判断することができるようにもなる。
【0009】
ナビゲーション装置とカメラとを組み合わせたシステムを用いると、上記のような適切な案内を行うナビゲーション装置とすることができると共に、前記のような道路標識の検出、障害物の検出、白線の検知による走行レーンの検出、道路標示の検出等が可能となり、それにより運転者に対して各種の情報を提示し、適宜警告を出力し、安全運転に寄与させることができるものであるが、その具体的な手法については本出願人が既に提案している(特願2001−035261号)。更に、このようなカメラによる撮影画像を高速で確実に処理することができる手法についても本出願人が既に提案している(特願2001−318642号)。
【0010】
【発明が解決しようとする課題】
上記のように、車両にカメラを搭載し、周囲を撮影して画像を取り込むことによりその撮影画像を直接モニターに表示し、或いはその撮影画像を画像処理して道路標示等を認識することによって安全運転に寄与させるシステムを構成することができるものであるが、通常のカメラにおいては照明装置を備えないため夜間は主として車両の照明の範囲しか撮影することができず、かつその映像も不明瞭なものとならざるを得ない。また、周囲を明瞭に撮影するために通常の照明装置を付加することは、他の車両の走行の妨げになるため禁止されており、したがって一般に使用されているストロボを含め、通常の照明装置を用いて撮影することができない。
【0011】
また、夜間でも十分に道路面を撮影することができる高性能のカメラを搭載したときには、例えば対向車の強い光によって眩惑され、対向車が来る度に撮影画像にハレーションを生じ、実質的に撮影できない状態が続くこととなる。その対策として、従来から監視用カメラに使用され、更に近年は汎用カメラの一部で採用されている近赤外線の照明装置を搭載し、カメラのレンズに近赤外線のみを通すフィルターを付けることにより周囲の光に眩惑されず、かつ夜でも道路面等を撮影することができるシステムとすることが考えられる。
【0012】
このような近赤外線の照明装置による光は可視光線外であるため人間には見えず、車両に搭載しても他の車両や周囲の人に対して影響を与えることがない。したがってこのようなシステムを用いることにより、照射した近赤外線が物体から反射してくるのをカメラで受光することにより、道路標示等を撮影することが可能となり、その撮影画像を処理することにより夜間でも上記のような安全運転の補助とすることが可能となる。
【0013】
特に近年の車両の照明装置として従来のハロゲンランプを用いたヘッドライトから、より小型で明るく消費電力も少ないキセノンランプを用いたものが採用されることが多くなっているが、キセノンランプの分光特性はハロゲンランプより可視光線側の放射強度が高く、近赤外線部分については低い傾向がある。しかしながら、近赤外成分の多いハロゲンランプとの共用となっている例が多い。したがって、上記のような近赤外線を撮影するカメラにおいては、前記のような照明装置の他にこのハロゲンランプの光を補助光として用いることもでき、上記のような近赤外線のカメラは有用な撮影手段となることが考えられる。
【0014】
このように、近赤外線の照明装置を備えたカメラによって、夜でも道路面等を撮影して道路標示を撮影し、これを認識することができるシステムとなるが、この時には近赤外線の照明装置は車両の前方に向けて設置するため、例えば対向車が同様の近赤外線の照射装置及び撮影装置を備えたシステムを備え、これを作動させているときには、対向車のヘッドライトがアップ状態で走行しているときに眩しく、先が見なくなるのと同様に、近赤外線の撮影装置においてもその光に眩惑されるいわゆるハレーションを起こすこととがある。
【0015】
即ち、例えば図4に示すように、この近赤外線照明装置を備えた近赤外線撮影システムで同図(a)に示すような道路標示を撮影し、これを認識していたとき、同様のシステムを備えた対向車が接近してくると、最初はその光の受光が少ないので同図(b)に示すようにわずかにその照明が画面上に写り、小さなハレーション状態であるのに対して、より近づいてくるとその光が強くなることにより、同図(c)に示すようにその光が画面の多くの部分を覆って大きなハレーションを起こしてしまい、実質的に路面を撮影できない状態となってしまう。このことは、相手が対向車であるとき以外にも、この車の近辺において同じシステムが作動され、その近赤外線を受光してしまう場合にも同様である。
【0016】
このように、夜間撮影用に近赤外線を照射して照明を行い、CCDカメラによりその反射光によって撮影する際に、同様の機能を備えたカメラシステムから照射される照明を受光することにより撮影画像にハレーションを生じることは、上記のような車両に搭載したカメラシステムに限らず、例えば近年のデジタルビデオカメラにおいて、夜間撮影補助機能として近赤外線を照射して撮影を行うことができるようにしたものが多く使用されており、このようなカメラを所用している複数の人が、夜間に同じ場所でこれを使用するときにも同様の現象が生じる恐れがある。
【0017】
したがって、本発明は、近赤外線によって照明し撮影を行う撮影装置を用いる際に、同様の装置を用いた他の照明を受光することによって、撮影画像にハレーションを生じるのを防止することを主たる目的としている。
【0018】
【課題を解決するための手段】
本発明に係る赤外線照明付撮影装置は、上記課題を解決するため、所定の赤外線照射タイミングで赤外線を照射する照明装置と、前記照明装置の赤外線照射タイミングと同期させて、所定の電荷蓄積開始タイミングで前記照明装置からの赤外線を受光して撮影を行うカメラと、前記所定の赤外線照射タイミングと、前記所定の赤外線照射タイミングと同期した、所定の電荷蓄積開始タイミングとを所定間隔の作動とランダム間隔の作動に切り替える作動タイミング制御手段と、所定の赤外線照射タイミングで赤外線を照射する外部の照明装置から、前記カメラに該赤外線が照射されていることを検出する外部赤外線照射検出手段とを備え、前記作動タイミング制御手段は、前記外部赤外線照射検出手段により、外部の照明装置からの赤外線がカメラに照射されていることを検出したとき、所定間隔の作動からランダム間隔の作動に切り替えるようにしたものである。
【0019】
また、本発明に係る他の赤外線照明付撮影装置は、前記カメラからの画像を処理する画像処理部と、前記画像処理部で画像処理されたデータと、所定のテンプレートデータがあるテンプレートデータベースのテンプレートデータとを比較し、一致しているか否かを判別する画像認識を行なう画像認識部とを備えたものである。
【0020】
また、本発明に係る他の赤外線照明付撮影装置は、前記外部赤外線照射検出手段が、前記カメラにより撮影した画像にハレーションが存在することを検出するハレーション検知手段としたものである。
【0021】
また、本発明に係る他の赤外線照明付撮影装置は、前記ランダム間隔の作動を、所定時間後に前記所定間隔の作動に切り替えるようにしたものである。
【0022】
また、本発明に係る他の赤外線照明付撮影装置は、前記外部赤外線照射検出手段を、外部の照明装置からの赤外線を直接検出する赤外線検出器としたものである。
【0023】
【発明の実施の形態】
本発明の実施の形態を図面に沿って説明する。図1は本発明の実施例の機能ブロック図を示し、この実施例においては近赤外線照明用ストロボ1を備え、ストロボ作動制御部2によってその作動が制御され、車両の適宜の場所にこれを配置し、車両の前方を撮影することができるように設置する。
【0024】
また、近赤外線を受光するCCDカメラ3により車両前方を撮影することができるように設置し、前記近赤外線照明用ストロボ1で照射した近赤外線が物体に反射してくる光を受光することができるようにしており、CCDカメラ作動制御部4によってその作動が制御されている。
【0025】
このCCDカメラ1においては、受光素子の作動として例えば図5(a)に示すように、各素子がそれまで蓄えていた電荷を放出するディスチャージ、撮影を行い各素子に電荷を蓄えるチャージ、各素子の電荷の状態を走査する出力の各作動を1サイクルとして行う。このようなサイクルによって1フレームの画像が得られ、通常のビデオカメラではこれを1秒間に30回行うことにより所定の動画を得ている。
【0026】
また、照明装置としてのストロボは発光ダイオード単体、或いはその集合体が用いられ、1/10000秒で発光作動を行うことができるため、前記CCDの作動サイクルにおいて、ディスチャージが終了してチャージを行う開始信号に合わせて作動させる。このようにしてCCDカメラ1で撮影した画像は、前記CCDサイクルの走査時に出力され、画像処理部5に取り出される。これらの同期作動は、後述する作動タイミングパルス供給部6からのタイミングパルスによって行われる。
【0027】
なお、このCCDカメラ3としては通常のビデオカメラを用いることができ、この実施例においては夜間撮影用として示しているが、この装置においてカメラの前に近赤外線選択用フィルターを付けるときには昼間撮影時にはこれを取り除き、照明装置を作動させないことによって通常のカメラによる撮影を行うことができる。また、上記のような光学フィルターの他、画像処理部において受光した光の特定波長を選択するフィルター回路を備えているときには、その回路のフィルターを切り替えることによりカメラを昼夜共用することができる。
【0028】
画像処理部5に取り込まれたCCDカメラ3の画像は、周知の各種の処理がなされ、画像認識部6において前記画像処理されたデータと、テンプレートデータベース7のデータとを比較し、一致しているものが存在するか否かを判別することによって画像認識を行い、その認識結果を外部に出力する。
【0029】
この実施例においては、ハレーション検知部8で前記画像処理部5で処理された画像に基づき、例えば図4(b)に示すように、対向車が同システムのカメラを搭載していることにより画面の一部にハレーションを生じていることを検知する。このようなハレーションの存在をできる限り早く検出するため、例えば図6に示すように、画面を4分割した状態で図中右上部分の画面区域を特に監視する回路を設け、この部分において所定以上の大きさで、所定時間以上ハレーション部分が継続して存在するときには、対向車の同システムによるハレーションが発生したものとしてして判別することことにより、確実なハレーション対策を行うことができる。
【0030】
ハレーション検知部8の上記判別信号は作動切替制御部10に出力され、この作動切替制御部10においては作動タイミングパルス供給部11における所定間隔連続作動部12と、ランダム作動部13のいずれかを選択して作動させる。このうち所定間隔連続作動部12は、図示するように所定間隔で連続して作動パルスを供給するものであり、それに対してランダム作動部13は、図示するように互いの間隔がランダムなパルスを供給する。なお、この作動タイミングパルス供給部11は、本発明における作動タイミング制御手段に相当する。
【0031】
これらの作動タイミングパルス供給に際して、通常の作動状態では所定間隔連続作動部12から所定間隔の作動パルスが供給され、それにより1秒間に30フレームの撮影が行われるようにする。それに対して、前記ハレーション検知部8で例えば図4(b)に示すようなハレーションを検出したときには、作動切替制御部10が直ちにランダム作動部13にその作動を切り替え、作動タイミングパルス供給部11からランダムな作動パルスを供給する。
【0032】
このランダムな作動に際しても、通常の撮影と同様に、全体としては1秒間に30フレーム撮影することができるパルス数に設定する。また、各パルスの最小時間間隔は、このCCDカメラ3において、前記1サイクルを終了できる時間間隔とする。
【0033】
作動タイミングパルス供給部11から前記のようなランダムな作動パルスが供給されるとき、CCDカメラ作動制御部4はそのタイミングパルスによって起動し、所定のサイクルを行う。また、ストロボ作動制御部2もそのタイミングパルスによって、CCDカメラ3におけるCCDのチャージ開始時に同期するように発光し照明を行う。
【0034】
このようなシステムにより、対向車が近赤外線を所定間隔の作動によって連続的に照明を行っているのみの場合には、上記のように自車両側がランダムに照明を行うことにより対向車のストロボ発光時期とずれるので、確実にその撮影作動タイミングをずらすことができ、図4(c)に示すような大きなハレーションによって撮影不能になることを防止することができる。
【0035】
また、対向車における同様のシステムにおいて、自車両と同じランダム発光に切り替える機能を備えていたときには、自車両が先に対向車のハレーションを検出し、前記のようなランダム発光を行うときには、相手側はハレーションの発生に気が付かずにそのまま連続発光を続けて通り過ぎることとなる。
【0036】
また、逆に相手側のシステムにおいて自車両より先にハレーションを検出してランダム発光を行ったときには、自社両側のシステムにおいてハレーションを生じないか、或いはそれに気が付かない状態で連続発光を継続させて通り過ぎることとなり、いずれにしても互いに大きなハレーションを起こすことなく各システムが正常機能した状態で互いにすれ違うこととなる。
【0037】
また、両方が同時にハレーションを検出して同時にランダム発光を行ったとしても、ランダムの作動の開始タイミングがランダム数列の異なった部分から開始するときには互いに同じタイミングとはなることはなく、互いに正常の機能の状態を維持することができる。
【0038】
上記のように対向車の同システムの照明によるハレーションの検出によって、前記のようにランダムなストロボ作動による照明が行われ、CCDカメラにおいてもこれと同期してランダムに作動させて撮影を行うものであるが、この実施例においては所定時間経過判別部9を備え、ハレーション検知部8で前記のようなハレーションを検出してから例えば10秒等の所定の時間が経過したか否かを判別するようにしており、その時間が経過したときには前記ランダム作動部からのランダムな作動パルスの供給から、定常状態の所定間隔連続作動部12からのパルス供給に切り替えている。なお、この切り替え手法としてはその他種々の手法を採用することができる。
【0039】
上記実施例においては、対向車が同様のカメラシステムを採用することにより、その照明によってハレーションを生じることを、カメラの撮影画像によって検出した例を示したが、例えば図1に作動切替制御部10への入力信号として2点鎖線で示しているように、別途外部近赤外線照明検出部15を備え、それにより対向車の近赤外線による照明を検出し、その信号により作動切替制御部10が前記のようにランダム作動部13によってランダムな撮影を行うようにすることもできる。
【0040】
その際には、自車両のシステムにおいて障害となる対向車が通り過ぎたことをこの外部近赤外線照明検出器15によって検出することができ、その信号によって所定間隔連続作動部12から通常の連続パルスを供給するように切り替えることができる。したがって本発明において、間欠的に赤外線を照射する外部の照明装置からの赤外線が入ることを検出する、外部赤外線照射検出手段として、図1には2種類の態様を並置して示している。
【0041】
上記のような機能をなす各機能ブロックからなるこの実施例においては、例えば図2に示すような作動フローによって順に作動させることができる。図2には前記図1におけるハレーション検知部8によって、同様のカメラシステムを搭載した対向車の近赤外線照明を検出して画像認識処理を行う例を示しており、最初にこのカメラシステムの作動の基準となる作動パルスについて、所定間隔の作動パルスの供給から開始する(ステップS1)。
【0042】
次いでこの作動パルスにしたがって、ストロボとCCDカメラの同期作動がなされる(ステップS2)。この作動によってCCDカメラから撮影画像が出力され(ステップS3)、図1の画像処理部5において画像処理がなされる(ステップS4)。この画像処理の結果に基づき撮影画面にハレーションがあるか否かを判別し(ステップS5)、ハレーションが存在しないときには直ちにその画像に基づき画像認識処理し、認識結果を出力する処理を行う(ステップS6)。
【0043】
次にこの実施例においては現在の作動がランダム作動パルス供給中の作動であるか否かを判別し(ステップS7)、前記の状態はランダム作動パルスの供給中ではなく所定間隔作動パルスが供給中であるのでステップS1に戻り、前記の作動を繰り返す。
【0044】
前記ステップS5において撮影画面にハレーションがあると判別されたときには、ランダム作動パルスの供給を行い(ステップS9)、ステップS2に戻って前記と同様にストロボとCCDカメラの所定同期作動を行う。したがってこれ以降の作動はランダムのタイミングによりストロボとCCDカメラが同期して作動することとなる。
【0045】
以降同様の作動によりCCDカメラから撮影画像の出力(ステップS3)、画像処理(ステップS4)を順に行い、この実施例においては再び撮影画面にハレーションがあるか否かを判別している例を示している(ステップS5)。この作動によってランダムパルスが相手側の同様のランダム制御により同期してしまうときには再度別のランダム作動パルスを供給することができるようにしているが、その必要がないときにはこのステップS5をバイパスしてステップS6に進み、そのまま画像認識、認識結果出力処理を行うようにしてもよい。
【0046】
その後ステップS7において前記と同様にランダム作動パルス供給中か否かの判別が行われるが、ここではランダム作動パルス供給中と判別されるので、次にランダム作動パルス供給開始後所定時間を経過したか否かを判別する(ステップS8)。ここで、例えば10秒等の所定時間が経過していないと判別したときには再びステップS9に進み、ランダム作動パルスの供給を継続し、再びステップS2に戻って同様の作動を繰り返す。
【0047】
前記ステップS8において、ランダム作動パルス供給開始後所定時間が経過したと判別したときには、ステップS1に戻り所定間隔作動パルスの供給が行われ、定常状態の作動となる。但し、その後ステップS5において撮影画面にハレーションがあると判別されたときには、未だ対向車が通り過ぎていないものとして再びステップS9に進み、ランダム作動パルスの供給を行うこととなる。
【0048】
上記作動は、対向車に搭載した同様のカメラシステムにおける近赤外線照明によってハレーションを起こすことを、撮影した画面によって検出する例を示したが、図1における外部近赤外線照明検出器15を用いた場合には、図3に示す作動フローに従って順に作動させることができる。即ち、図3に示す近赤外線撮影による画像認識処理においては最初に、前記外部近赤外線照明検出器15によって前方から同じシステムの近赤外線照明を受光しているか否かの判別を行う(ステップS11)。
【0049】
この判別の結果、そのような照明を受光していないと判別したときには所定間隔の作動パルスを供給し(ステップS12)、前記作動フロートと同様にストロボとCCDカメラの所定同期作動を行い(ステップS13)、CCDカメラから撮影画像を出力し(ステップS14)、画像処理を行い(ステップS15)、次いで画像認識及び認識信号の出力処理を行い(ステップS17)、再びステップS11に戻って同様の作動を繰り返す。
【0050】
外部近赤外線照明検出器15によって、前方からの同じシステムの近赤外線照明を検出したときには、前記ステップS11においてその照明を受光していると判別するので、その際にはステップS18に進み、ランダム作動パルスを供給する。その後はステップS11においてその照明の受光がなくなったと判別されるまで前記と同様の作動を繰り返し、ここでその照明の受光がなくなったと判別したときには再び所定間隔の作動パルスの供給を行う(ステップS12)。
【0051】
上記実施例においては対向車線から同様のカメラシステムを備えた車両が走行してくることにより、自車両のカメラシステムがハレーションを起こす例を示したが、その他このカメラの周辺に存在する車両において同様のシステムを使用することにより同様のハレーションを起こすときも同様に作動させることができる。その際には前記図6におけるようなハレーション検出区分によることなく、画面全体からそのようなハレーションを検出することとなる。
【0052】
更に、上記実施例においては近赤外線を照射して撮影を行うカメラシステムを車両に搭載した例を示したが、その他、デジタルビデオカメラにおいて、夜間撮影補助機能として近赤外線を照射して撮影を行うことができるようにしたものにおいても、このような装置をを所用している複数の人が、夜間に同じ場所でこれを使用するときに同様の現象が生じることを防止することができる。
【0053】
また、上記実施例においては近赤外線により照明を行い、その反射光を受光するため近赤外線を受光するカメラを用いた例を示したが、近赤外線の定義は必ずしも定まらず、かつ本発明による撮影装置は広い赤外線の範囲でも作動可能であるので、上記のような近赤外線を用いた撮影装置に限らず、赤外線を用いた撮影装置に利用することができるものとして示している。
【0054】
また、上記実施例においては全てCCDカメラによって撮影する例を示したが、それ以外の受光素子を用いて撮影するカメラに利用することができることは当然である。
【0055】
【発明の効果】
本発明に係る赤外線照明付撮影装置は、上記課題を解決するため、所定の赤外線照射タイミングで赤外線を照射する照明装置と、前記照明装置の赤外線照射タイミングと同期させて、所定の電荷蓄積開始タイミングで前記照明装置からの赤外線を受光して撮影を行うカメラと、前記所定の赤外線照射タイミングと、前記所定の赤外線照射タイミングと同期した、所定の電荷蓄積開始タイミングとを所定間隔の作動とランダム間隔の作動に切り替える作動タイミング制御手段と、所定の赤外線照射タイミングで赤外線を照射する外部の照明装置から、前記カメラに該赤外線が照射されていることを検出する外部赤外線照射検出手段とを備え、前記作動タイミング制御手段は、前記外部赤外線照射検出手段により、外部の照明装置からの赤外線がカメラに照射されていることを検出したとき、所定間隔の作動からランダム間隔の作動に切り替えるようにしたようにしたので、この撮影装置と同様の撮影装置が近くに存在し、その装置が備えている照明装置により自分の撮影装置に赤外線が入り込み、ハレーションを起こしてしまいそうなときにはランダムな撮影を行うため、両方の撮影装置が同時に作動することが無くなり、このようなハレーションの発生を確実に防止することができる。
【0056】
また、本発明に係る他の赤外線照明付撮影装置は、前記カメラからの画像を処理する画像処理部と、前記画像処理部で画像処理されたデータと、所定のテンプレートデータがあるテンプレートデータベースのテンプレートデータとを比較し、一致しているか否かを判別する画像認識を行なう画像認識部とを備えたので、車両において道路標識や道路標示等をカメラにより撮影し、撮影画像を認識する際に、これを夜間に使用するとき、同様のカメラを搭載した対向車による赤外線照明が自分のカメラに入り、ハレーションを生じて画像認識ができなくなることを防止することができ、昼夜に関わらず道路標識や道路標示を確実に認識を行う装置とすることができる。
【0057】
また、本発明に係る他の赤外線照明付撮影装置は、前記外部赤外線照射検出手段が、前記カメラにより撮影した画像にハレーションが存在することを検出するハレーション検知手段としたので、外部からの赤外線照射によるハレーションが生じたときには直接これを検出することができ、外部の照明装置によるハレーションを確実に防止することができる。
【0058】
また、本発明に係る他の赤外線照明付撮影装置は、前記ランダム間隔の作動を、所定時間後に前記所定間隔の作動に切り替えるようにしたので、外部の赤外線照明の影響を防止するためランダム制御を行っている特殊状態を、適当な時期に元の所定間隔の作動に切り替えることができる。
【0059】
また、本発明に係る他の赤外線照明付撮影装置は、前記外部赤外線照射検出手段を、外部の照明装置からの赤外線を直接検出する赤外線検出器としたので、自分の撮影装置の方向に赤外線が照射されているときには常にランダム制御にすることができ、ハレーションの発生を未然に防止することができる。また、この外部の赤外線照明が自分のカメラの方向に向いていない状態になったときは、自動的に元の所定間隔の作動に切り替えることが可能となる。
【図面の簡単な説明】
【図1】本発明の実施例の機能ブロック図である。
【図2】同実施例において、外部赤外線照射検出手段として、ハレーション検知手段を用いた近赤外線撮影画像認識処理の作動フロー図である。
【図3】同実施例において、外部赤外線照射検出手段として、外部の照明装置からの赤外線を検出する赤外線検出器を用いた近赤外線撮影画像認識処理の作動フロー図である。
【図4】同実施例において夜間に近赤外線照明付カメラで道路標示を撮影した例を示す図であり、(a)は通常の撮影状態を示し、(b)は同様の照明付カメラを搭載した対向車が視界に入ってくることによりわずかにハレーションを生じている例を示し、(c)は同対向車搭載の照明により大きなハレーションを生じた例を示す図である。
【図5】照明装置付CCDカメラにおけるストロボ、CCDの作動サイクル、及び画像出力のタイミングを示す図である。
【図6】外部赤外線照射検出に際して撮影画像中のハレーションを検知するに際し、画像分割により対向車の同様の照明を検知する例を示す図である。
【符号の説明】
1 近赤外線照明用ストロボ
2 ストロボ作動制御部
3 CCDカメラ
4 CCDカメラ作動制御部
5 画像処理部
6 画像認識部
7 テンプレートデータベース
8 ハレーション検知部
9 所定時間経過判別部
10 作動切替制御部
11 作動タイミングパルス供給部
12 所定間隔連続作動部
13 ランダム作動部
15 外部近赤外線照明検出器
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a photographing apparatus with infrared illumination that can shoot by irradiating near infrared rays so that the function can be sufficiently performed even at night when photographing the surroundings with a camera. The present invention relates to a photographing apparatus with infrared illumination that prevents a halation phenomenon from occurring in an image by receiving illumination of a camera mounted on the system.
[0002]
[Prior art]
Due to recent technological development and rapid spread of digital cameras and video cameras, these cameras have been widely used, such as being mounted on small personal computers and PDAs, and further mounted on mobile phones. It can be used for. It has also been proposed to use this for various purposes by attaching a vehicle.
[0003]
In that case, for example, a video camera is installed at the rear of the vehicle, and the driver moves the vehicle backward while referring to the image of the rear of the vehicle displayed on the monitor screen. It has been proposed to allow safe driving by photographing things outside the driver's field of view, such as having time assistance, and displaying them on a monitor.
[0004]
In addition to the recent improvement in image processing speed and advancement in image recognition technology, in addition to displaying images taken with a video camera as described above directly on a monitor and using them, for example, driving lanes taken with a video camera are image processed. It is proposed to recognize this and inform that the lane is changed unintentionally, or to inform that the distance between the vehicle and the vehicle ahead is too close.
[0005]
In addition, it detects traffic signals ahead and prevents the driver from overlooking red traffic lights, detects passing traffic intersections, and detects traffic restrictions such as one-way traffic and entry prohibition. To recognize the specific object or shape by processing the captured video signal, such as alerting the driver, detecting obstacles such as pedestrians around the pedestrian crossing and road, guardrail, other vehicles, etc. It has been proposed to show various information to the driver.
[0006]
The above video camera means one that continuously captures one frame image at a predetermined time interval. In addition to the one used as a moving image, the video camera may be decomposed for each frame and used as a still image. . Accordingly, this is the same technique as that used to shoot a digital camera that captures a still image at a predetermined time interval, and these are hereinafter collectively referred to as “camera” in a sense that includes all of them.
[0007]
On the other hand, navigation devices are widely used in recent vehicles, and it is possible to reliably and safely guide a vehicle to a destination along a guidance route. However, simply using the navigation device, for example, when there are multiple lanes on one side and traveling in the left lane, change the lane in advance according to the relationship between the driving lane and the right / left turn at the intersection If the navigation device cannot know which lane you are currently driving, even if you are driving in the right lane, for example, “Turn right at the next intersection. Please drive in the right lane. "
[0008]
As a countermeasure, a camera is installed in the vehicle as described above, and a plurality of lanes are photographed to detect which lane the vehicle is traveling. It is proposed to provide appropriate guidance. In addition, by combining the navigation device and the camera in this way, a right turn road, a straight road, a left turn road displayed as an arrow on a road near the intersection other than the lane marked on the road as described above In addition, it is possible to recognize road markings such as a left turn and a straight road, and collate the currently traveling lane with the guidance route to determine whether or not the traveling is appropriate.
[0009]
When a system in which a navigation device and a camera are combined is used, it is possible to provide a navigation device that performs appropriate guidance as described above, and also travels by detecting road signs, detecting obstacles, and detecting white lines as described above. It is possible to detect lanes, detect road markings, etc., and thereby present various information to the driver, output warnings as appropriate, and contribute to safe driving. The applicant has already proposed a method (Japanese Patent Application No. 2001-035261). Furthermore, the present applicant has already proposed a method capable of reliably processing a photographed image by such a camera at high speed (Japanese Patent Application No. 2001-318642).
[0010]
[Problems to be solved by the invention]
As described above, the camera is mounted on the vehicle, the surroundings are captured and the images are captured, and the captured images are directly displayed on the monitor, or the captured images are processed to recognize road markings and the like. Although a system that contributes to driving can be configured, an ordinary camera is not equipped with a lighting device, so only a range of vehicle illumination can be taken at night, and the image is also unclear. It must be a thing. In addition, it is prohibited to add a normal lighting device to clearly capture the surroundings because it interferes with the traveling of other vehicles. Therefore, a normal lighting device including a commonly used strobe is not allowed. Cannot be used to shoot.
[0011]
In addition, when equipped with a high-performance camera that can sufficiently capture the road surface even at night, for example, it is dazzled by the strong light of the oncoming vehicle, causing halation in the captured image every time the oncoming vehicle comes, and taking a picture substantially It will continue to be impossible. As a countermeasure, it is equipped with a near-infrared illumination device that has been used for surveillance cameras in the past and has recently been used in some general-purpose cameras, and a filter that allows only near-infrared rays to pass through the camera lens. It can be considered to be a system that can capture a road surface and the like even at night without being dazzled by the light.
[0012]
The light from such a near-infrared illuminating device is not visible to humans because it is out of visible light, and even if it is mounted on a vehicle, it does not affect other vehicles or surrounding people. Therefore, by using such a system, it is possible to photograph road markings etc. by receiving the reflected near infrared rays reflected from the object by the camera, and processing the captured image at night. However, it is possible to assist safe driving as described above.
[0013]
In particular, headlights using conventional halogen lamps as lighting devices for vehicles in recent years are increasingly being used with xenon lamps that are smaller, brighter and consume less power. Has a higher radiation intensity on the visible light side than a halogen lamp, and tends to be lower in the near infrared part. However, there are many examples that are shared with halogen lamps with many near infrared components. Therefore, in the camera for photographing near infrared rays as described above, the light from the halogen lamp can be used as auxiliary light in addition to the illumination device as described above. It can be considered as a means.
[0014]
In this way, a camera equipped with a near-infrared illumination device can be used to shoot road markings at night to photograph road markings and recognize this, but at this time the near-infrared illumination device In order to install the vehicle toward the front of the vehicle, for example, the oncoming vehicle has a system with a similar near-infrared irradiation device and photographing device, and when the system is operating, the headlight of the oncoming vehicle runs up. The near-infrared photographing device may cause so-called halation that is dazzled by the light, just as it is dazzling when it is moving.
[0015]
That is, for example, as shown in FIG. 4, when a near-infrared imaging system equipped with this near-infrared illumination device photographs a road marking as shown in FIG. When the oncoming vehicle equipped approaches, the light reception is less at first, so the illumination is slightly reflected on the screen as shown in the figure (b), while it is in a small halation state, When approaching, the light becomes stronger, so that the light covers a large part of the screen and causes a large halation as shown in FIG. End up. The same applies to the case where the same system is operated in the vicinity of the vehicle and the near infrared ray is received other than when the opponent is an oncoming vehicle.
[0016]
In this way, illumination is performed by irradiating near-infrared rays for night-time shooting, and when shooting with the reflected light by the CCD camera, the shot image is received by receiving the illumination irradiated from the camera system having the same function. The occurrence of halation is not limited to the camera system mounted on the vehicle as described above. For example, in a recent digital video camera, it is possible to shoot by irradiating near infrared rays as a night shooting assistance function. The same phenomenon may occur when a plurality of people who use such a camera use it at the same place at night.
[0017]
Therefore, the present invention mainly aims to prevent halation in a captured image by receiving other illumination using a similar device when using an imaging device that illuminates with near infrared rays and performs imaging. It is said.
[0018]
[Means for Solving the Problems]
In order to solve the above-described problems, an imaging device with infrared illumination according to the present invention provides: At a predetermined infrared irradiation timing An illumination device that emits infrared rays; In synchronization with the infrared irradiation timing of the illuminating device, a camera that receives and shoots infrared rays from the illuminating device at a predetermined charge accumulation start timing, the predetermined infrared irradiation timing, and the predetermined infrared irradiation timing Synchronized, predetermined charge accumulation start timing An operation timing control means for switching between an operation at a predetermined interval and an operation at a random interval; At a predetermined infrared irradiation timing An external infrared irradiation detecting means for detecting that the camera is irradiated with infrared rays from an external illumination device that emits infrared rays, and the operation timing control means is externally connected by the external infrared irradiation detecting means. When it detects that the camera is receiving infrared light from the lighting device, From operation at predetermined intervals The operation is switched to a random interval operation.
[0019]
Further, another imaging apparatus with infrared illumination according to the present invention includes an image processing unit that processes an image from the camera, An image recognition unit that performs image recognition for comparing the data image-processed by the image processing unit with template data of a template database having predetermined template data to determine whether or not they match Is.
[0020]
In another imaging apparatus with infrared illumination according to the present invention, the external infrared irradiation detection means is a halation detection means for detecting the presence of halation in an image photographed by the camera.
[0021]
In another imaging apparatus with infrared illumination according to the present invention, the operation at the random interval is switched to the operation at the predetermined interval after a predetermined time.
[0022]
In another imaging device with infrared illumination according to the present invention, the external infrared irradiation detection means is an infrared detector that directly detects infrared rays from an external illumination device.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a functional block diagram of an embodiment of the present invention. In this embodiment, a near-infrared illumination strobe 1 is provided, the operation of which is controlled by a strobe operation control unit 2, and this is disposed at an appropriate place in a vehicle. And installed so that the front of the vehicle can be photographed.
[0024]
Further, it is installed so that the front of the vehicle can be photographed by the CCD camera 3 that receives near infrared rays, and the near infrared rays irradiated by the near infrared illumination strobe 1 can receive the light reflected by the object. The operation is controlled by the CCD camera operation control unit 4.
[0025]
In this CCD camera 1, as shown in FIG. 5A, for example, as shown in FIG. 5A, the operation of the light receiving element is such that each element discharges the charge stored up to that time, the charge that performs imaging and stores the charge in each element. Each operation of the output for scanning the state of the electric charge is performed as one cycle. An image of one frame is obtained by such a cycle, and a normal video camera obtains a predetermined moving image by performing this 30 times per second.
[0026]
In addition, since the strobe as the lighting device uses a single light emitting diode or an assembly thereof and can emit light in 1/10000 seconds, the discharge is completed and charging starts in the CCD operating cycle. Operate according to the signal. The image photographed by the CCD camera 1 in this way is output at the time of scanning of the CCD cycle and taken out to the image processing unit 5. These synchronous operations are performed by timing pulses from an operation timing pulse supply unit 6 described later.
[0027]
Note that a normal video camera can be used as the CCD camera 3, and in this embodiment, it is shown for night photography. However, when a near-infrared selection filter is attached in front of the camera in this apparatus, during daytime photography. By removing this and not operating the illumination device, it is possible to take a picture with a normal camera. In addition to the optical filter as described above, when a filter circuit for selecting a specific wavelength of light received by the image processing unit is provided, the camera can be shared day and night by switching the filter of the circuit.
[0028]
The image of the CCD camera 3 taken into the image processing unit 5 is subjected to various known processes, and the image processed data in the image recognition unit 6 is compared with the data in the template database 7 to match. Image recognition is performed by determining whether or not something exists, and the recognition result is output to the outside.
[0029]
In this embodiment, on the basis of the image processed by the image processing unit 5 by the halation detection unit 8, for example, as shown in FIG. It is detected that halation has occurred in a part of. In order to detect the presence of such halation as soon as possible, for example, as shown in FIG. 6, a circuit that specifically monitors the screen area in the upper right part of the figure in a state where the screen is divided into four parts is provided, When the halation portion continues to exist for a predetermined time or more in size, it is possible to take a reliable halation countermeasure by determining that halation has occurred due to the same system of the oncoming vehicle.
[0030]
The discrimination signal from the halation detection unit 8 is output to the operation switching control unit 10, and the operation switching control unit 10 selects either the predetermined interval continuous operation unit 12 in the operation timing pulse supply unit 11 or the random operation unit 13. To activate. Among them, the predetermined interval continuous operation unit 12 supplies an operation pulse continuously at a predetermined interval as shown in the figure, while the random operation unit 13 receives pulses with random intervals as shown in the figure. Supply. The operation timing pulse supply unit 11 corresponds to the operation timing control means in the present invention.
[0031]
When these operation timing pulses are supplied, in a normal operation state, operation pulses at a predetermined interval are supplied from the predetermined interval continuous operation unit 12 so that 30 frames are imaged per second. On the other hand, when the halation detection unit 8 detects halation as shown in FIG. 4B, for example, the operation switching control unit 10 immediately switches the operation to the random operation unit 13, and the operation timing pulse supply unit 11 Supply random actuation pulses.
[0032]
In this random operation, the number of pulses that can capture 30 frames per second is set as a whole, as in normal imaging. In addition, the minimum time interval of each pulse is a time interval at which the CCD camera 3 can complete one cycle.
[0033]
When a random operation pulse as described above is supplied from the operation timing pulse supply unit 11, the CCD camera operation control unit 4 is activated by the timing pulse and performs a predetermined cycle. The strobe operation control unit 2 also emits light and illuminates in synchronization with the start of charge of the CCD in the CCD camera 3 by the timing pulse.
[0034]
With such a system, when the oncoming vehicle only illuminates the near infrared rays continuously by operating at a predetermined interval, the own vehicle side illuminates at random as described above, thereby causing the oncoming vehicle to emit strobe light. Since it deviates from the time, the photographing operation timing can be surely shifted, and it is possible to prevent the photographing from being disabled due to a large halation as shown in FIG.
[0035]
Moreover, in the same system in the oncoming vehicle, when the own vehicle has a function of switching to the same random light emission as the own vehicle, when the own vehicle first detects the halation of the oncoming vehicle and performs the random light emission as described above, Will continue to emit light continuously without being aware of the occurrence of halation.
[0036]
On the other hand, when the other party's system detects halation ahead of the host vehicle and randomly emits light, it does not cause halation in the systems on both sides of the company or continues to emit light without being aware of it. In any case, the systems will pass each other in a normally functioning state without causing great halation.
[0037]
Also, even if both detect halation at the same time and perform random light emission at the same time, when the start timing of random operation starts from different parts of the random number sequence, they will not be the same timing as each other, Can be maintained.
[0038]
As described above, by detecting the halation by the illumination of the same system of the oncoming vehicle, the illumination by the random strobe operation is performed as described above, and the CCD camera is also operated at random in synchronism with this to shoot. However, in this embodiment, a predetermined time elapse determining unit 9 is provided, and it is determined whether or not a predetermined time such as 10 seconds has elapsed since the halation detecting unit 8 detects the halation as described above. When the time has elapsed, the supply is switched from the supply of the random operation pulse from the random operation unit to the pulse supply from the continuous operation unit 12 at a predetermined interval in the steady state. Various other methods can be adopted as this switching method.
[0039]
In the above-described embodiment, the example in which the oncoming vehicle adopts the same camera system to detect halation due to the illumination is detected from the captured image of the camera. For example, FIG. As indicated by a two-dot chain line as an input signal to the vehicle, a separate external near-infrared illumination detection unit 15 is provided to detect the illumination by the near-infrared light of the oncoming vehicle. As described above, random imaging can be performed by the random operation unit 13.
[0040]
In this case, the external near infrared illumination detector 15 can detect that an oncoming vehicle that has become an obstacle in the system of the host vehicle has passed, and a normal continuous pulse is transmitted from the continuous operation unit 12 at a predetermined interval according to the signal. It can be switched to supply. Therefore, in the present invention, two types of modes are shown side by side as external infrared irradiation detection means for detecting that infrared rays from an external illumination device that irradiates infrared rays intermittently enter.
[0041]
In this embodiment comprising the functional blocks having the functions as described above, they can be operated in sequence according to an operation flow as shown in FIG. FIG. 2 shows an example in which the near-infrared illumination of an oncoming vehicle equipped with a similar camera system is detected by the halation detection unit 8 in FIG. 1 to perform image recognition processing. First, the operation of this camera system is shown. About the reference | standard operation pulse, it starts from supply of the operation pulse of a predetermined interval (step S1).
[0042]
Next, the strobe and the CCD camera are synchronized in accordance with this operation pulse (step S2). By this operation, a photographed image is output from the CCD camera (step S3), and image processing is performed in the image processing unit 5 of FIG. 1 (step S4). Based on the result of this image processing, it is determined whether or not there is halation on the shooting screen (step S5). When there is no halation, image recognition processing is immediately performed based on the image, and processing for outputting the recognition result is performed (step S6). ).
[0043]
Next, in this embodiment, it is determined whether or not the current operation is an operation in which a random operation pulse is being supplied (step S7). In this state, a random operation pulse is not being supplied but a predetermined interval operation pulse is being supplied. Therefore, the process returns to step S1 and the above operation is repeated.
[0044]
When it is determined in step S5 that there is halation on the shooting screen, a random operation pulse is supplied (step S9), and the process returns to step S2 to perform a predetermined synchronization operation between the strobe and the CCD camera as described above. Therefore, in the subsequent operation, the strobe and the CCD camera operate in synchronization with each other at random timing.
[0045]
Thereafter, the same operation is performed to output the captured image from the CCD camera (step S3) and image processing (step S4) in this order, and in this embodiment, an example is shown in which it is determined again whether there is halation on the captured screen. (Step S5). By this operation, when the random pulse is synchronized by the same random control on the counterpart side, another random operation pulse can be supplied again. However, when this is not necessary, the step S5 is bypassed. In step S6, the image recognition and the recognition result output process may be performed as they are.
[0046]
Thereafter, in step S7, it is determined whether or not the random operation pulse is being supplied in the same manner as described above. Here, it is determined that the random operation pulse is being supplied. It is determined whether or not (step S8). Here, for example, when it is determined that a predetermined time such as 10 seconds has not elapsed, the process again proceeds to step S9, the supply of the random operation pulse is continued, the process returns to step S2 again, and the same operation is repeated.
[0047]
If it is determined in step S8 that a predetermined time has elapsed after the start of supplying the random operation pulse, the process returns to step S1 to supply an operation pulse at a predetermined interval, and the operation is in a steady state. However, when it is determined in step S5 that there is halation in the shooting screen, it is determined that the oncoming vehicle has not passed yet, and the process proceeds to step S9 again to supply a random operation pulse.
[0048]
In the above operation, an example is shown in which the occurrence of halation by near infrared illumination in a similar camera system mounted on an oncoming vehicle is detected by a captured screen. However, when the external near infrared illumination detector 15 in FIG. 1 is used. Can be operated in order according to the operation flow shown in FIG. That is, in the image recognition processing by near-infrared imaging shown in FIG. 3, first, the external near-infrared illumination detector 15 determines whether near-infrared illumination of the same system is received from the front (step S11). .
[0049]
As a result of the determination, when it is determined that such illumination is not received, an operation pulse at a predetermined interval is supplied (step S12), and the strobe and the CCD camera are operated in a predetermined synchronized manner as in the operation float (step S13). ), The captured image is output from the CCD camera (step S14), image processing is performed (step S15), image recognition and recognition signal output processing are then performed (step S17), and the same operation is performed again by returning to step S11. repeat.
[0050]
When the near-infrared illumination of the same system from the front is detected by the external near-infrared illumination detector 15, since it is determined that the illumination is received in the step S11, the process proceeds to step S18 and the random operation is performed. Supply pulses. Thereafter, the same operation as described above is repeated until it is determined in step S11 that the illumination is no longer received. When it is determined that the illumination is no longer received, the operation pulse is supplied again at a predetermined interval (step S12). .
[0051]
In the above embodiment, the example in which the camera system of the own vehicle causes halation when a vehicle having the same camera system travels from the opposite lane is shown, but the same applies to other vehicles around the camera. This system can be operated in the same way when similar halation is caused. In this case, such halation is detected from the entire screen without using the halation detection section as shown in FIG.
[0052]
Further, in the above-described embodiment, an example in which a camera system that shoots by irradiating near infrared rays is mounted on the vehicle is shown. However, in a digital video camera, shooting is performed by irradiating near infrared rays as a night shooting assistance function. Even in such a configuration, it is possible to prevent the same phenomenon from occurring when a plurality of people who use such a device use it at the same place at night.
[0053]
In the above embodiment, an example is shown in which a near-infrared light is illuminated and a camera that receives the near-infrared light is received in order to receive the reflected light. However, the definition of the near-infrared light is not necessarily defined, and photography according to the present invention is performed. Since the apparatus can operate in a wide infrared range, the apparatus is not limited to the imaging apparatus using near infrared rays as described above, but is shown as being usable for an imaging apparatus using infrared rays.
[0054]
Further, in the above-described embodiments, an example in which all images are taken with a CCD camera is shown, but it is natural that the present invention can be used for a camera that takes images using other light receiving elements.
[0055]
【The invention's effect】
In order to solve the above-described problems, an imaging device with infrared illumination according to the present invention provides: At a predetermined infrared irradiation timing An illumination device that emits infrared rays; In synchronization with the infrared irradiation timing of the illuminating device, a camera that receives and shoots infrared rays from the illuminating device at a predetermined charge accumulation start timing, the predetermined infrared irradiation timing, and the predetermined infrared irradiation timing Synchronized, predetermined charge accumulation start timing An operation timing control means for switching between an operation at a predetermined interval and an operation at a random interval; At a predetermined infrared irradiation timing An external infrared irradiation detecting means for detecting that the camera is irradiated with infrared rays from an external illumination device that emits infrared rays, and the operation timing control means is externally connected by the external infrared irradiation detecting means. When it detects that the camera is receiving infrared light from the lighting device, From operation at predetermined intervals Since it was made to switch to the operation of a random interval, there was a photographing device similar to this photographing device nearby, and the infrared device entered the photographing device by the lighting device provided by the device, causing halation. Since random photographing is performed when it is likely to occur, both photographing apparatuses do not operate at the same time, and occurrence of such halation can be reliably prevented.
[0056]
Further, another imaging apparatus with infrared illumination according to the present invention includes an image processing unit that processes an image from the camera, An image recognition unit that performs image recognition for comparing the data image-processed by the image processing unit with template data of a template database having predetermined template data to determine whether or not they match So when shooting a road sign, road marking, etc. with a camera in a vehicle and recognizing the shot image at night, when using it at night, infrared illumination from an oncoming vehicle equipped with a similar camera enters your camera, It is possible to prevent image recognition from becoming impossible due to halation, and a device that reliably recognizes road signs and road signs regardless of day or night can be provided.
[0057]
In another imaging device with infrared illumination according to the present invention, the external infrared irradiation detection unit is a halation detection unit that detects the presence of halation in an image captured by the camera. When halation due to the above occurs, this can be detected directly, and the halation caused by the external illumination device can be reliably prevented.
[0058]
In addition, since the imaging apparatus with infrared illumination according to the present invention switches the operation at the random interval to the operation at the predetermined interval after a predetermined time, random control is performed to prevent the influence of external infrared illumination. The special state being performed can be switched to the operation at the original predetermined interval at an appropriate time.
[0059]
Further, in another imaging apparatus with infrared illumination according to the present invention, the external infrared irradiation detection means is an infrared detector that directly detects infrared radiation from an external illumination apparatus. When irradiation is performed, random control can be performed at all times, and halation can be prevented. Further, when the external infrared illumination is not in the direction of the camera, it is possible to automatically switch to the operation at the original predetermined interval.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of an embodiment of the present invention.
FIG. 2 is an operational flowchart of near-infrared captured image recognition processing using a halation detection unit as an external infrared irradiation detection unit in the same embodiment.
FIG. 3 is an operational flow diagram of near-infrared captured image recognition processing using an infrared detector that detects infrared rays from an external illumination device as external infrared irradiation detection means in the embodiment.
FIGS. 4A and 4B are diagrams showing an example of shooting a road sign with a near-infrared illuminated camera at night in the same embodiment, FIG. 4A shows a normal shooting state, and FIG. 4B is equipped with a similar illuminated camera; An example in which a slight halation is caused by the oncoming vehicle entering the field of view is shown, and (c) is a diagram showing an example in which a large halation is caused by the illumination mounted on the oncoming vehicle.
FIG. 5 is a diagram illustrating a strobe, a CCD operation cycle, and image output timing in a CCD camera with an illumination device.
FIG. 6 is a diagram illustrating an example of detecting similar illumination of an oncoming vehicle by image division when detecting halation in a captured image when detecting external infrared irradiation.
[Explanation of symbols]
1 Strobe for near infrared illumination
2 Strobe operation control unit
3 CCD camera
4 CCD camera operation controller
5 Image processing section
6 Image recognition unit
7 Template database
8 Halation detector
9 Predetermined time elapsed discriminator
10 Operation switching control unit
11 Operation timing pulse supply unit
12 Continuous operation part at predetermined intervals
13 Random actuator
15 External near-infrared illumination detector

Claims (5)

所定の赤外線照射タイミングで赤外線を照射する照明装置と、
前記照明装置の赤外線照射タイミングと同期させて、所定の電荷蓄積開始タイミングで前記照明装置からの赤外線を受光して撮影を行うカメラと、
前記所定の赤外線照射タイミングと、前記所定の赤外線照射タイミングと同期した、所定の電荷蓄積開始タイミングとを所定間隔の作動とランダム間隔の作動に切り替える作動タイミング制御手段と、
所定の赤外線照射タイミングで赤外線を照射する外部の照明装置から、前記カメラに該赤外線が照射されていることを検出する外部赤外線照射検出手段とを備え、
前記作動タイミング制御手段は、前記外部赤外線照射検出手段により、外部の照明装置からの赤外線がカメラに照射されていることを検出したとき、所定間隔の作動からランダム間隔の作動に切り替えることを特徴とする赤外線照明付撮影装置。
A lighting device that emits infrared rays at a predetermined infrared irradiation timing ;
A camera that receives and captures infrared rays from the lighting device at a predetermined charge accumulation start timing in synchronization with the infrared irradiation timing of the lighting device;
An operation timing control means for switching the predetermined infrared irradiation timing and a predetermined charge accumulation start timing synchronized with the predetermined infrared irradiation timing to an operation at a predetermined interval and an operation at a random interval;
An external infrared irradiation detecting means for detecting that the infrared ray is irradiated on the camera from an external illumination device that irradiates infrared rays at a predetermined infrared irradiation timing ;
The operation timing control means switches from an operation at a predetermined interval to an operation at a random interval when the external infrared irradiation detection means detects that infrared rays from an external illumination device are being applied to the camera. An imaging device with infrared illumination.
前記カメラからの画像を処理する画像処理部と、
前記画像処理部で画像処理されたデータと、所定のテンプレートデータがあるテンプレートデータベースのテンプレートデータとを比較し、一致しているか否かを判別する画像認識を行なう画像認識部とを備えたことを特徴とする請求項1記載の赤外線照明付撮影装置。
An image processing unit for processing an image from the camera;
An image recognition unit that compares the data image-processed by the image processing unit with template data of a template database having predetermined template data and performs image recognition to determine whether or not they match. The imaging apparatus with infrared illumination according to claim 1.
前記外部赤外線照射検出手段は、前記カメラにより撮影した画像にハレーションが存在することを検出するハレーション検知手段であることを特徴とする請求項1記載の赤外線照明付撮影装置。2. The photographing apparatus with infrared illumination according to claim 1, wherein the external infrared irradiation detecting means is a halation detecting means for detecting the presence of halation in an image photographed by the camera. 前記ランダム間隔の作動は、所定時間後に前記所定間隔の作動に切り替えることを特徴とする請求項3記載の赤外線照明付撮影装置。The imaging device with infrared illumination according to claim 3, wherein the operation at the random interval is switched to the operation at the predetermined interval after a predetermined time. 前記外部赤外線照射検出手段は、外部の照明装置からの赤外線を直接検出する赤外線検出器であることを特徴とする請求項1記載の赤外線照明付撮影装置。2. The photographing apparatus with infrared illumination according to claim 1, wherein the external infrared irradiation detecting means is an infrared detector that directly detects infrared rays from an external illumination device.
JP2002005389A 2002-01-11 2002-01-11 Imaging device with infrared illumination Expired - Fee Related JP3850021B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002005389A JP3850021B2 (en) 2002-01-11 2002-01-11 Imaging device with infrared illumination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002005389A JP3850021B2 (en) 2002-01-11 2002-01-11 Imaging device with infrared illumination

Publications (2)

Publication Number Publication Date
JP2003209742A JP2003209742A (en) 2003-07-25
JP3850021B2 true JP3850021B2 (en) 2006-11-29

Family

ID=27644448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002005389A Expired - Fee Related JP3850021B2 (en) 2002-01-11 2002-01-11 Imaging device with infrared illumination

Country Status (1)

Country Link
JP (1) JP3850021B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251258A (en) * 2006-03-13 2007-09-27 Fujitsu Ten Ltd Image recognizing device
JP4837610B2 (en) * 2007-03-29 2011-12-14 パナソニック株式会社 Night vision imaging device and headlight module
JP4781243B2 (en) * 2006-11-28 2011-09-28 アルパイン株式会社 Drive recorder and image acquisition timing control method thereof
WO2008068535A1 (en) * 2006-12-06 2008-06-12 Sinisa Milnersic Improving the night vision lighting system for use in vehicles
JP4969530B2 (en) * 2008-08-11 2012-07-04 日立オートモティブシステムズ株式会社 Road sign recognition device
JP2015025727A (en) * 2013-07-26 2015-02-05 三菱電機株式会社 Road surface imaging apparatus
JP2022025280A (en) 2020-07-29 2022-02-10 株式会社Jvcケンウッド Infrared imaging apparatus and infrared imaging system
KR102473150B1 (en) * 2020-08-20 2022-12-01 엘텍코리아 주식회사 Lighting non-exposed type camera that is not exposed to the outside of camera lighting of user and control method for non exposed camera lighting using the same

Also Published As

Publication number Publication date
JP2003209742A (en) 2003-07-25

Similar Documents

Publication Publication Date Title
US11240427B2 (en) Vehicular vision system with infrared emitter synchronization
KR101014105B1 (en) Headlamp control device for the use of vehicle
JP4720650B2 (en) Road surface projection apparatus and road surface projection method
US6993255B2 (en) Method and apparatus for providing adaptive illumination
JP5680573B2 (en) Vehicle driving environment recognition device
JP2000318513A (en) Obstacle detection device for vehicle
JP5629521B2 (en) Obstacle detection system and method, obstacle detection device
JP2003075893A (en) Circumference image pickup device for vehicle
WO2002004247A1 (en) Method and apparatus for providing adaptive illumination
KR101723401B1 (en) Apparatus for storaging image of camera at night and method for storaging image thereof
JP2010221732A (en) Outer mirror for vehicle
JP4927647B2 (en) Vehicle periphery monitoring device
JP4807733B2 (en) Outside environment recognition device
JP3850021B2 (en) Imaging device with infrared illumination
JP2006011671A (en) Vehicle-mounted surrounding circumstance detection device
JP2008201280A (en) Vehicular lamp system
JP2006226682A (en) Apparatus and method for infrared photographing and display of vehicle
EP3605497A1 (en) Illumination image capture device
JP2005178576A (en) Vehicle periphery monitoring device
JP2007013777A (en) Imaging apparatus
JP2005205950A (en) Night pedestrian notifying device
JP2012185669A (en) Vehicle detecting device and vehicle light distribution controlling device using the same
JP2011098579A (en) Vehicle tail lamp detecting device
US10217006B2 (en) Method and device for detecting objects in the dark using a vehicle camera and a vehicle lighting system
JP2017068768A (en) Vehicle detection alarm device and vehicle detection alarm method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060828

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees