JP4005442B2 - 物体検知方法及び物体検知装置 - Google Patents
物体検知方法及び物体検知装置 Download PDFInfo
- Publication number
- JP4005442B2 JP4005442B2 JP2002230010A JP2002230010A JP4005442B2 JP 4005442 B2 JP4005442 B2 JP 4005442B2 JP 2002230010 A JP2002230010 A JP 2002230010A JP 2002230010 A JP2002230010 A JP 2002230010A JP 4005442 B2 JP4005442 B2 JP 4005442B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- illumination
- detected
- illuminated
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は物体検知方法及び物体検知装置に関する。例えばＩＴＶカメラ等の監視カメラから得られた画像を用いてカメラの視野内に映っている物体を検知するための方法及び装置に関するものである。
【０００２】
雨天や降雪等の悪天候時にカメラによって物体を撮影する場合、太陽光が遮蔽されて暗くなるため、カメラの視野内を照らす照明を別途用意する必要がある。しかしながら、雨天や降雪等の悪天候時に照明すると、雨粒や雪粒の照明による乱反射光がカメラに映りこんでしまう。この反射光の映り込みと物体の区別がうまくつかないと、映り込みを物体と勘違いして誤検知したり、対象物体の検知もれが生じたりする。そこで、雨粒や雪粒の影響をなるべく少なくして物体を認識する必要がある。
【０００３】
【従来の技術】
カメラの視野内に雨粒や雪粒等の外乱物体がある場合、照明による反射光のカメラへの映り込みによって検出したい物体との区別がつかなくなってしまう。例えば図２に示すように、悪天候時に照明を使用すると、雨粒や雪粒の照明に対する乱反射光が画像に映り込んでしまう。図２の（ａ）は照明がついている場合の映像を、図２の（ｂ）は照明がついていない場合の映像をそれぞれ示している。（ａ）において、１が雨粒や雪粒を示している。図２は実施例におけるディスプレイ上に表示した表示画面中のメインの画像の一例を中間調画像の写真で示す図である。
【０００４】
そのため、例えば背景差分処理やオプティカルフロー（対象となる物体の時間的移動方向）の算出等の画像処理による物体検知処理（“コンピュータビジョン”，谷内田正彦著，丸善株式会社出版）では、乱反射光と物体との区別がつきにくいため、検知対象の物体がいない場合に物体を検知したり、検知対象の物体がいるのに検知しなかったりしてしまう。
【０００５】
そのため、従来は次のような技術を用いていた。例えば雨粒や雪粒等の外乱物体は、画像中をランダムに移動するノイズであると考え、画像中の各画素に対して、時間軸方向に中央値フィルタをかけることで、雨粒や雪粒を除去している（第１の方法）。
また、物体検出にミリ波レーダ等のセンサを追加することで、雨粒や雪粒を無視して物体のみ検出している（第２の方法）。
【０００６】
【発明が解決しようとする課題】
前記第１の方法の場合、画像中をある程度高速で移動している物体の情報も消失してしまうという問題がある。また、前記第２の方法の場合、カメラのほかに別途センサの追加が必要であったり、カメラの映像とセンサの出力結果を統合する必要があったりする。この結果、装置の価格が高くなったり、装置の構成が煩雑になったりする。
【０００７】
本発明はこのような課題に鑑みてなされたものであって、物体の検知と物体の画像の認識を簡易に行なうことができる物体検知方法及び物体検知装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
（１）請求項１記載の発明は、物体を撮影する撮影手段と、該撮影手段により撮影した画像を取り込む画像取り込み手段と、該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、物体を照明する照明手段とを有し、前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、前記画像取り込み手段の出力を受けて雨粒や雪粒が映り込んでいるかどうかを判定する映り込み判定手段を設け、該映り込み判定手段により雨粒や雪粒が映り込んでいると判定したら、前記撮影手段と照明手段とを連動させて動作させることを特徴とする。
【０００９】
このように構成すれば、雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００１０】
図１は本発明の原理ブロック図である。図において、３は物体を撮影する撮影手段、４は該撮影手段３により撮影した画像を取り込む画像取り込み手段、５は該画像取り込み手段４の出力を受けて物体を検知する物体検知手段、６は物体検知手段５により検知された物体検知信号を受けてオンになる照明手段である。
【００１１】
このように構成すれば、照明手段６がオフの状態で物体検知手段５により物体を検知するので、雨粒や雪粒の影響を受けずに物体を検知し、物体を確実に検知することができる。そして、物体が検知されたら、物体検知手段５により照明手段６をオンにして物体を照らし、撮影手段３により物体を撮影することができる。そして、撮影された画像を基に物体の画像の保存をし、物体の認識を行なうことができる。
【００１２】
図１を用いて本発明の構成を詳細に説明する。本発明の物体検知装置は、図１に示すように、撮影手段３と、照明手段６と、画像取り込み手段４と、物体検知手段５により構成されている。先ず、撮影手段３により物体を撮影し、得られた画像内に検知対象となる物体がいるかどうかの判定処理を行なう。判定の結果、物体がいると判定された場合には、物体が映った画像を保存したり、物体の認識処理を行なったりする。
【００１３】
前述したように、悪天候時に照明を使用すると、雨粒や雪粒の照明に対する乱反射光の画像への映り込みにより、物体検知に失敗してしまう。そこで、照明を消して物体を撮影することを考える。照明を消すと、雨粒や雪粒の画像への映り込みがなくなり、物体検知が行ないやすくなる。しかしながら、照明を消してしまうと映り込みは減るが、物体そのものが暗くなってしまい、物体の詳細な情報が得られなくなり、物体認識等の処理が行なえなくなってしまう。
【００１４】
そこで、物体検知と画像保存や物体認識を各々別の状態で撮影した画像を用いて行なう方法を考えた。具体的には、物体検知は照明の影響を受けていない状態で撮影された画像を用いる。そして、物体が検知された場合に、照明の影響を受けた状態で撮影された画像を用いて画像の保存や物体認識を行なう。
【００１５】
例えば、通常は照明を消しておき、その状態で物体検知を行なう。そして、物体が検知された場合に、照明をつけて物体を撮影し、照明があたっている画像を保存、或いは物体認識処理に用いる。これによって、悪天候時であっても、雨粒や雪粒の照明に対する乱反射光の映り込みが発生せず、物体検知が良好に行なえる。
【００１６】
また、物体認識に照明の影響を受けて物体が明瞭に映っている画像を保存して、後で目視で物体を判別したり、コンピュータによる画像処理によって自動的に物体認識を行なったりできる。コンピュータによる物体認識については、例えば、“斎藤文彦，“ブロック照合投票処理を用いた遮蔽に強い画像マッチング”，電子情報通信学会論文誌，Ｄ−II，Ｖｏｌ．Ｊ８４−Ｄ−II，Ｎｏ．１０，ｐ
ｐ．２２７０−２２７９（２００１．１０）”を用いれば、乱反射光による物体の遮蔽が多少あっても、物体認識を行なうことができる。
【００１７】
（２）請求項２記載の発明は、前記雨粒や雪粒の影響がなくなる程度まで照明手段により照明を暗くして撮影し、この状態で物体が検知されたら、前記照明を明るくして物体を撮影手段により撮影し、画像の保存或いは認識処理を行なうことを特徴とする。
このように構成すれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
（３）請求項３記載の発明は、物体を撮影する撮影手段と、該撮影手段により撮影した画像を取り込む画像取り込み手段と、該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、物体を照明する照明手段とを有し、前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、前記画像取り込み手段の出力を受けて雨粒や雪粒が映り込んでいるかどうかを映り込み判定手段により判定し、雨粒や雪粒が映り込んでいたら、前記撮影手段と照明手段とを連動させて動作させることを特徴とする。
【００１８】
このように構成すれば、雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００１９】
（４）請求項４記載の発明は、物体を撮影する撮影手段と、該撮影手段により撮影した画像を取り込む画像取り込み手段と、該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、物体を照明する照明手段とを有し、前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、前記雨粒や雪粒の影響がなくなる程度まで照明手段により照明を暗くして撮影し、この状態で物体が検知されたら、前記照明を明るくして物体を撮影手段により撮影し、画像の保存或いは認識処理を行なうことを特徴とする。
【００２０】
このように構成すれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００２３】
また、この発明において、物体を撮影して物体を検知する撮影手段と、照明手段とを連動させて動作させ、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いることを特徴とする。
【００２４】
このように構成すれば、照明オフ状態で雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明オン下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００２５】
また、この発明において、画像内に雨粒や雪粒が映り込んでいるかの判定を行ない、映り込んでいたら物体を撮影する撮影手段と照明を連動させることを特徴とする。
【００２６】
このように構成すれば、照明オフ状態で雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明オン下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００２９】
また、この発明において、前記照明手段を駆動する照明制御手段を設け、前記雨粒や雪粒の影響がなくなる程度まで照明手段を暗くして撮影し、この状態で物体が検知されたら、前記照明手段を十分に明るくして撮影し、画像の保存或いは認識処理を行なうことを特徴とする。
【００３０】
このように構成すれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００３１】
また、この発明において、物体を検知するための第１の撮影手段と物体を認識するための第２の撮影手段を設け、照明をあてていない状態で第１の撮影手段により画像を用いて物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする。
【００３２】
このように構成すれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明をあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００３５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を詳細に説明する。先ず、図１の構成を用いた詳細について説明する。先ず撮影手段としてのカメラ３等の映像入力装置からは、撮影された映像出力が画像取り込み手段としての映像取り込み装置４に送られる。映像取り込み装置４では、カメラ３から送られてきた映像出力をフレームメモリ等の画像保存用のメモリへ画像情報として取り込む。そして、映像取り込み装置４で取り込まれた画像情報は、物体検知手段としての物体検知装置５に送られる。
【００３６】
物体検知装置５では、映像取り込み装置４から送られてきた画像情報から物体の物体検出処理によって物体の有無を判定する。ここで、物体検出処理としては既存の方法を用いることができる。例えば、背景差分処理を用いる。背景差分処理では、予め物体が映っていない状態を背景画像として撮影し、保持しておく。そして、現在の画像との差分処理を行ない、現在の画像と背景画像とで違いのある部分を物体として検知する。或いはまた、物体検知用に赤外線を用いることもできる。熱源を有する物体であれば、良好に物体を検知することができる。
【００３７】
物体検知装置５で物体が検知された場合は、物体検知信号を照明手段としての照明装置６と映像取り込み装置４に送る。照明装置６では、画像検知装置５から物体検知信号が送られてくると、照明をオンにする。映像取り込み装置４では、物体検知信号が送られてきた場合、取り込んだ画像情報を画像保存装置や物体認識装置へ送る。
【００３８】
ここで、画像保存装置とは、例えば磁気ディスク装置等の記録媒体によって構成されているものをいう。また、物体認識装置では、検出対象である物体の認識を行なう。例えば、検出対象が車であった場合には、車種の認識処理を行なう。
【００３９】
このように、本発明によれば、照明装置６をオフの状態で物体検知装置５により物体を検知するので、物体を確実に検出することができ、そして、物体が検知されたら、物体検知装置５によって照明装置６をオンにして物体を照らし、撮影装置３により物体を撮影することができる。そして、撮影された画像を基に画像の保存をし、物体の認識を行なうことができる。
【００４０】
図３は本発明の第１の実施の形態例を示すブロック図である。図１と同一のものは同一の符号を付して示す。図において、３は物体を撮影するＩＴＶカメラ（以下単にカメラと略す）である。該カメラ３と照明装置６とは相互に接続され、連動して動作するようになっている。４はカメラ３の映像信号を取り込む映像取り込み装置、５は該映像取り込み装置４からの出力（画像情報）を受けて物体の検知を行なう物体検知装置である。該物体検知装置５の出力は、画像保存装置や物体認識装置に送られる。このように構成された装置の動作を説明すれば、以下の通りである。
【００４１】
カメラ３からは、撮影された映像出力と、カメラの同期信号が出力される。映像出力は、映像取り込み装置４へ送られ、同期信号は照明装置６に送られる。照明装置６では、同期信号によって、照明をオン／オフさせるタイミングを制御する。例えば、ＮＴＳＣ方式のカメラであった場合、１コマ毎に照明がされている画像と照明されていない画像を交互に得るためには、カメラのフレームの開始信号に同期して照明装置６をオン／オフさせればよい。
【００４２】
映像取り込み装置４では、カメラ３から送られてきた映像出力を、フレームメモリ等に取り込む。この時、照明のあたっていない画像と、隣接する照明のあたっている画像の両方を取り込んでおく。そして、照明されていない画像を用いて物体検知装置５で物体検知処理を行なう。
【００４３】
物体検知処理としては、例えば背景差分処理を用いる。背景差分処理では、予め物体が映っていない状態を背景画像として撮影し、保持しておく。そして、現在の画像との差分処理を行ない、現在の画像と背景画像とで、違いのある部分を物体として検知する。そして、物体検知装置５で物体が検知された場合は、取り込んであった照明のあたっている画像を記録装置或いは物体認識装置等に送る。
【００４４】
この実施の形態例によれば、照明のあたっていない画像で物体を検知し、照明のあたっている画像を保存或いは認識処理することで、物体の検知と物体の画像の認識を容易に行なうことができる。
【００４５】
図４は本発明の第２の実施の形態例を示すブロック図である。図３と同一のものは、同一の符号を付して示す。この実施の形態例は、図３に示す第１の実施の形態例に比較して映り込み判定部７を設けた点が異なっている。その他の構成は、図３に示すものと同じである。この映り込み判定部７は、画像入力装置（ＩＴＶカメラ）３から得られた画像から、画像中に雨粒や雪粒が映り込んでいるかどうかを判定する。このように構成された装置の動作を説明すれば、以下の通りである。
【００４６】
ＩＴＶカメラ３と照明とは同期信号で接続されている。先ず最初は、ＩＴＶカメラ３は映像信号を取り込み映像取り込み装置４に送る。映像取り込み装置４から出力された画像信号は物体検知装置５に送られる。
【００４７】
ここで、映り込み判定部７が画像中に雨粒や雪粒が映り込んでいることを検知したら、該映り込み判定部７は、照明装置６に対して照明コントロール信号を出力する。照明装置６では、照明コントロール信号が送られてきた時のみ、照明のオン／オフ処理を行なう。
【００４８】
映り込み判定部７では、例えば次のような処理を行なう。雨粒や雪粒の乱反射光は、画像内でランダムに現れる。一方、物体は画像内を移動している。そのため、画像のある一点の明るさの時間変動を見ると、雪粒が映り込んでいる時間的な明るさ変動が大きい。逆に、映り込んでいない時は、明るさの変動が小さい。
【００４９】
そこで、画像中のある１画素の一定時間内の明るさを記憶しておき、その分散値を算出する。分散値が高ければ、雨粒や雪粒の乱反射が画像に映り込んでいると判定することができる。
【００５０】
この時、映り込み判定部７は、照明装置６に照明コントロール信号を送り、照明をオンにする。そして、照明がオンになっている状態で物体を撮影する。撮影された物体画像は、映像取り込み装置４に送られ、該映像取り込み装置４はからは画像信号が出力され、物体検知装置５の出力は、画像保存装置や物体認識装置に送られる。
【００５１】
このように、この実施の形態例によれば、映り込み判定手段７で映り込みを検知すると、照明装置６をオンにして物体の画像を取り込むことにより、画像の保存或いは認識処理を行なうことができる。
【００５２】
図５は本発明の第３の実施の形態例を示すブロック図である。図３と同一のものは、同一の符号を付して示す。この実施の形態例は、照明装置６をオンにする照明制御部８を設けた点が特徴である。物体検知装置５から物体検知信号が得られると、その信号は照明制御部８に送られる。該照明制御部８は、照明装置６を駆動制御する。このように構成された装置の動作を説明すれば、以下の通りである。
【００５３】
この実施の形態例は、第１の実施の形態例から第３の実施の形態例における照明装置６の照明のコントロール方法を変えた形態である。以下、図３における第１の実施の形態例に照明制御部８を追加した例について述べる。第１の実施の形態例では、照明がされていない状態で物体を検知する場合について説明したが、照明を完全にオフにしてしまうと、ライト等の物体自身が発光している部分しか見えないため、物体の検知に失敗することとがある。
【００５４】
例えば、車の前面のライトは通常２つあるので、照明を完全にオフにした状態で撮影すると、あたかも物体が２つ映っているのと勘違いしてしまう。そこで、物体を検知する前に、照明を完全に消してしまうのではなく、照明を暗くして撮影する。照明を明るくすると雨粒や雪粒が映り込んでしまうが、照明を暗くすると、その映り込みの量は減少する。
【００５５】
具体的には、図５の物体検知装置５から出力された物体検知信号を照明制御部８に送る。照明制御部８では、照明制御信号を照明装置６に送る。物体検知信号がこない場合には、照明の映り込みが物体検知に影響が出ない程度に照明を暗くなるような照明制御信号を送る。そして、物体検知信号がきた場合には、照明を明るく照らすための、照明制御信号を照明装置６に送る。映像取り込み装置４の出力は映像保存装置や物体認識装置等へ送られる。
【００５６】
この実施の形態例によれば、雨粒や雪粒の影響を廃除して物体を検知することができ、物体が検知されたら、照明をあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００５７】
図６は本発明の第４の実施の形態例を示すブロック図である。図３と同一のものは、同一の符号を付して示す。この実施の形態例は、物体検知用のカメラと、画像保存或いは物体認識を行なうカメラを分けたものである。図において、３ａは物体検知用のカメラ、３ｂは物体認識用のカメラである。
【００５８】
４ａはカメラ３ａの映像信号を取り込む映像取り込み装置、４ｂはカメラ３ｂの映像信号を取り込む映像取り込み装置である。５は映像取り込み装置４ａからの画像情報を受けて物体を検知する物体検知装置である。該物体検知装置５の出力は、照明装置６と映像取り込み装置４ｂに物体検知信号として与えられる。
【００５９】
また、カメラ３ｂの出力は、映像信号として映像取り込み装置４ｂに入り、該映像取り込み装置４ｂからは映像保存装置或いは物体認識装置等へ送られる。このように構成された装置の動作を説明すれば、以下の通りである。
【００６０】
先ず、カメラ３ａからの撮影された映像信号が映像取り込み装置４ａへ送られる。映像取り込み装置４ａでは、カメラ３ａから送られてきた映像信号をフレームメモリ等の画像保存用のメモリへ画像情報として取り込む。そして、映像取り込み装置４ａで取り込まれた画像情報は、物体検知装置５へ送られる。
【００６１】
そして、物体検知装置５で物体が検知された場合は、物体検知信号を照明装置６と映像取り込み装置４ｂに送る。照明装置６では、物体検知装置５から物体検知信号が送られてくると、照明装置６をオンにし、発光させる。映像取り込み装置４ｂでは、物体検知信号が送られてきた場合、カメラ３ｂから送られてきた映像信号を取り込む。
【００６２】
そして、取り込んだ画像情報を画像保存装置や物体認識装置へと送る。この時、物体検知用の映像取り込み装置４ａと物体認識用の映像取り込み装置４ｂは同じ性能を持つカメラである必要はない。例えば、物体検知は映像中の物体の有無を判定するだけなので、解像度の高いカメラである必要はない。しかしながら、物体情報を画像として保存したり、認識処理に用いたりする場合は、物体の詳細な情報があった方がよいので、解像度の高いカメラを用いる方がよい。
【００６３】
この実施の形態例によれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明をあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００７１】
以上、説明したように、本発明によれば、降雨や降雪等の悪天候時に、照明の影響のない画像で物体を検知することで、雨粒や雪粒の照明に対する乱反射の影響を受けることなく対象となる物体の検出を行なうことができる。また、物体が検出された場合には、照明の影響を受けている画像を保存或いは物体認識処理することで、画像の記録や物体認識を良好に行なうことができる。
【００７２】
（付記１） 照明の影響を受けていない画像を用いて物体を検知し（ステップ１）、
物体が検知されたら照明の影響を受けている画像を用いて保存或いは対象の認識処理に用いる（ステップ２）
ことを特徴とする物体検知方法。
【００７３】
（付記２） 物体を撮影する撮影手段と、
該撮影手段により撮影した画像を取り込む画像取り込み手段と、
該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、
物体を照明する照明手段と、
を具備し、
前記照明手段により照明していない状態で前記物体検知手段により物体を検知すると、前記照明手段を用い物体を照明した状態で撮影した物体の画像を用いて保存或いは物体の認識処理を行なう
ようにしたことを特徴とする物体検知装置。
【００７４】
（付記３） 照明のあたっていない状態で物体を検知し、物体を検知した場合は照明をオンにし、照明のあたっている画像を保存或いは対象の認識処理に用いることを特徴とする付記１記載の物体検知方法。
【００７５】
（付記４） 物体を撮影して物体を検知する撮影手段と、照明手段とを連動させて動作させ、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理を行なうことを特徴とする付記１記載の物体検知方法。
【００７６】
（付記５） 前記撮影手段と、照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理を行なうことを特徴とする付記２記載の物体検知装置。
【００７７】
（付記６） 画像内に雨粒や雪粒が映り込んでいるかの判定を行ない、映り込んでいたら物体を撮影する撮影手段と照明を連動させることを特徴とする付記４記載の物体検知方法。
【００７８】
（付記７） 前記画像取り込み手段の出力を受けて雨粒や雪粒が映り込んでいるかどうかを判定する映り込み判定手段を設け、
雨粒や雪粒が映り込んでいたら、前記撮影手段と照明手段とを連動させて動作せることを特徴とする付記５記載の物体検知装置。
【００７９】
（付記８） 前記雨粒や雪粒の影響がなくなる程度まで照明を暗くして撮影し、この状態で物体が検知されたら、前記照明を明るくして物体を撮影し、画像の保存或いは認識処理を行なうことを特徴とする付記６記載の物体検知方法。
【００８０】
（付記９） 前記照明手段を駆動する照明制御手段を設け、前記雨粒や雪粒の影響がなくなる程度まで照明手段を暗くして撮影し、この状態で物体が検知されたら、前記照明手段を明るくして撮影し、画像の保存或いは認識処理を行なうことを特徴とする付記７記載の物体検知装置。
【００８１】
（付記１０） 物体を検知するための第１の撮影手段と物体を認識するための第２の撮影手段を設け、照明をあてていない状態で第１の撮影手段により画像を用いて物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする付記８記載の物体検知方法。
【００８２】
（付記１１） 物体を検知するための第１の撮影手段と、物体を認識するための第２の撮影手段を設け、照明をあてていない状態で第１の撮影手段により画像を用いて物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする付記８記載の物体検知装置。
【００８３】
（付記１２） 周波数特性の異なる物体を検知するための第１の撮影手段と、物体を認識するための第２の撮影手段とを設け、前記第１の撮影手段により照明のあたっていない状態で物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする付記１０記載の物体検知方法。
【００８４】
（付記１３） 周波数特性の異なる物体を検知するための第１の撮影手段と、物体を認識するための第２の撮影手段とを設け、前記第１の撮影手段により照明のあたっていない状態で物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする付記１０記載の物体検知方法。
【００８５】
【発明の効果】
以上説明したように、本発明によれば、以下の効果が得られる。
（１）請求項１記載の発明によれば、雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００８６】
（２）請求項２記載の発明によれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００８７】
（３）請求項３記載の発明によれば、照明のあたっていない画像で物体を検知し、照明のあたっている画像を保存或いは認識処理することで、物体の検知と物体の画像の認識を簡易に行なうことができる。
【００８８】
（４）請求項４記載の発明によれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００９０】
このように、本発明によれば、物体の検知と物体の画像の認識を簡易に行なうことができる物体検知方法及び物体検知装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明の原理ブロック図である。
【図２】 照明による映り込みの説明図である。
【図３】 本発明の第１の実施の形態例を示すブロック図である。
【図４】 本発明の第２の実施の形態例を示すブロック図である。
【図５】 本発明の第３の実施の形態例を示すブロック図である。
【図６】 本発明の第４の実施の形態例を示すブロック図である。
【符号の説明】
３ 撮影手段
４ 映像取り込み手段
５ 物体検知装置
６ 照明手段
【発明の属する技術分野】
本発明は物体検知方法及び物体検知装置に関する。例えばＩＴＶカメラ等の監視カメラから得られた画像を用いてカメラの視野内に映っている物体を検知するための方法及び装置に関するものである。
【０００２】
雨天や降雪等の悪天候時にカメラによって物体を撮影する場合、太陽光が遮蔽されて暗くなるため、カメラの視野内を照らす照明を別途用意する必要がある。しかしながら、雨天や降雪等の悪天候時に照明すると、雨粒や雪粒の照明による乱反射光がカメラに映りこんでしまう。この反射光の映り込みと物体の区別がうまくつかないと、映り込みを物体と勘違いして誤検知したり、対象物体の検知もれが生じたりする。そこで、雨粒や雪粒の影響をなるべく少なくして物体を認識する必要がある。
【０００３】
【従来の技術】
カメラの視野内に雨粒や雪粒等の外乱物体がある場合、照明による反射光のカメラへの映り込みによって検出したい物体との区別がつかなくなってしまう。例えば図２に示すように、悪天候時に照明を使用すると、雨粒や雪粒の照明に対する乱反射光が画像に映り込んでしまう。図２の（ａ）は照明がついている場合の映像を、図２の（ｂ）は照明がついていない場合の映像をそれぞれ示している。（ａ）において、１が雨粒や雪粒を示している。図２は実施例におけるディスプレイ上に表示した表示画面中のメインの画像の一例を中間調画像の写真で示す図である。
【０００４】
そのため、例えば背景差分処理やオプティカルフロー（対象となる物体の時間的移動方向）の算出等の画像処理による物体検知処理（“コンピュータビジョン”，谷内田正彦著，丸善株式会社出版）では、乱反射光と物体との区別がつきにくいため、検知対象の物体がいない場合に物体を検知したり、検知対象の物体がいるのに検知しなかったりしてしまう。
【０００５】
そのため、従来は次のような技術を用いていた。例えば雨粒や雪粒等の外乱物体は、画像中をランダムに移動するノイズであると考え、画像中の各画素に対して、時間軸方向に中央値フィルタをかけることで、雨粒や雪粒を除去している（第１の方法）。
また、物体検出にミリ波レーダ等のセンサを追加することで、雨粒や雪粒を無視して物体のみ検出している（第２の方法）。
【０００６】
【発明が解決しようとする課題】
前記第１の方法の場合、画像中をある程度高速で移動している物体の情報も消失してしまうという問題がある。また、前記第２の方法の場合、カメラのほかに別途センサの追加が必要であったり、カメラの映像とセンサの出力結果を統合する必要があったりする。この結果、装置の価格が高くなったり、装置の構成が煩雑になったりする。
【０００７】
本発明はこのような課題に鑑みてなされたものであって、物体の検知と物体の画像の認識を簡易に行なうことができる物体検知方法及び物体検知装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
（１）請求項１記載の発明は、物体を撮影する撮影手段と、該撮影手段により撮影した画像を取り込む画像取り込み手段と、該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、物体を照明する照明手段とを有し、前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、前記画像取り込み手段の出力を受けて雨粒や雪粒が映り込んでいるかどうかを判定する映り込み判定手段を設け、該映り込み判定手段により雨粒や雪粒が映り込んでいると判定したら、前記撮影手段と照明手段とを連動させて動作させることを特徴とする。
【０００９】
このように構成すれば、雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００１０】
図１は本発明の原理ブロック図である。図において、３は物体を撮影する撮影手段、４は該撮影手段３により撮影した画像を取り込む画像取り込み手段、５は該画像取り込み手段４の出力を受けて物体を検知する物体検知手段、６は物体検知手段５により検知された物体検知信号を受けてオンになる照明手段である。
【００１１】
このように構成すれば、照明手段６がオフの状態で物体検知手段５により物体を検知するので、雨粒や雪粒の影響を受けずに物体を検知し、物体を確実に検知することができる。そして、物体が検知されたら、物体検知手段５により照明手段６をオンにして物体を照らし、撮影手段３により物体を撮影することができる。そして、撮影された画像を基に物体の画像の保存をし、物体の認識を行なうことができる。
【００１２】
図１を用いて本発明の構成を詳細に説明する。本発明の物体検知装置は、図１に示すように、撮影手段３と、照明手段６と、画像取り込み手段４と、物体検知手段５により構成されている。先ず、撮影手段３により物体を撮影し、得られた画像内に検知対象となる物体がいるかどうかの判定処理を行なう。判定の結果、物体がいると判定された場合には、物体が映った画像を保存したり、物体の認識処理を行なったりする。
【００１３】
前述したように、悪天候時に照明を使用すると、雨粒や雪粒の照明に対する乱反射光の画像への映り込みにより、物体検知に失敗してしまう。そこで、照明を消して物体を撮影することを考える。照明を消すと、雨粒や雪粒の画像への映り込みがなくなり、物体検知が行ないやすくなる。しかしながら、照明を消してしまうと映り込みは減るが、物体そのものが暗くなってしまい、物体の詳細な情報が得られなくなり、物体認識等の処理が行なえなくなってしまう。
【００１４】
そこで、物体検知と画像保存や物体認識を各々別の状態で撮影した画像を用いて行なう方法を考えた。具体的には、物体検知は照明の影響を受けていない状態で撮影された画像を用いる。そして、物体が検知された場合に、照明の影響を受けた状態で撮影された画像を用いて画像の保存や物体認識を行なう。
【００１５】
例えば、通常は照明を消しておき、その状態で物体検知を行なう。そして、物体が検知された場合に、照明をつけて物体を撮影し、照明があたっている画像を保存、或いは物体認識処理に用いる。これによって、悪天候時であっても、雨粒や雪粒の照明に対する乱反射光の映り込みが発生せず、物体検知が良好に行なえる。
【００１６】
また、物体認識に照明の影響を受けて物体が明瞭に映っている画像を保存して、後で目視で物体を判別したり、コンピュータによる画像処理によって自動的に物体認識を行なったりできる。コンピュータによる物体認識については、例えば、“斎藤文彦，“ブロック照合投票処理を用いた遮蔽に強い画像マッチング”，電子情報通信学会論文誌，Ｄ−II，Ｖｏｌ．Ｊ８４−Ｄ−II，Ｎｏ．１０，ｐ
ｐ．２２７０−２２７９（２００１．１０）”を用いれば、乱反射光による物体の遮蔽が多少あっても、物体認識を行なうことができる。
【００１７】
（２）請求項２記載の発明は、前記雨粒や雪粒の影響がなくなる程度まで照明手段により照明を暗くして撮影し、この状態で物体が検知されたら、前記照明を明るくして物体を撮影手段により撮影し、画像の保存或いは認識処理を行なうことを特徴とする。
このように構成すれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
（３）請求項３記載の発明は、物体を撮影する撮影手段と、該撮影手段により撮影した画像を取り込む画像取り込み手段と、該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、物体を照明する照明手段とを有し、前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、前記画像取り込み手段の出力を受けて雨粒や雪粒が映り込んでいるかどうかを映り込み判定手段により判定し、雨粒や雪粒が映り込んでいたら、前記撮影手段と照明手段とを連動させて動作させることを特徴とする。
【００１８】
このように構成すれば、雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００１９】
（４）請求項４記載の発明は、物体を撮影する撮影手段と、該撮影手段により撮影した画像を取り込む画像取り込み手段と、該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、物体を照明する照明手段とを有し、前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、前記雨粒や雪粒の影響がなくなる程度まで照明手段により照明を暗くして撮影し、この状態で物体が検知されたら、前記照明を明るくして物体を撮影手段により撮影し、画像の保存或いは認識処理を行なうことを特徴とする。
【００２０】
このように構成すれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００２３】
また、この発明において、物体を撮影して物体を検知する撮影手段と、照明手段とを連動させて動作させ、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いることを特徴とする。
【００２４】
このように構成すれば、照明オフ状態で雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明オン下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００２５】
また、この発明において、画像内に雨粒や雪粒が映り込んでいるかの判定を行ない、映り込んでいたら物体を撮影する撮影手段と照明を連動させることを特徴とする。
【００２６】
このように構成すれば、照明オフ状態で雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明オン下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００２９】
また、この発明において、前記照明手段を駆動する照明制御手段を設け、前記雨粒や雪粒の影響がなくなる程度まで照明手段を暗くして撮影し、この状態で物体が検知されたら、前記照明手段を十分に明るくして撮影し、画像の保存或いは認識処理を行なうことを特徴とする。
【００３０】
このように構成すれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００３１】
また、この発明において、物体を検知するための第１の撮影手段と物体を認識するための第２の撮影手段を設け、照明をあてていない状態で第１の撮影手段により画像を用いて物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする。
【００３２】
このように構成すれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明をあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００３５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を詳細に説明する。先ず、図１の構成を用いた詳細について説明する。先ず撮影手段としてのカメラ３等の映像入力装置からは、撮影された映像出力が画像取り込み手段としての映像取り込み装置４に送られる。映像取り込み装置４では、カメラ３から送られてきた映像出力をフレームメモリ等の画像保存用のメモリへ画像情報として取り込む。そして、映像取り込み装置４で取り込まれた画像情報は、物体検知手段としての物体検知装置５に送られる。
【００３６】
物体検知装置５では、映像取り込み装置４から送られてきた画像情報から物体の物体検出処理によって物体の有無を判定する。ここで、物体検出処理としては既存の方法を用いることができる。例えば、背景差分処理を用いる。背景差分処理では、予め物体が映っていない状態を背景画像として撮影し、保持しておく。そして、現在の画像との差分処理を行ない、現在の画像と背景画像とで違いのある部分を物体として検知する。或いはまた、物体検知用に赤外線を用いることもできる。熱源を有する物体であれば、良好に物体を検知することができる。
【００３７】
物体検知装置５で物体が検知された場合は、物体検知信号を照明手段としての照明装置６と映像取り込み装置４に送る。照明装置６では、画像検知装置５から物体検知信号が送られてくると、照明をオンにする。映像取り込み装置４では、物体検知信号が送られてきた場合、取り込んだ画像情報を画像保存装置や物体認識装置へ送る。
【００３８】
ここで、画像保存装置とは、例えば磁気ディスク装置等の記録媒体によって構成されているものをいう。また、物体認識装置では、検出対象である物体の認識を行なう。例えば、検出対象が車であった場合には、車種の認識処理を行なう。
【００３９】
このように、本発明によれば、照明装置６をオフの状態で物体検知装置５により物体を検知するので、物体を確実に検出することができ、そして、物体が検知されたら、物体検知装置５によって照明装置６をオンにして物体を照らし、撮影装置３により物体を撮影することができる。そして、撮影された画像を基に画像の保存をし、物体の認識を行なうことができる。
【００４０】
図３は本発明の第１の実施の形態例を示すブロック図である。図１と同一のものは同一の符号を付して示す。図において、３は物体を撮影するＩＴＶカメラ（以下単にカメラと略す）である。該カメラ３と照明装置６とは相互に接続され、連動して動作するようになっている。４はカメラ３の映像信号を取り込む映像取り込み装置、５は該映像取り込み装置４からの出力（画像情報）を受けて物体の検知を行なう物体検知装置である。該物体検知装置５の出力は、画像保存装置や物体認識装置に送られる。このように構成された装置の動作を説明すれば、以下の通りである。
【００４１】
カメラ３からは、撮影された映像出力と、カメラの同期信号が出力される。映像出力は、映像取り込み装置４へ送られ、同期信号は照明装置６に送られる。照明装置６では、同期信号によって、照明をオン／オフさせるタイミングを制御する。例えば、ＮＴＳＣ方式のカメラであった場合、１コマ毎に照明がされている画像と照明されていない画像を交互に得るためには、カメラのフレームの開始信号に同期して照明装置６をオン／オフさせればよい。
【００４２】
映像取り込み装置４では、カメラ３から送られてきた映像出力を、フレームメモリ等に取り込む。この時、照明のあたっていない画像と、隣接する照明のあたっている画像の両方を取り込んでおく。そして、照明されていない画像を用いて物体検知装置５で物体検知処理を行なう。
【００４３】
物体検知処理としては、例えば背景差分処理を用いる。背景差分処理では、予め物体が映っていない状態を背景画像として撮影し、保持しておく。そして、現在の画像との差分処理を行ない、現在の画像と背景画像とで、違いのある部分を物体として検知する。そして、物体検知装置５で物体が検知された場合は、取り込んであった照明のあたっている画像を記録装置或いは物体認識装置等に送る。
【００４４】
この実施の形態例によれば、照明のあたっていない画像で物体を検知し、照明のあたっている画像を保存或いは認識処理することで、物体の検知と物体の画像の認識を容易に行なうことができる。
【００４５】
図４は本発明の第２の実施の形態例を示すブロック図である。図３と同一のものは、同一の符号を付して示す。この実施の形態例は、図３に示す第１の実施の形態例に比較して映り込み判定部７を設けた点が異なっている。その他の構成は、図３に示すものと同じである。この映り込み判定部７は、画像入力装置（ＩＴＶカメラ）３から得られた画像から、画像中に雨粒や雪粒が映り込んでいるかどうかを判定する。このように構成された装置の動作を説明すれば、以下の通りである。
【００４６】
ＩＴＶカメラ３と照明とは同期信号で接続されている。先ず最初は、ＩＴＶカメラ３は映像信号を取り込み映像取り込み装置４に送る。映像取り込み装置４から出力された画像信号は物体検知装置５に送られる。
【００４７】
ここで、映り込み判定部７が画像中に雨粒や雪粒が映り込んでいることを検知したら、該映り込み判定部７は、照明装置６に対して照明コントロール信号を出力する。照明装置６では、照明コントロール信号が送られてきた時のみ、照明のオン／オフ処理を行なう。
【００４８】
映り込み判定部７では、例えば次のような処理を行なう。雨粒や雪粒の乱反射光は、画像内でランダムに現れる。一方、物体は画像内を移動している。そのため、画像のある一点の明るさの時間変動を見ると、雪粒が映り込んでいる時間的な明るさ変動が大きい。逆に、映り込んでいない時は、明るさの変動が小さい。
【００４９】
そこで、画像中のある１画素の一定時間内の明るさを記憶しておき、その分散値を算出する。分散値が高ければ、雨粒や雪粒の乱反射が画像に映り込んでいると判定することができる。
【００５０】
この時、映り込み判定部７は、照明装置６に照明コントロール信号を送り、照明をオンにする。そして、照明がオンになっている状態で物体を撮影する。撮影された物体画像は、映像取り込み装置４に送られ、該映像取り込み装置４はからは画像信号が出力され、物体検知装置５の出力は、画像保存装置や物体認識装置に送られる。
【００５１】
このように、この実施の形態例によれば、映り込み判定手段７で映り込みを検知すると、照明装置６をオンにして物体の画像を取り込むことにより、画像の保存或いは認識処理を行なうことができる。
【００５２】
図５は本発明の第３の実施の形態例を示すブロック図である。図３と同一のものは、同一の符号を付して示す。この実施の形態例は、照明装置６をオンにする照明制御部８を設けた点が特徴である。物体検知装置５から物体検知信号が得られると、その信号は照明制御部８に送られる。該照明制御部８は、照明装置６を駆動制御する。このように構成された装置の動作を説明すれば、以下の通りである。
【００５３】
この実施の形態例は、第１の実施の形態例から第３の実施の形態例における照明装置６の照明のコントロール方法を変えた形態である。以下、図３における第１の実施の形態例に照明制御部８を追加した例について述べる。第１の実施の形態例では、照明がされていない状態で物体を検知する場合について説明したが、照明を完全にオフにしてしまうと、ライト等の物体自身が発光している部分しか見えないため、物体の検知に失敗することとがある。
【００５４】
例えば、車の前面のライトは通常２つあるので、照明を完全にオフにした状態で撮影すると、あたかも物体が２つ映っているのと勘違いしてしまう。そこで、物体を検知する前に、照明を完全に消してしまうのではなく、照明を暗くして撮影する。照明を明るくすると雨粒や雪粒が映り込んでしまうが、照明を暗くすると、その映り込みの量は減少する。
【００５５】
具体的には、図５の物体検知装置５から出力された物体検知信号を照明制御部８に送る。照明制御部８では、照明制御信号を照明装置６に送る。物体検知信号がこない場合には、照明の映り込みが物体検知に影響が出ない程度に照明を暗くなるような照明制御信号を送る。そして、物体検知信号がきた場合には、照明を明るく照らすための、照明制御信号を照明装置６に送る。映像取り込み装置４の出力は映像保存装置や物体認識装置等へ送られる。
【００５６】
この実施の形態例によれば、雨粒や雪粒の影響を廃除して物体を検知することができ、物体が検知されたら、照明をあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００５７】
図６は本発明の第４の実施の形態例を示すブロック図である。図３と同一のものは、同一の符号を付して示す。この実施の形態例は、物体検知用のカメラと、画像保存或いは物体認識を行なうカメラを分けたものである。図において、３ａは物体検知用のカメラ、３ｂは物体認識用のカメラである。
【００５８】
４ａはカメラ３ａの映像信号を取り込む映像取り込み装置、４ｂはカメラ３ｂの映像信号を取り込む映像取り込み装置である。５は映像取り込み装置４ａからの画像情報を受けて物体を検知する物体検知装置である。該物体検知装置５の出力は、照明装置６と映像取り込み装置４ｂに物体検知信号として与えられる。
【００５９】
また、カメラ３ｂの出力は、映像信号として映像取り込み装置４ｂに入り、該映像取り込み装置４ｂからは映像保存装置或いは物体認識装置等へ送られる。このように構成された装置の動作を説明すれば、以下の通りである。
【００６０】
先ず、カメラ３ａからの撮影された映像信号が映像取り込み装置４ａへ送られる。映像取り込み装置４ａでは、カメラ３ａから送られてきた映像信号をフレームメモリ等の画像保存用のメモリへ画像情報として取り込む。そして、映像取り込み装置４ａで取り込まれた画像情報は、物体検知装置５へ送られる。
【００６１】
そして、物体検知装置５で物体が検知された場合は、物体検知信号を照明装置６と映像取り込み装置４ｂに送る。照明装置６では、物体検知装置５から物体検知信号が送られてくると、照明装置６をオンにし、発光させる。映像取り込み装置４ｂでは、物体検知信号が送られてきた場合、カメラ３ｂから送られてきた映像信号を取り込む。
【００６２】
そして、取り込んだ画像情報を画像保存装置や物体認識装置へと送る。この時、物体検知用の映像取り込み装置４ａと物体認識用の映像取り込み装置４ｂは同じ性能を持つカメラである必要はない。例えば、物体検知は映像中の物体の有無を判定するだけなので、解像度の高いカメラである必要はない。しかしながら、物体情報を画像として保存したり、認識処理に用いたりする場合は、物体の詳細な情報があった方がよいので、解像度の高いカメラを用いる方がよい。
【００６３】
この実施の形態例によれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明をあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００７１】
以上、説明したように、本発明によれば、降雨や降雪等の悪天候時に、照明の影響のない画像で物体を検知することで、雨粒や雪粒の照明に対する乱反射の影響を受けることなく対象となる物体の検出を行なうことができる。また、物体が検出された場合には、照明の影響を受けている画像を保存或いは物体認識処理することで、画像の記録や物体認識を良好に行なうことができる。
【００７２】
（付記１） 照明の影響を受けていない画像を用いて物体を検知し（ステップ１）、
物体が検知されたら照明の影響を受けている画像を用いて保存或いは対象の認識処理に用いる（ステップ２）
ことを特徴とする物体検知方法。
【００７３】
（付記２） 物体を撮影する撮影手段と、
該撮影手段により撮影した画像を取り込む画像取り込み手段と、
該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、
物体を照明する照明手段と、
を具備し、
前記照明手段により照明していない状態で前記物体検知手段により物体を検知すると、前記照明手段を用い物体を照明した状態で撮影した物体の画像を用いて保存或いは物体の認識処理を行なう
ようにしたことを特徴とする物体検知装置。
【００７４】
（付記３） 照明のあたっていない状態で物体を検知し、物体を検知した場合は照明をオンにし、照明のあたっている画像を保存或いは対象の認識処理に用いることを特徴とする付記１記載の物体検知方法。
【００７５】
（付記４） 物体を撮影して物体を検知する撮影手段と、照明手段とを連動させて動作させ、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理を行なうことを特徴とする付記１記載の物体検知方法。
【００７６】
（付記５） 前記撮影手段と、照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理を行なうことを特徴とする付記２記載の物体検知装置。
【００７７】
（付記６） 画像内に雨粒や雪粒が映り込んでいるかの判定を行ない、映り込んでいたら物体を撮影する撮影手段と照明を連動させることを特徴とする付記４記載の物体検知方法。
【００７８】
（付記７） 前記画像取り込み手段の出力を受けて雨粒や雪粒が映り込んでいるかどうかを判定する映り込み判定手段を設け、
雨粒や雪粒が映り込んでいたら、前記撮影手段と照明手段とを連動させて動作せることを特徴とする付記５記載の物体検知装置。
【００７９】
（付記８） 前記雨粒や雪粒の影響がなくなる程度まで照明を暗くして撮影し、この状態で物体が検知されたら、前記照明を明るくして物体を撮影し、画像の保存或いは認識処理を行なうことを特徴とする付記６記載の物体検知方法。
【００８０】
（付記９） 前記照明手段を駆動する照明制御手段を設け、前記雨粒や雪粒の影響がなくなる程度まで照明手段を暗くして撮影し、この状態で物体が検知されたら、前記照明手段を明るくして撮影し、画像の保存或いは認識処理を行なうことを特徴とする付記７記載の物体検知装置。
【００８１】
（付記１０） 物体を検知するための第１の撮影手段と物体を認識するための第２の撮影手段を設け、照明をあてていない状態で第１の撮影手段により画像を用いて物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする付記８記載の物体検知方法。
【００８２】
（付記１１） 物体を検知するための第１の撮影手段と、物体を認識するための第２の撮影手段を設け、照明をあてていない状態で第１の撮影手段により画像を用いて物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする付記８記載の物体検知装置。
【００８３】
（付記１２） 周波数特性の異なる物体を検知するための第１の撮影手段と、物体を認識するための第２の撮影手段とを設け、前記第１の撮影手段により照明のあたっていない状態で物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする付記１０記載の物体検知方法。
【００８４】
（付記１３） 周波数特性の異なる物体を検知するための第１の撮影手段と、物体を認識するための第２の撮影手段とを設け、前記第１の撮影手段により照明のあたっていない状態で物体を検知し、物体を検知したら照明をあてて第２の撮影手段を用いて物体を撮影し、取得した画像に対して保存或いは認識処理を行なうことを特徴とする付記１０記載の物体検知方法。
【００８５】
【発明の効果】
以上説明したように、本発明によれば、以下の効果が得られる。
（１）請求項１記載の発明によれば、雨粒や雪粒の存在する場合でも物体を確実に検知することができ、物体が検知されたら照明下で得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００８６】
（２）請求項２記載の発明によれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００８７】
（３）請求項３記載の発明によれば、照明のあたっていない画像で物体を検知し、照明のあたっている画像を保存或いは認識処理することで、物体の検知と物体の画像の認識を簡易に行なうことができる。
【００８８】
（４）請求項４記載の発明によれば、雨粒や雪粒の影響を排除して物体を検知することができ、物体が検知されたら、照明を十分にあてて物体を撮影し、得られた画像を用いて保存或いは対象の認識処理に用いることができる。
【００９０】
このように、本発明によれば、物体の検知と物体の画像の認識を簡易に行なうことができる物体検知方法及び物体検知装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明の原理ブロック図である。
【図２】 照明による映り込みの説明図である。
【図３】 本発明の第１の実施の形態例を示すブロック図である。
【図４】 本発明の第２の実施の形態例を示すブロック図である。
【図５】 本発明の第３の実施の形態例を示すブロック図である。
【図６】 本発明の第４の実施の形態例を示すブロック図である。
【符号の説明】
３ 撮影手段
４ 映像取り込み手段
５ 物体検知装置
６ 照明手段
Claims (4)
- 物体を撮影する撮影手段と、
該撮影手段により撮影した画像を取り込む画像取り込み手段と、
該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、
物体を照明する照明手段と、
を有し、
前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、
前記画像取り込み手段の出力を受けて雨粒や雪粒が映り込んでいるかどうかを判定する映り込み判定手段を設け、
該映り込み判定手段により雨粒や雪粒が映り込んでいると判定したら、前記撮影手段と照明手段とを連動させて動作させることを特徴とする物体検知装置。 - 前記雨粒や雪粒の影響がなくなる程度まで照明手段により照明を暗くして撮影し、この状態で物体が検知されたら、前記照明を明るくして物体を撮影手段により撮影し、画像の保存或いは認識処理を行なうことを特徴とする請求項１記載の物体検知装置。
- 物体を撮影する撮影手段と、該撮影手段により撮影した画像を取り込む画像取り込み手段と、該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、物体を照明する照明手段とを有し、前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、
前記画像取り込み手段の出力を受けて雨粒や雪粒が映り込んでいるかどうかを映り込み判定手段により判定し、
雨粒や雪粒が映り込んでいたら、前記撮影手段と照明手段とを連動させて動作させることを特徴とする物体検知方法。 - 物体を撮影する撮影手段と、該撮影手段により撮影した画像を取り込む画像取り込み手段と、該画像取り込み手段の出力を受けて物体を検知する物体検知手段と、
物体を照明する照明手段とを有し、前記撮影手段と照明手段とを連動させて動作させて、照明のあたっている画像とあたっていない画像を撮影し、照明のあたっていない画像で物体を検知し、物体が検知された場合は、照明のあたっている画像を保存或いは認識処理に用いるものにおいて、
前記雨粒や雪粒の影響がなくなる程度まで照明手段により照明を暗くして撮影し、
この状態で物体が検知されたら、前記照明を明るくして物体を撮影手段により撮影し、画像の保存或いは認識処理を行なうことを特徴とする物体検知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002230010A JP4005442B2 (ja) | 2002-08-07 | 2002-08-07 | 物体検知方法及び物体検知装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002230010A JP4005442B2 (ja) | 2002-08-07 | 2002-08-07 | 物体検知方法及び物体検知装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007165201A Division JP2007288803A (ja) | 2007-06-22 | 2007-06-22 | 物体検知方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004072478A JP2004072478A (ja) | 2004-03-04 |
| JP4005442B2 true JP4005442B2 (ja) | 2007-11-07 |
Family
ID=32016217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002230010A Expired - Fee Related JP4005442B2 (ja) | 2002-08-07 | 2002-08-07 | 物体検知方法及び物体検知装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4005442B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4491360B2 (ja) * | 2005-03-11 | 2010-06-30 | セコム株式会社 | 画像信号処理装置 |
| JP4542929B2 (ja) * | 2005-03-18 | 2010-09-15 | セコム株式会社 | 画像信号処理装置 |
| JP4827101B2 (ja) * | 2007-04-17 | 2011-11-30 | 富士フイルム株式会社 | 制御装置、制御方法、撮像システム、撮像方法、及びプログラム |
| JP5644097B2 (ja) * | 2009-12-08 | 2014-12-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US10453208B2 (en) | 2017-05-19 | 2019-10-22 | Waymo Llc | Camera systems using filters and exposure times to detect flickering illuminated objects |
-
2002
- 2002-08-07 JP JP2002230010A patent/JP4005442B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004072478A (ja) | 2004-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4878644B2 (ja) | 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム | |
| US9025028B2 (en) | Device and method for detecting vehicle license plates | |
| EP2448251B1 (en) | Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter | |
| US8362453B2 (en) | Rain sensor | |
| JP4283568B2 (ja) | 塵芥収集車の監視システム | |
| KR101625538B1 (ko) | 도시방범이 가능한 다차선 자동차 번호판 인식시스템 | |
| US20150085118A1 (en) | Method and camera assembly for detecting raindrops on a windscreen of a vehicle | |
| JP2010190670A (ja) | レインセンサ | |
| US20080012942A1 (en) | Imaging System | |
| JP4005442B2 (ja) | 物体検知方法及び物体検知装置 | |
| JP4511750B2 (ja) | 車両監視システム | |
| JP3134845B2 (ja) | 動画像中の物体抽出装置及び方法 | |
| KR100878491B1 (ko) | 방범 카메라 시스템 및 그 제어방법 | |
| JP2003283766A (ja) | 画像入力装置 | |
| JP2970168B2 (ja) | 車両検出装置 | |
| JP2007288803A (ja) | 物体検知方法及び装置 | |
| JP2002230563A (ja) | 車両用カメラの映り込み検出方法および画像処理装置 | |
| JPH057363A (ja) | 画像監視装置 | |
| JPH11219493A (ja) | 交通情報処理方法 | |
| JP2011098579A (ja) | 車両のテールランプ検出装置 | |
| JP2002298144A (ja) | 自動目標検知識別処理方法、装置、プログラム、記録媒体、および、可視カメラ装置 | |
| JP3385475B2 (ja) | 画像監視装置 | |
| JPH09331519A (ja) | 自動監視装置 | |
| US20240177289A1 (en) | Control method and apparatus, electronic device and storage medium | |
| JP2000025575A (ja) | 自動デフロスタ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061011 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070622 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070711 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |