JP3915753B2

JP3915753B2 - 画像検出装置

Info

Publication number: JP3915753B2
Application number: JP2003279880A
Authority: JP
Inventors: 智明湯浅
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-07-25
Filing date: 2003-07-25
Publication date: 2007-05-16
Anticipated expiration: 2023-07-25
Also published as: JP2005043299A

Description

本発明に係る画像検出装置は、ＡＳＤＥ（ＡｉｒｐｏｒｔＳｕｒｆａｃｅＤｅｔｅｃｔｉｏｎＥｑｕｉｐｍｅｎｔ）等で用いられるものである。

従来のＡＳＤＥとしては、例えば特許文献１に示されたものがある。

従来の技術では、１台の画像センサによる画像検出で複数の目標を見つけたり、位置を知ろうとする際、画像検出センサ前の別目標に隠れた後ろの目標は、画像として写らないため、そのような目標については存在するか否かさえ検出できなかった。

その他、技術分野は異なるもののＩＣやＬＳＩ等のパッケージの裏側にアレイ状に設けられた基板接続用バンプに光を照射して直接観測のできないパッケージ奥に設けられたバンプの形状を観測し、その欠陥の有無を検査する技術として特許文献２がある。

特開平８−２０１５０８号公報

特開平３−２１５７０４号公報

従来では、画像検出センサ（カメラ）から見通しのある目標しか検出することができなかった。また、特許文献１のように直接観測のできない個所に光を照射してその陰影から基板接続用バンプの欠陥を検査する場合であっても、観測対象であるバンプは所定の基準間隔または所定の基準位置との比較であって、あらかじめ位置のわからない目標について用いることはできない。

本発明は、以上の問題点を解決するためになされたものであり、画像検出センサから直接観測できない目標であっても、各目標の陰影を検出することで物体の背後にある目標の位置検出を行うことで、少ない画像検出センサを用いる場合であっても、高精度の目標位置検出を行うことができる。

本発明に係る、画像検出装置は、所定の地点を撮影する画像検出センサと、前記画像検出センサの撮影中心に対して斜め方向に設けられた光源と、前記画像検出センサが取得した画像とあらかじめ前記地点を撮影しておいた基準画像とを比較して、前記取得画像の中から第一の目標を抽出し、当該抽出した第一の目標によって生じる影と異なる影が画像中に存在する場合、当該異なる影から第二の目標の位置を算出する位置算出部とを備えるものである。

また、前記光源は複数あるものである。

また、前記画像検出センサは可視光用カメラまたは赤外線用カメラであるものである。

以上のように、本発明に係る画像検出装置は、遮蔽物後部にあるために直接視認できない目標をその影の形状、位置から識別するため、少ない画像検出センサしか用いない場合であっても、高精度の目標位置検出を行うことができる。

実施の形態１．
以下、本発明の実施の形態１について説明する。本発明の実施の形態１に係る画像検出装置は、例えば、空港において監視カメラに写った航空機の背後に存在するあらかじめ形状が分かっている整備車両や、航空機等を検知し、またそれらの位置を推定するものである。
まず、図１は本実施の形態１の装置構成を表すブロック図である。図２はカメラと目標との位置関係を示す模式図である。図２において、目標９、目標１０は地表面１００上に存在しているが、目標１０は目標９の背後に隠れており、光源８からの光によって生じる影１２のみがカメラ１で撮像された映像に写っているものとする。なお、説明の簡便のため、目標９の形状は球状であるとし、また、目標１０の形状は直方体であるとする。また、上記の通り、これらの寸法はあらかじめ分かっており、目標９、目標１０、その他の目標の形状、寸法はあらかじめ分かっているものとする。

光源８からの光は、カメラと目標の存在する地点とを結ぶ線に対して交わらない方向、好ましくは直交もしくはそれに近い方向から照射する。目標９、１０の影を大きくするためである。

目標１０は、カメラ１から見ると目標９の後ろ側に存在するので直接観測することができない。そこで光源８からの光によって生じる影１２の位置、大きさから目標１０の位置を測定する。図１において、まず、カメラ１で取得された画像データはＡ／Ｄ変換器２でＡ／Ｄ変換されて画像メモリ３に入力される。画像メモリ３は、Ａ／Ｄ変換器２から入力される２次元配列データを所定のアドレスに記憶しておくためのものである。画像前処理部４では、画像メモリ３に取り込んだ画像データの前処理を行うものであり、例えば、画像のひずみ補正やノイズの除去等の処理を行う。

位置測定手段５では画像処理されたカメラからの画像データの明るさ分布の情報に基づいて、目標９の背後にある目標１０の影１２の切り出しを行い、影１２の特定点と光源との距離を測定し、位置の特定を行う。

図３に位置測定手段５の処理内容についてのフローチャートを示す。まず、パラメータの設定を行いカメラ倍率、カメラと地面との距離情報、光源８位置等から映像中の長さと実際の寸法との関係を計算できるようにする（Ｓ１）。そして、図２の状態の場合、まず目標９が画面に写っているので当該目標９の識別を行う。具体的には、あらかじめ撮影しておいた目標が何も存在していない背景のみを写した基準画像と図２の状態で撮影した画像とを比較して目標９の形状を切り出す（Ｓ２）。当該目標９の形状は、あらかじめメモリ６に記憶しておいた形状データと比較され目標９の識別を行う（Ｓ３）。比較の結果、該当する形状データが無い場合は、そのまま処理を終了する。

一方、該当する形状データが存在する場合には、目標９の影１１の識別を行う。すなわち、目標９と光源８との位置関係から計算される影の形状と実際の影１１の形状とを比較する（Ｓ４）。そして、目標９に対する影１１以外の影１２が存在する場合には、目標９の背後に何らかの物体があるものとして判断する（Ｓ５）。

メモリ６には、目標として登録されている各物体（目標１０を含む）について図４（ｂ）、（ｃ）〜（ｎ）のように各光源８との位置関係から生じる影の形状データが記憶されている。そして、この物体の影１２（図４（ａ））とメモリ６に記憶された目標から生ずる影の形状（図４（ｂ）、（ｃ）〜（ｎ）他）とを比較して（Ｓ６）、目標の種類と光源８との位置関係を推定する（Ｓ７）。すなわち、影１２の形状（特に特徴点である点ＡおよびＢの位置関係）がメモリ６に記憶された影と比較し、一致する部分があるかを判定し、一致した場合はその目標種別および位置を表示する。一方、影１２の面積が小さく推定結果が複数ある場合、または一致する影の形状が無い場合には、目標９の背後に物体が存在することのみ表示装置に表示する。

なお、上記実施例では単一の光源８を用いて隠れた目標１０の位置を検出する場合について説明したが、図５のように複数の光源８ａ、８ｂを用いることとしてもよい。その場合であっても、各光源８ａ、８ｂから生ずるそれぞれの影に対して上記のような処理を行い隠れた目標１０の位置を算出し、平均もしくは信頼性の高い結果を採用することで、位置算出精度を向上することができる。

また、画像検出センサは、通常の可視光用のカメラ以外にも、赤外線用のカメラ等であってもよい。

また、光源は太陽や月であってもよい。なお、この場合、暦に基づいて観測時間に対応した太陽等の位置から計算を行う。

本発明の実施の形態１に係る画像検出装置の構成を表すブロック図である。カメラ１に対して目標１０が目標９の背後に隠れた状態を表す図である。位置測定部５の処理内容を示すフローチャートである。光源８、目標１０、影１２の位置関係を示す図である。光源が複数ある場合の図である。

符号の説明

１カメラ、２Ａ／Ｄ変換器、３画像メモリ、
４画像前処理部、５位置測定部、８、８ａ、８ｂ光源、
９目標、１０目標、１１目標９による影、
１２目標１０による影。

Claims

所定の地点を撮影する画像検出センサと、
前記画像検出センサが取得した画像とあらかじめ前記地点を撮影しておいた基準画像とを比較して、前記取得画像の中から第一の目標の形状と影の形状を抽出し、当該抽出した第一の目標の形状とあらかじめ形状の分かっている複数の目標を記憶しておいた形状デ−タとを比較して、第一の目標の識別を行い、該識別された第一の目標の形状と前記所定の地点に光を照射する光源との位置関係から、第一の目標によって生じるべき影の形状を計算し、該計算された影の形状と前記抽出した影の形状とを比較して、第一の目標以外の影の有無から前記第一の目標の背後に物体の存在を判断する判断部とを備えることを特徴とする画像検出装置。
前記光源は複数あることを特徴とする請求項１記載の画像検出装置。
前記画像検出センサは可視光用カメラまたは赤外線用カメラであることを特徴とする請求項１または２記載の画像検出装置。