JP4744789B2 - 物体識別方法及び物体識別装置 - Google Patents
物体識別方法及び物体識別装置 Download PDFInfo
- Publication number
- JP4744789B2 JP4744789B2 JP2003154121A JP2003154121A JP4744789B2 JP 4744789 B2 JP4744789 B2 JP 4744789B2 JP 2003154121 A JP2003154121 A JP 2003154121A JP 2003154121 A JP2003154121 A JP 2003154121A JP 4744789 B2 JP4744789 B2 JP 4744789B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- object identification
- unit
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、予め設定される基準平面によって分割される２つの空間のうちの予め定めた一方の空間に、物体の少なくとも一部が存在するか否かにより、当該物体の種別を識別する物体識別方法、及び画像に含まれる物体の種別を識別する物体識別装置に関する。
【０００２】
【従来の技術】
画像データを解析して物体を識別するものとしては、特許文献１に記載された侵入物検出装置がある。特許文献１の侵入物検出装置は、所定の視野角内の画像を撮影した画像データに基づき、カメラの視野角と、高さや俯角等のカメラ設置条件とを用いて、侵入物(侵入者)の高さや大きさ等の情報を検出し、当該検出結果を利用して物体を識別するものである。この侵入物検出装置では、画像データから抽出された物体の撮像画面上の位置及び形状に基づいて、カメラから当該物体までの距離を測定し、当該物体までの距離に基づいて物体の大きさ（高さ）を算出し、侵入物（侵入者）であるか否かを判断している。
【０００３】
【特許文献１】
特開平８−１３６２５１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の侵入物検出装置にあっては、カメラの画質が低下したり物体に影が発生した場合、物体の形状を精度良く抽出できず、物体までの距離の測定誤差が大きくなる。このため、物体の大きさ（高さ）を算出する際にも誤差が発生し、結果として、識別処理の精度が低下しやすい。このような識別処理の精度の低下は、特に、カメラの設置高を低く、カメラ光軸の俯角を小さくした場合に顕著である。
【０００５】
本発明は、上記従来の事情に鑑みてなされたものであって、物体の存在領域が正確に抽出できない場合であっても物体の種別を識別できる物体識別方法及び物体識別装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明の物体識別方法は、予め設定される基準平面によって分割される２つの空間のうちの予め定めた一方の空間に、物体の少なくとも一部が存在するか否かにより、当該物体の種別を識別する物体識別方法であって、前記基準平面上にその撮像光学系の中心を有する撮像手段を利用して、被監視空間の撮影画像を取得する画像取得ステップと、前記取得した撮影画像における物体の存在領域を抽出する領域抽出ステップと、前記取得した撮影画像における前記基準平面を示す物体識別基準直線を算出する直線算出ステップと、前記取得した撮影画像を、前記算出された物体識別基準直線によって上下に２つの領域に分割する画像分割ステップと、前記抽出された物体の存在領域と前記上下に分割された２つの領域との関係に基づいて、前記抽出した物体が上側の画像領域に存在すれば、前記撮像手段の設置高より高いか否かによって物体を識別する種別判断ステップとを含むものである。これにより、物体の存在領域が正確に抽出できない場合であっても、抽出された物体の存在領域と分割された２つの領域との関係に基づいて、抽出した物体の種別を判断することができる。
【０００７】
また、本発明の物体識別方法は、前記領域抽出ステップが、異なる時刻に撮影された複数の撮影画像の差分データを利用することにより、移動物体の存在領域を抽出するものである。これにより、物体の存在領域を簡単に抽出することができる。
【０００８】
また、本発明の物体識別方法は、前記基準平面が、前記物体の高さの基準となる監視平面に対して平行な平面であり、前記種別判断ステップが、前記物体の高さに応じてその種別を判断するものである。これにより、物体の高さに応じて種別を識別することができる。
【０００９】
また、本発明の物体識別方法は、前記物体識別基準直線が、前記監視平面における予め定めた基準点の前記撮影画像における位置と、前記撮像光学系の中心と前記基準点との前記監視平面における距離とを利用して設定されるものである。これにより、撮像手段の撮影方向の設定にかかわらず、撮影画像における物体識別基準直線の設定を簡単に行うことができる。
【００１０】
また、本発明の物体識別方法は、前記種別判断ステップが、前記抽出された物体の存在領域のうち前記予め定めた一方の空間に存在する部分を前記物体識別基準直線に投影する物体領域投影ステップと、ある時刻に撮影された撮影画像における前記物体領域投影ステップで投影された投影像を撮影時間順に並べて時空間画像を生成する時空間画像生成ステップとを有し、前記時空間画像における前記投影像が描く曲線に基づいて、前記抽出した物体の種別を判断するものである。これにより、生成された時空間画像に描かれた曲線に基づいて、抽出した物体の種別を判断することができる。
【００１１】
また、本発明の物体識別方法は、前記種別判断ステップが、前記物体識別基準直線と垂直な仮想直線上の、前記分割された２つの領域の双方に、前記物体の存在領域があるか否かに応じて物体の種別を判断するものである。これにより、物体の存在領域が正確に抽出できない場合であっても、抽出された物体の存在領域と分割された２つの領域との関係に基づいて、抽出した物体の種別をさらに精度よく判断することができる。
【００１２】
また、本発明の物体識別装置は、画像に含まれる物体の種別を識別する物体識別装置であって、予め定めた所定の領域の撮影画像を取得する撮像手段からの撮影画像データを入力する画像入力部と、前記撮影画像データに基づき、前記撮影画像における物体の存在領域を抽出する領域抽出部と、前記撮影画像における物体識別基準直線と前記物体の存在領域とに基づいて前記物体の種別を識別する物体識別部とを備え、前記物体識別部は、前記物体識別基準直線として、前記撮像手段の撮像光学系の中心を含む基準平面を仮想的に示す直線を利用するものである。これにより、物体の存在領域が正確に抽出できない場合であっても、抽出された物体の存在領域と分割された２つの領域との関係に基づいて、抽出した物体の種別を判断することができる。
【００１３】
また、本発明の物体識別装置は、前記領域抽出部が、異なる時刻に撮影された複数の画像データの差分を利用することにより、移動物体の存在領域を抽出するものである。これにより、物体の存在領域を簡単に抽出することができる。
【００１４】
また、本発明の物体識別装置は、前記基準平面が、前記物体の高さの基準となる監視平面に対して平行な平面であり、前記物体識別部は、前記物体の高さに応じてその種別を判断するものである。これにより、物体の高さに応じて種別を識別することができる。
【００１５】
また、本発明の物体識別装置は、前記物体識別基準直線は、前記監視平面における予め定めた基準点の前記撮影画像における位置と、前記撮像光学系の中心と前記基準点との前記監視平面における距離とを利用して設定される。これにより、撮像手段の撮影方向の設定にかかわらず、撮影画像における物体識別基準直線の設定を簡単に行うことができる。
【００１６】
また、本発明の物体識別装置は、前記物体識別部が、前記抽出された物体の存在領域のうち前記予め定めた一方の空間に存在する部分を前記物体識別基準曲線に投影する物体領域投影部と、ある時刻に撮影された撮影画像における前記物体領域投影部によって投影された投影像を撮影時間順に並べて時空間画像を生成する時空間画像生成部とを有し、前記時空間画像における前記投影像が描く曲線に基づいて、前記抽出した物体の種別を判断するものである。これにより、生成された時空間画像に描かれた曲線に基づいて、抽出した物体の種別を判断することができる。
【００１７】
また、本発明の物体識別装置は、前記物体識別部が、前記物体識別基準直線と垂直な仮想直線上の、前記分割された２つの領域の双方に、前記物体の存在領域があるか否かに応じて物体の種別を判断するものである。これにより、物体の存在領域が正確に抽出できない場合であっても、抽出された物体の存在領域と分割された２つの領域との関係に基づいて、抽出した物体の種別をさらに精度よく判断することができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。本発明は、予め設定される基準平面によって分割される２つの空間のうちの予め定めた一方の空間に、物体の少なくとも一部が存在するか否かにより、当該物体の種別を識別するものであるが、以下、道路からの高さによって、道路を通行する車両を識別する場合について説明する。車両の識別は、道路等の監視平面と平行な平面を基準平面とし、車両が基準平面より上方に存在するか否かによって行う。その際、監視平面と基準平面の距離は、識別しようとする車両の高さよりやや低い値に設定する。以下の説明では、水平な道路（監視平面）を通行する車両を、当該道路と平行な所定の高さの水平面（基準平面）によって識別するものとする。
【００２２】
〔第１の実施形態〕
図１は、本発明の第１の実施形態を説明するための車両監視システムを説明する図である。図１（ａ）の車両監視システムは、物体識別装置１００と、物体識別装置１００と接続され、監視領域の画像を撮影するカメラ１１０と、カメラ１１０で撮影された画像や物体識別装置１００の処理結果を表示可能なモニタ装置（図示せず）を含み、監視領域の車両をその高さに応じて識別するものである。なお、物体識別装置１００とカメラ１１０との接続方法は、無線であっても有線であってもよい。物体識別装置１００は、画像入力部１０１と、領域抽出部１０２と、種別判断部１０３と、出力部１０４と、基準直線算出部１０５とを備え、カメラ１１０によって撮影された物体１１１を含む画像に基づいて、当該物体１１１の種別を識別し、識別結果を出力するものである。物体識別装置１００から出力された結果は、例えば、当該物体識別装置１００に接続されたモニタ装置に表示される。
【００２３】
カメラ１１０は、識別しようとする車両の高さに応じた位置に、任意の俯角で設置される。すなわち、カメラ１１０の撮像光学系の中心が、識別しようとする車両の車両の高さよりやや低い位置（先に述べた基準平面上の位置）となるように設置される。したがって、基準平面は、カメラ１１０（理想的な光学系を有するものとする。）で撮影した画像においては、仮想的に直線で表されることになる。カメラ１１０の画像走査線方向は、任意であるが、水平方向（この例では、監視平面及び基準平面に平行な方向）になるように設置すると、後述する画像処理が簡単になる。
【００２４】
以下、図１（ａ）に示す物体識別装置１００が備える各構成要素について説明する。画像入力部１０１は、カメラ１１０によって撮影された物体１１１を含む画像（アナログ映像信号）を、当該物体識別装置１００が処理しやすいデータ形式の入力画像１１２（デジタル映像信号）に変換して、領域抽出部１０２に入力するものである。なお、以下の説明では、図１（ｂ）に示すように入力画像１１２の左下隅を原点として、原点から水平方向右向きに伸びる横軸を水平軸、原点から垂直方向上向きに伸びる縦軸を垂直軸という。
【００２５】
領域抽出部１０２は、画像入力部１０１によってデジタル化された映像信号（入力画像１１２）が入力されると、入力画像１１２から移動物体が存在する領域（以下「存在領域」という。）を抽出するものである。
【００２６】
図２は、物体の存在領域を入力画像から抽出する方法を説明する図である。同図に示す方法は、フレーム間差分法と呼ばれる。フレーム間差分法では、まず、時刻ｔに撮影された入力画像ＩＭＧｔと時刻t‐1に撮影された入力画像ＩＭＧｔ-1とについて、対応する画素毎に輝度の差分絶対値ＳＡを求める。次に、領域抽出部１０２は、差分絶対値ＳＡが閾値ＴＨを超えるか否か画素毎に判断し、当該判断結果に応じて画像を２値化する。ある画素の差分絶対値ＳＡが閾値ＴＨを超える場合は、当該画素が物体の存在領域に含まれると判断する。このように、フレーム間差分法によれば、物体の存在領域を容易に抽出することができる。また、領域抽出部１０２は、抽出した物体の存在領域を示す画像（領域抽出画像ＥＸＴｔ）を高さ判定部１０３に出力する。
【００２７】
なお、領域抽出部１０２が入力画像から物体の存在領域を抽出する方法として、時刻t‐1で撮影された入力画像ＩＭＧｔ-１中のある点が、時刻ｔ（入力画像ＩＭＧｔ）ではいずれの方向にどれだけ移動したか、を示す動ベクトルを求め、当該動ベクトルの大きさが所定の閾値以上である領域を物体の存在領域とする方法を用いてもよい。また、特定の輝度、色相またはテクスチャ等の画像特徴を持つ領域を物体の存在領域とする方法等を用いてもよい。
【００２８】
基準直線算出部１０５は、入力画像１１２における基準平面を仮想的に表す直線（以下、「物体識別基準直線」という。）の位置を算出し、記憶するものである。カメラ１１０の画像走査線方向を水平方向としているので、物体識別基準直線は、入力画像１１２の水平軸に平行な直線となる。したがって、基準直線算出部１０５は、物体識別基準直線の入力画像１１２における垂直座標を算出すればよい。
【００２９】
図３は、物体識別基準直線の垂直座標の算出方法を説明する図である。図３（ａ）は、カメラ１１０、監視平面３０１および基準平面３０２の位置関係を示す図である。図３（ａ）において、点Ａは、カメラ１１０の撮像光学系の中心であり、点Ｂは、点Ａから下ろした垂線と監視平面３０１との交点である。また、点Ｃは、カメラの撮影光軸と監視平面３０１との交点である。図３（ｂ）は、図３（ａ）のカメラ１１０からの入力画像１１２に物体識別基準直線３１２および距離設定ライン３０３を重畳させて示したものである。距離設定ライン３０３は、点Ｃを通りカメラ１１０の光軸と垂直な監視平面３０１上の仮想的な直線である。
【００３０】
監視平面３０１から点Ａまでの垂直距離Ｈcam（カメラ１１０の設置高）、点Ｂから点Ｃまでの距離Ｄistが既知であるとすると、入力画像１１２における物体識別基準直線３１２の垂直座標Ｐlineは、式（１）で表される。
【００３１】
Ｐline = Ｄline ＋ reso・f・Ｈcam／Ｄist (１)
【００３２】
但し、Ｄlineは入力画像１１２における距離設定ライン３０３の垂直座標、resoはカメラ１１０光学系の結像面の垂直方向解像度、ｆはカメラ１１０のレンズの焦点距離である。なお、距離設定ライン３０３垂直座標Ｄlineは、予め操作者が入力して設定しても良いし、監視平面３０１上に目印となる物体を配置しその位置を自動認識させて設定しても良い。
【００３３】
基準平面算出部１０５は、式（１）に基づいて、物体識別基準直線３１２のモニタ画面上の位置である垂直座標Ｐlineを算出し、その結果を記憶する。
【００３４】
種別判断部１０３は、基準直線算出部１０５によって算出された物体識別基準直線３１２の位置を用いて、入力画像１１２中の物体識別基準直線３１２より分割される２つの領域の内の上側の領域（以下「上側領域」という。）に物体の存在領域が存在するか、すなわち、カメラ１１０で撮影された実空間に、カメラ１１０の設置高を越える物体が存在するかを判断する。この例では、物体識別基準直線が水平軸に平行であるので、物体の存在領域の垂直座標に、物体識別基準直線の垂直座標より上の垂直座標が含まれるか否かを判断する。そして、カメラ１１０の設置高を越える物体がある場合は、識別すべき車両であると判断する。
【００３５】
出力部１０４は、種別判断部１０３による識別結果を、モニタ装置に表示されている画像に重ねて表示（オーバーレイ）させるものである。
【００３６】
なお、識別すべき車両であるか否かの判断には、入力画像１１２の上側領域に物体の存在領域があるか否かだけでなく、入力画像１１２の分割した他方の領域（以下「下側領域」という。）の画像も考慮して判断してもよい。
【００３７】
入力画像１１２の下側領域の画像を考慮して判断する場合、種別判断部１０３は、物体識別基準直線の両側に物体の存在領域があるか否かを判断する。図４に、その場合の種別判断部１０３の判断動作フローを示す。まず、ステップＳ４０１では、水平座標がＸである上側領域に物体の存在領域があるか、すなわち、水平座標がＸであり上側領域に位置する画素のうち、物体の存在領域に含まれる画素が存在するか否かを判断する。ステップＳ４０１で上側領域に物体の存在領域がないと判断された場合、次の水平座標（Ｘ＋１）へ移動し（ステップＳ４０４）、ステップＳ４０１の判断を繰り返す。一方、ステップＳ４０１で上側領域に物体の存在領域があると判断された場合、ステップＳ４０２へ進む。ステップＳ４０２では、水平座標がＸである下側領域に物体の存在領域があるか、すなわち、水平座標がＸであり下側領域に位置する画素のうち、物体の存在領域に含まれる画素が存在するか否かを判断する。
【００３８】
ステップＳ４０２で下側領域に物体の存在領域がないと判断された場合は、次の水平座標（Ｘ＋１）へ移動し（ステップＳ４０４）、ステップＳ４０１の判断を繰り返す。一方、ステップＳ４０２で下側領域に物体の存在領域があると判断された場合、ステップＳ４０３へ進み、実空間に、カメラ１１０の設置高を超える高さの物体が存在すると判断する。このような判断を行うと、道路を通行する車両と、鳥や虫等の飛行物体とを識別することができ、車両の識別をさらに確実に行うことができる。
【００３９】
以上説明したように、図１の車両監視システムでは、基準平面より高い位置に物体が存在するか否かによって車両の識別を行うので、撮影画像における物体の存在領域を正確に得られなくても、車両の識別を精度よく行うことができる。
【００４０】
〔第２の実施形態〕
第１の実施形態では、種別判断部１０３が、抽出された物体の存在領域と基準平面に分割された２つの領域との関係に基づいて物体の種別を判断すると説明したが、以下に説明する方法で物体の種別を判断してもよい。第２の実施形態では、種別判断部１０３は、入力画像から抽出された物体の存在領域のうち予め定めた一方の空間に存在する部分を物体識別基準直線に投影し（物体領域投影ステップ）、ある時刻に撮影された撮影画像における投影像を撮影時間順に並べて時空間画像を生成し（時空間画像生成ステップ）、時空間画像における投影像が描く曲線に基づいて、抽出した物体の種別を判断する。以下の説明では、物体識別基準直線が水平軸であり、投影像を撮影時間順に垂直方向上向きに並べて時空間画像を生成するものとする。
【００４１】
図５は、本発明の第２の実施形態を説明するための種別判断部１０３の動作フローを示す図である。まず、ステップＳ６０１では、時刻ｔ-１，ｔで撮影された入力画像を基に領域抽出部１０２によって抽出された領域抽出画像ＥＸＴｔのうち、上側領域に含まれる部分を水平軸上に投影（１次元投影）して投影像Ｐｔを生成する。さらに、種別判断部１０３は、領域抽出画像ＥＸＴｔ＋１，ＥＸＴｔ＋２，ＥＸＴｔ＋３，・・・についても、同様にして、上側領域に含まれる部分の投影像Ｐｔ＋１，Ｐｔ＋２，Ｐｔ＋３，・・・を生成する。
【００４２】
次に、ステップＳ６０３では、ステップＳ６０１で生成された投影像Ｐｔ，Ｐｔ＋１，Ｐｔ＋２，・・・を、撮影時間順に、垂直方向上向きに並べて、時空間画像を作成する。さらに、ステップＳ６０５で時空間画像に、後述する帯状領域が存在するか否かを判断し、帯状領域が存在する場合は識別すべき車両が存在すると判断し（ステップＳ６０７）、帯状領域が存在しない場合は識別すべき車両が存在しないと判断する（ステップＳ６０９）。以下に、図７を参照して詳細に説明する。
【００４３】
図７は、時空間画像の例を示す図である。図７（ｂ）に示す時空間画像５０４，５０５は、時刻ｔからｔ＋ｎの間に撮影された画像に基づいて作成された時空間画像である。図７（ａ）に示す画像５０２，５０３は、それぞれ、時空間画像５０４，５０５の作成に使用された、時刻ｔからｔ＋ｎの間に撮影された画像の一例である。同図に示すように、画像５０２では、上側領域に物体が存在するため、当該画像に対応する時空間画像５０４には、帯状の領域が現れる。一方、画像５０３では、下側領域にのみ物体が存在し、上側領域には物体が存在しないため、当該画像に対応する時空間画像５０５には帯状領域が現れない。つまり、時空間画像中に帯状領域が現れる場合、種別判断部１０３は、実空間にカメラの設置高を超える高さの物体が存在する、すなわち、識別すべき車両が存在すると判断する。
【００４４】
以上説明したように、種別判断部１０３は、時空間画像に帯状領域が存在するか否かに応じて、識別すべき車両が存在するか否かを判断できる。
【００４５】
なお、識別すべき車両であるか否かの判断には、帯状領域の垂直方向の長さを考慮して判断してもよい。図６は、種別判断部１０３が帯状領域の垂直方向の長さを考慮して判断する場合の動作フローを示す図である。
【００４６】
ステップＳ６０１及びＳ６０３については、前述したため説明を省略する。ステップＳ６１３で時空間画像が作成された後、ステップＳ６１１に進み、時空間画像の帯状領域に番号を付す（ラベリング処理を行う）。例えば、時空間画像中に２つの帯状領域がある場合、種別判断部１０３は、一方の帯状領域に含まれる全ての画素に番号１、他方の帯状領域に含まれる全ての画素に番号２を付す。ステップＳ６１３では、ステップＳ６１１でラベリング処理された画像から、ある帯状領域の縦軸（時間軸）方向の長さ、すなわち、同一の番号を付された画素の縦軸（時間軸）方向の画素数を求める。
【００４７】
次に、ステップＳ６１５では、ステップＳ６１３で求められた帯状領域の時間軸方向の長さが、所定の閾値以上であるか否かを判断する。当該帯状領域の長さが閾値以上であれば、抽出された物体が一定時間以上、基準平面を超えて存在することを意味する。帯状領域の長さが閾値以上であればステップＳ６１７に進み、基準平面を超える物体（当該帯状領域に対応する物体）が存在する、すなわち、当該物体は、鳥や虫等の飛行物体ではなく、道路を通行する車両である、と判断する。一方、帯状領域の長さが閾値以上でなければステップＳ６１９に進み、基準平面を超える物体が存在しない、すなわち、当該帯状領域は、鳥や虫等の飛行物体を表すか、または、ノイズや降雨等の気象条件によるもの等であると判断する。なお、帯状領域がノイズや降雨等の気象条件によるものである場合、当該帯状領域は横軸（水平軸）方向に狭い。このため、帯状領域の水平軸方向の長さが所定の閾値以上でない場合は、当該帯状領域が物体を表すものでないと判断してもよい。
【００４８】
以上説明したように、種別判断部１０３は、時空間画像において帯状領域の時間軸方向の長さが閾値以上であるか否かによって車両の識別を行うので、撮影画像における物体の存在領域を正確に得られなくても、車両の識別をさらに精度よく行うことができる。
【００４９】
なお、基準平面算出部１０５の代わりに、マウス等のポインティングデバイスを用いて物体識別装置の操作員によって入力された基準平面の位置（座標）を記憶する基準平面記憶部を備えてもよい。基準平面は、モニタ画面では、直線（物体識別基準直線）として表示される。したがって操作員は、ポインティングデバイスを用いて、モニタ画面に表示された画像上の所望の位置（座標）を指定し、一本の直線を入力する。なお、操作員が画面上の１点の位置を指定すると、この点を通り横軸（水平方向の軸）に平行な直線が入力され、操作員が画面上の２点の位置を指定すると、これら２点を通る直線が入力される。
【００５０】
基準平面記憶部は、上述したように操作員によって入力された基準平面（物体識別基準直線）の位置（座標）を記憶する。このため、操作員の操作によって、基準平面の位置を微調整出来る。結果として、道路の脇に設置されたカメラ１１０の設置高や設置角度等の設置条件に変化が生じた場合であっても、正確な基準平面に基づいて、物体の種別を判断できる。これにより、撮影画像における物体の存在領域を正確に得られなくても、常に、車両の識別を精度よく行うことができる。
【００５１】
〔第３の実施形態〕
次に、本発明の第３の実施形態を説明するための交通量計測システムについて説明する。本実施形態の交通量計測システムは、図１の車両監視システムが有する構成要素に加えて、物体識別装置１００による車両識別結果を利用して所定の種類の車両を計数する車両計数部（図示せず）を備えるものである。以下、車両高さが所定値以上である大型車の通過台数を数える場合について説明する。なお、カメラ１１０は、大型車の高さよりやや低い位置（前述した基準平面上の位置）に、任意の俯角で設置される。
【００５２】
車両計数部は、道路を通過する大型車を計数するものであり、通過した大型車の数を記憶する車両数記憶部を内部に有する。車両計数部は、撮影された物体が大型車であると種別判断部１０３が判断した場合、車両数記憶部に記憶されている車両数に１加算する。なお、大型車以外の普通車や小型車が撮影された場合、種別判断部１０３によって当該普通車等は所定の大型車でないと判断される。したがって、普通車等が撮影された場合は、車両数記憶部に記憶される車両数は変化しない。
【００５３】
以上説明したように、交通量計測システムによれば、物体識別部１００が道路を通過した物体（車両）が大型車であると判断し、当該識別結果に基づいて、車両計数部が道路を通過した大型車の数を数えることができる。なお、本実施形態の交通量計測システムは、トンネル内の換気システムの制御等に有用である。
【００５４】
第１〜第３の実施形態では、道路を通行する車両を識別する場合について説明したが、カメラの設置高を変えることによって、道路を通行する車両以外の物体を識別することができる。例えば、線路脇の、電車の車両高さよりやや低い位置（前述した基準平面上の位置）にカメラを設置すると、線路を通過する車両を識別することができる。また、建物や部屋の入り口の、人間の身長より低く、小動物の体の高さより高い位置にカメラを設置すると、建物や部屋へ入る物体が、侵入者であるか小動物であるかを識別することができる。このように、カメラの設置高を変えるだけで、移動物体が所定の物体であるか否かを識別できる。
【００５５】
また、第１〜第３の実施形態では、監視平面である道路及び基準平面（物体識別基準直線）が水平である場合について説明したが、監視平面等が左右に傾いている場合であっても、カメラの設置角が異なるだけであるため、同様に実現できる。
【００５６】
【発明の効果】
以上説明したように、本発明の物体識別方法及び物体識別装置によれば、物体の存在領域が正確に抽出できない場合であっても物体の種別を識別できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を説明するための車両監視システムを説明する図
【図２】物体の存在領域を入力画像から抽出する方法を説明する図
【図３】物体識別基準直線の垂直座標の算出方法を説明する図
【図４】種別判断部が物体識別基準直線の両側に物体の存在領域があるか否かを考慮して判断する場合の動作フローを示す図
【図５】本発明の第2の実施形態を説明するための種別判断部の動作フローを示す図
【図６】種別判断部が帯状領域の垂直方向の長さを考慮して判断する場合の動作フローを示す図
【図７】時空間画像の例を示す図
【符号の説明】
１００ 画像認識装置
１０１ 画像入力部
１０２ 領域抽出部
１０３ 種別判断部
１０４ 出力部
１０５ 基準直線算出部
１１０ カメラ
１１１ 物体
１１２ 入力画像
３０１ 監視平面
３０２ 基準平面
３０３ 距離設定ライン
３１２ 物体識別基準直線
５０２，５０３ 画像
５０４，５０５ 時空間画像
【発明の属する技術分野】
本発明は、予め設定される基準平面によって分割される２つの空間のうちの予め定めた一方の空間に、物体の少なくとも一部が存在するか否かにより、当該物体の種別を識別する物体識別方法、及び画像に含まれる物体の種別を識別する物体識別装置に関する。
【０００２】
【従来の技術】
画像データを解析して物体を識別するものとしては、特許文献１に記載された侵入物検出装置がある。特許文献１の侵入物検出装置は、所定の視野角内の画像を撮影した画像データに基づき、カメラの視野角と、高さや俯角等のカメラ設置条件とを用いて、侵入物(侵入者)の高さや大きさ等の情報を検出し、当該検出結果を利用して物体を識別するものである。この侵入物検出装置では、画像データから抽出された物体の撮像画面上の位置及び形状に基づいて、カメラから当該物体までの距離を測定し、当該物体までの距離に基づいて物体の大きさ（高さ）を算出し、侵入物（侵入者）であるか否かを判断している。
【０００３】
【特許文献１】
特開平８−１３６２５１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の侵入物検出装置にあっては、カメラの画質が低下したり物体に影が発生した場合、物体の形状を精度良く抽出できず、物体までの距離の測定誤差が大きくなる。このため、物体の大きさ（高さ）を算出する際にも誤差が発生し、結果として、識別処理の精度が低下しやすい。このような識別処理の精度の低下は、特に、カメラの設置高を低く、カメラ光軸の俯角を小さくした場合に顕著である。
【０００５】
本発明は、上記従来の事情に鑑みてなされたものであって、物体の存在領域が正確に抽出できない場合であっても物体の種別を識別できる物体識別方法及び物体識別装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明の物体識別方法は、予め設定される基準平面によって分割される２つの空間のうちの予め定めた一方の空間に、物体の少なくとも一部が存在するか否かにより、当該物体の種別を識別する物体識別方法であって、前記基準平面上にその撮像光学系の中心を有する撮像手段を利用して、被監視空間の撮影画像を取得する画像取得ステップと、前記取得した撮影画像における物体の存在領域を抽出する領域抽出ステップと、前記取得した撮影画像における前記基準平面を示す物体識別基準直線を算出する直線算出ステップと、前記取得した撮影画像を、前記算出された物体識別基準直線によって上下に２つの領域に分割する画像分割ステップと、前記抽出された物体の存在領域と前記上下に分割された２つの領域との関係に基づいて、前記抽出した物体が上側の画像領域に存在すれば、前記撮像手段の設置高より高いか否かによって物体を識別する種別判断ステップとを含むものである。これにより、物体の存在領域が正確に抽出できない場合であっても、抽出された物体の存在領域と分割された２つの領域との関係に基づいて、抽出した物体の種別を判断することができる。
【０００７】
また、本発明の物体識別方法は、前記領域抽出ステップが、異なる時刻に撮影された複数の撮影画像の差分データを利用することにより、移動物体の存在領域を抽出するものである。これにより、物体の存在領域を簡単に抽出することができる。
【０００８】
また、本発明の物体識別方法は、前記基準平面が、前記物体の高さの基準となる監視平面に対して平行な平面であり、前記種別判断ステップが、前記物体の高さに応じてその種別を判断するものである。これにより、物体の高さに応じて種別を識別することができる。
【０００９】
また、本発明の物体識別方法は、前記物体識別基準直線が、前記監視平面における予め定めた基準点の前記撮影画像における位置と、前記撮像光学系の中心と前記基準点との前記監視平面における距離とを利用して設定されるものである。これにより、撮像手段の撮影方向の設定にかかわらず、撮影画像における物体識別基準直線の設定を簡単に行うことができる。
【００１０】
また、本発明の物体識別方法は、前記種別判断ステップが、前記抽出された物体の存在領域のうち前記予め定めた一方の空間に存在する部分を前記物体識別基準直線に投影する物体領域投影ステップと、ある時刻に撮影された撮影画像における前記物体領域投影ステップで投影された投影像を撮影時間順に並べて時空間画像を生成する時空間画像生成ステップとを有し、前記時空間画像における前記投影像が描く曲線に基づいて、前記抽出した物体の種別を判断するものである。これにより、生成された時空間画像に描かれた曲線に基づいて、抽出した物体の種別を判断することができる。
【００１１】
また、本発明の物体識別方法は、前記種別判断ステップが、前記物体識別基準直線と垂直な仮想直線上の、前記分割された２つの領域の双方に、前記物体の存在領域があるか否かに応じて物体の種別を判断するものである。これにより、物体の存在領域が正確に抽出できない場合であっても、抽出された物体の存在領域と分割された２つの領域との関係に基づいて、抽出した物体の種別をさらに精度よく判断することができる。
【００１２】
また、本発明の物体識別装置は、画像に含まれる物体の種別を識別する物体識別装置であって、予め定めた所定の領域の撮影画像を取得する撮像手段からの撮影画像データを入力する画像入力部と、前記撮影画像データに基づき、前記撮影画像における物体の存在領域を抽出する領域抽出部と、前記撮影画像における物体識別基準直線と前記物体の存在領域とに基づいて前記物体の種別を識別する物体識別部とを備え、前記物体識別部は、前記物体識別基準直線として、前記撮像手段の撮像光学系の中心を含む基準平面を仮想的に示す直線を利用するものである。これにより、物体の存在領域が正確に抽出できない場合であっても、抽出された物体の存在領域と分割された２つの領域との関係に基づいて、抽出した物体の種別を判断することができる。
【００１３】
また、本発明の物体識別装置は、前記領域抽出部が、異なる時刻に撮影された複数の画像データの差分を利用することにより、移動物体の存在領域を抽出するものである。これにより、物体の存在領域を簡単に抽出することができる。
【００１４】
また、本発明の物体識別装置は、前記基準平面が、前記物体の高さの基準となる監視平面に対して平行な平面であり、前記物体識別部は、前記物体の高さに応じてその種別を判断するものである。これにより、物体の高さに応じて種別を識別することができる。
【００１５】
また、本発明の物体識別装置は、前記物体識別基準直線は、前記監視平面における予め定めた基準点の前記撮影画像における位置と、前記撮像光学系の中心と前記基準点との前記監視平面における距離とを利用して設定される。これにより、撮像手段の撮影方向の設定にかかわらず、撮影画像における物体識別基準直線の設定を簡単に行うことができる。
【００１６】
また、本発明の物体識別装置は、前記物体識別部が、前記抽出された物体の存在領域のうち前記予め定めた一方の空間に存在する部分を前記物体識別基準曲線に投影する物体領域投影部と、ある時刻に撮影された撮影画像における前記物体領域投影部によって投影された投影像を撮影時間順に並べて時空間画像を生成する時空間画像生成部とを有し、前記時空間画像における前記投影像が描く曲線に基づいて、前記抽出した物体の種別を判断するものである。これにより、生成された時空間画像に描かれた曲線に基づいて、抽出した物体の種別を判断することができる。
【００１７】
また、本発明の物体識別装置は、前記物体識別部が、前記物体識別基準直線と垂直な仮想直線上の、前記分割された２つの領域の双方に、前記物体の存在領域があるか否かに応じて物体の種別を判断するものである。これにより、物体の存在領域が正確に抽出できない場合であっても、抽出された物体の存在領域と分割された２つの領域との関係に基づいて、抽出した物体の種別をさらに精度よく判断することができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。本発明は、予め設定される基準平面によって分割される２つの空間のうちの予め定めた一方の空間に、物体の少なくとも一部が存在するか否かにより、当該物体の種別を識別するものであるが、以下、道路からの高さによって、道路を通行する車両を識別する場合について説明する。車両の識別は、道路等の監視平面と平行な平面を基準平面とし、車両が基準平面より上方に存在するか否かによって行う。その際、監視平面と基準平面の距離は、識別しようとする車両の高さよりやや低い値に設定する。以下の説明では、水平な道路（監視平面）を通行する車両を、当該道路と平行な所定の高さの水平面（基準平面）によって識別するものとする。
【００２２】
〔第１の実施形態〕
図１は、本発明の第１の実施形態を説明するための車両監視システムを説明する図である。図１（ａ）の車両監視システムは、物体識別装置１００と、物体識別装置１００と接続され、監視領域の画像を撮影するカメラ１１０と、カメラ１１０で撮影された画像や物体識別装置１００の処理結果を表示可能なモニタ装置（図示せず）を含み、監視領域の車両をその高さに応じて識別するものである。なお、物体識別装置１００とカメラ１１０との接続方法は、無線であっても有線であってもよい。物体識別装置１００は、画像入力部１０１と、領域抽出部１０２と、種別判断部１０３と、出力部１０４と、基準直線算出部１０５とを備え、カメラ１１０によって撮影された物体１１１を含む画像に基づいて、当該物体１１１の種別を識別し、識別結果を出力するものである。物体識別装置１００から出力された結果は、例えば、当該物体識別装置１００に接続されたモニタ装置に表示される。
【００２３】
カメラ１１０は、識別しようとする車両の高さに応じた位置に、任意の俯角で設置される。すなわち、カメラ１１０の撮像光学系の中心が、識別しようとする車両の車両の高さよりやや低い位置（先に述べた基準平面上の位置）となるように設置される。したがって、基準平面は、カメラ１１０（理想的な光学系を有するものとする。）で撮影した画像においては、仮想的に直線で表されることになる。カメラ１１０の画像走査線方向は、任意であるが、水平方向（この例では、監視平面及び基準平面に平行な方向）になるように設置すると、後述する画像処理が簡単になる。
【００２４】
以下、図１（ａ）に示す物体識別装置１００が備える各構成要素について説明する。画像入力部１０１は、カメラ１１０によって撮影された物体１１１を含む画像（アナログ映像信号）を、当該物体識別装置１００が処理しやすいデータ形式の入力画像１１２（デジタル映像信号）に変換して、領域抽出部１０２に入力するものである。なお、以下の説明では、図１（ｂ）に示すように入力画像１１２の左下隅を原点として、原点から水平方向右向きに伸びる横軸を水平軸、原点から垂直方向上向きに伸びる縦軸を垂直軸という。
【００２５】
領域抽出部１０２は、画像入力部１０１によってデジタル化された映像信号（入力画像１１２）が入力されると、入力画像１１２から移動物体が存在する領域（以下「存在領域」という。）を抽出するものである。
【００２６】
図２は、物体の存在領域を入力画像から抽出する方法を説明する図である。同図に示す方法は、フレーム間差分法と呼ばれる。フレーム間差分法では、まず、時刻ｔに撮影された入力画像ＩＭＧｔと時刻t‐1に撮影された入力画像ＩＭＧｔ-1とについて、対応する画素毎に輝度の差分絶対値ＳＡを求める。次に、領域抽出部１０２は、差分絶対値ＳＡが閾値ＴＨを超えるか否か画素毎に判断し、当該判断結果に応じて画像を２値化する。ある画素の差分絶対値ＳＡが閾値ＴＨを超える場合は、当該画素が物体の存在領域に含まれると判断する。このように、フレーム間差分法によれば、物体の存在領域を容易に抽出することができる。また、領域抽出部１０２は、抽出した物体の存在領域を示す画像（領域抽出画像ＥＸＴｔ）を高さ判定部１０３に出力する。
【００２７】
なお、領域抽出部１０２が入力画像から物体の存在領域を抽出する方法として、時刻t‐1で撮影された入力画像ＩＭＧｔ-１中のある点が、時刻ｔ（入力画像ＩＭＧｔ）ではいずれの方向にどれだけ移動したか、を示す動ベクトルを求め、当該動ベクトルの大きさが所定の閾値以上である領域を物体の存在領域とする方法を用いてもよい。また、特定の輝度、色相またはテクスチャ等の画像特徴を持つ領域を物体の存在領域とする方法等を用いてもよい。
【００２８】
基準直線算出部１０５は、入力画像１１２における基準平面を仮想的に表す直線（以下、「物体識別基準直線」という。）の位置を算出し、記憶するものである。カメラ１１０の画像走査線方向を水平方向としているので、物体識別基準直線は、入力画像１１２の水平軸に平行な直線となる。したがって、基準直線算出部１０５は、物体識別基準直線の入力画像１１２における垂直座標を算出すればよい。
【００２９】
図３は、物体識別基準直線の垂直座標の算出方法を説明する図である。図３（ａ）は、カメラ１１０、監視平面３０１および基準平面３０２の位置関係を示す図である。図３（ａ）において、点Ａは、カメラ１１０の撮像光学系の中心であり、点Ｂは、点Ａから下ろした垂線と監視平面３０１との交点である。また、点Ｃは、カメラの撮影光軸と監視平面３０１との交点である。図３（ｂ）は、図３（ａ）のカメラ１１０からの入力画像１１２に物体識別基準直線３１２および距離設定ライン３０３を重畳させて示したものである。距離設定ライン３０３は、点Ｃを通りカメラ１１０の光軸と垂直な監視平面３０１上の仮想的な直線である。
【００３０】
監視平面３０１から点Ａまでの垂直距離Ｈcam（カメラ１１０の設置高）、点Ｂから点Ｃまでの距離Ｄistが既知であるとすると、入力画像１１２における物体識別基準直線３１２の垂直座標Ｐlineは、式（１）で表される。
【００３１】
Ｐline = Ｄline ＋ reso・f・Ｈcam／Ｄist (１)
【００３２】
但し、Ｄlineは入力画像１１２における距離設定ライン３０３の垂直座標、resoはカメラ１１０光学系の結像面の垂直方向解像度、ｆはカメラ１１０のレンズの焦点距離である。なお、距離設定ライン３０３垂直座標Ｄlineは、予め操作者が入力して設定しても良いし、監視平面３０１上に目印となる物体を配置しその位置を自動認識させて設定しても良い。
【００３３】
基準平面算出部１０５は、式（１）に基づいて、物体識別基準直線３１２のモニタ画面上の位置である垂直座標Ｐlineを算出し、その結果を記憶する。
【００３４】
種別判断部１０３は、基準直線算出部１０５によって算出された物体識別基準直線３１２の位置を用いて、入力画像１１２中の物体識別基準直線３１２より分割される２つの領域の内の上側の領域（以下「上側領域」という。）に物体の存在領域が存在するか、すなわち、カメラ１１０で撮影された実空間に、カメラ１１０の設置高を越える物体が存在するかを判断する。この例では、物体識別基準直線が水平軸に平行であるので、物体の存在領域の垂直座標に、物体識別基準直線の垂直座標より上の垂直座標が含まれるか否かを判断する。そして、カメラ１１０の設置高を越える物体がある場合は、識別すべき車両であると判断する。
【００３５】
出力部１０４は、種別判断部１０３による識別結果を、モニタ装置に表示されている画像に重ねて表示（オーバーレイ）させるものである。
【００３６】
なお、識別すべき車両であるか否かの判断には、入力画像１１２の上側領域に物体の存在領域があるか否かだけでなく、入力画像１１２の分割した他方の領域（以下「下側領域」という。）の画像も考慮して判断してもよい。
【００３７】
入力画像１１２の下側領域の画像を考慮して判断する場合、種別判断部１０３は、物体識別基準直線の両側に物体の存在領域があるか否かを判断する。図４に、その場合の種別判断部１０３の判断動作フローを示す。まず、ステップＳ４０１では、水平座標がＸである上側領域に物体の存在領域があるか、すなわち、水平座標がＸであり上側領域に位置する画素のうち、物体の存在領域に含まれる画素が存在するか否かを判断する。ステップＳ４０１で上側領域に物体の存在領域がないと判断された場合、次の水平座標（Ｘ＋１）へ移動し（ステップＳ４０４）、ステップＳ４０１の判断を繰り返す。一方、ステップＳ４０１で上側領域に物体の存在領域があると判断された場合、ステップＳ４０２へ進む。ステップＳ４０２では、水平座標がＸである下側領域に物体の存在領域があるか、すなわち、水平座標がＸであり下側領域に位置する画素のうち、物体の存在領域に含まれる画素が存在するか否かを判断する。
【００３８】
ステップＳ４０２で下側領域に物体の存在領域がないと判断された場合は、次の水平座標（Ｘ＋１）へ移動し（ステップＳ４０４）、ステップＳ４０１の判断を繰り返す。一方、ステップＳ４０２で下側領域に物体の存在領域があると判断された場合、ステップＳ４０３へ進み、実空間に、カメラ１１０の設置高を超える高さの物体が存在すると判断する。このような判断を行うと、道路を通行する車両と、鳥や虫等の飛行物体とを識別することができ、車両の識別をさらに確実に行うことができる。
【００３９】
以上説明したように、図１の車両監視システムでは、基準平面より高い位置に物体が存在するか否かによって車両の識別を行うので、撮影画像における物体の存在領域を正確に得られなくても、車両の識別を精度よく行うことができる。
【００４０】
〔第２の実施形態〕
第１の実施形態では、種別判断部１０３が、抽出された物体の存在領域と基準平面に分割された２つの領域との関係に基づいて物体の種別を判断すると説明したが、以下に説明する方法で物体の種別を判断してもよい。第２の実施形態では、種別判断部１０３は、入力画像から抽出された物体の存在領域のうち予め定めた一方の空間に存在する部分を物体識別基準直線に投影し（物体領域投影ステップ）、ある時刻に撮影された撮影画像における投影像を撮影時間順に並べて時空間画像を生成し（時空間画像生成ステップ）、時空間画像における投影像が描く曲線に基づいて、抽出した物体の種別を判断する。以下の説明では、物体識別基準直線が水平軸であり、投影像を撮影時間順に垂直方向上向きに並べて時空間画像を生成するものとする。
【００４１】
図５は、本発明の第２の実施形態を説明するための種別判断部１０３の動作フローを示す図である。まず、ステップＳ６０１では、時刻ｔ-１，ｔで撮影された入力画像を基に領域抽出部１０２によって抽出された領域抽出画像ＥＸＴｔのうち、上側領域に含まれる部分を水平軸上に投影（１次元投影）して投影像Ｐｔを生成する。さらに、種別判断部１０３は、領域抽出画像ＥＸＴｔ＋１，ＥＸＴｔ＋２，ＥＸＴｔ＋３，・・・についても、同様にして、上側領域に含まれる部分の投影像Ｐｔ＋１，Ｐｔ＋２，Ｐｔ＋３，・・・を生成する。
【００４２】
次に、ステップＳ６０３では、ステップＳ６０１で生成された投影像Ｐｔ，Ｐｔ＋１，Ｐｔ＋２，・・・を、撮影時間順に、垂直方向上向きに並べて、時空間画像を作成する。さらに、ステップＳ６０５で時空間画像に、後述する帯状領域が存在するか否かを判断し、帯状領域が存在する場合は識別すべき車両が存在すると判断し（ステップＳ６０７）、帯状領域が存在しない場合は識別すべき車両が存在しないと判断する（ステップＳ６０９）。以下に、図７を参照して詳細に説明する。
【００４３】
図７は、時空間画像の例を示す図である。図７（ｂ）に示す時空間画像５０４，５０５は、時刻ｔからｔ＋ｎの間に撮影された画像に基づいて作成された時空間画像である。図７（ａ）に示す画像５０２，５０３は、それぞれ、時空間画像５０４，５０５の作成に使用された、時刻ｔからｔ＋ｎの間に撮影された画像の一例である。同図に示すように、画像５０２では、上側領域に物体が存在するため、当該画像に対応する時空間画像５０４には、帯状の領域が現れる。一方、画像５０３では、下側領域にのみ物体が存在し、上側領域には物体が存在しないため、当該画像に対応する時空間画像５０５には帯状領域が現れない。つまり、時空間画像中に帯状領域が現れる場合、種別判断部１０３は、実空間にカメラの設置高を超える高さの物体が存在する、すなわち、識別すべき車両が存在すると判断する。
【００４４】
以上説明したように、種別判断部１０３は、時空間画像に帯状領域が存在するか否かに応じて、識別すべき車両が存在するか否かを判断できる。
【００４５】
なお、識別すべき車両であるか否かの判断には、帯状領域の垂直方向の長さを考慮して判断してもよい。図６は、種別判断部１０３が帯状領域の垂直方向の長さを考慮して判断する場合の動作フローを示す図である。
【００４６】
ステップＳ６０１及びＳ６０３については、前述したため説明を省略する。ステップＳ６１３で時空間画像が作成された後、ステップＳ６１１に進み、時空間画像の帯状領域に番号を付す（ラベリング処理を行う）。例えば、時空間画像中に２つの帯状領域がある場合、種別判断部１０３は、一方の帯状領域に含まれる全ての画素に番号１、他方の帯状領域に含まれる全ての画素に番号２を付す。ステップＳ６１３では、ステップＳ６１１でラベリング処理された画像から、ある帯状領域の縦軸（時間軸）方向の長さ、すなわち、同一の番号を付された画素の縦軸（時間軸）方向の画素数を求める。
【００４７】
次に、ステップＳ６１５では、ステップＳ６１３で求められた帯状領域の時間軸方向の長さが、所定の閾値以上であるか否かを判断する。当該帯状領域の長さが閾値以上であれば、抽出された物体が一定時間以上、基準平面を超えて存在することを意味する。帯状領域の長さが閾値以上であればステップＳ６１７に進み、基準平面を超える物体（当該帯状領域に対応する物体）が存在する、すなわち、当該物体は、鳥や虫等の飛行物体ではなく、道路を通行する車両である、と判断する。一方、帯状領域の長さが閾値以上でなければステップＳ６１９に進み、基準平面を超える物体が存在しない、すなわち、当該帯状領域は、鳥や虫等の飛行物体を表すか、または、ノイズや降雨等の気象条件によるもの等であると判断する。なお、帯状領域がノイズや降雨等の気象条件によるものである場合、当該帯状領域は横軸（水平軸）方向に狭い。このため、帯状領域の水平軸方向の長さが所定の閾値以上でない場合は、当該帯状領域が物体を表すものでないと判断してもよい。
【００４８】
以上説明したように、種別判断部１０３は、時空間画像において帯状領域の時間軸方向の長さが閾値以上であるか否かによって車両の識別を行うので、撮影画像における物体の存在領域を正確に得られなくても、車両の識別をさらに精度よく行うことができる。
【００４９】
なお、基準平面算出部１０５の代わりに、マウス等のポインティングデバイスを用いて物体識別装置の操作員によって入力された基準平面の位置（座標）を記憶する基準平面記憶部を備えてもよい。基準平面は、モニタ画面では、直線（物体識別基準直線）として表示される。したがって操作員は、ポインティングデバイスを用いて、モニタ画面に表示された画像上の所望の位置（座標）を指定し、一本の直線を入力する。なお、操作員が画面上の１点の位置を指定すると、この点を通り横軸（水平方向の軸）に平行な直線が入力され、操作員が画面上の２点の位置を指定すると、これら２点を通る直線が入力される。
【００５０】
基準平面記憶部は、上述したように操作員によって入力された基準平面（物体識別基準直線）の位置（座標）を記憶する。このため、操作員の操作によって、基準平面の位置を微調整出来る。結果として、道路の脇に設置されたカメラ１１０の設置高や設置角度等の設置条件に変化が生じた場合であっても、正確な基準平面に基づいて、物体の種別を判断できる。これにより、撮影画像における物体の存在領域を正確に得られなくても、常に、車両の識別を精度よく行うことができる。
【００５１】
〔第３の実施形態〕
次に、本発明の第３の実施形態を説明するための交通量計測システムについて説明する。本実施形態の交通量計測システムは、図１の車両監視システムが有する構成要素に加えて、物体識別装置１００による車両識別結果を利用して所定の種類の車両を計数する車両計数部（図示せず）を備えるものである。以下、車両高さが所定値以上である大型車の通過台数を数える場合について説明する。なお、カメラ１１０は、大型車の高さよりやや低い位置（前述した基準平面上の位置）に、任意の俯角で設置される。
【００５２】
車両計数部は、道路を通過する大型車を計数するものであり、通過した大型車の数を記憶する車両数記憶部を内部に有する。車両計数部は、撮影された物体が大型車であると種別判断部１０３が判断した場合、車両数記憶部に記憶されている車両数に１加算する。なお、大型車以外の普通車や小型車が撮影された場合、種別判断部１０３によって当該普通車等は所定の大型車でないと判断される。したがって、普通車等が撮影された場合は、車両数記憶部に記憶される車両数は変化しない。
【００５３】
以上説明したように、交通量計測システムによれば、物体識別部１００が道路を通過した物体（車両）が大型車であると判断し、当該識別結果に基づいて、車両計数部が道路を通過した大型車の数を数えることができる。なお、本実施形態の交通量計測システムは、トンネル内の換気システムの制御等に有用である。
【００５４】
第１〜第３の実施形態では、道路を通行する車両を識別する場合について説明したが、カメラの設置高を変えることによって、道路を通行する車両以外の物体を識別することができる。例えば、線路脇の、電車の車両高さよりやや低い位置（前述した基準平面上の位置）にカメラを設置すると、線路を通過する車両を識別することができる。また、建物や部屋の入り口の、人間の身長より低く、小動物の体の高さより高い位置にカメラを設置すると、建物や部屋へ入る物体が、侵入者であるか小動物であるかを識別することができる。このように、カメラの設置高を変えるだけで、移動物体が所定の物体であるか否かを識別できる。
【００５５】
また、第１〜第３の実施形態では、監視平面である道路及び基準平面（物体識別基準直線）が水平である場合について説明したが、監視平面等が左右に傾いている場合であっても、カメラの設置角が異なるだけであるため、同様に実現できる。
【００５６】
【発明の効果】
以上説明したように、本発明の物体識別方法及び物体識別装置によれば、物体の存在領域が正確に抽出できない場合であっても物体の種別を識別できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を説明するための車両監視システムを説明する図
【図２】物体の存在領域を入力画像から抽出する方法を説明する図
【図３】物体識別基準直線の垂直座標の算出方法を説明する図
【図４】種別判断部が物体識別基準直線の両側に物体の存在領域があるか否かを考慮して判断する場合の動作フローを示す図
【図５】本発明の第2の実施形態を説明するための種別判断部の動作フローを示す図
【図６】種別判断部が帯状領域の垂直方向の長さを考慮して判断する場合の動作フローを示す図
【図７】時空間画像の例を示す図
【符号の説明】
１００ 画像認識装置
１０１ 画像入力部
１０２ 領域抽出部
１０３ 種別判断部
１０４ 出力部
１０５ 基準直線算出部
１１０ カメラ
１１１ 物体
１１２ 入力画像
３０１ 監視平面
３０２ 基準平面
３０３ 距離設定ライン
３１２ 物体識別基準直線
５０２，５０３ 画像
５０４，５０５ 時空間画像
Claims (8)
- 予め設定される監視平面と平行で、撮像光学系の中心を通過する基準平面によって上下に分割される２つの空間の上側に、物体の少なくとも一部が存在するか否かにより、当該物体の種別を識別する物体識別方法であって、
前記基準平面上にその撮像光学系の中心を有する撮像手段を利用して、被監視空間の撮影画像を取得する画像取得ステップと、
前記取得した撮影画像における物体の存在領域を抽出する領域抽出ステップと、
前記取得した撮影画像における前記基準平面を示す物体識別基準直線を、前記撮像手段の設置高さと、前記撮像手段の設置位置から下ろした垂線と前記監視平面との交点および前記撮像手段の撮影光軸と前記監視平面との交点との間の距離と、レンズ画角を用いて算出する直線算出ステップと、
前記取得した撮影画像を、前記算出された物体識別基準直線によって上下に２つの領域に分割する画像分割ステップと、
前記抽出された物体の存在領域と前記上下に分割された２つの画像領域との関係に基づいて、前記抽出した物体が上側の画像領域に存在すれば、所定の物体として識別する種別判断ステップとを含む物体識別方法。 - 請求項１記載の物体識別方法であって、
前記領域抽出ステップは、異なる時刻に撮影された複数の撮影画像の差分データを利用することにより、移動物体の存在領域を抽出するものである物体識別方法。 - 請求項１又は２に記載の物体識別方法であって、
前記種別判断ステップは、前記抽出された物体の存在領域のうち前記上下に分割された２つの画像領域の上側に存在する部分を前記物体識別基準直線に投影する物体領域投影ステップと、
ある時刻に撮影された撮影画像における前記物体領域投影ステップで投影された投影像を撮影時間順に並べて時空間画像を生成する時空間画像生成ステップとを有し、
前記時空間画像における前記投影像が描く曲線に基づいて、前記抽出した物体の種別を判断するものである物体識別方法。 - 請求項１又は２に記載の物体識別方法であって、
前記種別判断ステップは、前記物体識別基準直線によって上下に分割された２つの画像領域の双方に、前記物体の存在領域があるか否かに応じて物体の種別を判断するものである物体識別方法。 - 予め設定される監視平面と平行で、撮像光学系の中心を通過する基準平面によって上下に分割される2つの空間の上側に、物体の少なくとも一部が存在するか否かにより、当該物体の種別を識別する物体識別装置であって、
前記基準平面上にその撮像光学系の中心を有する撮像手段からの被監視空間の撮影画像データを入力する画像入力部と、
前記撮影画像データに基づき、前記撮影画像における物体の存在領域を抽出する領域抽出部と、
前記取得した撮影画像における前記基準平面を示す物体識別基準直線を、前記撮像手段の設置高さと、前記撮像手段の設置位置から下ろした垂線と前記監視平面との交点および前記撮像手段の撮影光軸と前記監視平面との交点との間の距離と、レンズ画角を用いて算出する直線算出部と、
前記取得した撮影画像を、前記算出された物体識別基準直線によって上下に２つの領域に分割する画像分割部と、
前記抽出された物体の存在領域と前記上下に分割された２つの画像領域との関係に基づいて、前記抽出した物体が上側の画像領域に存在すれば、所定の物体として識別する種別判断部とを有する物体識別装置。 - 請求項５記載の物体識別装置であって、
前記領域抽出部は、異なる時刻に撮影された複数の撮影画像データの差分を利用することにより、移動物体の存在領域を抽出するものである物体識別装置。 - 請求項５又は６に記載の物体識別装置であって、
前記種別判断部は、前記抽出された物体の存在領域のうち前記上下に分割された２つの画像領域の上側に存在する部分を前記物体識別基準曲線に投影する物体領域投影部と、
ある時刻に撮影された撮影画像における前記物体領域投影部によって投影された投影像を撮影時間順に並べて時空間画像を生成する時空間画像生成部とを有し、
前記時空間画像における前記投影像が描く曲線に基づいて、前記抽出した物体の種別を判断するものである物体識別装置。 - 請求項５又は６に記載の物体識別装置であって、
前記種別判断部は、前記物体識別基準直線によって上下に分割された２つの画像領域の双方に、前記物体の存在領域があるか否かに応じて物体の種別を判断するものである物体識別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003154121A JP4744789B2 (ja) | 2003-05-30 | 2003-05-30 | 物体識別方法及び物体識別装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003154121A JP4744789B2 (ja) | 2003-05-30 | 2003-05-30 | 物体識別方法及び物体識別装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004355456A JP2004355456A (ja) | 2004-12-16 |
| JP4744789B2 true JP4744789B2 (ja) | 2011-08-10 |
Family
ID=34048869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003154121A Expired - Fee Related JP4744789B2 (ja) | 2003-05-30 | 2003-05-30 | 物体識別方法及び物体識別装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4744789B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE602005022943D1 (de) * | 2005-04-18 | 2010-09-23 | Intel Corp | Dreidimensionale strassenlayoutschätzung aus videosequenzen durch verfolgung von fussgängern |
| CN103077387B (zh) * | 2013-02-07 | 2015-11-18 | 东莞中国科学院云计算产业技术创新与育成中心 | 视频中货运列车车厢自动检测方法 |
| CN105551265B (zh) * | 2015-02-09 | 2017-10-20 | 南京蓝泰交通设施有限责任公司 | 一种基于虚拟检测带的交通流量检测方法 |
| KR101877001B1 (ko) * | 2016-03-30 | 2018-07-10 | 주식회사 에스원 | 가상 라인 생성 방법, 역주행 검출 시스템 및 그 방법 |
-
2003
- 2003-05-30 JP JP2003154121A patent/JP4744789B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004355456A (ja) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110794405B (zh) | 一种基于相机和雷达融合的目标检测方法及系统 | |
| CN110400352B (zh) | 利用特征识别的摄像机校准 | |
| JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
| KR100879623B1 (ko) | Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법 | |
| JP2010190432A (ja) | 空間認識装置及び空気調和機 | |
| CN103179350B (zh) | 基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光的相机和方法 | |
| JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP5105972B2 (ja) | 座標変換方法及びパラメータ調整方法及び監視システム | |
| JP2002074368A (ja) | 移動物体認識追跡装置 | |
| CN107295230A (zh) | 一种基于红外热像仪的微型目标物移动侦测装置及方法 | |
| JP5183152B2 (ja) | 画像処理装置 | |
| KR101469099B1 (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
| CN107862713A (zh) | 针对轮询会场的摄像机偏转实时检测预警方法及模块 | |
| CN112053397A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111914592B (zh) | 多相机联合取证方法、装置及系统 | |
| JP3852745B2 (ja) | 物体検出方法及び物体検出装置 | |
| JP2004272756A (ja) | 混雑度調査装置 | |
| JP4744789B2 (ja) | 物体識別方法及び物体識別装置 | |
| JP4250172B2 (ja) | 物体検出方法及び物体検出装置 | |
| KR102492290B1 (ko) | 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템 | |
| JP2004042737A (ja) | 踏切監視装置および踏切監視方法 | |
| JPH0991439A (ja) | 物体監視装置 | |
| JP4697761B2 (ja) | 待ち行列検出方法及び待ち行列検出装置 | |
| KR100844640B1 (ko) | 물체 인식 및 거리 계측 방법 | |
| KR20230020184A (ko) | 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060417 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090616 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090916 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091001 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20091023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110511 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |