JP4687506B2 - オブジェクトサイズ算出装置、それを用いたオブジェクト検索装置およびオブジェクト分類装置ならびにオブジェクトサイズ算出方法 - Google Patents

Description

本発明は、画像において、人物等のオブジェクトの高さおよび幅を含むサイズを算出するオブジェクトサイズ算出装置に関し、特に、オブジェクトのサイズを用いて所望のオブジェクトの検索を行うオブジェクト検索装置やオブジェクトの分類を行うオブジェクト分類装置等に用いることのできるオブジェクトサイズ算出装置およびオブジェクトサイズ算出方法に関する。

従来から、画像における人物等のオブジェクトの高さおよび幅を含む大きさを示すサイズ情報（オブジェクトが人物である場合には、その身長と身幅）を用いた様々な技術が提案されてきている。

例えば、監視カメラを用いて侵入物を検出する侵入物検出装置において、あらかじめカメラの設置高さや設置角度等のカメラパラメータを用いて、画像に撮影された被写体のサイズを算出し、そのサイズにもとづいて、侵入物が人物であるか否かを見分けることのできる技術が提案されている（例えば、特許文献１を参照。）。

また、カメラで撮像された画像中において、カメラからの距離に応じた基準面積をあらかじめ設定しておいて、その基準面積と実際に撮影された物体の面積との面積比を計算して、その面積比を用いて物体の種類を区別することのできる技術が提案されている（例えば、特許文献２を参照。）。
特開平８−１３６２５１号公報 特開２００１−５９７４号公報

しかしながら、前述の技術を用いた場合には、被写体のサイズを算出したり、基準面積を設定したりするときに、カメラの設置される位置、搭載される光学系の種類、撮影画角、および、撮影する方向等の様々なパラメータ（以下、カメラパラメータとも記す）を入力する必要があった。

すなわち、前述の技術を用いた場合には、カメラパラメータが既知の撮影装置を用いる必要があったが、実際に、カメラを設置する場合において、カメラパラメータを正確に導出することは難しく、実用的でないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、カメラパラメータを用いることなく、オブジェクトのサイズを算出することのできるオブジェクトサイズ算出装置、それを用いたオブジェクト検索装置およびオブジェクト分類装置ならびにオブジェクトサイズ算出方法を提供することを目的とする。

本発明の監視記録装置は、平面上を移動するオブジェクトを撮影した画像を入力する画像入力部と、前記画像中における第１のオブジェクトの前記画像上の少なくとも３つの位置における前記第１のオブジェクトの下端位置情報及び上端位置情報を用いて、前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出するパラメータ算出部と、前
記画像中における、第２のオブジェクトの下端位置情報および上端位置情報および前記パラメータを用いて、前記第２のオブジェクトの前記少なくとも３つの位置のいずれか一つの位置である参照位置における前記第２のオブジェクトの上端位置を求めることにより、前記第２のオブジェクトの前記参照位置における前記第２のオブジェクトの参照高さを算出する参照高さ算出部と、前記第２のオブジェクトの参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記第２のオブジェクトの実際の高さを算出する高さ算出部とを備えた構成を有している。

このような構成によれば、画像中における第１のオブジェクトの少なくとも３つの位置における上端位置情報および下端位置情報を用いて、第２のオブジェクトの高さを算出することができるので、カメラパラメータを用いることなく、オブジェクトのサイズを算出することができるオブジェクトサイズ算出装置を提供することができる。

さらに、本発明のオブジェクトサイズ算出装置は、前記第１のオブジェクトの実際の高さをＬＬ、前記第２のオブジェクトの参照高さをＬ２および前記第１のオブジェクトの前記参照位置における高さをＬ１としたとき、前記第２のオブジェクトの実際の高さＬＲが、
ＬＲ＝ＬＬ×Ｌ２／Ｌ１
によって求められることを特徴としている。

さらに、前記画像から前記第１のオブジェクトおよび前記第２のオブジェクトの少なくとも一方を抽出するオブジェクト抽出部と、前記オブジェクト抽出部で抽出されたオブジェクトの高さ情報を算出する高さ情報算出部とを備えた構成であってもよい。

このような構成によれば、さらに、第１のオブジェクトおよび第２のオブジェクトを共通する処理ブロックによって処理することができる。

また、前記第１のオブジェクトについての処理を行うキャリブレーションモードと、前記第２のオブジェクトについての処理を行う算出モードとを切り替える切替制御部を備え、
前記キャリブレーションモードにおいては、前記オブジェクト抽出部は、前記第１のオブジェクトを抽出し、前記高さ情報算出部は、算出した前記第１のオブジェクトについての前記下端位置情報及び上端位置情報を前記パラメータ算出部に出力し、前記パラメータ算出部は前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出し、前記算出モードにおいては、前記オブジェクト抽出部は、前記第２のオブジェクトを抽出し、前記高さ情報算出部は、算出した前記第２のオブジェクトについての前記下端位置情報及び上端位置情報を前記参照高さ情報算出部に出力し、前記参照高さ算出部は、前記第２のオブジェクトの前記参照位置における前記第２のオブジェクトの参照高さを算出し、前記高さ算出部は、前記第２のオブジェクトの前記参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記第２のオブジェクトの実際の高さを算出する構成であってもよい。

このような構成によれば、さらに、オブジェクト抽出部および高さ情報算出部それぞれに対して、モードに応じた適切な切り替え制御を行うことが可能となる。

さらに、パラメータ算出部が算出したパラメータを記憶する記憶部を備えた構成であってもよい。

このような構成によれば、さらに、あらかじめ、設置時等にキャリブレーションモードを実行して算出されたパラメータを記憶しておき、追って必要なときに、算出モードにおいて、記憶部に記憶されたパラメータを用いて、オブジェクトの高さおよび幅の算出処理を行うことができる。

また、オブジェクト高さ算出部が算出した前記第２のオブジェクトの高さを出力する出力部を備えた構成であってもよい。

このような構成によれば、さらに、オブジェクトの高さを出力することで、外部の機器等で、その高さを利用して、追尾等の様々な処理を行うことが可能となる。

また、オブジェクト高さ算出部が算出した前記第２のオブジェクトの高さを表示する表示部を備えた構成であってもよい。

このような構成によれば、さらに、オブジェクトの高さを表示することができるので、ユーザにとって利便性に優れた構成を実現できる。

さらに、表示部は、前記第２のオブジェクトの高さを表示する構成であってもよい。

このような構成によれば、さらに、画像と合わせてオブジェクトの高さを表示することができるので、さらに利便性に優れた構成を実現できる。

また、オブジェクト抽出部は、少なくとも三つの互いに異なる位置における第１のオブジェクトを抽出する構成であってもよい。

このような構成によれば、さらに、第１のオブジェクトの少なくとも三つの位置における座標情報を用いることで、より正確に消失点および消失線を算出することが可能となる。

さらに、オブジェクト抽出部は、第１のオブジェクトの軌跡の変化にもとづいて第１のオブジェクトの抽出を行う構成であってもよい。

このような構成によれば、さらに、第１のオブジェクトの軌跡の変化にもとづいて、例えば、軌跡の変化が異常な部分におけるオブジェクトの画像は抽出しない等の処理が可能となるので、信頼性の高い構成を実現できる。

また、第２のオブジェクトが人物であり、前記オブジェクト高さ算出部は、前記人物の身長を算出する構成であっても良い。

このような構成によれば、さらに、画像における人物の身長算出に適した構成を実現できる。

次に、本発明のオブジェクト検索装置は、平面上を移動するオブジェクトを撮影した画像を入力する画像入力部と、前記画像中における第１のオブジェクトの前記画像上の少なくとも３つの位置における前記第１のオブジェクトの下端位置情報及び上端位置情報を用い
て、前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出するパラメータ算出部と、前記画像中における、複数のオブジェクトの下端位置情報および上端位置情報および前記パラメータを用いて、前記複数のオブジェクトの前記少なくとも３つの位置のいずれか一つの位置である参照位置における前記複数のオブジェクトの上端位置を求めることにより、前記複数のオブジェクトの前記参照位置における前記複数のオブジェクトの参照高さを算出する参照高さ算出部と、前記複数のオブジェクトの参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記複数のオブジェクトの実際の高さを算出する高さ算出部と、前記複数のオブジェクトから、所望の高さを有するオブジェクトを検索する検索部とを備えたことを特徴としている。

このような構成によれば、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、第２のオブジェクトのサイズを算出することができるので、カメラパラメータを算出することなく、オブジェクトのサイズを算出し、そのサイズを検索キーとしてオブジェクトを検索することのできるオブジェクト検索装置を提供できる。

また、検索部で検索されたオブジェクト以外のオブジェクトを、画像から除去するノイズ除去部を備えた構成であってもよい。

このような構成によれば、さらに、所望のオブジェクトをサイズで指定し、指定したオブジェクト以外のオブジェクトをノイズとして画像から除去することができる。

次に、本発明のオブジェクト分類装置は、平面上を移動するオブジェクトを撮影した画像を入力する画像入力部と、前記画像中における第１のオブジェクトの前記画像上の少なくとも３つの位置における前記第１のオブジェクトの下端位置情報及び上端位置情報を用いて、前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出するパラメータ算出部と、前記画像中における、複数のオブジェクトの下端位置情報および上端位置情報および前記パラメータを用いて、前記複数のオブジェクトの前記少なくとも３つの位置のいずれか一つの位置である参照位置における前記複数のオブジェクトの上端位置を求めることにより、前記複数のオブジェクトの前記参照位置における前記複数のオブジェクトの参照高さを算出する参照高さ算出部と、前記複数のオブジェクトの参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記複数のオブジェクトの実際の高さを算出する高さ算出部と、前記複数のオブジェクトの高さを記憶するオブジェクトサイズ記憶部と、前記オブジェクトサイズ記憶部に記憶された、前記複数のオブジェクトを、高さ毎に分類する分類部とを備えたことを特徴としている。

このような構成によれば、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、第２のオブジェクトのサイズを算出することができるので、カメラパラメータを算出することなく、オブジェクトのサイズを算出し、そのサイズを用いてオブジェクトを分類することのできるオブジェクト分類装置を提供できる。

また、前記分類部は、前記複数のオブジェクトを、高さ毎に分類するとともに、その数も判定する構成であっても良い。

このような構成によれば、さらに、分類だけではなく、オブジェクトの高さを用いてオブジェクトの数をも判定できる構成を実現できる。

次に、本発明のオブジェクトサイズ算出方法は、平面上を移動するオブジェクトを撮影した画像を入力する画像入力ステップと、前記画像中における第１のオブジェクトの前記画像上の少なくとも３つの位置における前記第１のオブジェクトの下端位置情報及び上端位置情報を用いて、前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出する第１のステップと、前記画像中における、第２のオブジェクトの下端位置情報および上端位置情報および前記パラメータを用いて、前記複数のオブジェクトの前記少なくとも３つの位置のいずれか一つの位置である参照位置における前記複数のオブジェクトの上端位置を求めることにより、前記複数のオブジェクトの前記参照位置における前記第２のオブジェクトの参照高さを算出する第２のステップと、前記複数のオブジェクトの参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記複数のオブジェクトの実際の高さを算出する高さを算出する第３のステップとを備えたことを特徴としている。

このような方法によれば、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、第２のオブジェクトのサイズを算出することができるので、カメラパラメータを算出することなく、オブジェクトのサイズを算出することができるオブジェクトサイズ算出方法を提供することができる。

次に、本発明のオブジェクトサイズ算出プログラムは、コンピュータに、前記オブジェクトサイズ算出方法を実行させることを特徴としている。

このようなプログラムによれば、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、第２のオブジェクトのサイズを算出することができるので、カメラパラメータを算出することなく、オブジェクトのサイズを算出することができるオブジェクトサイズ算出プログラムを提供することができる。

以上述べたように、本発明によれば、カメラパラメータを用いることなく、オブジェクトのサイズを算出することができるオブジェクトサイズ算出装置、それを用いたオブジェクト検索装置およびオブジェクト分類装置ならびにオブジェクトサイズ算出方法を提供することができる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の構成について説明する。図１は本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の構成を示すブロック図である。オブジェクトサイズ算出装置２は、カメラ部４で撮影された、または、他の装置等から入力された画像から、被写体である物体（以下、オブジェクトとも記す）の高さおよび幅を含むサイズ（例えば、物体が人物の場合には、その身長と身幅）を算出することのできる装置である。オブジェクトサイズ算出装置２は、キャリブレーションモードと算出モードとを有する。

オブジェクトサイズ算出装置２は、そのキャリブレーションモードにおいては、以降の算出対象なる物体（以下、対象物体とも記す）のサイズを正確に算出することができるように、参照物体（第１のオブジェクトとも記す）を移動させながら、その画像を撮影して、後述する消失点、消失線についての情報、高さ方向の参照位置、幅方向の参照位置、ならびに、高さ方向の参照位置における第１のオブジェクトの高さ情報および幅方向の参照位置における第１のオブジェクトの幅情報（以下、これらの情報を参照情報と記す）を含むパラメータを算出する。

一方、オブジェクトサイズ算出装置２は、その算出モードにおいては、キャリブレーションモードにおいて算出されたパラメータを用いて、対象物体（第２のオブジェクトとも記す）の高さおよび幅を算出する。例えば、オブジェクトサイズ算出装置２は、ユーザが画像を表示部２０で見ながら、複数の物体の中から所望の対象物体を選択することにより、その対象物体の高さおよび幅を算出して、出力部２６から外部の装置に出力または表示部２０に表示することができる。通常は、キャリブレーションモードにおいて、一度基準となる第１のオブジェクトについてのパラメータを算出しておくことにより、以降は算出モードでの処理を行えばよいが、カメラ部４が動いた場合や、より信頼性の高いパラメータを再度算出したい場合には、算出モードから再度キャリブレーションモードにモードを切り替えることもできる。これらのモードの切り替えは、入力部６からのユーザ入力等によって行われる。

オブジェクトサイズ算出装置２は、カメラで撮影された画像における、消失点、消失線と呼ばれる考え方を用いてオブジェクトの高さおよび幅を算出する。ここで、この考え方について説明する。位置を固定されたカメラで撮影された画像においては、同じ高さを有し、互いに平行な一組の物体を撮影した場合に、それぞれの物体の上端同士を結ぶ直線、および、それぞれの物体の下端同士を結ぶ直線が、一点（この点を消失点と記す）に交わる。また、この消失点を、様々な高さの、同じ高さを有し、互いに平行な一組の物体について、それぞれ算出した消失点は、一つの直線上に位置する（この直線を消失線と記す）。

また、同様に、位置を固定されたカメラで撮影された画像においては、同じ幅を有し、互いに平行な一組の物体を撮影した場合に、それぞれの物体の右端同士を結ぶ直線、および、それぞれの物体の左端同士を結ぶ直線が、一点（消失点）に交わり、また、この消失点を様々な高さの、同じ幅を有し、互いに平行な一組の物体について、それぞれ算出した消失点は、やはり一つの直線上に位置し、この直線は、前述の物体の高さにもとづいて作成した消失線と一致する。

オブジェクトサイズ算出装置２は、この現象を利用して、対象物体の高さおよび幅を算出する。このような考え方は、例えば、Ａ ｎｅｗ ａｐｐｒｏａｃｈ ｔｏ ｏｂｔａｉｎ ｈｅｉｇｈｔ ｍｅａｓｕｒｅｍｅｎｔｓ ｆｒｏｍ ｖｉｄｅｏ， Ａｎｔｏｎｉｏ Ｃｒｉｍｉｎｉｓｉ， ｅｔ ａｌ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｏｘｆｏｒｄ， １９９８に示されている。図２は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の高さ算出の原理について説明するための図である。また、図３は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の幅算出の原理について説明するための図である。

まず、図２に示したように、カメラ部４は、その位置および撮影方向を含むカメラパラメータを固定した状態で設置され、移動する同一の人物Ａを、画像中の互いに異なる三つの位置３０，３２，３４（足元の位置を示す）で撮影する。この場合、人物Ａの位置３０における足元の位置と頭頂の位置とを結ぶベクトルを高さベクトル３６とし、位置３２における高さベクトル３８、および、位置３４における高さベクトル４０をそれぞれ規定する。そうすると、三つの高さベクトル３６，３８，４０は、互いに平行であり、ともに同じ高さの物体についてのベクトルとなる。

よって、図２において、前述の考え方を適用すると、高さベクトル３６と高さベクトル３８それぞれの上端を結ぶ直線５２と、それぞれの下端を結ぶ直線５４との交わる点が消失点４２であり、高さベクトル３８と高さベクトル４０それぞれの上端を結ぶ直線５６と、それぞれの下端を結ぶ直線５８との交わる点が消失点４４である。そして、消失点４２および消失点４４を結ぶ直線が消失線６０となる。上述の考え方においては、この画像上において、すべての互いに平行、かつ、高さの等しい物体について同様に消失点を求めることができ、その消失点は高さの違いによらず、同じ消失線６０上に位置することとなる。このように、消失線６０を算出するためには、少なくとも二つの消失点４２，４４を算出する必要がある。すなわち、同一のカメラ部４で撮影された、少なくとも三つの位置における、互いに平行、かつ、同一の物体の画像があれば、その高さを用いることで消失線６０を算出することができる。

また、同様に、図３に示したように、今、カメラ部４の設置位置および撮影方向を含むカメラパラメータを固定した状態で、先ほどの人物Ａが、画像中の互いに異なる三つの位置２３０，２３２，２３４で撮影されたとする。なお、この場合位置２３０，２３２，２３４は、それぞれ人物の同じ位置、例えば、身長のちょうど半分の高さの身幅の左端とする。この場合、人物Ａの位置２３０における身幅の左端と右端とを結ぶベクトルを幅ベクトル２３６とし、位置２３２における幅ベクトル２３８、および、位置２３４における幅ベクトル２４０をそれぞれ規定する。そうすると、三つの幅ベクトル２３６，２３８，２４０は、互いに平行であり、ともに同じ幅の物体についてのベクトルとなる。

なお、特に人物を物体とした場合、その身幅は、人物が手を広げたりすること等によって、同一人物においてもばらつく場合があるので、物体を含む画素列のうち、高さ方向の物体の画素数が所定の閾値よりも多い列を信頼性の高い列として選択し（画素数が所定の閾値よりも少ない列はノイズとして除去して）、その列の幅をその物体の身幅とすることによって、より精度の高いサイズ算出を行うことができる。

よって、図３において、前述の考え方を適用すると、幅ベクトル２３６と幅ベクトル２３８それぞれの左端を結ぶ直線２５２と、それぞれの右端を結ぶ直線２５４との交わる点が消失点２４２であり、幅ベクトル２３８と幅ベクトル２４０それぞれの左端を結ぶ直線２５６と、それぞれの右端を結ぶ直線２５８との交わる点が消失点２４４である。そして、消失点２４２および消失点２４４は、先ほどと同じ消失線６０上に位置する。

上述の考え方においては、この画像上において、すべての互いに平行、かつ、幅の等しい物体について同様に消失点を求めることができ、その消失点は幅の違いによらず、同じ消失線６０上に位置することとなる。このように、消失線６０を算出するためには、少なくとも二つの消失点２４２，２４４を算出する必要がある。すなわち、同一のカメラ部４で撮影された、少なくとも三つの位置における、互いに平行、かつ、同一の物体の画像があれば、その幅を用いることによっても消失線６０を算出することができる。

オブジェクトサイズ算出装置２は、これらの考え方を利用する。すなわち、キャリブレーションモードにおいて、参照物体を移動させながら、あらかじめ動画像の撮影を行っておき、少なくとも三つの位置における高さベクトルおよび幅ベクトルを算出して、前述の消失点４２，４４または消失点２４２，２４４および消失線６０を算出しておく。そして、算出モードにおいては、対象物体について、キャリブレーションモードで算出された消失線６０の情報を用いて、その高さ情報および幅情報を算出する。具体的な高さ情報および幅情報の算出方法については、後述する。

なお、いずれか一方のベクトル三つを用いて算出した消失線６０を、他方のベクトル三つから算出した消失線と同じとみなしても実使用上何ら支障を生じないが、高さベクトルを用いて算出した消失線と幅ベクトルを用いて算出した消失線との平均を用いて消失線６０を算出すれば、より信頼性を向上させることができる。

ここで、オブジェクトサイズ算出装置２の構成について説明する。図１に示したように、オブジェクトサイズ算出装置２は、前述のキャリブレーションモードおよび算出モードのモード切り替え、参照物体の実際の高さおよび幅、複数の物体から対象物体を選択する情報等の各種情報が入力される入力部６、入力部６からの入力に応じて、カメラ部４等から入力された画像から、参照物体や対象物体を抽出するオブジェクト抽出部８、オブジェクト抽出部８で抽出されたオブジェクトについて、画像中でのオブジェクトの高さを示す情報、例えば、具体的にはオブジェクトの上端と下端との間の画素数、および、画像中でのオブジェクトの下端の位置を示す情報（以下、これらの情報を高さ情報と記す）を算出する高さ情報算出部１０、オブジェクト抽出部８で抽出されたオブジェクトについて、画像中でのオブジェクトの幅を示す情報、例えば、具体的にはオブジェクトの左端と右端との間の画素数、および、画像中でのオブジェクトの左端の位置を示す情報（以下、これらの情報を幅情報と記す）を算出する幅情報算出部２１０、入力部６からの入力に応じて、オブジェクト抽出部８、高さ情報算出部１０および幅情報算出部２１０の機能を切り替える切替制御部７、高さ情報算出部１０で算出された参照物体の高さ情報および幅情報算出部２１０で算出された参照物体の幅情報から、消失点４２，４４または消失点２４２，２４４についての情報（例えば、座標）、消失線６０についての情報（例えば、画像中における関数）、および、参照情報をそれぞれ算出または決定する、消失点算出部１４、消失線算出部１６および参照情報決定部１７を有するパラメータ算出部１２、パラメータ算出部１２で算出された消失線６０に関する情報、入力部６から入力された参照物体の実際の高さと幅および参照情報を記憶する記憶部１８、記憶部１８に記憶された情報を用いて、高さ情報算出部１０で算出された対象物体についての高さ情報を用いて、対象物体の高さ方向の参照位置における高さ情報を算出する参照高さ情報算出部２２、参照物体の実際の高さ、参照情報および参照高さ情報算出部２２で算出された対象物体の高さ方向の参照位置における高さ情報を用いて対象物体の高さを算出するオブジェクト高さ算出部２４、同じく記憶部１８に記憶された情報を用いて、幅情報算出部２１０で算出された対象物体についての幅情報を用いて、対象物体の幅方向の参照位置における幅情報を算出する参照幅情報算出部２２２、参照物体の実際の高さ、参照情報および参照高さ情報算出部２２で算出された対象物体の高さ方向の参照位置における高さ情報を用いて対象物体の高さを算出するオブジェクト高さ算出部２４、参照物体の実際の幅、参照情報および参照幅情報算出部２２２で算出された対象物体の幅方向の参照位置における幅情報を用いて対象物体の幅を算出するオブジェクト幅算出部２２４、オブジェクト高さ算出部２４で算出された対象物体の高さ、オブジェクト幅算出部２２４で算出された対象物体の幅およびカメラ部４で撮影された画像をユーザに対して表示する表示部２０、ならびに、オブジェクト高さ算出部２４で算出された対象物体の高さおよびオブジェクト幅算出部２２４で算出された対象物体の幅を外部装置等に出力する出力部２６を備える。

入力部６としては、キーボードやマウス等公知の入力デバイスを用いることができる。マウス等のポインティングデバイスを用いれば、画像上の複数の物体から対象物体を選択しやすい。

記憶部１８としては、ハードディスクや半導体メモリ等の公知の記憶デバイスを用いることができる。

表示部２０としては、ユーザに対して画像を表示する公知の表示デバイスを用いることができる。

出力部２６としては、外部に接続された装置や記憶媒体等に、対象物体の高さおよび幅を出力する機能を有する各種出力デバイスを用いることができる。

カメラ部４としては、監視カメラ装置やビデオカメラ装置等の動画を撮影することの可能な、公知の撮影装置を用いることができる。

また、切替制御部７、オブジェクト抽出部８、高さ情報算出部１０、幅情報算出部２１０、消失点算出部１４、消失線算出部１６、参照情報決定部１７、参照高さ情報算出部２２、参照幅情報算出部２２２、オブジェクト高さ算出部２４およびオブジェクト幅算出部のそれぞれの機能は、専用回路等のハードウェアで実現することもできるし、それぞれの機能がソフトウェアで記述され、コンピュータによって実行される構成であってもよい。

また、オブジェクトサイズ算出装置２のオブジェクト抽出部８に入力される画像は、カメラ部４から入力される構成に限定されず、記憶媒体から読み込まれた画像や外部の機器から画像が入力される構成であってもよい。

ここで、オブジェクトサイズ算出装置２の構成要素それぞれの機能について、詳細に説明する。まず、オブジェクト抽出部８は、入力された画像から、オブジェクトを抽出する。オブジェクトの抽出は、画像中の動きのある領域を検出することによって行うことができる。オブジェクト抽出部８は、画像から動きが検出された領域を切り出してオブジェクトとして抽出し、画像およびオブジェクトの位置、大きさについての情報を高さ情報算出部１０および幅情報算出部２１０に出力する。画像中の動き検出を行う方法としては、例えば、撮影されたフレーム画像間の差分から動きを検出する方法や、背景を記憶しておいて、その背景画像との差分から動きを検出する方法を用いることができる。

オブジェクト抽出部８は、キャリブレーションモードと算出モードで異なる動作を行う。

まず、キャリブレーションモードにおいては、前述の消失線６０を算出するために、参照物体について、少なくとも三つの位置におけるオブジェクトを抽出して、その画像、オブジェクトの位置およびその大きさを示す情報を高さ情報算出部１０および幅情報算出部２１０に出力する。これらの情報を得るためには、参照物体を移動させながらオブジェクト抽出を行う。例えば、参照物体として人物を用いる場合には、その人物に対して表示部２０を用いて「歩き回ってください」等の誘導を行うとともに、入力画像からオブジェクト抽出を行うことで、異なる位置における同一の参照物体についてのオブジェクト抽出を行うことができる。また、画像内で移動している姿を撮影された人物を参照物体として利用することも可能である。

このように、キャリブレーションモードにおいて、参照物体を歩き回らせた状態で撮影を行った場合には、参照物体の頭頂の部分や足元の部分の撮影が様々な障害物によって妨げられ、適切なオブジェクト抽出ができない場合がある。このような場合をオクルージョンが発生した場合と記す。図４は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２のキャリブレーションモードにおいて、オクルージョンが発生した場合について説明するための図である。

図４（ａ）に示した例において、参照物体７０が矢印の方向に移動しているとして、このとき、画像中のＥに示した位置では、下半身の領域７２において、例えば床に置かれた荷物等の何らかの障害物によってオクルージョンが発生し、撮影を妨げられている。すなわち、図４（ｂ）のように、横軸にフレーム数をとって、縦軸に画像における、参照物体のＹ軸座標をとった場合、Ｅに示した位置では、オクルージョンが発生しているので、見かけ上足元の座標位置が周辺よりも高くなる。オブジェクト抽出部８は、抽出すべきオブジェクトを選択する場合に、図４（ｂ）に示すような、オブジェクトの軌跡を用いて、その座標が前後の座標よりも急激に変化しているような場合には、その位置のオブジェクト（例えばＥ）を抽出せずに、比較的穏やかに変化している部分、例えば、図４（ａ）および図４（ｂ）においては、位置Ｃ，Ｄ，Ｆにおけるオブジェクトを抽出する。このように、本実施の形態におけるオブジェクトサイズ算出装置２は、オブジェクト抽出部８が、オブジェクトの軌跡を用いて、前後の座標と比較して、座標が急激に変化しているようなオブジェクトは抽出しないので、オクルージョンの影響を受けにくい構成を実現できる。なお、オクルージョンの発生が多い画像においては、高さベクトルを用いた消失線の算出に加えて、前述の幅ベクトルを用いて算出した消失線を考慮することが特に有効である。

一方、オブジェクト抽出部８は、算出モードにおいては、入力された画像から、入力部６によって指定された対象物体を抽出して、その画像、対象物体の位置および大きさを示す情報を高さ情報算出部１０および幅情報算出部２１０に対して出力する。

次に、高さ情報算出部１０の機能について説明する。高さ情報算出部１０も、キャリブレーションモードと算出モードとで機能が異なる。図５は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の高さ情報算出部１０の機能について説明するための図である。

まず、キャリブレーションモードにおいては、高さ情報算出部１０は、図５（ａ）〜図５（ｃ）に示したような少なくとも三つの画像６４，６６，６８およびそれぞれのオブジェクト８２，８４，８６の位置、大きさを示す情報をオブジェクト抽出部８から入力して、図５（ｄ）に示したように、それぞれの画像について抽出されたオブジェクト８２，８４，８６について、一つの画像９６に撮影されたと仮定したときの、図５（ｅ）に示したような、高さベクトル９０，９２，９４を示す高さ情報を算出する。具体的には、高さ情報算出部１０は、画像９６中のオブジェクト８２，８４，８６それぞれについて、それぞれのオブジェクトを規定する情報として、その高さ方向の画素数および足元の位置の座標等の高さベクトルを規定するために必要な高さ情報を算出する。算出した三つの高さ情報は、パラメータ算出部１２に送られる。

一方、算出モードにおいては、高さ情報算出部１０は、オブジェクト抽出部８から送られた対象物体について、その高さ情報を算出して、参照高さ情報算出部２２に出力する。

次に、幅情報算出部２１０の機能について説明する。幅情報算出部２１０も、キャリブレーションモードと算出モードとで機能が異なる。図６は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の幅情報算出部２１０の機能について説明するための図である。

まず、キャリブレーションモードにおいては、幅情報算出部２１０は、図６（ａ）〜図６（ｃ）に示したような少なくとも三つの画像２６４，２６６，２６８およびそれぞれのオブジェクト２８２，２８４，２８６の位置、大きさを示す情報をオブジェクト抽出部８から入力して、図６（ｄ）に示したように、それぞれの画像について抽出されたオブジェクト２８２，２８４，２８６について、一つの画像２９６に撮影されたと仮定したときの、図６（ｅ）に示したような、幅ベクトル２９０，２９２，２９４を示す幅情報を算出する。具体的には、幅情報算出部２１０は、画像２９６中のオブジェクト２８２，２８４，２８６それぞれについて、それぞれのオブジェクトを規定する情報として、その身幅方向の画素数および身幅の左端の位置の座標等の幅ベクトルを規定するために必要な幅情報を算出する。算出した三つの幅情報は、パラメータ算出部１２に送られる。

一方、算出モードにおいては、幅情報算出部２１０は、オブジェクト抽出部８から送られた対象物体について、その幅情報を算出して、参照幅情報算出部２２２に出力する。

次に、パラメータ算出部１２の機能について説明する。図７は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２のパラメータ算出部１２の機能について説明するための図である。図７に示した例においては、パラメータ算出部１２は、高さ情報算出部１０で算出された三つの高さ情報からパラメータを算出する。

図７に示したように、高さ情報算出部１０より、画像９６における高さベクトル９０，９２，９４を示す高さ情報がパラメータ算出部１２に送られたものとする。このような場合、まず、消失点算出部１４は、これら三つの高さベクトル９０，９２，９４から、消失点を求める。具体的には、まず、高さベクトル９０および高さベクトル９２について、それぞれの上端部分を結ぶ直線１００を算出するとともに、それぞれの下端部分を結ぶ直線１０２を算出する。これらの直線１００および直線１０２が交わる点を消失点１０４とする。次に、高さベクトル９２および高さベクトル９４について、それぞれの上端部分を結ぶ直線１０６を算出するとともに、それぞれの下端部分を結ぶ直線１０８を算出する。これらの直線１０６および直線１０８が交わる点を消失点１１０とする。

次に、消失線算出部１６は、消失点算出部１４によって算出された消失点１０４，１１０を結ぶ直線を算出して、この直線を消失線１１２として決定する。

なお、上述の消失点１０４，１１０の算出は、三つの高さベクトル９０，９２，９４のうち、任意の二つを組み合わせて行うことができる。いずれの組み合わせで消失点１０４，１１０の算出を行っても、消失線１１２は大略重なり合う。

また、前述のように、消失点算出部１４および消失線算出部１６は、幅情報算出部２１０で算出された三つの幅情報を用いて、二つの消失点および消失線を算出することも可能である。図８は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２のパラメータ算出部１２の別の機能例について説明するための図である。

図８に示したように、幅情報算出部２１０より、画像２９６における幅ベクトル２９０，２９２，２９４を示す幅情報がパラメータ算出部１２に送られたものとする。このような場合、まず、消失点算出部１４は、これら三つの幅ベクトル２９０，２９２，２９４から、消失点を求める。具体的には、まず、幅ベクトル２９０および幅ベクトル２９２について、それぞれの右端部分を結ぶ直線３００を算出するとともに、それぞれの左端部分を結ぶ直線３０２を算出する。これらの直線３００および直線３０２が交わる点を消失点３０４とする。次に、幅ベクトル２９２および幅ベクトル２９４について、それぞれの左端部分を結ぶ直線３０６を算出するとともに、それぞれの右端部分を結ぶ直線３０８を算出する。これらの直線３０６および直線３０８が交わる点を消失点３１０とする。

次に、消失線算出部１６は、消失点算出部１４によって算出された消失点３０４，３１０を結ぶ直線を算出して、この直線を消失線３１２として決定する。

なお、上述の消失点３０４，３１０の算出は、三つの幅ベクトル２９０，２９２，２９４のうち、任意の二つを組み合わせて行うことができる。いずれの組み合わせで消失点３０４，３１０の算出を行っても、消失線３１２は大略重なり合う。

前述したように、本実施の形態のパラメータ算出部１２においては、高さ情報算出部１０で算出された三つの高さ情報および幅情報算出部２１０で算出された三つの幅情報のいずれを用いても、消失線の算出を行うことができる。以降の処理において用いる消失線としては、いずれを用いてもよいし、二つの消失線から平均をとる等、演算処理して算出された直線を以降は消失線として用いてもよい。

次に、参照情報決定部１７は、オブジェクトの高さ算出のために、図７に示した三つの高さベクトル９０，９２，９４のうち、いずれかの高さベクトルの下端位置（参照物体が人物のときには、その足元の位置）を高さ方向の参照位置として決定し、その座標とともに、その高さ方向の参照位置における高さベクトルの長さ（画素数）を、参照情報として決定する。ここでは、高さベクトル９２の下端位置を高さ方向の参照位置１１４として決定し、その位置における高さベクトル９２の長さを、長さＬ１とすると、参照位置１１４の座標および長さＬ１が参照情報となる。

さらに、参照情報決定部１７は、オブジェクトの幅算出のために、図８に示した三つの幅ベクトル２９０，２９２，２９４のうち、いずれかの幅ベクトルの左端位置を幅方向の参照位置として決定し、その座標とともに、その幅方向の参照位置における幅ベクトルの幅（画素数）も、参照情報として決定する。ここでは、幅ベクトル２９２の左端位置を幅方向の参照位置３１４として決定し、その位置における幅ベクトル２９２の長さを、幅Ｗ１とすると、参照位置３１４の座標および幅Ｗ１も参照情報となる。

次に、参照高さ情報算出部２２は、記憶部１８に記憶された情報および高さ情報算出部１０で算出された、対象物体の高さ情報から、対象物体の高さ方向の参照位置１１４における高さ情報を算出する。図９は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の参照高さ情報算出部２２の機能を説明するための図である。図９に示したように、画像９６における消失線１１２を示す情報および参照位置１１４の座標が記憶部１８に記憶されているものとする。また、対象物体の高さベクトル１２０が、図９に示す位置にあるとの高さ情報が高さ情報算出部１０から出力されたものとする。

このような場合において、参照高さ情報算出部２２は、まず、対象物体の高さベクトル１２０の下端と、参照位置１１４とを結ぶ直線１２２を算出する。そして、直線１２２と消失線１１２とが交わる点を、消失点１２６として決定する。さらに、消失点１２６と高さベクトル１２０の上端とを結ぶ直線１２４を算出する。

そして、参照高さ情報算出部２２は、参照位置１１４から垂直上向きに延長した直線１２８を算出して、直線１２４と直線１２８とが交わる点１５０の位置を算出する。これにより、参照位置１１４と点１５０とを結ぶ、対象物体が参照位置１１４に位置した場合の高さベクトル１５１を算出できる。よって、点１５０と参照位置１１４との間の距離を測定する（画素数をカウントする）ことにより、高さベクトル１５１の長さＬ２を算出することができる。参照高さ情報算出部２２は、算出した長さＬ２の情報をオブジェクト高さ算出部２４に送る。

次に、オブジェクト高さ算出部２４は、参照位置１１４における対象物体の高さベクトル１５１の長さＬ２の情報、あらかじめ記憶部１８に記憶された、参照物体の参照位置１１４における長さＬ１の情報および実際の参照物体の高さＬＬを用いて、対象物体の実際の高さＬＲを、下記演算を行うことにより、算出する。

ＬＲ＝ＬＬ×Ｌ２／Ｌ１
オブジェクト高さ算出部２４において算出された、対象物体の実際の高さＬＲの値は、表示部２０において、カメラ部４で撮影された画像と並列にまたは重畳して表示されるとともに、出力部２６から外部の装置に出力される。

また、参照幅情報算出部２２２は、記憶部１８に記憶された情報および幅情報算出部２１０で算出された、対象物体の幅情報から、対象物体の幅方向の参照位置３１４における幅情報を算出する。図１０は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の参照幅情報算出部２２２の機能を説明するための図である。図１０に示したように、画像２９６における消失線３１２を示す情報および参照位置３１４の座標が記憶部１８に記憶されているものとする。また、対象物体の幅ベクトル３２０が、図１０に示す位置にあるとの幅情報が幅情報算出部２１０から出力されたものとする。

このような場合において、参照幅情報算出部２２２は、まず、対象物体の幅ベクトル３２０の左端と、幅方向の参照位置３１４とを結ぶ直線３２２を算出する。そして、直線３２２と消失線３１２とが交わる点を、消失点３２６として決定する。さらに、消失点３２６と幅ベクトル３２０の右端とを結ぶ直線３２４を算出する。

そして、参照幅情報算出部２２２は、参照位置３１４から水平右向きに延長した直線３２８を算出して、直線３２４と直線３２８とが交わる点３５０の位置を算出する。これにより、幅方向の参照位置３１４と点３５０とを結ぶ、対象物体が幅方向の参照位置３１４に位置した場合の幅ベクトル３５１を算出できる。よって、点３５０と参照位置３１４との間の距離を測定する（画素数をカウントする）ことにより、幅ベクトル３５１の長さＷ２を算出することができる。参照幅情報算出部２２２は、算出した長さＷ２の情報をオブジェクト幅算出部２２４に送る。

次に、オブジェクト幅算出部２２４は、幅方向の参照位置３１４における対象物体の幅ベクトル３５１の長さＷ２の情報、あらかじめ記憶部１８に記憶された、参照物体の幅方向の参照位置３１４における長さＷ１の情報および実際の参照物体の幅ＷＬを用いて、対象物体の実際の幅ＷＲを、下記演算を行うことにより、算出する。

ＷＲ＝ＷＬ×Ｗ２／Ｗ１
オブジェクト幅算出部２２４において算出された、対象物体の実際の幅ＷＲの値は、表示部２０において、カメラ部４で撮影された画像と並列にまたは重畳して表示されるとともに、出力部２６から外部の装置に出力される。

ここで、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の動作について説明する。図１１は、本発明の第１の実施の形態におけるオブジェクトサイズ算出装置２の動作について説明するためのフローチャートである。

図１１に示したように、まず、入力部６から、キャリブレーションモードおよび算出モードのいずれのモードを選択するかの入力が行われる（Ｓ２）。

切替制御部７は、入力に応じて、オブジェクト抽出部８、高さ情報算出部１０および幅情報算出部２１０を二つのモードに従って制御する（Ｓ４）。

まず、キャリブレーションモードの場合には、切替制御部７は、オブジェクト抽出部８に、入力された画像から、参照物体の少なくとも互いに異なる三つの位置におけるオブジェクトを抽出させる（Ｓ６）。

オブジェクト抽出部８で抽出された少なくとも三つのオブジェクトを示す情報および画像は、高さ情報算出部１０に送られて、三つのオブジェクトそれぞれについて、高さ情報が算出される（Ｓ８）。

さらに、オブジェクト抽出部８で抽出された少なくとも三つのオブジェクトを示す情報および画像は、幅情報算出部２１０にも送られて、三つのオブジェクトそれぞれについて、幅情報が算出される（Ｓ２０８）。

次に、高さ情報算出部１０で算出された三つの高さ情報および幅情報算出部２１０で算出された三つの幅情報は、パラメータ算出部１２に送られて、消失点算出部１４で消失点１０４，１１０または消失点３０４，３１０が算出される（Ｓ１０）。次に、消失点１０４，１１０または消失点３０４，３１０の情報を用いて、消失線算出部１６で消失線１１２または消失線３１２が算出される（Ｓ１２）。

さらに、参照情報決定部１７によって、三つのオブジェクトのいずれかの高さ方向および幅方向の位置が参照位置として決定されるとともに、それらの位置を示す情報と、それらの位置における参照物体の高さベクトルの長さＬ１および幅ベクトルの長さＷ１が参照情報として決定され（Ｓ１４）、参照情報および消失線１１２または消失線３１２の情報が記憶部１８に記憶され、処理を終了する（Ｓ１６）。また、別途入力部６から参照物体の実際の高さＬＬおよび実際の幅ＷＬが入力され、記憶部１８に記憶される。

一方、算出モードにおいては、まず、切替制御部７は、オブジェクト抽出部８に、入力部６より入力された対象物体を画像より抽出させる（Ｓ２０）。

次に、高さ情報算出部１０は、オブジェクト抽出部８で抽出された対象物体について、高さ情報を算出する（Ｓ２２）。

参照高さ情報算出部２２は、高さ情報算出部１０で算出された対象物体についての高さ情報、記憶部１８に記憶された参照情報および消失線についての情報を用いて、高さ方向の参照位置１１４における対象物体の高さベクトル１５１の長さＬ２を算出する（Ｓ２４）。

オブジェクト高さ算出部２４は、参照高さ情報算出部２２で算出された対象物体の参照位置１１４における高さベクトル１５１の長さＬ２、記憶部１８に記憶された参照物体の参照位置における高さベクトルの長さＬ１、および、参照物体の実際の高さＬＬを用いて、対象物体の実際の高さＬＲを算出する（Ｓ２６）。

一方で、幅情報算出部２１０は、オブジェクト抽出部８で抽出された対象物体について、幅情報を算出する（Ｓ２２２）。

参照幅情報算出部２２２は、幅情報算出部２１０で算出された対象物体についての幅情報、記憶部１８に記憶された参照情報および消失線についての情報を用いて、幅方向の参照位置３１４における対象物体の幅ベクトル３５１の長さＷ２を算出する（Ｓ２２４）。

オブジェクト幅算出部２２４は、参照幅情報算出部２２２で算出された対象物体の参照位置３１４における幅ベクトル３５１の長さＷ２、記憶部１８に記憶された参照物体の幅方向の参照位置における幅ベクトルの長さＷ１、および、参照物体の実際の高さＷＬを用いて、対象物体の実際の高さＷＲを算出する（Ｓ２２６）。

ステップＳ２６およびステップＳ２２６で算出された結果は、表示部２０に表示または出力部２６から出力されて、処理を終了する（Ｓ２８）。

以上述べたように、オブジェクトサイズ算出装置２を用いれば、面倒なカメラパラメータ等の算出、計測等を行うことなく、単眼のカメラ一台を用いて対象物体の高さおよび幅を含むサイズを算出することができる。

なお、本実施の形態におけるオブジェクトサイズ算出装置２においては、少なくとも三つの互いに異なる位置における参照物体の画像を用いて、二つの消失点１０４，１１０または消失点３０４，３１０を算出し、消失線１１２または消失線３１２を算出したが、本発明はこの例に限定されるものではない。例えば、消失線１１２または消失線３１２が画像に対して水平であると仮定すれば、画像から二つの互いに異なる位置における参照物体の画像を用いて、一つの消失点を算出することにより、その消失点を通る水平線を消失線１１２または消失線３１２として算出することができ、このような仮定を行っても実使用上、問題はない。また、三つの参照物体の画像を用いて二つの消失点１０４，１１０または消失点３０４，３１０、消失線１１２，３１２を算出するほうが、二つの参照物体の画像を用いて消失線を算出するよりも、対象物体の高さＬＲまたは幅ＷＲを、消失線１１２または消失線３１２が画像に対して水平であるとみなした場合に比べて精度よく測定することができるが、いずれの方法においても実用性は高い。

また、本実施の形態におけるオブジェクトサイズ算出装置２においては、消失線１１２または消失線３１２を算出するために、三つの参照物体の画像を用いる例を示したが、本発明はこの例に限定されるものではない。より多くの参照物体の画像を用いて消失線１１２または消失線３１２の算出を行うほうが、上述の方法に比べて、より精度よく消失線１１２または消失線３１２を算出でき、その結果、より精度よく対象物体の高さを算出することができる。このような場合には、消失線を算出する際に、最小二乗法や最小二乗メディアン法等の、各種誤差除去方法を用いることができる。

さらに、本実施の形態におけるオブジェクトサイズ算出装置２においては、参照位置１１４または参照位置３１４として、画像における参照物体の下端の位置または左端の位置のいずれかを用いる例を説明したが、本発明はこの例に限定されず、参照位置として、画像中の任意の位置をとることができる。この場合には、参照物体の参照位置における高さベクトルの長さＬ１または幅ベクトルの幅Ｗ１は、消失線を用いて算出することができる。

また、本実施の形態におけるオブジェクトサイズ算出装置２においては、オブジェクトの抽出や高さ情報または幅情報の算出等を行う場合に、オブジェクトの高さベクトルが垂直方向に伸びているとして説明を行ったが、本発明はこの例に限定されない。実際には、図４（ａ）に示したように、オブジェクトは、斜め方向に傾いて撮影される場合もある。このような場合においても、本発明は適用可能であり、実用的には問題ないが、参照物体を抽出する際に、互いに平行なオブジェクトを参照物体として選択するほうが、対象物体の高さ算出の精度を向上させることができる。

なお、本実施の形態におけるオブジェクトサイズ算出装置２においては、サイズを算出されるべき物体として、人物を用いて説明を行ったが、本発明はこの構成に限定されない。例えば、自動車、トラック等の車両や自転車等の他の様々な物体のサイズ算出も可能である。

（第２の実施の形態）
次に、本発明の第２の実施の形態におけるオブジェクト検索装置３４０について説明する。図１２は、本発明の第２の実施の形態におけるオブジェクト検索装置３４０の構成を示すブロック図である。オブジェクト検索装置３４０は、前述のオブジェクトサイズ算出装置２の有する二つのモード、すなわち、キャリブレーションモードおよび算出モードに加えて、検索対象となるオブジェクト（以下、検索物体とも記す）の高さおよび幅を含むサイズを入力部６より入力して、画像上の複数のオブジェクトから、そのサイズと類似度の高いサイズのオブジェクトを検索して、出力または表示する、検索モードを有する。

図１２に示したように、オブジェクト検索装置３４０の構成が、前述したオブジェクトサイズ算出装置２の構成と異なるところは、オブジェクト高さ算出部２４で算出された対象物体の高さＬＲの値およびオブジェクト幅算出部２２４で算出された対象物体の幅ＷＲが対象物体の画像における位置情報とともに記憶されるオブジェクトサイズ記憶部３３０を備える点、入力部６から入力された検索物体のサイズにもとづいて、オブジェクトサイズ記憶部３３０に記憶された複数のオブジェクトに関するサイズの情報から、類似度の高い情報を検索し、対応するオブジェクトについての情報を出力する検索部３３２を備える点、および、切替制御部１３７が、前述のキャリブレーションモード、算出モードに加えて、検索モードへの切り替え制御を行う点、さらに、表示部２０または出力部２６が、検索部３３２による検索結果を出力する点である。

なお、図１２のオブジェクト検索装置３４０において、前述のオブジェクトサイズ算出装置２と共通する構成要素については、同一の符号を付して、その説明を省略する。

次に、オブジェクト検索装置３４０の動作について説明する。図１３は、本発明の第２の実施の形態におけるオブジェクト検索装置３４０の動作について説明するためのフローチャートである。

図１３に示したように、オブジェクト検索装置３４０は、前述のオブジェクトサイズ算出装置２と同様の、キャリブレーションモード（Ｓ６〜Ｓ１６、Ｓ２０８）および算出モード（Ｓ２０〜Ｓ２８、Ｓ２２２〜Ｓ２２６）を備え、さらに、画像上の物体から検索物体を検索する検索モード（Ｓ３０〜Ｓ４４、Ｓ２３２〜Ｓ２３６）を備える。検索モードについても、算出モードと同様に、あらかじめキャリブレーションモードが実行されて、参照情報が記憶部１８に記憶された状態で実行されるものとする。

オブジェクト検索装置３４０においては、まず、入力部６よりモードの切り替え入力が行われる（Ｓ２９）。キャリブレーションモードおよび算出モードについては、第１の実施の形態における処理と同様であるので、その説明を省略する。

検索モードが選択された場合には、合わせて検索物体についてのサイズ（高さおよび幅）が入力されて、検索部３３２に送られる（Ｓ３１）。この入力は、画像中における矩形の大きさの指定や、高さおよび幅の値の直接入力、さらに、あらかじめ決められたサイズ（例えば、大人、子供等）の選択等によって行われる。

次に、オブジェクト抽出部８は、画像中に撮影されている任意の対象物体の抽出を行う（Ｓ３０）。

そして、高さ情報算出部１０は、オブジェクト抽出部８から出力された対象物体の高さ情報を算出して、その結果を参照高さ情報算出部２２に送る（Ｓ３２）。

参照高さ情報算出部２２は、高さ情報算出部１０より送られた対象物体の高さ情報、ならびに、記憶部１８に記憶された、消失線についての情報および参照情報にもとづいて、その対象物体の高さ方向の参照位置における高さベクトルＬ２の長さを算出する（Ｓ３４）。

オブジェクト高さ算出部２４は、記憶部１８に記憶された、参照物体の実際の高さＬＬ、参照物体の高さ方向の参照位置における高さベクトルの長さＬ１、および、参照高さ情報算出部２２で算出された、対象物体の高さ方向の参照位置における高さベクトルの長さＬ２にもとづいて、その対象物体の実際の高さＬＲを算出する（Ｓ３６）。

その一方で、幅情報算出部２１０は、オブジェクト抽出部８から出力された対象物体の幅情報を算出して、その結果を参照幅情報算出部２２２に送る（Ｓ２３２）。

参照幅情報算出部２２２は、幅情報算出部２１０より送られた対象物体の幅情報、ならびに、記憶部１８に記憶された、消失線についての情報および参照情報にもとづいて、その対象物体の参照位置における幅ベクトルＷ２の長さを算出する（Ｓ２３４）。

オブジェクト幅算出部２２４は、記憶部１８に記憶された、参照物体の実際の幅ＷＬ、参照物体の幅方向の参照位置における幅ベクトルの長さＷ１、および、参照幅情報算出部２２２で算出された、対象物体の幅方向の参照位置における幅ベクトルの長さＷ２にもとづいて、その対象物体の実際の幅ＷＲを算出する（Ｓ２３６）。

オブジェクト高さ算出部２４で算出された対象物体の高さＬＲの値およびオブジェクト幅算出部２２４で算出された対象物体の幅ＷＲの値は、その対象物体の画像上の位置を示す情報とともに、オブジェクトサイズ記憶部３３０に記憶される（Ｓ３８）。

切替制御部１３７は、画像中のすべての対象物体について、その高さＬＲおよび幅ＷＲが算出されたかを判定し（Ｓ４０）、すべての対象物体について、高さＬＲおよび幅ＷＲが算出されている場合には、ステップＳ４２に進む。一方、すべての対象物体について、高さＬＲおよび幅ＷＲが算出されていない場合には、ステップＳ３０に戻り、画像中のすべての対象物体について、その高さＬＲおよび幅ＷＲが算出されるまでステップＳ３０〜ステップＳ３８およびステップＳ２３２〜ステップＳ２３６までの処理を繰り返す。

切替制御部１３７によって、すべての対象物体について、その高さＬＲおよび幅ＷＲの算出が終了したと判定された場合には、切替制御部１３７は、検索部３３２に、入力部６から入力された所望の高さＬＤおよび幅ＷＤを有する検索物体を検索させる。検索部３３２は、オブジェクトサイズ記憶部３３０に記憶された対象物体の高さＬＲおよび幅ＷＲの値と所望の高さＬＤおよび幅ＷＤの値とを比較して、類似度の高い高さおよび幅を有する対象物体を検索物体として決定する（Ｓ４２）。

出力部２６または表示部２０は、その検索物体についての情報（例えば、位置情報や識別情報）を出力または表示して処理を終了する（Ｓ４４）。

以上述べたように、本実施の形態におけるオブジェクト検索装置３４０を用いることによって、ユーザが入力したサイズについての情報を検索キーとして、画像中のオブジェクトから、所望の高さおよび幅を有するオブジェクトを検索することが可能となる。

特に、このようなオブジェクト検索装置３４０を用いて、画像中の人物の検索、追尾等を行うことにより、従来のような、服の色等を検索キーとするだけでなく、大人または子供の指定や、身長や体格等を指定することにより、該当する人物を検索することができる。

さらに、本実施の形態におけるオブジェクト検索装置３４０においては、検索対象となるオブジェクトが人物であるとして説明を行ったが、本発明はこの構成に限定されない。例えば、自動車、トラック等の車両や自転車等、様々なオブジェクトのサイズの違いによる検索も可能である。

なお、本実施の形態においては、検索キーとして、オブジェクトの高さ、例えば身長、および、オブジェクトの幅、例えば身幅を検索キーとして用いる例を示したが、本発明はこの例に限定されない。例えば、画像内の任意の位置におけるオブジェクトの高さ方向の画素数および幅方向の画素数を検索キーとして用いることも可能である。このような場合には、参照物体の実際の高さＬＬ、実際の幅ＷＬおよび検索物体の実際の身長や身幅の値を入力することなく、検索を行うことができる。

さらに、本実施の形態のオブジェクト検索装置によれば、必ずしも色を検索キーとする必要がないので、白黒カメラおよび赤外線カメラ等にも適用可能な構成を実現できる。

また、本実施の形態のオブジェクト検索装置を複数用いて、出力部２６から出力された検索物体についての情報（例えば、身長や身幅）を引き継ぐことで、複数装置間において、同じ検索物体の追尾を行うことができる。

なお、本実施の形態のオブジェクト検索装置３４０においては、表示部２０が検索部３３２によって検索された所望のサイズのオブジェクトを表示する例を示した。さらに、表示部２０に表示された複数のオブジェクトのうち、所望のオブジェクト以外の画像を除去することも可能である。このような例を、ノイズ画像除去装置として示す。

図１４は、本発明の第２の実施の形態におけるノイズ画像除去装置４４０の構成を示すブロック図である。図１４に示したように、ノイズ画像除去装置４４０は、オブジェクト検索装置３４０と比較して、検索部３３２によって検索された検索物体に関する情報およびオブジェクトサイズ記憶部３３０に記憶された情報を用いて、検索部３３２で検索されなかった物体の画像、すなわちノイズ画像を除去するように表示部２０に指示するノイズ除去部４４１を備えているところが異なる。また、検索部３３２は、入力部６から入力された所望のサイズから所定の閾値範囲内にあるサイズのオブジェクトを検出するものとする。表示部２０または出力部２６は、それぞれノイズ除去部４４１でノイズを除去された画像をそれぞれ表示または出力するものとする。

このような構成にすれば、オブジェクト抽出部８で抽出されたオブジェクトのうち、入力部６から入力された所望のサイズと異なる（大きすぎるまたは小さすぎる）オブジェクトの画像は、ノイズ画像として除去されるので、複数のオブジェクトについて、サイズによるフィルタリングの可能な構成を実現できる。

なお、本実施の形態のオブジェクト検索装置３４０およびノイズ除去装置４４０においては、一旦、オブジェクトサイズ記憶部３３０に記憶された情報について、検索部３３２で検索を行い、その結果にもとづいて検索を行ったり、ノイズ画像を除去したりする例を用いて説明したが、本発明はこの例に限定されない。例えば、オブジェクト高さ算出部２４から出力されたオブジェクトの高さ、および、オブジェクト幅算出部２２４から出力されたオブジェクトの幅を用いて、検索部３３２にオブジェクトのサイズが所望のサイズの閾値範囲内か否かを判定させて、その判定結果を出力したり、警報を発生したり、そのオブジェクトについての情報を出力、記憶したり、ノイズ画像を除去したりする構成であってもよい。このような構成にすれば、よりリアルタイム性に優れるので、例えば所望のサイズとして人物のサイズを登録しておけば、画像から、車両や動物を誤検出することなく、迅速に人物を抽出できるシステムを実現できる。

また、本実施の形態で述べたノイズ除去装置を用いて、例えば、物体追尾システムや物体抽出システム等を構成すれば、所望のサイズとして、例えば人物のサイズを入力しておくことにより、画像中の人物以外のオブジェクト、例えば動物等は画像に表示されないので、人物だけを追尾または抽出することのできる実用的な構成を実現できる。

（第３の実施の形態）
次に、本発明の第３の実施の形態におけるオブジェクト分類装置５４０について説明する。図１５は、本発明の第３の実施の形態におけるオブジェクト分類装置５４０の構成を示すブロック図である。オブジェクト分類装置５４０は、前述のオブジェクトサイズ算出装置２の有する二つのモード、すなわち、キャリブレーションモードおよび算出モードに加えて、カメラ部４から入力された画像に撮影された複数のオブジェクトを、サイズに応じて自動的に分類して、その結果を出力または表示する分類モードを有する。

図１５に示したように、オブジェクト分類装置５４０の構成が、前述したオブジェクト検索装置３４０の構成と異なるところは、検索部３３２の代わりに、あらかじめ定められた、様々な物体についての標準的なサイズに関する情報（例えば、人のサイズ、自家用車のサイズ、自転車のサイズ、犬のサイズ等）にもとづいて、オブジェクトサイズ記憶部３３０に記憶された複数のオブジェクトそれぞれについて、分類を行う分類部５４１を備えているところである。

なお、図１５のオブジェクト分類装置５４０において、前述のオブジェクト検索装置３４０と共通する構成要素については、同一の符号を付して、その説明を省略する。

次に、オブジェクト分類装置５４０の動作について説明する。図１６は、本発明の第３の実施の形態におけるオブジェクト分類装置５４０の動作について説明するためのフローチャートである。

図１６に示したように、オブジェクト分類装置５４０は、前述のオブジェクトサイズ算出装置２と同様の、キャリブレーションモード（Ｓ６〜Ｓ１６、Ｓ２０８）および算出モード（Ｓ２０〜Ｓ２８、Ｓ２２２〜Ｓ２２６）を備え、さらに、分類モード（Ｓ３０〜Ｓ４０、Ｓ４４、Ｓ２３２〜Ｓ２３６、Ｓ４４２）を備える。分類モードについても、算出モードと同様に、あらかじめキャリブレーションモードが実行されて、参照情報が記憶部１８に記憶された状態で実行されるものとする。

オブジェクト分類装置５４０においては、まず、入力部６よりモードの切り替え入力が行われる（Ｓ２９）。キャリブレーションモードおよび算出モードについては、第１の実施の形態におけるオブジェクトサイズ算出装置２および第２の実施の形態におけるオブジェクト検索装置３４０の処理と同様であるので、その説明を省略する。

分類モードが選択されると（Ｓ３１）、オブジェクト抽出部８は、画像中に撮影されている任意の対象物体の抽出を行う（Ｓ３０）。

そして、高さ情報算出部１０は、オブジェクト抽出部８から出力された対象物体の高さ情報を算出して、その結果を参照高さ情報算出部２２に送る（Ｓ３２）。

参照高さ情報算出部２２は、高さ情報算出部１０より送られた対象物体の高さ情報、ならびに、記憶部１８に記憶された、消失線についての情報および参照情報にもとづいて、その対象物体の高さ方向の参照位置における高さベクトルＬ２の長さを算出する（Ｓ３４）。

オブジェクト高さ算出部２４は、記憶部１８に記憶された、参照物体の実際の高さＬＬ、参照物体の高さ方向の参照位置における高さベクトルの長さＬ１、および、参照高さ情報算出部２２で算出された、対象物体の高さ方向の参照位置における高さベクトルの長さＬ２にもとづいて、その対象物体の実際の高さＬＲを算出する（Ｓ３６）。

その一方で、幅情報算出部２１０は、オブジェクト抽出部８から出力された対象物体の幅情報を算出して、その結果を参照幅情報算出部２２２に送る（Ｓ２３２）。

参照幅情報算出部２２２は、幅情報算出部２１０より送られた対象物体の幅情報、ならびに、記憶部１８に記憶された、消失線についての情報および参照情報にもとづいて、その対象物体の参照位置における幅ベクトルＷ２の長さを算出する（Ｓ２３４）。

オブジェクト幅算出部２２４は、記憶部１８に記憶された、参照物体の実際の幅ＷＬ、参照物体の幅方向の参照位置における幅ベクトルの長さＷ１、および、参照幅情報算出部２２２で算出された、対象物体の幅方向の参照位置における幅ベクトルの長さＷ２にもとづいて、その対象物体の実際の幅ＷＲを算出する（Ｓ２３６）。

オブジェクト高さ算出部２４で算出された対象物体の高さＬＲの値およびオブジェクト幅算出部２２４で算出された対象物体の幅ＷＲの値は、その対象物体の画像上の位置を示す情報とともに、オブジェクトサイズ記憶部３３０に記憶される（Ｓ３８）。

切替制御部１３７は、画像中のすべての対象物体について、その高さＬＲおよび幅ＷＲが算出されたかを判定し（Ｓ４０）、すべての対象物体について、高さＬＲおよび幅ＷＲが算出されている場合には、ステップＳ４４２に進む。一方、すべての対象物体について、高さＬＲおよび幅ＷＲが算出されていない場合には、ステップＳ３０に戻り、画像中のすべての対象物体について、その高さＬＲおよび幅ＷＲが算出されるまでステップＳ３０〜ステップＳ３８およびステップＳ２３２〜ステップＳ２３６までの処理を繰り返す。

切替制御部１３７によって、すべての対象物体について、その高さＬＲおよび幅ＷＲの算出が終了したと判定された場合には、切替制御部１３７は、分類部５４１に、オブジェクトサイズ記憶部３３０に記憶された複数のオブジェクトをサイズ毎に分類させる。分類部５４１は、オブジェクトサイズ記憶部３３０に記憶された、オブジェクト毎の高さＬＲおよび幅ＷＲの値を用いて、サイズ毎にオブジェクトを分類する（Ｓ４４２）。

出力部２６または表示部２０は、その分類されたオブジェクトについての情報（例えば、位置情報や識別情報）を出力または表示して処理を終了する（Ｓ４４）。

以上述べたように、本実施の形態におけるオブジェクト分類装置５４０を用いることによって、画像中の複数のオブジェクトを、サイズの違いに応じて分類することが可能である。

特に、このようなオブジェクト分類装置５４０を用いて、監視カメラシステム等を構成すれば、撮影されたオブジェクトを自動的に分類することの可能なシステムを実現できる。

さらに、本実施の形態のオブジェクト分類装置５４０によれば、色を分類キーとする必要がないので、白黒カメラおよび赤外線カメラ等にも適用可能な構成を実現できる。

また、本実施の形態のオブジェクト分類装置５４０を用いて、出力部２６から出力されたオブジェクトの分類についての情報を引き継ぐことで、情報を引き継がれた装置側において、その検索物体の追尾等の後処理を行うことができる。

なお、本実施の形態のオブジェクト分類装置５４０は、オブジェクトの高さに加えて幅をも用いて分類を行うので、その分類部５４１において、物体の数をカウントすることも可能である。例えば、高さが人物の標準的なサイズであって、幅が人物の標準的な身幅のサイズの二倍であった場合には、分類部５４１に、そのオブジェクトが「二人の人物」であると分類させることも可能である。

以上述べたように、本発明によれば、カメラパラメータを算出することなく、オブジェクトのサイズを算出することができるという優れた効果を有するので、画像において、人物等のオブジェクトの高さおよび幅を含むサイズを算出するオブジェクトサイズ算出装置等として有用であり、特に、オブジェクトのサイズを用いて所望のオブジェクトの検索を行うオブジェクト検索装置やオブジェクト分類装置等に用いることのできるオブジェクトサイズ算出装置およびオブジェクトサイズ算出方法等として有用である。

本発明の第１の実施の形態におけるオブジェクトサイズ算出装置の構成を示すブロック図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置の高さ算出の原理について説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置の幅算出の原理について説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置のキャリブレーションモードにおいてオクルージョンが発生した場合について説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置の高さ情報算出部の機能について説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置の幅情報算出部の機能について説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置のパラメータ算出部の機能について説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置のパラメータ算出部の別の機能例について説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置の参照高さ情報算出部の機能を説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置の参照幅情報算出部の機能を説明するための図 本発明の第１の実施の形態におけるオブジェクトサイズ算出装置の動作について説明するためのフローチャート 本発明の第２の実施の形態におけるオブジェクト検索装置の構成を示すブロック図 本発明の第２の実施の形態におけるオブジェクト検索装置の動作について説明するためのフローチャート 本発明の第２の実施の形態におけるノイズ画像除去装置の構成を示すブロック図 本発明の第３の実施の形態におけるオブジェクト分類装置の構成を示すブロック図 本発明の第３の実施の形態におけるオブジェクト分類装置の動作について説明するためのフローチャート

符号の説明

２ オブジェクトサイズ算出装置
４ カメラ部
６ 入力部
７，１３７ 切替制御部
８ オブジェクト抽出部
１０ 高さ情報算出部
１２ パラメータ算出部
１４ 消失点算出部
１６ 消失線算出部
１７ 参照情報決定部
１８ 記憶部
２０ 表示部
２２ 参照高さ情報算出部
２４ オブジェクト高さ算出部
２６ 出力部
３０，３２，３４，２３０，２３２，２３４ 位置
３６，３８，４０，９０，９２，９４，１２０，１５１ 高さベクトル
４２，４４，１０４，１１０，１２６，２４２，２４４，３０４，３１０，３２６ 消失点
５２，５４，５６，５８，１００，１０２，１０６，１０８，１２２，１２４，１２８，２５２，２５４，２５６，２５８，３００，３０２，３０６，３０８，３２２，３２４，３２８ 直線
６０，１１２，３１２ 消失線
６４，６６，６８，９６，２６４，２６６，２６８，２９６ 画像
７０ 参照物体
７２ 領域
８２，８４，８６，２８２，２８４，２８６ オブジェクト
１１４ （高さ方向の）参照位置
１５０，３５０ 点
２１０ 幅情報算出部
２２２ 参照幅情報算出部
２２４ オブジェクト幅算出部
２３６，２３８，２４０，２９０，２９２，２９４，３２０，３５１ 幅ベクトル
３１４ （幅方向の）参照位置
３３０ オブジェクトサイズ記憶部
３３２ 検索部
３４０ オブジェクト検索装置
４４０ ノイズ画像除去装置
４４１ ノイズ除去部
５４０ オブジェクト分類装置
５４１ 分類部

Claims (17)

1. 平面上を移動するオブジェクトを撮影した画像を入力する画像入力部と、
   前記画像中における第１のオブジェクトの前記画像上の少なくとも３つの位置における前記第１のオブジェクトの下端位置情報及び上端位置情報を用いて、前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出するパラメータ算出部と、
   前記画像中における、第２のオブジェクトの下端位置情報および上端位置情報および前記パラメータを用いて、前記第２のオブジェクトの前記少なくとも３つの位置のいずれか一つの位置である参照位置における前記第２のオブジェクトの上端位置を求めることにより、前記第２のオブジェクトの前記参照位置における前記第２のオブジェクトの参照高さを算出する参照高さ算出部と、
   前記第２のオブジェクトの参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記第２のオブジェクトの実際の高さを算出する高さ算出部とを備えたことを特徴とするオブジェクトサイズ算出装置。
2. 前記第１のオブジェクトの実際の高さをＬＬ、前記第２のオブジェクトの参照高さをＬ２および前記第１のオブジェクトの前記参照位置における高さをＬ１としたとき、前記第２のオブジェクトの実際の高さＬＲが、
   ＬＲ＝ＬＬ×Ｌ２／Ｌ１、
   によって求められることを特徴とする請求項１に記載のオブジェクトサイズ算出装置。
3. 前記画像から前記第１のオブジェクトおよび前記第２のオブジェクトの少なくとも一方を抽出するオブジェクト抽出部と、
   前記オブジェクト抽出部で抽出されたオブジェクトの高さ情報を算出する高さ情報算出部とを備えたことを特徴とする請求項１または請求項２に記載のオブジェクトサイズ算出装置。
4. 前記第１のオブジェクトについての処理を行うキャリブレーションモードと、前記第２のオブジェクトについての処理を行う算出モードとを切り替える切替制御部を備え、
   前記キャリブレーションモードにおいては、前記オブジェクト抽出部は、前記第１のオブジェクトを抽出し、前記高さ情報算出部は、算出した前記第１のオブジェクトについての
   前記下端位置情報及び上端位置情報を前記パラメータ算出部に出力し、
   前記パラメータ算出部は前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出し、
   前記算出モードにおいては、前記オブジェクト抽出部は、前記第２のオブジェクトを抽出し、前記高さ情報算出部は、算出した前記第２のオブジェクトについての前記下端位置情報及び上端位置情報を前記参照高さ情報算出部に出力し、
   前記参照高さ算出部は、前記第２のオブジェクトの前記参照位置における前記第２のオブジェクトの参照高さを算出し、前記高さ算出部は、前記第２のオブジェクトの前記参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記第２のオブジェクトの実際の高さを算出することを特徴とする請求項３に記載のオブジェクトサイズ算出装置。
5. 前記パラメータ算出部が算出した前記パラメータを記憶する記憶部を備えたことを特徴とする請求項１から請求項４までのいずれか１項に記載のオブジェクトサイズ算出装置。
6. 前記オブジェクト高さ算出部が算出した前記第２のオブジェクトの高さを出力する出力部を備えたことを特徴とする請求項１から請求項５までのいずれか１項に記載のオブジェクトサイズ算出装置。
7. 前記オブジェクト高さ算出部が算出した前記第２のオブジェクトの高さを表示する表示部を備えたことを特徴とする請求項１から請求項６までのいずれか１項に記載のオブジェクトサイズ算出装置。
8. 前記表示部は、前記第２のオブジェクトの高さを表示することを特徴とする請求項７に記載のオブジェクトサイズ算出装置。
9. 前記オブジェクト抽出部は、少なくとも三つの互いに異なる位置における前記第１のオブジェクトを抽出することを特徴とする請求項４に記載のオブジェクトサイズ算出装置。
10. 前記オブジェクト抽出部は、前記第１のオブジェクトの軌跡の変化にもとづいて前記第１のオブジェクトの抽出を行うことを特徴とする請求項９に記載のオブジェクトサイズ算出装置。
11. 前記第２のオブジェクトが人物であり、前記オブジェクト高さ算出部は、前記人物の身長を算出することを特徴とする請求項１から請求項１０までのいずれか１項に記載のオブジェクトサイズ算出装置。
12. 平面上を移動するオブジェクトを撮影した画像を入力する画像入力部と、
    前記画像中における第１のオブジェクトの前記画像上の少なくとも３つの位置における前記第１のオブジェクトの下端位置情報及び上端位置情報を用いて、前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出するパラメータ算出部と、
    前記画像中における、複数のオブジェクトの下端位置情報および上端位置情報および前記パラメータを用いて、前記複数のオブジェクトの前記少なくとも３つの位置のいずれか一つの位置である参照位置における前記複数のオブジェクトの上端位置を求めることにより、前記複数のオブジェクトの前記参照位置における前記複数のオブジェクトの参照高さを算出する参照高さ算出部と、
    前記複数のオブジェクトの参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記複数のオブジェクトの実際の高さを算出する高さ算出部と、
    前記複数のオブジェクトから、所望の高さを有するオブジェクトを検索する検索部とを備
    えたことを特徴とするオブジェクト検索装置。
13. 前記検索部で検索されたオブジェクト以外のオブジェクトを、前記画像から除去するノイズ除去部を備えたことを特徴とする請求項１２に記載のオブジェクト検索装置。
14. 平面上を移動するオブジェクトを撮影した画像を入力する画像入力部と、
    前記画像中における第１のオブジェクトの前記画像上の少なくとも３つの位置における前記第１のオブジェクトの下端位置情報及び上端位置情報を用いて、前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出するパラメータ算出部と、
    前記画像中における、複数のオブジェクトの下端位置情報および上端位置情報および前記パラメータを用いて、前記複数のオブジェクトの前記少なくとも３つの位置のいずれか一つの位置である参照位置における前記複数のオブジェクトの上端位置を求めることにより、前記複数のオブジェクトの前記参照位置における前記複数のオブジェクトの参照高さを算出する参照高さ算出部と、
    前記複数のオブジェクトの参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記複数のオブジェクトの実際の高さを算出する高さ算出部と、
    前記複数のオブジェクトの高さを記憶するオブジェクトサイズ記憶部と、
    前記オブジェクトサイズ記憶部に記憶された、前記複数のオブジェクトを、高さ毎に分類する分類部とを備えたことを特徴とするオブジェクト分類装置。
15. 前記分類部は、前記複数のオブジェクトを、高さ毎に分類するとともに、その数も判定することを特徴とする請求項１４に記載のオブジェクト分類装置。
16. 平面上を移動するオブジェクトを撮影した画像を入力する画像入力ステップと、
    前記画像中における第１のオブジェクトの前記画像上の少なくとも３つの位置における前記第１のオブジェクトの下端位置情報及び上端位置情報を用いて、前記第１のオブジェクトの高さおよび消失線を含むパラメータを算出する第１のステップと、
    前記画像中における、第２のオブジェクトの下端位置情報および上端位置情報および前記パラメータを用いて、前記複数のオブジェクトの前記少なくとも３つの位置のいずれか一つの位置である参照位置における前記複数のオブジェクトの上端位置を求めることにより、前記複数のオブジェクトの前記参照位置における前記第２のオブジェクトの参照高さを算出する第２のステップと、
    前記複数のオブジェクトの参照高さ、前記第１のオブジェクトの高さおよび前記第１のオブジェクトの実際の高さから、前記複数のオブジェクトの実際の高さを算出する高さを算出する第３のステップとを備えたことを特徴とするオブジェクトサイズ算出方法。
17. コンピュータに、
    請求項１６に記載のオブジェクトサイズ算出方法を実行させることを特徴とするオブジェクトサイズ算出プログラム。

Images