JP5034253B2 - オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法 - Google Patents

Description

本発明は、画像において、人物等のオブジェクトの高さを算出するオブジェクト高さ算出装置に関し、特に、オブジェクトの高さを用いて所望のオブジェクトの検索を行うオブジェクト検索装置に用いることのできるオブジェクト高さ算出装置およびオブジェクト高さ算出方法に関する。

従来から、画像における人物等のオブジェクトの高さ情報（オブジェクトが人物である場合には、その身長）を用いた様々な技術が提案されてきている。

例えば、撮像対象である対象人物の顔を識別する顔識別装置において、対象人物の顔情報を登録する際に、画像からその身長情報も合わせて取得して、その身長情報と対象人物の照合用の登録情報とを関連付けて管理することにより、照合時に、照合される人物の身長情報を利用して、探索時間の短縮を図る技術が提案されている（例えば、特許文献１を参照。）。

また、監視カメラで撮像された複数の被写体の画像から、人物の身長情報を用いて、所望の人物を検索することのできる技術も提案されている（例えば、特許文献２を参照。）。

これらの技術においては、いずれも人物の画像情報からその身長情報を算出していた。具体的には、カメラの設置される位置、搭載される光学系の種類、撮影画角、および、撮影する方向等の様々なパラメータ（以下、カメラパラメータとも記す）が既知であれば、撮影される被写体の画像の座標情報および高さ方向の画素数（一例としては、頭頂から足元までの画素数）を用いて、被写体の身長情報を算出することができた。
特開２００４−３０３１５０号公報 特開２００３−４６９１１号公報

しかしながら、前述の技術を用いた場合には、被写体の身長を算出するために、カメラパラメータが既知の撮影装置を用いる必要があったが、実際に、カメラを設置する場合において、カメラパラメータを正確に導出することは難しく、実用的でないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、カメラパラメータを算出することなく、オブジェクトの高さを算出することのできるオブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法を提供することを目的とする。

本発明のオブジェクト高さ算出装置は、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、消失点および消失線を含むパラメータを算出するパラメータ算出部と、画像中における、第２のオブジェクトの座標情報およびパラメータを用いて、第２のオブジェクトの高さを算出するオブジェクト高さ算出部とを備えたことを特徴としている。

このような構成によれば、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、第２のオブジェクトの高さを算出することができるので、カメラパラメータを算出することなく、オブジェクトの高さを算出することができるオブジェクト算出装置を提供することができる。

また、パラメータ算出部は、第１のオブジェクトの座標情報を用いて参照位置を決定し、参照位置における第１のオブジェクトの高さ情報を算出する参照情報決定部を有し、第１のオブジェクトの実際の高さが入力される入力部と、画像中における、第２のオブジェクトの座標情報を用いて、参照位置における第２のオブジェクトの高さ情報を算出する参照高さ情報算出部とを備え、オブジェクト高さ算出部は、第１のオブジェクトの実際の高さ、参照位置における第１のオブジェクトの高さ情報、および、第２のオブジェクトの高さ情報を用いて、第２のオブジェクトの実際の高さを算出する構成であってもよい。

このような構成によれば、さらに、参照位置を決定し、その位置での高さ情報を用いてオブジェクトの高さを算出するので、算出時にばらつきの少ない構成を実現できる。

また、参照情報決定部は、第１のオブジェクトの複数の位置のうちのいずれか一つを参照位置として決定する構成であってもよい。

このような構成によれば、さらに、画像に撮影された第１のオブジェクトの位置を参照位置とするので、正確な算出が可能となる。

さらに、画像から第１のオブジェクトおよび第２のオブジェクトの少なくとも一方を抽出するオブジェクト抽出部と、オブジェクト抽出部で抽出されたオブジェクトの高さ情報を算出する高さ情報算出部とを備えた構成であってもよい。

このような構成によれば、さらに、第１のオブジェクトおよび第２のオブジェクトを共通する処理ブロックによって処理することができる。

また、第１のオブジェクトについての処理を行うキャリブレーションモードと、第２のオブジェクトについての処理を行う算出モードとを切り替える切替制御部を備え、キャリブレーションモードにおいては、オブジェクト抽出部は、第１のオブジェクトを抽出し、高さ情報算出部は、算出した第１のオブジェクトについての高さ情報をパラメータ決定部に出力し、算出モードにおいては、オブジェクト抽出部は、第２のオブジェクトを抽出し、高さ情報算出部は、算出した第２のオブジェクトについての高さ情報を参照高さ情報算出部に出力する構成であってもよい。

このような構成によれば、さらに、オブジェクト抽出部および高さ情報算出部に対して、モードに応じた適切な切り替え制御を行うことが可能となる。

さらに、パラメータ算出部が算出したパラメータを記憶する記憶部を備えた構成であってもよい。

このような構成によれば、さらに、あらかじめ、設置時等にキャリブレーションモードを実行して算出されたパラメータを記憶しておき、追って必要なときに、算出モードにおいて、記憶部に記憶されたパラメータを用いて、オブジェクトの高さ算出処理を行うことができる。

また、オブジェクト高さ算出部が算出した第２のオブジェクトの高さを出力する出力部を備えた構成であってもよい。

このような構成によれば、さらに、オブジェクトの高さを出力することで、外部の機器等で、その高さを利用して、追尾等の様々な処理を行うことが可能となる。

また、オブジェクト高さ算出部が算出した第２のオブジェクトの高さを表示する表示部を備えた構成であってもよい。

このような構成によれば、さらに、オブジェクトの高さを表示することができるので、ユーザにとって利便性に優れた構成を実現できる。

さらに、表示部は、第２のオブジェクトの高さと画像とを表示する構成であってもよい。

このような構成によれば、さらに、画像と合わせてオブジェクトの高さを表示することができるので、さらに利便性に優れた構成を実現できる。

また、オブジェクト抽出部は、少なくとも三つの互いに異なる位置における第１のオブジェクトを抽出する構成であってもよい。

このような構成によれば、さらに、第１のオブジェクトの少なくとも三つの位置における座標情報を用いることで、より正確に消失点および消失線を算出することが可能となる。

さらに、オブジェクト抽出部は、第１のオブジェクトの軌跡の変化にもとづいて第１のオブジェクトの抽出を行う構成であってもよい。

このような構成によれば、さらに、第１のオブジェクトの軌跡の変化にもとづいて、例えば、軌跡の変化が異常な部分におけるオブジェクトの画像は抽出しない等の処理が可能となるので、信頼性の高い構成を実現できる。

また、第２のオブジェクトが人物であり、オブジェクト高さ算出部は、人物の身長を算出する構成であってもよい。

このような構成によれば、さらに、画像における人物の身長算出に適した構成を実現できる。

次に、本発明のオブジェクト検索装置は、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、消失点および消失線を含むパラメータを算出するパラメータ算出部と、画像中における、複数のオブジェクトの座標情報およびパラメータを用いて、複数のオブジェクトの高さを算出するオブジェクト高さ算出部と、複数のオブジェクトの高さを記憶するオブジェクト高さ記憶部と、オブジェクト高さ記憶部に記憶された、複数のオブジェクトから、所望の高さを有するオブジェクトを検索する検索部とを備えたことを特徴としている。

このような構成によれば、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、第２のオブジェクトの高さを算出することができるので、カメラパラメータを算出することなく、オブジェクトの高さを算出し、その高さを検索キーとしてオブジェクトを検索することのできるオブジェクト検索装置を提供できる。

次に、本発明のオブジェクト高さ算出方法は、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、消失点および消失線を含むパラメータを算出する第１のステップと、画像中における、第２のオブジェクトの座標情報およびパラメータを用いて、第２のオブジェクトの高さを算出する第２のステップとを備えたことを特徴としている。

このような方法によれば、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、第２のオブジェクトの高さを算出することができるので、カメラパラメータを算出することなく、オブジェクトの高さを算出することができるオブジェクト高さ算出方法を提供することができる。

次に、本発明のオブジェクト高さ算出プログラムは、コンピュータに、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、消失点および消失線を含むパラメータを算出する第１のステップと、画像中における、第２のオブジェクトの座標情報およびパラメータを用いて、第２のオブジェクトの高さを算出する第２のステップとを実行させることを特徴としている。

このようなプログラムによれば、画像中における第１のオブジェクトの複数の位置における座標情報を用いて、第２のオブジェクトの高さを算出することができるので、カメラパラメータを算出することなく、オブジェクトの高さを算出することができるオブジェクト高さ算出プログラムを提供することができる。

以上述べたように、本発明によれば、カメラパラメータを算出することなく、オブジェクトの高さを算出することのできるオブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法を提供することができる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態におけるオブジェクト高さ算出装置２の構成について説明する。図１は本発明の第１の実施の形態におけるオブジェクト高さ算出装置２の構成を示すブロック図である。オブジェクト高さ算出装置２は、カメラ部４で撮影された、または、他の装置等から入力された画像から、被写体である物体（以下、オブジェクトとも記す）の高さ（例えば、物体が人物の場合には、その身長）を算出することのできる装置である。オブジェクト高さ算出装置２は、キャリブレーションモードと算出モードとを有する。

オブジェクト高さ算出装置２は、そのキャリブレーションモードにおいては、以降の算出対象なる物体（以下、対象物体とも記す）の高さを正確に算出することができるように、参照物体（第１のオブジェクトとも記す）を移動させながら、その画像を撮影して、後述する消失点、消失線についての情報、参照位置、および、その参照位置における第１のオブジェクトの高さ情報（以下、参照情報と記す）を含むパラメータを算出する。

一方、オブジェクト高さ算出装置２は、その算出モードにおいては、キャリブレーションモードにおいて算出されたパラメータを用いて、対象物体（第２のオブジェクトとも記す）の高さを算出する。例えば、オブジェクト高さ算出装置２は、ユーザが画像を表示部２０で見ながら、複数の物体の中から所望の対象物体を選択することにより、その対象物体の高さを算出して、出力部２６から外部の装置に出力または表示部２０に表示することができる。通常は、キャリブレーションモードにおいて、一度パラメータを算出しておくことにより、以降は算出モードでの処理を行えばよいが、カメラ部４が動いた場合や、より信頼性の高いパラメータを再度算出したい場合には、算出モードから再度キャリブレーションモードにモードを切り替えることもできる。これらのモードの切り替えは、入力部６からのユーザ入力等によって行うことができる。

オブジェクト高さ算出装置２は、カメラで撮影された画像における、消失点、消失線と呼ばれる考え方を用いてオブジェクトの高さを算出する。ここで、この考え方について説明する。位置を固定されたカメラで撮影された画像においては、同じ高さを有し、互いに平行な一組の物体を撮影した場合に、それぞれの物体の上端同士を結ぶ直線、および、それぞれの物体の下端同士を結ぶ直線が、一点（この点を消失点と記す）に交わる。また、この消失点を、様々な高さの、同じ高さを有し、互いに平行な一組の物体について、それぞれ算出した消失点は、一つの直線上に位置する（この直線を消失線と記す）。オブジェクト高さ算出装置２は、この現象を利用して、対象物体の高さを算出する。このような考え方は、例えば、Ａ ｎｅｗ ａｐｐｒｏａｃｈ ｔｏ ｏｂｔａｉｎ ｈｅｉｇｈｔ ｍｅａｓｕｒｅｍｅｎｔｓ ｆｒｏｍ ｖｉｄｅｏ， Ａｎｔｏｎｉｏ Ｃｒｉｍｉｎｉｓｉ， ｅｔ ａｌ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｏｘｆｏｒｄ， １９９８に示されている。図２は、本発明の第１の実施の形態におけるオブジェクト高さ算出装置２の高さ算出の原理について説明するための図である。

図２に示したように、今、カメラ部４の位置および撮影方向を含むカメラパラメータを固定した状態で、同一の人物Ａが、画像中の互いに異なる三つの位置３０，３２，３４で撮影されたとする。この場合、人物Ａの位置３０における頭頂の位置と足元の位置とを結ぶベクトルを高さベクトル３６とし、位置３２における高さベクトル３８、および、位置３４における高さベクトル４０をそれぞれ規定する。そうすると、三つの高さベクトル３６，３８，４０は、互いに平行であり、ともに同じ高さの物体についてのベクトルとなる。

よって、図２において、前述の考え方を適用すると、高さベクトル３６と高さベクトル３８それぞれの上端を結ぶ直線５２と、それぞれの下端を結ぶ直線５４との交わる点が消失点４２であり、高さベクトル３８と高さベクトル４０それぞれの上端を結ぶ直線５６と、それぞれの下端を結ぶ直線５８との交わる点が消失点４４である。そして、消失点４２および消失点４４を結ぶ直線が消失線６０となる。上述の考え方においては、この画像上において、すべての互いに平行、かつ、高さの等しい物体について同様に消失点を求めることができ、その消失点は高さの違いによらず、同じ消失線６０上に位置することとなる。このように、消失線６０を算出するためには、少なくとも二つの消失点４２，４４を算出する必要がある。すなわち、同一のカメラ部４で撮影された、少なくとも三つの位置における、互いに平行、かつ、同一の物体の画像があれば、消失線６０を算出することができる。

オブジェクト高さ算出装置２は、このような考え方を利用する。すなわち、キャリブレーションモードにおいて、参照物体を移動させながら、あらかじめ動画像の撮影を行っておき、少なくとも三つの位置における高さベクトルを算出して、前述消失点４２，４４および消失線６０を算出しておく。そして、算出モードにおいては、対象物体について、キャリブレーションモードで算出された消失線６０の情報を用いて、その高さ情報を算出する。具体的な高さ情報の算出方法については、後述する。

ここで、オブジェクト高さ算出装置２の構成について説明する。図１に示したように、オブジェクト高さ算出装置２は、前述のキャリブレーションモードおよび算出モードのモード切り替え、参照物体の実際の高さ、複数の物体から対象物体を選択する情報等の各種情報が入力される入力部６、入力部６からの入力に応じて、カメラ部４等から入力された画像から、参照物体や対象物体を抽出するオブジェクト抽出部８、オブジェクト抽出部８で抽出されたオブジェクトについて、画像中でのオブジェクトの高さを示す情報、例えば、具体的にはオブジェクトの上端と下端との間の画素数、および、画像中でのオブジェクトの位置を示す情報（以下、これらの情報を高さ情報と記す）を算出する高さ情報算出部１０、入力部６からの入力に応じて、オブジェクト抽出部８および高さ情報算出部１０の機能を切り替える切替制御部７、高さ情報算出部１０で算出された参照物体の高さ情報から、消失点４２，４４についての情報（例えば、座標）、消失線６０についての情報（例えば、画像中における関数）、および、参照情報をそれぞれ算出または決定する、消失点算出部１４、消失線算出部１６および参照情報決定部１７を有するパラメータ算出部１２、パラメータ算出部１２で算出された消失線６０に関する情報、入力部６から入力された参照物体の実際の高さおよび参照情報を記憶する記憶部１８、記憶部１８に記憶された情報を用いて、高さ情報算出部１０で算出された対象物体についての高さ情報を用いて、対象物体の参照位置における高さ情報を算出する参照高さ情報算出部２２、参照物体の実際の高さ、参照情報および参照高さ情報算出部２２で算出された対象物体の参照位置における高さ情報を用いて対象物体の高さを算出するオブジェクト高さ算出部２４、オブジェクト高さ算出部２４で算出された対象物体の高さおよびカメラ部４で撮影された画像をユーザに対して表示する表示部２０、ならびに、オブジェクト高さ算出部２４で算出された対象物体の高さを外部装置等に出力する出力部２６を備える。

入力部６としては、キーボードやマウス等公知の入力デバイスを用いることができる。マウス等のポインティングデバイスを用いれば、画像上の複数の物体から対象物体を選択しやすい。

記憶部１８としては、ハードディスクや半導体メモリ等の公知の記憶デバイスを用いることができる。

表示部２０としては、ユーザに対して画像を表示する公知の表示デバイスを用いることができる。

出力部２６としては、外部に接続された装置や記憶媒体等に、対象物体の高さを出力する機能を有する各種出力デバイスを用いることができる。

カメラ部４としては、監視カメラ装置やビデオカメラ装置等の動画を撮影することの可能な、公知の撮影装置を用いることができる。

また、切替制御部７、オブジェクト抽出部８、高さ情報算出部１０、消失点算出部１４、消失線算出部１６、参照情報決定部１７、参照高さ情報算出部２２およびオブジェクト高さ算出部２４のそれぞれの機能は、専用回路等のハードウェアで実現することもできるし、それぞれの機能がソフトウェアで記述され、コンピュータによって実行される構成であってもよい。

また、オブジェクト高さ算出装置２のオブジェクト抽出部８に入力される画像は、カメラ部４から入力される構成に限定されず、記憶媒体から読み込まれた画像や外部の機器から画像が入力される構成であってもよい。

ここで、オブジェクト高さ算出装置２の構成要素それぞれの機能について、詳細に説明する。まず、オブジェクト抽出部８は、入力された画像から、オブジェクトを抽出する。オブジェクトの抽出は、画像中の動きのある領域を検出することによって行うことができる。オブジェクト抽出部８は、画像から動きが検出された領域を切り出してオブジェクトとして抽出し、画像およびオブジェクトの位置、大きさについての情報を高さ情報算出部１０に出力する。画像中の動き検出を行う方法としては、例えば、撮影されたフレーム画像間の差分から動きを検出する方法や、背景を記憶しておいて、その背景画像との差分から動きを検出する方法を用いることができる。

オブジェクト抽出部８は、キャリブレーションモードと算出モードで異なる動作を行う。まず、キャリブレーションモードにおいては、前述の消失線６０を算出するために、参照物体について、少なくとも三つの位置におけるオブジェクトを抽出して、その画像、オブジェクトの位置およびその大きさを示す情報を高さ情報算出部１０に出力する。キャリブレーションモードにおいては、オブジェクト高さ算出装置２は、参照物体を移動させながらオブジェクト抽出を行う。例えば、参照物体として人物を用いる場合には、その人物に対して表示部２０を用いて「歩き回ってください」等の誘導を行うとともに、入力画像からオブジェクト抽出を行うことで、異なる位置における同一の参照物体のオブジェクト抽出を行うことができる。また、画像内で移動している姿を撮影された人物を参照物体として利用することも可能である。

このように、キャリブレーションモードにおいて、参照物体を歩き回らせた状態で撮影を行った場合には、参照物体の頭頂の部分や足元の部分の撮影が様々な障害物によって妨げられ、適切なオブジェクト抽出ができない場合がある。このような場合をオクルージョンが発生した場合と記す。図３は、本発明の第１の実施の形態におけるオブジェクト高さ算出装置２のキャリブレーションモードにおいて、オクルージョンが発生した場合について説明するための図である。

図３（ａ）に示した例において、参照物体７０が矢印の方向に移動しているとして、このとき、画像中のＥに示した位置では、下半身の領域７２は何らかの障害物によってオクルージョンが発生し、撮影を妨げられている。すなわち、図３（ｂ）のように、横軸にフレーム数をとって、縦軸に画像における、参照物体のＹ軸座標をとった場合、Ｅに示した位置では、オクルージョンが発生しているので、見かけ上足元の座標位置が周辺よりも高くなる。オブジェクト抽出部８は、抽出すべきオブジェクトを選択する場合に、図３（ｂ）に示すような、オブジェクトの軌跡を用いて、その座標が前後の座標よりも急激に変化しているような場合には、その位置のオブジェクト（例えばＥ）を抽出せずに、比較的穏やかに変化している部分、例えば、図３（ａ）および図３（ｂ）においては、位置Ｃ，Ｄ，Ｆにおけるオブジェクトを抽出する。このように、本実施の形態におけるオブジェクト高さ算出装置２は、オブジェクト抽出部８が、オブジェクトの軌跡を用いて、前後の座標と比較して、座標が急激に変化しているようなオブジェクトは抽出しないので、オクルージョンの影響を受けにくい構成を実現できる。

一方、オブジェクト抽出部８は、算出モードにおいては、入力された画像から、入力部６によって指定された対象物体を抽出して、その画像、対象物体の位置および大きさを示す情報を高さ情報算出部１０に対して出力する。

次に、高さ情報算出部１０の機能について説明する。高さ情報算出部１０も、キャリブレーションモードと算出モードとで機能が異なる。図４は、本発明の第１の実施の形態におけるオブジェクト高さ算出装置２の高さ情報算出部１０の機能について説明するための図である。

まず、キャリブレーションモードにおいては、高さ情報算出部１０は、図４（ａ）〜図４（ｃ）に示したような少なくとも三つの画像６４，６６，６８およびそれぞれのオブジェクト８２，８４，８６の位置、大きさを示す情報をオブジェクト抽出部８から入力して、図４（ｄ）に示したように、それぞれの画像について抽出されたオブジェクト８２，８４，８６について、一つの画像９６に撮影されたと仮定したときの、図４（ｅ）に示したような、高さベクトル９０，９２，９４を示す高さ情報を算出する。具体的には、高さ情報算出部１０は、画像９６中のオブジェクト８２，８４，８６それぞれについて、それぞれのオブジェクトを規定する情報として、その高さ方向の画素数および足元の位置の座標等の高さベクトルを規定するために必要な情報（これらの情報を高さ情報と記す）を算出する。算出した三つの高さ情報は、パラメータ算出部１２に送られる。

一方、算出モードにおいては、高さ情報算出部１０は、オブジェクト抽出部８から送られた対象物体について、その高さ情報を算出して、参照高さ情報算出部２２に出力する。

次に、パラメータ算出部１２の機能について説明する。図５は、本発明の第１の実施の形態におけるオブジェクト高さ算出装置２のパラメータ算出部１２の機能について説明するための図である。

図５に示したように、高さ情報算出部１０より、画像９６における高さベクトル９０，９２，９４を示す高さ情報がパラメータ算出部１２に送られたものとする。このような場合、まず、消失点算出部１４は、これら三つの高さベクトル９０，９２，９４から、消失点を求める。具体的には、まず、高さベクトル９０および高さベクトル９２について、それぞれの上端部分を結ぶ直線１００を算出するとともに、それぞれの下端部分を結ぶ直線１０２を算出する。これらの直線１００および直線１０２が交わる点を消失点１０４とする。次に、高さベクトル９２および高さベクトル９４について、それぞれの上端部分を結ぶ直線１０６を算出するとともに、それぞれの下端部分を結ぶ直線１０８を算出する。これらの直線１０６および直線１０８が交わる点を消失点１１０とする。

次に、消失線算出部１６は、消失点算出部１４によって算出された消失点１０４，１１０を結ぶ直線を算出して、この直線を消失線１１２として決定する。

なお、上述の消失点１０４，１１０の算出は、三つの高さベクトル９０，９２，９４のうち、任意の二つを組み合わせて行うことができる。いずれの組み合わせで消失点１０４，１１０の算出を行っても、消失線１１２は大略重なり合う。

また、参照情報決定部１７は、図５に示した三つの高さベクトル９０，９２，９４のうち、いずれかの高さベクトルの下端位置（参照物体が人物のときには、その足元の位置）を参照位置として決定し、その座標とともに、その参照位置における高さベクトルの長さ（画素数）を、参照情報として決定する。ここでは、高さベクトル９２の下端位置を参照位置１１４として決定し、その位置における高さベクトル９２の長さを、長さＬ１とすると、参照位置１１４の座標および長さＬ１が参照情報となる。

次に、参照高さ情報算出部２２は、記憶部１８に記憶された情報および高さ情報算出部１０で算出された、対象物体の高さ情報から、対象物体の参照位置１１４における高さ情報を算出する。図６は、本発明の第１の実施の形態におけるオブジェクト高さ算出装置２の参照高さ情報算出部２２の機能を説明するための図である。図６に示したように、画像９６における消失線１１２を示す情報および参照位置１１４の座標が記憶部１８に記憶されているものとする。また、対象物体の高さベクトル１２０が、図６に示す位置にあるときの高さ情報が高さ情報算出部１０から出力されたものとする。

このような場合において、参照高さ情報算出部２２は、まず、対象物体の高さベクトル１２０の下端と、参照位置１１４とを結ぶ直線１２２を算出する。そして、直線１２２と消失線１１２とが交わる点を、消失点１２６として決定する。さらに、消失点１２６と高さベクトル１２０の上端とを結ぶ直線１２４を算出する。

そして、参照高さ情報算出部２２は、参照位置１１４から垂直上向きに延長した直線１２８を算出して、直線１２４と直線１２８とが交わる点１５０の位置を算出する。これにより、参照位置１１４と点１５０とを結ぶ、対象物体が参照位置１１４に位置した場合の高さベクトル１５１を算出できる。よって、点１５０と参照位置１１４との間の距離を測定する（画素数をカウントする）ことにより、高さベクトル１５１の長さＬ２を算出することができる。参照高さ情報算出部２２は、算出した長さＬ２の情報をオブジェクト高さ算出部２４に送る。

次に、オブジェクト高さ算出部２４は、参照位置１１４における対象物体の高さベクトル１５１の長さＬ２の情報、あらかじめ記憶部１８に記憶された、参照物体の参照位置１１４における長さＬ１の情報および実際の参照物体の高さＬＬを用いて、対象物体の実際の高さＬＲを、下記演算を行うことにより、算出する。

ＬＲ＝ＬＬ×（Ｌ１／Ｌ２）
オブジェクト高さ算出部２４において算出された、対象物体の実際の高さＬＲの値は、表示部２０において、カメラ部４で撮影された画像と並列にまたは重畳して表示されるとともに、出力部２６から外部の装置に出力される。

ここで、本発明の第１の実施の形態におけるオブジェクト高さ算出装置２の動作について説明する。図７は、本発明の第１の実施の形態におけるオブジェクト高さ算出装置２の動作について説明するためのフローチャートである。

図７に示したように、まず、入力部６から、キャリブレーションモードおよび算出モードのいずれのモードを選択するかの入力が行われる（Ｓ２）。切替制御部７は、入力に応じて、オブジェクト抽出部８および高さ情報算出部１０を二つのモードに従って制御する（Ｓ４）。

まず、キャリブレーションモードの場合には、切替制御部７は、オブジェクト抽出部８に、入力された画像から、参照物体の少なくとも互いに異なる三つの位置におけるオブジェクトを抽出させる（Ｓ６）。

オブジェクト抽出部８で抽出された少なくとも三つのオブジェクトを示す情報および画像は、高さ情報算出部１０に送られて、三つのオブジェクトそれぞれについて、高さ情報が算出される（Ｓ８）。

次に、高さ情報算出部１０で算出された三つの高さ情報は、パラメータ算出部１２に送られて、消失点算出部１４で消失点１０４，１１０が算出される（Ｓ１０）。次に、消失点１０４，１１０の情報を用いて、消失線算出部１６で消失線１１２が算出される（Ｓ１２）。

さらに、参照情報決定部１７によって、三つのオブジェクトのいずれかの位置が参照位置として決定されるとともに、その位置を示す情報と、その位置における参照物体の高さベクトルの長さＬ１が参照情報として決定され（Ｓ１４）、参照情報および消失線１１２の情報が記憶部１８に記憶され、処理を終了する（Ｓ１６）。また、別途入力部６から参照物体の実際の高さＬＬが入力され、記憶部１８に記憶される。

一方、算出モードにおいては、まず、切替制御部７は、オブジェクト抽出部８に、入力部６より入力された対象物体を画像より抽出させる（Ｓ２０）。

次に、高さ情報算出部１０は、オブジェクト抽出部８で抽出された対象物体について、高さ情報を算出する（Ｓ２２）。

参照高さ情報算出部２２は、高さ情報算出部１０で算出された対象物体についての高さ情報、記憶部１８に記憶された参照情報および消失線についての情報を用いて、参照位置１１４における対象物体の高さベクトル１５１の長さＬ２を算出する（Ｓ２４）。

オブジェクト高さ算出部２４は、参照高さ情報算出部２２で算出された対象物体の参照位置１１４における高さベクトル１５１の長さＬ２、記憶部１８に記憶された参照物体の参照位置における高さベクトルの長さＬ１、および、参照物体の実際の高さＬＬを用いて、対象物体の実際の高さＬＲを算出する（Ｓ２６）。算出された結果は、表示部２０に表示または出力部２６から出力されて、処理を終了する（Ｓ２８）。

以上述べたように、オブジェクト高さ算出装置２を用いれば、面倒なカメラパラメータ等の算出、計測等を行うことなく、単眼のカメラ一台を用いて対象物体の高さを算出することができる。

なお、本実施の形態におけるオブジェクト高さ算出装置２においては、少なくとも三つの互いに異なる位置における参照物体の画像を用いて、二つの消失点１０４，１１０を算出し、消失線１１２を算出したが、本発明はこの例に限定されるものではない。例えば、消失線１１２が画像に対して水平であると仮定すれば、画像から二つの互いに異なる位置における参照物体の画像を用いて、一つの消失点を算出することにより、その消失点を通る水平線を消失線１１２として算出することができる。三つの参照物体の画像を用いて二つの消失点１０４，１１０、消失線１１２を算出するほうが、二つの参照物体の画像を用いて消失線を算出するよりも、対象物体の高さＬ２を精度よく測定することができるが、多少の誤差は生じるものの、いずれの方法においても実用性は高い。

また、本実施の形態におけるオブジェクト高さ算出装置２においては、消失線１１２を算出するために、三つの参照物体の画像を用いる例を示したが、本発明はこの例に限定されるものではない。より多くの参照物体の画像を用いて消失線１１２の算出を行うほうが、より精度よく消失線１１２を算出でき、その結果、より精度よく対象物体の高さを算出することができる。このような場合には、消失線を算出する際に、最小二乗法や最小二乗メディアン法等の、各種誤差除去方法を用いることができる。

さらに、本実施の形態におけるオブジェクト高さ算出装置２においては、参照位置１１４として、画像における参照物体の位置のいずれかを用いる例を説明したが、本発明はこの例に限定されず、参照位置としては、画像中の任意の位置をとることができる。この場合には、参照物体の参照位置における高さベクトルの長さＬ１は、消失線を用いて算出することができる。

また、本実施の形態におけるオブジェクト高さ算出装置２においては、オブジェクトの抽出や高さ情報の算出等を行う場合に、オブジェクトの高さベクトルが垂直方向に伸びているとして説明を行ったが、本発明はこの例に限定されない。実際には、図３（ａ）に示したように、オブジェクトは、斜め方向に傾いて撮影される場合もある。このような場合においても、本発明は適用可能であり、実用的には問題ないが、参照物体を抽出する際に、互いに平行なオブジェクトを参照物体として選択するほうが、対象物体の高さ算出の精度を向上させることができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態におけるオブジェクト検索装置１４０について説明する。図８は、本発明の第２の実施の形態におけるオブジェクト検索装置１４０の構成を示すブロック図である。オブジェクト検索装置１４０は、前述のオブジェクト高さ算出装置２の有する二つのモード、すなわち、キャリブレーションモードおよび算出モードに加えて、検索対象となるオブジェクト（以下、検索物体とも記す）の高さ（例えば、検索物体が人物である場合には、その身長）を入力部６より入力して、画像上の複数のオブジェクトから、その高さ情報と類似度の高い高さ情報を有するオブジェクトを検索して、出力または表示する、検索モードを有する。

図８に示したように、オブジェクト検索装置１４０の構成が、前述したオブジェクト高さ算出装置２の構成と異なるところは、オブジェクト高さ算出部２４で算出された対象物体の高さＬ２の値が対象物体の画像における位置情報とともに記憶されるオブジェクト高さ記憶部１３０を備える点、入力部６から入力された検索物体の高さにもとづいて、オブジェクト高さ記憶部１３０に記憶された情報から、類似度の高い情報を検索し、対応するオブジェクトについての情報を出力する検索部１３２を備える点、および、切替制御部１３７が、前述のキャリブレーションモード、算出モードに加えて、検索モードへの切り替え制御を行う点、さらに、表示部２０または出力部２６が、検索部１３２による検索結果を出力する点である。

なお、図８のオブジェクト検索装置１４０において、前述のオブジェクト高さ算出装置２と共通する構成要素については、同一の符号を付して、その説明を省略する。

次に、オブジェクト検索装置１４０の動作について説明する。図９は、本発明の第２の実施の形態におけるオブジェクト検索装置１４０の動作について説明するためのフローチャートである。

図９に示したように、オブジェクト検索装置１４０は、前述のオブジェクト高さ算出装置２と同様の、キャリブレーションモード（Ｓ６〜Ｓ１６）および算出モード（Ｓ２０〜Ｓ２８）を備え、さらに、画像上の物体から検索物体を検索する検索モード（Ｓ３０〜Ｓ４４）を備える。検索モードについても、算出モードと同様に、あらかじめキャリブレーションモードが実行されて、参照情報が記憶部１８に記憶された状態で実行されるものとする。

オブジェクト検索装置１４０においては、まず、入力部６よりモードの切り替え入力が行われる（Ｓ２９）。キャリブレーションモードおよび算出モードについては、説明を省略する。

検索モードが選択された場合には、合わせて検索物体についての高さ（例えば、人物の場合には身長）が入力されて、検索部１３２に送られる（Ｓ３１）。

次に、オブジェクト抽出部８は、画像中に撮影されている任意の対象物体の抽出を行う（Ｓ３０）。

そして、高さ情報算出部１０は、オブジェクト抽出部８から出力された対象物体の高さ情報を算出して、その結果を参照高さ情報算出部２２に送る（Ｓ３２）。

参照高さ情報算出部２２は、高さ情報算出部１０より送られた対象物体の高さ情報、ならびに、記憶部１８に記憶された、消失線についての情報および参照情報にもとづいて、その対象物体の参照位置における高さベクトルＬ２の長さを算出する（Ｓ３４）。

オブジェクト高さ算出部２４は、記憶部１８に記憶された、参照物体の実際の高さＬＬ、参照物体の参照位置における高さベクトルの長さＬ１、および、参照高さ情報算出部２２で算出された、対象物体の参照位置における高さベクトルの長さＬ２にもとづいて、その対象物体の実際の高さＬＲを算出する（Ｓ３６）。

オブジェクト高さ算出部２４で算出された対象物体の高さＬＲの値は、その対象物体の画像上の位置を示す情報とともに、オブジェクト高さ記憶部１３０に記憶される（Ｓ３８）。

切替制御部１３７は、画像中のすべての対象物体について、その高さＬＲが算出されたかを判定し（Ｓ４０）、すべての対象物体について、高さＬＲが算出されている場合には、ステップＳ４２に進む。一方、すべての対象物体について、高さＬＲが算出されていない場合には、ステップＳ３０に戻り、画像中のすべての対象物体について、その高さＬＲが算出されるまでステップＳ３０〜ステップＳ３８までの処理を繰り返す。

すべての対象物体について、その高さＬＲの算出が終了したと判定された場合には、切替制御部１３７は、検索部１３２に、所望の高さＬＤを有する検索物体を検索させる。検索部１３２は、オブジェクト高さ記憶部１３０に記憶された対象物体の高さＬＲの値と所望の高さＬＤの値とを比較して、類似度の高い高さＬＲを有する対象物体を検索物体として決定する（Ｓ４２）。

出力部２６または表示部２０は、その検索物体についての情報（例えば、位置情報や識別情報）を出力または表示して処理を終了する（Ｓ４４）。

以上述べたように、本実施の形態におけるオブジェクト検索装置１４０を用いることによって、ユーザが入力した高さについての情報を検索キーとして、画像中のオブジェクトから、所望の高さを有するオブジェクトを検索することが可能となる。

特に、このようなオブジェクト検索装置１４０を用いて、画像中の人物の検索、追尾等を行うことにより、従来のような、服の色等を検索キーとするだけでなく、大人または子供の指定や、身長を指定することにより、該当する人物を検索することができる。

なお、本実施の形態においては、検索キーとして、オブジェクトの高さ、例えば身長を検索キーとして用いる例を示したが、本発明はこの例に限定されない。例えば、画像内の任意の位置におけるオブジェクトの高さ方向の画素数を検索キーとして用いることも可能である。このような場合には、参照物体の実際の高さＬＬや検索物体の実際の身長を入力することなく、検索を行うことができる。

さらに、本実施の形態のオブジェクト検索装置によれば、必ずしも色を検索キーとする必要がないので、白黒カメラおよび赤外線カメラ等にも適用可能な構成を実現できる。

また、本実施の形態のオブジェクト検索装置を複数用いて、出力部２６から出力された検索物体についての情報（例えば、身長）を引き継ぐことで、複数装置間において、同じ検索物体の追尾を行うことができる。

以上述べたように、本発明によれば、カメラパラメータを算出することなく、オブジェクトの高さを算出することができるという優れた効果を有し、画像における、人物の身長等のオブジェクトの高さを算出するオブジェクト高さ算出装置、および、オブジェクトの高さを用いて所望のオブジェクトの検索を行うオブジェクト検索装置等として有用である。

本発明の第１の実施の形態におけるオブジェクト高さ算出装置の構成を示すブロック図 同オブジェクト高さ算出装置の高さ算出の原理について説明するための図 同オブジェクト高さ算出装置のキャリブレーションモードにおいてオクルージョンが発生した場合について説明するための図 同オブジェクト高さ算出装置の高さ情報算出部の機能について説明するための図 同オブジェクト高さ算出装置のパラメータ算出部の機能について説明するための図 同オブジェクト高さ算出装置の参照高さ情報算出部の機能を説明するための図 同オブジェクト高さ算出装置の動作について説明するためのフローチャート 本発明の第２の実施の形態におけるオブジェクト検索装置の構成を示すブロック図 同オブジェクト検索装置の動作について説明するためのフローチャート

符号の説明

２ オブジェクト高さ算出装置
４ カメラ部
６ 入力部
７，１３７ 切替制御部
８ オブジェクト抽出部
１０ 高さ情報算出部
１２ パラメータ算出部
１４ 消失点算出部
１６ 消失線算出部
１７ 参照情報決定部
１８ 記憶部
２０ 表示部
２２ 参照高さ情報算出部
２４ オブジェクト高さ算出部
２６ 出力部
３０，３２，３４ 位置
３６，３８，４０，９０，９２，９４，１２０，１５１ 高さベクトル
４２，４４，１０４，１１０，１２６ 消失点
５２，５４，５６，５８，１００，１０２，１０６，１０８，１２２，１２４，１２８ 直線
６０，１１２ 消失線
６４，６６，６８，９６ 画像
７０ 参照物体
７２ 領域
８２，８４，８６ オブジェクト
１１４ 参照位置
１３０ オブジェクト高さ記憶部
１３２ 検索部
１４０ オブジェクト検索装置
１５０ 点

Claims (15)

1. 画像中における第１のオブジェクトの複数の位置における座標情報を用いて、消失点および消失線を含むパラメータを算出するパラメータ算出部と、
   前記画像中における、第２のオブジェクトの座標情報および前記パラメータを用いて、前記第２のオブジェクトの高さを算出するオブジェクト高さ算出部とを備えたことを特徴とするオブジェクト高さ算出装置。
2. 前記パラメータ算出部は、前記第１のオブジェクトの座標情報を用いて参照位置を決定し、前記参照位置における前記第１のオブジェクトの高さ情報を算出する参照情報決定部を有し、
   前記第１のオブジェクトの実際の高さが入力される入力部と、
   前記画像中における、前記第２のオブジェクトの前記座標情報を用いて、前記参照位置における前記第２のオブジェクトの高さ情報を算出する参照高さ情報算出部とを備え、
   前記オブジェクト高さ算出部は、前記第１のオブジェクトの実際の高さ、前記参照位置における前記第１のオブジェクトの高さ情報、および、前記第２のオブジェクトの高さ情報を用いて、前記第２のオブジェクトの実際の高さを算出することを特徴とする請求項１に記載のオブジェクト高さ算出装置。
3. 前記参照情報決定部は、前記第１のオブジェクトの前記複数の位置のうちのいずれか一つを前記参照位置として決定することを特徴とする請求項２に記載のオブジェクト高さ算出装置。
4. 前記画像から前記第１のオブジェクトおよび前記第２のオブジェクトの少なくとも一方を抽出するオブジェクト抽出部と、
   前記オブジェクト抽出部で抽出されたオブジェクトの高さ情報を算出する高さ情報算出部とを備えたことを特徴とする請求項２または請求項３に記載のオブジェクト高さ算出装置。
5. 前記第１のオブジェクトについての処理を行うキャリブレーションモードと、前記第２のオブジェクトについての処理を行う算出モードとを切り替える切替制御部を備え、
   前記キャリブレーションモードにおいては、前記オブジェクト抽出部は、前記第１のオブジェクトを抽出し、前記高さ情報算出部は、算出した前記第１のオブジェクトについての前記高さ情報を前記パラメータ算出部に出力し、
   前記算出モードにおいては、前記オブジェクト抽出部は、前記第２のオブジェクトを抽出し、前記高さ情報算出部は、算出した前記第２のオブジェクトについての前記高さ情報を前記参照高さ情報算出部に出力することを特徴とする請求項４に記載のオブジェクト高さ算出装置。
6. 前記パラメータ算出部が算出した前記パラメータを記憶する記憶部を備えたことを特徴とする請求項１から請求項５までのいずれか１項に記載のオブジェクト高さ算出装置。
7. 前記オブジェクト高さ算出部が算出した前記第２のオブジェクトの高さを出力する出力部を備えたことを特徴とする請求項１から請求項６までのいずれか１項に記載のオブジェクト高さ算出装置。
8. 前記オブジェクト高さ算出部が算出した前記第２のオブジェクトの高さを表示する表示部を備えたことを特徴とする請求項１から請求項７までのいずれか１項に記載のオブジェクト高さ算出装置。
9. 前記表示部は、前記第２のオブジェクトの高さと前記画像とを表示することを特徴とする請求項８に記載のオブジェクト高さ算出装置。
10. 前記オブジェクト抽出部は、少なくとも三つの互いに異なる位置における前記第１のオブジェクトを抽出することを特徴とする請求項５に記載のオブジェクト高さ算出装置。
11. 前記オブジェクト抽出部は、前記第１のオブジェクトの軌跡の変化にもとづいて前記第１のオブジェクトの抽出を行うことを特徴とする請求項１０に記載のオブジェクト高さ算出装置。
12. 前記第２のオブジェクトが人物であり、前記オブジェクト高さ算出部は、前記人物の身長を算出することを特徴とする請求項１から請求項１１までのいずれか１項に記載のオブジェクト高さ算出装置。
13. 画像中における第１のオブジェクトの複数の位置における座標情報を用いて、消失点および消失線を含むパラメータを算出するパラメータ算出部と、
    前記画像中における、複数のオブジェクトの座標情報および前記パラメータを用いて、前記複数のオブジェクトの高さを算出するオブジェクト高さ算出部と、
    前記複数のオブジェクトの高さを記憶するオブジェクト高さ記憶部と、
    前記オブジェクト高さ記憶部に記憶された、前記複数のオブジェクトから、所望の高さを有するオブジェクトを検索する検索部とを備えたことを特徴とするオブジェクト検索装置。
14. 画像中における第１のオブジェクトの複数の位置における座標情報を用いて、消失点および消失線を含むパラメータを算出する第１のステップと、
    前記画像中における、第２のオブジェクトの座標情報および前記パラメータを用いて、前記第２のオブジェクトの高さを算出する第２のステップとを備えたことを特徴とするオブジェクト高さ算出方法。
15. コンピュータに、
    画像中における第１のオブジェクトの複数の位置における座標情報を用いて、消失点および消失線を含むパラメータを算出する第１のステップと、
    前記画像中における、第２のオブジェクトの座標情報および前記パラメータを用いて、前記第２のオブジェクトの高さを算出する第２のステップとを実行させることを特徴とするオブジェクト高さ算出プログラム。

Images