JP4855342B2 - オブジェクト分類装置、駐車スペース検出装置、オブジェクト分類方法、駐車スペース検出方法、及びプログラム - Google Patents

Description

本発明は、オブジェクトに関する情報であるオブジェクト情報を出力するオブジェクト分類装置等に関する。

従来、ステレオカメラで撮影された入力画像を用いることによって、オブジェクトの大きさや距離を算出することが行われてきていた（例えば、特許文献１参照）。
特開２００７−８５７４５号公報

しかしながら、ステレオカメラで撮影された入力画像を処理する際には、計算コストが非常に高くなるという問題があった。また、ステレオカメラで撮影された画像間のマッチングをとるためには、画像にも高い精度が要求されることとなり、高いハードウェア性能が要求されることになる。
一方、従来、単眼のカメラで撮影した画像を用いて、オブジェクトを認識すること、特に、オブジェクトの高さを認識することは難しかった。

本発明は、上記課題を解決するためになされたものであり、ステレオカメラを用いることなく、オブジェクトの高さを適切に認識することができるオブジェクト分類装置等を提供することを目的とする。

上記目的を達成するため、本発明によるオブジェクト分類装置は、移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付部と、前記撮影画像受付部が受け付けた撮影画像を蓄積する蓄積部と、前記蓄積部が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出部と、２以上の撮影画像間における、前記オブジェクト検出部が検出したオブジェクトの変化を検出する変化検出部と、前記変化検出部の検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断部と、前記判断部による判断結果を用いて、前記オブジェクトに関する情報であるオブジェクト情報を出力する出力部と、を備えたものである。

このような構成により、ステレオカメラを用いることなく、単眼のカメラによって、オブジェクトの高さを認識することができうる。したがって、例えば、画像に高い精度が要求されたり、高い計算コストに対応するための高いハードウェア性能が要求されたりすることなく、汎用のカメラやハードウェア等を用いて、処理を行うことができうる。

また、本発明によるオブジェクト分類装置では、前記オブジェクト情報は、前記オブジェクトの高さに関する情報であってもよい。
また、本発明によるオブジェクト分類装置では、前記変化検出部の検出した変化が、他のオブジェクトの変化よりも大きいかどうかに応じて、他のオブジェクトよりも前記移動体に近いオブジェクトを検出する距離検出部をさらに備え、前記出力部は、前記距離検出部が検出した、前記移動体に近いオブジェクトに関する情報であるオブジェクト情報を出力してもよい。

このような構成により、移動体に近いオブジェクトについてのみ、その高さに関する情報であるオブジェクト情報を出力することができる。移動体から遠いオブジェクトは、一般に移動体が移動する際の障害物とはならないと考えられるところ、そのような不必要なオブジェクトに関する情報を出力しないようにすることができる。また、例えば、距離検出部によって移動体に近いことが検出されたオブジェクトについてのみ、判断等の処理を行うことによって、オブジェクト分類装置の負荷を軽減することもできうる。

また、本発明によるオブジェクト分類装置では、前記移動体の移動に関する情報である移動情報を受け付ける移動情報受付部をさらに備え、前記変化検出部は、前記移動情報受付部が受け付けた移動情報をも用いて、前記オブジェクトの変化の検出を行ってもよい。

このような構成により、移動情報を用いて変化を検出することができ、より適切なオブジェクトの変化の検出が可能となる。例えば、移動情報に移動スピードや進行方向に関する情報が含まれる場合に、その情報を用いることによって、移動体が停止している際に、不必要な変化の検出を行わないようにすることも可能である。

また、本発明によるオブジェクト分類装置では、前記第１の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが上方及び下方の両方に広がるパターンであり、前記第２の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが下方に移動するパターンであってもよい。

このような構成により、撮影画像に含まれるオブジェクトの変化を、第１及び第２の変化パターンと比較することによって、そのオブジェクトの高さを判断することができうる。

また、本発明によるオブジェクト分類装置では、前記蓄積部が蓄積した撮影画像を、上面からの撮影画像に変換する画像変換部をさらに備え、前記蓄積部は、前記画像変換部が変換した、上面からの撮影画像をも蓄積し、前記オブジェクト検出部は、前記上面からの撮影画像を用いてオブジェクトを検出し、前記第１の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトの前記カメラに近い部分のみが近づくパターンであり、前記第２の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが形状を保ったまま近づくパターンであってもよい。

このような構成により、撮影画像が上面からのものに変換された場合であっても、撮影画像に含まれるオブジェクトの変化を、第１及び第２の変化パターンと比較することによって、そのオブジェクトの高さを判断することができうる。

また、本発明による駐車スペース検出装置は、オブジェクト分類装置を備えた駐車スペース検出装置であって、前記移動体は車であり、前記オブジェクト情報は、車を駐車可能なスペースを示す画像情報である。

このような構成により、車を駐車可能なスペースを、例えば、移動体としての車の運転者等に提示することが可能であり、車を駐車可能なスペースを目視によって探す労力を軽減することができうる。

また、本発明による駐車スペース検出装置では、前記蓄積部が蓄積した撮影画像を、当該撮影画像における路肩が水平となり、画像の奥の方が手前の方よりも幅が狭くなるように、路肩水平の撮影画像に変換する画像変換部をさらに備え、前記蓄積部は、前記画像変換部が変換した路肩水平の撮影画像をも蓄積し、前記オブジェクト検出部は、前記路肩水平の撮影画像を用いてオブジェクトを検出し、前記第１の変化パターンは、オブジェクトが前記路肩水平の撮影画像内の水平線よりも上の領域で移動するパターンであり、前記第２の変化パターンは、オブジェクトが前記路肩水平の撮影画像内の水平線よりも下の領域で移動するパターンである、駐車スペース検出装置でもよい。
このような構成により、路肩水平の撮影画像による処理を行うことによって、計算コストを下げることができ、また、距離計算をも容易にできるようになる。

本発明によるオブジェクト分類装置等によれば、ステレオカメラを用いることなく、単眼のカメラによって、オブジェクトの高さに関する判断を行うことができうる。

以下、本発明によるオブジェクト分類装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１によるオブジェクト分類装置について、図面を参照しながら説明する。
図１は、本実施の形態によるオブジェクト分類装置１の構成を示すブロック図である。本実施の形態によるオブジェクト分類装置１は、撮影画像受付部１１と、蓄積部１２と、オブジェクト検出部１３と、変化検出部１４と、距離検出部１５と、判断部１６と、出力部１７とを備える。

撮影画像受付部１１は、移動体に搭載されたカメラで撮影された画像であり、移動体が移動している際の画像である撮影画像を２以上受け付ける。この撮影画像は、撮影時刻の異なるものである。また、この撮影画像は、有意な処理を行う際には、撮影位置の異なる撮影画像であることが好適である。また、移動体とは、移動するものであれば、どのようなものでもよい。人が乗るものでもよく、そうでなくてもよい。例えば、車、バイク、自転車、船、飛行機、電車等であってもよい。本実施の形態では、移動体が車である場合について主に説明する。カメラは、例えば、ＣＣＤカメラや、ＣＭＯＳカメラ等である。ＣＣＤカメラは、比較的暗いところでも適切に撮影することができるため、屋内の駐車場でも撮影するような場合には、好適である。なお、ＣＣＤカメラの場合には、非常に明るいところで撮影した場合には、スミア（ｓｍｅａｒ）と呼ばれる現象の発生することもあるため、偏光フィルターを用いることなどによって、そのスミアを除去するようにしてもよい。なお、適切に撮影画像を得ることができるのであれば、カメラは、どのようなものを用いてもよい。カメラは、静止画を撮影するものでもよく、動画を撮影するものでもよい。前者の場合であっても、少なくとも、時間間隔をあけて複数の画像を撮影するものとする。また、そのカメラの光軸は、移動体の移動平面内の前方向に近いことが好ましい。このように、撮影画像受付部１１が受け付ける画像は、静止画の画像であってもよく、動画を構成する画像であってもよい。

撮影画像受付部１１は、例えば、カメラ等の入力デバイスから入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報を受け付けてもよい。本実施の形態では、前述のように、カメラからの撮影画像を受け付けるものとする。なお、撮影画像受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、撮影画像受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

蓄積部１２は、撮影画像受付部１１が受け付けた撮影画像を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、蓄積部１２が有していてもよく、あるいは蓄積部１２の外部に存在してもよい。また、この記録媒体は、撮影画像を一時的に記憶するものであってもよく、そうでなくてもよい。

オブジェクト検出部１３は、蓄積部１２が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出する。オブジェクトとは、例えば、駐車車両、道路に記載された標識（例えば、横断歩道や停止線等）、車の影等である。オブジェクトを検出する方法としては、例えば、輪郭抽出等の方法を用いることができる。その方法は、すでに広く知られているため、その詳細な説明を省略する。オブジェクト検出部１３は、撮影画像に２以上のオブジェクトが存在する場合に、その２以上の各オブジェクトを検出してもよい。

また、オブジェクト検出部１３は、撮影画像の全体についてオブジェクトの検出処理を行ってもよく、あるいは、撮影画像の一部についてオブジェクトの検出処理を行ってもよい。後者の場合に、例えば、撮影画像の水平線よりも上方にのみ存在するオブジェクトについては、オブジェクト検出部１３が検出しなくてもよい。なお、その場合であっても、水平線をまたいで上方と下方の両方に存在するオブジェクトについては、検出するようにしてもよい。なお、水平線とは、撮影画像の地平線付近に位置する線である。例えば、画像処理によって、地平線を検出して、その地平線の位置に水平線を引くようにしてもよく、あるいは、あらかじめ撮影画像の真ん中あたりに地平線の位置することがわかっている場合には、撮影画像の真ん中あたりに水平線を引くようにしてもよい。

また、オブジェクト検出部１３は、例えば、撮影画像が動画を構成する画像である場合に、複数の撮影画像にわたってオブジェクトをトラッキングして検出してもよい。なお、オブジェクトトラッキングとは、動画を構成する各隣接する静止画間において、オブジェクトの特徴点のマッチング等を判断することにより、一連の動画において、同一のオブジェクトの移動や変形等をトラッキングする処理のことである。そのような場合には、オブジェクト検出部１３は、例えば、検出したオブジェクトにオブジェクトを識別する情報を対応付けておくことにより、複数の撮影画像間での互いに対応するオブジェクトを容易に特定することができるようにしてもよい。

また、一般に撮影画像はパースペクティブを有する画像であるため、移動体に近いオブジェクトは大きく表示され、移動体から遠いオブジェクトは小さく表示されることになる。また一般に、オブジェクトの高さを判断したいのは、移動体に近いオブジェクトであると考えられる。したがって、オブジェクト検出部１３は、所定の大きさ以上のオブジェクトのみを検出するようにしてもよい。このようにすることで、オブジェクト分類装置１の処理負荷を軽減することもできうる。なお、図示しない記録媒体において、所定の大きさを示す情報が記憶されており、オブジェクト検出部１３は、その情報を読み出し、撮影画像に含まれるオブジェクトの大きさを比較することによって、所定の大きさ以上のオブジェクトのみを検出してもよい。

また、オブジェクト検出部１３は、検出したオブジェクトを示す情報を、図示しない記録媒体に蓄積してもよい。検出したオブジェクトを示す情報とは、例えば、オブジェクトの位置や輪郭を示す情報であってもよい。その検出したオブジェクトを示す情報は、例えば、撮影画像を識別する情報（例えば、撮影画像のＩＤや、タイムコード等）に対応付けられて蓄積されてもよい。

変化検出部１４は、２以上の撮影画像間における、オブジェクト検出部１３が検出したオブジェクトの変化を検出する。オブジェクトの変化とは、例えば、オブジェクトの位置の変化であってもよく、形状や色、大きさの変化であってもよく、それらの結合であってもよい。変化検出部１４は、例えば、２以上の撮影画像において、互いに対応するオブジェクトを検出し、その互いに対応するオブジェクトの変化を検出してもよい。変化検出部１４は、例えば、オブジェクトの形状を比較することによって、互いに対応するオブジェクトを検出してもよく、撮影画像が動画を構成する画像である場合には、あるオブジェクトを順次、追うことによって、互いに対応するオブジェクトを検出してもよい。また、前述のように、オブジェクト検出部１３によって複数の撮影画像間での互いに対応するオブジェクトに対して同一の識別情報が設定されている場合には、その識別情報を用いて、互いに対応するオブジェクトを検出してもよい。変化の検出は、例えば、オブジェクトの変化を示すベクトル等の特定であってもよく、オブジェクトの変化の差分を示す情報の生成であってもよい。変化検出部１４は、例えば、その検出したオブジェクトの変化を示す情報を、図示しない記録媒体に蓄積してもよい。そのオブジェクトの変化を示す情報は、例えば、撮影画像を識別する情報に対応付けられて蓄積されてもよい。

距離検出部１５は、変化検出部１４の検出した変化が、他のオブジェクトの変化よりも大きいかどうかに応じて、他のオブジェクトよりも移動体に近いオブジェクトを検出する。一般に、移動体が移動する場合に、近くのオブジェクトの位置等の変化は大きいが、遠くのオブジェクトの位置等の変化は小さい。距離検出部１５は、例えば、変化検出部１４の検出した複数の変化を比較することによって、その変化が他のオブジェクトよりも大きいオブジェクトを、移動体に近いオブジェクトとして検出してもよく、あらかじめ設定されているしきい値と変化検出部１４の検出した変化を比較し、そのしきい値よりも大きな変化に対応するオブジェクトを移動体に近いオブジェクトとして検出してもよい。なお、そのしきい値は、図示しない記録媒体で記憶されており、距離検出部１５は、その記録媒体からしきい値を読み出して用いてもよい。また、そのしきい値は、移動体のスピード等に応じて変化するように設定しており、距離検出部１５は、例えば、後述する移動情報受付部２１が受け付けた移動情報の示す移動体のスピード等を用いて、移動体に近いオブジェクトの検出処理を行ってもよい。また、距離検出部１５が検出する、移動体に近いオブジェクトの個数は限定されない。距離検出部１５は、例えば、移動体に最も近いオブジェクト１個のみを検出してもよく、あるいは、移動体に近い複数個のオブジェクトを検出してもよい。

距離検出部１５は、例えば、その検出した移動体に近いオブジェクトを識別する情報を、図示しない記録媒体に蓄積してもよい。そのオブジェクトを識別する情報は、例えば、撮影画像を識別する情報に対応付けられて蓄積されてもよい。あるいは、距離検出部１５は、例えば、オブジェクト検出部１３等が蓄積したオブジェクトを識別する情報に対応付けて、そのオブジェクトが移動体に近いことを示すフラグ等を設定してもよい。

判断部１６は、変化検出部１４の検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する。第１及び第２の変化パターンを示す情報は、あらかじめ所定の記録媒体において記憶されており、判断部１６は、その第１及び第２の変化パターンを読み出すことによって、この判断を行ってもよい。第１及び第２の変化パターンを示す情報は、例えば、データとしてプログラムとは別途、記憶されていてもよく、あるいは、プログラムの一部として記憶されていてもよい。その所定の高さは、例えば、カメラの光軸の高さや、カメラによって撮影された撮影画像の水平線の高さ等であってもよい。その所定の高さは、一定の高さに定められていてもよく、撮影状況によって変化するものであってもよい。例えば、上り坂で撮影した場合と、下り坂で撮影した場合とにおいて、その所定の高さは変化してもよい。ここで、第１の変化パターンとは、移動体がオブジェクトに近づいた場合に、そのオブジェクトが上方及び下方の両方に広がるパターンであってもよい。また、第２の変化パターンとは、移動体がオブジェクトに近づいた場合に、そのオブジェクトが下方に移動するパターンであってもよい。例えば、カメラが移動体の移動向きの撮影画像を撮影している際には、「移動体がオブジェクトに近づいた場合」とは、複数の撮影画像において、より時間の経過した撮影画像となるにつれて、ということである。これらのパターンの詳細については後述する。

判断部１６は、その判断結果を示す情報を図示しない記録媒体に蓄積してもよい。その際に、オブジェクトを識別する情報に対応付けて蓄積してもよい。判断部１６は、例えば、オブジェクト検出部１３等が蓄積したオブジェクトを識別する情報に対応付けて、判断結果を示す情報を蓄積してもよい。

出力部１７は、判断部１６による判断結果を用いて、オブジェクトに関する情報であるオブジェクト情報を出力する。オブジェクト情報は、例えば、移動体にとって障害となりうるオブジェクトである、高さの高いオブジェクトの位置を示す情報であってもよく、移動体にとって障害とならないオブジェクトである、高さの低い、あるいは、高さのないオブジェクト（例えば、道路に記載された標識）の位置を示す情報であってもよい。したがって、オブジェクト情報は、例えば、オブジェクトの高さに関する情報であってもよく、そうでなくてもよい。オブジェクト情報は、例えば、オブジェクトに関する情報を示す画像情報であってもよく、オブジェクトに関する情報を示すテキスト情報であってもよく、オブジェクトに関する情報を示す音声情報であってもよく、高さの高いオブジェクトを識別する情報であってもよく、その他の形式の情報であってもよい。オブジェクト情報が画像情報等である場合には、例えば、出力部１７がそのオブジェクト情報を構成して出力してもよい。オブジェクト情報が画像情報である場合には、例えば、高さの高いオブジェクトの位置等が図示されてもよい。また、その画像情報には、撮影画像が含まれていてもよい。例えば、撮影情報において高さの高いオブジェクトをハイライト表示したものがオブジェクト情報であってもよい。また、オブジェクト情報がテキスト情報である場合には、例えば、高さの高いオブジェクトの位置等が「右前方に障害物があります」といったテキストで示されてもよい。また、オブジェクト情報が音声情報である場合には、例えば、高さの高いオブジェクトの位置等が「右前方に障害物があります」といった音声情報で示されてもよい。また、オブジェクト情報が音声情報である場合には、例えば、高さの高いオブジェクトが移動体の近くに存在する場合に、警告音（例えば、ブザー音等）が音声情報で示されてもよい。

なお、出力部１７は、距離検出部１５が検出した、移動体に近いオブジェクトに関する情報であるオブジェクト情報を出力してもよい。オブジェクト分類装置１の出力するオブジェクト情報を用いるユーザは、一般に、移動体に近いオブジェクトに関する情報を知りたいと考えられるところ、移動体から遠いオブジェクトに関する情報を出力しなくてもよい場合もあると考えられるからである。なお、この場合に、オブジェクト情報が、結果として移動体に近いオブジェクトに関する情報となるのであれば、その過程は問わない。例えば、移動体に近いオブジェクトについてのみ、判断部１６による判断が行われ、その移動体に近いオブジェクトに関するオブジェクト情報が出力されてもよく、あるいは、判断部１６はすべてのオブジェクトについての判断を行い、出力部１７は、その判断の行われたオブジェクトのうち、移動体に近いオブジェクトについてのみ、オブジェクト情報を構成して出力してもよい。

ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。本実施の形態では、この出力が表示デバイス（図１中のディルプレイ）への表示である場合について説明する。なお、出力部１７は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部１７は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

次に、本実施の形態によるオブジェクト分類装置の動作について、図２のフローチャートを用いて説明する。
（ステップＳ１０１）撮影画像受付部１１は、撮影画像を受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。

（ステップＳ１０２）蓄積部１２は、撮影画像受付部１１が受け付けた撮影画像を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
（ステップＳ１０３）オブジェクト検出部１３は、オブジェクトを分類する処理を開始するかどうか判断する。そして、開始する場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０１に戻る。オブジェクト検出部１３は、例えば、新たな撮影画像が受け付けられた場合に、オブジェクトの分類を開始すると判断してもよく、所定の時間間隔（例えば、５秒ごとなど）でオブジェクトの分類を開始すると判断してもよく、あるいは、その他のタイミングでオブジェクトの分類を開始すると判断してもよい。なお、本実施の形態では、オブジェクト検出部１３がステップＳ１０３の判断を行う場合について説明するが、他の構成要素がこの判断を行ってもよい。

（ステップＳ１０４）オブジェクト検出部１３は、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出する。なお、オブジェクト検出部１３が、例えば、２個の撮影画像にそれぞれ含まれるオブジェクトを検出する場合に、その２個の撮影画像のうち、一方の撮影画像については、前回の処理においてオブジェクトの検出が行われているのであれば、ステップＳ１０４では、１個の撮影画像についてのみ、オブジェクトの検出を行ってもよい。また、撮影画像に２以上のオブジェクトが含まれる場合には、オブジェクト検出部１３は、その各々のオブジェクトを検出してもよい。

（ステップＳ１０５）変化検出部１４は、オブジェクトの変化を検出する。この処理の詳細については、図３のフローチャートを用いて後述する。
（ステップＳ１０６）距離検出部１５は、移動体に近いオブジェクトを検出する。この処理の詳細については、図４のフローチャートを用いて後述する。

（ステップＳ１０７）判断部１６は、変化検出部１４の検出した変化が、第１及び第２の変化パターンのいずれに対応するのかについて判断する。この処理の詳細については、図５のフローチャートを用いて後述する。

（ステップＳ１０８）出力部１７は、判断部１６による判断結果を用いて、オブジェクトに関する情報であるオブジェクト情報を出力する。そして、ステップＳ１０１に戻る。
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、図２のフローチャートにおけるオブジェクトの変化を検出する処理（ステップＳ１０５）の詳細について、図３のフローチャートを用いて説明する。なお、この図３のフローチャートでは、撮影の時間差を有する２個の撮影画像間のオブジェクトの変化を検出するものとする。その２個の撮影画像のうち、時間的に前の撮影画像を第１の撮影画像と呼び、時間的に後の撮影画像を第２の撮影画像と呼ぶものとする。

（ステップＳ２０１）変化検出部１４は、カウンタｉを１に設定する。
（ステップＳ２０２）変化検出部１４は、第２の撮影画像にｉ番目のオブジェクトが存在するかどうか判断する。そして、存在する場合、すなわち、オブジェクト検出部１３が第２の撮影画像においてｉ番目のオブジェクトを検出していた場合には、ステップＳ２０３に進み、そうでない場合には、図２のフローチャートに戻る。

（ステップＳ２０３）変化検出部１４は、第２の撮影画像のｉ番目のオブジェクトに対応する第１の撮影画像のオブジェクトが存在するかどうか判断する。そして、存在する場合には、ステップＳ２０４に進み、そうでない場合には、ステップＳ２０６に進む。変化検出部１４は、第２の撮影画像のｉ番目のオブジェクトに対応する第１の撮影画像のオブジェクトが存在するかどうかを、例えば、第２の撮影画像におけるｉ番目のオブジェクトと、第１の撮影画像において検出された各オブジェクトとを比較し、両者が一致するかどうかによって判断してもよい。一致する場合には、対応するオブジェクトが存在することになる。なお、互いに比較される両オブジェクトの類似度が所定のしきい値以上である場合に、両オブジェクトが一致すると判断してもよい。また、例えば、第２の撮影画像のｉ番目のオブジェクトが、第１の撮影画像には含まれておらず、第１の撮影画像の撮影後にカメラの画角に入ってきた場合には、このステップＳ２０３において、対応するオブジェクトが存在しないと判断されることになる。

（ステップＳ２０４）変化検出部１４は、ｉ番目のオブジェクトに関する変化を検出する。変化検出部１４が検出する変化は、例えば、オブジェクトの位置の変化を示すベクトルであってもよく、オブジェクトの大きさの変化を示す情報であってもよく、単に、第１の撮影画像におけるオブジェクトと、そのオブジェクトに対応する第２の撮影画像におけるｉ番目のオブジェクトとを示す画像情報であってもよく、オブジェクトの変化を示すものであれば、限定されない。

（ステップＳ２０５）変化検出部１４は、検出した変化を示す情報を図示しない記録媒体に蓄積し、一時的に記憶しておく。なお、変化検出部１４は、オブジェクトを識別する情報に対応付けて、検出した変化を示す情報を蓄積してもよい。
（ステップＳ２０６）変化検出部１４は、カウンタｉを１だけインクリメントする。そして、ステップＳ２０２に戻る。

次に、図２のフローチャートにおける、移動体に近いオブジェクトを検出する処理（ステップＳ１０６）の詳細について、図４のフローチャートを用いて説明する。

（ステップＳ３０１）距離検出部１５は、変化検出部１４が検出し、一時的に記憶している変化を示す情報を用いて、最大の変化を特定する。例えば、変化がベクトルで示される場合には、そのベクトルの大きさが最も大きい変化を特定してもよい。また、その変化が大きさの変化を示す情報である場合には、大きさの変化の割合が最も大きい変化を特定してもよい。

（ステップＳ３０２）距離検出部１５は、カウンタｉを１に設定する。
（ステップＳ３０３）距離検出部１５は、変化検出部１４が検出した変化のうち、ｉ番目の変化が、ステップＳ３０１で特定した最大の変化の半分以上の変化であるかどうか判断する。そして、半分以上の変化である場合には、ステップＳ３０４に進み、そうでない場合には、ステップＳ３０５に進む。

（ステップＳ３０４）距離検出部１５は、ｉ番目の変化に対応するオブジェクトを移動体に近いオブジェクトと検出する。なお、距離検出部１５は、移動体に近いことを検出したオブジェクトを識別する情報を、図示しない記録媒体において一時的に記憶してもよい。

（ステップＳ３０５）距離検出部１５は、カウンタｉを１だけインクリメントする。
（ステップＳ３０６）距離検出部１５は、変化検出部１４が検出したｉ番目の変化が存在するかどうか判断する。そして、存在する場合には、ステップＳ３０３に戻り、そうでない場合には、図２のフローチャートに戻る。

なお、図４のフローチャートでは、最大の変化の半分以上の変化をするオブジェクトを移動体に近いオブジェクトとして検出する場合について説明したが、前述のように、例えば、所定のしきい値よりも大きい変化をするオブジェクトを移動体に近いオブジェクトとして検出してもよい。

図５は、図２のフローチャートにおける変化のパターンを検出する処理（ステップＳ１０７）の詳細を示すフローチャートである。なお、図５のフローチャートでは、判断部１６は、距離検出部１５が検出した移動体に近いオブジェクトの変化についてのみ、判断の処理を行うものとする。

（ステップＳ４０１）判断部１６は、カウンタｉを１に設定する。
（ステップＳ４０２）判断部１６は、変化検出部１４が検出した変化であって、距離検出部１５によって、移動体に近いことが検出されたオブジェクトの変化のうち、ｉ番目のものが、第１の変化パターンに対応するかどうか判断する。そして、第１の変化パターンに対応する場合には、ステップＳ４０３に進み、そうでない場合には、ステップＳ４０４に進む。

（ステップＳ４０３）判断部１６は、ｉ番目の変化で変化するオブジェクトが高さの高いオブジェクトであると判断する。判断部１６は、例えば、そのオブジェクトを識別する情報に対応付けて、高さが高いことを示す情報を図示しない記録媒体において設定してもよい。

（ステップＳ４０４）判断部１６は、変化検出部１４が検出した変化であって、距離検出部１５によって、移動体に近いことが検出されたオブジェクトの変化のうち、ｉ番目のものが、第２の変化パターンに対応するかどうか判断する。そして、第２の変化パターンに対応する場合には、ステップＳ４０５に進み、そうでない場合には、ステップＳ４０６に進む。

なお、ステップＳ４０２，Ｓ４０４において、判断部１６は、第１の変化パターンや、第２の変化パターンを、図示しない記録媒体から読み出して、判断を行ってもよい。また、その判断は、例えば、パターンマッチングの技術としてすでに広く知られており、その詳細な説明を省略する。

（ステップＳ４０５）判断部１６は、ｉ番目の変化で変化するオブジェクトが高さの低いオブジェクトであると判断する。判断部１６は、例えば、そのオブジェクトを識別する情報に対応付けて、高さが低いことを示す情報を図示しない記録媒体において設定してもよい。
（ステップＳ４０６）判断部１６は、カウンタｉを１だけインクリメントする。

（ステップＳ４０７）判断部１６は、変化検出部１４が検出した変化であって、距離検出部１５によって、移動体に近いことが検出されたオブジェクトの変化に、ｉ番目のものが存在するかどうか判断する。そして、存在する場合には、ステップＳ４０２に戻り、そうでない場合には、図２のフローチャートに戻る。

なお、図５のフローチャートでは、判断部１６が、距離検出部１５が検出した移動体に近いオブジェクトの変化についてのみ、判断の処理を行う場合について説明したが、これは一例であって、すべてのオブジェクトの変化について、判断の処理を行ってもよい。

また、図５のフローチャートでは、第１の変化パターンに対応するかどうかの判断と、第２の変化パターンに対応するかどうかの判断との両方を行う場合について説明したが、一方の判断のみを行ってもよい。例えば、第１の変化パターンに対応するかどうかを判断し、第１の変化パターンに対応しなかった場合には、第２の変化パターンに対応すると決定してもよい。

次に、第１及び第２の変化パターンについて、図６，図７を用いて説明する。図６，図７において、車等の移動体にカメラを搭載し、前方を撮影した場合における、移動体が移動する前に撮影画像に含まれていたオブジェクト（移動前のオブジェクト）と、移動体がそのオブジェクトに向かって移動した後の撮影画像に含まれていたオブジェクト（移動後のオブジェクト）とが示されている。

カメラの光軸は、ほぼ水平であるとする。すると、カメラの光軸の高さよりも高さの高いオブジェクト（例えば、車や人、樹木、道路壁等）は、図６で示されるように、移動体が移動するにしたがって、撮影画像の全体に広がるように拡大していくことになる。すなわち、移動体がオブジェクトに近づいた場合に、そのオブジェクトが上方及び下方の両方に広がることになる。これが第１の変化パターンである。一方、カメラの光軸の高さよりも高さの低いオブジェクト（例えば、道路上に書かれた標識や、マンホール等の蓋、道路に落ちている新聞等のゴミ等）は、図７で示されるように、移動体が移動するにしたがって、撮影画像の端の方に移動していくことになる。すなわち、移動体がオブジェクトに近づいた場合に、そのオブジェクトが下方に移動することになる。これが第２の変化パターンである。

図６，図７でそれぞれ示される、第１及び第２の変化パターンを示す情報が図示しない記録媒体において保持されており、判断部１６は、その第１及び第２の変化パターンを示す情報を読み出して、撮影画像に含まれるオブジェクトの変化と比較することによって、各オブジェクトの変化が第１の変化パターンに該当するのか、あるいは、第２の変化パターンに該当するのかを判断する。なお、前述のように、この処理は、パターンマッチングの処理として、すでに広く知られており、その詳細な説明を省略するが、以下、その処理の一例について簡単に説明する。

例えば、図６、図７で示されるように、移動前のオブジェクトから抽出された４個の特徴点の座標をそれぞれ、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）とする。また、移動後のオブジェクトから抽出された４個の特徴点の座標をそれぞれ、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）とする。（ｘｉ，ｙｉ）は、（Ｘｉ，Ｙｉ）に対応しているものとする（ただし、ｉ＝１〜４）。

すると、Ｙｉ<ｙｉとなるｉ（図６では、ｉ＝１〜４）が存在するのであれば、第１の変化パターンに該当すると判断部１６が判断してもよい。したがって、Ｙｉ<ｙｉとなるｉが存在するという条件が、第１の変化パターンを示す情報であってもよい。同様に、すべてのｉに対して、Ｙｉ>ｙｉを満たす（図７では、ｉ＝１〜４）のであれば、第２の変化パターンに該当すると判断部１６が判断してもよい。したがって、すべてのｉに対して、Ｙｉ>ｙｉを満たすという条件が、第２の変化パターンを示す情報であってもよい。

なお、ここでは、オブジェクトの特徴点の座標値によって該当する変化パターンを判断する場合について説明したが、オブジェクトの特徴点を結ぶベクトルによって該当する変化パターンを判断してもよく、あるいは、他の方法によって、その判断を行ってもよい。

次に、本実施の形態におけるオブジェクト分類装置１の動作について、具体例を用いて説明する。この具体例では、移動体は車であるとする。そして、車に搭載されたカメラが動画を撮影し、その動画に含まれる撮影画像を用いて、障害物となりうる高さの高いオブジェクトを検出して、出力するものとする。

また、この具体例において、オブジェクトの比較は、５フレーム間隔で行うものとする。また、撮影画像自体は３０フレーム／秒で行われるものとする。したがって、撮影画像のうち、一部の撮影画像を用いてオブジェクトの比較や変化パターンの判断等を行うものとする。

まず、カメラで撮影された撮影画像が順次、撮影画像受付部１１で受け付けられ（ステップＳ１０１）、蓄積部１２によって所定の記録媒体に蓄積される（ステップＳ１０２）。その撮影画像は、１フレームから順次、Ｔ１，Ｔ２，Ｔ３，…というようにタイムコードが付与されているものとする。

次に、タイムコードＴ６の撮影画像が蓄積された時点で、オブジェクト検出部１３は、分類を行うと判断し（ステップＳ１０３）、タイムコードＴ６の撮影画像においてオブジェクトの検出を行う。なお、ここでは、１回目のオブジェクト検出であるため、タイムコードＴ６の撮影画像よりも５フレーム前の撮影画像、すなわち、タイムコードＴ１の撮影画像についてもオブジェクトの検出を行う（ステップＳ１０４）。図８（ａ）は、タイムコードＴ１の撮影画像を示す図である。この撮影画像において、オブジェクト検出部１３は、停止線や、横断歩道、看板、車、家等をオブジェクトとして検出する。なお、ここでは、停止線に注目して説明する。オブジェクト検出部１３は、検出した停止線のオブジェクトに対してオブジェクト識別情報「１００１」を付与したとする。なお、オブジェクト識別情報「１００１」で識別されるオブジェクトをオブジェクト１００１と呼ぶこともある。他のオブジェクトについても同様である。そして、タイムコードＴ２，Ｔ３，…，Ｔ６まで、そのオブジェクトをトラッキングすることにより、図８（ｂ）で示されるタイムコードＴ６の撮影画像におけるオブジェクト１００１を検出する。このようなトラッキングによるオブジェクトの検出を行うことによって、影等のロバストに起因する誤検出を抑制することができ、例えば、あるオブジェクトが出現したり、消滅したりすることを繰り返すようなことを回避することができる。

次に、変化検出部１４は、オブジェクトの変化を検出する処理を行う（ステップＳ１０５）。変化検出部１４は、まず、１番目のオブジェクトであるオブジェクト１００１が、第２の撮影画像であるタイムコードＴ６の撮影画像に含まれるため、１番目のオブジェクトが存在すると判断する（ステップＳ２０１，Ｓ２０２）。また、第１の撮影画像であるタイムコードＴ１の撮影画像にも、そのオブジェクト１００１が含まれるため（ステップＳ２０３）、変化検出部１４は、そのオブジェクト１００１の変化を検出する（ステップＳ２０４）。具体的には、オブジェクト１００１の四隅の位置の変化を示すベクトルを検出する。そして、変化検出部１４は、その４個のベクトルを示す情報を、オブジェクト識別情報「１００１」に対応付けて一時的に記憶する（ステップＳ２０５）。このようにして、タイムコードＴ６の撮影画像に含まれるすべてのオブジェクトについて、同様の処理を繰り返す（ステップＳ２０２〜Ｓ２０６）。

次に、距離検出部１５は、移動体に近いオブジェクトを検出する処理を行う（ステップＳ１０６）。距離検出部１５は、まず、変化検出部１４が検出して一時的に記憶しているベクトルの大きさを算出し、オブジェクトごとに平均値を算出する。そして、その算出したベクトルの大きさの平均値も、オブジェクト識別情報に対応付けて一時的に記憶する。そして、その平均値のうち、最大のものを特定する（ステップＳ３０１）。ここでは、オブジェクト１００１に対応する平均値が、最大であったとする。その後、距離検出部１５は、各オブジェクトに対応する平均値が、最大の平均値の半分以上であるかどうか判断し、半分以上であるもののみを移動体の近くのオブジェクトと検出する（ステップＳ３０２〜Ｓ３０６）。例えば、１番目のオブジェクト１００１については、その平均値が最大の平均値の半分以上であるのは明らかであり（ステップＳ３０２，Ｓ３０３）、距離検出部１５によって、移動体に近いオブジェクトであると検出され、移動体に近いことを示すフラグがオブジェクト識別情報「１００１」に対応付けられて設定される（ステップＳ３０４）。このようにして、タイムコードＴ６の撮影画像に含まれる各オブジェクトのうち、移動体に近いオブジェクトが順次、検出されていくことになる。

次に、判断部１６は、各オブジェクトの変化が第１の変化パターンと、第２の変化パターンのいずれに属するのかの判断を行う（ステップＳ１０７）。ここで、判断部１６がアクセス可能な図示しない記録媒体において、その第１及び第２の変化パターンを示す情報が記憶されているものとする。第１の変化パターンは、変化を示すベクトルに、撮影画像の上方を向いたベクトルと、撮影画像の下方を向いたベクトルとの両方が含まれるパターンであるとする。また、第２の変化パターンは、変化を示すベクトルに、撮影画像の下方を向いたベクトルのみが含まれるパターンであるとする。

判断部１６は、まず、移動体に近いことを示すフラグが設定されている１番目のオブジェクトであるオブジェクト１００１に対応するベクトルを図示しない記録媒体から読み出し、そのベクトルが第１の変化パターンに対応するかどうか判断する。図８から明らかなように、オブジェクト１００１に対応するベクトルはすべて、撮影画像の下方を向いたものであるため、判断部１６は、第１の変化パターンに対応しないと判断する（ステップＳ４０１，Ｓ４０２）。次に、判断部１６は、オブジェクト１００１に対応するベクトルが第２の変化パターンに対応するかどうか判断する。この場合には、判断部１６は、第２の変化パターンに対応すると判断し（ステップＳ４０４）、オブジェクト識別情報「１００１」に対応付けて高さの低いオブジェクトであることを示すフラグを設定する（ステップＳ４０５）。このようにして、移動体に近いことが検出されている各オブジェクトが、第１及び第２の変化パターンのいずれに対応しているのかについての判断が順次、行われていくことになる（ステップＳ４０２〜Ｓ４０７）。

その後、出力部１７は、判断部１６によって高さの高いオブジェクトであることを示すフラグの設定されたオブジェクトをハイライト表示したタイムコードＴ６の撮影画像であるオブジェクト情報を作成してディスプレイに出力する（ステップＳ１０８）。移動体である車に乗っているユーザは、そのディスプレイの表示を見ることによって、車にとって障害となりうるオブジェクト、すなわち、高さの高いオブジェクトの位置を容易に確認することができる。

ここで、高さの高いオブジェクトの検出等の処理についても、簡単に説明しておく。図９（ａ）、（ｂ）で示されるように、オブジェクト検出部１３は、タイムコードＴ３０１の撮影画像と、タイムコードＴ３０６の撮影画像とにおいて、車のオブジェクト２００１をそれぞれ検出したとする（ステップＳ１０４）。すると、変化検出部１４は、そのオブジェクト２００１の変化を示すベクトルを検出する（ステップＳ１０５）。この処理は、前述の処理と同様である。また、距離検出部１５は、上記説明と同様にして、そのオブジェクト２００１が移動体に近いオブジェクトであると検出したとする（ステップＳ１０６）。すると、判断部１６は、そのオブジェクト２００１の変化が、第１の変化パターンと、第２の変化パターンとのいずれに属するのかを判断する（ステップＳ１０７）。ここでは、オブジェクト２００１は、撮影画像の上方及び下方の両方に拡大しているため、判断部１６は、オブジェクト２００１に対応するベクトルが第１の変化パターンに対応すると判断し（ステップＳ４０２）、オブジェクト識別情報「２００１」に対応付けて高さの高いオブジェクトであることを示すフラグを設定する（ステップＳ４０３）。その後、出力部１７は、判断部１６によって高さの高いオブジェクトであることを示すフラグの設定されたオブジェクト２００１を含む１以上のオブジェクトをハイライト表示したタイムコードＴ３０６の撮影画像であるオブジェクト情報を作成してディスプレイに出力する（ステップＳ１０８）。ハイライト表示は、例えば、赤や黄色等の目立つ色に変更した表示であってもよく、太線の枠で囲った表示であってもよく、点滅させる表示であってもよく、オブジェクトを目立たせるように表示する方法であれば限定されない。移動体である車に乗っているユーザは、そのディスプレイの表示を見ることによって、高さの高いオブジェクト２００１の位置を容易に確認することができうる。すなわち、図９（ａ），（ｂ）の撮影画像は、駐車場の画像であるが、その駐車場において、車の止まっている場所を容易に知ることができる。したがって、ユーザが車を止めることができる場所を、容易に探し出すことができうる。

以上のように、本実施の形態によるオブジェクト分類装置１によれば、ステレオカメラを用いることなく、単眼のカメラによって、オブジェクトの高さを認識することができうる。したがって、例えば、画像に高い精度が要求されたり、高い計算コストに対応するための高いハードウェア性能が要求されたりすることなく、汎用のカメラやハードウェア等を用いて、処理を行うことができうる。ここで、オブジェクトの高さを認識するとは、オブジェクトの高さが高いか低いかを認識できることである。

また、距離検出部１５によって、移動体に近いオブジェクトを検出することによって、その移動体に近いオブジェクトについてのみ、その高さに関する情報であるオブジェクト情報を出力することができる。移動体から遠いオブジェクトは、一般に移動体が移動する際の障害物とはならないと考えられ、そのようなオブジェクトに関する情報は必要ないと考えられるところ、そのような出力の必要のないオブジェクトに関する情報を出力しないようにすることができる。また、例えば、距離検出部１５によって移動体に近いことが検出されたオブジェクトについてのみ、判断等の処理を行うことによって、オブジェクト分類装置１の負荷を軽減することもできうる。

なお、本実施の形態によるオブジェクト分類装置１は、図１０で示されるように、移動情報受付部２１をさらに備えてもよい。移動情報受付部２１は、移動体の移動に関する情報である移動情報を受け付ける。ここで、移動情報とは、例えば、移動スピードを示す情報であってもよく、進行方向を示す情報であってもよく、あるいは、その両方の情報であってもよい。移動スピードは、例えば、速度であってもよく、タイヤや車輪の単位時間あたりの回転数であってもよい。進行方向は、例えば、ハンドルや舵の切れ角であってもよい。また、移動情報は、移動スピードや、進行方向以外の、移動体の移動に関する情報を含んでいてもよい。

移動情報受付部２１は、例えば、有線もしくは無線の通信回線を介して送信された情報を受信してもよい。なお、移動情報受付部２１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された情報を受け付けてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報を受け付けてもよい。また、移動情報受付部２１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、移動情報受付部２１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

変化検出部１４は、移動情報受付部２１が受け付けた移動情報をも用いて、オブジェクトの検出を行ってもよい。例えば、ハンドルが曲がっていないことが移動情報によって示される場合には、一般に、図６，図７で示されるようにオブジェクトが変化するものと考えられる。一方、ハンドルが曲がっていることが移動情報によって示される場合には、オブジェクトの変化も図６，図７とは異なったものとなる。したがって、ハンドルが曲がっていることが移動情報によって示される場合には、変化検出部１４は、変化の検出を行わないようにしてもよく、あるいは、その移動情報の示すハンドルの曲がり具合を考慮して、変化を検出するようにしてもよい。例えば、ハンドルが右に切られている場合には、撮影画像上のオブジェクトは、時間の経過と共に右から左に流れていくことになる。したがって、変化検出部１４は、第２の撮影画像のオブジェクトに対応する第１の撮影画像のオブジェクトを特定する際に、第２の撮影画像のオブジェクトの位置よりも右側の領域において、その第２の撮影画像のオブジェクトに対応する第１の撮影画像のオブジェクトを探索するようにしてもよい。また、上記具体例では、５フレーム間隔で変化の検出を行う場合について説明したが、厳密には、移動体のスピードによって、５フレームでも移動体の移動距離が異なることになる。例えば、移動体としての車が信号で止まっている場合には、まったく移動しないため、５フレームごとに変化の検出を行う必要はない。したがって、変化検出部１４は、移動情報の示す移動体のスピードを考慮して、一定の移動距離ごとに変化の検出を行うようにしてもよい。例えば、変化検出部１４は、移動体が１０メートル移動するごとに、変化の検出を行うようにしてもよい。

なお、移動情報受付部２１が受け付けた移動情報を、変化検出部１４以外の他の構成要素が用いてもよい。例えば、判断部１６は、移動体情報の示す移動スピードや、進行方向の情報に応じて、異なる変化パターンを用いてもよく、変化パターンを修正して用いてもよい。また、オブジェクト検出部１３や距離検出部１５も、例えば、移動情報によって移動体が停止していることが示される場合には、オブジェクトの検出処理や、移動体に近いオブジェクトの検出処理を行わないようにしてもよい。

また、本実施の形態では、オブジェクト分類装置１が距離検出部１５を備える構成について説明したが、オブジェクト分類装置１は、距離検出部１５を備えていなくてもよい。その場合には、すべてのオブジェクトに関するオブジェクト情報が出力されてもよい。

（実施の形態２）
本発明の実施の形態２によるオブジェクト分類装置について、図面を参照しながら説明する。本実施の形態によるオブジェクト分類装置は、カメラの撮影した撮影画像を上面からの撮影画像に変換し、その変換後の撮影画像を用いてオブジェクトの検出等の処理を行うものである。

図１１は、本実施の形態によるオブジェクト分類装置２の構成を示すブロック図である。本実施の形態によるオブジェクト分類装置２は、撮影画像受付部１１と、蓄積部１２と、オブジェクト検出部１３と、変化検出部１４と、距離検出部１５と、判断部１６と、出力部１７と、画像変換部３１とを備える。なお、撮影画像受付部１１と、蓄積部１２と、オブジェクト検出部１３と、変化検出部１４と、距離検出部１５と、判断部１６と、出力部１７との構成及び動作は、実施の形態１と同様であり、その説明を省略する。

画像変換部３１は、蓄積部１２が蓄積した撮影画像を、上面からの撮影画像に変換する。移動体に搭載されたカメラで撮影され、蓄積部１２によって蓄積された撮影画像は、一般に、移動体の前方方向の画像となっている。例えば、移動体が車の場合には、オブジェクトとしての建物や駐車車両等を側面から見た画像となっている。画像変換部３１は、その撮影画像を、上面から見た撮影画像に変換する。例えば、移動体が車の場合には、上空から見た撮影画像に変換することになる。例えば、図９（ｂ）の撮影画像を上面からの撮影画像に変換すると、図１２で示されるようになる。この撮影画像の変換方法は、すでに広く知られており、その詳細な説明を省略する。

なお、その画像変換では、カメラの撮影した撮影画像における水平線付近に、変換の上限を設定し、その変換の上限よりも下の領域についてのみ、変換を行うようにしてもよい。図１２で示される画像も、そのようにして変換された画像である。一般に、カメラの撮影した撮影画像では、遠方のオブジェクトは側面のみが表示されることになり、そのオブジェクトの画像を、上面からの画像に変換することは困難だからである。

蓄積部１２は、画像変換部３１が変換した、上面からの撮影画像をも所定の記録媒体に蓄積する。なお、蓄積部１２が撮影画像受付部１１の受け付けた撮影画像を蓄積する所定の記録媒体と、画像変換部３１が変換した撮影画像を蓄積する所定の記録媒体とは、同じ記録媒体であってもよく、あるいは、異なる記録媒体であってもよい。

なお、オブジェクト検出部１３は、変換後の上面からの撮影画像を用いてオブジェクトの検出を行うものとする。したがって、変化検出部１４や距離検出部１５、判断部１６も、変換後の上面からの撮影画像に対する処理を行うことになる。また、出力部１７が撮影画像を含むオブジェクト情報を出力する場合に、その撮影画像は、変換後のものであってもよく、そうでなくてもよい。

また、判断部１６が判断で用いる第１の変化パターンは、移動体がオブジェクトに近づいた場合に、そのオブジェクトのカメラに近い部分のみが近づくパターンである。また、第２の変化パターンは、移動体がオブジェクトに近づいた場合に、そのオブジェクトが形状を保ったまま近づくパターンである。なお、「形状を保ったまま」とは、まったく同じ形状でなくてもよく、ほぼ同様の形状であればよい。

その本実施の形態による第１及び第２の変化パターンについて、図１３〜図１５を用いて説明する。図１３〜図１５において、車等の移動体にカメラを搭載し、前方を撮影した撮影画像を、上面からの撮影画像に変換した場合における、移動体が移動する前に変換後の撮影画像に含まれていたオブジェクト（移動前のオブジェクト）と、移動体がそのオブジェクトに向かって移動した後の変換後の撮影画像に含まれていたオブジェクト（移動後のオブジェクト）とが示されている。なお、カメラの光軸は、ほぼ水平であるとする。

図１３，図１４からわかるように、カメラの光軸の高さよりも高さの高いオブジェクトは、移動体が移動するにしたがって、撮影画像の全体に広がるように拡大していくことになる。すなわち、移動体がオブジェクトに近づいた場合に、そのオブジェクトのカメラに近い部分のみが近づき、カメラから遠い部分は、元の位置にとどまることになる。これは、カメラによってオブジェクトの上面を撮影することができないことに起因するものである。これが第１の変化パターンである。

一方、図１３，図１５からわかるように、カメラの光軸の高さよりも高さの低いオブジェクトは、移動体が移動するにしたがって、撮影画像の端の方に移動していくことになる。すなわち、移動体がオブジェクトに近づいた場合に、そのオブジェクトが形状を保ったまま近づくことになる。これが第２の変化パターンである。

図１３，図１４で示される第１の変化パターンを示す情報と、図１３，図１５で示される第２の変化パターンを示す情報とが図示しない記録媒体において保持されており、判断部１６は、その第１及び第２の変化パターンを示す情報を読み出して、変換後の撮影画像に含まれるオブジェクトの変化と比較することによって、各オブジェクトの変化が第１の変化パターンに該当するのか、あるいは、第２の変化パターンに該当するのかを判断する。なお、実施の形態１でも述べたように、この処理は、パターンマッチングの処理としてすでに広く知られており、その詳細な説明を省略するが、以下、その処理の一例について簡単に説明する。

例えば、図１３〜図１５で示されるように、移動前のオブジェクトから抽出された４個の特徴点の座標をそれぞれ、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）とする。また、移動後のオブジェクトから抽出された４個の特徴点の座標をそれぞれ、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）とする。（ｘｉ，ｙｉ）は、（Ｘｉ，Ｙｉ）に対応しているものとする（ただし、ｉ＝１〜４）。

すると、Ｙｉ＝ｙｉとなるｉ（図１３，図１４では、ｉ＝１〜４）が存在するのであれば、第１の変化パターンに該当すると判断部１６が判断してもよい。したがって、Ｙｉ＝ｙｉとなるｉが存在するという条件が、第１の変化パターンを示す情報であってもよい。同様に、すべてのｉに対して、Ｙｉ>ｙｉを満たす（図１３，図１５では、ｉ＝１〜４）のであれば、第２の変化パターンに該当すると判断部１６が判断してもよい。したがって、すべてのｉに対して、Ｙｉ>ｙｉを満たすという条件が、第２の変化パターンを示す情報であってもよい。

なお、ここでは、オブジェクトの特徴点の座標値によって該当する変化パターンを判断する場合について説明したが、オブジェクトの特徴点を結ぶベクトルによって該当する変化パターンを判断してもよく、オブジェクトの特徴点から構成される図形の面積によって該当する変化パターンを判断してもよく、あるいは、他の方法によって、その判断を行ってもよい。

次に、本実施の形態によるオブジェクト分類装置２の動作について、図１６のフローチャートを用いて説明する。なお、図１６のフローチャートにおいて、ステップＳ５０１，Ｓ５０２以外の処理は、ステップＳ１０３〜Ｓ１０８において、変換後の撮影画像についての処理がなされる以外、実施の形態１の図２のフローチャートと同様であり、その説明を省略する。

（ステップＳ５０１）画像変換部３１は、蓄積部が蓄積した撮影画像を、上面からの撮影画像に変換する。
（ステップＳ５０２）蓄積部１２は、画像変換部３１が変換した撮影画像を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。

なお、図１６のフローチャートでは、蓄積部１２が蓄積したすべての撮影画像について画像変換が行われる場合について示しているが、そうでなくてもよい。例えば、オブジェクト検出等の処理が行われる撮影画像についてのみ画像変換を行うようにしてもよい。その場合には、すべての撮影画像について画像変換を行う場合に比べて、画像変換の処理を軽減することができうる。

また、本実施の形態によるオブジェクト分類装置２の動作の具体例も、変換後の撮影画像が処理対象となり、第１及び第２の変化パターンが異なる以外、実施の形態１とほぼ同様であり、その説明を省略する。

以上のように、本実施の形態によるオブジェクト分類装置２によれば、撮影画像が上面からのものに変換された場合であっても、撮影画像に含まれるオブジェクトの変化を第１及び第２の変化パターンと比較することによって、そのオブジェクトの高さを判断することができうる。

（実施の形態３）
本発明の実施の形態３による駐車スペース検出装置について、図面を参照しながら説明する。本実施の形態による駐車スペース検出装置は、車を駐車可能なスペースを示すオブジェクト情報を出力するものである。

図１７は、本実施の形態による駐車スペース検出装置３の構成を示すブロック図である。本実施の形態による駐車スペース検出装置３は、オブジェクト分類装置１と、画像変換部４１とを備える。オブジェクト分類装置１は、画像変換部４１によって変換された撮影画像を用いてオブジェクトの検出等を行う以外、実施の形態１によるオブジェクト分類装置１と同様のものであり、その詳細な説明を省略する。なお、本実施の形態において、移動体は車であり、オブジェクト情報は、車を駐車可能なスペースを示す画像情報であるとする。

画像変換部４１は、蓄積部１２が蓄積した撮影画像を、その撮影画像における路肩が水平となり、画像の奥の方が手前の方よりも幅が狭くなるように、路肩水平の撮影画像に変換する。この変換については、後述する。

蓄積部１２は、画像変換部４１が変換した路肩水平の撮影画像をも蓄積する。なお、蓄積部１２が撮影画像受付部１１の受け付けた撮影画像を蓄積する所定の記録媒体と、画像変換部４１が変換した撮影画像を蓄積する所定の記録媒体とは、同じ記録媒体であってもよく、あるいは、異なる記録媒体であってもよい。

なお、オブジェクト検出部１３は、カメラで撮影された撮影画像に代えて、変換後の路肩水平の撮影画像を用いてオブジェクトを検出する。したがって、変化検出部１４や距離検出部１５、判断部１６も、変換後の路肩水平の撮影画像に対する処理を行うことになる。また、出力部１７が撮影画像を含むオブジェクト情報を出力する場合には、その撮影画像は、変換後のものであってもよく、そうでなくてもよい。

次に、画像変換部４１による画像の変換について説明する。本実施の形態による駐車スペース検出装置３は、駐車場において、車を駐車可能な空きスペースを検出するものである。したがって、例えば、カメラによって撮影され、蓄積部１２によって蓄積された撮影画像は、図１８で示されるようなものとなる。図１８からわかるように、駐車場において空きスペースを探すときには、一般に、進行方向の右側と左側とに駐車スペースが存在することになる。したがって、図１８の撮影画像において、まず路肩の線を検出し、その検出した路肩の線に応じて、画像を抽出する四角の枠を設定する。この枠は、あらかじめ図示しない記録媒体において記憶されている四角の枠のパターンを拡大・縮小・移動することによって設定してもよい。そして、その設定した四角の枠の画像を抽出し、図１９で示されるように、手前の画像ほど細かくなり、奥の画像ほど荒くなるように縦線を設定する。すなわち、この縦線は、画像の奥に行くに応じて細かくなるように設定されているものとする。次に、その縦線の長さと幅が均等になるように、抽出した画像を変換する。図２０は、そのようにして変形された撮影画像の一例を示す図である。図２０の撮影画像は、撮影画像における路肩が水平となり、画像の奥の方が手前の方よりも幅が狭くなる、路肩水平の撮影画像である。なお、ここでは、図１８で示される撮影画像の右側に関する処理についてのみ説明したが、左側についても、同様に処理を行ってもよい。

次に、判断部１６による判断について説明する。路肩水平の撮影画像に変換した場合には、車が移動するにしたがって、オブジェクトは左右に移動することになる。ただし、所定の高さよりも高いオブジェクトは、水平線よりも上の領域を含んで移動することになり、所定の高さよりも低いオブジェクトは、水平線よりも下の領域で移動することになる。したがって、判断部１６が判断で用いる第１の変化パターンは、オブジェクトが路肩水平の撮影画像内の水平線よりも上の領域で移動するパターンであり、第２の変化パターンは、オブジェクトが路肩水平の撮影画像内の水平線よりも下の領域で移動するパターンであってもよい。例えば、図２１の上側の移動前の撮影画像に含まれる左側の車は、移動体としての車が移動するにしたがって図２１の下側の移動後の撮影画像に含まれる車のように右側に移動することになる。その際に、水平線よりも上の領域を含んで移動していることがわかる。したがって、判断部１６は、水平線よりも上の領域で移動する第１の変化パターンに対応すると判断し、その車のオブジェクトを高さの高いオブジェクトであると判断することになる。

第１の変化パターンは、例えば、変化検出部１４が検出した変化を示す１以上のベクトルに、路肩水平の撮影画像の水平線よりも上側に始点と終点の両方が含まれるベクトルが含まれるパターンであってもよい。また、第２の変化パターンは、例えば、変化検出部１４が検出した変化を示す１以上のベクトルのすべてが、路肩水平の撮影画像の水平線よりも下側に始点と終点の両方が含まれるパターンであってもよい。

なお、このように路肩水平の撮影画像に変換してオブジェクトの検出や変化の検出等を行うことによって、画像比較（マッチング）を行う際のエピライン（走査線）が水平になり、計算コストを大幅に下げることができるメリットがある。また、水平方向に対して、距離はピクセル換算で均等となるため、距離の計算も容易になるというメリットもある。

出力部１７が出力するオブジェクト情報は、変換後の路肩水平の撮影画像によって、駐車可能なスペースを示す画像情報であってもよく、そうでなくてもよい。後者の場合には、例えば、図２２で示されるように、上面からの図によって駐車可能なスペースを示す画像情報であるオブジェクト情報が出力されてもよい。図２２において、１〜３の数字の記載されている箇所は、すでに他の車が駐車しているスペースである。したがって、それ以外のスペースが、駐車可能なスペースとなる。図２２で示されるような上面からの図を出力する場合には、出力部１７は、例えば、次のような処理を行ってもよい。まず、出力部１７は、判断部１６によって高さが高いと判断されたオブジェクトに対応するオリジナルの撮影画像（カメラで撮影された撮影画像）でのオブジェクトを特定する。例えば、画像変換部４１による変換の逆を行うことによって、その特定を行うことができる。そして、実施の形態２による画像変換部３１と同様の変換を行うことによって、上面からの撮影画像に変換することができ、その上面からの撮影画像において、高さの高いオブジェクトを、あらかじめ設定されている四角の図形等で表示することにより、図２２で示されるオブジェクト情報を得ることができる。なお、図２２において、駐車スペースの枠を示す線は、撮影画像から得られたものであってもよく、撮影画像において枠の位置を認識し、その認識した枠の位置に描画した線であってもよく、あるいは、あらかじめ駐車場における枠を示す画像を図示しない記録媒体において記憶しておき、その画像を上面からの撮影画像に重ね合わせたものであってもよい。

また、本実施の形態による駐車スペース検出装置３の動作は、実施の形態２によるオブジェクト分類装置２の図１６のフローチャートで示される動作と同様であり、その説明を省略する。ただし、ステップＳ５０１では、路肩の抽出と、カメラで撮影され、蓄積部１２によって蓄積された撮影画像からの画像の抽出と、その画像の変換とが行われるものとする。なお、前述のように、１個のオリジナルの撮影画像から２個の路肩水平の撮影画像が生成されてもよく、あるいは、１個であってもよい。

また、本実施の形態による駐車スペース検出装置３の動作の具体例も、変換後の撮影画像が処理対象となり、第１及び第２の変化パターンが異なる以外、実施の形態１、２とほぼ同様であり、その説明を省略する。

以上のように、本実施の形態による駐車スペース検出装置３によれば、車を駐車可能なスペースを、例えば、移動体としての車の運転者等に提示することが可能であり、車を駐車可能なスペースを目視によって探す労力を軽減することができうる。また、撮影画像を路肩水平の撮影画像に変換し、その路肩水平の撮影画像を用いた処理を行うことによって、計算コストを下げることができ、また、距離計算をも容易にできるようになる。

なお、本実施の形態では、路肩水平の撮影画像を用いてオブジェクト検出等の処理を行う場合について説明したが、撮影画像を路肩水平の撮影画像に変換しないで、駐車スペースの検出処理を行ってもよいことは言うまでもない。その場合には、駐車スペース検出装置３は、画像変換部４１を有していなくてもよく、判断部１６による判断の処理も、例えば、実施の形態１で説明したのと同様の処理であってもよい。

また、本実施の形態では、駐車スペース検出装置３がカメラやディスプレイを含まない場合について説明したが、駐車スペース検出装置３は、カメラや、出力部１７が出力したオブジェクト情報を表示する表示部を含んでもよい。表示部は、例えば、ＣＲＴや液晶等のディスプレイであってもよく、あるいは、スクリーンに映像を表示するプロジェクターであってもよい。

また、上記各実施の形態では、処理の性質上、リアルタイムで順次、オブジェクトの検出処理や、オブジェクト情報の出力処理等が行われていくことが一般的であると考えられるが、リアルタイム処理が必要ない場合には、一連の画像が蓄積された後に、オブジェクトの検出処理や、オブジェクト情報の出力処理等を行うようにしてもよい。

また、上記各実施の形態では、オブジェクト分類装置１，２、駐車スペース検出装置３がスタンドアロンである場合について説明したが、それらの装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。

また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記各実施の形態におけるオブジェクト分類装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付部と、前記撮影画像受付部が受け付けた撮影画像を蓄積する蓄積部と、前記蓄積部が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出部と、２以上の撮影画像間における、前記オブジェクト検出部が検出したオブジェクトの変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断部と、前記判断部による判断結果を用いて、前記オブジェクトに関する情報であるオブジェクト情報を出力する出力部として機能させるためのものである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図２３は、上記プログラムを実行して、上記各実施の形態によるオブジェクト分類装置、駐車スペース検出装置を実現するコンピュータの外観の一例を示す模式図である。上記各実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。

図２３において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。

図２４は、コンピュータシステムを示す図である。図２４において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム１００に、上記各実施の形態によるオブジェクト分類装置、駐車スペース検出装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ１０１に、上記各実施の形態によるオブジェクト分類装置、駐車スペース検出装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明によるオブジェクト分類装置等によれば、単眼のカメラによって、オブジェクトの高さを認識することができ、移動体が移動する際の障害物等を検出する装置等として有用である。

本発明の実施の形態１によるオブジェクト分類装置の構成を示すブロック図 同実施の形態によるオブジェクト分類装置の動作を示すフローチャート 同実施の形態によるオブジェクト分類装置の動作を示すフローチャート 同実施の形態によるオブジェクト分類装置の動作を示すフローチャート 同実施の形態によるオブジェクト分類装置の動作を示すフローチャート 同実施の形態におけるオブジェクトの変化について説明するための図 同実施の形態におけるオブジェクトの変化について説明するための図 同実施の形態における撮影画像の一例を示す図 同実施の形態における撮影画像の一例を示す図 同実施の形態によるオブジェクト分類装置の構成の他の一例を示すブロック図 本発明の実施の形態２によるオブジェクト分類装置の構成を示すブロック図 同実施の形態における変換後の撮影画像の一例を示す図 同実施の形態におけるオブジェクトの変化について説明するための図 同実施の形態におけるオブジェクトの変化について説明するための図 同実施の形態におけるオブジェクトの変化について説明するための図 同実施の形態によるオブジェクト分類装置の動作を示すフローチャート 本発明の実施の形態３による駐車スペース検出装置の構成を示すブロック図 同実施の形態における撮影画像の一例を示す図 同実施の形態における変換後の撮影画像の一例を示す図 同実施の形態における変換後の撮影画像の一例を示す図 同実施の形態におけるオブジェクトの変化について説明するための図 同実施の形態におけるオブジェクト情報の一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１、２ オブジェクト分類装置
３ 駐車スペース検出装置
１１ 撮影画像受付部
１２ 蓄積部
１３ オブジェクト検出部
１４ 変化検出部
１５ 距離検出部
１６ 判断部
１７ 出力部
２１ 移動情報受付部
３１、４１ 画像変換部

Claims (10)

1. 移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付部と、
   前記撮影画像受付部が受け付けた撮影画像を蓄積する蓄積部と、
   前記蓄積部が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出部と、
   ２以上の撮影画像間における、前記オブジェクト検出部が検出したオブジェクトの変化を検出する変化検出部と、
   前記変化検出部の検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断部と、
   前記判断部による判断結果を用いて、前記オブジェクトの高さに関する情報であるオブジェクト情報を出力する出力部と、を備え、
   前記第１の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが上方及び下方の両方に広がるパターンであり、
   前記第２の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが下方に移動するパターンである、オブジェクト分類装置。
2. 移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付部と、
   前記撮影画像受付部が受け付けた撮影画像を蓄積する蓄積部と、
   前記蓄積部が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出部と、
   ２以上の撮影画像間における、前記オブジェクト検出部が検出したオブジェクトの変化を検出する変化検出部と、
   前記変化検出部の検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断部と、
   前記判断部による判断結果を用いて、前記オブジェクトの高さに関する情報であるオブジェクト情報を出力する出力部と、
   前記蓄積部が蓄積した撮影画像を、上面からの撮影画像に変換する画像変換部と、を備え、
   前記蓄積部は、前記画像変換部が変換した、上面からの撮影画像をも蓄積し、
   前記オブジェクト検出部は、前記上面からの撮影画像を用いてオブジェクトを検出し、
   前記第１の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトの前記カメラに近い部分のみが近づくパターンであり、
   前記第２の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが形状を保ったまま近づくパターンである、オブジェクト分類装置。
3. 移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付部と、
   前記撮影画像受付部が受け付けた撮影画像を蓄積する蓄積部と、
   前記蓄積部が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出部と、
   ２以上の撮影画像間における、前記オブジェクト検出部が検出したオブジェクトの変化を検出する変化検出部と、
   前記変化検出部の検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断部と、
   前記判断部による判断結果を用いて、前記オブジェクトの高さに関する情報であり、車を駐車可能なスペースを示す画像情報であるオブジェクト情報を出力する出力部と、
   前記蓄積部が蓄積した撮影画像を、当該撮影画像における路肩が水平となり、画像の奥の方が手前の方よりも幅が狭くなるように、路肩水平の撮影画像に変換する画像変換部と、を備え、
   前記移動体は車であり、
   前記蓄積部は、前記画像変換部が変換した路肩水平の撮影画像をも蓄積し、
   前記オブジェクト検出部は、前記路肩水平の撮影画像を用いてオブジェクトを検出し、
   前記第１の変化パターンは、オブジェクトが前記路肩水平の撮影画像内の水平線よりも上の領域で移動するパターンであり、
   前記第２の変化パターンは、オブジェクトが前記路肩水平の撮影画像内の水平線よりも下の領域で移動するパターンである、駐車スペース検出装置。
4. 前記変化検出部の検出した変化が、他のオブジェクトの変化よりも大きいかどうかに応じて、他のオブジェクトよりも前記移動体に近いオブジェクトを検出する距離検出部をさらに備え、
   前記出力部は、前記距離検出部が検出した、前記移動体に近いオブジェクトに関する情報であるオブジェクト情報を出力する、請求項１から請求項３のいずれか記載のオブジェクト分類装置。
5. 移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付ステップと、
   前記撮影画像受付ステップで受け付けた撮影画像を蓄積する蓄積ステップと、
   前記蓄積ステップで蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出ステップと、
   ２以上の撮影画像間における、前記オブジェクト検出ステップで検出したオブジェクトの変化を検出する変化検出ステップと、
   前記変化検出ステップで検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断ステップと、
   前記判断ステップでの判断結果を用いて、前記オブジェクトの高さに関する情報であるオブジェクト情報を出力する出力ステップと、を備え、
   前記第１の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが上方及び下方の両方に広がるパターンであり、
   前記第２の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが下方に移動するパターンである、オブジェクト分類方法。
6. 移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付ステップと、
   前記撮影画像受付ステップで受け付けた撮影画像を蓄積する第１の蓄積ステップと、
   前記第１の蓄積ステップで蓄積した撮影画像を、上面からの撮影画像に変換する画像変換ステップと、
   前記画像変換ステップで変換した、上面からの撮影画像を蓄積する第２の蓄積ステップと、
   前記第２の蓄積ステップで蓄積した前記上面からの撮影画像を用いて、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出ステップと、
   ２以上の撮影画像間における、前記オブジェクト検出ステップで検出したオブジェクトの変化を検出する変化検出ステップと、
   前記変化検出ステップで検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断ステップと、
   前記判断ステップでの判断結果を用いて、前記オブジェクトの高さに関する情報であるオブジェクト情報を出力する出力ステップと、を備え、
   前記第１の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトの前記カメラに近い部分のみが近づくパターンであり、
   前記第２の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが形状を保ったまま近づくパターンである、オブジェクト分類方法。
7. 移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付ステップと、
   前記撮影画像受付ステップで受け付けた撮影画像を蓄積する第１の蓄積ステップと、
   前記第１の蓄積ステップで蓄積した撮影画像を、当該撮影画像における路肩が水平となり、画像の奥の方が手前の方よりも幅が狭くなるように、路肩水平の撮影画像に変換する画像変換ステップと、
   前記画像変換ステップで変換した路肩水平の撮影画像を蓄積する第２の蓄積ステップと、
   前記第２の蓄積ステップで蓄積した前記路肩水平の撮影画像を用いて、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出ステップと、
   ２以上の撮影画像間における、前記オブジェクト検出ステップで検出したオブジェクトの変化を検出する変化検出ステップと、
   前記変化検出ステップで検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断ステップと、
   前記判断ステップでの判断結果を用いて、前記オブジェクトの高さに関する情報であり、車を駐車可能なスペースを示す画像情報であるオブジェクト情報を出力する出力ステップと、を備え、
   前記移動体は車であり、
   前記第１の変化パターンは、オブジェクトが前記路肩水平の撮影画像内の水平線よりも上の領域で移動するパターンであり、
   前記第２の変化パターンは、オブジェクトが前記路肩水平の撮影画像内の水平線よりも下の領域で移動するパターンである、駐車スペース検出方法。
8. コンピュータを、
   移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付部と、
   前記撮影画像受付部が受け付けた撮影画像を蓄積する蓄積部と、
   前記蓄積部が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出部と、
   ２以上の撮影画像間における、前記オブジェクト検出部が検出したオブジェクトの変化を検出する変化検出部と、
   前記変化検出部の検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断部と、
   前記判断部による判断結果を用いて、前記オブジェクトの高さに関する情報であるオブジェクト情報を出力する出力部として機能させ、
   前記第１の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが上方及び下方の両方に広がるパターンであり、
   前記第２の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが下方に移動するパターンである、プログラム。
9. コンピュータを、
   移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付部と、
   前記撮影画像受付部が受け付けた撮影画像を蓄積する蓄積部と、
   前記蓄積部が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出部と、
   ２以上の撮影画像間における、前記オブジェクト検出部が検出したオブジェクトの変化を検出する変化検出部と、
   前記変化検出部の検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断部と、
   前記判断部による判断結果を用いて、前記オブジェクトの高さに関する情報であるオブジェクト情報を出力する出力部と、
   前記蓄積部が蓄積した撮影画像を、上面からの撮影画像に変換する画像変換部として機能させ、
   前記蓄積部は、前記画像変換部が変換した、上面からの撮影画像をも蓄積し、
   前記オブジェクト検出部は、前記上面からの撮影画像を用いてオブジェクトを検出し、
   前記第１の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトの前記カメラに近い部分のみが近づくパターンであり、
   前記第２の変化パターンは、前記移動体がオブジェクトに近づいた場合に、当該オブジェクトが形状を保ったまま近づくパターンである、プログラム。
10. コンピュータを、
    移動体に搭載されたカメラで撮影された画像であり、前記移動体が移動している際の画像である撮影画像を２以上受け付ける撮影画像受付部と、
    前記撮影画像受付部が受け付けた撮影画像を蓄積する蓄積部と、
    前記蓄積部が蓄積した、撮影の時間差を有する２以上の撮影画像にそれぞれ含まれるオブジェクトを検出するオブジェクト検出部と、
    ２以上の撮影画像間における、前記オブジェクト検出部が検出したオブジェクトの変化を検出する変化検出部と、
    前記変化検出部の検出した変化が、所定の高さよりも高いオブジェクトの変化パターンである第１の変化パターンに対応するのか、あるいは、所定の高さよりも低いオブジェクトの変化パターンである第２の変化パターンに対応するのかを判断する判断部と、
    前記判断部による判断結果を用いて、前記オブジェクトの高さに関する情報であり、車を駐車可能なスペースを示す画像情報であるオブジェクト情報を出力する出力部と、
    前記蓄積部が蓄積した撮影画像を、当該撮影画像における路肩が水平となり、画像の奥の方が手前の方よりも幅が狭くなるように、路肩水平の撮影画像に変換する画像変換部として機能させ、
    前記移動体は車であり、
    前記蓄積部は、前記画像変換部が変換した路肩水平の撮影画像をも蓄積し、
    前記オブジェクト検出部は、前記路肩水平の撮影画像を用いてオブジェクトを検出し、
    前記第１の変化パターンは、オブジェクトが前記路肩水平の撮影画像内の水平線よりも上の領域で移動するパターンであり、
    前記第２の変化パターンは、オブジェクトが前記路肩水平の撮影画像内の水平線よりも下の領域で移動するパターンである、プログラム。