JP6467180B2 - 物体検知装置 - Google Patents

Description

この発明は、物体検知装置に関し、特に、セルフガソリンスタンド等において、給油する人間および車両を検知することに連動して、給油システムを動作させることが可能な物体検知装置に関する。

従来、運転者自身が給油するセルフガソリンスタンドでは、自動車や人を検知するセンサを給油システムパネル等に配置し、そのセンサで自動車や人を検知した場合、給油システムが起動し、給油のための操作画面等を表示させている。
このようなセンサとしては、赤外線や超音波などを利用したセンサが用いられている。

また、自動車や人が上面を通過することにより内部圧力を変化させるか、または内部流体に流れを生じさせる弾性材料からなる感応部材（ホース）を、ガソリンスタンドの路面上に設置し、自動車や人によってホースが踏まれることによって生じる圧力等の変化を検知することにより、動物による誤検知を防止し、自動車や人の進入を検知することのできる進入検知センサも提案されている（特許文献１参照）。
さらに、セルフガソリンスタンドは、料金精算のために、発行されたレシートに印刷されたバーコードを読み取るバーコードスキャナを搭載した給油システムパネルが利用されている。

実開平６−１９２４４号公報

人等を検知するセンサを用いた従来の給油システムでは、何らかの物体が給油システムに接近したことがわかるが、その物体が人間であるか否かを判別することはできない。
また、一定時間以上、物体が静止した状態の場合は、物体の検出状態から未検出状態へ移行してしまい、その後何も操作入力がされないとシステムが停止してしまう場合もあった。
さらに、特許文献１に記載された進入検知センサでは、自動車や人を区別して検知することができたとしても、給油システムパネルとは別に、感応部材を路面上に設置する必要があり、ガソリンスタンドの担当者が設置するための作業負担は大きく、また、感応部材等の新たな設備投資も必要となる。

そこで、この発明は、以上のような事情を考慮してなされたものであり、セルフガソリンスタンドなどに設置された設備にすでに備えられている検知センサ等を用いて、人間や車両を確実に検知するとともに、設備の省電力化を図ることのできる物体検知装置を提供することを課題とする。

この発明は、所定の検知範囲の空間内に物体が存在するか否かを検知する物体検知部と、前記検知範囲を含む所定の撮影範囲の画像を撮影する撮影部と、前記撮影部によって撮影された画像の中に含まれる物体を認識する画像認識部と、前記物体検知部が、前記検知範囲に物体が存在することを検知した後、前記撮影部に前記撮影範囲の画像を撮影させ、前記画像認識部に前記撮影された画像に含まれる物体を認識させる制御部とを備えたことを特徴とする物体検知装置を提供するものである。
これによれば、検知された物体の画像を撮影して、その物体を認識させるので、検知物体が何であるかを確実に判断することができる。

また、前記撮影部は、バーコードを撮影しそのバーコードの内容を読み取るバーコードモードと、前記撮影範囲の画像を撮影するカメラモードとを備え、前記物体検知部によって検知された物体の検知状態が、検知有りから検知無しに変化した場合、および検知無しから検知有りに変化した場合に、前記制御部は、前記撮影部をカメラモードに切り替えることを特徴とする。
また、前記撮影部が撮影する物体に焦点が合うように焦点距離を調整する焦点調整部と、前記撮影範囲に、前記物体検知部によって検知された物体が含まれるように、撮影方向を変更する撮影方向変更部とをさらに備えたことを特徴とする。
これによれば、焦点距離を調整し、撮影方向を変更するので、より確実に検知された物体を撮影することが可能となり、物体の認識精度を向上させることができる。

また、前記画像認識部によって認識された物体に予め対応づけられた機能を実行する機能実行部を、さらに備え、前記物体検知部によって物体の存在が検知された後、その検知物体が、前記画像認識部によって所定の物体として認識された場合に、前記機能実行部によって、前記認識された所定の物体に予め対応づけられた機能を実行することを特徴とする。
これによれば、検知物体が、所定の物体として認識された場合に、その所定の物体に予め対応づけられた機能を実行するので、検知物体が意図しない物体であった場合には、誤動作を防止し、所定の機能を実行しないようにすることにより、省電力化を図ることができる。

また、前記画像認識部が、前記撮影された画像の中の物体を人間と認識した場合に、前記機能実行部が前記人間に予め対応づけられた機能を実行することを特徴とする。
これによれば、検知物体が人間と認識された場合に、人間に予め対応づけられた機能が実行されるので、人間以外の物体が認識された場合に、人間が存在することによってはじめて有効となるような機能を動作させることを防止でき、省電力化を図ることができる。

また、前記物体検知装置が、ガソリンスタンドに設置された給油システムパネルに備えられている場合、前記機能実行部によって実行される機能は、給油するガソリンを選択するための表示処理および操作入力処理と、選択されたガソリンの給油処理を含むことを特徴とする。

また、前記物体検知部が、物体の検知状態が変化したことを検知した場合に、前記撮影部を起動させ、前記機能実行部が、前記人間に予め対応づけられた機能を実行した場合に、前記撮影部を一時停止させることを特徴とする。
これによれば、物体の検知状態等に基づいて、撮影部の起動と一時停止を行うので、少なくとも撮影部に電力を供給する期間を制御することにより、省電力化を図ることができる。
また、前記撮影部は、前記カメラモードにおいて、前記撮影範囲の静止画あるいは動画を撮影することを特徴とする。

この発明によれば、所定の検知範囲に物体が存在することを検知した後に、その検知範囲を含む撮影範囲の画像を撮影して、その撮影画像に含まれる物体を認識させるので、検知物体が、人間や車両などの所望の物体であるか否かを確実に判断することができる。また、所望の物体、特に人間の存在を認識した場合に、予め対応づけられた機能を実行するので、意図しない物体を検知した場合に、物体検知装置を有する設備のその後の無用な動作を実行しないようにすることにより、省電力化を図ることができる。

この発明の物体検知装置の一実施例の構成ブロック図である。 この発明の記憶部に記憶される情報の一実施例の説明図である。 この発明の給油システムパネルの実施例１の概略説明図である。 この発明の給油システムパネルの実施例２の概略説明図である。 この発明の物体検知処理の一実施例のフローチャートである。 この発明の物体検知処理の一実施例のフローチャートである。 この発明の物体検知処理の一実施例のフローチャートである。

以下に、本発明を実施するための最良の形態について図面を参照して説明する。なお、これによって、この発明が限定されるものではない。
＜物体検知装置の構成＞
図１に、この発明の物体検知装置の一実施例の構成ブロック図を示す。
図１において、この発明の物体検知装置は、主として、制御部１，入力部２，表示部３，音声出力部４，物体検知センサ５，撮影部６，撮影方向変更部７，焦点調整部８，画像認識部９，印刷部１０，機能実行部１１，記憶部２０を備える。
以下には、この発明の物体検知装置を、ガソリンスタンドの給油システムパネルに組み込んだ実施例について説明する。

この発明の物体検知装置は、たとえば、ガソリンスタンドにおいて、自動車の運転者が、自分で給油して、料金の支払いまでを行うことのできる給油システムに組み込まれる。
給油システムは、所定の駐車位置に止めた自動車に、所望のガソリンを給油するためのシステムであり、ガソリンタンク、給油ホースの他に、上記駐車位置の近傍に、この発明の物体検知装置や料金精算ユニットなどからなる給油システムパネルが設置される。

この発明では、給油システムによる給油を開始する前に、主として、物体検知センサ５によって、何らかの物体が、上記駐車位置に進入してきたことを検知した後、撮影部６によって駐車位置付近の空間の画像を撮影して画像認識処理を実行し、進入した物体が人間であることを確認した場合に、給油が開始できるように給油システムの所定の機能を起動させることを特徴とする。

制御部１は、この発明の物体検知装置の各種機能を実行する部分であり、主として、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏコントローラ，タイマー等からなるマイクロコンピュータにより実現される。
また、ＲＯＭ等に記憶されたプログラムに基づいて、ＣＰＵが、各種ハードウェアを有機的に動作させることによって、物体検知機能、撮影機能、画像認識機能等を実現する。
たとえば、物体検知センサ５が、所定の検知範囲に物体が存在することを検知した後、制御部１は、撮影部６に、所定の撮影範囲の画像を撮影させ、画像認識部９に、撮影された画像に含まれる物体を認識させる。
また、後述するように、制御部１は、物体検知センサ５によって検知された物体の検知状態が検知有りから検知無しに変化した場合、および検知無しから検知有りに変化した場合に、撮影部６を、カメラモードに切り替える。

入力部２は、給油システムの利用者、たとえば自動車の運転者が、給油に必要な情報の入力や機能を選択入力する部分であり、押しボタン、キーボード、タッチパネルなどが用いられる。
タッチパネルとしては、電子式、静電式および光学式のいずれを用いてもよい。
表示部３は、各種機能を実行するために、必要な情報を表示する部分であり、たとえば、ＣＲＴ，ＬＣＤ，有機ＥＬディスプレイなどが用いられる。
入力部２としてタッチパネルが用いられる場合は、表示部３の表示画面に重ね合わせて、透明なタッチパネルが配置される。
利用者が、表示画面に表示された情報を見て、所望の情報が表示された部分に指等を用いて接触することによって、その接触位置に予め対応づけられた情報の入力や、機能の選択が実行される。

音声出力部４は、操作説明などの音声を出力する部分であり、スピーカが用いられる。
たとえば、利用者に、次に入力すべき情報を報知したり、入力された情報を受理したことや、入力情報が正しくないことなどを利用者に音声で知らせる。

物体検知センサ５は、上記した物体検知部に相当し、所定の検知範囲の空間内に、物体が存在するか否かを検知する部分であり、赤外線センサ、超音波センサ、感熱などのセンサが用いられる。
たとえば、赤外線センサを用いる場合、赤外線の発光部と受光部とを所定の距離だけ離して所定の空間内に設置し、受光部によって赤外線が受光されなくなった場合に、何らかの物体が所定の空間内に進入したと判断する。
逆に、赤外線が受光されない状態から、受光部によって受光される状態に変化した場合、物体がいなくなったと判断する。

一般的に、物体検知センサ５から出力された信号を、制御部１がチェックし、一定時間以上物体を検知したことを示す信号が出力された場合は、物体が検知範囲内に存在する（検知有り）と判断し、そうでない場合は、物体は存在しない（検知無し）と判断する。
物体検知センサ５は、ガソリンスタンドの場合、たとえば、給油しようとする人間や自動車などの物体が、所定の駐車位置の空間に存在するかどうかを検知するためのものであるが、その物体が何であるかを識別することはできない。

撮影部６は、物体検知センサ５によって物体検知を行う検知範囲を含む所定の撮影範囲の画像を撮影する部分であり、主として、カメラが用いられる。
また、従来のセルフガソリンスタンドでは、レシートに印刷されたバーコードを読み取るためのバーコードスキャナが、給油システムパネルにすでに備えられていることが多いので、可能な場合には、バーコードスキャナを、撮影部６として用いてもよい。
このバーコードスキャナは、数センチメートルの近距離にまで接近させられた用紙に印刷されたバーコードを、画像として撮影するものであり、撮影した画像から、バーコードの配列を認識し、バーコードから取得した数値を出力するものである。

バーコードスキャナは、近接されたバーコードを読み取ることを目的とするものなので、数センチメートルの距離に焦点を合わせるものが多い。
しかし、バーコードスキャナが、画像を撮影するためのＣＣＤやＣＭＯＳなどのイメージセンサ（固定撮像素子）を備え、遠距離にある物体までの焦点距離を調整する機能（オートフォーカス）を備えていれば、一般的なカメラと同様に、駐車空間に入ってきた物体に焦点を合わせて、その物体を撮影することもできる。すなわち、カメラと同等の機能を持つバーコードスキャナがすでに利用されている場合は、そのバーコードスキャナを、この発明の撮影部６として利用できる。

撮影部（カメラ）６は、物体検知センサ５が検知可能な空間とほぼ同じ領域か、あるいはやや大きな領域が撮影できることが好ましく、その領域に進入してきた物体を鮮明に撮影するために焦点調整機能（オートフォーカス）、画角を調整するズーム機能、シャッタースピードや絞りや感度を自動的に調整する露出制御機能を有することが好ましい。また、適正な露出制御をするために、撮影範囲の明るさを測定する照度センサを備えてもよい。
特に、撮影部６を、物体の撮影だけでなく、バーコードスキャナとして利用する場合は、撮影範囲の画像を撮影するカメラモードと、バーコードを撮影しそのバーコードの内容を読み取るバーコードモードの２つのモード切り替えが可能なものとし、各モードごとに、焦点距離と撮影方向を切り替えられるようにすることが好ましい。

たとえば、物体検知センサ５によって物体が駐車空間に存在することが確認された場合、撮影部６を、カメラモードに切り替え、所定の駐車空間にピントが合うように焦点を調整し、画像を撮影する。
撮影する画像は、静止画でもよく、あるいは動画でもよい。静止画の撮影は１枚でもよいが、一定時間間隔で複数枚の画像を撮影してもよい。
また、より鮮明な画像を得るために、露出を調整する絞り値やシャッタースピードを変化させた静止画を複数枚撮影してもよい。
動画の場合は、数秒間程度駐車空間の撮影を行い、後述する画像認識を行って、物体の存在する詳細な位置を判断した後、その物体の存在する詳細位置の画像を撮影するために、カメラの撮影方向を変更したり、その詳細位置の部分が大きくうつるように、ズーム調整をしてもよい。
撮影した画像（静止画、動画）は、記憶部２０に記憶され、画像認識部９によって、撮影画像の中に存在する物体が何であるかを特定するのに利用される。

また、入力部２を利用して、利用者が何らかの情報を入力する操作を行った場合は、利用者が給油を開始しようとしている状態か、あるいはすでに給油をしている状態と考えられるので、撮影部６を、バーコードモードに切りかえる。
バーコードモードでは、カメラ６の焦点距離を、近接されたバーコードを読み取ることのできる程度の距離に固定しておき、カメラ６の前に、バーコードが印刷されたレシートが近接された場合に、そのバーコードを読み取る。

撮影方向変更部７は、撮影範囲に、物体検知センサ５によって検知された物体が含まれるように、カメラ６の撮影方向を変更する部分である。主として、カメラのレンズの方向を、上下左右に移動させるモータからなり、たとえば、バーコードモードからカメラモードに切り替えた場合、駐車空間全体を撮影するために給油システムパネルの正面を向くようにレンズの方向を調整する。
あるいは、カメラモードの撮影によって、物体の存在する詳細位置がある程度わかった場合、その物体の鮮明な画像を撮影するために、物体の詳細位置の方向を向くように、レンズの方向を調整してもよい。

焦点調整部８は、撮影部６が撮影する物体に焦点が合うように、カメラ６から物体までの焦点距離を自動的に調整する部分である。
上記したように、バーコードモードとカメラモードとに対応して、カメラの焦点を調整する。
たとえば、バーコードモードの場合は、近接されたバーコードを撮影するために、物体までの焦点距離を短くし、固定焦点としてもよい。
また、カメラモードの場合は、駐車空間全体や、物体の存在する位置を撮影するために、自動的に焦点距離を変更できるようにする。あるいはズーム機能を有する場合は、広角側にズームしてもよい。さらに、照度センサによって周辺の明るさを測定し、シャッタースピードや絞りを変更して露出を調整し、撮影する画像の明るさ（照度）を、画像認識に適したものとしてもよい。

画像認識部９は、撮影部６によって撮影された画像を分析し、その撮影画像の中に含まれる物体が何であるかを認識する部分である。
たとえば、従来から利用されている顔認識処理を利用することにより、物体が人間であることを認識する。
あるいは、撮影された物体の輪郭を抽出することなどにより、予め記憶された自動車の特徴ある形状や輪郭と類似する場合は、その物体が自動車であると認識する。
その他にも、従来から用いられている画像認識技術を用いて、物体が小動物なのか、単なる影なのかなどを、区別して認識してもよい。

この発明では、特に、検知された物体が人間なのか否かを認識し、人間であった場合は、たとえば、セルフガソリンスタンドの給油システムパネルを起動させ、給油に関する情報を表示部に表示して、利用者が給油を開始させるための入力操作ができるようにする。
また、給油終了後、画像認識によって、撮影画像から物体がなくなったと判断された場合には、表示画面を消去し、給油システムパネルの動作を停止させる。

印刷部１０は、所定の情報を用紙に印刷する部分であり、たとえば、感熱式プリンタが用いられる。料金が投入され、給油が終了した後、給油情報が印刷される。
用紙に印刷される情報は、給油量や、精算金額などであり、これらの情報が印刷されたレシートが発行される。

機能実行部１１は、画像認識部９によって認識された物体に予め対応づけられた所定の機能を実行する部分である。すなわち、検知物体が、人間や自動車など、認識対象として予め定められた所定の物体として認識された場合に、その認識された所定の物体に予め対応づけられた機能を実行する。
逆に、検知物体が所定の物体として認識されない場合や、意図しない物体として認識された場合には、予め対応づけられた機能はなく、所定の機能は実行されない。
たとえば画像認識部９によって、撮影された画像の中に人間が存在することを認識した場合には、給油システムパネルを起動するが、その起動に伴って、人間に予め対応づけられた機能を実行する。
人間が存在することが認識された場合は、たとえば、給油システムパネルにおいて、給油するガソリンを選択するための表示処理、利用者が入力した操作を受けつけるための操作入力処理、選択されたガソリンを給油する処理などの機能が、機能実行部１１によって実行される。
一方、人間が存在しないことが認識されている場合は、表示部３の表示画面を消去しておき、給油システムも停止状態とするなど、所定の機能を実行させないことによって、省電力化ができる。

記憶部２０は、この発明の物体検知機能などを実行するために必要な情報や、プログラムを記憶する部分であり、ＲＯＭ，ＲＡＭ，フラッシュメモリなどの半導体記憶素子、ＨＤＤ，ＳＳＤなどの記憶装置、その他の記憶媒体が用いられる。

記憶部２０には、たとえば、検知有無フラグ２１，撮影モード２２，撮影画像２３，バーコード２４，認識情報２５などの情報が記憶される。
検知有無フラグ２１は、物体検知センサ５が物体を検知したか否かの判断結果を示す情報である。
たとえば、図２に示すように、検知有無フラグＫ（２１）が、Ｋ＝０の場合、物体検知センサ５によって物体が検知されていない状態（検知無し）を示す。
Ｋ＝１の場合は、物体検知センサ５によって何らかの物体が検知されている状態（検知有り）を示している。

撮影モード２２は、撮影部６の撮影する対象がバーコードであるか、あるいは物体であるかを示す情報である。
たとえば、図２に示すように、撮影モードｍｄ（２２）が、ｍｄ＝０の場合、撮影対象はバーコードであり、バーコードモードであることを示している。
ｍｄ＝１の場合、撮影対象はバーコードではなく、駐車空間に存在する物体であり、カメラモードであることを示している。
撮影画像２３は、カメラ６によって撮影された画像であり、カメラモードのときに撮影された静止画あるいは動画である。
バーコード２４は、バーコードモードのときに撮影されたバーコードである。
このバーコード２４には、一次元的なバーコードの他に、二次元コードも含まれる。

認識情報２５は、画像認識部９によって認識された物体の情報であり、撮影画像２３に対して、所定の画像認識処理を実行した結果、撮影されていた物体を特定する情報に相当する。
たとえば、図２に示すように、認識情報ＩＭ（２５）が、ＩＭ＝０の場合、物体が撮影されていないこと（物体無し）を意味し、ＩＭ＝１の場合、撮影されていた物体は人間であることを意味する。
また、ＩＭ＝２の場合は自動車、ＩＭ＝３の場合は二輪車が撮影されたことを意味する。
認識情報ＩＭは、これらに限るものではなく、物体をその他のものとして認識してもよい。
また、給油が終了し、所定の駐車空間に、人間や自動車が存在しなくなり、撮影画像にこれらの物体が写っていなかった場合は、ＩＭ＝０の「物体無し」として、認識される。
記憶部２０には、この他に、画像認識をするのに必要な情報などが記憶される。たとえば、人間や自動車を認識するためには、人間や自動車の特徴を示す画像データを予め記憶しておけばよい。

＜給油システムパネルの説明＞
図３および図４に、セルフガソリンスタンドに設置される給油システムパネルの一実施例の概略説明図を示す。
（給油システムパネルの実施例１）
図３に、給油システムパネルの実施例１の概略説明図を示す。
ここでは、物体検知センサ５を１つだけ設けた例を示している。
図３（ａ）は、給油システムパネル１００を正面から見た図であり、主として、入力部２，表示部３，音声出力部４，物体検知センサ５，撮影部６，精算ユニット１０１が配置される。
各構成要素の配置は一例を示したものであり、他の配置でもよい。
入力部２としては、タッチパネルを用い、表示部３と重ね合わせて配置されている。
精算ユニット１０１は、給油時に必要な入金、おつりの出金、クレジットカードのスキャン読み込みなどを行う装置である。

図３（ｂ）は、給油システムパネル１００を上方から見た図であり、物体検知センサ５による検知範囲と、撮影部６による撮影範囲の一実施例を示したものである。
物体検知センサ５による検知範囲は、この範囲内に物体が進入したときに、その物体が存在していることを認識する範囲である。
たとえば、物体検知センサ５の正面から左右方向に±３０度程度の扇形の範囲、かつ上下方法に±３０度程度の扇形の範囲内で、物体検知センサ５から正面方向に、６０ｃｍから１６０ｃｍ程度離れた空間内が、検知範囲である。
この検知範囲は、一例であり、これにより広い範囲を検知してもよく、また、駐車位置と給油システムパネル１００の設置位置との関係に応じて、ガソリンスタンドの担当者が、検知範囲を設定変更できるようにしてもよい。

撮影部６による撮影範囲は、撮影部（カメラ）６がカメラモードで動作している場合に撮影可能な範囲を示している。
図３（ｂ）では、検知範囲よりも広い範囲を、撮影範囲としているが、たとえば、検知範囲よりも、上下左右方向それぞれに、＋１０度程度広い範囲を撮影範囲としてもよい。
ただし、撮影範囲は、検知範囲と同一としてもよく、ガソリンスタンドの担当者が、駐車位置などの状況に応じて、設定変更できるようにしてもよい。
また、カメラ６にズーム機能を備えている場合は、自動的に、あるいは担当者のリモコン操作により、撮影範囲を変更できるようにしてもよい。

さらに、撮影範囲に検知範囲が含まれることを前提とし、カメラ６の撮影方向と物体検知センサ５の検知方向を、連動させて、上下左右方向のいずれかに変更できるようにしてもよい。
なお、撮影部（カメラ）６が、バーコードモードで動作する場合は、たとえば、焦点距離を数ｃｍに固定させ、利用者が、カメラ６の前方で数ｃｍ離れた位置に、レシートに印刷されたバーコードをかざしたことを検出した時に、そのバーコードを撮影し、読み取るようにする。

（給油システムパネルの実施例２）
図４に、給油システムパネルの実施例２の概略説明図を示す。
ここでは、複数個の物体検知センサを設けた例を示している。
図４（ａ）の正面図において、給油システムパネル１００の下辺に沿って、３つの物体検知センサ（５−１，５−２，５−３）を配置している。
図４（ｂ）の上方から見た図において、各物体検知センサの検知範囲（Ａ，Ｂ，Ｃ）の一例を示している。
主として、左側の物体検知センサ５−１は、正面方向よりも左側の領域を検知範囲Ａとし、中央の物体検知センサ５−２は、図３（ｂ）と同様に、正面方向を中心とした領域を検知範囲Ｂとし、右側の物体検知センサ５−３は正面方向よりも右側の領域を検知範囲Ｃとしている。
また、３つの検知範囲（Ａ，Ｂ，Ｃ）は、検知もれを防止するために、給油システムパネルから、数ｍ離れた位置で重なるようにすることが好ましい。
ただし、物体検知センサの個数と、各検知範囲のサイズは、図４のものに限るものではなく、設置場所を考慮して、必要に応じて、適切な個数とサイズを選択、変更できるようにすればよい。

図４（ｂ）には、カメラの撮影範囲を示していないが、少なくとも物体を検知した物体検知センサの検知範囲を撮影できることが好ましい。
この場合、撮影部（カメラ）６の撮影方向を、撮影方向変更部７によって、物体を検知した検知範囲の方に、自動的に変更する。
たとえば、左側の物体検知センサ５−１によって、検知範囲Ａに、何らかの物体が進入してきたことを検知した場合、撮影方向変更部７によってカメラ６の撮影方向を左方向に移動させ、検知範囲Ａを含む領域が撮影されるように撮影範囲を変更し、さらに、焦点調整部８によって、検知領域Ａに存在する物体に焦点が合うように、自動的に焦点を調整する。

すなわち、物体検知センサ５による検知状態と、カメラ６の撮影方向および撮影範囲とを連動させて、カメラの撮影方向と、焦点とを調整してもよい。
また、複数の検知範囲で、同時に物体が検知された場合は、検知された複数の検知範囲全体を広角撮影できるように、カメラを広角側にズームしてもよい。
さらに、物体検知センサごとに物体を検知するタイミングが異なる場合は、たとえば、撮影方向を移動させながら検知した順に検知範囲を撮影してもよく、あるいは、最も遅く物体を検知した物体検知センサの検知範囲のみを撮影できるように、撮影方向を変更してもよい。
また、給油後は、最も遅く物体を検知しなくなった物体検知センサの検知範囲を撮影できるように、撮影方向を変更してもよい。

＜物体検知処理の説明＞
図５、図６および図７に、この発明の物体検知装置の物体検知処理の一実施例のフローチャートを示す。
ここでは、１つの物体検知センサ５により、物体検知の無し状態から有り状態に変化したことを検知した場合に、カメラモードに変更して検知した物体の画像認識を行い、逆に、物体検知の有り状態から無し状態に変化したことを検知した場合に、カメラモードに変更して、検知範囲から物体がいなくなったことを認識する実施例を示す。

まず、図５のステップＳ１において、記憶部２０に記憶されている情報の初期化を行う。
たとえば、検知有無フラグＫをゼロに設定し、検知無し状態に初期化する。
また、撮影モードｍｄをゼロに設定し、バーコードモードに初期化する。ただし、撮影部６は電源をＯＦＦとし、起動させなくてもよい。
ステップＳ２において、制御部１が物体検知センサ５を起動させ、現在の物体検知状態を確認する。
ここで、物体検知センサ５から出力される信号をチェックし、たとえば、一定時間以上物体を検知したことを示す信号が出力された場合は検知有りと判断し、そうでない場合は、検知無しと判断する。
ステップＳ３において、制御部１が物体検知有りと判断した場合は、ステップＳ４へ進み、そうでない場合はステップＳ７へ進む。

ステップＳ４において、前回チェック時の検知有無フラグＫの値を読み出し、変化があったか否かを判断する。
前回チェック時の検知有無フラグＫが、Ｋ＝０であって検知無しであった場合、検知状態が、無しから有りに変化したので、ステップＳ５へ進み、検知有無フラグＫを、１（検知有り）にセットする。その後、図６のステップＳ１１へ進む。

一方、ステップＳ４において、検知有無フラグＫが、Ｋ＝１（検知有り）であった場合、検知状態は、前回チェック時と同様に、検知有りのままなので、ステップＳ２へ戻る。

ステップＳ７において、前回チェック時の検知有無フラグＫの値を読み出し、変化があったか否かを判断する。
ステップＳ３の判断で、現在は検知無し状態なので、前回検知有り（Ｋ＝１）の状態から、検知無しに変化したか否かをチェックする。
前回チェック時の検知有無フラグＫがＫ＝１であった場合、検知状態が有りから無しに変化したので、ステップＳ８へ進み、検知有無フラグＫを、０（検知無し）にセットする。
その後、図７のステップＳ３１へ進む。
一方、ステップＳ７において、検知有無フラグＫがＫ＝０（検知無し）であった場合、検知状態は、前回チェック時と同じ検知無しのままなので、ステップＳ２へ戻る。

上記のように、物体検知センサ５が、物体の検知状態が変化したことを検知した場合に、図６のステップＳ１１か、あるいは図７のステップＳ３１へ進むことになるが、この場合に、カメラ６をカメラモードに切り替え、カメラ６の電源をＯＮにして起動させるようにする。
物体の検知状態が変化していない場合は、すでに、物体が何であるかを認識していると考えられ、物体認識のためにカメラによる物体の撮影をする必要はないので、省電力化のために、カメラ６の電源をＯＦＦにして、動作を停止させておくことが好ましい。

（物体検知状態に変化した場合の処理）
図６のステップＳ１１において、利用者が、入力部２を用いて、何らかの入力操作をしたか否かをチェックする。
操作入力がない場合は、ステップＳ１２へ進み、操作入力があった場合は処理を終了する。
何らかの操作入力があった場合は、すでに利用者が、給油システムを使用中であり、給油システムパネルの前に来て、指などを用いて自ら入力操作を行っているので、以後の物体認識をするまでもなく、入力部２や表示部３などの動作を有効にして、給油システム全体を起動すればよい。

ステップＳ１２において、撮影部（カメラ）６の撮影モードを、カメラモード（ｍｄ＝１）に切り替え、カメラ６の電源をＯＮにし、起動させる。
ここで、カメラ６によって、図３などに示した撮影範囲の画像が撮影できるように、撮影方向変更部７によって撮影方向を変更してもよい。
ステップＳ１３において、物体認識タイマーを起動させる。
物体認識タイマーは、画像認識部９によって、検知した物体が何であるかを判断するための時間をカウントするタイマーである。
物体認識タイマーが起動された後、予め設定された所定時間が経過した場合に、タイムアウトし、たとえば、後述するように、カメラモードからバーコードモードに切り替え、撮影部の動作を停止させる。
物体認識タイマーに設定される時間は、たとえば、６０秒とすればよいが、ガソリンスタンドの担当者によって、任意の時間に設定変更できるようにしてもよい。

ステップＳ１４において、カメラ６による撮影準備を行う。
検知された物体に焦点が合うように、焦点調整部８によって自動的に焦点調整を行う。また、焦点調整と同時に、撮影する空間内に物体全体が収まるように、カメラ６の方向や、ズームの程度を変更し、露出調整をしてもよい。
撮影する画像は、静止画とすればよいが、動画を撮影するようにしてもよい。
静止画を撮影するか、あるいは動画を撮影するかは、ガソリンスタンドの担当者が、予め設定変更できるようにしてもよい。

ステップＳ１５において、カメラ６によって画像を撮影し、記憶部２０に、撮影画像２３として記憶する。
ステップＳ１６において、画像認識部９が、記憶された撮影画像２３を用いて、撮影された物体が何であるかを認識する。
たとえば、図２に示したように、物体が、人間か、自動車か、二輪車かを認識する。認識する対象は、これらに限るものではなく、この他に、小動物などを認識するようにしてもよい。
画像認識は、たとえば、人間の特徴となる画像情報を予め記憶部２０に記憶しておき、撮影した画像２３が、記憶された特徴的な画像情報にどれだけ近似するかを判断し、両者が所定値以上近似するものである場合、検知された物体を人間と認識する。
このような画像認識処理は、従来から用いられている技術を用いればよい。

画像認識処理によって、撮影された物体が人間と判断された場合は、記憶部２０の認識情報ＩＭ２５を、ＩＭ＝１にセットする。
あるいは、自動車と判断された場合は認識情報ＩＭ＝２にセットし、二輪車と判断された場合は、認識情報ＩＭ＝３にセットする。

ステップＳ１７において、画像認識処理の結果、認識情報が人間の場合（ＩＭ＝１）、ステップＳ２０へ進み、そうでない場合、ステップＳ１８へ進む。
ステップＳ１８において、認識情報が自動車の場合（ＩＭ＝２）、ステップＳ１５へ戻り、そうでない場合ステップＳ１９へ進む。
ステップＳ１９において、物体認識タイマーがタイムアウトし、所定時間が経過したか否かをチェックする。
所定時間が経過していない場合はステップＳ１５へ戻り、所定時間が経過した場合はステップＳ２１へ進む。

ステップＳ２０において、検知された物体が人間であるので、人間が給油システムパネルの近傍に来たと考え、人間に予め対応づけられた機能を実行させる。たとえば、給油システムパネル１００の表示部３に操作画面を表示し、音声出力部４から、「いらっしゃいませ」というような案内や、利用方法等を音声で出力する。
また、給油システムで給油が可能となるように、利用者の入力操作を受けつけるために入力部２を起動させ、システム全体を起動させる。
その後、ステップＳ２１へ進む。
給油システムが起動された後は、図示しない給油管理や料金精算などのプログラムが動作し、利用者の入力操作に従って、給油の開始や料金精算が行われる。
ステップＳ２１において、カメラ６の撮影モードを、バーコードモード（ｍｄ＝０）に切り替える。
これにより、カメラ６は、焦点を、所定の近距離の位置を撮影可能な固定焦点に切りかえて、カメラ６の撮影方向も、バーコードが読み取れる方向に変更する。

ステップＳ２２において、撮影部（カメラ）６の動作を、一時停止する。
この場合は、入力部２を用いた利用者のバーコード読み取り操作の入力待ち状態としてもよい。
上記のように、人間が存在することが認識され、人間に予め対応づけられた機能が実行された場合には、その後カメラモードでの撮影をする必要はないので、カメラの動作を一時停止することにより、省電力化をすることができる。
ただし、カメラ６を一時停止せずに、バーコードモードに変更した後、カメラ６で常にバーコードが読み取れる状態としてもよい。
あるいは、カメラ６の動作を一時停止するが、給油が完了したこと、たとえば給油ノズルが所定位置に戻されたことを確認した後に、カメラ６を起動させ、バーコードの読み取りができる状態としてもよい。

（物体非検知状態に変化した場合の処理）
上記の図６の処理は、給油を開始するまでに物体を検知した場合に関するものであったが、次に示す図７の処理は、主として、給油が終了し、人間や自動車がいなくなったこと、すなわち所定の駐車空間に物体を検知しなくなった場合に関する処理である。
図７のステップＳ３１において、ステップＳ１１と同様に、利用者による操作入力がされたか否かをチェックする。
操作入力がない場合はステップＳ３２へ進み、そうでない場合は処理を終了する。
あるいは、操作入力がまだされている場合は、利用者が給油システムパネルの近傍にいると考えられるので、操作入力がなくなるまで、ステップＳ３１を繰り返してもよい。

ステップＳ３２において、ステップＳ１２と同様に、撮影モードを、カメラモード（ｍｄ＝１）に切り替える。このとき、カメラの電源をＯＮにし、起動させる。
ステップＳ３３において、ステップＳ１３と同様に、物体認識タイマーを起動させる。
ステップＳ３４において、ステップＳ１４と同様に、カメラ６による撮影の準備を行い、たとえば、所定の撮影範囲が撮影できるように、焦点調整と、撮影方向の変更を行う。
ステップＳ３５において、ステップＳ１５と同様に、カメラ６によって画像撮影を行う。
ステップＳ３６において、ステップＳ１６と同様に、画像認識部９によって、撮影画像２３の画像認識を行う。
ここで、撮影画像２３に、物体が存在しないと認識された場合は、物体無し（ＩＭ＝０）と判断される。
ステップＳ３７において、認識情報２３が物体無しの場合（ＩＭ＝０）、ステップＳ３９へ進み、そうでない場合はステップＳ３８へ進む。

ステップＳ３８において、ステップＳ１９と同様に、物体認識タイマーがタイムアウトし、所定の時間が経過したか否かを判断する。
所定時間が経過していない場合は、ステップＳ３５へ戻り、所定時間が経過した場合は、ステップＳ４０へ進む。
ステップＳ３９において、撮影画像の中に、所定の物体（たとえば、人間、自動車、二輪車など）がないと判断されたので、給油が終了し、給油をした人間や自動車等も立ち去ったと考え、表示部３に表示されていた操作画面を消去し、表示画面を消灯し、入力部２や表示部３を含む給油システム全体の動作を停止させる。
その後、ステップＳ４０へ進む。

ステップＳ４０において、ステップＳ２１と同様に、撮影モードを、バーコードモード（ｍｄ＝０）に切り替える。
ただし、ステップＳ３９において給油システムを停止した場合は、必ずしもバーコードモードに切り替える必要はない。
ステップＳ４１において、撮影部６の動作を停止させる。ただし、ステップＳ３９において給油システムを停止した場合は、すでに撮影部６の動作も停止されているので、特に何もする必要はない。

また、物体検知センサ５によって、検知有り状態から検知無し状態に変化したことを検知した場合、ステップＳ３９を経由せずにステップＳ３７およびＳ３８からステップＳ４０へ進んだ場合は、画像認識によってまだ物体有りと認識されていたとしても、省電力化のために、ステップＳ４１において、撮影部６の動作を停止することが好ましい。
ただし、明らかに、人間が画像として認識されている状態が継続する場合は、入力操作がされる可能性が高いと考えて、撮影部６の動作を継続してもよい。

以上のように、物体検知センサ５に加えて、カメラ６によって検知物体の画像認識をすることによって、物体の誤認識を減少させることができ、物体の認識結果に基づいて、撮影部などの動作の起動や停止を行うことによって、省電力化を図ることができる。

＜実施形態のまとめ＞
（実施形態１）
この発明の物体検知センサ５は、赤外線、超音波、感熱など種々の方式のセンサを用いることができ、いずれの方式を用いるかは、センサの設置場所や、ガソリンスタンドの構造などを考慮して決定すればよい。
また、１つの方式のセンサを用いるのではなく、いくつかの種類のセンサを組み合わせて使用してもよい。
さらに、センサの検知範囲や検知方向は、誤検知が生じないように、センサの設置場所等を考慮して決定すればよい。

（実施形態２）
この発明の撮影部６は、バーコードを読み取る機能に加え、一般的なカメラと同等の機能を有することが好ましく、上記したように、自動焦点調整（オートフォーカス）、露出制御（シャッタースピード、絞り、感度の変更）、ズーム、撮影方向の変更、静止画および動画の撮影などの機能を有することが好ましい。
また、より鮮明な画像を撮影するため、フラッシュや検知範囲を明るくする照明装置を備えてもよい。

（実施形態３）
この発明の画像認識部は、物体検知装置がガソリンスタンドで用いられる場合は、少なくとも人間と他の物体とを区別して認識すればよいが、より認識の精度を向上させ、実行する機能を詳細に選択できるようにするために、自動車、二輪車、小動物、単なる影、ガソリンスタンドの担当者と担当者以外、人間の大人と子供なども区別して認識できるようにしてもよい。
また、この発明の物体検知装置は、ガソリンスタンド以外で使用してもよく、たとえば、券売機など、バーコードスキャナを搭載可能で、常時人の入力操作を受け付けるシステムにて使用してもよい。

（実施形態４）
この発明では、省電力化をするために、検知状態や物体の認識結果に基づいて、動作すべき機能の起動や停止を行うが、物体検知装置をガソリンスタンドに設置する場合、たとえば、次のように、機能の起動と停止をしてもよい。機能の停止時には、その機能を実行する部分に電力を供給しないものとする。
（ａ）検知物体が何もない場合
少なくとも、制御部１と、物体検知センサ５のみを起動させた状態とし、他の構成（表示部、入力部、画像認識部、音声出力部、撮影部）の動作を停止させ、給油に関する機能および装置も停止させる。
（ｂ）物体が検知された場合（画像認識前）
制御部１と物体検知センサ５に加え、撮影部、画像認識部、焦点調整部、撮影方向変更部を起動させ、表示部、入力部、音声出力部、および給油に関する機能および装置は停止させたままとする。

（ｃ）画像認識の結果、人間の存在が認識された場合
表示部、入力部、音声出力部を起動させ、給油に関する機能および装置も起動させる。ただし、人間の存在が認識されたので、撮影部、画像認識部、焦点調整部、撮影方向変更部は停止させる。
（ｄ）給油が終了した場合
撮影部、画像認識部、焦点調整部、撮影方向変更部、印刷部を起動させ、バーコードの読み取りと、レシートの発行が可能な状態にする。
（ｅ）料金精算終了後
物体（人間や自動車）が存在しなくなったことを確認するために、撮影部、画像認識部、焦点調整部、撮影方向変更部を起動したまま、カメラモードに切り替える。給油に関する機能および装置は停止させる。
ただし、物体無しと認識された後は、制御部１と物体検知センサ５のみを起動させた状態とし、他の機能を停止させて、上記（ａ）に戻る。

１ 制御部
２ 入力部
３ 表示部
４ 音声出力部
５ 物体検知センサ
６ 撮影部（カメラ）
７ 撮影方向変更部
８ 焦点調整部
９ 画像認識部
１０ 印刷部
２０ 記憶部
２１ 検知有無フラグ（Ｋ）
２２ 撮影モード（ｍｄ）
２３ 撮影画像
２４ バーコード
２５ 認識情報（ＩＭ）

Claims (7)

1. 所定の検知範囲の空間内に物体が存在するか否かを検知する物体検知部と、
   前記検知範囲を含む所定の撮影範囲の画像を撮影する撮影部と、
   前記撮影部によって撮影された画像の中に含まれる物体を認識する画像認識部と、
   制御部とを備え、
   前記撮影部は、バーコードを撮影しそのバーコードの内容を読み取るバーコードモードと、前記撮影範囲の画像を撮影するカメラモードとを備え、
   前記物体検知部によって検知された物体の検知状態が、検知有りから検知無しに変化した場合、および検知無しから検知有りに変化した場合に、
   前記制御部は、前記撮影部をカメラモードに切り替えて、前記撮影部に前記撮影範囲の画像を撮影させ、前記画像認識部に前記撮影された画像に含まれる物体を認識させることを特徴とする物体検知装置。
2. 前記撮影部が撮影する物体に焦点が合うように焦点距離を調整する焦点調整部と、
   前記撮影範囲に、前記物体検知部によって検知された物体が含まれるように、撮影方向を変更する撮影方向変更部とをさらに備えたことを特徴とする請求項１に記載の物体検知装置。
3. 前記画像認識部によって認識された物体に予め対応づけられた機能を実行する機能実行部を、さらに備え、
   前記物体検知部によって物体の存在が検知された後、その検知物体が、前記画像認識部によって所定の物体として認識された場合に、
   前記機能実行部によって、前記認識された所定の物体に予め対応づけられた機能を実行することを特徴とする請求項１または２に記載の物体検知装置。
4. 前記画像認識部が、前記撮影された画像の中の物体を人間と認識した場合に、前記機能実行部が前記人間に予め対応づけられた機能を実行することを特徴とする請求項３に記載の物体検知装置。
5. 前記物体検知装置が、ガソリンスタンドに設置された給油システムパネルに備えられている場合、前記機能実行部によって実行される機能は、給油するガソリンを選択するための表示処理および操作入力処理と、選択されたガソリンの給油処理を含むことを特徴とする請求項４に記載の物体検知装置。
6. 前記物体検知部が、物体の検知状態が変化したことを検知した場合に、前記撮影部を起動させ、前記機能実行部が、前記人間に予め対応づけられた機能を実行した場合に、前記撮影部を一時停止させることを特徴とする請求項５に記載の物体検知装置。
7. 前記撮影部は、前記カメラモードにおいて、前記撮影範囲の静止画あるいは動画を撮影することを特徴とする請求項１に記載の物体検知装置。