JP6354585B2 - 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム - Google Patents

Description

本発明は、自動車を車外からカメラで撮影して得られた入力画像に基づいて自動車内に存在する人物の数を計数するシステムに関し、特に、自動車を車外横方向からカメラで撮影して得られた入力画像から人物の横顔を検出することによって自動車内に存在する人物の人数を計数する乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラムに関する。

本発明に関連する技術として、自動車を車外からカメラで撮影して得られた入力画像に基づいて自動車内に存在する人物の数を計数するシステムが提案されている。特許文献１や特許文献２には、自動車の前方よりカメラで撮影することにより得られた入力画像に基づいて人物の顔や頭部を検出することによって、自動車内に存在する人物の数を計数する技術が記載されている。

ＷＯ２００８／０９９１４６号公報 ＷＯ２０１１／１２８６６８号公報

特許文献１や特許文献２に記載された技術では、入力画像に自動車の後部座席に座った人物の顔や頭部が十分に写らないため、自動車の後部座席に座った人物が正しく計数されない場合があるという課題がある。

そこで、本発明は、後部座席に座った人物も含めて自動車内に存在する人物の数を正しく計数することができる乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラムを提供することを目的とする。

本発明による乗車人数計数システムは、自動車の外部に設けられ当該自動車を横方向から撮影する撮像装置と、撮像装置を制御し、自動車内が撮影された画像を入力画像として取得する画像取得手段と、自動車の外部に設けられ当該自動車を前方向から撮影する前方撮像装置と、前方撮像装置を制御し、自動車内が撮影された画像を前方入力画像として取得する前方画像取得手段と、入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の横顔を検出する横顔検出手段と、前方入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の正面顔を検出する正面顔検出手段と、横顔検出手段により得られた横顔の個数と、正面顔検出手段により得られた正面顔の個数とに基づいて、自動車内に存在する人物の数を決定する乗車人数決定手段とを備えたことを特徴とする。

本発明による乗車人数計数方法は、自動車の外部に設けられた撮像装置を制御し、自動車内が横方向から撮影された画像を入力画像として取得し、入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の横顔を検出し、自動車の外部に設けられた前方撮像装置を制御し、自動車内が前方向から撮影された画像を前方入力画像として取得し、前方入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の正面顔を検出し、入力画像に対する検出の結果得られた横顔の個数と、前方入力画像に対する検出の結果得られた正面顔の個数とに基づいて、自動車内に存在する人物の数を決定することを特徴とする。

本発明による乗車人数計数プログラムは、コンピュータに、自動車の外部に設けられた撮像装置を制御し、自動車内が横方向から撮影された画像を入力画像として取得する画像取得処理と、入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の横顔を検出する横顔検出処理と、自動車の外部に設けられた前方撮像装置を制御し、自動車内が前方向から撮影された画像を前方入力画像として取得する前方画像取得処理と、前方入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の正面顔を検出する正面顔検出処理と、横顔検出処理で得られた横顔の個数と、正面顔検出処理で得られた正面顔の個数とに基づいて、自動車内に存在する人物の数を決定する乗車人数決定処理とを実行させることを特徴とする。

本発明によれば、後部座席に座った人物も含めて自動車内に存在する人物の数を正しく計数することができる。

本発明による乗車人数計数システムの第１の実施形態の概要を示す説明図である。 本発明による乗車人数計数システムの第１の実施形態の構成を示すブロック図である。 本発明による乗車人数計数システムの第１の実施形態の動作を示すフローチャートである。 本発明による乗車人数計数システムの第２の実施形態の概要を示す説明図である。 本発明による乗車人数計数システムの第２の実施形態の構成を示すブロック図である。 本発明による乗車人数計数システムの第２の実施形態の動作を示すフローチャートである。 本発明による乗車人数計数システムの主要部を示すブロック図である。

次に、本発明による乗車人数計数システムの実施形態を、図面を参照して説明する。

実施形態１．
図１は、本発明による乗車人数計数システムの第１の実施形態（実施形態１）の概要を示す説明図である。図２は、本発明による乗車人数計数システムの第１の実施形態の構成を示すブロック図である。

図１に示すように、本実施形態の乗車人数計数システムは、自動車の外部に設けられ自動車の横方向（進行方向を前方向としたときの左右いずれかの方向）から自動車の内部を撮影する撮像装置１と、撮像装置１が取得した画像に基づいて自動車内に存在する人物の数を計数する乗車人数計数装置２とを備える。

撮像装置１は、例えば、静止画を撮影するスチルカメラでもよく、動画を撮影するビデオカメラでもよい。

図２に示すように、乗車人数計数装置２は、撮像装置１を制御して自動車内が撮影された画像を取得する画像取得手段２１と、画像取得手段２１が取得した画像に基づいて人物の横顔を検出する横顔検出手段２２と、横顔検出手段２２が検出した結果に基づいて自動車内に存在する人物の数を決定する乗車人数決定手段２３とを備える。乗車人数計数装置２が備える各手段は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の情報処理装置によって実現される。

画像取得手段２１は、撮像装置１を制御して自動車内が撮影された画像を取得する。画像取得手段２１は、例えば、自動車が走行するコース上に設置された通過センサや重量センサなどの、自動車の存在を検知するセンサから得られる自動車の通過タイミングに合わせて撮像装置１を制御することによって、撮影対象である自動車が撮影された画像を取得してもよい。また、画像取得手段２１は、撮像装置１を制御して連続して複数撮影した各画像を入力し、テンプレートマッチングによって窓枠を検知するなどの画像処理を行うことによって自動車内が撮影されているかどうかを判定し、撮影対象である自動車内が撮影された画像を取得してもよい。また、画像取得手段２１は、撮影対象である自動車を撮影した複数の画像を取得してもよい。

例えば、画像取得手段２１が通過センサを用いて撮像装置１を制御する場合、撮像装置１および通過センサは、通過センサが自動車を検知したときに撮像装置１が後部座席の人物を捉えられるように、相互の位置関係が決められて設置される。そして、画像取得手段２１は、通過センサの検知タイミングに合わせて撮像装置１を制御して自動車内を撮影することで、後部座席の人物を望ましい画角で撮影することができる。また、画像取得手段２１は、撮影対象である自動車を撮影した複数の画像を取得してもよい。

横顔検出手段２２は、画像取得手段２１が取得した画像（以下、入力画像と記載する。）から得られた予め定められた縦横比の矩形で囲まれた部分画像を用いて画像特徴量を算出し、その画像特徴量に基づいて部分画像が人物の横顔を含むかどうかを判定することにより、入力画像内から人物の横顔を検出する。横顔検出手段２２は、各部分画像が人物の横顔を含むかどうかを示す情報を検出結果として出力してもよいし、各部分画像に含まれる画像の人物の横顔らしさを示すスコアを検出結果として出力してもよい。

横顔検出手段２２は、部分画像の範囲を、例えば、撮像装置１と自動車との距離によって変化する入力画像内の人物の横顔の大きさに基づいて決定してもよい。また、横顔検出手段２２は、部分画像の範囲を、予め定められた自動車内が写る可能性のある範囲に限定してもよい。また、横顔検出手段２２は、部分画像の範囲を、テンプレートマッチングなどの画像処理によって窓枠を検知することによって限定してもよい。また、横顔検出手段２２は、部分画像の範囲を、レーザレンジスキャナや通過センサなどを用いて検出された自動車の存在範囲または自動車窓枠の存在範囲に限定してもよい。

また、横顔検出手段２２は、画像特徴量として、額からあごにかけての輪郭線を含む部分画像から算出できるエッジの位置、方向、強度、輝度勾配に基づく画像特徴量を用いることができる。部分画像は、耳や首を含んでいてもよい。この際、自動車の窓ガラスに外の風景が反射していたり、自動車の動きによって入力画像がぶれていたり、自動車内の照度が不十分で、特徴がうまく抽出できない場合がある。そのため、横顔検出手段２２は、これらの要因を軽減する前処理を行ってから、画像特徴量を抽出するようにしてもよい。横顔検出手段２２は、例えば、窓ガラスへの反射成分を、鏡面反射成分の偏光特性を利用して、偏光フィルタを用いることで除去することができる。また、横顔検出手段２２は、動きによるブレを除去するために、動きボケの程度を推定し、動きボケによる劣化を復元する処理を行ってもよい。または、横顔検出手段２２は、照度が十分でない場合には、照度を均一化する処理を行って、コントラストを補正するようにしてもよい。このようにすることで、検出精度を向上することができる。

さらに、横顔検出手段２２は、額からあごにかけての輪郭線などが、主に鉛直方向のエッジで構成されているため、鉛直方向のエッジが残るような前処理（たとえば、鉛直方向へのぼかし）を施してもよい。これにより、横顔検出手段２２は、鉛直方向以外の反射やノイズなどの重畳成分による影響を低減することができ、検出率を高められる。この際、横顔検出手段２２は、重畳成分の強度を、自動車の窓ガラス内で人物が写らない場所から推定し、鉛直方向へのぼかしの程度を制御してもよい。

乗車人数決定手段２３は、横顔検出手段２２の検出結果を用いて、自動車内に存在する人物の数を決定する。乗車人数決定手段２３は、具体的には、横顔検出手段２２が各部分画像が人物横顔を含むかどうかを出力する場合、人物横顔を含むと判定された部分画像の個数を、自動車内に存在する人物の数として決定する。また、乗車人数決定手段２３は、横顔検出手段２２が各部分画像に含まれる画像の人物横顔らしさを示すスコアを出力する場合、そのスコアと予め定められたスコアの閾値との比較より人物横顔らしい画像を含むと判定された部分画像の個数を、自動車内に存在する人物の数として決定する。

乗車人数決定手段２３は、複数の部分画像が重畳している場合、それらをまとめて１つの部分画像としてもよい。この場合、乗車人数決定手段２３は、重畳している複数の部分画像の全てを１つの部分画像としてもよいし、複数の部分画像が予め定めた割合より多く重畳している場合にそれらをまとめて１つの部分画像としてもよい。

次に、本実施形態の乗車人数計数システムの動作を説明する。図３は、本発明による乗車人数計数システムの第１の実施形態の動作を示すフローチャートである。

画像取得手段２１は、撮像装置１を制御して自動車内が撮影された画像を取得する（ステップＡ１）。横顔検出手段２２は、画像取得手段２１が取得した入力画像から得られた、予め定められた縦横比の矩形で囲まれる部分画像を、順次選択する（ステップＡ２）。そして、横顔検出手段２２は、部分画像を用いて算出した画像特徴量に基づいて部分画像から人物の横顔を検出する（ステップＡ３）。

入力画像内から人物の横顔を検出すべき全部分画像の選択と横顔検出が完了したと判定されると（ステップＡ４のＹＥＳ）、乗車人数決定手段２３は、横顔検出手段２２が出力する人物の横顔に関する検出結果に基づいて自動車内に存在する人物の数を決定する（ステップＡ５）。ステップＡ４において、選択と横顔検出が完了していないと判定されると、ステップＡ２およびステップＡ３の処理が繰り返される。

本実施形態の乗車人数計数システムは、自動車を車外横方向からカメラで撮影して得られた入力画像から人物の横顔を検出する。これにより、乗車人数計数システムは、自動車の前方より撮影して得られた画像では十分に写らない場合がある自動車の後部座席に座った人物も検出することができる。よって、本実施形態の乗車人数計数システムは、後部座席に座った人物も含めて自動車内に存在する人物の数を正しく計数することができる。

実施形態２．
図４は、本発明による乗車人数計数システムの第２の実施形態の概要を示す説明図である。図５は、本発明による乗車人数計数システムの第２の実施形態の構成を示すブロック図である。なお、以下の説明において、第１の実施形態の乗車人数計数システムと同一の部分に関する説明を省略する。

図４および図５に示すように、本実施形態の乗車人数計数システムは、自動車の前方から自動車内を撮影する撮像装置３をさらに備えている点で図２に示された第１の実施形態の乗車人数計数システムと異なる。また、図５に示すように、本実施形態の乗車人数計数システムにおける乗車人数計数装置４は、画像取得手段２４と、正面顔検出手段２５とをさらに備え、乗車人数決定手段２３の代わりに乗車人数決定手段２６を備える点で第１の実施形態の乗車人数計数システムと異なる。

撮像装置３は、静止画を撮影するスチルカメラでも、動画を撮影するビデオカメラでもよい。

画像取得手段２４は、撮像装置３を制御して自動車内が撮影された画像を取得する。このとき、自動車が走行するコース上に設置した通過センサや重量センサなどの、自動車の存在を検知するセンサから得られる自動車の通過タイミングに合わせて撮像装置３を制御することによって、撮影対象自動車を撮影した画像を取得してもよい。また、画像取得手段２４は、撮像装置３を制御して連続して複数撮影した各画像内に自動車内が撮影されているかどうかを、テンプレートマッチングによって窓枠を検知するなどの画像処理によって判定し、撮影対象の自動車内が撮影された画像を取得してもよい。

画像取得手段２４は、例えば、通過センサを用いて撮像装置３を制御する場合には、撮像装置３および通過センサは、通過センサが自動車を検知したときに撮像装置３が前部座席の人物を捉えられるように相互の位置関係が決められて設置される。そして、画像取得手段２４は、通過センサの検知タイミングに合わせて撮像装置３を制御して自動車内を撮影することで、前部座席の人物を望ましい画角で撮影することができる。また、画像取得手段２４は、撮影対象である自動車を撮影した複数の画像を取得してもよい。

正面顔検出手段２５は、画像取得手段２４で取得した画像（以下、入力画像と記載する。）から予め定められた縦横比の矩形で囲まれる部分画像を用いて画像特徴量を算出する。そして、正面顔検出手段２５は、その画像特徴量に基づいて、部分画像が人物の正面顔を含むかどうかを判定することにより、入力画像内から人物の正面顔を検出する。正面顔検出手段２５は、各部分画像が人物正面顔かどうかを示す情報を検出結果として出力してもよいし、各部分画像に含まれる画像の人物正面顔らしさを示すスコアを検出結果として出力してもよい。

また、正面顔検出手段２５は、部分画像の範囲を、撮像装置３と自動車との距離によって変化する入力画像内の人物正面顔の大きさに基づいて決定してもよい。また、正面顔検出手段２５は、部分画像の範囲を、予め定められた自動車内が写る可能性のある範囲に限定してもよい。また、正面顔検出手段２５は、部分画像の範囲を、テンプレートマッチングによって窓枠を検知するなどの画像処理によって決定した自動車内が写っている範囲に限定してもよい。また、正面顔検出手段２５は、部分画像の範囲を、レーザレンジスキャナや通過センサなどを用いて検出した自動車の存在範囲または自動車窓枠の存在範囲に限定してもよい。

乗車人数決定手段２６は、横顔検出手段２２で得られた人物横顔検出結果と、正面顔検出手段２５で得られた人物正面顔検出結果とに基づいて、自動車内に存在する人物の数を決定する。乗車人数決定手段２６は、具体的には、横顔検出手段２２で得られた横顔の個数と、正面顔検出手段２５で得られた正面顔の個数との最大値、平均値、または和を、自動車内に存在する人物の数として決定する。

なお、横顔の個数は、横顔検出手段２２の検出結果が各部分画像が人物横顔を含むかどうかを示す情報である場合、人物の横顔と判定された部分画像の個数である。また、横顔の個数は、横顔検出手段２２の検出結果が各部分画像の人物の横顔らしさを示すスコアである場合、そのスコアと予め定められたスコアの閾値との比較より人物の横顔らしいと判定された部分画像の個数である。また、正面顔の個数は、正面顔検出手段２５の検出結果が各部分画像が人物の正面顔を含むかどうかを示す情報である場合、人物の正面顔を含むと判定された部分画像の個数である。また、正面顔の個数は、正面顔検出手段２５の検出結果が各部分画像に含まれる画像の人物正面顔らしさを示すスコアである場合、そのスコアと予め定められたスコアの閾値との比較により人物正面顔らしいと判定された画像を含む部分画像の個数である。

このとき、乗車人数決定手段２６は、複数の部分画像が重畳している場合にはそれらをまとめて１つの部分画像としてもよい。この場合、乗車人数決定手段２６は、重畳している複数の部分画像の全てを１つの部分画像としてもよいし、複数の部分画像が予め定められた割合より多く重畳している場合にそれらをまとめて１つの部分画像としてもよい。

また、他の具体例としては、乗車人数決定手段２６は、横顔検出手段２２および正面顔検出手段２５が人物顔を含むと判定した部分画像の位置を、撮影対象である自動車内における座席の位置に対応付ける。そして、横顔検出手段２２が人物の横顔を含むと判定した各部分画像の自動車内における座席位置と、正面顔検出手段２５が人物の正面顔を含むと判定した各部分画像の自動車内における座席位置とが一致するかを判定する。これにより、乗車人数決定手段２６は、人物が乗車している座席位置の総数を判定し、この総数に基づいて自動車内に存在する人物の数を決定してもよい。例えば、横顔の個数が４つであり正面顔の個数が４つであり、一致する座席位置の数が３つであれば、一致しない座席位置の数が１つずつ存在するため、乗車人数決定手段２６は、人物の総数が５つであると決定する。

次に、本実施形態の乗車人数計数システムの動作を説明する。図６は、本発明による乗車人数計数システムの第２の実施形態の動作を示すフローチャートである。

画像取得手段２１は撮像装置１を、画像取得手段２４は撮像装置３をそれぞれ制御して自動車内を撮影した画像を取得する（ステップＡ６）。横顔検出手段２２は、画像取得手段２１が取得した画像（以下、横方向入力画像と記載する。）から、順次予め定められた縦横比の矩形で囲まれた部分画像を選択する（ステップＡ２）。また、横顔検出手段２２は、部分画像より算出した画像特徴量に基づいて部分画像から人物の横顔を検出する（ステップＡ３）。

正面顔検出手段２５は、画像取得手段２４が取得した画像（以下、前方入力画像と記載する。）から、順次予め定められた縦横比の矩形で囲まれた部分画像を選択する（ステップＡ７）。正面顔検出手段２５は、部分画像より算出した画像特徴量に基づいて部分画像が人物正面顔を検出する（ステップＡ８）。横方向入力画像内から人物の横顔を検出すべき全部分画像の選択と横顔検出が完了したと判定され（ステップＡ４のＹＥＳ）、かつ前方入力画像内から人物の正面顔を検出すべき全部分画像の選択と正面顔検出が完了したと判定されると（ステップＡ９のＹＥＳ）、乗車人数決定手段２６は、人物の横顔に関する検出結果および人物の正面顔に関する検出結果に基づいて自動車内に存在する人物の数を決定する（ステップＡ１０）。

本実施形態の乗車人数計数システムは、車外横方向および車外前方からカメラで撮影して得られた入力画像に基づいて人物を検出する。これにより、本実施形態の乗車人数計数システムは、第１の実施形態の乗車人数計数システムが有する効果に加え、自動車自体の部品や乗車する人物による死角を減らし、自動車内に存在する人物の数をより正しく計数することができるという効果を有する。

図７は、本発明による乗車人数計数システムの主要部を示すブロック図である。乗車人数計数システムは、自動車の外部に設けられ当該自動車を横方向から撮影する撮像装置１１と、撮像装置１１を制御し、自動車内が撮影された画像を入力画像として取得する画像取得部３１と、入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の横顔を検出して検出結果を出力する横顔検出部３２と、検出結果に基づいて自動車内に存在する人物の数を決定する乗車人数決定部３３とを備える。

（１）自動車の外部に設けられ当該自動車を横方向から撮影する撮像装置（例えば、撮像装置１）と、撮像装置を制御し、自動車内が撮影された画像を入力画像として取得する画像取得手段（例えば、画像取得手段２１）と、入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の横顔を検出して検出結果を出力する横顔検出手段（例えば、横顔検出手段２２）と、検出結果に基づいて自動車内に存在する人物の数を決定する乗車人数決定手段（例えば、乗車人数決定手段２３）とを備えた乗車人数計数システム。

（２）乗車人数計数システムは、画像取得手段が、自動車が走行するコース上に設置され自動車の存在を検知するセンサによって得られた自動車の通過タイミングに合わせて撮像装置を制御することによって、自動車内が撮影された画像を入力画像として取得するように構成されていてもよい。

（３）乗車人数計数システムは、画像取得手段が、テンプレートマッチングによる画像処理を用いて窓枠を検知することによって、連続して複数撮影された画像内に自動車内が撮影されているかどうかを判定し、自動車内が撮影された画像を入力画像として取得するように構成されていてもよい。

（４）乗車人数計数システムは、横顔検出手段が、画像特徴量として、額からあごにかけての輪郭線を含む部分画像から算出できるエッジの位置、方向、強度および輝度勾配に基づく画像特徴量を用いるように構成されていてもよい。

（５）乗車人数計数システムは、横顔検出手段が、入力画像に、鉛直方向のエッジが残るようにするための前処理を施すように構成されていてもよい。

（６）乗車人数計数システムは、横顔検出手段が、部分画像を切り出す入力画像内の範囲を、予め定められた自動車内が写る可能性のある範囲、または、テンプレートマッチングによる画像処理を用いて窓枠を検知することにより決定した自動車内が写っている範囲、または、レーザレンジスキャナもしくは通過センサを用いて検出した自動車もしくは自動車窓枠の存在範囲に限定するように構成されていてもよい。

（７）乗車人数計数システムは、乗車人数決定手段が、横顔検出手段により人物の横顔を含むと判定された部分画像の個数を自動車内に存在する人物の数とするように構成されていてもよい。

（８）自動車の外部に設けられ当該自動車を横方向および前方向から撮影する撮像装置（例えば、撮像装置１および撮像装置３）と、撮像装置を制御し、自動車内が横方向から撮影された画像を横方向入力画像として取得し、自動車内が前方向から撮影された画像を前方入力画像として取得する画像取得手段（例えば、画像取得手段２１および画像取得手段２４）と、横方向入力画像および前方入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、横方向入力画像内の部分画像から人物の横顔を検出し、前方入力画像内の部分画像から人物の正面顔を検出し、検出結果を出力する顔検出手段（例えば、横顔検出手段２２および正面顔検出手段２５）と、検出結果に基づいて自動車内に存在する人物の数を決定する乗車人数決定手段（例えば、乗車人数決定手段２６）とを備えた乗車人数計数システム。

（付記１）乗車人数計数システムは、乗車人数決定手段が、横顔検出手段により人物の横顔を含むと判定された複数の部分画像が重畳している場合には、当該複数の部分画像をまとめて１つの部分画像とする処理を行い、人物の横顔を含むと判定された部分画像の当該処理後の個数を自動車内に存在する人物の数とするように構成されていてもよい。

この出願は、２０１２年１０月１９日に出願された日本出願特願２０１２−２３１７２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用の可能性

本発明は、自動車内に存在する人物の数に応じて道路の通行料金を決定するシステムや、自動車内に存在する人物の数に応じて走行レーンの通行可否を判断するシステムなどの用途に適用される。

１，３ 撮像装置
２，４ 乗車人数計数装置
２１，２４ 画像取得手段
２２ 横顔検出手段
２３，２６ 乗車人数決定手段
２５ 正面顔検出手段

Claims (9)

1. 自動車の外部に設けられ当該自動車を横方向から撮影する撮像装置と、
   前記撮像装置を制御し、前記自動車内が撮影された画像を入力画像として取得する画像取得手段と、
   前記自動車の外部に設けられ当該自動車を前方向から撮影する前方撮像装置と、
   前記前方撮像装置を制御し、前記自動車内が撮影された画像を前方入力画像として取得する前方画像取得手段と、
   前記入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の横顔を検出する横顔検出手段と、
   前記前方入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の正面顔を検出する正面顔検出手段と、
   前記横顔検出手段により得られた横顔の個数と、前記正面顔検出手段により得られた正面顔の個数とに基づいて、前記自動車内に存在する人物の数を決定する乗車人数決定手段とを備えた
   ことを特徴とする乗車人数計数システム。
2. 画像取得手段は、
   自動車が走行するコース上に設置され前記自動車の存在を検知するセンサによって得られた前記自動車の通過タイミングに合わせて撮像装置を制御することによって、前記自動車内が撮影された画像を入力画像として取得する
   請求項１記載の乗車人数計数システム。
3. 画像取得手段は、
   テンプレートマッチングによる画像処理を用いて窓枠を検知することによって、連続して複数撮影された画像内に自動車内が撮影されているかどうかを判定し、前記自動車内が撮影された画像を入力画像として取得する
   請求項１または請求項２記載の乗車人数計数システム。
4. 横顔検出手段は、
   画像特徴量として、額からあごにかけての輪郭線を含む部分画像から算出できるエッジの位置、方向、強度および輝度勾配に基づく画像特徴量を用いる
   請求項１から請求項３のうちのいずれか１項に記載の乗車人数計数システム。
5. 横顔検出手段は、
   入力画像に、鉛直方向のエッジが残るようにするための前処理を施す
   請求項４記載の乗車人数計数システム。
6. 横顔検出手段は、
   部分画像を切り出す入力画像内の範囲を、予め定められた自動車内が写る可能性のある範囲、または、テンプレートマッチングによる画像処理を用いて窓枠を検知することにより決定した前記自動車内が写っている範囲、または、レーザレンジスキャナもしくは通過センサを用いて検出した自動車もしくは自動車窓枠の存在範囲に限定する
   請求項１から請求項５のうちのいずれか１項に記載の乗車人数計数システム。
7. 前記乗車人数決定手段は、前記横顔検出手段が横顔を検出した部分画像が対応する前記自動車内における座席の位置と、前記正面顔検出手段が正面顔を検出した部分画像が対応する前記自動車内における座席の位置とが一致するか否かを判定することによって、前記自動車内に存在する人物の数を決定する
   請求項１から請求項６のうちのいずれか１項に記載の乗車人数計数システム。
8. 自動車の外部に設けられた撮像装置を制御し、前記自動車内が横方向から撮影された画像を入力画像として取得し、
   前記入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の横顔を検出し、
   前記自動車の外部に設けられた前方撮像装置を制御し、前記自動車内が前方向から撮影された画像を前方入力画像として取得し、
   前記前方入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の正面顔を検出し、
   前記入力画像に対する前記検出の結果得られた横顔の個数と、前記前方入力画像に対する前記検出の結果得られた正面顔の個数とに基づいて、前記自動車内に存在する人物の数を決定する
   ことを特徴とする乗車人数計数方法。
9. コンピュータに、
   自動車の外部に設けられた撮像装置を制御し、前記自動車内が横方向から撮影された画像を入力画像として取得する画像取得処理と、
   前記入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の横顔を検出する横顔検出処理と、
   前記自動車の外部に設けられた前方撮像装置を制御し、前記自動車内が前方向から撮影された画像を前方入力画像として取得する前方画像取得処理と、
   前記前方入力画像から得られた部分画像を用いて算出した画像特徴量に基づいて、当該部分画像から人物の正面顔を検出する正面顔検出処理と、
   前記横顔検出処理で得られた横顔の個数と、前記正面顔検出処理で得られた正面顔の個数とに基づいて、前記自動車内に存在する人物の数を決定する乗車人数決定処理とを
   実行させるための乗車人数計数プログラム。

Images