JPWO2014064898A1 - 乗車人数計測装置、方法およびプログラム - Google Patents

乗車人数計測装置、方法およびプログラム Download PDF

Info

Publication number
JPWO2014064898A1
JPWO2014064898A1 JP2014543137A JP2014543137A JPWO2014064898A1 JP WO2014064898 A1 JPWO2014064898 A1 JP WO2014064898A1 JP 2014543137 A JP2014543137 A JP 2014543137A JP 2014543137 A JP2014543137 A JP 2014543137A JP WO2014064898 A1 JPWO2014064898 A1 JP WO2014064898A1
Authority
JP
Japan
Prior art keywords
vehicle
image
person
result
view determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014543137A
Other languages
English (en)
Other versions
JP6281492B2 (ja
Inventor
亮磨 大網
亮磨 大網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014064898A1 publication Critical patent/JPWO2014064898A1/ja
Application granted granted Critical
Publication of JP6281492B2 publication Critical patent/JP6281492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Abstract

運転席と助手席に乗っている人物は検出できるものの、後部座席に乗車している人物の検出は困難であり、乗車人数を正確に計測することができなかった。画像取得手段100は車の外(路肩など)から車内を撮影する。ビュー判定手段102は画像取得手段100で撮影した画像中の車の見え方を推定し、ビュー判定結果を出力する。人物検出手段101は、画像取得手段100で撮影した画像に対して、正面顔や横顔、斜め顔検知を行い、人物を検出し、人物検出結果を出力する。車内位置推定手段103は、検出された人物が車内のどの位置にいるかを、人物検出情報とビュー判定結果情報を用いて判定し、車内位置推定情報を出力する。結果統合手段104は、連続して撮影される複数の画像における検出結果を統合し、乗車人数を算出する。

Description

本発明は、車に乗車した人物の数を数える乗車人数計測装置、方法およびプログラムに関し、特に、車外に設置されたカメラによって撮影された画像から乗車人数を計測する乗車人数計測装置、方法およびプログラムに関する。
車外に配置したカメラによって車内を撮影し、乗車人数をカウントする方式として、例えば、非特許文献1では、フロントガラス越しに撮影した人物の画像から顔を検知することによって、車内の人物を検出する方式が記載されている。
Philip M. Birch, Rupert C.D. Young, Frederic Claret−Tournier, Chris R.Chatwin, "Automated vehicle occupancy monitoring", Optical Engineering, Vol. 43, No.8, pp.1828−1832, 2004−8.
しかし、車の前方においたカメラによって撮影する場合、運転席と助手席に乗っている人物は検出できるものの、後部座席に乗車している人物の検出は困難であり、乗車人数を正確に計測することができなかった。
そこで、本発明は、車の後部座席に着席している人も含めて、乗車人数を正確に計測する乗車人数計測装置、方法およびプログラムを提供することを目的とする。
本発明による乗車人数計測装置は、画像を取得する画像取得手段と、前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する人物検出手段と、前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成するビュー判定手段と、前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する車内位置推定手段と、前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する結果統合手段とを有することを特徴とする。
これにより、画像取得手段で撮影した映像から人物を検出し、ビュー判定手段によって判定されたビューの判定結果と人物の検出結果とから人物の車内位置を推定し、推定された人物の車内位置を複数の画像に対して統合することによって車内の人物の位置を求めることができ、この結果から乗車人数を計測することができる。
本発明による乗車人数計測方法は、画像を取得し、前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成し、前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成し、前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成し、前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定することを特徴とする。
本発明による乗車人数計測プログラムは、コンピュータに、画像を取得する処理と、前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する処理と、前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成する処理と、前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する処理と、前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する処理とを実行させることを特徴とする。
本発明によれば、後部座席にいる人も含めて検出できるため、乗車人数を正確に計測することが可能となる。
本発明の第1の発明を実施するための最良の形態の構成を示すブロック図である。 車の斜め前から撮影するカメラで順次撮影して人物を検出した結果の一例を示す説明図である。 車の横から撮影するカメラで順次撮影して人物を検出した結果の一例を示す説明図である。 車とカメラとの角度が時刻により変化することを表す説明図である。 統合処理の概要を表す説明図である。 本発明の第2の発明を実施するための実施の形態の構成を示すブロック図である。 本発明の第3の発明を実施するための実施の形態の構成を示すブロック図である。
実施形態1.
以下、本発明の第1の実施形態を図面を参照して説明する。
図1には、本発明による乗車人数計測装置の第1の実施形態の構成が示されている。第1の実施形態における乗車人数計測装置は、画像取得手段100と、人物検出手段101と、ビュー判定手段102と、車内位置推定手段103と、結果統合手段104とを有する。
画像取得手段100は、カメラ等の撮像装置を含み、撮像装置によって取得した画像を出力する。
人物検出手段101は、画像取得手段100から出力される画像中の人物を検出し、人物検出結果を出力する。
ビュー判定手段102は、画像取得手段100から出力される画像から、車の見え方を判定し、ビュー判定結果を出力する。
車内位置推定手段103は、人物検出結果とビュー判定結果とから、車内における人物の位置を推定し、車内位置推定結果を出力する。
結果統合手段104は、複数の画像に対する車内位置推定結果を統合し、乗車人数を出力する。
なお、画像取得手段100、人物検出手段101、ビュー判定手段102、車内位置推定手段103および結果統合手段104は、乗車人数計測装置が備えるソフトウェアに従って処理を実行するCPU等によって実現される。
次に、本実施形態の動作について説明する。
まず、画像取得手段100において、車内を外から写した画像が取得される。
この際、車内の人物をはっきりと撮影するために、赤外線投光器を用いてもよい。この場合は、画像取得手段100は、赤外線投光器を有し、当該赤外線投光器を用いて赤外線を車内に向けて投光する。また、画像取得手段100は、赤外線波長領域の光を撮影可能であるとする。なお、可視光の影響を軽減するために、画像取得手段100は、バンドパスフィルタを画像取得時に用いて、赤外領域の波長のみを透過するようにして画像を撮影してもよい。また、ガラス面での反射を抑えるために、偏光フィルタを用いるようにしてもよい。これにより、反射光の偏光特性を利用して、車のガラス面に映りこむ環境情報が検出に与える影響を軽減できる。
画像取得手段100が取得した画像は、人物検出手段101とビュー判定手段102へ出力される。なお、図1では、画像取得手段100は一つになっているが、複数用意し、用いるようにしてもよい。例えば、車の走行方向の両側から2台の画像取得手段を用いて車を撮影するようにしてもよい。そして、複数の画像取得手段のそれぞれの画像に対して以下の処理を行って、最終的に統合処理を行ってもよい。
人物検出手段101は、画像中から乗車している人物を検出する。
例えば、図2に示すように、正面顔に近い角度で乗車人物の顔が映る場合には、人物検出手段101は、正面顔の検出器を用いて人物を検出できる(図2において、白枠は、顔が検出されたことを示している)。あるいは、図3に示すように、横に近い角度で乗車人物の顔が映る場合には、人物検出手段101は、横顔の検出器を用いて人物を検出できる(図3においても、白枠は、顔が検出されたことを示している)。
これらの検出器は、正面や横から撮影した数多くの顔画像を用いて学習することによって構築できる。検出器としては、例えば、SVM(サポートベクターマシン)やLDA(線形判別分析)、GLVQ(一般化学習ベクトル量子化)、あるいはニューラルネットワーク等を利用することができる。検知された人物の頭部の画像上での位置は、検出されたフレームを識別する情報(例えば、フレームの時間情報やフレーム番号など)とともに人物検出結果情報として出力される。
ビュー判定手段102は、画像内のどこに車両が映っているかを求め、車を撮影したビュー(どの向きから撮影したか)を判定する。
図2、図3に示すように、道路わきに固定したカメラを用いて走ってくる車両を撮影した場合、車両の進行に従ってカメラと車の相対的な位置関係が変化し、画面内における車両の位置も変化する。これとともに、図4に示すようにカメラからみたときの車の向きθも変化し、車内の見え方が変化する。このような見え方のことをここではビューと呼ぶことにする。図4では、車両の進行に従って、θがθ、θ、θと変化している。
そして、ビュー判定手段102は、画像内での車の位置からどのビューで撮影されたかを判定し、ビュー判定結果を出力する。ここで、ビュー判定結果は、車とカメラがなす角度であってもよいし、画面上の車の位置を記述した情報であってもよいし、あるいは、ビューごとにインデックスを振っておき、このインデックスの値を判定結果としてもよい。
具体的なビューの判定は、例えば、窓枠を検知することによって判定できる。すなわち、背景と異なる領域を画像中から抽出し、これに対してHough変換等の直線成分を検出する処理を行い、窓枠に相当する部分を抽出し、窓枠の位置からビューを判定する。あるいは、ガラスは光を透過するが、枠の部分は透過しないことを利用して、レーザーのようなセンサによって窓枠の位置を検知してもよい。すなわち、カメラと別に用意したセンサを用いて窓枠の位置を検知し、その位置とビューを対応付ける情報を予め算出しておいてビューを判定してもよい。あるいは、車体領域が同一色であることを利用して、車体領域を画像中から抽出し、窓枠を判定するようにしてもよい。なお、一旦窓枠が検知できた後は、そのあとの時刻では、その窓枠を画像間で追跡することによって、窓枠の位置を判定してもよい。このようにして、現在の画像がどのビューに相当するかを求めることができる。
車内位置推定手段103は、人物検出結果とビュー判定結果から、車内のどの位置に人物がいるかを推定する。ビューが決まると、運転席や助手席など、座席に座っている人物が画像上のどの位置に見えるかは、幾何的な制約により決定できる。そこで、想定される位置と検出された位置とを比較し、検出された各人物が車のどの位置に座っているかを判定する。この判定はフレームごとに行われ、判定した結果は、車内位置推定情報として出力される。
例えば、図5に示す例では、時刻Tでは、助手席に相当する位置に顔が検出されているため、この時刻では、助手席の人物が検出できたと判定する。次の時刻Tでは、運転席に相当する位置に顔が検出されているため、運転席の人物が検出されたと判定する。そして、時刻Tでは、運転席と後部座席の左右に相当する位置に顔が検出されているため、運転席と後部座席の左右の人物が検出されたと判定する。
この判定においては、検出結果の信頼度も考慮して判定してもよい。例えば、信頼度に応じて、各判定結果に重みをつけるようにしてもよい。この重み情報は、結果統合手段104で統合した後に、最終結果の確からしさの判定に用いることができる。また、カメラと車の位置関係によっては、運転席と後部座席の人物の顔が現れる位置が近くなることがあるが、この場合には、検出された顔の大きさも考慮して、前後関係を判定してもよい。この場合も、どちらか一方のみに限定するのではなく、それぞれの位置に存在する可能性(確率)に応じて、両方の位置に検出結果を割り当てるようにしてもよい。また、ビューによって、どの座席の人物が検出されやすいかが変化するが、人物が検出されやすい位置において、人物が検出されなかった場合には、その位置に人物がいないということに対して重みを与えるようにし、後の統合で用いるようにしてもよい。
結果統合手段104は、フレーム単位で出された車内の人物の位置推定の情報を統合して、何人乗車しているかを判定する。統合の様子を示したのが図5である。ここでは、上述の時刻t=T,T,Tの結果を統合し、どの位置に人物が乗車しているかを判定している。統合方法としては様々なものが考えられるが、単純には各ビューにおける推定結果のOR(論理和)をとることによって車内の各座席位置に人物がいるかどうかを判定できる。そして、結果統合手段104は、存在すると判定された人物の数をカウントし、乗車人数として出力する。もし、各位置の検出結果に、信頼度に応じた重みが付与されている場合には、これらをフレーム間で加算し、その値が一定以上になったときに、検出されたと判定してもよい。この際、存在しないことに対する重みも求まっている場合には、各座席に人物が存在しない可能性(尤度)をその重みから算出し、各座席に人物が存在する尤度と存在しない尤度の両方を比較して、人物の有無を判定するようにしてもよい。
このように、本発明では、個別の画像で判定された部分的な検出結果を統合することによって、各座席の人物の有無を判定するため、1枚の画像のみから判定する場合に比べ、高精度に人物を検出可能である。
実施形態2.
以下、本発明の第2の実施形態を図面を参照して説明する。
図6には、本発明による乗車人数計測装置の第2の実施形態の構成が示されている。第2の実施形態における乗車人数計測装置は、画像取得手段200と、人物検出手段101と、ビュー判定手段102と、車内位置推定手段103と、結果統合手段104と、トリガ手段201と、車両移動情報取得手段202とを有する。
車両移動情報取得手段202は、車両の移動に関する情報を求め、車両移動情報としてトリガ手段201へ出力する。
トリガ手段201は、車両移動情報に基づいてトリガ信号を生成し、画像取得手段200へ出力する。
画像取得手段200は、トリガ信号が入力されたときに画像を取得し、出力する。
それ以外の手段は、第1の実施形態と同様である。
なお、画像取得手段200、トリガ手段201および車両移動情報取得手段202は、乗車人数計測装置が備えるソフトウェアに従って処理を実行するCPU等によって実現される。
次に、本実施形態の動作について説明する。
車両移動情報取得手段202は、車の位置や速度といった車の移動に関する情報を取得し、トリガ手段201へ出力する。
例えば、車両移動情報取得手段202は、道路わきなどに設置された通過センサを使って、特定の位置を車が通過したことを検知し、検知した時刻を車両移動情報として生成し、出力する。もし、通過センサが複数の位置に設置されている場合には、その場所を特定する情報も合わせて車両移動情報に含めるようにする。
また、通過センサを複数使う場合には、車両移動情報取得手段202は、それぞれを車が通過した時刻を求め、センサ間の移動にかかった時間を算出し、通過センサ間の距離で割ることで、車の速度を算出することができる。この速度情報も、車両移動情報に含めるようにしてもよい。また、車両の速度情報は、レーダーなど、別のセンサを用いて求めるようにしてもよい。
トリガ手段201は、車両移動情報取得手段202から車両移動情報が入力されると、予め定めたタイミングでトリガ信号を生成し、出力する。
例えば、車両移動情報が入力するタイミングがちょうど車内の人物を撮影するのに適したタイミングになるように、通過センサの位置や車両移動情報の出力タイミングが調整されている場合には、トリガ手段201は、車両移動情報が入力されるとすぐにトリガ信号を生成する。その後は、車の移動に応じて車内の人物が映りやすくなるタイミングを予め求めておいて、そのタイミングになった際に逐次トリガ信号を発生するようにする。
2番目以降のトリガ信号を生成するタイミングは、車両の速度によって変化するため、車両移動情報に車両の速度情報が含まれる場合には、この速度に応じて、トリガ信号を生成するタイミングを調節してもよい。具体的には、トリガ手段201は、トリガ信号の発生タイミングを予め求める際に仮定した車両の速度と実際の車両の速度とを比較し、その比に応じてトリガ信号を発生させるタイミングを調節する。
これにより、速度が異なる場合でも、好ましい位置から車内を撮影できるようになり、等間隔で画像を取得する場合に比べ、人物検出の精度が向上する。
画像取得手段200は、トリガ手段201からトリガ信号が出力されると、そのタイミングで撮影を行う。投光器を用いる場合には、投光器から光を照射するタイミングも、撮影タイミングに同期させるようにする。それ以外の動作は、図1に示す画像取得手段100と同様であり、画像取得手段200は、画像を人物検出手段101とビュー判定手段102とへ出力する。
人物検出手段101、ビュー判定手段102、車内位置推定手段103および結果統合手段104の動作は、第1の実施形態と同様である。
第2の実施形態の場合には、車内の人物を撮影しやすいタイミングで撮影することができるため、人物検出の精度を高め、最終的に得られる乗車人数の精度も向上できる。
実施形態3.
以下、本発明の第3の実施形態を図面を参照して説明する。
図7には、本発明による乗車人数計測装置の第3の実施形態の構成が示されている。第3の実施形態における乗車人数計測装置は、画像取得手段100と、人物検出手段301と、ビュー判定手段102と、車内位置推定手段103と、結果統合手段104とを有する。
画像取得手段100は、取得した画像を人物検出手段301とビュー判定手段102へ出力する。
ビュー判定手段102は、ビュー判定結果を車内位置推定手段103と人物検出手段301へ出力する。
人物検出手段301は、ビュー判定手段102から入力されるビュー判定結果に基づいて画像取得手段100から出力される画像中の人物を検出し、人物検出結果を出力する。
その他の手段の接続関係は、第1の実施形態と同様である。
なお、人物検出手段301は、乗車人数計測装置が備えるソフトウェアに従って処理を実行するCPU等によって実現される。
次に、本実施形態の動作について説明する。
人物検出手段301は、ビュー判定手段102から入力されるビュー判定結果に基づいて、画像中で人物が存在する可能性のある領域を限定し、その領域に対して人物検出を行う。人物検出の方法は、図1に示す人物検出手段101と同様であり、人物検出手段301は、人物検出結果を生成し、出力する。また、人物検出手段301は、ビューの情報に応じて、用いる検出器を変えてもよい。ビューに応じて、カメラに対する顔の向きが変化するため、これに合わせて顔の検出器を切り替えてもよい。
図7に示すその他の手段の動作は、第1の実施形態と同様である。
第3の実施形態では、人物検出を行う領域を限定できるため、人物検出に要する時間を短縮できる。なお、人物検出手段101のかわりに、人物検出手段301を用いることは、第2の実施形態についても同様に可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
(付記1)画像を取得する画像取得手段と、前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する人物検出手段と、前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成するビュー判定手段と、前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する車内位置推定手段と、前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する結果統合手段とを有する乗車人数計測装置。
(付記2)前記車の移動状況に関する情報を取得し、車両移動情報として生成する車両移動情報取得手段と、前記車両移動情報に基づいて、予め定められたタイミングに従ってトリガ信号を発生させるトリガ手段とをさらに有し、前記画像取得手段は、前記トリガ信号に合わせて画像を取得する付記1に記載の乗車人数計測装置。
(付記3)前記車両移動情報取得手段は、予め定められた一つ以上の地点を通過したかどうかを地点ごとに判定し、その通過時刻の計測結果に基づいて前記車両移動情報を生成し、前記予め定められたタイミングは、前記車両移動情報に含まれる前記予め定められた地点における通過時刻に基づいて決定される付記2に記載の乗車人数計測装置。
(付記4)前記車両移動情報取得手段は、車両の速度を計測し、前記車両移動情報は、車両の速度を計測した結果を含み、前記予め定められたタイミングは、前記車両移動情報に含まれる車両の速度に基づいて調節される付記2または付記3に記載の乗車人数計測装置。
(付記5)前記画像取得手段は、赤外線の投光器を有し、画像を取得するタイミングに合わせて車内に向けて投光し、赤外線波長領域の光を撮影して画像を取得する付記1から付記4のうちのいずれか1つに記載の乗車人数計測装。
(付記6)前記人物検出結果は、前記取得した画像に対して顔を検出する処理を行って生成される付記1から付記5のうちのいずれか1つに記載の乗車人数計測装置。
(付記7)前記ビュー判定手段は、前記画像取得手段が取得した画像から車の窓枠を検知してビューを判定する付記1から付記6のうちのいずれか1つに記載の乗車人数計測装置。
(付記8)前記車内位置推定手段は、前記ビュー判定結果に基づいて想定される車内の各座席位置に座る人物が画像中に映る位置と、前記人物検出結果に含まれる画像中の人物の位置とを比較し、検出された人物が画像中のどの座席に座っていたかを判定する付記1から付記7のうちのいずれか1つに記載の乗車人数計測装置。
(付記9)前記結果統合手段は、複数求まった前記車内位置推定結果の論理和をとることによって前記統合結果を生成する付記1から付記8のうちのいずれか1つに記載の乗車人数計測装置。
(付記10)前記人物検出手段は、前記ビュー判定結果を用いて、画像中で人物が存在する可能性のある範囲に限定して人物検出を実行する付記1から付記9のうちのいずれか1つに記載の乗車人数計測装置。
この出願は、2012年10月26日に出願された日本特許出願2012−236246を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
以上述べた乗車人数の計測結果は、HOV(High Occupancy Vehicle)レーンを通行可能な車の自動判定や、テーマパーク等での、乗車したままの来場者数カウント、定員以上乗車している車の自動検出等に利用できる。
100 画像取得手段
101 人物検出手段
102 ビュー判定手段
103 車内位置推定手段
104 結果統合手段
200 画像取得手段
201 トリガ手段
202 車両移動情報取得手段
301 人物検出手段

Claims (10)

  1. 画像を取得する画像取得手段と、
    前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する人物検出手段と、
    前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成するビュー判定手段と、
    前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する車内位置推定手段と、
    前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する結果統合手段と
    を有する乗車人数計測装置。
  2. 前記車の移動状況に関する情報を取得し、車両移動情報として生成する車両移動情報取得手段と、
    前記車両移動情報に基づいて、予め定められたタイミングに従ってトリガ信号を発生させるトリガ手段とをさらに有し、
    前記画像取得手段は、前記トリガ信号に合わせて画像を取得する
    請求項1に記載の乗車人数計測装置。
  3. 前記車両移動情報取得手段は、予め定められた一つ以上の地点を通過したかどうかを地点ごとに判定し、その通過時刻の計測結果に基づいて前記車両移動情報を生成し、
    前記予め定められたタイミングは、前記車両移動情報に含まれる前記予め定められた地点における通過時刻に基づいて決定される
    請求項2に記載の乗車人数計測装置。
  4. 前記車両移動情報取得手段は、車両の速度を計測し、前記車両移動情報は、車両の速度を計測した結果を含み、
    前記予め定められたタイミングは、前記車両移動情報に含まれる車両の速度に基づいて調節される
    請求項2または請求項3に記載の乗車人数計測装置。
  5. 前記画像取得手段は、赤外線の投光器を有し、画像を取得するタイミングに合わせて車内に向けて投光し、赤外線波長領域の光を撮影して画像を取得する
    請求項1から請求項4のうちのいずれか1項に記載の乗車人数計測装置。
  6. 前記人物検出結果は、前記取得した画像に対して顔を検出する処理を行って生成される
    請求項1から請求項5のうちのいずれか1項に記載の乗車人数計測装置。
  7. 前記ビュー判定手段は、前記画像取得手段が取得した画像から車の窓枠を検知してビューを判定する
    請求項1から請求項6のうちのいずれか1項に記載の乗車人数計測装置。
  8. 前記車内位置推定手段は、前記ビュー判定結果に基づいて想定される車内の各座席位置に座る人物が画像中に映る位置と、前記人物検出結果に含まれる画像中の人物の位置とを比較し、検出された人物が画像中のどの座席に座っていたかを判定する
    請求項1から請求項7のうちのいずれか1項に記載の乗車人数計測装置。
  9. 画像を取得し、
    前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成し、
    前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成し、
    前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成し、
    前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する
    ことを特徴とする乗車人数計測方法。
  10. コンピュータに、
    画像を取得する処理と、
    前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する処理と、
    前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成する処理と、
    前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する処理と、
    前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する処理とを実行させる
    ための乗車人数計測プログラム。
JP2014543137A 2012-10-26 2013-10-10 乗車人数計測装置、方法およびプログラム Active JP6281492B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012236246 2012-10-26
JP2012236246 2012-10-26
PCT/JP2013/006040 WO2014064898A1 (ja) 2012-10-26 2013-10-10 乗車人数計測装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2014064898A1 true JPWO2014064898A1 (ja) 2016-09-08
JP6281492B2 JP6281492B2 (ja) 2018-02-21

Family

ID=50544284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014543137A Active JP6281492B2 (ja) 2012-10-26 2013-10-10 乗車人数計測装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US9760784B2 (ja)
JP (1) JP6281492B2 (ja)
WO (1) WO2014064898A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934442B2 (en) 2013-10-09 2018-04-03 Nec Corporation Passenger counting device, passenger counting method, and program recording medium
US9652851B2 (en) * 2014-04-01 2017-05-16 Conduent Business Services, Llc Side window detection in near-infrared images utilizing machine learning
AU2015202613A1 (en) * 2014-05-16 2015-12-03 Cds Worldwide Pty Ltd An action control apparatus
US9552524B2 (en) * 2014-09-15 2017-01-24 Xerox Corporation System and method for detecting seat belt violations from front view vehicle images
CN104732219B (zh) * 2015-03-31 2018-03-16 合肥美诚创新培训学校 一种基于图像识别的自习室空位查询方法及装置
US20170372143A1 (en) * 2015-05-14 2017-12-28 Gatekeeper, Inc. Apparatus, systems and methods for enhanced visual inspection of vehicle interiors
US9928424B2 (en) * 2016-02-22 2018-03-27 Conduent Business Services, Llc Side window detection through use of spatial probability maps
EP3285231A4 (en) 2016-03-17 2019-02-20 Nec Corporation DEVICE, SYSTEM, METHOD AND PROGRAM FOR COUNTING PASSENGERS
JP6620881B2 (ja) * 2016-03-17 2019-12-25 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
KR101934330B1 (ko) * 2017-02-15 2019-03-25 (주)지앤티솔루션 차량 승차 인원 검지를 이용한 요금 정산 방법 및 장치
KR101973933B1 (ko) * 2017-02-16 2019-09-02 (주)지앤티솔루션 승차인원 검지방법 및 그 장치
WO2018179534A1 (ja) * 2017-03-30 2018-10-04 日本電気株式会社 撮像システム、撮像方法および撮像制御プログラム
CN108805252A (zh) * 2017-04-28 2018-11-13 西门子(中国)有限公司 一种乘客计数方法、装置和系统
US9953210B1 (en) * 2017-05-30 2018-04-24 Gatekeeper Inc. Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems
CN110832493A (zh) 2017-07-04 2020-02-21 日本电气株式会社 分析装置、分析方法和程序
JP7048157B2 (ja) * 2017-07-13 2022-04-05 日本電気株式会社 解析装置、解析方法及びプログラム
JP6820074B2 (ja) 2017-07-19 2021-01-27 日本電気株式会社 乗員数検知システム、乗員数検知方法、およびプログラム
US11403865B2 (en) 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
CN107657211A (zh) * 2017-08-11 2018-02-02 广州烽火众智数字技术有限公司 一种hov车道的车辆乘客人数检测方法和装置
US11538257B2 (en) * 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
AU2017444732B2 (en) * 2017-12-28 2022-04-07 Nec Corporation Information processing apparatus, information processing method, and program
US10838425B2 (en) 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
CN108960107A (zh) * 2018-06-25 2018-12-07 安徽百诚慧通科技有限公司 一种小微型面包车超员识别方法及装置
CN108847034A (zh) * 2018-08-07 2018-11-20 大连天天安全系统有限公司 一种基于汽车隔热防爆膜的透视补光监控方法
TR201812156A2 (tr) * 2018-08-27 2018-09-21 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi Plaka tanima si̇stemi̇ kamera görüntüleri̇ kullanilarak ön koltuk yolcu kapasi̇tesi̇ i̇hlal tespi̇t yöntemi̇
EP3850604A4 (en) * 2018-09-14 2022-06-15 Optimum Semiconductor Technologies, Inc. DUAL ADAPTIVE ANTI-COLLISION SYSTEM
US10657396B1 (en) * 2019-01-30 2020-05-19 StradVision, Inc. Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens
CN109886173B (zh) * 2019-02-02 2021-01-15 中国科学院电子学研究所 基于视觉的侧脸姿态解算方法及情绪感知自主服务机器人
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
IT202000002329A1 (it) * 2020-02-06 2021-08-06 Faiveley Transport Italia Spa Sistema per la stima di un indice di carico di un veicolo ferroviario
FR3111449B1 (fr) 2020-06-15 2023-04-07 Fareco Systèmes et méthodes de détermination d’un nombre de personnes dans un véhicule
FR3131167A1 (fr) * 2021-12-16 2023-06-23 Orange Traitement de données perfectionné pour un covoiturage efficace
KR102570386B1 (ko) * 2023-03-17 2023-08-28 (주)지앤티솔루션 다인승전용차로 내 차량의 탑승인원 검지를 위한 서비스 제공 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055445A (ja) * 1996-08-09 1998-02-24 Mitsubishi Electric Corp 車両監視装置
JP2002170138A (ja) * 2000-11-30 2002-06-14 Organization For Road System Enhancement 車両に情報を提供するシステム、および方法
JP2012128862A (ja) * 2010-12-14 2012-07-05 Xerox Corp Irイメージングシステムを介して得られるir画像における総人数の決定方法
JP2012158968A (ja) * 2011-01-28 2012-08-23 Fuji Hensokuki Co Ltd 駐車場内の人検出器
US20120262577A1 (en) * 2011-04-13 2012-10-18 Xerox Corporation Determining a number of objects in an ir image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073647A2 (en) * 2004-12-03 2006-07-13 Sarnoff Corporation Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras
JP4859652B2 (ja) * 2006-12-15 2012-01-25 アルパイン株式会社 画像表示装置
US7786897B2 (en) * 2007-01-23 2010-08-31 Jai Pulnix, Inc. High occupancy vehicle (HOV) lane enforcement
US20100201507A1 (en) * 2009-02-12 2010-08-12 Ford Global Technologies, Llc Dual-mode vision system for vehicle safety
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
US9111136B2 (en) * 2012-04-24 2015-08-18 Xerox Corporation System and method for vehicle occupancy detection using smart illumination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055445A (ja) * 1996-08-09 1998-02-24 Mitsubishi Electric Corp 車両監視装置
JP2002170138A (ja) * 2000-11-30 2002-06-14 Organization For Road System Enhancement 車両に情報を提供するシステム、および方法
JP2012128862A (ja) * 2010-12-14 2012-07-05 Xerox Corp Irイメージングシステムを介して得られるir画像における総人数の決定方法
JP2012158968A (ja) * 2011-01-28 2012-08-23 Fuji Hensokuki Co Ltd 駐車場内の人検出器
US20120262577A1 (en) * 2011-04-13 2012-10-18 Xerox Corporation Determining a number of objects in an ir image

Also Published As

Publication number Publication date
US9760784B2 (en) 2017-09-12
JP6281492B2 (ja) 2018-02-21
WO2014064898A1 (ja) 2014-05-01
US20150278617A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6281492B2 (ja) 乗車人数計測装置、方法およびプログラム
JP6607308B2 (ja) 乗車人数計測装置、システム、方法およびプログラム
US10753758B2 (en) Top-down refinement in lane marking navigation
US9846802B2 (en) Passenger counting system, passenger counting method and passenger counting program
WO2015052896A1 (ja) 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
JP7163129B2 (ja) オブジェクトトラッキング方法及び装置
CA3010997C (en) Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
WO2014061793A1 (ja) 車両窓検出システム、車両窓検出方法及び装置、プログラム、及び記録媒体
KR20210042579A (ko) 주행 중인 차량 내 승차인원 검지를 위한 승차위치 확인 및 합산 방법
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
KR102254384B1 (ko) 딥 러닝 기반 운전자 시선 추적 장치 및 방법
KR102211903B1 (ko) 컴퓨터비전 기술을 이용한 주행차량 내 승차인원을 검지하기 위한 촬영 방법 및 장치
EP2778603A1 (en) Image processing apparatus and image processing method
JP2013196507A (ja) 車両検出装置及び車両判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180108

R150 Certificate of patent or registration of utility model

Ref document number: 6281492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150