JP6607308B2 - 乗車人数計測装置、システム、方法およびプログラム - Google Patents

乗車人数計測装置、システム、方法およびプログラム Download PDF

Info

Publication number
JP6607308B2
JP6607308B2 JP2018505559A JP2018505559A JP6607308B2 JP 6607308 B2 JP6607308 B2 JP 6607308B2 JP 2018505559 A JP2018505559 A JP 2018505559A JP 2018505559 A JP2018505559 A JP 2018505559A JP 6607308 B2 JP6607308 B2 JP 6607308B2
Authority
JP
Japan
Prior art keywords
image
vehicle
separated
passengers
reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018505559A
Other languages
English (en)
Other versions
JPWO2017158648A1 (ja
Inventor
伸一 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2017158648A1 publication Critical patent/JPWO2017158648A1/ja
Application granted granted Critical
Publication of JP6607308B2 publication Critical patent/JP6607308B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の乗車人数を計測する乗車人数計測装置、システム、方法およびプログラムに関する。
近年、車両の乗車人数に応じて通行料金を割り引きしたり、乗車人数が所定人数以上である車両にのみ道路の通行を許可するＨＯＶ（Ｈｉｇｈ Ｏｃｃｕｐａｎｃｙ Ｖｅｈｉｃｌｅ）システムが用いられている。ＨＯＶシステムにおいて、カメラにより車両を撮影し、撮影した画像に対して顔検出を行うことにより、乗車人数を計測する技術が用いられている。
特許文献１〜３に、顔検出により車両の乗車人数を計測するシステムが開示されている。特許文献１には、人物の横顔を検出することにより車両の乗車人数を計測する技術が開示されている。特許文献２には、人物を検出し、人物が車両のどの位置に乗車しているかを推定することにより乗車人数を計測する技術が開示されている。特許文献３には、車両の移動量と人物検出結果を用いて乗車人数を計測する技術が開示されている。
国際公開第２０１４／０６１１９５号 国際公開第２０１４／０６４８９８号 国際公開第２０１５／０５２８９６号
車両を撮影して取得された画像において、車両の窓に車外の人または物が映り込む場合がある。その場合、取得された画像において、車両の窓の反射により、車内にいる人に顔検出を行う際に誤検出をする可能性がある。
そこで、本発明は、車両の乗車人数を精度良く計測することができる乗車人数計測装置、システム、方法およびプログラムを提供することを目的とする。
本発明による乗車人数計測装置は、車両が撮影されて取得された第１画像と、第１特定波長帯の光を受光した状態で車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、複数の分離画像から、第１画像に比して車両への映り込みが低減された分離画像を特定する特定手段と、特定された映り込みが低減された分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段とを備えたことを特徴とする。
本発明による乗車人数計測装置は、車両が撮影されて取得された第１画像と、第１特定波長帯の光のみを受光した状態で車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段とを備えたことを特徴とする
本発明による乗車人数計測システムは、車両を撮影して第１画像を取得する第１撮影手段と、第１特定波長帯の光のみを受光した状態で車両を撮影して第２画像を取得する第２撮影手段と、第１画像と第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段とを備えたことを特徴とする。
本発明による乗車人数計測方法は、車両が撮影されて取得された第１画像と、第１特定波長帯の光のみを受光した状態で車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得し、複数の分離画像にもとづいて、車両の乗車人数を決定することを特徴とする。
本発明による乗車人数計測プログラムは、コンピュータに、車両が撮影されて取得された第１画像と、第１特定波長帯の光のみを受光した状態で車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離処理と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定処理とを実行させることを特徴とする。
本発明によれば、車両の乗車人数を精度良く計測することができる。
本発明による乗車人数計測システムの第１の実施形態の構成を示すブロック図である。 本発明による乗車人数計測システムの第１の実施形態のハードウェア構成を示すブロック図である。 本発明による乗車人数計測システムの第１の実施形態の動作を示すフローチャートである。 第１撮影部が取得する第１画像を示す説明図である。 第１の実施形態における分離画像を示す説明図である。 本発明による乗車人数計測システムの第２の実施形態の構成を示すブロック図である。 本発明による乗車人数計測システムの第２の実施形態のハードウェア構成を示すブロック図である。 本発明による乗車人数計測システムの第２の実施形態の動作を示すフローチャートである。 第２の実施形態における分離画像を示す説明図である。 本発明による乗車人数計測システムの第３の実施形態の動作を示すフローチャートである。 本発明による乗車人数計測装置が実装されるコンピュータの構成例を示す概略ブロック図である。 本発明による乗車人数計測システムの主要部の構成を示すブロック図である。
実施形態１．
本実施形態の乗車人数計測システムの構成を、図１および図２を参照して説明する。図１は、本実施形態の乗車人数計測システムの構成を示すブロック図である。乗車人数計測システムは、第１撮影部１０と、第２撮影部１１と、乗車人数計数装置１００とを備える。また、乗車人数計測装置１００は、画像分離部１２と、乗車人数決定部１３とを備える。
第１撮影部１０は、車両を撮影して第１画像を取得する。第１撮影部１０は、一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。
第２撮影部１１は、第１特定波長帯のみを受光した状態で車両を撮影して第２画像を取得する。第２撮影部１１は、第１撮影部１０と同様に一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。第２撮影部１１は、少なくとも第１特定波長帯の光の感度を有している。
画像分離部１２は、第１撮影部１０が取得した第１画像と、第２撮影部１１が取得した第２画像とにもとづいて画像分離を行い、ガラス窓への映り込みが低減された分離画像を含む複数の分離画像を取得する。具体的には、画像分離部１２は、独立成分分析を用いて、第１撮影部１０および第２撮影部１１からの距離が異なる２つの画像に分離する。
乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像にもとづいて、車両の乗車人数として決定する。具体的には、乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像を取得して映り込みが低減された分離画像に顔検出を行い、人物の顔であると判定した部分の数を、車両の乗車人数として決定する。
図２は、本実施形態の乗車人数計測システムのハードウェア構成を示す説明図である。第１撮影部１０、第２撮影部１１は、路側など、車両を撮影できる位置に設置されている。第１撮影部１０の前方（第１撮影部１０と車両の間）に、ハーフミラー２０が設置されている。第２撮影部１１の前方（ハーフミラー２０からの反射光を受ける位置）に、反射ミラー２１が設置されている。また、第２撮影部１１と反射ミラー２１の間に、バンドパスフィルタ２２が設置されている。バンドパスフィルタ２２は、第１特定波長帯λ１の光のみを通すことができるフィルタである。
車両の方向から入射する光の一部は、ハーフミラー２０を通り第１撮影部１０に入射する。また、車両の方向から入射する光の残りの一部は、ハーフミラー２０で反射し、反射ミラー２１に入射する。反射ミラー２１に入射した光は、反射して、バンドパスフィルタ２２を通り、第１の特定波長体λ１の光のみが第２撮影部１１に入射する。
図２に示す構成において、第１撮影部１０から車両までの光路長と、第２撮影部１１から前記車両までの光路長とが同一となるように各装置が設置される。また、第１撮影部１０の撮影範囲と第２撮影部１１の撮影範囲とが同一となるように第１撮影部１０および第２撮影部１１は撮影を行う。
また、通過する車両を照射できる位置に、第１特定波長帯λ１の光を照射する照明２３が設置され、車両全体を照射する。バンドパスフィルタ２２を光が通過することにより、通過前と比べて光量は減少している。しかし、照明２３が第１の特定波長帯λ１の光を車両に照射していることにより、第２撮影部１１は、十分な光量を得ることができるので明瞭な車両画像を取得することができる。
以上の構成により、第１撮影部１０は、入射する光の波長が限定されていない状態で、通常の車両画像を撮影することができる。第２撮影部１１は、第１特定波長体λ１の光のみ入射する状態で、車両画像を撮影することができる。
次に、本実施形態の乗車人数計測システムの動作を説明する。図２は、本実施形態の乗車人数計測システムの動作を示すフローチャートである。
第１撮影部１０は、車両を撮影し、画像を取得する（ステップＳ１０）。第１撮影部１０は、例えば、路側に設置されており、横方向（車両の進行方向に対して垂直方向）から車両を撮影する。
第２撮影部１１は、第１特定波長帯の光のみを受光した状態で車両を撮影し、画像を取得する（ステップＳ１１）。第２撮影部１１は、第１撮影部１０と同様に、例えば路側に設置されており、横方向（車両の進行方向に対して垂直方向）から車両を撮影する。第２撮影部１１の前方にバンドパスフィルタ２２が設置されているので、第２撮影部１１は、第１特定波長体λ１の光のみを入射した状態で車両を撮影する。
ただし、第１撮影部１０および第２撮影部１１の設置位置は上記の位置に限定されず、車両の前方や斜め前方から撮影可能な位置に設定されていてもよい。第１撮影部１０および第２撮影部１１は、例えば、ＨＯＶシステムを利用した料金所に設置される。
第１撮影部１０および第２撮影部１１は、同一のタイミングで車両を撮影する。撮影タイミングを同期させるために、例えば、乗車人数計測装置１００が、第１撮影部１０および第２撮影部１１に、指示信号を送信する。車両を通過するタイミングを検知するために、例えば、赤外線センサ等の検知手段が設置されており、乗車人数計測装置１００が、検知手段から車両が通過したことを示す信号を受信したタイミングで第１撮影部１０および第２撮影部１１に、指示信号を送信してもよい。または、第１撮影部１０および第２撮影部１１は、検知手段から車両が通過したことを示す信号を直接受信し、その信号を受信したタイミングで撮影をしてもよい。
画像分離部１２は、第１撮影部１０が車両を撮影して得られた第１画像と、第２撮影部１１が車両を撮影して得られた第２画像とにもとづいて画像分離を行い、ガラス窓への映り込みが低減された分離画像を含む複数の分離画像を取得する（ステップＳ１２）。具体的には、画像分離部１２は、第１画像および第２画像を示す画像データに独立成分分析を行い、車両内部を示す画像と、ガラス窓への映り込み（ガラス窓に映る人や物など）を示す画像とを分離する。
独立成分分析による画像分離について、具体的に説明する。第１画像を示す画像データをｘ１と表し、第２画像を示す画像データをｘ２と表す。また、車両内部を示す実際の像をｓ１と表し、ガラス窓への映り込みを示す実際の像をｓ２と表す。そして、取得した画像をベクトルＸ＝（ｘ１，ｘ２）Ｔと表し、実際の像をベクトルＳ＝（ｓ１，ｓ２）Ｔと表す。画像データｘ１，ｘ２は、ｓ１，ｓ２が混合して得られるものであるため、混合行列をＡとすると、以下の式（１）が成り立つ。
Ｘ＝ＡＳ （１）
Ａは未知の行列であるから、ＸからＳを推定する必要がある。画像分離部１２は、以下の式（２）において、ベクトルＹ＝（ｙ１，ｙ２）のｙ１、ｙ２が独立となるような行列Ｗを算出することにより、ｙ１、ｙ２を推定する。
Ｙ＝ＷＸ （２）
上記のように処理により得られたｙ１、ｙ２は、一方が車両内部を示すｓ１の近似値となっており、他方がガラス窓への映り込みを示すｓ２の近似値となっている。画像分離部１２は、画像データを示すｙ１、ｙ２のうち、車両内部を示すｓ１の近似値となっている画像データを映り込みが低減された分離画像として出力する。画像分離部１２は、例えば、ｙ１、ｙ２の画像を分析し、人物の顔や車内設備の有無により、車両内の画像であるか否か判定する。または、画像分離部１２は、ｙ１、ｙ２が示す画像を外部の表示装置に出力し、ユーザーにどちらの画像が車両内の画像であるか選択させ、選択された画像を映り込みが低減された分離画像として出力してもよい。また、画像分離部１２は、特定の手法により、どちらの画像が映り込みが低減された画像かを判定し、判定された画像を映り込みが低減された分離画像として出力してもよい。具体的には、画像分離部１２は、ｙ１、ｙ２が示す画像に対して、顔を検出するアルゴリズムを適用し、顔の数を取得する。その後、画像分離部１２は、顔の数が多い方の画像を映り込みが低減された分離画像として選択して、出力してもよい。ここで、特に顔の数に限定される必要は無く、検出可能な人物の部位出ればどこでも良く、鼻、目、腕、首などを検出対象とすることもできる。なお、乗車人数計測装置１００は、画像分離部１２とは別に、複数の分離画像の中から、映り込みが低減された画像を選択する選択手段と、複数の分離画像に対して、人物の特定部位の数を取得する取得手段を備えていてもよい。
図４は、第１撮影部１０が取得する第１画像を示す説明図である。図５は、本実施形態における分離画像を示す説明図である。図４に示す画像では、車両のガラス窓に車外の木が映り込んでおり、車両内の人物の顔と重複して表示されている。図５に示す分離画像では、ガラス窓への映り込みが低減されており、車両内の人物の顔が明確に表示されている。なお、図示しないが、分離された他の画像には、ガラス窓への映り込みが表示されている。すなわち、第１画像と第２画像とにもとづいて、第１撮影部１０および第２撮影部１１からの距離が異なる２つの画像に分離されている。
乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像にもとづいて、車両の乗車人数を決定する（ステップＳ１３）。具体的には、乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像を取得して映り込みが低減された分離画像に顔検出を行い、人物の顔であると判定した部分の数を、車両の乗車人数として決定する。
横顔に近い角度で乗車人物の顔が映る場合、乗車人数決定部１３は、横顔の検出器を用いて人物を検出する。または、正面顔に近い角度で乗車人物の顔が映る場合、乗車人数決定部１３は、正面顔の検出器を用いて人物を検出する。これらの検出器は、横や正面から撮影した数多くの顔画像を用いて機械学習を行うことによって予め構築され、記憶部（例えば、後述する補助記憶装置１００３）に記憶されている。検出に用いる検出器は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ＬＤＡ（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ、線形判別分析）、またはＧＬＶＱ（Ｇｅｎｅｒａｌｉｓｅｄ Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ、一般化学習ベクトル量子化）により得られた検出器である。
以上のように、本実施形態の乗車人数計測システムは、独立成分分析を用いて画像分離を行うことにより車両のガラス窓への映り込みを低減することができるので、車両の乗車人数を精度良く計測することができる。
実施形態２．
本実施形態の乗車人数計測システムを、図面を参照して説明する。なお、以下の説明は、主に第１の実施形態（実施形態１）と異なる構成および機能に関する内容であり、特に説明しない構成および機能は、第１の実施形態と同様であるとする。図６は、本実施形態の乗車人数計測システムの構成を示すブロック図である。乗車人数計測システムは、第１撮影部１０、第２撮影部１１、第３撮影部１４、乗車人数計数装置１００を備える。また、乗車人数計測装置１００は、画像分離部１２、乗車人数決定部１３とを備える。本実施形態の乗車人数計測システムは、第１の実施形態における乗車人数計測システムに第３撮影部１４を加えた構成となっている。
第３撮影部１４は、第１特定波長帯と異なる第２特定波長帯のみを受光した状態で車両を撮影して第３画像を取得する。第３撮影部１４は、第１撮影部１０、第２撮影部１１と同様に一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。第３撮影部１４は、少なくとも第２特定波長帯の光の感度を有している。
図７は、本実施形態の乗車人数計測システムのハードウェア構成を示す説明図である。第３撮影部１４は、車両を撮影することができる位置に設置されている。第３撮影部１４の前方に、バンドパスフィルタ２６が設置されている。バンドパスフィルタ２６は、第２特定波長帯λ２の光のみを通すことができるフィルタである。第１撮影部１０の前方にハーフミラー２５が設置されている。車両の方向からハーフミラー２５に入射する光の一部は、反射して、反射ミラー２７に入射する。反射ミラー２７に入射した光は、反射してバンドパスフィルタ２６を通り第３撮影部１４に入射する。また、車両を照射できる位置に、第２特定波長帯λ２の光を照射する照明２４が設置され、車両全体を照射する。他の構成は、第１の実施形態と同様であるため、説明を省略する。
図７に示す構成において、第１撮影部１０から車両までの光路長と、第２撮影部１１から前記車両までの光路長と、第３撮影部１４から車両までの光路長とが同一となるように各装置が設置される。また、第１撮影部１０の撮影範囲と第２撮影部１１の撮影範囲と第３撮影部１４の撮影範囲とが同一となるように第１撮影部１０、第２撮影部１１、および第３撮影部１４は撮影を行う。
以上の構成により、第３撮影部１４は、第２特定波長体λ２の光のみ入射する状態において、車両画像を撮影することができる。バンドパスフィルタ２６を光が通過することにより、光量は減少する。しかし、照明２４が第２特定波長帯λ２の光を車両に照射していることにより、第３撮影部１４は、十分な光量を得ることができるので明瞭な車両画像を取得することができる。
次に、本実施形態の乗車人数計測システムの動作を説明する。図２は、本実施形態の乗車人数計測システムの動作を示すフローチャートである。なお、図２に示すステップＳ１０、ステップＳ１１、ステップＳ１３の処理は、第１の実施形態と同様であるため、説明を省略する。
第３撮影部１４は、第２特定波長帯の光のみを受光した状態で車両を撮影し、画像を取得する（ステップＳ１１’）。第３撮影部１４の設置位置は、第１の実施形態で説明した第１撮影部１０、第２撮影部１１の設置位置と同様に車両が撮影できる位置であればよい。例えば、第３撮影部１４は、路側に設置されており、横方向（車両の進行方向と垂直方向）から車両を撮影する。第３撮影部１４の前方にバンドパスフィルタ２６が設置されているので、第３撮影部１４は、第２特定波長体λ２の光のみを入射した状態で車両を撮影する。また、第３撮影部１４は、第１撮影部１０および第２撮影部１１と同一のタイミングで車両を撮影する。
画像分離部１２は、第１撮影部１０が車両を撮影して取得された第１画像と、第２撮影部１１が車両を撮影して取得された第２画像と、第３撮影部１４が車両を撮影して取得された第３画像とにもとづいて画像分離を行い、ガラス窓への映り込みおよび前記車両の車体部分の濃度が低減された分離画像を取得する（ステップＳ１２’）。具体的には、画像分離部１２は、第１画像、第２画像および第３画像を示す画像データに独立成分分析を行い、車両内部を示す画像と、ガラス窓への映り込み（ガラス窓に映る人や物など）を示す画像と、車両のガラス窓を除いた部分（以下、車体部分と記載する）とを分離する。
独立成分分析による画像分離について、具体的に説明する。第１画像を示す画像データをｘ１と表し、第２画像を示す画像データをｘ２と表し、第３画像を示す画像データをｘ３と表す。また、車両内部を示す実際の像をｓ１と表し、ガラス窓への映り込みを示す実際の像をｓ２と表し、車両の車体部分を示す実際の像をｓ３と表す。そして、取得した画像をベクトルＸ＝（ｘ１，ｘ２，ｘ３）Ｔと表し、実際の像をベクトルＳ＝（ｓ１，ｓ２，ｓ３）Ｔと表す。画像データｘ１，ｘ２，ｘ３は、ｓ１，ｓ２，ｓ３が混合して得られるものであるため、混合行列をＡとすると、第１の実施形態と同様に式（１）が成り立つ。
画像分離部１２は、第１の実施形態と同様に、式（２）においてベクトルＹを算出する。本実施形態では、ベクトルＹ＝（ｙ１，ｙ２、ｙ３）と表される。画像分離部１２は、ｙ１、ｙ２、ｙ３が独立となるような行列Ｗを算出することにより、ｙ１、ｙ２、ｙ３を推定する。
上記のようにして得られたｙ１，ｙ２，ｙ３は、一つが車両内部を示すｓ１の近似値となっており、他の一つがガラス窓への映り込みを示すｓ２の近似値となっており、他の一つが車両の車体部分を示すｓ３の近似値となる。画像分離部１２は、画像データを示すｙ１，ｙ２，ｙ３のうち、車両内部を示すｓ１の近似値となっている画像データを映り込みおよび車両の車体部分の濃度が低減された分離画像として出力する。画像分離部１２は、例えば、ｙ１，ｙ２，ｙ３の画像を分析し、人物の顔や車内設備の有無により、車両内の画像であるか否か判定する。または、画像分離部１２は、ｙ１，ｙ２，ｙ３が示す画像を外部の表示装置に出力し、ユーザーにどの画像が車両内の画像であるか選択させ、選択された画像データを映り込みおよび車両の車体部分の濃度が低減された分離画像として出力してもよい。
図９は、本実施形態における分離画像を示す説明図である。図９に示す分離画像では、ガラス窓への映り込みが低減されており、車両内の人物の顔が明確に表示されている。さらに、車両の本体部分の濃度が低減されている。なお、図示しないが、分離された他の画像には、ガラス窓への映り込みと車両の本体部分がそれぞれ表示されている。
車両の画像が車体部分を含む場合、顔検出を行う前に、ユーザーが画像処理を行い、車両の車体部分を予め排除することが好ましい。しかし、図９に示すように、本実施形態の分離画像はすでに車両の車体部分が除かれている。そのため、乗車人数決定部１３は、顔検出を行い、車両の乗車人数を決定する処理において、精度良く乗車人数を決定することができる。
以上のように、本実施形態の乗車人数計測システムは、独立成分分析を用いて画像分離を行うことにより、車両のガラス窓への映り込みだけでなく車両の車体部分の濃度を低減することができる。そのため、本実施形態の乗車人数計測システムによれば、ユーザーが車両の車体部分を除去する画像処理を行わなくても、車両の乗車人数を精度良く計測することができる。
実施形態３．
本実施形態の乗車人数計測システムを、図面を参照して説明する。本実施形態では、乗車人数決定部１３の機能のみ第１の実施形態と異なり、他の構成は同じであるため、構成の説明を省略する。特に説明しない構成および機能は、第１の実施形態と同様であるとする。
図１０は、第３の実施形態の乗車人数計測システムの動作を示すフローチャートである。図１０において、ステップＳ１０〜ステップＳ１２は第１の実施形態の処理（図３参照）と同じであるため、説明を省略する。
乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像を取得するが、どの分離画像が映り込みが低減された分離画像か判断することが困難な場合がある。そのため、乗車人数決定部１３は、取得した全ての分離画像に顔検出処理を行い、各分離画像における乗車人数を取得する（ステップＳ１３ａ）。
そして、乗車人数決定部１３は、各分離画像の乗車人数のうちの最大値を実際の乗車人数として決定する（ステップＳ１３ｂ）。
第１の実施形態では、画像分離部１２が、映り込みが低減された分離画像がどれであるかを判定したり、ユーザに選択させる処理を行っていたが、本実施形態ではそれらの処理を省略してもよい。
本実施形態では、第１の実施形態における乗車人数計測システムの乗車人数決定部１３を変更した例を示したが、第２の実施形態における乗車人数計測システムの構成において本実施形態の乗車人数決定部１３を適用してもよい。
本実施形態の乗車人数計測システムによれば、どの分離画像が映り込みが低減された分離画像か判断することが困難な場合であっても、精度良く乗車人数を決定することができる。
図１１は、第１〜３の実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。
第１〜３の実施形態の乗車人数計測装置１００は、コンピュータ１０００に実装される。乗車人数計数装置１００は、プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って上記の処理を実行する。
補助記憶装置１００３は、一時的でない有形の媒体であって、例えば、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等である。コンピュータ１０００は、インタフェース１００４を介して補助記憶装置１００３に接続されていてもよい。このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。
また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。また、コンピュータ１０００が備えるプロセッサーはＣＰＵ１００１に限らず、プログラムを実行可能なプロセッサーを備えていればよい。また、コンピュータ１０００は、回路を含んでいる。
図１２は、本発明による乗車人数計測システムの主要部を示すブロック図である。本発明による乗車人数計測システムは、車両を撮影して第１画像を取得する第１撮影手段３０と、第１特定波長帯の光のみを受光した状態で車両を撮影して第２画像を取得する第２撮影手段３１と、乗車人数計測装置２００とを備える。乗車人数計測装置２００は、第１画像と第２画像とにもとづいて、複数の分離画像を取得する画像分離手段４２と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段４３とを備える。
また、上記の実施形態では、以下の（１）〜（７）に示す乗車人数計測システムも開示されている。
（１）乗車人数計測システムは、乗車人数決定手段（例えば、乗車人数決定部１３）は、複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定するように構成されていてもよい。
（２）乗車人数計測システムは、画像分離手段（例えば、画像分離部１２）は、独立成分分析を用いて画像分離を行うように構成されていてもよい。そのような乗車人数計測システムによれば、第１画像と第２画像のみから画像分離を実行することができる。
（３）乗車人数計測システムは、画像分離手段（例えば、画像分離部１２）は、第１画像と第２画像とにもとづいて、第１撮影手段（例えば、第１撮影部１０）および第２撮影手段（例えば、第２撮影部１１）からの距離が異なる２つの画像に分離するように構成されていてもよい。
（４）乗車人数計測システムは、第１特定波長帯の光を車両に照射する照射手段（例えば、照明２３）を備えたように構成されていてもよい。そのような乗車人数計測システムによれば、第１特定波長帯の光のみを受光した状態でも光量の低下を補うことができる。
（５）乗車人数計測システムは、第１撮影手段から車両までの光路長と、第２撮影手段から前記車両までの光路長とが同一であるように構成されていてもよい。
（６）乗車人数計測システムは、第１撮影手段の撮影範囲と第２撮影手段の撮影範囲とが同一であるように構成されていてもよい。
（７）車両を撮影して第１画像を取得する第１撮影手段（例えば、第１撮影部１０）と、第１特定波長帯の光のみを受光した状態で車両を撮影して第２画像を取得する第２撮影手段（例えば、第２撮影部１１）と、第１特定波長帯と異なる第２特定波長帯の光のみを受光した状態で車両を撮影して第３画像を取得する第３撮影手段（例えば、第３撮影部１４）と、第１画像、第２画像および第３画像とにもとづいて、複数の分離画像を取得する画像分離手段（例えば画像分離部１２）と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段（例えば、乗車人数決定部１３）とを備えた乗車人数計測システム。そのような乗車人数計測システムによれば、ガラス窓への映り込みだけでなく、車両の車体部分の濃度を低減することができるので、ユーザーがそれらを除去する手間を省くことができる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、本願発明は、各実施形態の構成を適宜組み合わせたものであってもよい。
１０ 第１撮影部
１１ 第２撮影部
１２ 画像分離部
１３ 乗車人数決定部
１４ 第３撮影部
３０ 第１撮影手段
３１ 第２撮影手段
４２ 画像分離手段
４３ 乗車人数決定手段
１００、２００ 乗車人数計測装置

Claims (9)

  1. 車両が撮影されて取得された第１画像と、第１特定波長帯の光を受光した状態で前記車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
    前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定する特定手段と、
    特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
    ことを特徴とする乗車人数計測装置。
  2. 前記乗車人数決定手段は、前記映り込みが低減された分離画像に対して顔検出を行い、検出された顔の数を前記車両の乗車人数として決定する
    請求項１記載の乗車人数計測装置。
  3. 前記特定手段は、前記複数の分離画像のそれぞれにおける人物の部位の数に応じて前記映り込みが低減された分離画像を特定する
    請求項１または請求項２記載の乗車人数計測装置。
  4. 乗車人数決定手段は、複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定する
    請求項１から請求項３のうちのいずれか１項に記載の乗車人数計測装置。
  5. 画像分離手段は、独立成分分析を用いて画像分離を行う
    請求項１から請求項４のうちのいずれか１項に記載の乗車人数計測装置。
  6. 画像分離手段は、前記第１画像と、前記第２画像と、前記第１特定波長帯と異なる第２特定波長帯の光を受光した状態で前記車両が撮影されて取得された第３画像とにもとづいて、複数の分離画像を取得し、
    特定手段は、前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定し、
    乗車人数決定手段は、特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する
    請求項１から請求項５のうちのいずれか１項に記載の乗車人数計測装置。
  7. 車両を撮影して第１画像を取得する第１撮影手段と、
    第１特定波長帯の光を受光した状態で前記車両を撮影して第２画像を取得する第２撮影手段と、
    前記第１画像と前記第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
    前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定する特定手段と、
    特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
    ことを特徴とする乗車人数計測システム。
  8. 車両が撮影されて取得された第１画像と、第１特定波長帯の光を受光した状態で前記車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得し、
    前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定し、
    特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する
    ことを特徴とする乗車人数計測方法。
  9. コンピュータに、
    車両が撮影されて取得された第１画像と、第１特定波長帯の光を受光した状態で前記車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離処理と、
    前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定する特定処理と、
    特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定処理とを
    実行させるための乗車人数計測プログラム。
JP2018505559A 2016-03-17 2016-03-17 乗車人数計測装置、システム、方法およびプログラム Active JP6607308B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/001557 WO2017158648A1 (ja) 2016-03-17 2016-03-17 乗車人数計測装置、システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017158648A1 JPWO2017158648A1 (ja) 2018-11-15
JP6607308B2 true JP6607308B2 (ja) 2019-11-27

Family

ID=59851545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018505559A Active JP6607308B2 (ja) 2016-03-17 2016-03-17 乗車人数計測装置、システム、方法およびプログラム

Country Status (6)

Country Link
US (4) US10318830B2 (ja)
EP (1) EP3285231A4 (ja)
JP (1) JP6607308B2 (ja)
AU (1) AU2016397318B2 (ja)
CA (1) CA3010922C (ja)
WO (1) WO2017158648A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017158648A1 (ja) * 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム
US11367309B2 (en) * 2016-06-03 2022-06-21 Maxell, Ltd. Imaging apparatus and imaging system
WO2019021500A1 (ja) * 2017-07-25 2019-01-31 日本電気株式会社 乗員数検知システム、乗員数検知方法、およびプログラム
US11538257B2 (en) 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
US10699572B2 (en) 2018-04-20 2020-06-30 Carrier Corporation Passenger counting for a transportation system
KR102570058B1 (ko) * 2018-12-17 2023-08-23 현대자동차주식회사 차량 및 그 제어방법
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
CN111274973B (zh) * 2020-01-21 2022-02-18 同济大学 基于自动划分域的人群计数模型训练方法及应用
US11308316B1 (en) * 2021-09-02 2022-04-19 Invision Ai, Inc. Road side vehicle occupancy detection system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016425A (ja) 2001-06-28 2003-01-17 Victor Co Of Japan Ltd オブジェクト信号作成装置
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US20150054639A1 (en) 2006-08-11 2015-02-26 Michael Rosen Method and apparatus for detecting mobile phone usage
GB0703031D0 (en) 2007-02-15 2007-03-28 Laser Optical Engineering Ltd Method and apparatus for counting vehicle occupants
US20080252882A1 (en) * 2007-04-13 2008-10-16 John Kesterson Filter assembly and image enhancement system for a surveillance camera and method of using the same
JP5680718B2 (ja) 2007-08-15 2015-03-04 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム
JP5100457B2 (ja) * 2008-03-10 2012-12-19 オリンパスメディカルシステムズ株式会社 内視鏡観察システム
JPWO2010044250A1 (ja) * 2008-10-15 2012-03-15 日本電気株式会社 パターン照合装置及びパターン照合方法
JP2011002718A (ja) 2009-06-19 2011-01-06 Toshiba Corp 画像撮像装置
US8811664B2 (en) * 2011-12-06 2014-08-19 Xerox Corporation Vehicle occupancy detection via single band infrared imaging
US9202118B2 (en) * 2011-12-13 2015-12-01 Xerox Corporation Determining a pixel classification threshold for vehicle occupancy detection
US8824742B2 (en) * 2012-06-19 2014-09-02 Xerox Corporation Occupancy detection for managed lane enforcement based on localization and classification of windshield images
US9477881B2 (en) * 2012-10-19 2016-10-25 Nec Corporation Passenger counting system, passenger counting method and passenger counting program
US9760784B2 (en) * 2012-10-26 2017-09-12 Nec Corporation Device, method and program for measuring number of passengers
JP6458734B2 (ja) * 2013-10-09 2019-01-30 日本電気株式会社 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
EP3295298A4 (en) 2015-05-14 2018-11-21 Gatekeeper Inc. Apparatus, systems and methods for enhanced visual inspection of vehicle interiors
WO2017158648A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム

Also Published As

Publication number Publication date
US20190205678A1 (en) 2019-07-04
US10789494B2 (en) 2020-09-29
US10318830B2 (en) 2019-06-11
US10824887B2 (en) 2020-11-03
US10922565B2 (en) 2021-02-16
EP3285231A4 (en) 2019-02-20
JPWO2017158648A1 (ja) 2018-11-15
AU2016397318A1 (en) 2018-07-05
CA3010922C (en) 2020-06-30
US20190205679A1 (en) 2019-07-04
AU2016397318B2 (en) 2019-10-24
US20190205677A1 (en) 2019-07-04
EP3285231A1 (en) 2018-02-21
US20180157922A1 (en) 2018-06-07
WO2017158648A1 (ja) 2017-09-21
CA3010922A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
JP6607308B2 (ja) 乗車人数計測装置、システム、方法およびプログラム
US9760784B2 (en) Device, method and program for measuring number of passengers
JP6354585B2 (ja) 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
JP6458734B2 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
US10290162B2 (en) Information processing apparatus, information processing method, and storage medium
JP6620881B2 (ja) 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
JP2009143722A (ja) 人物追跡装置、人物追跡方法及び人物追跡プログラム
KR20170088692A (ko) 영상을 이용한 차량속도 산출장치 및 그 방법
JP6089576B2 (ja) 車両窓検出システム、車両窓検出方法及びプログラム
JP2010262527A (ja) 通行者計数装置、通行者計数方法および通行者計数プログラム
KR102211903B1 (ko) 컴퓨터비전 기술을 이용한 주행차량 내 승차인원을 검지하기 위한 촬영 방법 및 장치
US20220165092A1 (en) Accident detection device and accident detection method
JP2008299787A (ja) 車両検知装置
JP2011134119A (ja) 車両周辺監視装置
CN113989894A (zh) 防尾随方法、装置及计算机可读存储介质
JP2005140754A (ja) 人物検知方法、監視システム、およびコンピュータプログラム
US20240070876A1 (en) Control apparatus, method, and non-transitory computer-readable storage medium
JP5279459B2 (ja) 混雑検知装置
JP2010198572A (ja) 車両判別装置及び車両判別方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20180611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R150 Certificate of patent or registration of utility model

Ref document number: 6607308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150