JP7048157B2 - 解析装置、解析方法及びプログラム - Google Patents

解析装置、解析方法及びプログラム Download PDF

Info

Publication number
JP7048157B2
JP7048157B2 JP2019529433A JP2019529433A JP7048157B2 JP 7048157 B2 JP7048157 B2 JP 7048157B2 JP 2019529433 A JP2019529433 A JP 2019529433A JP 2019529433 A JP2019529433 A JP 2019529433A JP 7048157 B2 JP7048157 B2 JP 7048157B2
Authority
JP
Japan
Prior art keywords
image
vehicle
detected
passengers
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019529433A
Other languages
English (en)
Other versions
JPWO2019012710A1 (ja
Inventor
晴之 林
悠介 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019012710A1 publication Critical patent/JPWO2019012710A1/ja
Application granted granted Critical
Publication of JP7048157B2 publication Critical patent/JP7048157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、解析装置、解析方法及びプログラムに関する。
特許文献1及び2に、車両に乗車している人の数を検出する装置が開示されている。
特許文献1には、車両を横から撮影した画像を解析して人物の横顔を検出し、検出結果に基づき車両に乗車している人の数を決定する装置が開示されている。また、特許文献1には、第1の撮像装置で撮像された画像に基づき横顔検出手段で得られた横顔の個数と、第2の撮像装置で撮像された画像に基づき正面顔検出手段で得られた正面顔の個数との最大値、平均値、又は和を、車両内に存在する人物の個数として決定することが開示されている。
特許文献2には、車両を連続的に撮影した複数の画像各々を解析して人物を検出し、各画像における車両の見え方に基づき検出した人各々が車内のどの座席に座っているかを推定し、人が座っていると判断された座席の数に基づき車両に乗車している人の数を決定する装置が開示されている。
国際公開第2014/061195号パンフレット 国際公開第2014/064898号パンフレット
本発明は、車両に乗車している人の数を検出する新たな技術を提供することを課題とする。
本発明によれば、
道路を通過する車両を撮影する第1のカメラにより生成された複数の第1の画像各々から人及び車両の所定箇所を検出した後、前記第1の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第1の画像解析手段と、
前記第1の画像に基づき検出された座標に基づき複数の前記第1の画像に写る同一人物を特定し、特定結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出手段と、
前記道路を通過する車両を撮影する第2のカメラにより生成された複数の第2の画像各々から、人及び車両の所定箇所を検出した後、前記第2の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第2の画像解析手段と、
前記第2の画像に基づき検出された座標に基づき複数の前記第2の画像に写る同一人物を特定し、特定結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出手段と、
前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定手段と、
前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数のうちの大きい方を、前記第1の画像及び前記第2の画像に写る車両の乗車人数として決定する決定手段と、
を有する解析装置が提供される。
また、本発明によれば、
コンピュータが、
道路を通過する車両を撮影する第1のカメラにより生成された複数の第1の画像各々から、人及び車両の所定箇所を検出した後、前記第1の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第1の画像解析工程と、
前記第1の画像に基づき検出された座標に基づき複数の前記第1の画像に写る同一人物を特定し、特定結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出工程と、
前記道路を通過する車両を撮影する第2のカメラにより生成された複数の第2の画像各々から、人及び車両の所定箇所を検出した後、前記第2の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第2の画像解析工程と、
前記第2の画像に基づき検出された座標に基づき複数の前記第2の画像に写る同一人物を特定し、特定結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出工程と、
前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定工程と、
前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出工程で検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出工程で検出した前記第2の画像に写る車両の乗車人数のうちの大きい方を、前記第1の画像及び前記第2の画像に写る車両の乗車人数として決定する決定工程と、
を実行する解析方法が提供される。
また、本発明によれば、
コンピュータを、
道路を通過する車両を撮影する第1のカメラにより生成された複数の第1の画像各々から、人及び車両の所定箇所を検出した後、前記第1の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第1の画像解析手段、
前記第1の画像に基づき検出された座標に基づき複数の前記第1の画像に写る同一人物を特定し、特定結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出手段、
前記道路を通過する車両を撮影する第2のカメラにより生成された複数の第2の画像各々から、人及び車両の所定箇所を検出した後、前記第2の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第2の画像解析手段、
前記第2の画像に基づき検出された座標に基づき複数の前記第2の画像に写る同一人物を特定し、特定結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出手段、
前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定手段、
前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数のうちの大きい方を、前記第1の画像及び前記第2の画像に写る車両の乗車人数として決定する決定手段、
として機能させるプログラムが提供される。
本発明によれば、車両に乗車している人の数を検出する新たな技術が実現される。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の解析装置のハードウエア構成の一例を示す図である。 本実施形態の解析装置の機能ブロック図の一例である。 本実施形態の画像の撮影方法の一例を説明するための図である。 本実施形態の画像の撮影方法の一例を説明するための図である。 本実施形態の車両座標系の一例を説明するための図である。 本実施形態の解析装置の処理の流れの一例を示すフローチャートである。 本実施形態の解析装置の機能ブロック図の一例である。 本実施形態の画像の撮影方法の一例を説明するための図である。 本実施形態の画像の撮影方法の一例を説明するための図である。 本実施形態の画像の撮影方法の一例を説明するための図である。
<第1の実施形態>
まず、本実施形態の解析装置の概要を説明する。解析装置は、複数のカメラで撮影した複数の画像各々の解析結果に基づき、車両に乗車している人の数を検出する。
まず、解析装置は、第1のセンサによる車両の検出に応じて撮影する第1のカメラにより撮影された複数の第1の画像(以下、「第1の画像群」という場合がある)各々から人の顔を検出する。そして、解析装置は、検出結果に基づき、複数の第1の画像に共通して含まれる車両に乗車している人の数(第1の画像群の検出人数)を検出する。
また、解析装置は、第2のセンサによる車両の検出に応じて撮影する第2のカメラにより撮影された複数の第2の画像(以下、「第2の画像群」という場合がある)から人の顔を検出する。そして、解析装置は、検出結果に基づき、複数の第2の画像に共通して含まれる車両に乗車している人の数(第2の画像群の検出人数)を検出する。
また、解析装置は、第1の画像群と第2の画像群とが所定の条件を満たすか否かを判定する。所定の条件を満たす第1の画像群と第2の画像群は、画像内に同一の車両を含むと推定される。所定の条件は、例えば撮影時刻等で定められる(以下で詳細を説明する)。
そして、解析装置は、第1の画像群と第2の画像群とが所定の条件を満たす場合、第1の画像群から検出した第1の画像群に写る車両の乗車人数と、第2の画像群から検出した第2の画像群に写る車両の乗車人数とを用いて、これらの画像群に写る車両の乗車人数を決定する。
このような本実施形態の解析装置によれば、車両に乗車している人の数を検出する新たな技術が実現される。
また、複数のカメラで撮影する本実施形態の解析装置によれば、1台の車両を複数の方向から撮影することができる。そして、複数の方向から撮影した複数の画像を解析し、車両に乗車している人の数を検出することができる。例えば、ある方向から撮影した画像において少なくとも1人の乗員が何らかの物体の影になり検出できない場合でも、他の方向から撮影した画像においてすべての乗員を検出できる場合がある。複数の方向から撮影した複数の画像の解析結果に基づき車両に乗車している人の数を検出する本実施形態の解析装置によれば、乗車人数の検出精度が向上する。
また、本実施形態の解析装置は、撮影時刻等で定められる所定の条件を満たすか否かを判断することで、同一の車両を含むと推定される第1の画像群と第2の画像群のペアを検出することができる。画像解析等で画像に含まれる車両の特徴を検出し、特徴が類似する車両を含む第1の画像群と第2の画像群のペアを検出する場合に比べて、コンピュータの処理負担を軽減できる。
以下、解析装置の構成を詳細に説明する。まず、解析装置のハードウエア構成の一例について説明する。本実施形態の解析装置が備える各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、本実施形態の解析装置のハードウエア構成を例示するブロック図である。図1に示すように、解析装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、解析装置は物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有してもよい。
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPUやGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置(例:キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等)、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置(例:ディスプレイ、スピーカ、プリンター、メーラ等)、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
次に、解析装置の機能構成を説明する。図2に解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、第1の画像解析部11と、第1の検出部12と、第2の画像解析部13と、第2の検出部14と、判定部15と、決定部16とを有する。
第1の画像解析部11は、道路を通過する車両を撮影する第1のカメラにより生成された第1の画像から、人(例:人の顔)を検出する。そして、第1の検出部12は、第1の画像解析部11による検出結果に基づき、第1の画像に写る車両の乗車人数を検出する。本実施形態では、第1の画像解析部11は、第1のセンサによる車両の検出に応じて撮影する第1のカメラにより撮影された複数の第1の画像(第1の画像群)各々から人の顔を検出する。そして、第1の検出部12は、第1の画像解析部11による検出結果に基づき、複数の第1の画像に共通して含まれる車両に乗車している人の数を検出する。
第2の画像解析部13は、道路を通過する車両を撮影する第2のカメラにより生成された第2の画像から、人(例:人の顔)を検出する。そして、第2の検出部14は、第2の画像解析部13による検出結果に基づき、第2の画像に写る車両の乗車人数を検出する。本実施形態では、第2の画像解析部13は、第2のセンサによる車両の検出に応じて撮影する第2のカメラにより撮影された複数の第2の画像(第2の画像群)から人の顔を検出する。そして、第2の検出部14は、第2の画像解析部13による検出結果に基づき、複数の第2の画像に共通して含まれる車両に乗車している人の数を検出する。
ここで、図3及び図4を用いてセンサ及びカメラの設置例を説明する。
第1のセンサ101は、道路沿いに設置され、道路を通行する車両を側方から検出する。第1のカメラ102は、道路沿いに設置され、道路を通行する車両を側方から撮影する。図示する例の場合、第1のセンサ101は、2車線以上有する道路沿いに設置され、第1のセンサ101から見て奥側の車線を通行する車両を側方から検出する。第1のカメラ102は、2車線以上有する道路沿いに設置され、第1のカメラ102から見て奥側の車線を通行する車両を側方から撮影する。
第2のセンサ201は、道路の上方に設置され、道路を通行する車両を前方から検出する。第2のカメラ202は、道路の上方に設置され、道路を通行する車両を前方から撮影する。図示する例の場合、第2のセンサ201は、第1のセンサ101及び第1のカメラ102から見て奥側の車線の上方に設置され、奥側の車線を通行する車両を前方から検出する。第2のカメラ202は、第1のセンサ101及び第1のカメラ102から見て奥側の車線の上方に設置され、奥側の車線を通行する車両を前方から撮影する。
例えば、第2のセンサ201及び第2のカメラ202は、道路を横切るように設けられた高架やガントリーに取り付けられてもよいし、道路上に設けられた標識や看板に取り付けられてもよいし、その他の設置物に取り付けられてもよい。また、第2のセンサ201及び第2のカメラ202を設置するための構造物を新たに道路上に設けてもよい。
第1のセンサ101及び第2のセンサ201は、道路上の所定位置を車両が通過したことを検出する。このような検出を実現できればよく、第1のセンサ101及び第2のセンサ201の詳細は制限されない。例えば、第1のセンサ101及び第2のセンサ201は、光(例:レーザ)を所定方向(例:図示する矢印の方向)に放出する手段、及び、その反射光を受光する手段を備えてもよい。そして、反射光の受光具合に基づき放出した光の進行を妨げる障害物の存在を検出することで、車両の通過を検出してもよい。
また、第1のセンサ101及び第2のセンサ201の少なくとも一方は、検出した障害物までの距離を測定する手段を有してもよい。例えば、光の放出タイミングから反射光の受光タイミングまでの時間差に基づき、光を反射した障害物までの距離を算出してもよい。
第1のセンサ101は、車両の通過を検出すると、その旨を示す信号を第1のカメラ102に入力する。なお、第1のセンサ101は、車両の通過を検出し、かつ、検出した車両が距離条件を満たす場合、その旨を示す信号を第1のカメラ102に入力してもよい。例えば距離条件は、「第1のセンサ101から車両までの距離が基準範囲以内」でよい。基準範囲を奥側の車線を走行する車両と第1のセンサ101との間の距離として想定されうる範囲とすることで、図3及び図4に示す第1のセンサ101は、第1のセンサ101から見て奥側の車線を通行する車両のみを精度よく検出することができる(すなわち、手前側の車線を通行する車両等を検出しない)。
第2のセンサ201は、車両の通過を検出すると、その旨を示す信号を第2のカメラ202に入力する。なお、第2のセンサ201は、車両の通過を検出し、かつ、検出した車両が距離条件を満たす場合、その旨を示す信号を第2のカメラ202に入力してもよい。例えば距離条件は、「第2のセンサ201から車両までの距離が基準範囲以内」でよい。基準範囲を奥側の車線を走行する車両と第2のセンサ201との間の距離として想定されうる範囲とすることで、図3及び図4に示す第2のセンサ201は、第1のセンサ101から見て奥側の車線を通行する車両を精度よく検出することができる(すなわち、他の障害物等を検出しない)。
第1のカメラ102及び第2のカメラ202は、各々、第1のセンサ101及び第2のセンサ201による車両の通過の検出に応じて撮影する。
例えば、第1のカメラ102は、第1のセンサ101による検出に応じて所定数の静止画を連続撮影(例:1秒間に数十枚からは百枚程度)し、複数の静止画ファイルを生成してもよい。上記所定数は、予め、第1のカメラ102の性能、車両の移動速度等に応じて任意に定めることができる。所定数を適切に設定することで、第1のセンサ101による検出に応じて連続撮影した複数の画像の中に、第1のセンサ101により検出された車両を含めることができる。
また、例えば、第2のカメラ202は、第2のセンサ201による検出に応じて所定数の静止画を連続撮影(例:1秒間に数十枚からは百枚程度)し、複数の静止画ファイルを生成してもよい。上記所定数は、予め、第2のカメラ202の性能、車両の移動速度等に応じて任意に定めることができる。所定数を適切に設定することで、第2のセンサ201による検出に応じて連続撮影した複数の画像の中に、第2のセンサ201により検出された車両を含めることができる。
その他、第1のカメラ102は、第1のセンサ101による検出に応じて所定の撮影時間の間、動画像を撮影し、複数のフレームからなる動画ファイルを生成してもよい。上記所定の撮影時間は、予め、第1のカメラ102の性能、車両の移動速度等に応じて任意に定めることができる。所定の撮影時間を適切に設定することで、第1のセンサ101による検出に応じて撮影した動画の中に、第1のセンサ101により検出された車両を含めることができる。
また、第2のカメラ202は、第2のセンサ201による検出に応じて所定の撮影時間の間、動画像を撮影し、複数のフレームからなる動画ファイルを生成してもよい。上記所定の撮影時間は、予め、第2のカメラ202の性能、車両の移動速度等に応じて任意に定めることができる。所定の撮影時間を適切に設定することで、第2のセンサ201による検出に応じて撮影した動画の中に、第2のセンサ201により検出された車両を含めることができる。
第1のカメラ102の位置及び向きは、第1のセンサ101による検出に応じた撮影で、第1のセンサ101により検出された車両を撮影するよう設定されている。また、第2のカメラ202の位置及び向きは、第2のセンサ201による検出に応じた撮影で、第2のセンサ201により検出された車両を撮影するよう設定されている。
第1のカメラ102及び第2のカメラ202により生成された画像ファイルは、リアルタイム処理又はバッチ処理で、解析装置10に入力される。画像ファイルには、生成日時(生成タイミング)または撮影日時(撮影タイミング)が対応付けられる。解析装置10と第1のカメラ102及び第2のカメラ202は任意の通信手段で通信可能に構成されてもよい。
図3の例の場合、第1のセンサ101により検出される車両の位置である第1の検出位置と、第2のセンサ201により検出される車両の位置である第2の検出位置は、同じ又はその差が十分に小さい。このため、第1のカメラ102により撮影される位置である第1の撮影位置と、第2のカメラ202により撮影される位置である第2の撮影位置は、同じ又はその差が十分に小さい。この場合、ある1台の車両は、第1のセンサ101及び第2のセンサ201により同時又はわずかな時間差で検出され、同時又はわずかな時間差で第1のカメラ102及び第2のカメラ202により撮影される。
図4の例の場合、第1の検出位置と第2の検出位置は異なり、その差は十分に大きい。このため、第1の撮影位置と第2の撮影位置は異なり、その差は十分に大きい。具体的には、車両の進行方向の手前側に第1の検出位置及び第1の撮影位置があり、奥側に第2の検出位置及び第2の撮影位置がある。図示しないが、車両の進行方向の手前側に第2の検出位置及び第2の撮影位置があり、奥側に第1の検出位置及び第1の撮影位置があってもよい。このような場合、ある1台の車両は、第1のセンサ101及び第2のセンサ201によりある程度大きな時間差で検出され、ある程度大きな時間差で第1のカメラ102及び第2のカメラ202により撮影される。
同じ車両を撮影した第1の画像(第1のカメラ102により撮影された画像)と第2の画像(第2のカメラ202により撮影された画像)とのペアを検出することを考えると、図3の例のように設置するのが好ましい。しかし、設置環境の制限上、図3のように設置できず、例えば図4の例のように設置する場合がある。
図2に戻り、第1の画像解析部11は、第1のセンサ101による1回の検出に応じて第1のカメラ102が撮影した所定数の静止画又は所定の撮影時間分の動画(複数のフレーム画像)である複数の第1の画像(第1の画像群)を処理対象とし、処理対象の複数の第1の画像各々から車両及び人の顔を検出する。
車両及び人の顔の検出は、テンプレートマッチングで実現してもよい。また、多数の画像を用いた機械学習で構築した検出器で実現してもよい。検出器としては、例えば、SVM(サポートベクターマシン)、LDA(線形判別分析)、GLVQ(一般化学習ベクトル量子化)、ニューラルネットワーク等を利用できる。第1の画像に含まれる車両は横向きとなる。このため、横向きの車両の画像をテンプレートとしたり、教師データとしたりするのが好ましい。また、第1の画像に含まれる人は概ね横顔になると考えられるが、正面顔等となる可能性も排除できない。このため、様々な方向から撮影した顔画像をテンプレートとしたり、教師データとしたりするのが好ましい。
なお、検出する人の顔は、検出した車両内にいる人の顔、すなわち検出した車両の輪郭より内側に存在する顔とすることができる。このようにすることで、車両に乗車している人の顔のみを検出し、車外にいる例えば通行人や交通誘導員等の人の顔を検出対象から除外できる。
第1の検出部12は、処理対象の複数の第1の画像各々に対する第1の画像解析部11の解析結果に基づき、複数の第1の画像に共通して含まれる車両に乗車している人の数を検出する。
例えば、第1の検出部12は、特許文献2に記載の技術を利用して、複数の第1の画像に共通して含まれる車両に乗車している人の数を検出してもよい。すなわち、第1の検出部12は、車両を連続的に撮影した複数の第1の画像各々における車両の見え方に基づき複数の第1の画像各々から検出した人各々が車両内のどの座席に座っているかを推定し、当該推定結果を統合して車両に乗車している人の数を決定してもよい。
その他、以下のような手段で複数の第1の画像に共通して含まれる車両に乗車している人の数を検出してもよい。まず、第1の画像解析部11は、複数の第1の画像各々から検出した車両の基準箇所及び基準方向を検出し、検出した基準箇所を原点、検出した基準方向をx軸方向及びy軸方向とした2次元座標系(車両座標系)を第1の画像毎に定めてもよい。
基準箇所及び基準方向の一例を説明するがこれに限定されない。図5に、1つの第1の画像Fに設定された車両座標系の一例を示す。図示する例では、車両のボディーのうしろに取り付けられたバンパーの後方端部を基準箇所とし、車両の前後方向及び高さ方向を基準方向としている。そして、バンパーの後方端部を原点とし、車両の前後方向をx軸とし、高さ方向をy軸とした車両座標系が定められている。
第1の画像毎に車両座標系を設定した後、第1の画像解析部11は、第1の画像毎に、検出した人の顔の車両座標系における座標を検出してもよい。
例えば、人の顔の検出処理において、図5に示すように人の顔が存在するエリアBが検出される場合、このエリアBの代表点(例:中心、右上、左上、右下、左下等)を、そのエリアBに存在する顔の座標として求めることができる。その他、人の顔の検出処理において、人の目、鼻、口等が検出される場合、目、鼻、口の座標(例:目、鼻、口が占めるエリアの代表座標)を、その目、鼻、口を有する顔の座標として求めることができる。
そして、第1の検出部12は、複数の第1の画像から検出された複数の顔を、車両座標系の座標が近いもの同士でまとめてグループ化する。すなわち、第1の検出部12は、複数の第1の画像に跨って存在する同じ人の顔をグループ化する。そして、第1の検出部12は、グループの数を、複数の第1の画像に共通して含まれる車両に乗車している人の数として検出してもよい。
図2に戻り、第2の画像解析部13は、第2のセンサ201による1回の検出に応じて第2のカメラ202が撮影した所定数の静止画又は所定の撮影時間分の動画である複数の第2の画像(第2の画像群)を処理対象とし、処理対象の複数の第2の画像各々から車両及び人の顔を検出する。
車両及び人の顔の検出は、第1の画像解析部11と同様の手段で実現できる。なお、第2の画像に含まれる車両は前向きとなる。このため、前向きの車両の画像(車両を上方から見た画像)をテンプレートとしたり、教師データとしたりするのが好ましい。また、第2の画像に含まれる人は概ね正面顔になると考えられるが、横顔等となる可能性も排除できない。このため、様々な方向から撮影した顔画像をテンプレートとしたり、教師データとしたりするのが好ましい。
なお、検出する人の顔は、検出した車両内にいる人の顔、すなわち検出した車両の輪郭より内側に存在する顔とすることができる。このようにすることで、車両に乗車している人の顔のみを検出し、車外にいる例えば通行人や交通誘導員等の人の顔を検出対象から除外できる。
第2の検出部14は、処理対象の複数の第2の画像各々に対する第2の画像解析部13の解析結果に基づき、複数の第2の画像に共通して含まれる車両に乗車している人の数を検出する。第2の検出部14は、第1の検出部12と同様の技術を利用して、複数の第2の画像に共通して含まれる車両に乗車している人の数を検出することができる。
判定部15は、第1の画像(第1の画像群)と第2の画像(第2の画像群)とが所定の条件を満たすか否かを判定する。判定部15は、「所定の条件:第1の画像が生成された時刻と第2の画像が生成された時刻とが所定の関係である」を満たすか否かを判定する。所定の条件を満たす第1の画像と第2の画像は、画像内に同一の車両を含むと推定される。
図3の例の場合、すなわち第1の検出位置(第1の撮影位置)及び第2の検出位置(第2の撮影位置)が同じ又はその差が十分に小さい場合、判定部15は、「所定の条件:第1の画像が生成された時刻と第2の画像が生成された時刻との差が基準値(十分に小さい値)以内である」を満たすか否かを判定する。
図4の例の場合、すなわち第1の検出位置(第1の撮影位置)と第2の検出位置(第2の撮影位置)は異なり、その差が十分に大きい場合、判定部15は、「所定の条件:第1の画像が生成された時刻と第2の画像が生成された時刻との差が基準範囲以内である」を満たすか否かを判定する。
基準範囲は予め定められ、任意の記憶装置に記憶されてもよい。そして、判定部15は当該記憶装置に記憶されている基準範囲に基づき、上記判定を行ってもよい(例1)。その他、画像解析で車両ごとに基準範囲を決定してもよい(例2)。以下、各例について説明する。
「例1」
当該例では、第1の検出位置と第2の検出位置との間の距離D1[km]及び車両の基準速度に基づき決定された第1の検出位置と第2の検出位置との間の車両の移動に要する所要時間に基づき、基準範囲を決定する。なお、第1の検出位置を第1の撮影位置に置き代え、第2の検出位置を第2の撮影位置に置き代えて同様の処理を行ってもよい。
基準速度は、本実施形態の解析装置10を適用する道路の法定速度や、当該道路を通行する車両の一般的な速度等とすることができる。例えば、V1[km/h]以上V2[km/h]以下のように幅を持たせることができる。この場合、基準範囲は、D1/V2[h]以上D1/V1以下[h]となる。
「例2」
当該例でも、第1の検出位置と第2の検出位置との間の距離D1[km]、及び、車両の基準速度に基づき決定された第1の検出位置と第2の検出位置との間の車両の移動に要する所要時間に基づき、基準範囲を決定する。しかし、車両の基準速度が例1と異なる。なお、第1の検出位置を第1の撮影位置に置き代え、第2の検出位置を第2の撮影位置に置き代えて同様の処理を行ってもよい。
当該例では、第1の画像解析部11及び第2の画像解析部13の少なくとも一方は画像を解析し、画像に含まれる車両の速度V3[km/h]を算出する。そして、算出した車両の速度V3[km/h]を含むように、車両の基準速度を決定する。基準速度は、例えば、V4[km/h]以上V5[km/h]以下のように幅を持たせることができる。なお、V4<V3<V5である。この場合、基準範囲は、D1/V5[h]以上D1/V4以下[h]となる。
第1の画像解析部11は、連続的に撮影された時系列な複数の第1の画像(第1の画像群)を解析し、複数の第1の画像に共通して含まれる車両の速度を算出することができる。車両の速度は、例えば、2つの第1の画像間における車両の画像内での移動距離、予め保持している画像の縮尺、上記2つの第1の画像間の撮影タイミングの時間差に基づき算出することができる。
また、第2の画像解析部13は、連続的に撮影された時系列な複数の第2の画像を解析し、複数の第2の画像に共通して含まれる車両の速度を算出することができる。車両の速度は、例えば、2つの第2の画像間における車両の画像内での移動距離、予め保持している画像の縮尺、上記2つの第2の画像間の撮影タイミングの時間差に基づき算出することができる。
例2の場合、例えば処理対象の第1の画像群との間で所定の条件を満たす第2の画像群を検出する処理において、当該第1の画像群に含まれる車両の速度を算出して基準速度を設定する。次いで、基準速度に基づき基準範囲を決定する。そして、当該第1の画像群との撮影時刻の時間差(例:撮影開始時刻の時間差)が決定された基準範囲以内である第2の画像群を、当該第1の画像群との間で所定の条件を満たすと判断する。なお、各画像には撮影日時が対応付けられて記憶されており、これらを読み出して時間差を算出することができる。
その他、例えば処理対象の第2の画像群との間で所定の条件を満たす第1の画像群を検出する処理において、当該第2の画像群に含まれる車両の速度を算出して基準速度を設定する。次いで、基準速度に基づき基準範囲を決定する。そして、当該第2の画像群との撮影時刻の時間差が決定された基準範囲以内である第1の画像群を、当該第2の画像群との間で所定の条件を満たすと判断する。なお、各画像には撮影日時が対応付けられて記憶されており、これらを読み出して時間差を算出することができる。
なお、所定の条件は、さらに車両の進行方向に対する第1の検出位置(第1の撮影位置)と第2の検出位置(第2の撮影位置)との前後関係を考慮した内容であってもよい。例えば、車両の進行方向に対して第1の検出位置(第1の撮影位置)が第2の検出位置(第2の撮影位置)より手前である場合、所定の条件は「第1の画像が生成された時刻と第2の画像が生成された時刻との差が基準範囲以内であり、かつ、第1の画像が生成された時刻が第2の画像が生成された時刻よりも前である」であってもよい。逆に、車両の進行方向に対して第2の検出位置(第2の撮影位置)が第1の検出位置(第1の撮影位置)より手前である場合、所定の条件は「第1の画像が生成された時刻と第2の画像が生成された時刻との差が基準範囲以内であり、かつ、第2の画像が生成された時刻が第1の画像が生成された時刻よりも前である」であってもよい。
また、例2において、画像解析で車両の速度を検出する処理に代えて、速度センサで各車線を走行する車両の速度(例:平均速度等)を検出してもよい。
決定部16は、第1の画像(第1の画像群)と第2の画像(第2の画像群)とが所定の条件を満たす場合、第1の検出部12が検出した第1の画像群に写る車両の乗車人数と、第2の検出部14が検出した第2の画像群に写る車両の乗車人数とを用いて、これらの画像に共通して写る車両の乗車人数を決定する。
決定部16は、第1の検出部12が検出した第1の画像群に写る車両の乗車人数と、第2の検出部14が検出した第2の画像群に写る車両の乗車人数のうちの大きい方を、これらの画像に共通して写る車両の乗車人数として決定することができる。
なお、決定部16は、第1の画像群がいずれの第2の画像群とも所定の条件を満たさない場合、第1の検出部12が検出した第1の画像群に写る車両の乗車人数を用いて当該第1の画像群に写る車両の乗車人数を決定してもよい。この場合、決定部16は、第1の検出部12が検出した第1の画像群に写る車両の乗車人数を、当該第1の画像群に写る車両の乗車人数として決定することができる。
その他、決定部16は、第1の画像群がいずれの第2の画像群とも所定の条件を満たさない場合、当該第1の画像群に写る車両の乗車人数を決定せず、エラーを出力してもよい。
また、決定部16は、第2の画像群がいずれの第1の画像群とも所定の条件を満たさない場合、第2の検出部14が検出した第2の画像群に写る車両の乗車人数を用いて当該第2の画像群に写る車両の乗車人数を決定してもよい。この場合、決定部16は、第2の検出部14が検出した第2の画像群に写る車両の乗車人数を、当該第2の画像群に写る車両の乗車人数として決定することができる。
その他、決定部16は、第2の画像群がいずれの第1の画像群とも所定の条件を満たさない場合、当該第2の画像群に写る車両の乗車人数を決定せず、エラーを出力してもよい。
次に、図6のフローチャートを用いて、解析装置10の処理の流れの一例を説明する。
S10では、第1の画像解析部11は、道路を通過する車両を撮影する第1のカメラにより生成された第1の画像群から、人の顔を検出する。そして、第1の検出部12は、第1の画像解析部11による検出結果に基づき、第1の画像群に写る車両の乗車人数を検出する。
S11では、第2の画像解析部13は、道路を通過する車両を撮影する第2のカメラにより生成された第2の画像群から、人の顔を検出する。そして、第2の検出部14は、第2の画像解析部13による検出結果に基づき、第2の画像群に写る車両の乗車人数を検出する。
S12では、判定部15は、第1の画像群と第2の画像群とが所定の条件を満たすか否かを判定する。例えば、判定部15は、任意の第1の画像群を処理対象とし、当該第1の画像群と第2の画像群とが所定の条件を満たすか否かを判定することで、当該第1の画像群との間で所定の条件を満たす第2の画像群を検出する。又は、判定部15は、任意の第2の画像群を処理対象とし、当該第2の画像群と第1の画像群とが所定の条件を満たすか否かを判定することで、当該第2の画像群との間で所定の条件を満たす第1の画像群を検出する。
なお、S10、S11及びS12の処理の前後関係は図示する順に限定されず、その他の順としてもよい。また、これらの処理を並行して行ってもよい。
S13では、決定部16は、第1の画像群と第2の画像群とが所定の条件を満たす場合、第1の検出部12が検出した第1の画像群に写る車両の乗車人数と、第2の検出部14が検出した第2の画像群に写る車両の乗車人数とを用いて車両の乗車人数を決定する。例えば、決定部16は、第1の検出部12が検出した第1の画像群に写る車両の乗車人数と、第2の検出部14が検出した第2の画像群に写る車両の乗車人数のうちの大きい方を、これらの画像群に写る車両の乗車人数として決定する。
ここで、本実施形態の変形例を説明する。上述した例では2組のセンサ及びカメラで2つの方向から撮影し、その画像に基づき乗車人数を決定したが、3組以上のセンサ及びカメラで3つ以上の方向から撮影し、その画像に基づき乗車人数を決定してもよい。この場合も、同様にして所定の条件を満たす画像群の組み合わせを検出し、複数の画像群各々から検出された車両の乗車人数のうちの最も大きい値を、これらの画像群に写る車両の乗車人数として決定することができる。
また、図3の例のように、第1の検出位置と第2の検出位置が同じ又はその差が十分に小さい場合、第1のセンサ101及び第2のセンサ201の一方をなくしてもよい。そして、残した方のセンサによる車両の検出に応じて、第1のカメラ102及び第2のカメラ202は撮影を実行してもよい。
また、上述した例では、第1のカメラ102及び第2のカメラ202は複数の静止画又は動画を撮影したが、第1のカメラ102及び第2のカメラ202は、第1のセンサ101及び第1のカメラ102による検出に応じて1枚の静止画を撮影し、1つの静止画ファイルを生成してもよい。この場合、第1の検出部12は、第1の画像から検出された人の数を、その第1の画像に含まれる車両に乗車している人の数として検出する。また、第2の検出部14は、第2の画像から検出された人の数を、その第2の画像に含まれる車両に乗車している人の数として検出する。その他の構成は、上述した例と同様である。
また、第1のカメラ102及び第2のカメラ202は、第1のセンサ101及び第2のセンサ201の検出に応じて撮影するのでなく、常時、撮影を継続してもよい。
以上説明した本実施形態の解析装置10によれば、車両に乗車している人の数を検出する新たな技術が実現される。
また、複数のカメラで撮影する本実施形態の解析装置10によれば、1台の車両を複数の方向から撮影することができる。そして、複数の方向から撮影した複数の画像を解析し、車両に乗車している人の数を検出することができる。例えば、ある方向から撮影した画像において少なくとも1人の乗員が何らかの物体の影になり検出できない場合でも、他の方向から撮影した画像においてすべての乗員を検出できる場合がある。複数の方向から撮影した複数の画像の解析結果に基づき車両に乗車している人の数を検出する本実施形態の解析装置10によれば、乗車人数の検出精度が向上する。撮影方向を増やすほど、検出精度は向上する。
また、本実施形態の解析装置10は、撮影時刻等で定められる所定の条件を満たすか否かを判断することで、同一の車両を含むと推定される第1の画像群と第2の画像群のペアを検出することができる。画像解析等で画像に含まれる車両の特徴を検出し、特徴が類似する車両を含む第1の画像群と第2の画像群のペアを検出する場合に比べて、コンピュータの処理負担を軽減できる。
また、上述のようにペアの検出が可能であるため、センサ及びカメラの設置の自由度が大きくなる。例えば、図3に示すように、第1のセンサ101による車両の検出位置と、第2のセンサ201による車両の検出位置とを近づけてもよいし、図4に示すように、第1のセンサ101による車両の検出位置と、第2のセンサ201による車両の検出位置とを離してもよい。いずれであっても、第1の画像群と第2の画像群とが撮影時刻等で定められる所定の条件を満たすか否かを判定することで、同一の車両を含むと推定される第1の画像群と第2の画像群のペアを検出することができる。
また、車両の基準速度を上述した例1のように固定値とすることで、解析装置10の処理負担を軽減できる。
また、上述した例2のように、画像解析等で車両の基準速度を車両ごとに算出することで、同じ車両を含む画像を対応付ける処理の精度が向上する。
また、本実施形態の解析装置10によれば、いずれの第2の画像群とも所定の条件を満たさない第1の画像群がある場合、当該第1の画像群に基づき検出された乗車人数をその画像群に写る車両の乗車人数として決定することができる。同様に、いずれの第1の画像群とも所定の条件を満たさない第2の画像群がある場合、当該第2の画像群に基づき検出された乗車人数をその画像群に写る車両の乗車人数として決定することができる。
例えば、図4に示す設置例の場合、第1の検出位置で検知・撮影された車両が第2の検出位置で検知・撮影されないという状況が発生し得る。例えば、車両の車線変更、基準速度(法定速度等に基づき定められる固定値の場合(上述した例1))よりも低速走行等により、上述のような状況が発生し得る。また、図3及び図4の設置例いずれの場合も、障害物等の存在により、一方向からは検知・撮影された車両が、他方向からは検知・撮影されないという状況が発生し得る。
このような場合、第1の画像群及び第2の画像群各々から検出された乗車人数を統合する処理よりも検出精度が落ちるが、一方の画像群から検出された乗車人数に基づきその画像群に写る車両の乗車人数を決定することで、検出した車両に対する検出結果(乗車人数)が得られないという不都合を回避できる。
なお、本実施形態の解析装置10によれば、いずれの第2の画像群とも所定の条件を満たさない第1の画像群がある場合、当該第1の画像群に写る車両の乗車人数を決定せず、エラーを出力することができる。同様に、いずれの第1の画像群とも所定の条件を満たさない第2の画像群がある場合、当該第2の画像群に写る車両の乗車人数を決定せず、エラーを出力することができる。かかる場合、信頼度の落ちる検出結果(乗車人数)を生成しないので、検出結果(乗車人数)の信頼度が向上する。
また、本実施形態の解析装置10によれば、車両を側方から撮影する第1のカメラと、車両を前方から撮影する第2のカメラとにより生成された画像を用いて、車両の乗車人数を検出することができる。車両を前方から撮影するカメラにより生成された画像のみを用いる場合に比べて、後部座席の人を検知できる可能性が高くなる。また、車両を側方から撮影するカメラにより生成された画像のみを用いる場合に比べて、手前側車線を通行する他の車両等により目的の車両が遮蔽された場合であっても、車両を前方から撮影するカメラにより生成された画像を用いることで検出結果(乗車人数)の精度が向上する。
<第2の実施形態>
まず、本実施形態の解析装置10の概要を説明する。本実施形態の解析装置10は、2車線以上有する道路の全ての車線に対して、車両に乗車している人の数を検出する処理を実行する。そして、1つの車線に対しては一方向から撮影した画像を解析する手段を採用し、他の車線に対しては複数方向から撮影した画像を解析する手段を採用する。すなわち、車線に応じて異なる手段を採用する。解析装置10のその他の構成は、第1の実施形態と同様である。また、本実施形態は、第1の実施形態で説明した変形例を採用することもできる。
解析装置10のハードウエア構成は、第1の実施形態と同様である。
次に、図8及び図9を用いて本実施形態のセンサ及びカメラの設置例を説明する。
図8の設置例は、図3の設置例と比べて、第3のセンサ301及び第3のカメラ302を新たに設けている点が異なる。第1のセンサ101、第1のカメラ102、第2のセンサ201及び第2のカメラ202の設置の仕方は図3の設置例と同様である。
図9の設置例は、図4の設置例と比べて、第3のセンサ301及び第3のカメラ302を新たに設けている点が異なる。第1のセンサ101、第1のカメラ102、第2のセンサ201及び第2のカメラ202の設置の仕方は図4の設置例と同様である。
第3のセンサ301は、道路沿いに設置され、道路を通行する車両を側方から検出する。第3のセンサ301は、第3のセンサ301から見て手前側の車線を通行する車両を検出する。第3のカメラ302は、道路沿いに設置され、道路を通行する車両を側方から撮影する。第3のカメラ302は、第3のカメラ302から見て手前側の車線を通行する車両を撮影する。
第3のセンサ301は、道路上の所定位置を車両が通過したことを検出する。このような検出を実現できればよく、第3のセンサ301の詳細は制限されない。例えば、第3のセンサ301は、光(例:レーザ)を所定方向(例:図示する矢印の方向)に放出する手段、及び、その反射光を受光する手段を備えてもよい。そして、反射光の受光具合に基づき放出した光の進行を妨げる障害物の存在を検出することで、車両の通過を検出してもよい。
また、第3のセンサ301は、検出した障害物までの距離を測定する手段を有してもよい。例えば、光の放出タイミングから反射光の受光タイミングまでの時間差に基づき、光を反射した障害物までの距離を算出してもよい。
第3のセンサ301は、車両の通過を検出すると、その旨を示す信号を第3のカメラ302に入力する。なお、第3のセンサ301は、車両の通過を検出し、かつ、検出した車両が距離条件を満たす場合、その旨を示す信号を第3のカメラ302に入力してもよい。例えば距離条件は、「第3のセンサ301から車両までの距離が基準範囲以内」でよい。基準範囲を手前側の車線を走行する車両と第3のセンサ301との間の距離として想定されうる範囲とすることで、図8及び図9に示す第3のセンサ301は、第3のセンサ301から見て手前側の車線を通行する車両のみを精度よく検出することができる(すなわち、奥側の車線を通行する車両等を検出しない)。
第3のカメラ302は、第3のセンサ301による車両の通過の検出に応じて撮影する。例えば、第3のカメラ302は、第3のセンサ301による検出に応じて所定数の静止画を連続撮影(例:1秒間に数十枚からは百枚程度)し、複数の静止画ファイルを生成してもよい。上記所定数は、予め、第3のカメラ302の性能、車両の移動速度等に応じて任意に定めることができる。所定数を適切に設定することで、第3のセンサ301による検出に応じて連続撮影した複数の画像の中に、第3のセンサ301により検出された車両を含めることができる。
その他、第3のカメラ302は、第3のセンサ301による検出に応じて所定の撮影時間の間、動画像を撮影し、複数のフレームからなる動画ファイルを生成してもよい。上記所定の撮影時間は、予め、第3のカメラ302の性能、車両の移動速度等に応じて任意に定めることができる。所定の撮影時間を適切に設定することで、第3のセンサ301による検出に応じて撮影した動画の中に、第3のセンサ301により検出された車両を含めることができる。
その他、第3のカメラ302は、第3のセンサ301による検出に応じて1枚の静止画を撮影し、1つの静止画ファイルを生成してもよい。
第3のカメラ302の位置及び向きは、第3のセンサ301による検出に応じた撮影で、第3のセンサ301により検出された車両を撮影するよう設定されている。
第3のカメラ302により生成された画像ファイルは、リアルタイム処理又はバッチ処理で、解析装置10に入力される。画像ファイルには、生成日時(生成タイミング)または撮影日時(撮影タイミング)が対応付けられる。解析装置10と第3のカメラ302は任意の通信手段で通信可能に構成されてもよい。
図7に、本実施形態の解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、第1の画像解析部11と、第1の検出部12と、第2の画像解析部13と、第2の検出部14と、判定部15と、決定部16と、第3の画像解析部17と、第3の検出部18とを有する。第1の画像解析部11、第1の検出部12、第2の画像解析部13、第2の検出部14及び判定部15の構成は、第1の実施形態と同様である。
第3の画像解析部17は、第1の画像解析部11と同様の手段で、1つ又は複数の第3の画像から車両及び人の顔を検出する。
第3の検出部18は、第1の検出部12と同様の手段で、1つ又は複数の第3の画像に含まれる車両に乗車している人の数を検出する。
決定部16は、第3の画像の検出人数を、第3の画像に含まれる車両に乗車している人の数として決定する。第3の画像の検出人数は、第3の検出部18により検出された1つ又は複数の第3の画像に含まれる車両に乗車している人の数である。決定部16のその他の構成は、第1の実施形態と同様である。
次に、本実施形態の変形例を説明する。上記では2車線の例を説明したが、3車線以上の場合も同様の手段を採用できる。例えば、センサ及びカメラを設置する側から見て一番手前の車線に対しては一方向から撮影した画像を解析する手段(決定部16、第3の画像解析部17及び第3の検出部18により実現される手段)を採用し、その他の車線に対しては複数方向から撮影した画像を解析する手段(第1の画像解析部11、第1の検出部12、第2の画像解析部13、第2の検出部14、対応付け部15及び決定部16により実現される手段)を採用してもよい。
この場合、第1のカメラ102は、2以上の車線を有する道路沿いに設置され、2以上の車線のうち第1のカメラ102から最も近い車線以外の1つ又は複数の車線を通行する車両を側方から撮影してもよい。そして、第2のカメラ202は、2以上の車線を有する道路の上方に設置され、2以上の車線のうち第1のカメラ102から最も近い車線以外の1つ又は複数の車線を通行する車両を前方から撮影してもよい。
また、図10に示すように、第1のセンサ101で複数の車線各々を通行する車両を検出してもよい。この場合、距離センサで検出した車両までの距離に基づき、いずれの車線を通行している車両を検出したのか判断できる。そして、第1のセンサ101からみて手前側の車線を通行する車両が検出された場合には、第3のカメラ302が撮影を実行する。一方、第1のセンサ101からみて奥側の車線を通行する車両が検出された場合には、第1のカメラ102及び第2のカメラ202が撮影を実行する。
なお、第2のカメラ202は、両方の車線を撮影するように構成されていてもよい。このように構成した場合であっても、上述のように、第1のセンサ101からみて奥側の車線を通行する車両が検出された場合のみ第2のカメラ202の撮影を実行し、第1のセンサ101からみて手前側の車線を通行する車両が検出された場合には、第2のカメラ202による撮影を実行させなくてもよい。その他、いずれの車線を通行する車両を検出した場合も第2のカメラ202による撮影を実行させ、第1のセンサ101からみて奥側の車線を通行する車両の乗車人数の検出のみに第2のカメラ202により生成された画像を用いてもよい。
その他、解析装置10は、以下のようにして、第1のセンサ101からみて奥側の車線(以下、「奥側車線」)を通行する車両が第1のセンサ101からみて手前側の車線(以下、「手前側車線」)を通行する車両に遮られていること(以下、「車両遮蔽」)を検知する手段を有してもよい。
例えば、解析装置10は、センサで車両遮蔽を検出してもよい。具体的には、手前側車線を走行する車両と奥側車線を走行する車両とを所定時間内に検出したことに応じて、車両遮蔽を検出してもよい。その他、奥側車線を走行する車両が検出されなくなる前に、手前側車線を走行する車両が検出されたことに応じて、車両遮蔽を検出してもよい(1つのセンサで2車線検知する場合)。その他、手前側車線を走行する車両が車尾まで検知された後、一度も欠側とならずに奥側車線を走行する車両が検出されたことに応じて、車両遮蔽を検出してもよい(1つのセンサで2車線検知する場合)。
その他、解析装置10は、画像処理で車両遮蔽を検出してもよい。例えば、画像処理で2台の車両が重なっていることを検出することで、車両遮蔽を検出してもよい。
なお、奥側車線の車両が手前側車線の車両に遮られている場合に、奥側車線を前方から撮影する第2のカメラ202を作動してもよい。また、奥側車線の車両が手前側車線の車両に遮られている場合に、奥側車線を前方から撮影した第2のカメラ202により生成された画像も用いて乗車人数を検出してもよい。かかる場合は、奥側車線を側方から撮影する第1のカメラ102により生成された画像に基づく乗車人数の検出の精度が不十分になる。そこで、第2のカメラ202により生成される画像を利用して、乗車人数を検出する。
一方、奥側車線の車両が手前側車線の車両に遮られていない場合は、奥側車線を走行する車両が検知されても奥側車線を前方から撮影する第2のカメラ202を作動しなくてもよい。また、奥側車線の車両が手前側車線の車両に遮られていない場合は、奥側車線を前方から撮影した第2のカメラ202により生成された画像は用いずに乗車人数を検出してもよい。かかる場合は、奥側車線を側方から撮影する第1のカメラ102により生成された画像に基づく乗車人数の検出の精度がある程度高くなる。そこで、第2のカメラ202により生成される画像を利用せず、第1のカメラ102により生成される画像のみを用いて乗車人数を検出する。この場合、第2のカメラ202による撮影を減らすことができるので、第2のカメラ202の負担を軽減できる。また、乗車人数の検出に用いる画像の数を減らすことができるので、解析装置10の処理負担を軽減できる。
以上説明した本実施形態の解析装置10によれば、第1の実施形態と同様の作用効果を実現できる。
また、本実施形態の解析装置10によれば、2車線以上有する道路の車線毎に、適切な方法で乗車人数を検出することができる。
例えば、奥側の車線を通行する車両に乗車している人は、車両の側方から撮影した場合、手前側を通行する車両等に隠れて画像に含まれない可能性がある。そこで、奥側の車線に対しては、2台以上のカメラで複数方向から撮影した画像を解析し、その結果を統合する手段(第1の画像解析部11、第1の検出部12、第2の画像解析部13、第2の検出部14、対応付け部15及び決定部16により実現される手段)を採用する
一方、手前側の車線を通行する車両に乗車している人は、車両の側方から撮影した場合、他の車両等に隠れる可能性が低い。そこで、手前側の車線に対しては、側方から撮影した画像を解析する手段(決定部16、第3の画像解析部17及び第3の検出部18により実現される手段)を採用する。
車線毎に適切な方法で乗車人数を検出することで、高い検出精度を維持しつつ、システムのオーバースペックを回避し、コスト負担を軽減することができる。
以下、参考形態の例を付記する。
1. 道路を通過する車両を撮影する第1のカメラにより生成された第1の画像から、人を検出する第1の画像解析手段と、
前記第1の画像解析手段による検出結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出手段と、
前記道路を通過する車両を撮影する第2のカメラにより生成された第2の画像から、人を検出する第2の画像解析手段と、
前記第2の画像解析手段による検出結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出手段と、
前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定手段と、
前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数とを用いて車両の乗車人数を決定する決定手段と、
を有する解析装置。
2. 1に記載の解析装置において、
前記第1のカメラは、第1のセンサによる車両の検出に応じて前記第1の画像を生成し、
前記第2のカメラは、第2のセンサによる車両の検出に応じて前記第2の画像を生成し、
前記第1のセンサは、前記道路を通行する車両を側方から検出し、
前記第1のカメラは、前記車両を側方から撮影し、
前記第2のセンサは、前記車両を前方から検出し、
前記第2のカメラは、前記車両を前方から撮影する解析装置。
3. 1又は2に記載の解析装置において、
前記第1のカメラは、2以上の車線を有する道路沿いに設置され、前記2以上の車線のうち前記第1のカメラから最も近い車線以外の車線を通行する車両を側方から撮影し、
前記第2のカメラは、前記2以上の車線を有する道路の上方に設置され、前記2以上の車線のうち前記第1のカメラから最も近い車線以外の車線を通行する車両を前方から撮影する解析装置。
4. 1から3のいずれかに記載の解析装置において、
前記判定手段は、
前記第1の画像が生成された時刻と前記第2の画像が生成された時刻とが所定の関係を満たすか否かを判定する解析装置。
5. 4に記載の解析装置において、
前記判定手段は、
前記第1のカメラにより撮影される位置である第1の撮影位置と前記第2のカメラにより撮影される位置である第2の撮影位置との間の距離、及び、前記車両の速度に基づき、前記第1の撮影位置と前記第2の撮影位置との間の車両の移動に要する所要時間を算出し、
前記第1の画像が生成された時刻と前記第2の画像が生成された時刻との差が前記所要時間に基づいて定められる条件を満たすか否かを判定する解析装置。
6. 1から5のいずれかに記載の解析装置において、
前記決定手段は、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数のうちの大きい方を、車両の乗車人数として決定する解析装置。
7. 1から6のいずれかに記載の解析装置において、
前記決定手段は、
前記第1の画像がいずれの前記第2の画像とも前記所定の条件を満たさない場合、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数を用いて車両の乗車人数を決定する解析装置。
8. 1から6のいずれかに記載の解析装置において、
前記決定手段は、
前記第1の画像がいずれの前記第2の画像とも前記所定の条件を満たさない場合、当該第1の画像に写る車両の乗車人数を決定せず、エラーを出力する解析装置。
9. 1から8のいずれかに記載の解析装置において、
前記第2の画像がいずれの前記第1の画像とも前記所定の条件を満たさない場合、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数を用いて車両の乗車人数を決定する解析装置。
10. 1から8のいずれかに記載の解析装置において、
前記決定手段は、
前記第2の画像がいずれの前記第1の画像とも前記所定の条件を満たさない場合、当該第2の画像に写る車両の乗車人数を決定せず、エラーを出力する解析装置。
11. コンピュータが、
道路を通過する車両を撮影する第1のカメラにより生成された第1の画像から、人を検出する第1の画像解析工程と、
前記第1の画像解析工程での検出結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出工程と、
前記道路を通過する車両を撮影する第2のカメラにより生成された第2の画像から、人を検出する第2の画像解析工程と、
前記第2の画像解析工程での検出結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出工程と、
前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定工程と、
前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出工程で検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出工程で検出した前記第2の画像に写る車両の乗車人数とを用いて車両の乗車人数を決定する決定工程と、
を実行する解析方法。
12. コンピュータを、
道路を通過する車両を撮影する第1のカメラにより生成された第1の画像から、人を検出する第1の画像解析手段、
前記第1の画像解析手段による検出結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出手段、
前記道路を通過する車両を撮影する第2のカメラにより生成された第2の画像から、人を検出する第2の画像解析手段、
前記第2の画像解析手段による検出結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出手段、
前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定手段、
前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数とを用いて車両の乗車人数を決定する決定手段、
として機能させるプログラム。
この出願は、2017年7月13日に出願された日本出願特願2017-136952号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

  1. 道路を通過する車両を撮影する第1のカメラにより生成された複数の第1の画像各々から人及び車両の所定箇所を検出した後、前記第1の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第1の画像解析手段と、
    前記第1の画像に基づき検出された座標に基づき複数の前記第1の画像に写る同一人物を特定し、特定結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出手段と、
    前記道路を通過する車両を撮影する第2のカメラにより生成された複数の第2の画像各々から、人及び車両の所定箇所を検出した後、前記第2の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第2の画像解析手段と、
    前記第2の画像に基づき検出された座標に基づき複数の前記第2の画像に写る同一人物を特定し、特定結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出手段と、
    前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定手段と、
    前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数のうちの大きい方を、前記第1の画像及び前記第2の画像に写る車両の乗車人数として決定する決定手段と、
    を有する解析装置。
  2. 請求項1に記載の解析装置において、
    前記第1のカメラは、第1のセンサによる車両の検出に応じて前記第1の画像を生成し、
    前記第2のカメラは、第2のセンサによる車両の検出に応じて前記第2の画像を生成し、
    前記第1のセンサは、前記道路を通行する車両を側方から検出し、
    前記第1のカメラは、前記車両を側方から撮影し、
    前記第2のセンサは、前記車両を前方から検出し、
    前記第2のカメラは、前記車両を前方から撮影する解析装置。
  3. 請求項1又は2に記載の解析装置において、
    前記第1のカメラは、2以上の車線を有する道路沿いに設置され、前記2以上の車線のうち前記第1のカメラから最も近い車線以外の車線を通行する車両を側方から撮影し、
    前記第2のカメラは、前記2以上の車線を有する道路の上方に設置され、前記2以上の車線のうち前記第1のカメラから最も近い車線以外の車線を通行する車両を前方から撮影する解析装置。
  4. 請求項1から3のいずれか1項に記載の解析装置において、
    前記判定手段は、
    前記第1の画像が生成された時刻と前記第2の画像が生成された時刻とが所定の関係を満たすか否かを判定する解析装置。
  5. 請求項4に記載の解析装置において、
    前記判定手段は、
    前記第1のカメラにより撮影される位置である第1の撮影位置と前記第2のカメラにより撮影される位置である第2の撮影位置との間の距離、及び、前記車両の速度に基づき、前記第1の撮影位置と前記第2の撮影位置との間の車両の移動に要する所要時間を算出し、
    前記第1の画像が生成された時刻と前記第2の画像が生成された時刻との差が前記所要時間に基づいて定められる条件を満たすか否かを判定する解析装置。
  6. 請求項1から5のいずれか1項に記載の解析装置において、
    前記決定手段は、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数のうちの大きい方を、車両の乗車人数として決定する解析装置。
  7. 請求項1から6のいずれか1項に記載の解析装置において、
    前記決定手段は、
    前記第1の画像がいずれの前記第2の画像とも前記所定の条件を満たさない場合、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数を用いて車両の乗車人数を決定する解析装置。
  8. 請求項1から6のいずれか1項に記載の解析装置において、
    前記決定手段は、
    前記第1の画像がいずれの前記第2の画像とも前記所定の条件を満たさない場合、当該第1の画像に写る車両の乗車人数を決定せず、エラーを出力する解析装置。
  9. 請求項1から8のいずれか1項に記載の解析装置において、
    前記第2の画像がいずれの前記第1の画像とも前記所定の条件を満たさない場合、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数を用いて車両の乗車人数を決定する解析装置。
  10. 請求項1から8のいずれか1項に記載の解析装置において、
    前記決定手段は、
    前記第2の画像がいずれの前記第1の画像とも前記所定の条件を満たさない場合、当該第2の画像に写る車両の乗車人数を決定せず、エラーを出力する解析装置。
  11. コンピュータが、
    道路を通過する車両を撮影する第1のカメラにより生成された複数の第1の画像各々から、人及び車両の所定箇所を検出した後、前記第1の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第1の画像解析工程と、
    前記第1の画像に基づき検出された座標に基づき複数の前記第1の画像に写る同一人物を特定し、特定結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出工程と、
    前記道路を通過する車両を撮影する第2のカメラにより生成された複数の第2の画像各々から、人及び車両の所定箇所を検出した後、前記第2の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第2の画像解析工程と、
    前記第2の画像に基づき検出された座標に基づき複数の前記第2の画像に写る同一人物を特定し、特定結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出工程と、
    前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定工程と、
    前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出工程で検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出工程で検出した前記第2の画像に写る車両の乗車人数のうちの大きい方を、前記第1の画像及び前記第2の画像に写る車両の乗車人数として決定する決定工程と、
    を実行する解析方法。
  12. コンピュータを、
    道路を通過する車両を撮影する第1のカメラにより生成された複数の第1の画像各々から、人及び車両の所定箇所を検出した後、前記第1の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第1の画像解析手段、
    前記第1の画像に基づき検出された座標に基づき複数の前記第1の画像に写る同一人物を特定し、特定結果に基づき、前記第1の画像に写る車両の乗車人数を検出する第1の検出手段、
    前記道路を通過する車両を撮影する第2のカメラにより生成された複数の第2の画像各々から、人及び車両の所定箇所を検出した後、前記第2の画像毎に、検出した前記車両の所定箇所を基準とする座標系を設定し、当該座標系における検出した前記人の座標を検出する第2の画像解析手段、
    前記第2の画像に基づき検出された座標に基づき複数の前記第2の画像に写る同一人物を特定し、特定結果に基づき、前記第2の画像に写る車両の乗車人数を検出する第2の検出手段、
    前記第1の画像と前記第2の画像とが所定の条件を満たすか否かを判定する判定手段、
    前記第1の画像と前記第2の画像とが前記所定の条件を満たす場合、前記第1の検出手段が検出した前記第1の画像に写る車両の乗車人数と、前記第2の検出手段が検出した前記第2の画像に写る車両の乗車人数のうちの大きい方を、前記第1の画像及び前記第2の画像に写る車両の乗車人数として決定する決定手段、
    として機能させるプログラム。
JP2019529433A 2017-07-13 2017-10-25 解析装置、解析方法及びプログラム Active JP7048157B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017136952 2017-07-13
JP2017136952 2017-07-13
PCT/JP2017/038455 WO2019012710A1 (ja) 2017-07-13 2017-10-25 解析装置、解析方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019012710A1 JPWO2019012710A1 (ja) 2020-03-19
JP7048157B2 true JP7048157B2 (ja) 2022-04-05

Family

ID=65002505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529433A Active JP7048157B2 (ja) 2017-07-13 2017-10-25 解析装置、解析方法及びプログラム

Country Status (6)

Country Link
US (1) US11538258B2 (ja)
EP (1) EP3654276B1 (ja)
JP (1) JP7048157B2 (ja)
CN (1) CN110892446A (ja)
AU (1) AU2017423460A1 (ja)
WO (1) WO2019012710A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130300A1 (en) * 2017-12-31 2019-07-04 Axilion Ltd. Method, device, and system of traffic light control utilizing virtual detectors
JP7332029B2 (ja) * 2020-03-16 2023-08-23 日本電気株式会社 状況通知装置、状況通知システム、状況通知方法およびコンピュータプログラム
FR3111449B1 (fr) * 2020-06-15 2023-04-07 Fareco Systèmes et méthodes de détermination d’un nombre de personnes dans un véhicule
EP4365858A1 (de) * 2022-11-07 2024-05-08 Yunex Traffic Austria GmbH Verfahren und vorrichtung zum ermitteln einer anzahl von personen in einem fahrenden fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014061195A1 (ja) 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
WO2015052896A1 (ja) 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348469A (ja) * 2003-05-22 2004-12-09 Mitsubishi Heavy Ind Ltd 信号無視検知システム
US20090309974A1 (en) * 2008-05-22 2009-12-17 Shreekant Agrawal Electronic Surveillance Network System
US20100169007A1 (en) * 2008-12-30 2010-07-01 Shashikumar Kaushik Method and apparatus for navigation system for detecting and warning traffic rule violation
US20120033123A1 (en) * 2010-08-06 2012-02-09 Nikon Corporation Information control apparatus, data analyzing apparatus, signal, server, information control system, signal control apparatus, and program
US8811664B2 (en) * 2011-12-06 2014-08-19 Xerox Corporation Vehicle occupancy detection via single band infrared imaging
US9111136B2 (en) * 2012-04-24 2015-08-18 Xerox Corporation System and method for vehicle occupancy detection using smart illumination
WO2014031563A2 (en) * 2012-08-20 2014-02-27 Jonathan Strimling System and method for neighborhood-scale vehicle monitoring
US10453084B2 (en) * 2012-12-21 2019-10-22 Intel Corporation Systems and methods for generating and validating incentives based on multi-person vehicle occupancy
WO2014172320A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Vehicle location-based home automation triggers
US20150062340A1 (en) * 2013-09-03 2015-03-05 International Business Machines Corporation High Occupancy Toll Lane Compliance
US9652851B2 (en) * 2014-04-01 2017-05-16 Conduent Business Services, Llc Side window detection in near-infrared images utilizing machine learning
JP6482852B2 (ja) * 2014-12-22 2019-03-13 セコム株式会社 追跡処理装置
US20170017846A1 (en) * 2015-07-15 2017-01-19 Umm Al-Qura University Crowd and traffic monitoring apparatus and method
JP2017136952A (ja) 2016-02-03 2017-08-10 日立金属株式会社 トロリ線及びシンプルカテナリー式架線
US9928424B2 (en) * 2016-02-22 2018-03-27 Conduent Business Services, Llc Side window detection through use of spatial probability maps

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014061195A1 (ja) 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
WO2015052896A1 (ja) 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体

Also Published As

Publication number Publication date
AU2017423460A1 (en) 2020-01-16
JPWO2019012710A1 (ja) 2020-03-19
US11538258B2 (en) 2022-12-27
EP3654276A1 (en) 2020-05-20
EP3654276A4 (en) 2020-06-24
US20200210732A1 (en) 2020-07-02
CN110892446A (zh) 2020-03-17
WO2019012710A1 (ja) 2019-01-17
EP3654276B1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
JP7048157B2 (ja) 解析装置、解析方法及びプログラム
JP7216672B2 (ja) 統合撮像装置を使用しての視覚的データ、深さデータ、および微小振動データの抽出
JP6458734B2 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
US8620066B2 (en) Three-dimensional object determining apparatus, method, and computer program product
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
KR20210042579A (ko) 주행 중인 차량 내 승차인원 검지를 위한 승차위치 확인 및 합산 방법
WO2016151976A1 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
US10776649B2 (en) Method and apparatus for monitoring region around vehicle
WO2019016971A1 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
JP6820075B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
JP6863461B2 (ja) 解析装置、解析方法及びプログラム
JP7070693B2 (ja) 検出システム、検出方法及びプログラム
JP4719605B2 (ja) 対象物検出用データ生成装置、方法及びプログラム並びに対象物検出装置、方法及びプログラム
JP5487648B2 (ja) 移動物体計測システム、移動物体計測装置、移動物体計測方法及びプログラム
JP2019153184A (ja) 自動運転車両を制御するためのシステム、方法、及びプログラム
US20220406070A1 (en) Method and device for recognizing an object for a vehicle including a mono camera, and camera system
KR20230096530A (ko) 주행 제어 장치 및 방법
JP2024020838A (ja) 表示制御装置
CN117121061A (zh) 用于生成注意区域的计算机实现的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210202

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210301

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211109

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220118

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220222

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220317

R151 Written notification of patent or utility model registration

Ref document number: 7048157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151