JPWO2019021500A1 - 乗員数検知システム、乗員数検知方法、およびプログラム - Google Patents

乗員数検知システム、乗員数検知方法、およびプログラム Download PDF

Info

Publication number
JPWO2019021500A1
JPWO2019021500A1 JP2019532353A JP2019532353A JPWO2019021500A1 JP WO2019021500 A1 JPWO2019021500 A1 JP WO2019021500A1 JP 2019532353 A JP2019532353 A JP 2019532353A JP 2019532353 A JP2019532353 A JP 2019532353A JP WO2019021500 A1 JPWO2019021500 A1 JP WO2019021500A1
Authority
JP
Japan
Prior art keywords
vehicle
image
imaging device
images
counting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019532353A
Other languages
English (en)
Other versions
JP6820075B2 (ja
Inventor
晴之 林
晴之 林
道彦 遊佐
道彦 遊佐
中島 昇
昇 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
NEC Solution Innovators Ltd
Original Assignee
NEC Corp
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC Solution Innovators Ltd filed Critical NEC Corp
Publication of JPWO2019021500A1 publication Critical patent/JPWO2019021500A1/ja
Application granted granted Critical
Publication of JP6820075B2 publication Critical patent/JP6820075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

乗員数検知システム(1)は、第1車両に搭載された撮像装置から、第1車両の周囲に存在する第2車両の画像を取得する画像取得部(110)と、画像取得部(110)により取得された画像を用いて、第2車両の乗員数をカウントするカウント部(120)と、を含んで構成される。

Description

本発明は、車両の乗員数を把握する技術に関する。
車両の乗員数を把握したいというニーズがある。例えば、欧米では、HOV(High-Occupancy Vehicle)レーンやHOT(High-Occupancy Toll)レーンといった、乗員数が一定数以上の車両が優遇される専用レーンがあり、このようなレーンを走行する車両の乗員数を把握したいというニーズがある。
上記ニーズに対し、例えば、下記特許文献に記載されるような技術がある。下記特許文献1および特許文献2には、道路の脇に設置した撮像装置によって車両を被写体として含む画像を取得し、当該画像を解析することによって、車両の乗員数を検知する技術が開示されている。
国際公開第2014/064898号 国際公開第2014/061195号
従来のシステムでは、道路を走行する車両の乗員数を検知するために、特定の場所に固定設置された撮像装置を用いている。この場合において、車両の乗員数を検知できる範囲は、固定設置された撮像装置の撮像範囲に限定される。そのため、そのような撮像装置が設置された場所を避けて走行する車両については、乗員数を検知できないという課題がある。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、道路を走行している車両の乗員数を、場所を問わずに検知可能とする技術を提供することである。
本発明によれば、
第1車両に搭載された撮像装置から、前記第1車両の周囲に存在する第2車両の画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像を用いて、前記第2車両の乗員数をカウントするカウント手段と、
を有する乗員数検知システムが提供される。
本発明によれば、
コンピュータが、
第1車両に搭載された撮像装置から、前記第1車両の周囲に存在する第2車両の画像を取得し、
取得された前記画像を用いて、前記第2車両の乗員数をカウントする、
ことを含む、乗員数検知方法が提供される。
本発明によれば、
上述の乗員数検知方法をコンピュータに実行させるプログラムが提供される。
本発明によれば、道路を走行している車両の乗員数を、場所を問わずに検知することが可能となる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第1実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 乗員数検知システムのシステム構成を概念的に示す図である。 第1の撮像装置と第2の撮像装置の設置例を示す図である。 情報処理装置のハードウエア構成を概念的に示すブロック図である。 第1実施形態の乗員数検知システムにおける処理の流れを例示するフローチャートである。 第2車両V2の個体識別情報を取得可能とする構成の一例を示すブロック図である。 他の撮像装置の設置例を示す図である。 カウント部の処理結果を出力する画面の一例を示す図である。 車両のカウント部が処理対象画像を選別する動作を例示する図である。 第3実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 撮像装置の設定情報を記憶する構成の一例を示す図である。 第4実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 第5実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 第6実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 第6実施形態の乗員数検知システムにおける処理の流れを例示するフローチャートである。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[第1実施形態]
〔機能構成〕
図1は、第1実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。図1に示されるように、乗員数検知システム1は、画像取得部110およびカウント部120を含んで構成される。
画像取得部110は、例えば管理者が操縦するパトロール用の車両(以下、“第1車両”とも表記、図示せず)に搭載された撮像装置(図示せず)から、当該第1車両の周囲に存在する他の車両(第1車両が走行する道路を第1車両と並走あるいは対向して走行する車両。以下、“第2車両”とも表記。図示せず)の画像を取得する。カウント部120は、画像取得部110により取得された画像を用いて、第2車両の乗員数をカウントする。カウント部120は、例えば、上記特許文献1または特許文献2に開示される技術を利用して、第2車両を被写体として含む画像を基に、当該第2車両の乗員数をカウントすることができる。
以上、本実施形態では、乗員数のカウント処理で利用する画像を撮影するための撮像装置が第1車両に備えられている。この構成によれば、第1車両が移動することで、撮像装置の撮像範囲も移動する。これにより、第1車両が走行可能な場所であれば、その場所に関係なく第2車両の乗員数を検知することが可能となる。また、従来であれば複数の監視地点にそれぞれ固定の撮像装置を設置しなければならないところ、本実施形態の乗員数検知システム1によれば、第1車両に搭載した撮像装置で少なくとも2つ以上の監視地点をカバーすることも可能である。よって、同じ広さのエリアを監視対象とする場合に必要なシステムの導入コストを、従来と比較して低減させる効果も期待できる。
以下、第1実施形態をより詳細に説明する。
〔ハードウエア構成〕
乗員数検知システム1の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、乗員数検知システム1の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図2は、乗員数検知システム1のシステム構成を概念的に示す図である。図2に示されるように、乗員数検知システム1は、情報処理装置20、撮像装置30、車両検知用センサ40、および、投光器50を含んで構成される。また、情報処理装置20には、カウント部120による乗員数のカウント結果を表示するためのディスプレイ装置22が接続されている。
撮像装置30は、第1車両V1に搭載されており、ネットワークを介して情報処理装置20と接続されている。図示していないが、複数の撮像装置30が第1車両V1に搭載されていてもよい。例えば、第2車両V2が並走車両である場合(第1車両V1と第2車両V2が同じ方向に走行している場合)に使用する第1の撮像装置と、第2車両V2が対向車両である場合(第1車両V1と第2車両V2が逆方向に走行している場合)に使用する第2の撮像装置が、第1車両V1に搭載されていてもよい。第1の撮像装置は、第1車両V1と並走する第2車両V2の乗員の顔の特徴部分(目、鼻、口等)を撮影できるように、例えば斜め後方に向けてあるいは第1車両V1に対して横向きに設置される。また、対向車両の場合は並走車両の場合よりもすれ違いにかかる時間が短くなるため、第2の撮像装置は、例えば斜め前方(右側通行であれば左斜め前方)に向けて設置される。
上述したように、撮像装置30は斜め(並走車両用の撮像装置30は斜め後方、対向車両用の撮像装置30は斜め前方)に向けて設置されてもよい。撮像装置30を斜めに向けて設置することによって、第1車両V1と並走する、或いは、対向して走行する第2車両V2が、第1車両V1との位置関係によって異なる角度で撮影される。また、撮像装置30を斜め前方又は後方に向けて設置することによって、第1車両V1と並走する、或いは、対向して走行する第2車両V2を斜め前方から撮影することができる。これにより、画像中での乗員の重なりが少なく、複数の乗員の顔が良好に写る画像を得ることができる。
第1の撮像装置と第2の撮像装置の設置例を、図3を用いて説明する。図3において、符号30Aは第1の撮像装置を示し、符号30Bは第2の撮像装置を示している。なお、図3は右側通行のケースを例示している。
図3の例では、第1の撮像装置30Aは、第1車両V1の右斜め後方に向けて設置されている。第1の撮像装置30Aは、同じ方向を向いている並走車両を前方から撮影するために、第1車両V1の進行方向dV1とは反対側の方向(車両後方部)に向けられて設置されている。なお、図示されていないが、複数の第1の撮像装置30Aが設けられていてもよい。例えば、第1車両V1の右方向または右斜め後方に向けて設置された第1の撮像装置30Aと、第1車両V1の左方向または左斜め後方に向けて設置された別の第1の撮像装置30Aが第1車両V1に備えられていてもよい。この場合、第1車両V1の右方向または右斜め後方に向けて設置された第1の撮像装置30Aは、第1車両V1の右側のレーンを並走する車両を撮影するために使用される。また、第1車両V1の左方向または左斜め後方に向けて設置された別の第1の撮像装置30Aは、第1車両V1の左側のレーンを並走する車両を撮影するために使用される。また、左右方向と左右斜め後方に向けた4つの第1の撮像装置30Aが設けられていてもよい。
図3の例では、第2の撮像装置30Bは、第1車両V1に対して左斜め前方に向けて設置されている。第2の撮像装置30Bは、対面して近づいてくる対向車両を前方から撮影するために、第1車両V1の進行方向dV1(車両前方部)に向けられて設置されている。言い換えると、第2の撮像装置30Bの撮影方向は、第1の撮像装置30Aの撮影方向よりも、第1車両の進行方向dV1側に向けられている。なお、左側通行が採用される地域では、対向車両が右側に存在するため、第2の撮像装置30Bは右斜め前方に向けて設置される。
第2車両V2が並走車両である場合と対向車両である場合とでは、第1車両V1との相対速度が大きく変わる。そのため、撮影を行う際の撮像装置30の設定についても、好ましい設定値が変わってくる。並走車両を撮影する際に用いる第1の撮像装置と対向車両を撮影するときに用いる第2の撮像装置をそれぞれ設けておくことで、第2車両V2の進行方向に関わらず、カウント処理に利用可能な画像を撮ることができる。この場合、画像取得部110は、第1の撮像装置により生成される第1の画像と、第2の撮像装置より生成される第2の画像とを、それぞれ異なる第2車両V2の画像として取得する。そして、カウント部120は、並走している第2車両V2の乗員数を第1の画像を用いてカウントする処理と、向かい合って走行している第2車両V2の乗員数を第2の画像を用いてカウントする処理と、をそれぞれ独立して実行することができる。
車両検知用センサ40は、第1車両V1の周囲に存在する第2車両V2を検知するためのセンサとして使用される。車両検知用センサ40は、例えば、ミリ波レーダー、LIDAR(Light Detection and Ranging)、ソナーなどであり、第1車両V1から第2車両V2までの距離(および方角)を測定する距離測定手段として使用することができる。撮像装置30は、車両検知用センサ40により測定された、第1車両V1から第2車両V2までの距離に基づいて、第2車両V2の画像を撮るタイミングを計ることができる。なお、車両検知用センサ40は、撮像装置30とは別に設けられていてもよいし、撮像装置30に組み込まれていてもよい。
投光器50は、車両内の人物を鮮明に撮影するために設けられる。なお、投光器50は、撮像装置30とは別に設けられていてもよいし、撮像装置30に組み込まれていてもよい。投光器50は、撮像装置30の撮像タイミングに連動して、被写体である第2車両V2に光(例えば、近赤外線など)を照射する。
図4は、情報処理装置20のハードウエア構成を概念的に示すブロック図である。情報処理装置20は、バス201、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206を含んで構成される。
バス201は、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206などを互いに接続する方法は、バス接続に限定されない。
プロセッサ202は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの演算装置である。メモリ203は、RAM(Random Access Memory)やROM(Read Only Memory)などを用いて実現される主記憶装置である。ストレージデバイス204は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカードなどを用いて実現される補助記憶装置である。
ストレージデバイス204は、画像取得部110およびカウント部120を実現するプログラムモジュール、並びに、撮像装置30で生成された画像を取得する機能を実現するプログラムモジュールを記憶している。プロセッサ202は、これら各プログラムモジュールをメモリ203に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
入出力インタフェース205は、情報処理装置20と周辺機器とを接続するためのインタフェースである。例えば、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイといった表示出力用のデバイス(ディスプレイ装置22)や、キーボードやマウスといった入力用のデバイス、または、これらが一体となったタッチパネルなどが、入出力インタフェース205を介して情報処理装置20に接続され得る。
ネットワークインタフェース206は、情報処理装置20をLAN(Local Area Network)やWAN(Wide Area Network)などの各種ネットワークに接続するためのインタフェースである。図4に示されるように、情報処理装置20は、ネットワークインタフェース206を介してネットワークに接続して、撮像装置30や図示しない他の端末と通信することができる。例えば、情報処理装置20は、ネットワークインタフェース206を介して撮像装置30と通信し、撮像装置30で生成された画像を取得することができる。また、情報処理装置20は、ネットワークインタフェース206を介して第1車両V1と通信することにより、車両検知用センサ40によって測定された、第1車両V1から第2車両V2までの距離を取得することもできる。なお、情報処理装置20が各種ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
なお、図2および図4の構成はあくまで一例であり、本発明のハードウエア構成は図2および図4の例に限定されない。例えば、情報処理装置20と撮像装置30とが一体化され、第1車両V1に搭載されていてもよい。また例えば、情報処理装置20が、撮像装置30と共に第1車両V1に搭載されていてもよい。この場合、画像取得部110およびカウント部120は、第1車両に備えられることになる。この場合、カウント部120による第2車両V2の乗員数のカウント結果は、例えば、ネットワークインタフェース206を介して接続された管理者用端末(図示せず)などに送信され得る。その他にも、カウント部120による第2車両V2の乗員数のカウント結果は、例えば、第1車両と接続された出力デバイス(カーナビゲーション装置や携帯端末など、いずれも図示せず)を介して出力されてもよい。
〔動作例〕
図5を用いて、第1実施形態の乗員数検知システム1における処理の流れを説明する。図5は、第1実施形態の乗員数検知システム1における処理の流れを例示するフローチャートである。
まず、第1車両V1に搭載されている撮像装置30によって、第1車両V1の周囲に存在する第2車両V2の画像が生成される(S102)。撮像装置30は、例えば次のようにして、第2車両の画像を生成する。まず、撮像装置30は、第1車両V1から第2車両V2までの距離を示す情報として、車両検知用センサ40の出力信号を取得する。そして、撮像装置30は、車両検知用センサ40の出力信号が示す距離と例えば撮像装置30のメモリ等に予め記憶された閾値とを比較し、車両検知用センサ40の出力信号が示す距離が閾値以下となったタイミングで第2車両V2を撮像する。その他にも、車両検知用センサ40の代わりに、撮影動作を遠隔操作するスイッチが第1車両V1内に設けられており、撮像装置30は、第1車両V1の乗員が当該スイッチを押下したことに応じて、撮影動作を開始するように構成されていてもよい。
撮像装置30により生成された第2車両V2の画像は、ネットワークインタフェース206を介して、画像取得部110により取得される(S104)。画像取得部110は、撮像装置30から取得した第2車両V2の画像をカウント部120に転送する。そして、カウント部120は、画像取得部110により取得された第2車両V2の画像を用いて、第2車両V2の乗員数をカウントする(S106)。カウント部120は、例えば、取得した画像の中から抽出できる、人物と推定される領域(例:人物の顔領域)それぞれに異なるラベル(個々の領域を識別する情報)を付与し、当該付与されたラベルの数を第2車両V2の乗員数として算出することができる。なお、カウント部120は、例えば、テンプレートマッチング、又は、SVM(Support Vector Machine)やCNN(Convolutional Neural Network)といった機械学習(またはディープラーニング)などの技術を用いて、人物の領域を推定することができる。
なお、S106の処理でカウントした乗員数が、どの車両に関する情報であるのかを把握するため、例えば、図6に示すように、第2車両V2の個体を識別する情報を取得して紐付ける構成が更に備えられていてもよい。
図6は、第2車両V2の個体識別情報を取得可能とする構成の一例を示すブロック図である。図6では、第2車両V2の乗員数をカウントするために利用する画像を生成する撮像装置30とは別に、第2車両V2の個体識別情報を取得するために利用する画像を生成する他の撮像装置32が、第1車両V1に搭載されている。第2の車両の個体識別情報としては、例えば、車両のナンバープレートNに記されている文字や記号などが利用できる。他の撮像装置32は、車両のナンバープレートNを撮像できるように位置および向きが調整され、第1車両V1に搭載される。具体的には、ナンバープレートは、各車両の前方または後方において、撮像装置30の撮像範囲(第2車両の乗員が写る領域)よりも下側の領域に取り付けられるため、他の撮像装置32は、第1車両V1の前方また後方に下側向きに設置される。なお、ナンバープレートを車両前方に取り付ける義務を課していない国もあるため、図6に例示されるように、他の撮像装置32が第1車両の前方側にのみ設けられている場合、対向車両のナンバープレートを撮像できない可能性がある。よって、対向車両のナンバープレートを含む画像を撮影するために、第1車両V1の後方斜め下側(右側通行を採用している地域であれば、第1車両V1の左斜め下側)に向けたもう1台の撮像装置32が設置されていてもよい(例:図7)。
図7は、他の撮像装置の設置例を示す図である。図7では、撮像装置30に加え、第1車両V1と並走する車両のナンバープレートを撮影するための他の撮像装置32Aと、第1車両V1と対向して走行する車両のナンバープレートを撮影するための他の撮像装置32Bとが、第1車両V1に設置されている例が示されている。以下、他の撮像装置32Aおよび他の撮像装置32Bを特に区別しない場合は、単に他の撮像装置32とも表記する。他の撮像装置32の撮影方向および撮影タイミングは、撮像装置30とは異なっている。例えば、並走車両用の他の撮像装置32Aは、撮像装置30Aとは異なり、右斜め前方を向けて設置されている。第1車両V1が第2車両V2を追い抜く際に第2車両V2の乗員を撮影する場合、並走車両用の他の撮像装置32Aは、撮像装置30Aによる撮影が行われる前(第2車両V2にある程度近づく前)に、第2車両V2の後方に取り付けられているナンバープレートを撮影する。また、対向車両用の他の撮像装置32Bは、例えば、撮像装置30Bとは異なり、左斜め後方を向けて設置されている。対向車両用の他の撮像装置32Bは、撮像装置30Bによる撮影が行われた後(第2車両V2とすれ違った後)に、第2車両V2の後方に取り付けられているナンバープレートを撮影する。他の撮像装置32は、車両検知用センサ40の出力信号が示す距離に応じて自動的に撮影を行うように構成されていてもよいし、第1車両に搭載されるスイッチの押下動作に応じて撮影を行うように構成されていてもよい。
なお、車両の前方にナンバープレートを着用する義務が課せられている地域等においては、撮像装置30が、第2車両V2の乗員数をカウントするための画像と共に、ナンバープレートといった個体識別情報を取得するための画像を生成することもできる。例えば、図6の例では、ナンバープレートNは車両の前方にも取り付けられているため、撮像装置30を用いて、ナンバープレートが写る画像を生成することも可能である。この場合、図5の他の撮像装置32はなくてもよい。
図6の例において、カウント部120は、乗員数のカウント処理を実行する乗員数カウント部122と、個体識別情報(例:ナンバープレートの文字列)を取得する個体識別情報取得部124とを含んでいる。画像取得部110は、撮像装置30および他の撮像装置32により生成された画像をそれぞれ取得すると、撮像装置30により生成された画像を乗員数カウント部122に、他の撮像装置32により生成された画像を個体識別情報取得部124にそれぞれ転送する。
乗員数カウント部122は、上述したように、撮像装置30により生成された画像の中から人物と推定される領域を抽出し、その領域の数に基づいて、第2の車両V2の乗員数を算出することができる。また、個体識別情報取得部124は、例えば、テンプレートマッチング、SVM、CNNなどを用いて、他の撮像装置32により生成された画像の中からナンバープレートの領域を抽出することができる。そして、個体識別情報取得部124は、例えばOCR(Optical character recognition)技術を更に用いて、第2車両V2のナンバープレートNに記されている文字列をテキストデータとして取得することができる。
カウント部120は、乗員数カウント部122によりカウントされた、第2車両V2の乗員数と、個体識別情報取得部124により取得された、第2車両V2の個体識別情報(例:ナンバープレートの文字列)とを紐付けて出力する(S108)。例えば、カウント部120は、情報処理装置20に接続されたディスプレイ装置22上に図8に示されるような画面を表示することができる。
図8は、カウント部120の処理結果を出力する画面の一例を示す図である。図8では、車両のナンバープレートの番号と共に、カウント部120でカウントされた車両の乗員数を表示する画面が例示されている。
ここで、カウント部120は、ある車両が走行しているレーンがHOVレーンやHOTレーンであって、その車両の乗員数が規定人数未満である場合、当該車両の乗員数の情報に、乗員数が規定人数未満であることを示す特定の付加情報を含めてよい。カウント部120は、例えば、メモリ203に予め格納された規定人数に関する情報と、画像を基にカウントした車両の乗員数とを比較することで、車両の乗員数が規定人数以上であるか否かを判別することができる。そして、情報処理装置20は、例えば、付加情報の有無に従って図8に示すような所定のマークMを付与して、乗員数が規定未満である車両に関する情報がその他の車両に関する情報と区別して表示するように構成されていてもよい。その他にも、情報処理装置20は、付加情報の有無に従って文字色や背景色などを変えることによって、乗員数が規定未満である車両に関する情報を、その他の車両に関する情報と区別して表示することができる。このような画面によれば、管理者は、HOVレーンやHOTレーンを規定人数未満の乗員数で走行している車両の存在を容易に把握できる。その他にも、カウント部120から出力される乗員数のカウント結果に付加情報が付与されている場合、情報処理装置20が、画面の表示を更新すると共に所定のブザー音を出力するように構成されていてもよい。これにより、情報処理装置20を操作する人物が、規定人数未満の乗員数でHOVレーンやHOTレーンを走行している車両の存在に気づき易くなる。
[第2実施形態]
1枚の画像に第2車両V2の全乗員が写っていれば、カウント部120はその1枚の画像を用いて乗員数を正確にカウントすることができるが、必ずしも1枚の画像に全ての乗員が写っているとは限らない。例えば、ある角度から第2車両V2を撮影した場合に、撮像範囲から外れていた或いは遮蔽物(前方に位置する乗員や車両の外装部など)に隠れていた等の理由により、第2車両V2の乗員の少なくとも1人が画像に写らない可能性もある。この場合、カウント部120はその乗員を画像から認識できない。そこで、本実施形態の乗員数検知システム1は以下のように構成されていてもよい。なお、以下で説明する点を除き、本実施形態の乗員数検知システム1は、第1実施形態と同様の構成を有する。
撮像装置30は、予め設定されたフレームレートに従って、第1車両が第2車両V2とすれ違う間に異なる角度から第2車両V2を連続して撮影することで、1台の第2車両V2について複数枚の画像を生成する。第1車両が第2車両V2とすれ違う間に異なる方向(異なる角度)から第2車両V2を撮影することによって、撮像装置30の撮像範囲や遮蔽物と第2車両V2と乗員との位置関係が変動し、第2車両V2の各乗員が複数枚の画像のいずれかに写るようにすることができる。そして、画像取得部110は、撮像装置30により生成された複数枚の画像を取得する。そして、カウント部120は、画像取得部110により取得された複数枚の画像を用いて、第2車両V2の乗員数をカウントする。
具体的な例として、第2車両V2に関して、後部座席の2人の乗員が写っている画像、後部座席の2人の乗員のうちの1人と運転席の乗員が写っている画像、運転席および助手席の乗員が写っている画像、の計3枚の画像が画像取得部110により取得されたとする。この場合、カウント部120は、例えば特許文献1に開示されるように、それぞれの画像を用いて乗員をカウントした結果を統合して、第2車両V2の乗員数を、運転席に1人、助手席に1人、及び、後部座席に2人の計4人と算出することができる。
このように、複数枚の第2車両V2の画像を用いることにより、第2車両V2の乗員数を正確にカウントすることが可能となる。
また、撮像装置30により複数枚の画像が生成される場合において、カウント部120は、第2車両V2の見え方がある程度異なる画像を全ての画像の中から選別して乗員数のカウント処理に利用するように構成されていてもよい。例えば、カウント部120は、撮像装置30から取得した複数の画像の中から、予め定められた選択基準を満たす複数の画像を処理対象画像として選択し、当該選択した複数の処理対象画像を用いて第2車両V2の乗員数をカウントするように構成されていてもよい。
具体的には、カウント部120は、画像取得部110により取得された複数の画像のうち、第2車両V2の少なくとも1つの特定部位が、予め定められた少なくとも1つの領域(選択基準領域)に写っている画像を、処理対象画像として選択する。ここで、特定部位とは、たとえば、ピラー(フロントピラー、センターピラー、リアピラー)やサイドミラーなど、車両のどの部分が画像に写っているかを判別可能な部位である。
カウント部120の具体的な動作を、図9を用いて例示する。図9は、車両のカウント部120が処理対象画像を選別する動作を例示する図である。なお、ここでは、第1車両V1と第2車両V2が並走しているケースを例示する。
まず、第1車両V1が第2車両V2を追い抜く際、撮像装置30は、予め設定されたフレームレートで第2車両V2を撮影し、複数枚の画像Pnを生成する。カウント部120は、画像取得部110を介して複数枚の画像Pnを取得すると、少なくとも1つの特定部位(図の例では、リアピラーA、センターピラーB、フロントピラーC)が、予め定められた少なくとも1つの選択基準領域(図の例では、R1、R2、R3)に写っている画像P1、P2、P3を、全ての画像Pnの中から選別する。
各選択基準領域は、例えば、画像内での位置座標を示す情報として、メモリ203等の所定の記憶領域に記憶されている。カウント部120は、所定の記憶領域に記憶されている選択基準領域の位置座標と、画像から認識された特定部位の位置座標とを比較することによって、特定部位が選択基準領域に写っているか否かを判別することができる。なお、選択基準領域は、例えば、リアピラーAに関する領域、センターピラーBに関する領域、というように、車両の特定部位の種類に紐付けて定められていてもよい。図示される例では、選択基準領域R1、R2、R3は、それぞれ、リアピラーA、センターピラーB、フロントピラーCに関する領域として定義されている。
また、図9では、カウント部120が複数の特定部位を用いて処理対象画像を選別する例を示したが、カウント部120は、1つの特定部位(例えば、センターピラーBのみ)を用いて処理対象画像を選別するように構成されていてもよい。この場合、カウント部120は例えば次のように動作する。なお、ここでは、センターピラーBを特定部位とする例を挙げて説明する。まず、カウント部120は、複数枚の画像Pnをそれぞれ解析して、複数枚の画像PnそれぞれからセンターピラーBの位置座標を取得する。次いで、カウント部120は、所定の記憶領域に記憶された、センターピラーBに関する複数の選択基準領域の位置座標を読み出し、複数枚の画像Pnから取得した複数のセンターピラーの位置情報それぞれと比較する。カウント部120は、センターピラーBの位置座標が各選択基準領域の位置座標に最も近い画像を、処理対象画像として選択する。具体的な例として、センターピラーBに関する4つの選択基準領域が所定の記憶領域に記憶されている場合、カウント部120は、それぞれの画像から取得されるセンターピラーBの位置座標に基づいて、複数枚の画像Pnの中から4枚の画像を処理対象画像として選別することができる。
なお、カウント部120は、複数の画像間での特定部位の位置関係に基づいて、処理対象画像を選別することもできる。例えば、カウント部120は、ある画像に写る特定部位の位置座標と、他の画像に写る同一の特定部位の位置座標とが所定の関係(例:予め決められた間隔である)を満たす場合に、これらの画像を処理対象画像として選択することができる。ここでは、具体的な例として、特定部位がセンターピラーBであるケースを説明する。まず、カウント部120は、複数枚の画像Pnをそれぞれ解析して、複数枚の画像PnそれぞれからセンターピラーBの位置座標を取得する。そして、カウント部120は、複数枚の画像Pn間でセンターピラーBの位置座標を比較することによって、センターピラーBの位置の間隔が所定の間隔となるように、予め決められた枚数の画像を選別することができる。
そして、カウント部120は、例えば特許文献1に開示されるように、選別した画像P1乃至P3を用いて乗員をカウントした結果を統合して、第2車両V2の乗員数を、運転席に1人、助手席に1人、及び、後部座席に2人の計4人と算出することができる。
このような構成によれば、第2車両V2の乗員数を正確にカウントすると共に、カウント部120で用いる画像の枚数を減らして全体の処理量を低減させることができる。
なお、第2車両V2が並走車両である場合と第2車両V2が対向車両である場合とで、第2車両V2の特定部位が画像にどのように写り込むかが変わってくる。そのため、カウント部120が、第2車両V2が並走車両であるか対向車両であるかに応じて、異なる選択基準を用いるように構成されていてもよい。この場合、第2車両V2が並走車両である場合に適した選択基準と、第2車両V2が対向車両である場合に適した選択基準が、メモリ203等に予め用意される。
第2車両V2が並走車両であるか対向車両であるかを識別する方法の一つとして、例えば、並走車両と対向車両のどちらを撮影するか選択するためのスイッチを第1車両V1に設けることが考えられる。この場合、撮像装置30は、スイッチの選択状態と連動して、撮像装置30の向きや画角を自動的に調整する機構を有していてもよい。カウント部120は、第1車両V1からスイッチの選択状態を示す情報を更に取得し、その情報に基づいて、画像内の第2車両V2が並走車両であるか対向車両であるかを識別することができる。
また、第2車両V2が並走車両を撮影する際に用いる第1の撮像装置と、第2車両V2が対向車両を撮影するときに用いる第2の撮像装置とが第1車両V1に搭載されている場合、カウント部120は、処理対象の画像を提供した撮像装置が第1の撮像装置および第2の撮像装置のいずれであるかに基づいて、画像内の第2車両V2が並走車両であるか対向車両であるかを識別することができる。
その他の方法として、例えば、第1車両V1と第2車両V2との相対速度の大きさを利用することができる。具体的には、第2車両V2が並走車両であれば、第1車両V1および第2車両V2が同一方向に移動しているため、相対速度はそれほど大きくならない。一方、第2車両V2が対向車両であれば、第1車両および第2車両V2が互いに逆方向に移動しているため、第2車両V2が並走車両である場合と比較して、相対速度が大きくなる。この場合、例えば、カウント部120は、車両検知用センサ40の出力信号を基に第1車両V1と第2車両V2との間の単位時間あたりの距離の変化を算出し、当該単位時間あたりの距離の変化を基に第1車両V1と第2車両V2との相対速度を算出することができる。そして、カウント部120は、第1車両V1と第2車両V2との相対速度が、203等に予め記憶された閾値(例えば、40km/hなど)を超えるか否かによって、画像内の第2車両V2が並走車両であるか対向車両であるかを識別することができる。
[第3実施形態]
第2車両V2が並走車両である場合と、第2車両V2が対向車両である場合とで、第1車両V1と第2車両V2との相対速度は大きく異なってくる。つまり、第2車両V2が並走車両である場合と、第2車両V2が対向車両である場合とで、第2車両V2およびその乗員が鮮明に写る画像を生成するための撮像装置30の設定が異なってくると言える。そこで、本実施形態の乗員数検知システム1は、撮像装置30の撮影時の設定(例えば、フレームレート、シャッター速度、投光器50からの投光量など)が、第2車両V2が並走車両である場合と、第2車両V2が対向車両である場合と異なる構成を有する。
具体的には、第2車両V2が並走車両である場合よりも、第2車両V2が対向車両である場合の方が、第1車両V1と第2車両V2との相対速度は大きくなる。そのため、第2車両V2が対向車両である場合、被写体を鮮明に撮影するために、撮像装置30は、高いフレームレートかつ高速のシャッター速度で第2車両V2を撮影するのが好ましい。また、この場合に、シャッタースピードに合わせて、投光器50からの投光量を増やすのが好ましい。一方で、第2車両V2が並走車両である場合、第1車両V1と第2車両V2との相対速度は比較的小さいため、遅いシャッター速度であっても、ある程度鮮明な画像を生成することができる。またシャッター速度が遅い場合には、投光器50からの投光量が多くなくても、ある程度鮮明な画像を生成することができる。また、第1車両V1と第2車両V2との相対速度が小さい場合に、高いフレームレートで第2車両V2を撮影すると、被写体の状態に変化が少ない、乗員数のカウントに用いられない画像が何枚も取得されてしまう。よって、撮像装置30は、第2車両V2が対向車両である場合よりも、低いフレームレートで第2車両V2を撮影するのが好ましい。
〔機能構成〕
図10は、第3実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。なお、図10は第1実施形態の構成をベースとしているが、その他の実施形態で説明した構成が更に含まれていてもよい。図10に示されるように、本実施形態の乗員数検知システム1は、制御部130を含んで構成される。
制御部130は、並走車両および対向車両のどちらを撮影するために撮像装置30を用いるかを示す情報を受け取り、受け取った情報に基づいて、撮像装置30の撮影時の設定を変更する。例えば、並走車両と対向車両のどちらを撮影するか選択するためのスイッチを第1車両V1に設けられている場合、制御部130は、第1車両V1から当該スイッチの選択状態を示す情報を取得する。そして、制御部130は、例えば、図11に示されるようなテーブルを参照して、スイッチの選択状態に対応する撮像装置30の設定情報を読み出す。図11は、撮像装置30の設定情報を記憶する構成の一例を示す図である。図11の例では、スイッチの選択情報に紐付けて、撮像装置30の設定情報が記憶されている。制御部130は、読み出した設定情報を基に撮像装置30の撮影時の設定を変更する制御指示を生成し、撮像装置30に送信する。撮像装置30は、制御部130からの制御指示に応じて、撮影時の設定を変更させる。
また、並走車両を撮影するために使用される第1の撮像装置と、対向車両を撮影するための使用される第2の撮像装置とがそれぞれ設けられている場合は、制御部130は無くてもよい。この場合、第1の撮像装置は、低フレームレート、低速シャッタースピード、かつ、通常の投光量で撮影するように予め設定され、第2の撮像装置は、高フレームレート、高速シャッタースピード、かつ、多めの投光量で撮影するように予め設定される。
本実施形態の構成によれば、並走している車両を撮影する場合および向かってくる車両を撮影する場合それぞれに適した設定を採用して、カウント部120のカウント処理に適した画像を生成することができる。
[第4実施形態]
撮像装置30は第1車両V1に搭載されている。そのため、第1車両V1に搭載されている撮像装置30と第2車両V2との位置関係が変わり得る。この場合、撮像装置30の被写界深度の外に第2車両V2または第2車両V2の乗員が位置することになって、画像に写る被写体がぼやける可能性がある。また、第1車両V1から伝わる振動、第1車両V1と第2車両V2との間の速度の違いなどによって、所謂モーションブラーが発生し易い。そこで、本実施形態の乗員数検知システム1は、上述の各実施形態の構成に加え、撮像装置30により生成された画像に対して、被写体のボケを低減させるための構成を更に有する。
〔機能構成〕
図12は、第4実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。なお、図12は第1実施形態の構成をベースとしているが、その他の実施形態で説明した構成が更に含まれていてもよい。図12に示されるように、本実施形態の乗員数検知システム1において、カウント部120は、画像補正部126を含んで構成される。
画像補正部126は、第1車両V1から第2車両V2までの距離および第1車両V1と第2車両V2との相対速度の少なくとも一方に基づいて、画像取得部110により取得された画像の被写体(すなわち、第2車両V2)のボケを低減させる補正処理を実行する。この補正処理は、撮像装置30の被写界深度に起因するボケや所謂モーションブラーを軽減する処理を含む。また、画像補正部126は、例えば、第1車両V1に搭載されている車両検知用センサ40の出力信号に基づいて、第1車両V1から第2車両V2までの距離を把握することができる。画像補正部126は、第1車両V1から第2車両V2までの距離に応じて、撮像装置30の被写界深度に起因する被写体のボケを補正するパラメータを決定することができる。例えば、画像補正部126は、距離を引数としてパラメータを算出する関数や、対応するパラメータを距離別に定義する記憶するテーブルなどを用いて、第1車両V1から第2車両V2までの距離に応じたパラメータを決定することができる。また、画像補正部126は、第1車両V1から第2車両V2までの距離の継時変化に基づいて、第1車両V1と第2車両V2との相対速度を算出し、その相対速度に応じて、被写体のモーションブラーを補正するパラメータを決定することができる。例えば、画像補正部126は、相対速度を引数としてパラメータを算出する関数や、対応するパラメータを相対速度別に定義する記憶するテーブルなどを用いて、第1車両V1と第2車両V2との相対速度に応じたパラメータを決定することができる。画像補正部126は、このように決定されたパラメータを用いて、画像取得部110により取得された画像に対して補正処理を施す。
また、画像補正部126は、画像取得部110により取得された画像を解析することによって、当該画像のボケ具合を判別し、その画像のボケ具合に応じたパラメータを決定することもできる。例えば、画像補正部126は、画像の空間周波数の情報を解析によって取得し、それらの情報に基づいて補正用のパラメータを決定することができる。特に限定されないが、画像補正部126は、例えば、点広がり関数(Point Spread Function)といった画像のボケの性質を表わすボケ関数が既知の場合に、当該画像のボケ関数をフーリエ変換によって空間周波数成分に分解して、下記の式に示すような、ボケ低減用のウィナーフィルタを導出することができる。
Figure 2019021500
なお、上記の式において、Hは画像のボケ関数のフーリエ変換を示し、Hは当該フーリエ変換Hの複素共役を示し、Γは画像信号のSN(Signal to Noise)比によって決まる定数を示す。なお、上記の式は、例えば、メモリ203やストレージデバイス204といった所定の記憶領域に記憶されており、画像補正部126は当該記憶領域から式を読み出して、ボケを低減する補正パラメータを決定することができる。
その他にも、画像補正部126は、自己相関関数を用いて算出される前記被写体のブレを示す情報を、画像のボケ具合を示す情報として取得し、ボケを低減する補正パラメータを決定することができる。この場合、画像補正部126は、自己相関関数を用いて算出可能な画像内の物体のブレの方向と量を代入することで当該ブレを打ち消すパラメータを導出する所定の関数を用いて、補正用のパラメータを決定することができる。なお、上述の関数は、例えば、メモリ203やストレージデバイス204といった所定の記憶領域に記憶されており、画像補正部126は当該記憶領域から関数を読み出してパラメータを決定することができる。
〔ハードウエア構成〕
本実施形態のハードウエア構成は、第1実施形態と同様(例:図2および図4)である。本実施形態では、情報処理装置20のストレージデバイス204は、上述の画像補正部126の機能を実現するプログラムモジュールを更に記憶している。情報処理装置20のプロセッサ202がこのプログラムモジュールを実行することによって、上述の画像補正部126の機能が実現される。
以上、本実施形態では、車両間の距離に応じて、画像のボケを低減させる処理が実行される。これにより、被写体(第2車両および第2車両の乗員)が明確に写っている画像を用いて、乗員数を精度よくカウントすることできる。
[第5実施形態]
複数レーンを有する道路において、一部のレーンがHOVレーンやHOTレーンとして設定されている場合、第1車両V1が監視対象とするレーンの近傍を走ることによって、効率よく監視業務を行うことができる。そこで、本実施形態の乗員数検知システム1は、監視業務の対象レーン(例:HOVレーンやHOTレーン)の近傍に第1車両V1を誘導する構成を更に有する。
〔機能構成〕
図13は、第5実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。なお、図13は第1実施形態の構成をベースとしているが、その他の実施形態で説明した構成が更に含まれていてもよい。図13に示されるように、本実施形態の乗員数検知システム1は、対象レーン特定部140および誘導情報出力部150を含んで構成される。
対象レーン特定部140は、例えば次のようにして、乗員数のカウント処理の対象となる車両が走行する対象レーンを特定する。まず、対象レーン特定部140は、例えば、GPS(Global Positioning System、図示せず)などを用いて、第1車両V1の現在の位置情報を取得する。そして、対象レーン特定部140は、取得した第1車両V1の現在の位置情報を用いて、メモリ203やストレージデバイス204等に用意された地図情報を検索する。この地図情報は監視対象レーンの位置情報を含んでおり、対象レーン特定部140は、第1車両V1の現在の位置情報に基づいて、第1車両V1の現在位置の近くの対象レーンを特定することができる。
誘導情報出力部150は、対象レーン特定部140により特定された対象レーンの近傍のレーン(例えば、隣接するレーン)に、第1車両V1を誘導する情報(以下、“誘導情報”と表記)を出力する。誘導情報出力部150は、例えば、第1車両V1が走行すべきレーンを強調表示する画面をカーナビゲーション装置(図示せず)に表示させるための情報を、誘導情報として出力することができる。また、誘導情報出力部150は、例えば第1車両V1が走行すべきレーンを示すメッセージ(例えば、「中央レーンを走行してください。」等)をカーナビゲーション装置に表示または車載スピーカー(いずれも図示せず)から出力させるための情報を、誘導情報として出力することができる。第1車両V1を運転する人物は、カーナビゲーション装置やスピーカー装置などから出力される誘導情報に基づいて第1車両V1を運転して、対象レーンに隣接するレーンに第1車両V1を移動させることができる。また、誘導情報出力部150は、対象レーンに隣接するレーンを走行するように自動運転時の動作を制御するための情報を、第1車両V1の自動運転を制御する制御部(例えば、ECU(Electronic Control Unit)、図示せず)に出力することができる。ECUが誘導情報出力部150からの誘導情報に基づいて第1車両V1の動作を制御することにより、第1車両V1を対象レーンに隣接するレーンに導くことができる。
〔ハードウエア構成〕
本実施形態のハードウエア構成は、第1実施形態と同様(例:図2および図4)である。本実施形態では、情報処理装置20のストレージデバイス204は、上述の対象レーン特定部140および誘導情報出力部150の機能を実現するプログラムモジュールを更に記憶している。情報処理装置20のプロセッサ202がこれらのプログラムモジュールを実行することによって、上述の対象レーン特定部140および誘導情報出力部150の機能がそれぞれ実現される。
以上、本実施形態によれば、監視業務を行うために好ましいレーンに第1車両V1を誘導することができる。これにより、第1車両V1による監視業務の効率化が図れる。
[第6実施形態]
本実施形態の乗員数検知システム1は、以下の点を除き、上述の各実施形態と同様の機能構成を有する。
〔機能構成〕
図14は、第6実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。なお、図14は第1実施形態の構成をベースとしているが、その他の実施形態で説明した構成が更に含まれていてもよい。図14に示されるように、本実施形態の乗員数検知システム1は、車両認識部160を更に含んで構成される。本実施形態の乗員数検知システム1において、撮像装置30は、例えば監視カメラのように、常に撮影を繰り返しており、車両認識部160は、既知の物体認識アルゴリズムを用いて、撮像装置30が撮影した画像の中に車両が存在するか否かを判別する。車両認識部160は、撮像装置30が撮影した画像の中で車両が認識された場合、カウント部120に当該画像を用いて乗員数をカウントする処理を実行するよう指示を出す。カウント部120は、車両認識部160からの指示に応じて、上述したように、画像を用いて乗員数をカウントする処理を実行する。
〔ハードウエア構成〕
本実施形態のハードウエア構成は、第1実施形態と略同様(例:図2および図4)である。なお、本実施形態では、撮像装置30が常に撮影を繰り返しているため、撮像装置30の撮影動作のトリガを生成する車両検知用センサ40はなくてもよい。また、上述の車両認識部160の機能を実現するプログラムモジュールを更に記憶している。情報処理装置20のプロセッサ202が当該プログラムモジュールを実行することによって、上述の車両認識部160の機能が実現される。
〔動作例〕
図15を用いて、第6実施形態の乗員数検知システム1における処理の流れを説明する。図15は、第6実施形態の乗員数検知システム1における処理の流れを例示するフローチャートである。
画像取得部110は、常時撮影を行っている撮像装置30から画像を取得し(S202)、車両認識部160は、画像取得部110により取得された画像に車両と認識される物体が含まれているか否かの解析を行う(S204)。画像を解析した結果、当該画像の中で車両が認識された場合(S206:YES)、車両認識部160は、カウント部120に、画像取得部110で取得された画像を用いて乗員数のカウント処理を実行するように指示する(S208)。カウント部120は、車両認識部160からの指示に応じて、上述の各実施形態で説明したように、乗員数をカウントする処理を実行する。一方、画像を解析した結果、当該画像の中で車両が認識されなかった場合(S206:NO)、上述の処理はスキップされ、画像取得部110により新たに取得された次の画像に処理対象が移る。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
第1車両に搭載された撮像装置から、前記第1車両の周囲に存在する第2車両の画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像を用いて、前記第2車両の乗員数をカウントするカウント手段と、
を有する乗員数検知システム。
2.
前記画像取得手段は、前記第2車両を異なる方向から撮影することで得られる複数の画像を取得し、
前記カウント手段は、前記複数の画像を用いて前記第2車両の乗員数をカウントする、
1.に記載の乗員数検知システム。
3.
前記カウント手段は、
前記複数の画像の中から、予め定められた選択基準を満たす複数の処理対象画像を選択し、
前記複数の処理対象画像を用いて、前記第2車両の乗員数をカウントする、
2.に記載の乗員数検知システム。
4.
前記カウント手段は、一の前記処理対象画像に写る前記第2車両の特定部位と、他の前記処理対象画像に写る前記第2車両の特定部位とが所定の位置関係を満たすよう、前記複数の画像の中から、前記複数の処理対象画像を選択する、
3.に記載の乗員数検知システム。
5.
前記カウント手段は、前記複数の画像のうち、前記第2車両の少なくとも1つの特定部位が予め定められた少なくとも1つの選択基準領域に写っている画像を、前記処理対象画像として選択する、
3.または4.に記載の乗員数検知システム。
6.
前記選択基準は、前記第2車両が並走車両である場合と、前記第2車両が対向車両である場合とで異なっている、
3.乃至5.のいずれか1つに記載の乗員数検知システム。
7.
前記撮像装置の撮影時の設定は、前記第2車両が並走車両である場合と、前記第2車両が対向車両である場合とで異なっている、
1.乃至6に記載の乗員数検知システム。
8.
前記画像取得手段と前記カウント手段は、前記第1車両に備えられている、
1.乃至7.のいずれか1つに記載の乗員数検知システム。
9.
前記第1車両には、前記第2車両までの距離を測定する距離測定手段が更に備えられており、
前記カウント手段は、
前記距離測定手段により測定された前記第2車両までの距離および当該距離の変化を用いて算出される前記第1車両と前記第2車両との相対速度の少なくともいずれか一方に基づいて、前記画像の被写体のボケを低減させる補正処理を実行する、
1.乃至8.のいずれか1つに記載の乗員数検知システム。
10.
前記補正処理は、前記撮像装置の被写界深度に基づくボケ、又は、前記被写体のモーションブラーを低減させる処理を含む、
9.に記載の乗員数検知システム。
11.
前記第1車両には、前記第2車両が並走車両である場合に使用する第1の撮像装置と、前記第2車両が対向車両である場合に使用する第2の撮像装置と、が搭載されており、
前記第2の撮像装置の撮影方向は、前記第1の撮像装置の撮影方向よりも前記第1車両の進行方向に向けられている、
1.乃至10.のいずれか1つに記載の乗員数検知システム。
12.
前記画像取得手段は、前記第2車両の個体識別情報を含む他の画像を更に取得し、
前記カウント手段は、前記他の画像から前記第2車両の個体識別情報を取得して、カウントした前記第2車両の乗員数と紐付けて出力する、
1.乃至11.のいずれか1つに記載の乗員数検知システム。
13.
前記第1車両には、前記他の画像を撮影するための他の撮像装置が更に搭載されている、
12.に記載の乗員数検知システム。
14.
前記第1車両の位置情報に基づいて、乗員数のカウント処理の対象となる車両が走行する対象レーンを特定する対象レーン特定手段と、
前記対象レーン特定手段により特定された前記対象レーンに隣接するレーンに前記第1車両を誘導する誘導情報を出力する誘導情報出力手段と、を更に有する、
1.乃至13.のいずれか1つに記載の乗員数検知システム。
15.
コンピュータが、
第1車両に搭載された撮像装置から、前記第1車両の周囲に存在する第2車両の画像を取得し、
取得された前記画像を用いて、前記第2車両の乗員数をカウントする、
ことを含む、乗員数検知方法。
16.
前記コンピュータが、
前記第2車両を異なる方向から撮影することで得られる複数の画像を取得し、
前記複数の画像を用いて前記第2車両の乗員数をカウントする、
ことを含む15.に記載の乗員数検知方法。
17.
前記コンピュータが、
前記複数の画像の中から、予め定められた選択基準を満たす複数の処理対象画像を選択し、
前記複数の処理対象画像を用いて、前記第2車両の乗員数をカウントする、
ことを含む16.に記載の乗員数検知方法。
18.
前記コンピュータが、
一の前記処理対象画像に写る前記第2車両の特定部位と、他の前記処理対象画像に写る前記第2車両の特定部位とが所定の位置関係を満たすよう、前記複数の画像の中から、前記複数の処理対象画像を選択する、
ことを含む17.に記載の乗員数検知方法。
19.
前記コンピュータが、
前記複数の画像のうち、前記第2車両の少なくとも1つの特定部位が予め定められた少なくとも1つの選択基準領域に写っている画像を、前記処理対象画像として選択する、
ことを含む17.または18.に記載の乗員数検知方法。
20.
前記選択基準は、前記第2車両が並走車両である場合と、前記第2車両が対向車両である場合とで異なっている、
17.乃至19.のいずれか1つに記載の乗員数検知方法。
21.
前記撮像装置の撮影時の設定は、前記第2車両が並走車両である場合と、前記第2車両が対向車両である場合とで異なっている、
15.乃至20.のいずれか1つに記載の乗員数検知方法。
22.
前記コンピュータは、前記第1車両に備えられている、
15.乃至21.のいずれか1つに記載の乗員数検知方法。
23.
前記第1車両には、前記第2車両までの距離を測定する距離測定手段が更に備えられており、
前記コンピュータが、
前記距離測定手段により測定された前記第2車両までの距離および当該距離の変化を用いて算出される前記第1車両と前記第2車両との相対速度の少なくともいずれか一方に基づいて、前記画像の被写体のボケを低減させる補正処理を実行する、
ことを含む15.乃至22.のいずれか1つに記載の乗員数検知方法。
24.
前記補正処理は、前記撮像装置の被写界深度に基づくボケ、又は、前記被写体のモーションブラーを低減させる処理を含む、
23.に記載の乗員数検知方法。
25.
前記第1車両には、前記第2車両が並走車両である場合に使用する第1の撮像装置と、前記第2車両が対向車両である場合に使用する第2の撮像装置と、が搭載されており、
前記第2の撮像装置の撮影方向は、前記第1の撮像装置の撮影方向よりも前記第1車両の進行方向に向けられている、
15.乃至24.のいずれか1つに記載の乗員数検知方法。
26.
前記コンピュータが、
前記第2車両の個体識別情報を含む他の画像を更に取得し、
前記他の画像から前記第2車両の個体識別情報を取得して、カウントした前記第2車両の乗員数と紐付けて出力する、
ことを含む15.乃至25.のいずれか1つに記載の乗員数検知方法。
27.
前記第1車両には、前記他の画像を撮影するための他の撮像装置が更に搭載されている、
26.に記載の乗員数検知方法。
28.
前記コンピュータが、
前記第1車両の位置情報に基づいて、乗員数のカウント処理の対象となる車両が走行する対象レーンを特定し、
特定された前記対象レーンに隣接するレーンに前記第1車両を誘導する誘導情報を出力する、
ことを含む15.乃至27.のいずれか1つに記載の乗員数検知方法。
29.
15.乃至28.のいずれか1つに記載の乗員数検知方法をコンピュータに実行させるプログラム。
この出願は、2017年7月25日に出願された日本出願特願2017−143923号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (29)

  1. 第1車両に搭載された撮像装置から、前記第1車両の周囲に存在する第2車両の画像を取得する画像取得手段と、
    前記画像取得手段により取得された前記画像を用いて、前記第2車両の乗員数をカウントするカウント手段と、
    を有する乗員数検知システム。
  2. 前記画像取得手段は、前記第2車両を異なる方向から撮影することで得られる複数の画像を取得し、
    前記カウント手段は、前記複数の画像を用いて前記第2車両の乗員数をカウントする、
    請求項1に記載の乗員数検知システム。
  3. 前記カウント手段は、
    前記複数の画像の中から、予め定められた選択基準を満たす複数の処理対象画像を選択し、
    前記複数の処理対象画像を用いて、前記第2車両の乗員数をカウントする、
    請求項2に記載の乗員数検知システム。
  4. 前記カウント手段は、一の前記処理対象画像に写る前記第2車両の特定部位と、他の前記処理対象画像に写る前記第2車両の特定部位とが所定の位置関係を満たすよう、前記複数の画像の中から、前記複数の処理対象画像を選択する、
    請求項3に記載の乗員数検知システム。
  5. 前記カウント手段は、前記複数の画像のうち、前記第2車両の少なくとも1つの特定部位が予め定められた少なくとも1つの選択基準領域に写っている画像を、前記処理対象画像として選択する、
    請求項3または4に記載の乗員数検知システム。
  6. 前記選択基準は、前記第2車両が並走車両である場合と、前記第2車両が対向車両である場合とで異なっている、
    請求項3乃至5のいずれか1項に記載の乗員数検知システム。
  7. 前記撮像装置の撮影時の設定は、前記第2車両が並走車両である場合と、前記第2車両が対向車両である場合とで異なっている、
    請求項1乃至6に記載の乗員数検知システム。
  8. 前記画像取得手段と前記カウント手段は、前記第1車両に備えられている、
    請求項1乃至7のいずれか1項に記載の乗員数検知システム。
  9. 前記第1車両には、前記第2車両までの距離を測定する距離測定手段が更に備えられており、
    前記カウント手段は、
    前記距離測定手段により測定された前記第2車両までの距離および当該距離の変化を用いて算出される前記第1車両と前記第2車両との相対速度の少なくともいずれか一方に基づいて、前記画像の被写体のボケを低減させる補正処理を実行する、
    請求項1乃至8のいずれか1項に記載の乗員数検知システム。
  10. 前記補正処理は、前記撮像装置の被写界深度に基づくボケ、又は、前記被写体のモーションブラーを低減させる処理を含む、
    請求項9に記載の乗員数検知システム。
  11. 前記第1車両には、前記第2車両が並走車両である場合に使用する第1の撮像装置と、前記第2車両が対向車両である場合に使用する第2の撮像装置と、が搭載されており、
    前記第2の撮像装置の撮影方向は、前記第1の撮像装置の撮影方向よりも前記第1車両の進行方向に向けられている、
    請求項1乃至10のいずれか1項に記載の乗員数検知システム。
  12. 前記画像取得手段は、前記第2車両の個体識別情報を含む他の画像を更に取得し、
    前記カウント手段は、前記他の画像から前記第2車両の個体識別情報を取得して、カウントした前記第2車両の乗員数と紐付けて出力する、
    請求項1乃至11のいずれか1項に記載の乗員数検知システム。
  13. 前記第1車両には、前記他の画像を撮影するための他の撮像装置が更に搭載されている、
    請求項12に記載の乗員数検知システム。
  14. 前記第1車両の位置情報に基づいて、乗員数のカウント処理の対象となる車両が走行する対象レーンを特定する対象レーン特定手段と、
    前記対象レーン特定手段により特定された前記対象レーンに隣接するレーンに前記第1車両を誘導する誘導情報を出力する誘導情報出力手段と、を更に有する、
    請求項1乃至13のいずれか1項に記載の乗員数検知システム。
  15. コンピュータが、
    第1車両に搭載された撮像装置から、前記第1車両の周囲に存在する第2車両の画像を取得し、
    取得された前記画像を用いて、前記第2車両の乗員数をカウントする、
    ことを含む、乗員数検知方法。
  16. 前記コンピュータが、
    前記第2車両を異なる方向から撮影することで得られる複数の画像を取得し、
    前記複数の画像を用いて前記第2車両の乗員数をカウントする、
    ことを含む請求項15に記載の乗員数検知方法。
  17. 前記コンピュータが、
    前記複数の画像の中から、予め定められた選択基準を満たす複数の処理対象画像を選択し、
    前記複数の処理対象画像を用いて、前記第2車両の乗員数をカウントする、
    ことを含む請求項16に記載の乗員数検知方法。
  18. 前記コンピュータが、
    一の前記処理対象画像に写る前記第2車両の特定部位と、他の前記処理対象画像に写る前記第2車両の特定部位とが所定の位置関係を満たすよう、前記複数の画像の中から、前記複数の処理対象画像を選択する、
    ことを含む請求項17に記載の乗員数検知方法。
  19. 前記コンピュータが、
    前記複数の画像のうち、前記第2車両の少なくとも1つの特定部位が予め定められた少なくとも1つの選択基準領域に写っている画像を、前記処理対象画像として選択する、
    ことを含む請求項17または18に記載の乗員数検知方法。
  20. 前記選択基準は、前記第2車両が並走車両である場合と、前記第2車両が対向車両である場合とで異なっている、
    請求項17乃至19のいずれか1項に記載の乗員数検知方法。
  21. 前記撮像装置の撮影時の設定は、前記第2車両が並走車両である場合と、前記第2車両が対向車両である場合とで異なっている、
    請求項15乃至20のいずれか1項に記載の乗員数検知方法。
  22. 前記コンピュータは、前記第1車両に備えられている、
    請求項15乃至21のいずれか1項に記載の乗員数検知方法。
  23. 前記第1車両には、前記第2車両までの距離を測定する距離測定手段が更に備えられており、
    前記コンピュータが、
    前記距離測定手段により測定された前記第2車両までの距離および当該距離の変化を用いて算出される前記第1車両と前記第2車両との相対速度の少なくともいずれか一方に基づいて、前記画像の被写体のボケを低減させる補正処理を実行する、
    ことを含む請求項15乃至22のいずれか1項に記載の乗員数検知方法。
  24. 前記補正処理は、前記撮像装置の被写界深度に基づくボケ、又は、前記被写体のモーションブラーを低減させる処理を含む、
    請求項23に記載の乗員数検知方法。
  25. 前記第1車両には、前記第2車両が並走車両である場合に使用する第1の撮像装置と、前記第2車両が対向車両である場合に使用する第2の撮像装置と、が搭載されており、
    前記第2の撮像装置の撮影方向は、前記第1の撮像装置の撮影方向よりも前記第1車両の進行方向に向けられている、
    請求項15乃至24のいずれか1項に記載の乗員数検知方法。
  26. 前記コンピュータが、
    前記第2車両の個体識別情報を含む他の画像を更に取得し、
    前記他の画像から前記第2車両の個体識別情報を取得して、カウントした前記第2車両の乗員数と紐付けて出力する、
    ことを含む請求項15乃至25のいずれか1項に記載の乗員数検知方法。
  27. 前記第1車両には、前記他の画像を撮影するための他の撮像装置が更に搭載されている、
    請求項26に記載の乗員数検知方法。
  28. 前記コンピュータが、
    前記第1車両の位置情報に基づいて、乗員数のカウント処理の対象となる車両が走行する対象レーンを特定し、
    特定された前記対象レーンに隣接するレーンに前記第1車両を誘導する誘導情報を出力する、
    ことを含む請求項15乃至27のいずれか1項に記載の乗員数検知方法。
  29. 請求項15乃至28のいずれか1項に記載の乗員数検知方法をコンピュータに実行させるプログラム。
JP2019532353A 2017-07-25 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム Active JP6820075B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017143923 2017-07-25
JP2017143923 2017-07-25
PCT/JP2017/038640 WO2019021500A1 (ja) 2017-07-25 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019021500A1 true JPWO2019021500A1 (ja) 2020-07-16
JP6820075B2 JP6820075B2 (ja) 2021-01-27

Family

ID=65040472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019532353A Active JP6820075B2 (ja) 2017-07-25 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム

Country Status (3)

Country Link
US (1) US11403865B2 (ja)
JP (1) JP6820075B2 (ja)
WO (1) WO2019021500A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130562A1 (ja) * 2017-12-28 2019-07-04 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
CN108600716A (zh) * 2018-05-17 2018-09-28 京东方科技集团股份有限公司 投影设备和系统、投影方法
CN112270206B (zh) * 2020-09-25 2022-09-13 桂林理工大学 车辆检测计数方法、系统、储存介质及计算机设备
WO2022097260A1 (ja) * 2020-11-06 2022-05-12 日本電気株式会社 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ読み取り可能な記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005186878A (ja) * 2003-12-26 2005-07-14 Calsonic Kansei Corp 車両用乗員検出システム
WO2014061195A1 (ja) * 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769513B2 (en) 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
JP5591613B2 (ja) * 2010-07-27 2014-09-17 株式会社小糸製作所 車両検出装置
US8587657B2 (en) * 2011-04-13 2013-11-19 Xerox Corporation Determining a number of objects in an IR image
JP2012226392A (ja) * 2011-04-14 2012-11-15 Honda Elesys Co Ltd 運転支援システム
US8811664B2 (en) * 2011-12-06 2014-08-19 Xerox Corporation Vehicle occupancy detection via single band infrared imaging
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
CN105452954B (zh) * 2013-07-23 2019-09-06 索尼公司 成像装置
US9934442B2 (en) * 2013-10-09 2018-04-03 Nec Corporation Passenger counting device, passenger counting method, and program recording medium
JP6364797B2 (ja) * 2014-02-06 2018-08-01 株式会社デンソー 画像解析装置、および画像解析方法
JP6404922B2 (ja) * 2014-06-19 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及びそれを用いた車両走行制御装置
US10025996B2 (en) * 2014-12-22 2018-07-17 Volkswagen Ag Early detection of exit only and shared lanes using perception technology
KR102368812B1 (ko) * 2015-06-29 2022-02-28 엘지전자 주식회사 차량 운전 보조 방법 및 차량
EP3318455B1 (en) * 2015-06-30 2021-04-07 Koito Manufacturing Co., Ltd. Foreign material removing device and vehicle provided with this foreign material removing device
JP6132412B2 (ja) * 2015-09-24 2017-05-24 株式会社Subaru 車外環境認識装置
JP6834964B2 (ja) * 2015-09-30 2021-02-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US10217363B2 (en) * 2015-10-29 2019-02-26 Faraday&Future Inc. Methods and systems for electronically assisted lane entrance
JP6514624B2 (ja) * 2015-11-02 2019-05-15 クラリオン株式会社 障害物検知装置
US10853882B1 (en) * 2016-02-26 2020-12-01 State Farm Mutual Automobile Insurance Company Method and system for analyzing liability after a vehicle crash using video taken from the scene of the crash
JP6607308B2 (ja) * 2016-03-17 2019-11-27 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム
WO2017158647A1 (ja) * 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
US10086763B2 (en) * 2016-07-19 2018-10-02 GM Global Technology Operations LLC System and method for enhancing vehicle environment perception
US10589679B1 (en) * 2016-10-28 2020-03-17 Zoox, Inc. Providing visual references to prevent motion sickness in vehicles
CN109890662B (zh) * 2016-11-11 2022-03-15 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储介质
JP6744269B2 (ja) * 2017-09-06 2020-08-19 本田技研工業株式会社 運転支援装置および運転支援方法
US11507777B2 (en) * 2020-05-13 2022-11-22 Adobe Inc. Labeling techniques for a modified panoptic labeling neural network
JP6903196B1 (ja) * 2020-05-25 2021-07-14 三菱電機株式会社 路面領域検出装置、路面領域検出システム、車両および路面領域検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005186878A (ja) * 2003-12-26 2005-07-14 Calsonic Kansei Corp 車両用乗員検出システム
WO2014061195A1 (ja) * 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム

Also Published As

Publication number Publication date
JP6820075B2 (ja) 2021-01-27
US20200250411A1 (en) 2020-08-06
WO2019021500A1 (ja) 2019-01-31
US11403865B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
JP6820075B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
EP2544449B1 (en) Vehicle perimeter monitoring device
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
JP5482737B2 (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP6820074B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
US20210334555A1 (en) Method and apparatus for tracking an at least partially occluded object, vehicle and computer-program product thereof
JP4528283B2 (ja) 車両周辺監視装置
JP2017062638A (ja) 画像認識処理装置、及びプログラム
US20180208201A1 (en) System and method for a full lane change aid system with augmented reality technology
JP6375816B2 (ja) 車両用周辺情報表示システム及び表示装置
CN107004250B (zh) 图像生成装置及图像生成方法
JP2017220178A (ja) 物体検出装置、及び物体検出方法
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
JP2016111509A (ja) 車両用画像処理装置、車両用画像処理方法およびプログラム
KR101210615B1 (ko) 불법유턴 차량 단속 시스템
JPH1062162A (ja) 障害物検出装置
JP2012153256A (ja) 画像処理装置
JP2013061597A (ja) 車両用危険場面再現装置
DE102019109491A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
JP2017212633A (ja) 撮像装置、撮像表示方法および撮像表示プログラム
JP2005300342A (ja) 道路情報表示制御装置
KR102448164B1 (ko) 차량용 레이더 제어 장치 및 방법
KR102051324B1 (ko) 서라운드 뷰 모니터링 시스템
JP2004334784A (ja) 確認動作検出装置及び警報システム
JP2019185357A (ja) 画像表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201224

R150 Certificate of patent or registration of utility model

Ref document number: 6820075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150