JPWO2019016971A1 - 乗員数検知システム、乗員数検知方法、およびプログラム - Google Patents

乗員数検知システム、乗員数検知方法、およびプログラム Download PDF

Info

Publication number
JPWO2019016971A1
JPWO2019016971A1 JP2019530354A JP2019530354A JPWO2019016971A1 JP WO2019016971 A1 JPWO2019016971 A1 JP WO2019016971A1 JP 2019530354 A JP2019530354 A JP 2019530354A JP 2019530354 A JP2019530354 A JP 2019530354A JP WO2019016971 A1 JPWO2019016971 A1 JP WO2019016971A1
Authority
JP
Japan
Prior art keywords
image
vehicle
distance
lanes
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019530354A
Other languages
English (en)
Other versions
JP6820074B2 (ja
Inventor
晴之 林
晴之 林
道彦 遊佐
道彦 遊佐
中島 昇
昇 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
NEC Solution Innovators Ltd
Original Assignee
NEC Corp
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC Solution Innovators Ltd filed Critical NEC Corp
Publication of JPWO2019016971A1 publication Critical patent/JPWO2019016971A1/ja
Application granted granted Critical
Publication of JP6820074B2 publication Critical patent/JP6820074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431Frequency domain transformation; Autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

乗員数検知システム(1)は、複数のレーンを有する道路を走行する車両を撮像する撮像部(110)により生成された画像に対して、車両が走行する位置に応じたパラメータを用いて当該画像に写る被写体のボケを低減する補正処理を実行することにより、画像に基づく補正画像を生成する画像補正部(120)と、画像補正部(120)により生成された補正画像を用いて車両の乗員数をカウントするカウント部(130)と、を備える。

Description

本発明は、車両の乗員数を把握する技術に関する。
車両の乗員数を把握したいというニーズがある。例えば、欧米では、HOV(High-Occupancy Vehicle)レーンやHOT(High-Occupancy Toll)レーンといった、登場人数が一定数以上の車両が優遇される専用レーンがあり、このようなレーンを走行する車両の乗員数を把握したいというニーズがある。
上記ニーズに対し、例えば、下記特許文献に記載されるような技術がある。下記特許文献1および特許文献2には、道路の脇に設置した撮像装置によって車両を被写体として含む画像を取得し、当該画像を解析することによって、車両の乗員数を検知する技術が開示されている。
国際公開第2014/064898号 国際公開第2014/061195号
従来のシステムでは、複数のレーンを有する道路で車両の乗員を検知するためには、個々のレーン専用のカメラを設置する必要がある。しかしながら、機器の設置スペースといった設置環境の制約やシステム導入コストの観点から、1台のカメラで複数のレーンをカバーする技術が望まれる。しかし、1台のカメラで複数のレーンをカバーしようとした場合、複数のレーンの一部または全部に対してカメラのフォーカスが合わせられず、被写体(車両および当該車両の乗員)の輪郭がぼやけてしまい、乗員数を正確に検知できないという問題がある。
本発明の目的は、1台のカメラが複数のレーンを対象として撮影した画像を用いて車両の乗員数を検知することを可能とする技術を提供することにある。
本発明によれば、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
を備える乗員数検知システムが提供される。
本発明によれば、
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
前記補正画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法が提供される。
本発明によれば、コンピュータに、上述の乗員数検知方法を実行させるプログラムが提供される。
本発明によれば、1台のカメラが複数のレーンを対象として撮影した画像を用いて車両の乗員数を検知することが可能となる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第1実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 乗員数検知システムのシステム構成を概念的に示す図である。 乗員数検知システムのハードウエア構成を簡略的に示した図であり、は情報処理装置のハードウエア構成を概念的に示すブロック図である。 第1実施形態の乗員数検知システムにおける処理の流れを例示するフローチャートである。 画像補正部が補正処理用のパラメータを決定する際に使用するテーブルの一例を示す図である。 カウント部による乗員数のカウント結果を出力する画面の一例を示す図である。 第1具体例の構成を概念的に示す図である。 第2具体例の構成を概念的に示す図である。 画像補正部より生成された補正画像に設定される車両座標系の一例を示す図である 第2実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 第1実施形態の乗員数検知システムにおける処理の流れを例示するフローチャートである。 第1実施形態の乗員数検知システムにおける処理の流れを例示するフローチャートである。 時間帯とフォーカスを合わせるべきレーンとを対応付けて記憶するテーブルの一例を示す図である。 乗員数検知システムの他のシステム構成を概念的に示す図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[第1実施形態]
〔機能構成〕
図1は、第1実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。図1に示されるように、乗員数検知システム1は、撮像部110、画像補正部120、およびカウント部130を含んで構成される。
撮像部110は、カメラ等の撮像装置である。撮像部110は、複数のレーンを有する道路を走行する車両を撮像し、当該車両および車両の乗員を被写体として含む画像を生成する。撮像部110は、例えば、図示しない車両検知用のセンサと連動することにより、車両を撮像範囲に含めることができる。また、撮像部110は、車両の乗員数を正確に把握可能とするために、所定のフレームレートで連続的に車両を撮像して複数枚の画像を生成するように構成されていてもよい。
画像補正部120は、撮像部110により生成された画像を取得する。そして、画像補正部120は、撮像部110により生成された画像に対して、画像に写る被写体のボケを低減する補正処理を実行し、当該画像に基づく補正画像を生成する。この補正処理は、所謂ボケ補正(Deblur)技術を用いた処理であり、例えば、以下の文献[1]および[2]等に開示される技術を利用して実現可能である。下記文献等に開示される技術を用いることにより、画像補正部120は、例えば、ピントのずれによる被写体のボケや当該被写体のモーションブラー(車両の進行方向のブレ)を補正することができる。
[1] TSUMURAYA, F., MIURA, N., AND BABA, N. 1994. Iterative blind deconvolution method using Lucy's algorithm. Astron. Astrophys. 282, 2 (Feb), 699-708.
[2] Hradis Michal, Kotera Jan, Zemcik Pavel and Sroubek Filip, Convolutional Neural Networks for Direct Text Deblurring, Proceedings of BMVC 2015, Swansea, The British Machine Vision Association and Society for Pattern Recognition, 2015, ISBN 1-901725-53-7.
また、補正処理は、画像の被写体である車両が走行する位置に応じたパラメータを用いて実行される。このパラメータによって、画像に対する補正のかかり具合が決定される。
カウント部130は、画像補正部120により生成された補正画像を用いて、当該補正画像の被写体である車両の乗員数をカウントする。カウント部130は、例えば、上記特許文献1または特許文献2に開示される技術を利用して、車両を被写体として含む画像を基に、当該車両の乗員数をカウントすることができる。画像補正部120とカウント部130とを合わせて画像処理部と呼ぶこともできる。
以上、本発明に係る乗員数検知システム1は、レーン毎にカメラ等の撮像部110を設けていない。この場合、複数のレーンのうちの一部または全部のレーンにおいて、走行中の被写体(車両および乗員)に対して撮像部110のフォーカスが合わず、被写体がボケた状態の画像が出来上がってしまう可能性がある。そこで、本実施形態で説明したように、車両が走行している位置に応じたパラメータを用いて、被写体のボケを低減する補正処理が実行される。これにより、撮像部110のフォーカス距離から離れることによってボケてしまった被写体が明確になる。なお、被写体のボケを低減する補正処理について、例えば個人認証に利用できるほどの高精度な処理は必ずしも必要ではなく、人物(例えば人物の顔部分)とそれ以外の領域を判別できる程度の精度が担保されれば十分である。そして、このように補正された画像を用いて、当該画像に被写体として含まれる車両の乗員数のカウント処理が実行される。このような構成により、1台の撮像装置で複数のレーンを対象として、車両の乗員数を検知することが可能となる。また、システムで必要となる撮像装置の個数を減らし、設置環境の制約(例えば、土地の広さ等)を緩和する効果、及び、システムに必要なコストを低減させる効果も見込める。
以下、第1実施形態をより詳細に説明する。
〔ハードウエア構成〕
乗員数検知システム1の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、乗員数検知システム1の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図2は、乗員数検知システム1のシステム構成を概念的に示す図である。図2に示されるように、乗員数検知システム1は、情報処理装置20、撮像装置30、車両検知用センサ40、および、投光器50を含んで構成される。また、情報処理装置20には、カウント部130による乗員数のカウント結果を表示するためのディスプレイ装置22が接続されている。
撮像装置30は、乗員数検知システム1の撮像部110に相当する。撮像装置30は、ネットワークを介して情報処理装置20と接続されている。なお図示していないが、それぞれ異なる場所に設置された複数の撮像装置30が情報処理装置20に接続され得る。
車両検知用センサ40は、撮像装置30の前方を通過しようとする車両Vを検知するため(画像を撮るタイミングを計るため)のセンサである。車両検知用センサ40は、撮像装置30とは別に設けられていてもよいし、撮像装置30に組み込まれていてもよい。
投光器50は、車両内の人物を鮮明に撮影するために設けられる。投光器50は、撮像装置30とは別に設けられていてもよいし、撮像装置30に組み込まれていてもよい。投光器50は、撮像装置30の撮像タイミングに連動して、被写体である車両Vに光(例えば、赤外線など)を照射する。乗員数検知システム1において、複数のレーンで共通の投光器50が1つ備えられていてもよいし、複数のレーンそれぞれに専用の投光器50が備えられていてもよい。後者の場合、車両検知用センサ40によって車両Vが検知されたことに応じて全ての投光器50が光を照射するように制御されてもよいし、車両検知用センサ40によって測定された車両Vまでの距離に対応するレーンの投光器50が光を照射するように制御されてもよい。
図3は、情報処理装置20のハードウエア構成を概念的に示すブロック図である。情報処理装置20は、バス201、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206を含んで構成される。
バス201は、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206などを互いに接続する方法は、バス接続に限定されない。
プロセッサ202は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの演算装置である。メモリ203は、RAM(Random Access Memory)やROM(Read Only Memory)などを用いて実現される主記憶装置である。ストレージデバイス204は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカードなどを用いて実現される補助記憶装置である。
ストレージデバイス204は、画像補正部120およびカウント部130を実現するプログラムモジュール、並びに、撮像装置30で生成された画像を取得する機能を実現するプログラムモジュールを記憶している。プロセッサ202は、これら各プログラムモジュールをメモリ203に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
入出力インタフェース205は、情報処理装置20と周辺機器とを接続するためのインタフェースである。例えば、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイといった表示出力用のデバイス(ディスプレイ装置22)や、キーボードやマウスといった入力用のデバイス、または、これらが一体となったタッチパネルなどが、入出力インタフェース205を介して情報処理装置20に接続され得る。
ネットワークインタフェース206は、情報処理装置20をLAN(Local Area Network)やWAN(Wide Area Network)などの各種ネットワークに接続するためのインタフェースである。図2に示されるように、情報処理装置20は、ネットワークインタフェース206を介してネットワークに接続して、撮像装置30や図示しない他の端末と通信することができる。例えば、情報処理装置20は、ネットワークインタフェース206を介して撮像装置30と通信し、撮像装置30で生成された画像を取得することができる。またこの場合において、情報処理装置20は、ネットワークインタフェース206を介して管理者用の情報処理装置(図示せず)と通信可能に接続される。そして、カウント部130による乗員数の検知結果が当該管理者用の情報処理装置(図示せず)に送信される。なお、情報処理装置20が各種ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
なお、図2および図3の構成はあくまで一例であり、本発明のハードウエア構成は図2および図3の例に限定されない。例えば、情報処理装置20と撮像装置30は一体化されていてもよい。
〔動作例〕
図4を用いて、第1実施形態の乗員数検知システム1における処理の流れを説明する。図4は、第1実施形態の乗員数検知システム1における処理の流れを例示するフローチャートである。
まず、撮像部110が、道路を走行する車両を撮像し、当該車両を被写体として含む画像を生成する(S102)。なお、撮像部110は、例えば、車両検知用センサ40からの出力信号に基づいて、撮像部110の前方を通過しようとする車両の存在を検知して、画像を撮るタイミングを判断することができる。
次いで、画像補正部120は、S102の処理で生成された画像に対する補正処理で用いるパラメータを決定する(S104)。
画像補正部120は、例えば、車両までの距離を測定する距離測定手段(図示せず)からの出力信号(車両までの距離を示す情報)に基づいて、画像に被写体として含まれている車両が走行しているレーンを特定し、補正処理に使うパラメータを決定することができる。この場合、画像補正部120は、車両検知用センサ40を上述の距離測定手段として用いてもよい。また、車両検知用センサ40とは別に車両までの距離を測る距離センサなどを距離測定手段として設け、画像補正部120は、当該距離センサからの出力信号を用いて、車両が走行しているレーンを特定してもよい。特に限定されないが、一例として、画像補正部120は、距離測定手段により測定した距離を基に図5に示すようなテーブルを参照することにより車両が走行しているレーンを特定し、補正処理に使うパラメータを決定することができる。
図5は、画像補正部120が補正処理用のパラメータを決定する際に使用するテーブルの一例を示す図である。図5では、車両までの距離と、複数のレーンの各々を示す情報(レーン識別情報)と、補正処理用パラメータとを、互いに関連付けて記憶するテーブルが例示されている。なお、図5の例において、「車両までの距離」そのものをレーン識別情報の代わりに使用することもできる。この場合、図5に例示される「レーン識別情報」はなくてもよい。画像補正部120は、距離測定手段から取得した情報が示す車両までの距離を基にテーブルの中から該当する行を特定し、当該行に格納されている補正処理用パラメータを読み出すことができる。具体的な例として、距離測定手段から取得した情報が示す車両までの距離がd以上d未満である場合、画像補正部120は、車両が走行しているレーンを「中央レーン」と特定して、「中央レーン」に関連付けられた補正処理用パラメータを読み出すことができる。
その他にも、画像補正部120は、車両が走行しているレーンを特定することなく、距離測定手段によって測定された車両までの距離に応じてパラメータを決定してもよい。この場合、画像補正部120は、距離測定手段から車両までの距離を示す情報を取得し、距離を引数としてパラメータを算出する関数や、対応するパラメータを距離別に定義する記憶するテーブルなどを用いて、距離測定手段から取得した情報が示す距離に応じたパラメータを決定することができる。
また、画像補正部120は、撮像部110により生成された画像を解析することによって、当該画像のボケ具合を判別し、その画像のボケ具合に応じたパラメータを決定することもできる。例えば、画像補正部120は、画像の空間周波数の情報を解析によって取得し、それらの情報に基づいて補正用のパラメータを決定することができる。特に限定されないが、画像補正部120は、例えば、点広がり関数(Point Spread Function)といった画像のボケの性質を表わすボケ関数が既知の場合に、当該画像のボケ関数をフーリエ変換によって空間周波数成分に分解して、下記の式に示すような、ボケ低減用のウィナーフィルタを導出することができる。
Figure 2019016971
なお、上記の式において、Hは画像のボケ関数のフーリエ変換を示し、Hは当該フーリエ変換Hの複素共役を示し、Γは画像信号のSN(Signal to Noise)比によって決まる定数を示す。なお、上記の式は、例えば、メモリ203やストレージデバイス204といった所定の記憶領域に記憶されており、画像補正部120は当該記憶領域から式を読み出してパラメータを決定することができる。
その他にも、画像補正部120は、自己相関関数を用いて算出される前記被写体のブレを示す情報を、画像のボケ具合を示す情報として取得し、補正処理用のパラメータを決定することができる。この場合、画像補正部120は、自己相関関数を用いて算出可能な画像内の物体のブレの方向と量を代入することで当該ブレを打ち消すパラメータを導出する所定の関数を用いて、補正用のパラメータを決定することができる。なお、上述の関数は、例えば、メモリ203やストレージデバイス204といった所定の記憶領域に記憶されており、画像補正部120は当該記憶領域から関数を読み出してパラメータを決定することができる。
ここで、S102で取得された画像に複数の車両が被写体として含まれている場合、画像補正部120は、それぞれの車両について上述したような方法を用い、それぞれの車両の位置に応じた補正処理用のパラメータを決定することができる。例えば、それぞれ異なるレーンを走行している2台の車両(第1の車両および第2の車両)を被写体として含む画像が撮像部110で生成されたとする。この場合、画像補正部120は、各車両が走行しているレーンや位置、又は、各車両のボケ具合に応じた、互いに異なる複数のパラメータを補正処理に使うパラメータとして決定することができる。具体的には、画像補正部120は、第1の車両が走行する位置に基づいて、第1の車両のボケを低減するための第1のパラメータを決定すると共に、第2の車両が走行する位置に基づいて、第2の車両のボケを低減するための第2のパラメータを決定する。また、それぞれ異なるレーンを走行している3台以上の車両が画像に写っている場合、画像補正部120は、3つ以上のパラメータを決定することができる。なお、特に限定されないが、画像補正部120は、画像上の物体(車両)を認識する既知の画像処理アルゴリズム、及び、該車両の画像特徴量(例えば、画像上の大きさなど)から実空間上の車両の位置(走行レーン)を推定する既知の画像処理アルゴリズムを用いて、それぞれ異なるレーンを走行する複数台の車両が画像に含まれていることを判断することができる。その他にも、画像補正部120は、車両検知用センサ40が複数の車両を検知したタイミングと、撮像装置30(撮像部110)による撮影のタイミング並びに撮像装置30の撮像範囲とを比較することによって、その撮影によって生成される画像に複数台の車両が含まれるか否かを判別することができる。
そして、画像補正部120は、S104の処理で決定したパラメータを用いて、S102の処理で生成された画像に対して、被写体のボケを低減する補正処理を実行する(S106)。ここで、S104で異なる複数のパラメータが決定されている場合、画像補正部120は、それぞれのパラメータを用いてS102で取得した画像に対して補正処理を実行し、それぞれのパラメータによって補正された複数の画像を生成する。例えば、S102の処理で、それぞれ異なるレーンを走行している2台の車両(第1の車両および第2の車両)を被写体として含む画像が取得されたとする。この場合、画像補正部120は、一上述の第1のパラメータ及び第2のパラメータをそれぞれ用いて補正処理を行う。これにより、S102の処理で取得された画像を基とした、2つの補正画像(第1の補正画像および第2の補正画像)が生成される。なお、それぞれ異なるレーンを走行している3台以上の車両が画像に写っている場合、画像補正部120は、3つ以上のパラメータを用いて3つ以上の補正画像を生成することができる。
そして、カウント部130は、S106の処理で生成された補正画像を処理して、車両の乗員数をカウントする(S108)。ここで、カウント部130は、S106で複数の補正画像が生成されている場合、複数の補正画像をそれぞれ処理して、車両の乗員数をカウントする。例えば、S106の処理において、上述したように、それぞれ異なるレーンを走行している2台の車両(第1の車両および第2の車両)を被写体として含む画像が取得され、第1の車両のボケを低減した第1の補正画像と、第2の車両のボケを低減した第2の補正画像が生成されたとする。この場合、カウント部130は、第1の補正画像を用いて第1の車両の乗員数をカウントすると共に、第2の補正画像を用いて第2の車両の乗員数をカウントすることができる。なお、それぞれ異なるレーンを走行している3台以上の車両が画像に写っている場合、画像補正部120は、3つ以上の補正画像をそれぞれ用いて、各車両の乗員数をそれぞれカウントすることができる。
そして、カウント部130は、車両の乗員数をカウントした結果を出力する(S110)。例えば、カウント部130は、情報処理装置20に接続されたディスプレイ装置22上に図6に示されるような画面を表示することができる。
図6は、カウント部130による乗員数のカウント結果を出力する画面の一例を示す図である。図6では、車両のナンバープレートの番号と共に、カウント部130でカウントされた車両の乗員数を表示する画面が例示されている。なお、車両のナンバープレートの番号は、撮像部110または図示しない別の撮像装置によって撮像された、車両のナンバープレートが写っている画像を解析することによって、テキスト情報などとして取得することができる。
ここで、カウント部130は、ある車両が走行しているレーンがHOVレーンやHOTレーンであって、その車両の乗員数が規定人数未満である場合、当該車両の乗員数の情報に、乗員数が規定人数未満であることを示す特定の付加情報を含めてよい。カウント部130は、例えば、メモリ203に予め格納されて規定人数に関する情報と、画像を基にカウントした車両の乗員数とを比較することで、車両の乗員数が規定人数以上であるか否かを判別することができる。そして、情報処理装置20は、例えば、付加情報の有無に従って図6に示すような所定のマークMを付与して、乗員数が規定未満である車両に関する情報がその他の車両に関する情報と区別して表示するように構成されていてもよい。その他にも、情報処理装置20は、付加情報の有無に従って文字色や背景色などを変えることによって、乗員数が規定未満である車両に関する情報を、その他の車両に関する情報と区別して表示することができる。このような画面によれば、管理者は、HOVレーンやHOTレーンを規定人数未満の乗員数で走行している車両の存在を容易に把握できる。その他にも、カウント部130から出力される乗員数のカウント結果に付加情報が付与されている場合、情報処理装置20が、画面の表示を更新すると共に所定のブザー音を出力するように構成されていてもよい。これにより、情報処理装置20を操作する人物が、規定人数未満の乗員数でHOVレーンやHOTレーンを走行している車両の存在に気づき易くなる。
〔具体例〕
以下、本実施形態の乗員数検知システム1の具体的な具体例を説明する。
<第1具体例>
複数のレーンを有する道路において、撮像部110のフォーカス距離を複数のレーンの中央部分(例えば、レーンの数が偶数であれば車線境界部分、レーンの数が奇数であれば中央に位置するレーン)に対応する距離に固定すれば、画像に写る車両のボケ量の最大値が抑制されるため、全体的なボケ補正処理の処理量を低減させることが可能となる。本具体例では、説明を簡潔にするため、2つのレーンを有する道路において、撮像部110のフォーカスが当該2つのレーンの中央部分(例えば、車線境界線)に固定されているケースについて例示的に説明する。図7は、第1具体例の構成を概念的に示す図である。図7中の斜線領域は、撮像装置30(撮像部110)のフォーカス距離(被写界深度DOF)を示す。被写界深度DOFの範囲外に位置する被写体はぼやけた状態で撮像されることになる。
本具体例では、例えば、2つのレーンそれぞれについて最適化された、補正処理用の2つのパラメータが、メモリ203に予め用意される。2つのレーンそれぞれに対応する補正処理用のパラメータは、例えば、各レーンでの平均的な車両の走行位置と、撮像部110のフォーカス距離との差分に基づいて決定することができる。具体的には、撮像部110の位置を基準として奥側のレーンのパラメータは、被写体の位置がフォーカスの合う位置(車線境界線付近)よりも奥側にあることで生じる画像のボケを打ち消すパラメータとして用意される。また、撮像部110の位置を基準として手前側のレーンのパラメータは、被写体の位置がフォーカスの合う位置(車線境界線付近)よりも手前側にあることで生じる画像のボケを打ち消すパラメータとして用意される。
本具体例の場合、どちらのレーンにも撮像部110のフォーカスが合っていない。そのため、車両がどちらのレーンを走行していたとしても、撮像部110により生成される画像において被写体(車両および車両の乗員)の輪郭がぼやけてしまう可能性がある。しかしながら、本具体例の場合、いずれかのレーンにフォーカスを合わせた場合と比較して、ボケ量(ボケ具合)を小さくすることができる。例えば、車両が第1のレーンを走行していた場合、撮像部110のフォーカス距離が他方の第2のレーンに合わせられている場合よりも、中央境界線(すなわち、複数のレーンの中央部分)付近に合わせられている方が、撮像部110のフォーカス距離からのずれが小さくなる。そのため、結果として、画像内での被写体のボケ量が小さくなる。これにより、撮像部110により取得された画像を少ない処理量で明確に補正できるという利点がある。
<第2具体例>
本具体例では、撮像部110のフォーカス距離が、複数のレーンの中で予め決められた1つのレーンに対応する距離に固定されるケースについて例示的に説明する。具体的には、2つのレーンを有する道路において、撮像部110のフォーカスが当該2つのレーンうちのいずれか一方に固定されているケースについて例示的に説明する。図8は、第2具体例の構成を概念的に示す図である。図8中の斜線領域は、撮像装置30(撮像部110)のフォーカス距離(被写界深度DOF)を示す。被写界深度DOFの範囲外に位置する被写体はぼやけた状態で撮像されることになる。
本具体例において、フォーカスが固定されている方のレーンを走行する車両を撮像する場合には、ある程度明瞭な画像が取得できるため、多くの場合において補正処理は実行しなくてもよい。一方で、フォーカスが固定されていない方のレーンを走行する車両が撮像された場合には、被写体のボケを低減する補正処理が必要となる可能性が高い。ここで、撮像部110のフォーカスをどちらのレーンに固定するかについては、例えば、それぞれのレーンの交通量の統計値に基づいて決定することができる。統計的に交通量の多い方のレーンに撮像部110のフォーカスを固定することにより、画像に対する補正処理の実行頻度を下げ、全体的な処理量を低減させることができる。また、この場合において、画像補正部120は、撮像部110のフォーカスを固定したレーンを走行する車両が撮像された場合、被写体(車両または車両の乗員)がボケていないかを確認する処理を行う。画像補正部120は、具体的には、例えば次に示すような処理によって、画像がボケているか否かを判断することができる。一例として、画像補正部120は、撮像部110により生成された画像をフーリエ変換によって空間周波数成分に分解した結果として、低周波成分が少なく高周波成分が多い分布が得られた場合には、当該画像がボケていないと判断することができる。他の例として、画像補正部120は、画像の自己相関関数の半値幅が所定の閾値以下である場合に、当該画像がボケていないと判断することができる。その他の例として、画像補正部120は、画像のボケ関数(例えば、点広がり関数など)を推定した結果、インパルス(すなわち、デルタ関数)あるいはインパルスに近い波形の関数(半値幅が所定の閾値以下の関数)が得られた場合に、当該画像がボケていないと判断することができる。なお、これらの処理の処理量は、被写体のボケを低減する補正処理の処理量よりも小さい。そのため、本具体例における全体的な処理量は、全てのレーンに補正処理を行う場合(例えば、第1具体例のケース)よりも小さくなる。
なお、3つ以上のレーンを有する道路においては、撮像部110のフォーカス距離を中央側に位置するレーンに対応する距離に固定することにより、上述の第1具体例で説明したような効果も得られる。
<第3具体例>
車両の座席位置の違いによって被写体がボケてしまう可能性もある。例えば、運転席側の座席位置と助手席側の座席位置とで撮像部110のフォーカス距離からのズレ量が異なる。そして、このフォーカス距離からのズレ量の違いによって、被写体(車両内の人物)の輪郭のボケ具合が変わってくる。ここでは、この違い考慮したパラメータを用いて補正処理を実行するケースを例示する。
本具体例では、画像補正部120が補正処理に用いる、位置に応じたパラメータは、車両内の位置に応じた複数のパラメータにより構成される。例えば、補正処理用のパラメータは、運転席側を基準として画像内の被写体のボケを低減するための第1の車両内位置パラメータと、助手席側を基準として画像内の被写体のボケを低減するための第2の車両内位置パラメータと、を含んで構成される。
本具体例において、画像補正部120は、車両が走行しているレーンを特定した場合、そのレーンに対応するパラメータセット(第1の車両内位置パラメータおよび第2の車両内位置パラメータ)を読み出す。このパラメータセットは、例えば、メモリ203やストレージデバイス204に記憶されている。そして、画像補正部120は、読み出した第1の車両内位置パラメータおよび第2の車両内位置パラメータをそれぞれ用いて画像に対して補正処理を実行する。これにより、あるタイミングで撮像された1枚の画像に対して、車両内位置に応じた複数のパラメータそれぞれに基づく複数の補正画像が生成される。
本具体例において、カウント部130は、上述の第1の車両内位置パラメータと第2の車両内位置パラメータをそれぞれ用いて生成された複数の画像を用いて、車両の乗員数をカウントする。
具体的には、カウント部130は、以下のように、複数の補正画像を用いて車両の乗員数をカウントすることができる。まず、カウント部130は、あるタイミングで撮像された1枚の画像を車両内の位置に応じた補正処理用パラメータに基づいて補正することによって生成された複数の補正画像それぞれについて、乗員数をカウントする。次に、カウント部130は、それぞれの補正画像を用いてカウントされた乗員数を統合して、1枚の画像からカウントされる最終的な車両の乗員数を決定する。例えば、カウント部130は、ある1枚の補正画像で検知された人物と他の補正画像で検知された人物についてそれぞれの画像中での位置を比較した結果、位置が略等しい(複数の補正画像間での位置の差分が所定の閾値以下である)場合、これらの人物を同一人物として判断し1人とカウントする。また、カウント部130は、ある1枚の補正画像で検知された人物と他の補正画像で検知された人物についてそれぞれの画像中での位置を比較した結果、これらの人物の位置が異なる(複数の補正画像間での位置の差分が所定の閾値を超える)場合、これらの人物を別人物として判断し、それぞれ個別にカウントする。
なお、特に限定されないが、画像補正部120は、複数の補正画像各々から車両の基準箇所及び基準方向を検出し、検出した基準箇所を原点、検出した基準方向をx軸方向及びy軸方向とした2次元座標系(車両座標系)を画像毎に定めて、複数の補正画像間での人物の位置関係を判断することができる。以下、図9を用いて基準箇所及び基準方向の一例を説明する。図9は、画像補正部120により生成された補正画像Fに設定される車両座標系の一例を示す図である。図示される例では、車両のボディーのうしろに取り付けられたバンパーの後方端部を基準箇所とし、車両の前後方向及び高さ方向を基準方向としている。そして、バンパーの後方端部を原点とし、車両の前後方向をx軸とし、高さ方向をy軸とした車両座標系が定められている。なお、基準箇所および基準方向は図示される例に限定されない。例えば、基準箇所は、フロントピラー、センタピラー、リアピラー、サイドミラー等の所定の部位であってもよい。また、基準方向は、画像上で任意の方向に設定され得る。画像補正部120は、図示されるような車両座標系において、画像から検出された人物領域Bの位置座標を特定することができる。
本実施形態では、車両内での座席位置の違いを考慮した複数のパラメータを用いて画像に対して補正処理を実行することにより、複数の補正画像が生成される。このようにすることで、車両内の座席位置の違いによって被写体の輪郭が不鮮明となることを解消し、車両の乗員数を正確にカウントすることが可能となる。
[第2実施形態]
第1実施形態の第2具体例において、所定のレーンに撮像部110のフォーカスを固定する具体例について説明した。本実施形態では、所定の条件に基づいて撮像部110のフォーカスを制御する処理部を更に備える構成について説明する。
〔機能構成〕
図10は、第2実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。図10に示されるように、本実施形態の乗員数検知システム1は、第1実施形態の構成に加えて、制御部140を更に備える。
一例として、制御部140は、複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部110のフォーカスを合わせるレーンを切り替えることができる。この場合、制御部140は、撮像部110で生成された画像、或いは、車両検知用センサ40の出力などを用いて、所定時間の交通量をレーン毎に算出することができる。一例として、制御部140は、車両検知用センサ40などを用いて測定される車両までの距離を用いて、以下のように所定時間のレーン毎の交通量を算出することができる。まず、制御部140は、車両までの距離と走行レーンとの対応関係を定義する所定のテーブル(例:図5)を参照し、当該車両が走行しているレーンを特定する。そして、制御部140は、各レーンが特定された回数をメモリ203などの所定の記憶領域に蓄積する。これらの処理を所定時間継続することによって、所定時間のレーン毎の交通量を示す情報を所定の記憶領域に記憶させることができる。また、他の例として、制御部140は、撮像部110などにより生成された画像の解析結果に基づいて、所定時間のレーン毎の交通量を算出してもよい。具体的には、制御部140は、車両の画像特徴量(例えば、画像上の大きさなど)から実空間上の車両の位置(走行レーン)を推定する既知の画像処理アルゴリズムを用いて、撮像部110などにより生成された画像に含まれる車両の走行レーンを特定することができる。そして、制御部140は、所定時間内に各レーンで特定された車両の数をそれぞれカウントすることによって、所定時間のレーン毎の交通量を算出することができる。なお、所定時間は任意に決定することができる。
その他の例として、制御部140は、日付または時刻に応じて撮像部110のフォーカスを合わせるレーンを切り替えるように構成されていてもよい。具体的には、各レーンの交通量の変化を事前に調査した結果に基づいて、時間帯毎にフォーカスを合わせるべきレーンが決定される。そして、このように決定されたレーンを示す情報が時間帯を示す情報と紐付けられた状態で、例えば、メモリ203等に用意される。制御部140は、現在時刻を取得した上でメモリ203に用意された情報を参照し、現在時刻に対応するレーンにフォーカスを合わせる指示を、撮像部110に送信することができる。
〔ハードウエア構成〕
本実施形態のハードウエア構成は、第1実施形態と同様(例:図2および図3)である。本実施形態では、情報処理装置20のストレージデバイス204は、上述の制御部140の機能を実現するプログラムモジュールを更に記憶している。情報処理装置20のプロセッサ202がこのプログラムモジュールを実行することによって、上述の制御部140の機能が実現される。
〔動作例〕
図11および図12を用いて、本実施形態の乗員数検知システム1の処理の流れを説明する。図11および図12は、第1実施形態の乗員数検知システム1における処理の流れを例示するフローチャートである。図11のフローチャートでは、制御部140が複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部110のフォーカスを合わせるレーンを制御する流れが記載されている。また、図12のフローチャートでは、制御部140が日付または時刻に応じて撮像部110のフォーカスを合わせるレーンを制御する流れが記載されている。
まず、制御部140が複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部110のフォーカスを合わせるレーンを制御する流れを説明する。
まず、制御部140は、所定時間における各レーンの交通量を示す情報を取得する(S202)。制御部140は、例えば、撮像部110の画像を解析結果や、車両検知用センサ40の出力信号に基づいて、所定時間毎の車両の通行数をレーン毎に集計することができる。また、制御部140は、図示しない外部装置と通信して、所定時間における各レーンの交通量を当該外部装置から取得してもよい。そして、制御部140は、S202の処理で取得した、所定時間における各レーンの交通量を比較して、所定時間において最も交通量の多いレーンを特定する(S204)。そして、制御部140は、S204の処理で特定されたレーンにフォーカスを合わせる制御指示を、撮像部110に向けて送信する(S206)。撮像部110は、制御部140からの制御指示に従ってフォーカス機構を制御して、制御指示で示されたレーンにフォーカスを合わせる(S208)。
次に、制御部140が時間帯に応じて撮像部110のフォーカスを合わせるレーンを制御する流れを説明する。
まず、制御部140は、図示しないNTP(Network Time Protocol)サーバと同期するなどして、現在時刻を取得する(S302)。そして、制御部140は、S302の処理で取得した現在時刻を基に、例えば図13に示されるようなテーブルを参照して、フォーカスを合わせるべきレーンを特定する(S304)。図13は、時間帯とフォーカスを合わせるべきレーンとを対応付けて記憶するテーブルの一例を示す図である。交通の状態は曜日や天候に影響を受け得るため、曜日別または天候別に複数のテーブルが用意されていてもよい。また、例えば、ゴールデンウィークやお盆時期といった長期休暇期間などには交通量が増加することが予想される。そこで、このような長期休暇期間時に利用されるテーブルが更に用意されていてもよい。そして、制御部140は、S304の処理で特定されたレーンにフォーカスを合わせる制御指示を、撮像部110に向けて送信する(S306)。撮像部110は、制御部140からの制御指示に従ってフォーカス機構を制御して、制御指示で示されたレーンにフォーカスを合わせる(S308)。その後、撮像部110によって各レーンを走行する車両の画像が生成されると、その画像に対して、第1実施形態の第2具体例で説明したような、被写体のボケを低減する補正処理が実行されてもよい。このとき、第1実施形態の第3具体例で説明したような、車両内の位置に応じた複数のパラメータを用いた補正処理が実行されてもよい。
以上、本実施形態では、所定時間の交通量や日時または時刻別の交通量の統計に基づいて、撮像部110のフォーカスが交通量の多いレーンに合うように制御される。これにより、画像に対する補正処理の実行頻度を下げ、全体的な処理量を低減させることができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば、上述の各実施形態では、路側に撮像装置30(撮像部110)が設けられる例を示したが、撮像装置30は、図14に示されるように、ガントリーなどに設けられていてもよい。この構成においても、車両が走行するレーンによって撮像装置30から車両までの距離に違いが生じるため、被写体がボケて写る可能性がある。この場合に、上述の各実施形態で説明したように、車両が走行している位置に応じたパラメータを用いて、被写体のボケを低減する補正処理を実行して被写体が明確に写る補正画像を生成することによって、当該補正画像を基に車両の乗員数を正確にカウントすることができる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
を備える乗員数検知システム。
2.
前記画像補正手段は、前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
前記カウント手段は、前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
1.に記載の乗員数検知システム。
3.
前記画像補正手段は、前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
1.または2.に記載の乗員数検知システム。
4.
前記画像補正手段は、前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
1.または2.に記載の乗員数検知システム。
5.
前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部を備え、
前記画像補正手段は、前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを用いて前記補正処理を実行する、
1.乃至4.のいずれか1つに記載の乗員数検知システム。
6.
前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
7.
前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
8.
前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
9.
日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
10.
前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
前記画像補正手段は、前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
前記カウント手段は、前記複数の補正画像を用いて前記車両の乗員数をカウントする、
1.乃至9.のいずれか1つに記載の乗員数検知システム。
11.
複数のレーンを有する道路を走行する車両を撮像する撮像手段と、
前記車両までの距離を測定する距離測定手段と、
前記撮像手段により生成された画像を処理する画像処理手段と、を備え
前記画像処理手段は、前記距離測定手段から前記距離を示す情報を取得し、取得した前記情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
乗員数検知システム。
12.
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
前記補正画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法。
13.
前記コンピュータが、
前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
ことを含む12.に記載の乗員数検知方法。
14.
前記コンピュータが、
前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
ことを含む12.または13.に記載の乗員数検知方法。
15.
前記コンピュータが、
前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
ことを含む12.または13.に記載の乗員数検知方法。
16.
前記コンピュータが、
前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部から読み出し、読み出したパラメータを用いて前記補正処理を実行する、
ことを含む12.乃至15.のいずれか1つに記載の乗員数検知方法。
17.
前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
18.
前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
19.
前記コンピュータが、
前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
20.
前記コンピュータが、
日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
21.
前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
前記コンピュータが、
前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
前記複数の補正画像を用いて前記車両の乗員数をカウントする、
ことを含む12.乃至20.のいずれか1つに記載の乗員数検知方法。
22.
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像し、
前記車両までの距離を測定し、
前記測定した距離を示す情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法。
23.
コンピュータに、12.乃至22.のいずれか1つに記載の乗員数検知方法を実行させるプログラム。
この出願は、2017年7月19日に出願された日本出願特願2017−140226号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (23)

  1. 複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
    前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
    を備える乗員数検知システム。
  2. 前記画像補正手段は、前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
    前記カウント手段は、前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
    請求項1に記載の乗員数検知システム。
  3. 前記画像補正手段は、前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
    請求項1または2に記載の乗員数検知システム。
  4. 前記画像補正手段は、前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
    請求項1または2に記載の乗員数検知システム。
  5. 前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部を備え、
    前記画像補正手段は、前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを用いて前記補正処理を実行する、
    請求項1乃至4のいずれか1項に記載の乗員数検知システム。
  6. 前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
    請求項1乃至5のいずれか1項に記載の乗員数検知システム。
  7. 前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
    請求項1乃至5のいずれか1項に記載の乗員数検知システム。
  8. 前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
    請求項1乃至5のいずれか1項に記載の乗員数検知システム。
  9. 日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
    請求項1乃至5のいずれか1項に記載の乗員数検知システム。
  10. 前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
    前記画像補正手段は、前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
    前記カウント手段は、前記複数の補正画像を用いて前記車両の乗員数をカウントする、
    請求項1乃至9のいずれか1項に記載の乗員数検知システム。
  11. 複数のレーンを有する道路を走行する車両を撮像する撮像手段と、
    前記車両までの距離を測定する距離測定手段と、
    前記撮像手段により生成された画像を処理する画像処理手段と、を備え
    前記画像処理手段は、前記距離測定手段から前記距離を示す情報を取得し、取得した前記情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
    乗員数検知システム。
  12. コンピュータが、
    複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
    前記補正画像を用いて前記車両の乗員数をカウントする、
    ことを含む乗員数検知方法。
  13. 前記コンピュータが、
    前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
    前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
    ことを含む請求項12に記載の乗員数検知方法。
  14. 前記コンピュータが、
    前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
    ことを含む請求項12または13に記載の乗員数検知方法。
  15. 前記コンピュータが、
    前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
    ことを含む請求項12または13に記載の乗員数検知方法。
  16. 前記コンピュータが、
    前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部から読み出し、読み出したパラメータを用いて前記補正処理を実行する、
    ことを含む請求項12乃至15のいずれか1項に記載の乗員数検知方法。
  17. 前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
    ことを含む請求項12乃至16のいずれか1項に記載の乗員数検知方法。
  18. 前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
    ことを含む請求項12乃至16のいずれか1項に記載の乗員数検知方法。
  19. 前記コンピュータが、
    前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える、
    ことを含む請求項12乃至16のいずれか1項に記載の乗員数検知方法。
  20. 前記コンピュータが、
    日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える、
    ことを含む請求項12乃至16のいずれか1項に記載の乗員数検知方法。
  21. 前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
    前記コンピュータが、
    前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
    前記複数の補正画像を用いて前記車両の乗員数をカウントする、
    ことを含む請求項12乃至20のいずれか1項に記載の乗員数検知方法。
  22. コンピュータが、
    複数のレーンを有する道路を走行する車両を撮像した画像を取得し、
    前記車両までの距離を測定し、
    前記測定した距離を示す情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
    ことを含む乗員数検知方法。
  23. コンピュータに、請求項12乃至22のいずれか1項に記載の乗員数検知方法を実行させるプログラム。
JP2019530354A 2017-07-19 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム Active JP6820074B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017140226 2017-07-19
JP2017140226 2017-07-19
PCT/JP2017/038639 WO2019016971A1 (ja) 2017-07-19 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019016971A1 true JPWO2019016971A1 (ja) 2020-07-27
JP6820074B2 JP6820074B2 (ja) 2021-01-27

Family

ID=65015584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530354A Active JP6820074B2 (ja) 2017-07-19 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム

Country Status (3)

Country Link
US (1) US11482018B2 (ja)
JP (1) JP6820074B2 (ja)
WO (1) WO2019016971A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130562A1 (ja) * 2017-12-28 2019-07-04 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP6995720B2 (ja) * 2018-09-11 2022-01-17 本田技研工業株式会社 表示システム、表示制御方法、およびプログラム
JP7444423B2 (ja) * 2019-05-20 2024-03-06 i-PRO株式会社 車両監視システムおよび車両監視方法
CN112270206B (zh) * 2020-09-25 2022-09-13 桂林理工大学 车辆检测计数方法、系统、储存介质及计算机设备
US11308316B1 (en) 2021-09-02 2022-04-19 Invision Ai, Inc. Road side vehicle occupancy detection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224712A (ja) * 2009-03-23 2010-10-07 Mitsubishi Electric Corp 交通流計測装置
WO2014061195A1 (ja) * 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
US6578869B2 (en) * 2001-03-26 2003-06-17 Trw Inc. Vehicle occupant position sensor utilizing image focus attributes
DE10202163A1 (de) 2002-01-22 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge
ATE321689T1 (de) * 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US20080294012A1 (en) * 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
US20090195651A1 (en) * 2008-01-31 2009-08-06 Leonard Robert C Method of providing safety enforcement for school buses
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US9998697B2 (en) * 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US20130278771A1 (en) * 2011-06-10 2013-10-24 Flir Systems, Inc. Systems and methods for monitoring vehicle wheel assembly
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
US20170257414A1 (en) * 2012-01-26 2017-09-07 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
US8731245B2 (en) * 2012-03-07 2014-05-20 Xerox Corporation Multiple view transportation imaging systems
JP6074182B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
JP6089577B2 (ja) * 2012-10-19 2017-03-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9036040B1 (en) * 2012-12-20 2015-05-19 United Services Automobile Association (Usaa) Vehicle identification number capture
US9083850B1 (en) * 2013-06-29 2015-07-14 Securus Technologies, Inc. Video blurring in a secure environment
JP6224362B2 (ja) * 2013-07-05 2017-11-01 シャープ株式会社 撮像装置
EP3088938A4 (en) * 2013-12-26 2017-08-02 Hoya Lens Thailand Ltd. Method, program, and device for manufacturing progressive refractive power lens, progressive refractive power lens manufacturing method, and lens supply system
US9633267B2 (en) * 2014-04-04 2017-04-25 Conduent Business Services, Llc Robust windshield detection via landmark localization
CN106462791B (zh) * 2014-04-14 2019-08-23 莱森西斯澳大利亚私人有限公司 车辆识别和/或监测系统
JP6577703B2 (ja) * 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9710729B2 (en) * 2014-09-04 2017-07-18 Xerox Corporation Domain adaptation for image classification with class priors
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
KR101822890B1 (ko) * 2015-01-22 2018-01-29 엘지전자 주식회사 차량의 전방 촬영 카메라 모듈
WO2016183408A1 (en) * 2015-05-14 2016-11-17 Gatekeeper, Inc. Apparatus, systems and methods for enhanced visual inspection of vehicle interiors
US10878249B2 (en) * 2015-10-07 2020-12-29 Accenture Global Solutions Limited Border inspection with aerial cameras
US10068171B2 (en) * 2015-11-12 2018-09-04 Conduent Business Services, Llc Multi-layer fusion in a convolutional neural network for image classification
US10690495B2 (en) * 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
US9918042B2 (en) * 2016-04-29 2018-03-13 Getgo, Inc. Performing electronic conferencing operations using electronic portals at different locations
US10068140B2 (en) * 2016-12-02 2018-09-04 Bayerische Motoren Werke Aktiengesellschaft System and method for estimating vehicular motion based on monocular video data
US20180270413A1 (en) * 2017-03-15 2018-09-20 Kabushiki Kaisha Toshiba Processing apparatus and processing system
US9953210B1 (en) * 2017-05-30 2018-04-24 Gatekeeper Inc. Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224712A (ja) * 2009-03-23 2010-10-07 Mitsubishi Electric Corp 交通流計測装置
WO2014061195A1 (ja) * 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム

Also Published As

Publication number Publication date
JP6820074B2 (ja) 2021-01-27
WO2019016971A1 (ja) 2019-01-24
US20200234067A1 (en) 2020-07-23
US11482018B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
JP6820074B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
US9477881B2 (en) Passenger counting system, passenger counting method and passenger counting program
JP5482737B2 (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP4592744B2 (ja) 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP4937030B2 (ja) 車両用画像処理装置
JP4364275B2 (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
JP2009187135A (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP5991647B2 (ja) 車両用周辺監視制御装置
JP2017016568A (ja) 運転者異常検出装置
JP2008067362A (ja) 画像処理装置および画像処理方法
JP6820075B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
CN110879131B (zh) 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备
JP2014109958A (ja) 撮影画像表示装置、および撮影画像表示方法
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP2016111509A (ja) 車両用画像処理装置、車両用画像処理方法およびプログラム
JP7048157B2 (ja) 解析装置、解析方法及びプログラム
JP4826355B2 (ja) 車両周囲表示装置
JP5664078B2 (ja) 撮像装置、画像評価方法、及び焦点調整制御プログラム
JP2019028959A (ja) 画像登録装置、画像登録システムおよび画像登録方法
JP6179447B2 (ja) 視線検出装置、視線検出方法
JP4661578B2 (ja) 移動体認識装置
JP6169446B2 (ja) 視線検出装置
JP2012167983A (ja) 霧検出装置
JP3436224B2 (ja) 車両端検出装置
JP2015207879A (ja) 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201224

R150 Certificate of patent or registration of utility model

Ref document number: 6820074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150