JP6888694B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6888694B2
JP6888694B2 JP2019562690A JP2019562690A JP6888694B2 JP 6888694 B2 JP6888694 B2 JP 6888694B2 JP 2019562690 A JP2019562690 A JP 2019562690A JP 2019562690 A JP2019562690 A JP 2019562690A JP 6888694 B2 JP6888694 B2 JP 6888694B2
Authority
JP
Japan
Prior art keywords
vehicle
occupants
information processing
sensing
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019562690A
Other languages
English (en)
Other versions
JPWO2019130562A1 (ja
Inventor
伸一 宮本
伸一 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019130562A1 publication Critical patent/JPWO2019130562A1/ja
Application granted granted Critical
Publication of JP6888694B2 publication Critical patent/JP6888694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002Seats provided with an occupancy detection means mounted therein or thereon
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01GWEIGHING
    • G01G19/00Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4142Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling activation of safety devices, e.g. airbag systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、車両の乗員数を算出する技術に関する。
HOV(High-Occupancy Vehicle)レーンやHOT(High-Occupancy Toll)レーンといった、乗員数が規定数以上の車両が優遇される専用レーンを有する道路が存在する。優遇の適用可否を判断するために、専用レーンを走行する車両の乗員数を算出する技術が望まれている。
車両の乗員数を算出する技術の一例が、下記特許文献1に開示されている。下記特許文献1の技術では、座席制御装置が、車載カメラにより生成された画像の解析結果、車載マイクロフォンにより収集された音声の解析結果、車両内の携帯電話機との通信結果など、様々な種類の情報を用いて、乗車人数を認識する技術が開示されている。
特開2007−216920号公報
コンピュータが車両の乗員数を算出した場合において、その算出結果に誤りが生じる可能性がある。そのため、コンピュータによる乗員数の算出結果の正否を、人が目視で確認することもある。しかしながら、車両の乗員数を算出するためにコンピュータが取り扱う情報は一般的に膨大であり、人手でその全てを確認するのは現実的ではない。何らかの基準に従って、目視確認対象を絞り込む技術が望まれる。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、コンピュータが車両の乗員数を算出するために処理した情報のうち、人が目視確認すべきものを絞り込む技術を提供することである。
本発明によれば、
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、当該車両の乗員数および当該乗員数の確信度を算出する算出手段と、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択する選択手段と、
前記選択手段により選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする処理手段と、
を備え、
前記算出手段は、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出する、
情報処理装置が提供される。
本発明によれば、
少なくとも1台のコンピュータが、
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、
前記車両の乗員数を算出し、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出し、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択し、
記選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする、
ことを含む情報処理方法が提供される。
本発明によれば、
コンピュータに、上記情報処理方法を実行させるプログラムが提供される。
本発明によれば、コンピュータが車両の乗員数を算出するために処理した情報のうち、人が目視確認すべきものを絞り込む技術が提供される。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明に係る情報処理装置の動作を概念的に示す図である 情報処理装置の機能構成を概念的に示すブロック図である。 情報処理装置のハードウエア構成を例示するブロック図である。 情報処理装置によって実行される処理の流れを例示するフローチャートである。 算出部が車両の座席毎の信頼度を算出する流れを概念的に示す図である。 下位ノードのエビデンスが上位ノードに伝播する様子を概念的に例示する図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
[実施形態]
〔概要〕
図1は、本発明に係る情報処理装置10の動作を概念的に示す図である。なお、図1は、情報処理装置10の動作の理解を容易にすることを目的とする単なる例示である。よって、情報処理装置10の動作は図1によって何ら限定されない。
情報処理装置10の動作は、乗員数算出フェーズと、解析結果確認フェーズとを少なくとも含む。以下、それぞれのフェーズについて概略的に説明する。
<乗員数算出フェーズ>
乗員数算出フェーズにおいて、情報処理装置10は、まず、車両Vのセンシング結果を取得する。ここで、車両Vのセンシング結果は、カメラ、マイク、ミリ波レーダーなどのセンシング装置20により生成される。なお、図1に例示されているセンシング装置20はカメラである。この場合のセンシング結果は車両Vの画像である。図1の例では、センシング装置20は、車両Vを側面から撮影した画像P〜Pを生成している。そして、情報処理装置10は、取得した車両Vのセンシング結果を解析することによって、当該車両Vの乗員数及び当該乗員数の確信度を算出する。そして、情報処理装置10は、算出した車両Vの乗員数及び当該乗員数の確信度(解析結果)を、解析で使用したセンシング結果と対応付けて所定の解析結果データベース30に記憶する。なお、解析結果データベース30は、情報処理装置10または情報処理装置10と通信可能な外部装置(図示せず)に構築される。
<解析結果確認フェーズ>
解析結果確認フェーズにおいて、情報処理装置10は、データベース30を参照し、所定の基準を満たさない確信度が対応付けられているセンシング結果を選択する。そして、情報処理装置10は、選択したセンシング結果を、他のセンシング結果(基準を満たす確信度が対応付けられているセンシング結果)と区別可能な状態にする。例えば、情報処理装置10は、図1に例示されるようなリストLを表示することができる。図1に例示されるリストでは、情報処理装置10により選択されたセンシング結果に特別なマークが付されている。また、図1に例示されるリストでは、情報処理装置10により選択されたセンシング結果に対応する行の背景色が、その他のセンシング結果に対応する行の背景色と異なっている。
本発明に係る情報処理装置10によれば、確信度が算出される。また、情報処理装置10が、あるセンシング結果を処理して算出した確信度が予め決められた基準を満たしていない場合、そのセンシング結果がその他のセンシング結果と区別可能な状態となる。「情報処理装置10により算出された確信度が基準を満たしていない」場合とは、言いかえると、「情報処理装置10による処理結果の誤りが所定の度合い以上の確率で想定される」ということである。従って、本実施形態によれば、基準を満たさない確信度と対応付けられたセンシング結果(人手で確認すべき対象)を、確認作業者が一目で把握できるようになる。
〔機能構成例〕
図2は、情報処理装置10の機能構成を概念的に示すブロック図である。図2に示されるように、情報処理装置10は、算出部110、選択部120、および処理部130を有する。
算出部110は、道路を通行している車両をセンシングして得たセンシング結果を解析することにより、当該車両の乗員数及び当該乗員数の確信度を算出する。選択部120は、解析の結果として所定の基準を満たさない乗員数の確信度が算出されたセンシング結果を選択する。処理部130は、選択部120により選択されたセンシング結果を、他のセンシング結果と区別可能な状態にする。
〔ハードウエア構成例〕
情報処理装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図3は、情報処理装置10のハードウエア構成を例示するブロック図である。情報処理装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は情報処理装置10の各機能(算出部110、選択部120、処理部130など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は、解析結果データベース30の格納場所として利用され得る。
入出力インタフェース1050は、情報処理装置10と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース1050には、例えば、マウスやキーボードといった入力装置1052、および、ディスプレイやスピーカーといった出力装置1054が接続される。
ネットワークインタフェース1060は、情報処理装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。情報処理装置10は、ネットワークインタフェース1060を介して、例えばセンシング装置20といった外部装置と通信可能に接続される。
なお、図3に例示されるハードウエア構成はあくまで一例であり、本発明に係る情報処理装置10のハードウエア構成はこれに限定されない。
〔処理の流れ〕
以下、情報処理装置10により実行される処理の流れについて説明する。図4は、情報処理装置10によって実行される処理の流れを例示するフローチャートである。算出部110は、センシング装置20により生成された車両のセンシング結果を用いて、当該車両の乗員数および当該乗員数の確信度を算出する(S102)。算出部110は、車両の乗員数および当該乗員数の確信度を、それらを算出した際に用いたセンシング結果と対応付けて解析結果データベース30に記憶する。なお、解析結果データベース30は、例えばストレージデバイス1040上に用意されている。そして、選択部120は、所定の基準を満たしていない確信度が対応付けられているセンシング結果を選択する(S104)。一例として、所定の基準は、確信度について予め設定された閾値であり、例えばストレージデバイス1040に予め記憶されている。この場合、選択部120は、ストレージデバイス1040から閾値を読み出し、当該閾値と各センシング結果に対応付けられている確信度とを比較する。そして、選択部120は、比較の結果として、閾値よりも低い確信度が対応付けられているセンシング結果を特定する。そして、処理部130は、選択部120により選択されたセンシング結果を、他のセンシング結果と区別可能にする(S106)。処理部130は、例えば、図1のリストLで示されるように、対応付けられた確信度が基準を満たしていないセンシング結果に所定のマークを付したり、当該センシング結果に対応する行の背景色を変えたりする。これにより、対応付けられた確信度が基準を満たしていないセンシング結果が、他のセンシング結果と区別可能になる。なお、処理部130は、算出部110により算出された確信度と所定の基準との乖離度合いに応じて、マークや背景色などを異ならせるように構成されていてもよい。
なお、選択部120および処理部130は、情報処理装置10のオペレータによる処理実行入力操作(例えば、図示しない業務画面上に用意されたボタンの押下など)に応じて、動作を開始することができる。また、選択部120は、オペレータの処理実行入力操作に依らず、予め設定されたスケジュール等に従って自動的に動作を開始してもよい。
以下では、算出部110の動作をより詳細に説明する。
<信頼度の算出>
算出部110は、センシング装置20により生成された車両のセンシング結果を用いて、当該車両の座席毎に人物が存在すると判断したときの信頼度を算出する。例えば、センシング装置20が撮像装置の場合、算出部110は、1台の撮像装置で撮影された複数のフレーム画像、或いは、2台以上の撮像装置で多角的に撮影された複数の画像を、解析対象のセンシング結果として取得することができる。ここで、複数の画像を用いる場合、乗員数を算出するためには、各画像での処理結果を統合する必要がある。例えば、ある画像を処理することでカウントされた人物が他の画像に存在するか否か、また、処理対象の画像の中に未だカウントされていない人物が存在するか否かを判別する必要がある。算出部110は、各画像での処理結果を統合する関数(以下、「統合関数」と表記)を用いて、複数の画像での処理結果を基に、最終的な乗員数を算出することができる。特に限定されないが、統合関数の具体例としては、車両の移動距離に基づいて同一人物を判定する関数、画像中の人物と判定された領域間の距離により同一人物を判定する関数、画像中で人物の顔と判定された領域の座標が車両内か車両外かによって車両の乗員か否かを判定する関数、人物の顔の高さの平均値との差分を基に車両の乗員か否かを判定する関数、顔検出処理で顔と判定された領域に対してヘッドレストか否かを判定する処理を適用する関数、顔検出スコア(顔としての確からしさ)と顔の検出回数を算出する関数などである。
算出部110が車両の座席毎に信頼度を算出する流れの一例を、図5を用いて説明する。図5は、算出部110が車両の座席毎の信頼度を算出する流れを概念的に示す図である。なお、図5では、乗員6名までの確信度を算出するケースが例示されている。
図5には、BBN(Bayesian Belief Network)が描かれている。このBBNにおいて、ノードA(i=1,2,・・・N、Nは統合関数の総数)は、車両の座席Aについて、上述したような統合関数の中のある1つの関数iを適用することを示す。ノードB、C、D、E、Fも同様に、それぞれ、車両の座席BからFについて関数iを適用することを示している。なお図5では、説明を簡潔にするため、座席毎のノードがライン状に繋がっている例を示しているが、BBNの形状はライン状に限定されない。BBNの形状は、例えば、それぞれの統合関数の関連性に応じて、ツリー状に構成されていてもよい。また、ノードPは、事前確率を示す。ノードPに与えられる事前確率は、例えば、センシング装置20の設置場所を通過する車両の乗員数の統計に基づいて予め算出される。ノードXは、ノードA乃至Fそれぞれから渡される座席毎の信頼度と、ノードPに与えられた事前確率とを用いて、車両の乗員数として取り得る数毎の確信度を算出するスキームを示す。車両の乗員数として取り得る数毎の確信度を算出するスキームについては後述する。
算出部110は、図5に例示されるようなBBN(Bayesian Belief Network)を用いて、例えば次のように、座席毎の信頼度を算出する。算出部110は、まず、各ノードに対応する関数を用いて、人物が存在すると判断した信頼度をノード毎に算出する。ここで、ある下位ノードでの処理が完了して信頼度が算出された場合、当該下位ノードで算出された信頼度(これを「エビデンス」とも呼ぶ)が、隣接する上位ノードに伝播される。具体的な例として、下位ノードの関数が「画像中で人物の顔と判定された領域の座標が車両内か車両外かによって乗員か否かを判定する関数」であると仮定する。この場合、算出部110は、顔と判定された領域が車両外と判定された場合に、ネガティブ(人物が存在しない)のエビデンスを大きく、かつ、ポジティブ(人物が存在する)のエビデンスを小さく算出する。また、算出部110は、顔と判定された領域が車両内と判定された場合に、ネガティブ(人物が存在しない)のエビデンスを小さく、かつ、ポジティブ(人物が存在する)のエビデンスを大きく算出する。また他の例として、下位ノードの関数が、「人物の顔の高さの平均値との差分を基に車両の乗員か否かを判定する」であると仮定する。この場合、算出部110は、画像で検出された人物の顔の高さと、人物の顔の高さの平均値とを比較した結果、所定の許容値よりも大きい場合に、ネガティブ(人物が存在しない)のエビデンスを大きく、かつ、ポジティブ(人物が存在する)のエビデンスを小さく算出する。また、算出部110は、画像で検出された人物の顔の高さと、人物の顔の高さの平均値とを比較した結果、所定の許容値以下の場合に、ネガティブ(人物が存在しない)のエビデンスを小さく、かつ、ポジティブ(人物が存在する)のエビデンスを大きく算出する。また、他の例として、下位ノードの関数が「顔検出処理で顔と判定された領域に対してヘッドレストか否かを検出する処理を適用する関数」であると仮定する。この場合、算出部110は、顔検出処理で顔と判定された領域がヘッドレスト検出によりヘッドレストと判定された場合に、ネガティブ(人物が存在しない)のエビデンスを大きく、かつ、ポジティブ(人物が存在する)のエビデンスを小さく算出する。また、算出部110は、顔検出処理で顔と判定された領域がヘッドレスト検出によりヘッドレストと判定されなかった場合に、ネガティブ(人物が存在しない)のエビデンスを小さく、かつ、ポジティブ(人物が存在する)のエビデンスを大きく算出する。また、他の例として、下位ノードの関数が「顔検出スコア(顔としての確からしさ)と顔の検出回数を算出する関数」であると仮定する。この場合、算出部110は、顔検出スコアと顔検出回数が所定の期待値未満の場合に、ネガティブ(人物が存在しない)のエビデンスを大きく、かつ、ポジティブ(人物が存在する)のエビデンスを小さく算出する。また、算出部110は、顔検出スコアと顔検出回数が所定の期待値以上の場合に、ネガティブ(人物が存在しない)のエビデンスを小さく、かつ、ポジティブ(人物が存在する)のエビデンスを大きく算出する。
下位ノードからエビデンスが伝播されてきた場合、算出部110は、当該下位ノードから伝播されたエビデンスを使って、上位ノードの信頼度を更新する。例えば図5の例では、上位ノードと下位ノードとの間において、図5の表に示されるような対応関係(尤度分布)が予め定義されている。図5の表において、例えば、左下に示される確率「0.7」は、関数AでTRUE(人物が存在する)と判定されたパターンが、関数AではFALSE(人物が存在しない)と判定される確率を示している。この表に示される確率は、例えば、予め用意されたデータを用いて、関数Aの判定結果およびノードAの判定結果の統計を取ることによって算出される。算出部110は、このような対応関係を利用して、下位ノードでの判定結果が確定した場合における上位ノードでの判定の確率(事後確率)を算出することができる。算出部110は、このように下位ノードから伝播されたエビデンスを使って、上位ノードの信頼度を更新していく。その結果、最終的な座席毎の信頼度が、座席毎の最上位ノード(A、B、C、D、E、F)で算出される。座席毎の最上位ノードで算出された各信頼度は、後述の確信度の算出処理に用いられる。
下位ノードのエビデンスを用いて上位ノードの信頼度を更新する流れの一例を、図6を用いて説明する。図6は、下位ノードのエビデンスが上位ノードに伝播する様子を概念的に例示する図である。図6では、下位ノードAの関数で算出されるエビデンスeを用いて、上位ノードAのエビデンスeを再計算する流れが示されている。図6において、π(A1)は、上位ノードからの信頼度伝搬ベクトルであり、π(T)およびπ(F)の2つの成分を有する。π(T)は、ノードAでの判定結果がTrue(人物が存在する)であった場合の上位ノードからみた尤度(尤もらしさ)を表す。π(F)は、ノードAでの判定結果がFalse(人物が存在しない)であった場合の上位ノードからみた尤度(尤もらしさ)を表す。BEL(A1)ノードAで算出される信頼度であり、BEL(T)およびBEL(F)の2つの成分を有する。BEL(T)は、ノードAでの判定結果がTrue(人物が存在する)である信頼度を表す。BEL(F)は、ノードAでの判定結果がFalse(人物が存在しない)である信頼度を表す。また、αは、確率和を1とするための正規化定数である。また、λ(A1)は、下位ノードからの信頼度伝搬ベクトルであり、λ(T)およびλ(F)の2つの成分を有する。λ(T)は、ノードAでの判定結果がTrue(人物が存在する)であった場合の下位ノードからみた尤度(尤もらしさ)を表す。λ(F)は、ノードAでの判定結果がFalse(人物が存在しない)であった場合の下位ノードからみた尤度(尤もらしさ)を表す。算出部110は、各ノード間で図示されるような計算を実行する。
<確信度の算出>
ついで、上述のように算出された座席毎の信頼度を用いて、車両の乗員数として可能性のある数別に確信度を算出するスキームについて例示的に説明する。
算出部110は、例えば、下記の式(1)を用いて、車両の乗員数として可能性のある数別に確信度を算出することができる。下記の式(1)は、車両の乗員数として可能性のある数の尤度分布を算出するための式である。
Figure 0006888694
上記式(1)において、nは車両の乗員数の真値である。また、n’は、算出部110により算出された乗員数(推定値)である。また、x(本明細書中において、ベクトルを表す矢印は数式を除いて省略する。その他のベクトルについても同様。)は、算出部110により算出されたノード(席)毎の信頼度で構成されるベクトルある。Nは、車両の最大乗員数である。また、θは、3種類のモデルパラメータ(α,β,γi,j)(1≦i,j≦N)で構成されるベクトルである。αは、乗員数の真値と算出部110により算出された乗員数(推定値)とのずれに対する重み係数である。βはオフセットである。γi,jは、個々のノードのエビデンスに対する重み係数である。これらのモデルパラメータは、学習により予め求められる。なお、モデルパラメータの学習方法については後述する。
そして、ベイズの定理により、上記式(1)から下記の式(2)を導出することができる。なお、下記の式(2)において、p(n)は事前確率を表す。p(n)は、例えば、センシング装置20の設置場所を通過する車両の乗員数の統計などを基に予め算出され、ストレージデバイス1040などに予め記憶されている。下記の式(2)は、各ノードの信頼値ベクトルx、算出部110により算出された乗員数n’および、既知のパラメータベクトルθが与えられたときの事後確率、すなわち、確信度を表す。つまり、下記の式(2)は、上記式(1)の尤度分布および事前確率p(n)を用いて、車両の乗員数の真値n(すなわち、車両の乗員数として可能性のある数)毎に確信度が算出可能であることを示している。
Figure 0006888694
<モデルパラメータの学習>
算出部110は、例えば、モデルパラメータα、β、およびγi,jを、下記の式(3)で示されるエラー関数E(θ)を最小化するようなθを求めることにより決定することができる。下記の式(3)において、xおよびn’は学習データを示す。また、tは、事前に決められた式(2)の出力の目標値である。
Figure 0006888694
なお、エラー関数E(θ)を最小化するようなθは、例えば、下記の式(4)に示すような更新式によって求めることができる。
Figure 0006888694
ただしθ(t)はt回目の更新で得られたθを表す。
なお、上記式(4)の右辺第2項(θによるエラー関数E(θ)の偏微分)は、下記の式(5)のように計算される。
Figure 0006888694
上記式(5)の下線Aおよび下線Bの部分を、下記のように場合分けして計算することにより、エラー関数E(θ)を最小化するモデルパラメータθが得られる。
・Aの計算
Figure 0006888694
Figure 0006888694
Figure 0006888694
・Bの計算
Figure 0006888694
Figure 0006888694
Figure 0006888694
算出部110は、パラメータ最適化の繰り返し上限回数に到達した場合、或いは、エラー関数E(θ)の出力が所定の閾値以下となった場合に、上述の式を用いて算出されたモデルパラメータθを、例えば、ストレージデバイス1040に記憶する。算出部110は、確信度を算出する際には、ストレージデバイス1040に記憶されたモデルパラメータθを読み出して計算を実行することができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、当該車両の乗員数および当該乗員数の確信度を算出する算出手段と、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択する選択手段と、
前記選択手段により選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする処理手段と、
を備え、
前記算出手段は、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出する、
情報処理装置。
2.
前記算出手段は、少なくとも1台の撮像装置を用いて撮像された複数の画像を用いて、前記席毎の信頼度を算出する、
1.に記載の情報処理装置。
3.
前記算出手段は、BBN(Bayesian Belief Network)を用いて、前記席毎の信頼度を算出する、
1.または2.に記載の情報処理装置。
4.
前記算出手段は、下記の式(1)から得られる尤度分布を、ベイズの定理を用いて確信度に変換する、
1.から3.のいずれか1つに記載の情報処理装置。
Figure 0006888694
但し、n:前記車両の乗員数の真値、n’:前記算出手段により算出された前記車両の乗員数、x(ベクトルを表す矢印は省略):前記座席毎の信頼度、θ(ベクトルを表す矢印は省略)=(αi,βi,γi,j)(1≦i,j≦N):モデルパラメータであり定数、N:前記車両の最大乗員数。
5.
少なくとも1台のコンピュータが、
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、
前記車両の乗員数を算出し、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出し、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択し、
記選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする、
ことを含む情報処理方法。
6.
前記コンピュータが、少なくとも1台の撮像装置を用いて撮像された複数の画像を用いて、前記座席毎の信頼度を算出する、
ことを更に含む5.に記載の情報処理方法。
7.
前記コンピュータが、BBN(Bayesian Belief Network)を用いて、前記座席毎の信頼度を算出する、
ことを更に含む5.または6.に記載の情報処理方法。
8.
前記コンピュータが、下記の式(1)から得られる尤度分布を、ベイズの定理を用いて確信度に変換する、
ことを更に含む5.から7.のいずれか1つに記載の情報処理方法。
Figure 0006888694
但し、n:前記車両の乗員数の真値、n’:前記算出手段により算出された前記車両の乗員数、x(ベクトルを表す矢印は省略):前記座席毎の信頼度、θ(ベクトルを表す矢印は省略)=(αi,βi,γi,j)(1≦i,j≦N):モデルパラメータであり定数、N:前記車両の最大乗員数。
9.
少なくとも1台のコンピュータに、5.から8.のいずれか1つに記載の情報処理方法を実行させるプログラム。

Claims (6)

  1. 道路を通行している車両をセンシングして得たセンシング結果を解析することにより、当該車両の乗員数および当該乗員数の確信度を算出する算出手段と、
    解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択する選択手段と、
    前記選択手段により選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする処理手段と、
    を備え、
    前記算出手段は、
    前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
    前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出する、
    情報処理装置。
  2. 前記算出手段は、少なくとも1台の撮像装置を用いて撮像された複数の画像を用いて、前記座席毎の信頼度を算出する、
    請求項1に記載の情報処理装置。
  3. 前記算出手段は、BBN(Bayesian Belief Network)を用いて、前記座席毎の信頼度を算出する、
    請求項1または2に記載の情報処理装置。
  4. 前記算出手段は、下記の式(1)から得られる尤度分布を、ベイズの定理を用いて確信度に変換する、
    請求項1から3のいずれか1項に記載の情報処理装置。
    Figure 0006888694
    但し、n:前記車両の乗員数の真値、n’:前記算出手段により算出された前記車両の乗員数、x(ベクトルを表す矢印は省略):前記座席毎の信頼度、θ(ベクトルを表す矢印は省略)=(α,β,γi,j)(1≦i,j≦N):モデルパラメータであり定数、N:前記車両の最大乗員数。
  5. 少なくとも1台のコンピュータが、
    道路を通行している車両をセンシングして得たセンシング結果を解析することにより、
    前記車両の乗員数を算出し、
    前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
    前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出し、
    解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択し、
    選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする、
    ことを含む情報処理方法。
  6. 少なくとも1台のコンピュータに、請求項5に記載の情報処理方法を実行させるプログラム。
JP2019562690A 2017-12-28 2017-12-28 情報処理装置、情報処理方法、およびプログラム Active JP6888694B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/047301 WO2019130562A1 (ja) 2017-12-28 2017-12-28 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019130562A1 JPWO2019130562A1 (ja) 2020-12-24
JP6888694B2 true JP6888694B2 (ja) 2021-06-16

Family

ID=67066884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019562690A Active JP6888694B2 (ja) 2017-12-28 2017-12-28 情報処理装置、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US11338753B2 (ja)
EP (1) EP3734571B1 (ja)
JP (1) JP6888694B2 (ja)
AU (1) AU2017444732B2 (ja)
CA (1) CA3087142A1 (ja)
WO (1) WO2019130562A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230245461A1 (en) * 2020-03-16 2023-08-03 Nec Corporation Situation notification device, situation notification system, situation notificationmethod, and program storage medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801662B1 (en) * 2000-10-10 2004-10-05 Hrl Laboratories, Llc Sensor fusion architecture for vision-based occupant detection
US20030169906A1 (en) * 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US7636479B2 (en) * 2004-02-24 2009-12-22 Trw Automotive U.S. Llc Method and apparatus for controlling classification and classification switching in a vision system
US7558772B2 (en) * 2005-12-08 2009-07-07 Northrop Grumman Corporation Information fusion predictor
JP2007216920A (ja) 2006-02-20 2007-08-30 Fujitsu Ten Ltd 自動車の座席制御装置、座席制御用プログラムおよび車載ナビゲーション装置
US20090309974A1 (en) 2008-05-22 2009-12-17 Shreekant Agrawal Electronic Surveillance Network System
US8520074B2 (en) * 2010-12-14 2013-08-27 Xerox Corporation Determining a total number of people in an IR image obtained via an IR imaging system
WO2014061195A1 (ja) * 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
WO2015052896A1 (ja) * 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
US10416671B2 (en) * 2017-07-11 2019-09-17 Waymo Llc Methods and systems for vehicle occupancy confirmation
JP6820074B2 (ja) * 2017-07-19 2021-01-27 日本電気株式会社 乗員数検知システム、乗員数検知方法、およびプログラム
US11403865B2 (en) * 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program

Also Published As

Publication number Publication date
JPWO2019130562A1 (ja) 2020-12-24
CA3087142A1 (en) 2019-07-04
AU2017444732B2 (en) 2022-04-07
US20210053523A1 (en) 2021-02-25
AU2017444732A1 (en) 2020-07-16
US11338753B2 (en) 2022-05-24
WO2019130562A1 (ja) 2019-07-04
EP3734571A4 (en) 2021-01-06
EP3734571A1 (en) 2020-11-04
EP3734571B1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
CN111105011B (zh) 用于对有用学习数据进行取舍筛选的基于cnn的方法及装置
JP7196412B2 (ja) 物体認識装置、及び、物体認識方法
US6801244B2 (en) Obstacle detection apparatus and method
US7062071B2 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image using optical flow
US6459974B1 (en) Rules-based occupant classification system for airbag deployment
JP4426436B2 (ja) 車両検知装置
KR20200094651A (ko) 사람의 상태 인식을 기반으로 신체 부위 길이 및 얼굴 정보를 사용하여 승객의 키 및 몸무게를 예측하는 방법 및 장치
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
US20090202145A1 (en) Learning appartus, learning method, recognition apparatus, recognition method, and program
US20030185421A1 (en) Image processing apparatus and method
JP4364275B2 (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
JP4743312B2 (ja) 画像識別装置
KR101869266B1 (ko) 극한 심층학습 기반 차선 검출 시스템 및 그 방법
CN111507156B (zh) 利用乘客的关键点检测车辆占有的方法及装置
JP2004131078A (ja) 乗員の上部胴体を識別するための乗員ラベリングシステム、その方法、並びにそれらを使用した乗員追跡およびエアバッグ展開システム
CN110956255A (zh) 难样本挖掘方法、装置、电子设备及计算机可读存储介质
JP2021033510A (ja) 運転支援装置
CN112561967A (zh) 一种车辆门锁的控制方法及装置
JP6888694B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US8552862B2 (en) System and method for detecting multi-level intrusion events and computer program product thereof
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN113421298A (zh) 车辆测距方法、车辆控制装置、车辆及可读存储介质
CN105787963A (zh) 一种视频目标跟踪方法及装置
EP4089629A1 (en) Human detection device, human detection method, and recording medium
CN113627562A (zh) 一种目标检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210503

R150 Certificate of patent or registration of utility model

Ref document number: 6888694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150