JP7161318B2 - 乗車人数監視システム - Google Patents

乗車人数監視システム Download PDF

Info

Publication number
JP7161318B2
JP7161318B2 JP2018116649A JP2018116649A JP7161318B2 JP 7161318 B2 JP7161318 B2 JP 7161318B2 JP 2018116649 A JP2018116649 A JP 2018116649A JP 2018116649 A JP2018116649 A JP 2018116649A JP 7161318 B2 JP7161318 B2 JP 7161318B2
Authority
JP
Japan
Prior art keywords
unit
passenger
coordinates
upper body
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018116649A
Other languages
English (en)
Other versions
JP2019219899A (ja
Inventor
健一 勝又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2018116649A priority Critical patent/JP7161318B2/ja
Priority to EP19175871.3A priority patent/EP3584746B1/en
Priority to US16/420,490 priority patent/US11256936B2/en
Priority to CN201910531654.XA priority patent/CN110633615B/zh
Publication of JP2019219899A publication Critical patent/JP2019219899A/ja
Application granted granted Critical
Publication of JP7161318B2 publication Critical patent/JP7161318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、乗車人数監視システムに関する。
車両に乗車する人数を監視する技術として、例えば、カメラによって乗員全員が撮影された画像を顔認識して、顔認識された人の数から乗車人数を計数する自律走行車両が開示されている。また、特許文献２には、画像を複数の認識ブロックへ分割し、当該認識ブロックに人がいるか否かを判断して人数をカウントする監視装置が記載されている。
特開２０１５－２００９３３号公報 特開２０１５－００７９５３号公報
ところで、車両に乗車する人数を計数する従来の計数方法では、乗車人数を計数する精度を向上させたいとのニーズがある。
本発明は、上記の事情に鑑みてなされたものであって、乗車人数を計数する精度を向上させることができる乗車人数監視システムを提供することを目的とする。
上記目的を達成するために、本発明に係る乗車人数監視システムは、車両の室内の搭乗者までの距離を含む深度画像を撮像する撮像部と、前記撮像部によって撮像された前記深度画像から前記搭乗者の顔を認識する顔認識部と、前記撮像部によって撮像された前記深度画像から前記搭乗者の上半身を認識する上半身認識部と、前記顔認識部による前記顔の認識結果と前記上半身認識部による前記上半身の認識結果とを組み合わせて前記搭乗者の人数を計数する計数部と、を備え、前記計数部は、前記顔認識部によって認識された前記顔の前記室内における３次元の第１座標と前記上半身認識部によって認識された前記上半身の頭部の前記室内における３次元の第２座標とを組み合わせて前記人数を計数し、前記第１座標と前記第２座標との距離が予め設定された閾値よりも小さい場合、前記顔認識部によって認識された前記顔と前記上半身認識部によって認識された前記上半身とを組み合わせて１人と計数し、前記第１座標と前記第２座標との距離が前記閾値以上である場合、前記顔認識部によって認識された前記顔と前記上半身認識部によって認識された前記上半身とを組み合わせずそれぞれ１人として計数する、ことを特徴とする。
また、上記乗車人数監視システムでは、前記計数部は、前記第１座標と前記第２座標とのいずれか一方に、前記距離が前記閾値よりも小さい他方が複数存在する場合、前記距離が近いもの同士を組み合わせて１人として計数し、残りをそれぞれ１人として計数するものとすることができる。
また、上記乗車人数監視システムでは、前記計数部によって計数された前記人数が予め設定された前記車両の定員数を超えている場合に警報する処理を行う動作制御部をさらに備えるものとすることができる。
また、上記乗車人数監視システムでは、前記車両の天井の前記室内側の面に設けられ、前記撮像部、前記顔認識部、前記上半身認識部、及び、前記計数部の少なくとも１つが組み付けられる筐体を備えるものとすることができる。
本発明に係る乗車人数監視システムは、顔認識部が深度画像から認識した顔の第１座標と、上半身認識部が深度画像から認識した上半身の第２座標とを組み合わせて、搭乗者の人数を計数する。この結果、乗車人数監視システム１は、深度画像で顔及び上半身の少なくとも一方が認識できれば、搭乗者の人数を計数することができるので、乗車人数を計数する精度を向上させることができる、という効果を奏する。
図１は、実施形態に係る乗車人数監視システムが適用される車両の室内の概略構成を表す模式図である。 図２は、実施形態に係る乗車人数監視システムの概略構成を表すブロック図である。 図３は、実施形態に係る乗車人数監視システムの外観を表す斜視図である。 図４は、実施形態に係る乗車人数監視システムの撮像例を表す図である。 図５は、実施形態に係る乗車人数監視システムの計数動作の一例を示す図である。 図６は、実施形態に係る乗車人数監視システムの処理部の制御の一例を表すフローチャート図である。 図７は、実施形態に係る乗車人数監視システムの顔認識処理の一例を表すフローチャート図である。 図８は、実施形態に係る乗車人数監視システムの上半身認識処理の一例を表すフローチャート図である。 図９は、実施形態に係る乗車人数監視システムの計数処理の一例を表すフローチャート図である。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
図１から図５を参照して、実施形態について説明する。図１は、実施形態に係る乗車人数監視システムが適用される車両の室内の概略構成を表す模式図である。図２は、実施形態に係る乗車人数監視システムの概略構成を表すブロック図である。図３は、実施形態に係る乗車人数監視システムの外観を表す斜視図である。図４は、実施形態に係る乗車人数監視システムの撮像例を表す図である。なお、図１に示す矢印Ｘ方向は、車両１００の車幅方向とする。図１に示す矢印Ｙ方向は、車両１００の長さ方向（前後方向）とする。図１に示す矢印Ｚ方向は、車両１００の高さ方向とする。
図１に示す本実施形態に係る乗車人数監視システム１は、車両１００に搭載され、当該車両１００の室内１０１の搭乗者ＯＢを監視し、搭乗者ＯＢに対する様々な処理を行う車載システム（車室内監視システム）である。搭乗者ＯＢは、乗車人数監視システム１による監視の対象者である。搭乗者ＯＢは、車両１００の室内１０１に乗車した搭乗者であり、車両１００の運転者や運転者以外の同乗者を含む。
図１に示す一例では、車両１００は、運転席１０５と、後部座席１０７とを備える。なお、本実施形態では、車両１００は、自動車である場合について説明するが、例えば、バス、電車等であってもよい。そして、本実施形態の乗車人数監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、種々の機能を統合したオーバーヘッドモジュール（ＯＨＭ：Ｏｖｅｒ－Ｈｅａｄ Ｍｏｄｕｌｅ）を構成する。
以下、図１、図２、図３、図４を参照して乗車人数監視システム１の構成について詳細に説明する。
乗車人数監視システム１は、筐体２と、撮像部３と、出力部４と、照明部５と、操作部６と、外部接続部７と、制御部８とを備える。なお、オーバーヘッドモジュールを構成する乗車人数監視システム１は、この他、例えば、無線通信部、アンテナ、電源分配部等を備えていてもよい。
筐体２は、乗車人数監視システム１を構成する各部を収容するものである。筐体２は、複数の部材が組み合わさって全体として中空箱状に形成される。筐体２は、絶縁性を有する合成樹脂によって形成される。ここでは、筐体２は、内部に撮像部３、出力部４、照明部５、操作部６、外部接続部７、及び、制御部８が組み付けられこれらを収容し、オーバーヘッドモジュールとしてユニット化する。筐体２は、内部に収容した撮像部３、出力部４、照明部５、操作部６、外部接続部７の一部が外面に露出している。そして、本実施形態の筐体２は、車両１００の天井（ルーフパネル）１０２の室内１０１側の面に設けられる。天井１０２は、ピラー等を介して車両ボデー本体に連結され当該車両ボデー本体の鉛直方向上側に支持された構造体である。車両１００は、天井１０２を鉛直方向上側の境界として、室内１０１と室外とに領域分けされる。ここでは、筐体２は、例えば、天井１０２とウインドシールド１０３との交差部分でかつ車両１００の車幅方向の略中央位置に設けられる。
撮像部３は、車両１００の室内１０１の搭乗者ＯＢまでの距離を計測する３次元のＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、距離画像センサ等を含む。撮像部３は、搭乗者ＯＢまでの距離と画素値とが対応付けられた画素を含む深度画像を撮像するものである。本実施形態の撮像部３は、室内１０１の搭乗者ＯＢの顔及び上半身の３次元位置を計測可能な深度画像を撮像する機能を有する。本実施形態では、撮像部３は、ＴＯＦカメラを用いることで、暗い環境でも搭乗者ＯＢの撮像を可能としている。
撮像部３は、例えば、レンズが筐体２の外面に露出し、光軸が室内１０１の運転席１０５、後部座席１０７側を向くように当該筐体２に設けられる。撮像部３は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。例えば、撮像部３は、撮像した深度画像を制御部８に出力する。なお、本実施形態では、撮像部３は、筐体２に設けられる場合について説明するが、例えば、車両１００の前列及び後列に分けて設ける構成としてもよい。
例えば、図４に示す深度画像Ｇは、運転席１０５で前方を向いている搭乗者ＯＢ１と、助手席１０６で下方を向いている搭乗者ＯＢ２とを含む室内１０１を撮像部３によって撮像した画像である。この場合、深度画像Ｇは、２次元画像Ｇ１と、３次元情報である距離画像Ｇ２とを含む。２次元画像Ｇ１は、搭乗者ＯＢ１及び搭乗者ＯＢ２と、その背景である室内１０１とを示す画像である。２次元画像Ｇ１は、搭乗者ＯＢ１及び搭乗者ＯＢ２の顔認識に用いられる。距離画像Ｇ２は、室内１０１の物体までの奥行き、高さ、幅、形状を示す画像である。距離画像Ｇ２は、搭乗者ＯＢ１及び搭乗者ＯＢ２の上半身認識に用いられる。なお、図４に示す一例では、距離画像Ｇ２は、搭乗者ＯＢ１及び搭乗者ＯＢ２に対応した部分のみを示し、背景に対応した部分を省略している。
出力部４は、車両１００の室内１０１に向けて、種々の情報を出力するものである。ここでは、出力部４は、表示部４１と、スピーカ４２とを含んで構成される。表示部４１は、視覚情報（図形情報、文字情報）を出力する表示装置である。表示部４１は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。スピーカ４２は、聴覚情報（音声情報、音情報）を出力する出力装置である。出力部４を構成する表示部４１、スピーカ４２は、それぞれ、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
照明部５は、車両１００の室内１０１を照明するものであり、例えば、マップランプ等である。照明部５は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
操作部６は、車両１００の室内１０１側から種々の操作を入力可能な操作機器である。操作部６は、例えば、押しボタン、静電容量式タッチスイッチや赤外線センサ等の非接触式センサ等によって構成される。操作部６は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
外部接続部７は、筐体２の外部の電気機器が電気的に接続される部分である。外部接続部７は、種々の形式のコネクタやインターフェース部によって構成される。外部接続部７は、警報装置９が電気的に接続される。警報装置９は、搭乗者ＯＢに定員オーバーを警報することができる。
外部接続部７は、車両１００の各部を統括的に制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）や車両１００の天井１０２の室内１０１側の面の後部座席側の位置に設けられるリヤモジュール等が電気的に接続される。外部接続部７は、制御部８、及び、筐体２の外部の電気機器に電気的に接続され、相互に電気信号を授受可能である。
図２に示す一例では、外部接続部７は、例えば、メータユニット２０１と、先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）ＥＣＵ２０２とが電気的に接続されている。メータユニット２０１は、車両１００の運転席１０５の前方に設けられ、当該車両１００の運転者、搭乗者等から目視可能なものである。メータユニット２０１は、例えば、車両１００のコンビネーションメータ、ヘッドアップディスプレイ、テレビジョン等が用いられる。
先進運転支援システムＥＣＵ２０２は、車両１００の周辺状況に関する周辺状況情報を出力する。周辺状況情報は、例えば、車両１００の周辺環境や車両１００の周辺の人物、他車両、障害物等の外部物体を撮像した周辺画像情報、外部物体の有無や当該外部物体との相対距離、相対速度、ＴＴＣ（Ｔｉｍｅ－Ｔｏ－Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）等を表す外部物体情報等を含んでいてもよい。
制御部８は、乗車人数監視システム１の各部を統括的に制御する部分である。制御部８は、搭乗者ＯＢの状態監視や様々な支援に関する種々の演算処理を実行する。制御部８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部８は、撮像部３、出力部４、照明部５、操作部６、及び、外部接続部７が電気的に接続される。制御部８は、撮像部３によって撮像された深度画像に対応した画像信号、各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。
具体的には、制御部８は、機能概念的に、記憶部８１、及び、処理部８２を含んで構成される。記憶部８１、及び、処理部８２は、電気的に接続されている各種機器との間で種々の情報を授受することができる。記憶部８１は、メモリ等の記憶装置である。記憶部８１は、制御部８での各種処理に必要な条件や情報、制御部８で実行する各種プログラム等が格納されている。そして、記憶部８１は、表示部４１に表示する一部の画像等の視覚情報やスピーカ４２で出力する音声等の聴覚情報も記憶している。また、記憶部８１は、撮像部３が撮像した深度画像に関する情報や外部接続部７を介して取得された各種情報を一時的に記憶することもできる。記憶部８１は、処理部８２によって各種情報が必要に応じて読み出される。処理部８２は、各種入力信号等に基づいて、記憶部８１に記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する。
図２に示す一例では、記憶部８１は、必要情報８１ａと、人数情報８１ｂとを記憶することができる。必要情報８１ａは、搭乗者ＯＢの顔及び上半身の認識、人数の計数等に必要な条件や情報を含む。例えば、必要情報８１ａは、搭乗者ＯＢの顔及び上半身の認識に用いられる学習辞書、車両１００の定員数等を示す情報を含む。なお、学習辞書の一例については、後述する。人数情報８１ｂは、室内１０１の搭乗者ＯＢの人数を計数した結果を示す情報を含む。
処理部８２は、より詳細には、機能概念的に、顔認識部８３、上半身認識部８４、計数部８５、及び、動作制御部８６を含んで構成される。処理部８２は、プログラムを実行することにより、顔認識部８３、上半身認識部８４、計数部８５、及び、動作制御部８６を実現する。
顔認識部８３は、撮像部３によって撮像された深度画像Ｇから搭乗者ＯＢの顔を認識する。顔認識部８３は、例えば、種々の公知の人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術や深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術を用いて、深度画像Ｇの２次元画像Ｇ１を走査した画素値に基づいて搭乗者ＯＢの顔を認識する。例えば、顔認識部８３は、記憶部８１の必要情報８１ａに記憶されている学習辞書等と撮像部３によって撮像された深度画像Ｇの２次元画像Ｇ１とを照合し、搭乗者ＯＢの顔を認識する。なお、学習辞書は、人工知能技術や深層学習技術を用いた様々な手法を用いて顔の特徴量等がデータベース化された情報である。学習辞書は、例えば、外部接続部７を介して他の電子機器から取得してもよい。また、顔認識部８３は、例えば、背景差分法、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｍｅａｎ Ｓｈｉｆｔ法、パターンマッチング等によって深度画像Ｇの画素値に基づいて搭乗者ＯＢの顔を認識してもよい。例えば、顔認識部８３は、撮像部３によって撮像された深度画像Ｇの２次元画像Ｇ１と事前に撮像しておいた室内１０１の室内画像との画素値の情報を比較し、室内画像とは異なる画素値の画素部分を搭乗者ＯＢの人体部分として抽出し、当該人体部分から顔の部分を認識してもよい。顔認識部８３は、室内１０１に車両１００の前方を向いている搭乗者ＯＢの顔を認識する。そして、顔認識部８３は、認識した搭乗者ＯＢの顔の特定ポイントを検出し、当該特定ポイントの室内１０１における３次元の第１座標を算出する。特定ポイントは、例えば、顔の中心、目、鼻、口等のポイントを含む。顔認識部８３は、算出した第１座標を深度画像に紐付けて記憶部８１に記憶する。
例えば、顔認識部８３は、図４に示す深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識する場合、前方を向いている搭乗者ＯＢ１の顔を認識でき、下方を向いている搭乗者ＯＢ２の顔を認識できない。この結果、顔認識部８３は、認識できた搭乗者ＯＢ１の顔の中心である第１座標Ｃ１を算出する。
上半身認識部８４は、撮像部３によって撮像された深度画像Ｇから搭乗者ＯＢの上半身を認識する。上半身認識部８４は、例えば、種々の公知の人工知能技術や深層学習技術を用いて、深度画像Ｇの距離画像Ｇ２を走査した画素が示す距離の情報に基づいて搭乗者ＯＢの上半身を認識する。例えば、顔認識部８３は、記憶部８１の必要情報８１ａに記憶されている学習辞書等と撮像部３によって撮像された深度画像Ｇの距離画像Ｇ２とを照合し、搭乗者ＯＢの上半身を認識する。なお、学習辞書は、人工知能技術や深層学習技術を用いた様々な手法を用いて上半身の特徴量等がデータベース化された情報である。また、顔認識部８３は、撮像部３によって撮像された深度画像Ｇの距離画像Ｇ２と事前に撮像しておいた室内１０１の室内距離画像との画素が示す距離の情報を比較し、室内画像とは異なる距離の画素部分を搭乗者ＯＢの人体部分として抽出し、当該人体部分から上半身を認識してもよい。そして、上半身認識部８４は、認識した搭乗者ＯＢの上半身を認識すると、当該上半身の頭部の室内１０１における３次元の第２座標を算出する。上半身認識部８４は、算出した第２座標を深度画像に紐付けて記憶部８１に記憶する。
例えば、上半身認識部８４は、図４に示す深度画像Ｇの距離画像Ｇ２から搭乗者ＯＢの上半身を認識する場合、前方を向いている搭乗者ＯＢ１の上半身、及び、下方を向いている搭乗者ＯＢ２の上半身の双方を認識できる。この結果、上半身認識部８４は、認識できた搭乗者ＯＢ１、ＯＢ２のそれぞれの上半身の頭部の中心である第２座標Ｄ１、Ｄ２を算出する。
計数部８５は、顔認識部８３による搭乗者ＯＢの顔の認識結果と上半身認識部８４による搭乗者ＯＢの上半身の認識結果とを組み合わせて搭乗者ＯＢの人数を計数する。言い換えると、計数部８５は、顔認識部８３によって認識された搭乗者ＯＢの顔と、上半身認識部８４によって認識された搭乗者ＯＢの上半身とを組み合わせて搭乗者ＯＢの人数を計数する。本実施形態では、計数部８５は、顔認識部８３によって認識された顔の室内１０１における３次元の第１座標と、上半身認識部８４によって認識された上半身の室内１０１における３次元の第２座標とを組み合わせて搭乗者ＯＢの人数を計数する。計数部８５は、計数した搭乗者ＯＢの人数を人数情報８１ｂに記憶する。計数部８５は、第１座標と第２座標との組み合わせ結果に基づいて人数を計数する機能を有する。計数部８５は、第１座標と第２座標との距離が予め定められた必要情報８１ｂの判定閾値よりも小さい場合、顔認識部８３によって認識された顔と上半身認識部８４によって認識された上半身とを組み合わせて１人と計数する。言い換えると、計数部８５は、第１座標と第２座標との距離が必要情報８１ｂの判定閾値よりも小さい場合、第１座標と第２座標との１つの組み合わせを１人と計数する。すなわち、計数部８５は、距離が必要情報８１ｂの判定閾値よりも小さい第１座標と第２座標とが同一の搭乗者ＯＢの３次元座標であると判定し、第１座標と第２座標と組み合わせることで、３次元座標が重複するのを回避している。また、計数部８５は、第１座標と第２座標との距離が必要情報８１ｂの判定閾値以上である場合、顔認識部８３によって認識された顔と上半身認識部８４によって認識された上半身とを組み合わせずそれぞれ１人として計数する。言い換えると、計数部８５は、第１座標と第２座標との距離が必要情報８１ｂの判定閾値以上である場合、第１座標と第２座標とを組み合わせずに、それぞれの第１座標の数と第２座標の数とを計数する。なお、必要情報８１ｂの判定閾値は、第１座標と第２座標とが同一の搭乗者ＯＢのものであるか否かを判定するための閾値である。例えば、第１座標が顔の中心を示す３次元座標であり、第２座標が頭部の中心を示す３次元座標である場合、必要情報８１ｂの判定閾値は、一般的な顔の中心位置と頭部の中心位置とを距離を学習して定められた閾値となっている。また、計数部８５は、第１座標と第２座標とのいずれか一方に、距離が判定閾値よりも小さい他方が複数存在する場合、距離が近いもの同士を組み合わせて１人として計数し、残りをそれぞれ１人として計数する機能を有する。
図４に示す一例では、計数部８５は、２次元画像Ｇ１から算出された搭乗者ＯＢ１の第１座標Ｃ１と、距離画像Ｇ２の搭乗者ＯＢ１の第２座標Ｄ１及び搭乗者ＯＢ２の第２座標Ｄ２との組み合わせから人数を計数する。この場合、計数部８５は、室内１０１において、第１座標Ｃ１と第２座標Ｄ１との距離が判定閾値よりも小さいので、第１座標Ｃ１と第２座標Ｄ１とを組み合わせ、当該組み合わせを１人と計数する。そして、計数部８５は、室内１０１において、第２座標Ｄ２の周囲には第１座標が存在しないので、第２座標Ｄ２を１人として計数する。すなわち、計数部８５は、第１座標Ｃ１と第２座標Ｄ１との組み合わせが１つと、第２座標Ｄ２が１つなので、室内１０１の搭乗者の人数は２人と計数する。このように、計数部８５は、搭乗者ＯＢ１の第１座標Ｃ１と第２座標Ｄ１とが重複しているので、重複した３次元座標の計数を回避している。
動作制御部８６は、動作制御処理を実行可能な部分である。動作制御処理とは、撮像部３、出力部４、照明部５、及び、操作部６等の乗車人数監視システム１の各部の動作を制御する処理である。動作制御部８６は、撮像部３、出力部４（表示部４１、スピーカ４２）、照明部５、操作部６、外部接続部７、記憶部８１と電気的に接続される。動作制御部８６は、撮像部３に駆動信号を出力することで撮像部３の動作を制御し、搭乗者ＯＢを含む深度画像Ｇの撮像を開始させたり当該撮像を終了させたりすることができる。また、動作制御部８６は、出力部４（表示部４１、スピーカ４２）に駆動信号を出力することで出力部４の動作を制御し、表示部４１に視覚情報を表示させたりスピーカ４２に聴覚情報を出力させたりすることができる。また、動作制御部８６は、照明部５に駆動信号を出力することで照明部５の動作を制御し、照明部５を点灯させたり照明部５を消灯させたりすることができる。さらに、動作制御部８６は、操作部６から入力された操作信号に基づいて操作部６に対する操作入力を受け付け、照明部５の点灯、消灯を切り替えたり表示部４１による表示内容を切り替えたり各種設定を行ったりすることができる。動作制御部８６は、外部接続部７を介してメータユニット２０１に表示要求を出力することで、メータユニット２０１に情報を表示させることができる。動作制御部８６は、外部接続部７を介して先進運転支援システムＥＣＵ２０２に支援要求信号を出力し、上記の車両情報、周辺状況情報等を取得することができる。動作制御部８６は、外部接続部７を介して警報装置９に駆動信号を出力することで、警報装置９の動作を制御することができる。
そして、動作制御部８６は、計数部８５によって計数された人数が車両１００の定員数を超えている場合に警報する処理を行う。動作制御部８６は、当該警報する処理を実行することにより、定員オーバーを示す警報情報を出力部４に出力させたり、外部接続部７を介して定員オーバーを警報装置９に警報させたりすることができる。
次に、図５を参照しながら、乗車人数監視システム１による乗車人数を計数する動作の一例を説明する。図５は、実施形態に係る乗車人数監視システム１の計数動作の一例を示す図である。
図５に示すステップＳ１では、車両１００の室内１０１には、搭乗者ＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４が乗車している。具体的には、搭乗者ＯＢ１は、車両１００の運転席１０５に座り、顔を車両１００の進行方向Ｍに向けている。搭乗者ＯＢ２は、車両１００の助手席１０６に座り、顔は進行方向Ｍとは異なる方向に向けている。搭乗者ＯＢ３は、車両１００の後部座席１０７に座り、顔を進行方向Ｍに向けている。搭乗者ＯＢ４は、搭乗者ＯＢ３の子供であり、搭乗者ＯＢ３に抱えられた状態で車両１００の後部座席１０７に位置し、顔を進行方向Ｍとは逆方向に向けている。
ステップＳ１では、乗車人数監視システム１の撮像部３は、搭乗者ＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４を含む室内１０１の深度画像Ｇを撮像する。撮像部３は、撮像した深度画像Ｇを記憶部８１に記憶する。
ステップＳ２では、乗車人数監視システム１の顔認識部８３は、撮像部３によって撮像された深度画像Ｇの２次元画像Ｇ１から運転席１０５の搭乗者ＯＢ１の顔と、後部座席１０７の搭乗者ＯＢ３の顔とを認識する。すなわち、顔認識部８３は、当該深度画像Ｇの２次元画像Ｇ１から助手席１０６の搭乗者ＯＢ２の顔と、後部座席１０７の搭乗者ＯＢ４の顔とを認識できていない。この結果、顔認識部８３は、運転席１０５付近の第１座標Ｃ１と、後部座席１０７付近の第１座標Ｃ３とを算出する。
また、ステップＳ２では、乗車人数監視システム１の上半身認識部８４は、撮像部３によって撮像された深度画像Ｇの距離画像Ｇ２から運転席１０５の搭乗者ＯＢ１の上半身と、助手席１０６の搭乗者ＯＢ２の上半身と、後部座席１０７の搭乗者ＯＢ３の上半身と、後部座席１０７の搭乗者ＯＢ４の上半身とを認識する。この結果、上半身認識部８４は、運転席１０５付近の第２座標Ｄ１と、助手席１０６付近の第２座標Ｄ２と、後部座席１０７付近の２つの第２座標Ｄ３、Ｄ４とを算出する。
ステップＳ２では、乗車人数監視システム１の計数部８５は、顔認識部８３によって算出された第１座標Ｃ１、Ｃ３と上半身認識部８４によって算出された第２座標Ｄ１、Ｄ２、Ｄ３、Ｄ４との組み合わせを判別する。例えば、計数部８５は、第１座標Ｃ１、Ｃ３と第２座標Ｄ１、Ｄ２、Ｄ３、Ｄ４との距離が判定閾値よりも小さくなる組み合わせを求める。この結果、計数部８５は、運転席１０５では、第１座標Ｃ１と第２座標Ｄ１とが１対１に組み合わされると判断する。計数部８５は、助手席１０６では、第２座標Ｄ１と組になる第１座標が存在しないと判断する。計数部８５は、後部座席１０７では、第１座標Ｃ３と第２座標Ｄ３、Ｄ４とが１対２に組み合わされると判断する。なお、図５に示す一例では、第１座標Ｃ３と第２座標Ｄ３との距離Ｌ１は、第１座標Ｃ３と第２座標Ｄ４との距離Ｌ２よりも小さくなっているものとする。
ステップＳ３では、計数部８５は、組み合わせ結果に基づいて、運転席１０５では第２座標Ｄ１、後部座席１０７では第１座標Ｃ３をそれぞれ無効化している。この結果、計数部８５は、運転席１０５では第１座標Ｃ１、助手席１０６では第２座標Ｄ２、後部座席１０７では第２座標Ｄ３、Ｄ４をそれぞれ正規化する。そして、計数部８５は、正規化した４つの第１座標Ｃ１、第２座標Ｄ２、第２座標Ｄ３、第２座標Ｄ４の数を計数して、室内１０１における搭乗者ＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４の人数を４人と計数する。計数部８５は、計数した人数を人数情報８１ｂに記憶する。すなわち、計数部８５は、第１座標Ｃ３との距離が判定閾値よりも小さい第２座標Ｄ３、Ｄ４が存在するので、当該距離が近い第１座標Ｃ３と第２座標Ｄ３とを組み合わせて１人として計数し、残りの第２座標Ｄ４を１人として計数している。
また、例えば、着席している搭乗者ＯＢの足下から胸元に至る荷物を当該搭乗者ＯＢの前方に置いている場合、乗車人数監視システム１は、撮像部３によって撮像した深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識できても、当該荷物によって距離画像Ｇ２から搭乗者ＯＢの上半身を認識できない可能性がある。この場合、乗車人数監視システム１は、深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識することができるので、距離画像Ｇ２から上半身を認識できない搭乗者ＯＢも室内１０１の人数として計数することができる。
以上で説明した乗車人数監視システム１は、顔認識部８３が深度画像Ｇから認識した搭乗者ＯＢの顔と、上半身認識部８４が深度画像Ｇから認識した搭乗者ＯＢの上半身とを組み合わせて、搭乗者ＯＢの人数を計数する。例えば、搭乗者ＯＢが下方を向いた状態で就寝している場合、長時間にわたって搭乗者ＯＢの顔を認識できない可能性がある。このような場合、乗車人数監視システム１は、搭乗者ＯＢの上半身に基づいて就寝中の搭乗者ＯＢを計数できる。この結果、乗車人数監視システム１は、深度画像Ｇから顔及び上半身の少なくとも一方が認識できれば、搭乗者ＯＢの人数を計数することができるので、乗車人数を計数する精度を向上させることができる。
乗車人数監視システム１は、計数部８５が顔認識部８３によって認識された顔の３次元の第１座標と、上半身認識部８４によって認識された上半身の頭部の３次元の第２座標とを組み合わせて搭乗者ＯＢの人数を計数する。この結果、乗車人数監視システム１は、搭乗者ＯＢの顔と頭部という近い人体の部位の３次元座標の組み合わせを確認するので、組み合わせの判定精度を向上させることができる。
乗車人数監視システム１は、第１座標と第２座標との距離が予め設定された必要情報８１ａの判定閾値よりも小さい場合、計数部８５が顔認識部８３によって認識された顔と上半身認識部８４によって認識された上半身とを組み合わせて１人と計数し、第１座標と第２座標との距離が判定閾値以上である場合、計数部８５が顔認識部８３によって認識された顔と上半身認識部８４によって認識された上半身とを組み合わせずそれぞれ１人として計数する。この結果、乗車人数監視システム１は、離れた位置の第１座標と第２座標とが組み合わされることを防止し、かつ、近接する複数の搭乗者ＯＢの３次元座標を計数に用いることができるので、乗車人数を計数する精度をより一層向上させることができる。
乗車人数監視システム１は、計数部８５が第１座標と第２座標とのいずれか一方に、距離が必要情報８１ａの判定閾値よりも小さい他方が複数存在する場合、第１座標と第２座標との距離が近いもの同士を組み合わせて１人として計数し、残りをそれぞれ１人として計数する。この結果、乗車人数監視システム１は、複数の搭乗者ＯＢの顔、頭部等が接近していても、当該複数の搭乗者ＯＢの人数を算出できるので、乗車人数を計数する精度をより一層向上させることができる。
乗車人数監視システム１は、撮像部３、制御部８を含む各部が筐体２に設けられるので、当該乗車人数監視システム１全体をオーバーヘッドモジュールとしてユニット化することができる。この構成により、乗車人数監視システム１は、車両１００に対する搭載性を向上することができる。
次に、図６のフローチャート図を参照して、制御部８の処理部８２の制御の一例を説明する。図６は、実施形態に係る乗車人数監視システム１の処理部８２の制御の一例を表すフローチャート図である。図６に示すフローチャート図は、車両１００の乗車人数の監視に関する処理手順の一例を示す。図６に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図６に示す処理手順は、処理部８２によって繰り返し実行される。
まず、乗車人数監視システム１の制御部８の処理部８２は、撮像部３によって撮像された深度画像Ｇを取得する（ステップＳ１０１）。そして、処理部８２は、顔認識処理を実行する（ステップＳ１０２）。顔認識処理は、例えば、ステップＳ１で取得した深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識し、認識した顔の３次元座標を算出する処理である。なお、顔認識処理の詳細については、後述する。処理部８２は、ステップＳ１０２の処理を実行することにより、上記の顔認識部８３として機能する。そして、処理部８２は、顔認識処理が終了すると、処理をステップＳ１０３に進める。
処理部８２は、上半身認識処理を実行する（ステップＳ１０３）。上半身認識処理は、例えば、ステップＳ１で取得した深度画像Ｇの距離画像Ｇ２から搭乗者ＯＢの上半身を認識し、認識した上半身の頭部の３次元座標を算出する処理である。なお、上半身認識処理の詳細については、後述する。処理部８２は、ステップＳ１０３の処理を実行することにより、上記の上半身認識部８４として機能する。そして、処理部８２は、上半身認識処理が終了すると、処理をステップＳ１０４に進める。
処理部８２は、乗車人数の計数処理を実行する（ステップＳ１０４）。計数処理は、例えば、ステップＳ２で算出した第１座標とステップＳ３で算出した第２座標とを組み合わせて乗車人数を計数する処理である。なお、計数処理の詳細については、後述する。処理部８２は、ステップＳ１０４の処理を実行することにより、上記の計数部８５として機能する。そして、処理部８２は、計数処理が終了すると、処理をステップＳ１０５に進める。
処理部８２は、乗車人数が車両１００の定員数を超えているか否かを判定する（ステップＳ１０５）。例えば、処理部８２は、ステップＳ１０４で計数された人数が、必要情報８１ａが示す車両１００の定員数を超えている場合に、乗車人数が車両１００の定員数を超えていると判定する。処理部８２は、乗車人数が車両１００の定員数を超えていると判定した場合（ステップＳ１０５でＹｅｓ）、処理をステップＳ１０６に進める。
処理部８２は、乗車人数が定員数を超えていることを警報させる（ステップＳ１０６）。例えば、処理部８２は、定員オーバーを示す警報情報を出力部４に出力させる。この結果、出力部４は、警報情報を搭乗者ＯＢに対して出力することで、定員オーバーを警報する。なお、処理部８２は、外部接続部７を介して警報情報による警報を警報装置９、メータユニット２０１等に要求してもよい。この結果、警報装置９、メータユニット２０１等は、警報情報に基づいて定員オーバーを警報できる。処理部８２は、ステップＳ１０６の処理を実行することにより、上記の動作制御部８６として機能する。処理部８２は、警報させると、図６に示す処理手順を終了させる。
処理部８２は、乗車人数が車両１００の定員数を超えていないと判定した場合（ステップＳ１０５でＮｏ）、処理をステップＳ１０７に進める。処理部８２は、人数を出力する（ステップＳ１０７）。例えば、処理部８２は、ステップＳ１０４で計数された人数を示す情報を出力部４に出力させる。この結果、出力部４は、人数を搭乗者ＯＢに対して出力することができる。なお、処理部８２は、外部接続部７を介してメータユニット２０１に人数を示す情報を出力してもよい。処理部８２は、人数を出力すると、図６に示す処理手順を終了させる。
図６に示す処理手順は、乗車人数が車両１００の定員数を超えていないと、ステップＳ１０７で人数を出力させる場合について説明したが、これに限定されない。例えば、図６に示す処理手順は、ステップＳ１０７の処理を削除し、乗車人数が車両１００の定員数を超えていない場合は、処理を行わない処理手順としてもよい。
以上で説明した乗車人数監視システム１は、動作制御部８６が計数部８５によって計数された人数が車両１００の定員数を超えている場合に警報する処理を行う。この結果、乗車人数監視システム１は、計数の精度が向上しているので、当該人数が車両１００定員数を超えたことを警報することで、警報の精度を向上させることができる。特に、複数の搭乗者ＯＢが顔を接近させている状態であっても、乗車人数監視システム１は、人数を正確に計数できるので、定員オーバーの警報精度も向上させることができる。
次に、図７のフローチャート図を参照して、制御部８の処理部８２による顔認識処理の一例を説明する。図７は、実施形態に係る乗車人数監視システム１の顔認識処理の一例を表すフローチャート図である。図７に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図７に示す処理手順は、処理部８２が図６に示すステップＳ１０２を実行することにより、起動される。
まず、乗車人数監視システム１の制御部８の処理部８２は、深度画像Ｇの２次元画像Ｇ１から搭乗者ＯＢの顔を認識する（ステップＳ２０１）。例えば、処理部８２は、深度画像Ｇの２次元画像Ｇ１を走査した結果と学習辞書の顔の特徴量とを照合し、２次元画像Ｇ１から搭乗者ＯＢの顔を認識する。処理部８２は、顔の認識結果を記憶部８１に記憶すると、処理をステップＳ２０２に進める。
処理部８２は、ステップＳ２０１の認識結果に基づいて、顔が認識できたか否かを判定する（ステップＳ２０２）。処理部８２は、顔が認識できていないと判定した場合（ステップＳ２０２でＮｏ）、図７に示す処理手順を終了させ、図６に示した処理手順に復帰する。処理部８２は、顔が認識できたと判定した場合（ステップＳ２０２でＹｅｓ）、処理をステップＳ２０３に進める。
処理部８２は、顔の中心を示す２次元座標を算出する（ステップＳ２０３）。例えば、処理部８２は、顔を認識した２次元画像Ｇ１における顔の中心を示す２次元座標（ｘ，ｙ）を算出する。そして、処理部８２は、算出した２次元座標（ｘ，ｙ）を３次元の第１座標に変換する（ステップＳ２０４）。例えば、処理部８２は、顔の中心を示す２次元座標（ｘ，ｙ）を距離画像Ｇ２上に投影、すなわち、顔の中心に対応した距離画像Ｇ２における３次元座標（ｘ，ｙ，ｚ）を第１座標として求める。また、処理部８２は、顔の中心を示す３次元座標（ｘ，ｙ，ｚ）を中心に予め定められた半径の球範囲のトリム平均値を算出して第１座標を求めてもよい。そして、処理部８２は、変換した第１座標を記憶部８１に記憶する（ステップＳ２０５）。その後、処理部８２は、図７に示す処理手順を終了させ、図６に示した処理手順に復帰する。
なお、図７に示す処理手順は、深度画像Ｇの２次元画像Ｇ１から顔を複数認識した場合、ステップＳ２０３からステップＳ２０５が複数の顔の全てに対してそれぞれの処理を行うことを前提としているが、これに限定されない。例えば、図７に示す処理手順は、ステップＳ２０３からステップＳ２０５の一連の処理を、認識した顔の数だけ繰り返す処理手順としてもよい。
次に、図８のフローチャート図を参照して、制御部８の処理部８２による上半身認識処理の一例を説明する。図８は、実施形態に係る乗車人数監視システム１の上半身認識処理の一例を表すフローチャート図である。図８に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図８に示す処理手順は、処理部８２が図６に示すステップＳ１０３を実行することにより、起動される。
まず、乗車人数監視システム１の制御部８の処理部８２は、深度画像Ｇの距離画像Ｇ２から搭乗者ＯＢの上半身を認識する（ステップＳ３０１）。例えば、処理部８２は、深度画像Ｇの距離画像Ｇ２を走査した結果と学習辞書の上半身の特徴量とを照合し、距離画像Ｇ２から搭乗者ＯＢの上半身を認識する。処理部８２は、上半身の認識結果を記憶部８１に記憶すると、処理をステップＳ３０２に進める。
処理部８２は、ステップＳ３０１の認識結果に基づいて、上半身が認識できたか否かを判定する（ステップＳ３０２）。処理部８２は、上半身が認識できていないと判定した場合（ステップＳ３０２でＮｏ）、図８に示す処理手順を終了させ、図６に示した処理手順に復帰する。処理部８２は、上半身が認識できたと判定した場合（ステップＳ３０２でＹｅｓ）、処理をステップＳ３０３に進める。
処理部８２は、上半身の頭部を推定する（ステップＳ３０３）。例えば、処理部８２は、距離画像Ｇ２で認識した上半身と学習辞書の頭部の特徴量とを照合し、上半身の頭部を推定する。そして、処理部８２は、推定した頭部の中心を示す３次元の第２座標を算出する（ステップＳ３０４）。例えば、処理部８２は、上半身を認識した距離画像Ｇ２における上半身の頭部の中心を示す３次元座標（ｘ，ｙ，ｚ）を算出する。なお、処理部８２は、距離画像Ｇ２における頭部の領域のトリム平均値を算出して第２座標を算出してもよい。そして、処理部８２は、算出した第２座標を記憶部８１に記憶する（ステップＳ３０５）。その後、処理部８２は、図８に示す処理手順を終了させ、図６に示した処理手順に復帰する。
なお、図８に示す処理手順は、深度画像の距離画像Ｇ２から上半身を複数認識した場合、ステップＳ３０３からステップＳ３０５が複数の上半身の全てに対してそれぞれの処理を行うことを前提としているが、これに限定されない。例えば、図８に示す処理手順は、ステップＳ３０３からステップＳ３０５の一連の処理を、認識した上半身の数だけ繰り返す処理手順としてもよい。
次に、図９のフローチャート図を参照して、制御部８の処理部８２による計数処理の一例を説明する。図９は、実施形態に係る乗車人数監視システム１の計数処理の一例を表すフローチャート図である。図９に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図９に示す処理手順は、処理部８２が図６に示すステップＳ１０４を実行することにより、起動される。
まず、乗車人数監視システム１の制御部８の処理部８２は、第１座標及び第２座標を一元化する（ステップＳ４０１）。例えば、処理部８２は、顔認識処理で算出した第１座標と上半身認識処理で算出した第２座標とを室内１０１の３次元空間にプロットする。そして、処理部８２は、第１座標と第２座標との距離が判定閾値よりも小さくなる組み合わせを検出する（ステップＳ４０２）。例えば、図５に示した一例の場合、処理部８２は、第１座標Ｃ１と第２座標Ｄ１との１対１の組み合わせと、第１座標Ｃ３と第２座標Ｄ３、Ｄ４との１対２の組み合わせとを２つ検出することになる。
処理部８２は、ステップＳ４０２の検出結果に基づいて、組み合わせを検出したか否かを判定する（ステップＳ４０３）。処理部８２は、組み合わせを検出していないと判定した場合（ステップＳ４０３でＮｏ）、処理を後述するステップＳ４０９に進める。処理部８２は、組み合わせを検出したと判定した場合（ステップＳ４０３でＹｅｓ）、処理をステップＳ４０４に進める。
処理部８２は、ステップＳ４０２の検出結果に基づいて、１対１の組み合わせパターンがあるか否かを判定する（ステップＳ４０４）。処理部８２は、１対１の組み合わせパターンがないと判定した場合（ステップＳ４０４でＮｏ）、処理を後述するステップＳ４０６に進める。処理部８２は、１対１の組み合わせパターンがあると判定した場合（ステップＳ４０４でＹｅｓ）、処理をステップＳ４０５に進める。
処理部８２は、１対１の第１座標と第２座標との組み合わせを紐付ける（ステップＳ４０５）。例えば、図５に示した一例の場合、処理部８２は、第１座標Ｃ１と第２座標Ｄ１とを紐付ける。なお、処理部８２は、１対１の第１座標と第２座標との組み合わせが複数ある場合、全ての組み合わせに対して紐付け処理を行う。処理部８２は、ステップＳ４０５の処理を終了すると、処理をステップＳ４０６に進める。
処理部８２は、ステップＳ４０２の検出結果に基づいて、１対１とは異なる組み合わせパターンがあるか否かを判定する（ステップＳ４０６）。処理部８２は、１対１とは異なる組み合わせパターンがないと判定した場合（ステップＳ４０６でＮｏ）、処理を後述するステップＳ４０８に進める。処理部８２は、１対１とは異なる組み合わせパターンがあると判定した場合（ステップＳ４０６でＹｅｓ）、処理をステップＳ４０７に進める。
処理部８２は、複数の組み合わせパターンの中から、距離が最小となる第１座標と第２座標との組み合わせを紐付ける（ステップＳ４０７）。例えば、図５に示した一例の場合、複数の組み合わせパターンは、第１座標Ｃ３と第２座標Ｄ３との組み合わせパターンと、第１座標Ｃ３と第２座標Ｄ４との組み合わせパターンとを含む。この場合、処理部８２は、第１座標Ｃ３と第２座標Ｄ３との距離Ｌ１、第１座標Ｃ３と第２座標Ｄ４との距離Ｌ２を求める。そして、処理部８２は、距離Ｌ１が距離Ｌ２よりも小さいので、第１座標Ｃ３と第２座標Ｄ３とを紐付ける。すなわち、処理部８２は、第１座標Ｃ３と第２座標Ｄ４とを紐付けない。処理部８２は、ステップＳ４０７の処理を終了すると、処理をステップＳ４０８に進める。
処理部８２は、紐付けられた第１座標と第２座標とのうち一方を正規化する（ステップＳ４０８）。例えば、処理部８２は、第１座標と第２座標とのうちの削除する３次元座標を指定する情報等に基づいて、紐付けられた第１座標と第２座標とのうちの一方を正規化し、他方を削除する。そして、処理部８２は、正規化した３次元座標を記憶部８１に記憶すると、処理をステップＳ４０９に進める。
処理部８２は、紐付けられていない第１座標及び第２座標を正規化する（ステップＳ４０９）。すなわち、処理部８２は、深度画像Ｇから搭乗者ＯＢに対して第１座標または第２座標の一方のみ算出した場合、当該算出した３次元座標を正規化する。そして、処理部８２は、正規化した３次元座標を記憶部８１に記憶すると、処理をステップＳ４１０に進める。なお、処理部８２は、紐付けられていない第１座標及び第２座標が記憶部８１に記憶されていない場合、ステップＳ４０９の処理を行わずに、処理をステップＳ４１０に進める。
処理部８２は、正規化した３次元座標の数を人数として計数する（ステップＳ４１０）。例えば、処理部８２は、正規化した３次元座標の数が４つである場合、人数は４人として計数する。そして、処理部８２は、計数した人数を人数情報８１ｂに記憶すると、図９に示す処理手順を終了させ、図６に示した処理手順に復帰する。
以上の説明では、乗車人数監視システム１は、計数した乗員人数に基づいて定員オーバーを監視する場合について説明したが、これに限定されない。例えば、乗車人数監視システム１は、計数した乗員人数を車両１００の乗車履歴として記憶部８１に記憶したり、車両１００を監視する外部装置に外部接続部７を介して出力したりしてもよい。
以上の説明では、乗車人数監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、オーバーヘッドモジュールを構成するものとして説明したがこれに限らない。乗車人数監視システム１は、例えば、制御部８が筐体２の外部に設けられ、配索材を介して各部と電気的に接続される構成であってもよく、例えば、制御部８が車両１００の各部を統括的に制御する車両ＥＣＵによって兼用されて構成されてもよい。また、乗車人数監視システム１は、例えば、車両１００に搭載されるドライブレコーダ、メータユニット、ナビゲーション装置、カーオーディオ装置等の他の車載機器に組み込んで実現してもよい。
１ 乗車人数監視システム
２ 筐体
３ 撮像部
４ 出力部
５ 照明部
６ 操作部
７ 外部接続部
８ 制御部
８１ 記憶部
８１ａ 必要情報
８１ｂ 人数情報
８２ 処理部
８３ 顔認識部
８４ 上半身認識部
８５ 計数部
８６ 動作制御部
９ 警報装置
１００ 車両
１０１ 室内
１０５ 運転席
１０６ 助手席
１０７ 後部座席
Ｃ１、Ｃ３ 第１座標
Ｄ１、Ｄ２、Ｄ３、Ｄ４ 第２座標
Ｇ 深度画像
Ｇ１ ２次元画像
Ｇ２ 距離画像
ＯＢ 搭乗者

Claims (4)

  1. 車両の室内の搭乗者までの距離を含む深度画像を撮像する撮像部と、
    前記撮像部によって撮像された前記深度画像から前記搭乗者の顔を認識する顔認識部と、
    前記撮像部によって撮像された前記深度画像から前記搭乗者の上半身を認識する上半身認識部と、
    前記顔認識部による前記顔の認識結果と前記上半身認識部による前記上半身の認識結果とを組み合わせて前記搭乗者の人数を計数する計数部と、
    を備え、
    前記計数部は、
    前記顔認識部によって認識された前記顔の前記室内における３次元の第１座標と前記上半身認識部によって認識された前記上半身の頭部の前記室内における３次元の第２座標とを組み合わせて前記人数を計数し、
    前記第１座標と前記第２座標との距離が予め設定された閾値よりも小さい場合、前記顔認識部によって認識された前記顔と前記上半身認識部によって認識された前記上半身とを組み合わせて１人と計数し、
    前記第１座標と前記第２座標との距離が前記閾値以上である場合、前記顔認識部によって認識された前記顔と前記上半身認識部によって認識された前記上半身とを組み合わせずそれぞれ１人として計数する、
    ことを特徴とする乗車人数監視システム。
  2. 前記計数部は、前記第１座標と前記第２座標とのいずれか一方に、前記距離が前記閾値よりも小さい他方が複数存在する場合、前記距離が近いもの同士を組み合わせて１人として計数し、残りをそれぞれ１人として計数する、
    請求項１に記載の乗車人数監視システム。
  3. 前記計数部によって計数された前記人数が予め設定された前記車両の定員数を超えている場合に警報する処理を行う動作制御部をさらに備える、
    請求項１または２に記載の乗車人数監視システム。
  4. 前記車両の天井の前記室内側の面に設けられ、前記撮像部、前記顔認識部、前記上半身認識部、及び、前記計数部の少なくとも１つが組み付けられる筐体を備える、
    請求項１から３のいずれか１項に記載の乗車人数監視システム。
JP2018116649A 2018-06-20 2018-06-20 乗車人数監視システム Active JP7161318B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018116649A JP7161318B2 (ja) 2018-06-20 2018-06-20 乗車人数監視システム
EP19175871.3A EP3584746B1 (en) 2018-06-20 2019-05-22 Vehicle occupant count monitoring system
US16/420,490 US11256936B2 (en) 2018-06-20 2019-05-23 Vehicle occupant count monitoring system
CN201910531654.XA CN110633615B (zh) 2018-06-20 2019-06-19 乘车人数监视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116649A JP7161318B2 (ja) 2018-06-20 2018-06-20 乗車人数監視システム

Publications (2)

Publication Number Publication Date
JP2019219899A JP2019219899A (ja) 2019-12-26
JP7161318B2 true JP7161318B2 (ja) 2022-10-26

Family

ID=66630207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116649A Active JP7161318B2 (ja) 2018-06-20 2018-06-20 乗車人数監視システム

Country Status (4)

Country Link
US (1) US11256936B2 (ja)
EP (1) EP3584746B1 (ja)
JP (1) JP7161318B2 (ja)
CN (1) CN110633615B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7134364B2 (ja) * 2019-09-05 2022-09-09 三菱電機株式会社 体格判定装置および体格判定方法
JP7143836B2 (ja) * 2019-12-25 2022-09-29 株式会社デンソー 解析処理装置、解析処理方法、及び解析処理プログラム
CN111369394B (zh) * 2020-02-27 2021-05-14 浙江力石科技股份有限公司 基于大数据的景区客流量统计评估系统及方法
JP7419122B2 (ja) * 2020-03-18 2024-01-22 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
US11494865B2 (en) * 2020-04-21 2022-11-08 Micron Technology, Inc. Passenger screening
US11091166B1 (en) 2020-04-21 2021-08-17 Micron Technology, Inc. Driver screening
CN112185143A (zh) * 2020-09-21 2021-01-05 成都三维大川新材料科技有限公司 一种城市智能化公交系统
JP7444272B2 (ja) * 2020-09-30 2024-03-06 日本電気株式会社 画像処理システム、通信装置、方法、及びプログラム
WO2022097260A1 (ja) * 2020-11-06 2022-05-12 日本電気株式会社 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ読み取り可能な記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051677A1 (en) 2011-08-31 2013-02-28 Morris Lee Methods and apparatus to count people in images
WO2014061195A1 (ja) 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
JP2015200933A (ja) 2014-04-04 2015-11-12 株式会社ニコン 自律走行車両
WO2017158647A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2861699A (en) * 1950-10-16 1958-11-25 Gen Mills Inc Method and apparatus for performing operations at a remote point
US7650212B2 (en) * 1995-06-07 2010-01-19 Automotive Technologies International, Inc. Pedal adjustment system and method
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
US6771818B1 (en) * 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
US7110570B1 (en) * 2000-07-21 2006-09-19 Trw Inc. Application of human facial features recognition to automobile security and convenience
JP4506381B2 (ja) * 2004-09-27 2010-07-21 沖電気工業株式会社 単独行動者及びグループ行動者検知装置
EP1650085A1 (en) * 2004-10-22 2006-04-26 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Occupant-sensing imaging system
CA2540404A1 (en) * 2005-03-21 2006-09-21 Magna International Inc. Image-based vehicle occupant classification system
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
JP5448952B2 (ja) * 2010-03-16 2014-03-19 グローリー株式会社 同一人判定装置、同一人判定方法および同一人判定プログラム
US11935281B2 (en) * 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
WO2012144195A1 (ja) * 2011-04-18 2012-10-26 パナソニック株式会社 撮像装置、撮像装置の合焦制御方法、及び集積回路
JP5866360B2 (ja) * 2011-07-13 2016-02-17 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像評価装置、画像評価方法、プログラム、および集積回路
JP5441071B2 (ja) * 2011-09-15 2014-03-12 国立大学法人 大阪教育大学 顔分析装置、顔分析方法、及びプログラム
US9964643B2 (en) * 2011-12-08 2018-05-08 Conduent Business Services, Llc Vehicle occupancy detection using time-of-flight sensor
US9195883B2 (en) * 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system
JP2014006586A (ja) * 2012-06-21 2014-01-16 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
US20140074566A1 (en) * 2012-09-11 2014-03-13 James K. McCoy Remote Sensing of Vehicle Occupancy
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
US9292923B2 (en) * 2013-03-06 2016-03-22 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor environments
US9866900B2 (en) * 2013-03-12 2018-01-09 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to detect shapes
TWI532620B (zh) 2013-06-24 2016-05-11 Utechzone Co Ltd Vehicle occupancy number monitor and vehicle occupancy monitoring method and computer readable record media
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
US9547085B2 (en) * 2014-05-16 2017-01-17 Palo Alto Research Center Incorporated Computer-implemented system and method for detecting vehicle occupancy
US9609385B2 (en) * 2014-08-28 2017-03-28 The Nielsen Company (Us), Llc Methods and apparatus to detect people
WO2016046212A1 (en) * 2014-09-22 2016-03-31 Foundation For Research And Technology - Hellas (Forth) Apparatuses, method and systems for recovering a 3-dimensional skeletal model of the human body
JP2016177393A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、顔認識方法、及びプログラム
CN204791055U (zh) * 2015-07-07 2015-11-18 都伊林 一种基于双目视觉的监狱人数统计装置
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
US20170068863A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Occupancy detection using computer vision
JP6509691B2 (ja) * 2015-09-10 2019-05-08 株式会社東芝 改札監視システム
JP6458792B2 (ja) * 2016-11-04 2019-01-30 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US20190318491A1 (en) * 2017-07-13 2019-10-17 Tempo Analytics Inc. System and method for gathering data related to quality service in a customer service environment
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user
US11295139B2 (en) * 2018-02-19 2022-04-05 Intellivision Technologies Corp. Human presence detection in edge devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051677A1 (en) 2011-08-31 2013-02-28 Morris Lee Methods and apparatus to count people in images
WO2014061195A1 (ja) 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
JP2015200933A (ja) 2014-04-04 2015-11-12 株式会社ニコン 自律走行車両
WO2017158647A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山下 隆義 外2名，距離情報を考慮したパーツ統合による人物検出の高精度化，電気学会論文誌D(産業応用部門誌)，日本，電気学会，2011年04月01日，Vol. 131, No. 4 (2011)，pp. 475-481，https://www.jstage.jst.go.jp/article/ieejias/131/4/131_4_475/_article/-char/ja/

Also Published As

Publication number Publication date
EP3584746B1 (en) 2023-06-28
CN110633615A (zh) 2019-12-31
US20190392233A1 (en) 2019-12-26
CN110633615B (zh) 2023-04-25
JP2019219899A (ja) 2019-12-26
US11256936B2 (en) 2022-02-22
EP3584746A1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
JP7161318B2 (ja) 乗車人数監視システム
US10909399B2 (en) Apparatus detecting driving incapability state of driver
US10572746B2 (en) Apparatus detecting driving incapability state of driver
EP3590772B1 (en) Monitoring system
CN106463065B (zh) 驾驶员的驾驶不能状态检测装置
CN107176161B (zh) 识别结果提示装置、识别结果提示方法以及自主移动体
CN109636924B (zh) 基于现实路况信息三维建模的车载多模式增强现实系统
CN112989907A (zh) 使用空间模型的基于神经网络的注视方向确定
US10249088B2 (en) System and method for remote virtual reality control of movable vehicle partitions
US20140226015A1 (en) Apparatus for monitoring surroundings of vehicle
CN110371018A (zh) 使用其他车辆车灯的信息改善车辆行为
EP3587186A1 (en) Vehicle interior lighting system
CN113276821A (zh) 驾驶员状态推断装置
CN113276822A (zh) 驾驶员状态推断装置
KR102655800B1 (ko) 차량 및 장애물 검출 방법
JP7331632B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
US11564073B2 (en) System and method for emotion detection and inter-vehicle communication
US20240078819A1 (en) Steering wheel contact detection
JP2022094829A (ja) 運転支援装置、運転支援方法、運転支援プログラム
CN117440902A (zh) 车辆用报告控制装置以及车辆用报告控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221014

R150 Certificate of patent or registration of utility model

Ref document number: 7161318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350