JP7390266B2 - 車載装置、乗客管理システム及び乗客管理方法 - Google Patents

Description

本発明は、車載装置、乗客管理システム及び乗客管理方法に関する。

バスに乗車する人物又はバスから降車する人物をバスに設置されたカメラの撮影画像を用いて検出する方法が提案されており、それらの方法の一種では人物の顔画像の撮影を通じて、乗車する人物又は降車する人物を検出する（下記特許文献１及び２参照）。

人物の顔画像から人物の個人識別（個人認証）を行う技術も実用化されている。

特開平１１－１７５７８２号公報 特開２０１８－１０６３１５号公報

これらを組み合わせ、バスの利用客を予め登録人物に設定して各登録人物の顔情報をシステムに組み込んでおく方法が検討される。この方法によれば、カメラ画像を用いて登録人物である乗客の乗降車の状況を把握することが可能となり、その結果を用い、運賃箱に現金を投入したりカードリーダにカードをかざしたりする必要もなく、登録人物の運賃をキャッシュレスで自動的に決済するといったことが可能となる。

但し、バスの利用客が全て登録人物であるとは限らず、非登録人物もバスの乗客となることが想定される。例えば、第１乗客が成人の登録人物である一方で、第２乗客が第１乗客の子供であって且つ当該子供が未成年の非登録人物である、といったことが考えられる。このような場合において、第１人物しかキャッシュレス決済に対応できないのであれば、第２人物だけ現金投入等による運賃支払いが必要となり、不便である。第１及び第２人物間を適正に関連付けることができれば、第１及び第２人物の運賃をまとめて第１人物のキャッシュレス決済の対象とするといったことが可能となり、利便性が高い。

本発明は、乗客間の適正な関連付けを可能とする車載装置、乗客管理システム及び乗客管理方法を提供することを目的とする。

本発明に係る車載装置は、乗客を輸送する車両に搭載される車載装置であって、各乗客を撮影するカメラ部と、前記カメラ部の撮影結果と所定の個人識別用データに基づき各乗客の個人識別を行う個人識別部と、第１乗客に対して前記個人識別が成功する一方で第２乗客に対して前記個人識別が失敗したとき、前記カメラ部による前記第１乗客及び前記第２乗客の撮影結果に基づき、前記第２乗客を前記第１乗客に関連付ける関連付け処理部と、を備えた構成（第１の構成）である。

上記第１の構成に係る車載装置において、前記関連付け処理部は、前記車両に対し前記第１乗客及び前記第２乗客が共通の乗車地点で乗車した後、搭乗期間を経て共通の降車地点にて降車し、且つ、前記第１乗客に対して前記個人識別が成功する一方で前記第２乗客に対して前記個人識別が失敗する特定ケースにおいて、前記搭乗期間における、前記第１乗客及び前記第２乗客に対する前記カメラ部の撮影結果に基づき、前記第２乗客を前記第１乗客に関連付ける構成（第２の構成）であっても良い。

上記第２の構成に係る車載装置において、前記カメラ部の撮影結果に基づき前記車両の車内において各乗客をトラッキングするトラッキング部を更に備え、前記関連付け処理部は、前記特定ケースにおいて、前記搭乗期間における前記第１乗客及び前記第２乗客へのトラッキング結果に基づき、前記第２乗客を前記第１乗客に関連付ける構成（第３の構成）であっても良い。

上記第３の構成に係る車載装置において、前記関連付け処理部は、前記特定ケースにおいて、前記搭乗期間における前記第１乗客及び前記第２乗客へのトラッキング結果に基づき、前記搭乗期間における前記第１乗客及び前記第２乗客間の距離を評価し、前記距離に基づいて前記第２乗客を前記第１乗客に関連付ける構成（第４の構成）であっても良い。

上記第４の構成に係る車載装置において、前記カメラ部は、前記車両へ乗車する際における各乗客を撮影することで乗車時カメラ画像を取得し、前記車両から降車する際における各乗客を撮影することで降車時カメラ画像を取得し、且つ、前記搭乗期間における各乗客を撮影することで搭乗中カメラ画像を取得し、前記関連付け処理部は、前記特定ケースにおいて、前記車両に対し前記第１乗客及び前記第２乗客が前記共通の乗車地点で乗車するときの、前記乗車時カメラ画像の共通フレーム画像中に前記第１乗客の顔画像及び前記第２乗客の顔画像が含まれており、前記距離が所定の距離条件を満たし、且つ、前記乗車時カメラ画像に基づく前記個人識別及び前記降車時カメラ画像に基づく前記個人識別が、前記１乗客に対して成功し、前記第２乗客に対して失敗するとき、前記第２乗客を前記第１乗客に関連付ける構成（第５の構成）であっても良い。

上記第１～第５の構成の何れかに係る車載装置において、前記関連付け処理部は、所定のマンマシンインターフェースに対し所定の関連付け要求が入力されたとき、前記カメラ部による前記第１乗客及び前記第２乗客の撮影結果に依らず、前記第２乗客を前記第１乗客に関連付ける構成（第６の構成）であっても良い。

上記第１～第６の構成の何れかに係る車載装置において、各乗客の個人ＩＤ、乗車日時、降車日時、乗車地点及び降車地点を格納した乗降車データベースを作成及び保持する乗降車管理部を更に備え、前記乗降車管理部は、前記第２乗客が前記第１乗客に関連付けられる場合、その関連付けを示す関連付け情報を前記乗降車データベースに含める構成（第７の構成）であっても良い。

本発明に係る乗客管理システムは、上記第１～第６の構成の何れかに係る車載装置と、前記車載装置と通信可能な外部装置と、を備え、前記外部装置は、前記車載装置との通信を介し前記車載装置から情報の提供を受けて、各乗客の個人ＩＤ、乗車日時、降車日時、乗車地点及び降車地点を格納した乗降車データベースを作成し、該乗降車データベースを保持する乗降車管理部を備え、前記乗降車管理部は、前記第２乗客が前記第１乗客に関連付けられる場合、その関連付けを示す関連付け情報を前記乗降車データベースに含める構成（第８の構成）である。

上記第８の構成に係る乗客管理システムにおいて、前記外部装置は、決済処理部を更に備え、前記決済処理部は、前記第２乗客が前記第１乗客に関連付けられる場合、前記車両の利用に関する前記第１乗客及び前記第２乗客の運賃の決済義務を前記第１乗客に割り当てる構成（第９の構成）であっても良い。

本発明に係る乗客管理方法は、乗客を輸送する車両に設置されたカメラ部にて各乗客を撮影し、前記カメラ部の撮影結果と所定の個人識別用データに基づき各乗客の個人識別を行う個人識別ステップと、第１乗客に対して前記個人識別が成功する一方で第２乗客に対して前記個人識別が失敗したとき、前記カメラ部による前記第１乗客及び前記第２乗客の撮影結果に基づき、前記第２乗客を前記第１乗客に関連付ける関連付けステップと、を備えた構成（第１０の構成）である。

本発明によれば、乗客間の適正な関連付けを可能とする車載装置、乗客管理システム及び乗客管理方法を提供することが可能となる。

本発明の実施形態に係るバスの概略的な側面図及び平面構造図である。 本発明の実施形態に係るバスサービスシステムの構成図である。 本発明の実施形態に係り、幾つかの期間と取得されるカメラ画像との関係を説明するための図である。 本発明の実施形態に係り、バスの車内天井に複数のカメラが分散設置される様子を示す図である。 本発明の実施形態に係り、車載装置にて保持される乗降車データベースの構造を示す図である。 本発明の実施形態に係るサーバ装置の機能ブロック図である。 本発明の実施形態に係り、サーバ装置にて保持される乗降車データベースの構造を示す図である。 本発明の実施形態に係り、サーバ装置にて保持される顧客登録データベースの構造を示す図である。 本発明の実施形態に属する第１実施例に係り、関連付け処理部の動作に特に注目した、乗客のバスの利用に関するフローチャートである。 本発明の実施形態に属する第１実施例に係り、二人の人物がバスに乗車する際に取得されるカメラ画像の例を示す図である。 本発明の実施形態に属する第１実施例に係り、二人の人物がバスに搭乗している最中に取得されるカメラ画像の例を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“３２”によって参照される個人識別用データ保持部は（図２参照）、個人識別用データ保持部３２と表記されることもあるし、保持部３２と略記されることもあり得るが、それらは全て同じものを指す。

図１（ａ）及び（ｂ）に、本発明の実施形態に係る車載装置（図２の車載装置１０に相当）が搭載されるバス１の概略的な側面図及び平面構造図を示す。バス１は多くの乗客を輸送することのできる大型輸送車両であり、乗客は輸送の対価として運賃をバス１の運転手又はバス１の運営会社に支払う。バス１には実際には屋根が設けられているが、図１（ｂ）では、屋根を除いたバス１の内部の様子（上面図）が示されている。

バス１の車内には、運転席２と、運賃箱３と、扉４及び５と、複数の座席６と、が設けられている。運転席２に座る運転手はバス１のステアリングホイールを操作することでバス１を操舵する。運転席２からステアリングホイールに向かう向きを「前方」と定義し、ステアリングホイールから運転席２に向かう向きを「後方」と定義する。前後方向に直交し且つ路面に平行な方向を左右方向と定義する。運転手は運転席２において前を向いて座っており、右側、左側は、運転手から見た右側、左側に相当する。

運賃箱３は運転席２の左側に設置される。乗客は現金を運賃箱３に投入することで運賃の支払いを行うことができる。また、運賃箱３にはカードリーダ（不図示）が設けられており、乗客は所定のカードをカードリーダに読み込ませることで、プリペイド方式又はポストペイ方式で運賃の支払いを行うこともできる。

扉４及び５はバス１の車体の一部を構成し、バス１の左端側側面部に設けられる。より具体的には、扉４はバス１の左端側側面部における運転席２の左横に設置され、扉５は左端側側面部における中央付近に設置される。扉４は扉５よりも前方側に設置される。バス１の走行中には扉４及び５は閉鎖状態にある。バス１の停止中には、バス１の所定機器に対する運転手の操作に基づき扉４又は５が開放状態となる。扉４が閉鎖状態にあるとき乗客は扉４を通じて乗車又は降車することはできず、扉４が開放状態にあるときに限り乗客は扉４を通じて乗車又は降車することができる。同様に、扉５が閉鎖状態にあるとき乗客は扉５を通じて乗車又は降車することはできず、扉５が開放状態にあるときに限り乗客は扉５を通じて乗車又は降車することができる。

図１（ｂ）において、符号７及び８はバス１の車内における通路を表している。通路７は運線席２と扉４との間に位置する通路であり、通路８は通路７よりも後側であって且つ扉５の右横に位置する通路である。本実施形態では、扉４及び通路７にて降車口が形成され、扉５及び通路８にて乗車口が形成されるものとする。乗車口はバス１に乗車する乗客専用の入り口であり、降車口はバス１から降車する乗客専用の出口である。

本実施形態において、乗車とは、或る人物がバス１の外部空間から扉５を通じてバス１の車内（バス１の内部空間）に入ってバス１の乗客となることを指す。故に、乗車する乗客とは、詳細には、バス１に乗るためにバス１の外側からバス１の内側（車内）へと移動する人物を指す。降車とは、バス１の車内（バス１の内部空間）にいる乗客が扉４を通じてバス１の外部空間に出ることを指す。故に、降車する乗客とは、詳細には、バス１から降りるためにバス１の内側（車内）からバス１の外側へと出てゆく人物を指す。扉５を通じてバス１に乗車する乗客は通路８を通ってバス１の車内に入り込み、バス１から降車する乗客は通路７を経由して扉４からバス１の外部に出る。また、或る人物がバス１に乗車する地点を乗車地点と称し、或る人物がバス１から降車する地点を降車地点と称する。

尚、乗車口及び降車口に関するバス１の構造は本実施形態で想定されるものに限定されず、任意である。即ち、バス１の乗車口及び降車口の位置関係は任意であって良いし、乗車口と降車口の機能を兼務する乗降車口がバス１に設けられていても良い。

バス１の車内にはカメラ２１～２３が設置される。カメラ２１は、扉５及び通路８を通じてバス１に乗車する人物（即ちバス１に乗車するためにバス１の外部空間からバス１の内部空間に入ってくる人物）を撮影可能な位置に配置される乗車客用カメラである。カメラ２２は、扉４及び通路７を通じてバスから降車する人物（即ちバス１から降車するためにバス１の内部空間からバス１の外部空間に出ていこうとする人物）を撮影可能な位置に配置される降車客用カメラである。カメラ２３はバス１の車内の様子を撮影するための車内カメラであり、バス１の車内の天井付近に設置される。

図２に、本実施形態に係るバスサービスシステムＳＹＳの構成図を示す。バスサービスシステムＳＹＳは、バス１に搭載される車載装置１０と、バス１及び車載装置１０の外部に設けられる外部装置であるサーバ装置ＳＶと、を備える。サーバ装置ＳＶは１以上のコンピュータ装置にて構成されていて良い。サーバ装置ＳＶが複数のコンピュータ装置にて構成される場合、所定の通信網を介して接続された複数のコンピュータ装置が協働することでサーバ装置ＳＶの機能が実現される。また、サーバ装置ＳＶは、いわゆるクラウドサーバを用いて構成されていて良い。車載装置１０は、カメラ部２０、信号処理部３０及び通信部４０を備える。

カメラ部２０はバス１に設置された１以上のカメラから成る。上述のカメラ２１～２３はカメラ部２０に設けられる。カメラ部２０に設けられる個々のカメラを単位カメラと称する。単位カメラは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサなどの撮像素子及び光学系を備え、自身の撮影領域（換言すれば視野）内の撮影を行って、撮影により得られた画像（即ち撮影領域内の像）を示す画像データを生成する。撮影領域内の撮影とは、詳細には、撮影領域内の被写体の撮影を意味する。単位カメラにより生成された画像データを、以下、カメラ画像データと称し、カメラ画像データにて表される二次元画像をカメラ画像と称する。単位カメラにより生成されたカメラ画像データは信号処理部３０に出力される。単位カメラは所定の撮影フレームレートにて自身の撮影領域内の撮影を周期的に繰り返し行う。撮影フレームレートは１秒間当たりの撮影の回数に相当する。撮影フレームレートは任意であるが、例えば３０［フレーム／秒］である。単位カメラにおいて撮影フレームレートの逆数の間隔で、順次、フレーム画像が得られる。各フレーム画像は二次元の静止画像である。１枚のフレーム画像は静止画像としてのカメラ画像に相当し、撮影フレームレートの逆数の間隔で時系列上に並ぶ複数枚のフレーム画像にて、動画像としてのカメラ画像が形成される。

信号処理部３０は、個人識別部３１、個人識別用データ保持部３２、トラッキング部３３、関連付け処理部３４、日時データ取得部３５、地点データ取得部３６及び乗降車管理部３７を備える。

個人識別部３１は顔検出部３１ａを有し、顔検出部３１ａの顔検出結果と個人識別用データ保持部３２の保持データとに基づいて各乗客の個人識別（個人認証）を行う。顔検出部３１ａはカメラ画像データに基づき顔検出処理を実行する。顔検出処理において、顔検出部３１は、任意の単位カメラにより取得されるカメラ画像に注目して、注目したカメラ画像内に人物の顔の画像が含まれているか否かを検出する。顔検出処理において、顔検出部３１は、注目したカメラ画像内に人物の顔の画像が含まれている場合、注目したカメラ画像内に含まれる人物の顔の画像を顔画像として抽出する。顔検出部３１ａは、任意の単位カメラにて取得されるカメラ画像に対し顔検出処理を行うことができるが、少なくとも、乗車客用カメラ２１にて取得されるカメラ画像と降車客用カメラ２２にて取得されるカメラ画像に対し顔検出処理を行う。

図３を参照し、バス１の乗客となる任意の人物ＰＳに注目して、人物ＰＳに対する顔検出処理を説明する。乗車客用カメラ２１は、乗車口を撮影可能な位置及び取り付け角度にて設置され、人物ＰＳがバス１に乗車するためにバス１の車外（バス１の外部空間）からバス１の車内（バス１の内部空間）へと入ってくる期間（以下、乗車対応期間と称する）において、当該人物ＰＳの顔を撮影する。乗車対応期間にて乗車客用カメラ２１にて取得されたカメラ画像を乗車時カメラ画像と称する。乗車時カメラ画像を形成する各フレーム画像には人物ＰＳの顔画像が含まれる（但し、一部のフレーム画像において人物ＰＳの顔画像が含まれないこともある）。顔検出部３１ａは、乗車時カメラ画像に対して顔検出処理を行うことで人物ＰＳの顔画像Ｆ_ＰＳを検出及び抽出できる。降車客用カメラ２２は、降車口を撮影可能な位置及び取り付け角度にて設置され、人物ＰＳがバス１から降車するためにバス１の車内（バス１の内部空間）からバス１の車外（バス１の外部空間）へと出ていく期間（以下、降車対応期間と称する）において、当該人物ＰＳの顔を撮影する。降車対応期間にて降車客用カメラ２２にて取得されたカメラ画像を降車時カメラ画像と称する。降車時カメラ画像を形成する各フレーム画像には人物ＰＳの顔画像が含まれる（但し、一部のフレーム画像において人物ＰＳの顔画像が含まれないこともある）。顔検出部３１ａは、降車時カメラ画像に対して顔検出処理を行うことで人物ＰＳの顔画像Ｆ_ＰＳを検出及び抽出できる。

個人識別用データ保持部３２は登録人物についての個人識別用データを保持する。登録人物の人数は１以上であり、登録人物が複数存在するとき、登録人物ごとの個人識別用データが保持部３２に保持される。登録人物は、バスサービスシステムＳＹＳに対して予め登録された人物である。以下では、登録人物が複数存在するものとする。登録人物でない人物を非登録人物と称する。

個人識別部３１は、乗客の乗車時において乗車時識別処理を行い、乗客の降車時において降車時識別処理を行う。乗車時識別処理において、個人識別部３１は、乗車時カメラ画像に対する顔検出処理の結果と個人識別用データとに基づき、乗車時カメラ画像から検出された顔画像に対応する人物の個人識別（換言すれば個人認証）を行う。降車時識別処理において、個人識別部３１は、降車時カメラ画像に対する顔検出処理の結果と個人識別用データとに基づき、降車時カメラ画像から検出された顔画像に対応する人物の個人識別（換言すれば個人認証）を行う。

個人識別により、顔画像に対応する人物が何れの登録人物と合致するかが特定される、或いは、顔画像に対応する人物が何れの登録人物にも合致しないと判断される。個人識別部３１において、顔画像に対応する人物が何れかの登録人物と合致すると判断されることを個人識別の成功と称し、その判断ができないことを、個人識別の失敗と称する。顔画像に対応する人物が非登録人物である場合には個人識別は失敗する。顔画像に対応する人物が何れかの登録人物と合致する場合でも個人識別が失敗することもあり得るが、本実施形態では、特に必要なき限り、そのような状況を無視し、顔画像に対応する人物が何れかの登録人物と合致する場合には乗車時識別処理及び降車時識別処理の何れにおいても当該顔画像に対し個人識別が成功するものとする。

個人識別用データはバス１を利用する人物の個人識別を行うために有益なデータであり、或る登録人物についての個人識別用データは当該登録人物の顔情報を含む。登録人物の顔情報は、登録人物の顔を撮影した画像そのものであっても良いし、それに加えて又はそれに代えて、登録人物の顔の撮影画像から抽出した登録人物の顔の特徴量データであっても良い。何れにせよ、カメラ画像に或る人物の顔画像が含まれている場合において、当該人物が特定の登録人物と一致するとき、特定の登録人物の個人識別用データと、特定の登録人物の顔画像を含むカメラ画像とに基づき、個人識別部３１により、当該カメラ画像中の顔画像に対応する人物は特定の登録人物であると判断される。尚、個人識別用データは、サーバ装置ＳＶから通信部４０を介して信号処理部３０に提供されるものであって良い。

トラッキング部３３は、主として車内カメラ２３にて取得されるカメラ画像に基づき、バス１の車内に位置する各乗客のトラッキングを行う。トラッキングとは、車内カメラ２３の撮影領域を含むカメラ部２０の撮影領域内において各乗客の位置を追跡することを指す。尚、トラッキングのために行われる処理をトラッキング処理と称する。車内カメラ２３は、バス１の車内の全体又は実質的に全体を自身の撮影領域内に収める。トラッキング部３３は、車内カメラ２３にて取得されたカメラ画像に基づき、乗客ごとに車内カメラ２３の撮影領域内での乗客の位置を認識及びトラッキングする。

或る人物ＰＳについて、人物ＰＳがバスに乗車した後であって且つ人物ＰＳがバスから降車する前の期間を、搭乗期間と称する（図３参照）。搭乗期間において人物ＰＳはバス１の車内に位置する。搭乗期間は乗車対応期間と降車対応期間との間の期間であると考えることができる。但し、乗車対応期間の後側の一部は搭乗期間と重複するという考え方も採用できるし、同様に、降車対応期間の前側の一部は搭乗期間と重複するという考え方も採用できる。何れにせよ、搭乗期間において人物ＰＳは車内カメラ２３の撮影領域内に収まって車内カメラ２３により撮影される。搭乗期間にて車内カメラ２３にて取得されたカメラ画像を搭乗中カメラ画像と称する。車内カメラ２３はバス１の車内天井に下方向きで設置されるので、基本的には、搭乗中カメラ画像を形成する各フレーム画像に人物ＰＳの頭部の画像（図３における頭部画像Ｈ_ＰＳに相当）が含まれることになる。

カメラ２１及び２３の撮影領域は乗車口及び乗車口付近にて重複しており、トラッキング部３３において、乗車客用カメラ２１にて撮影される人物と車内カメラ２３にて撮影される人物との対応付けが行われる。同様に、カメラ２２及び２３の撮影領域は降車口及び降車口付近にて重複しており、トラッキング部３３において、降車客用カメラ２２にて撮影される人物と車内カメラ２３にて撮影される人物との対応付けが行われる。このため、トラッキング部３３において、カメラ２１～２３の各カメラ画像に基づき各乗客の同定を行うことができる。即ち、トラッキング部３３は、カメラ２１～２３の各カメラ画像に基づき、乗車対応期間、搭乗期間及び降車対応期間の合成期間の全体に亘って各乗客の同定及びトラッキングを行うことができる。

車内カメラ２３として広角の画角を有するカメラを用いることが想定されるが、バス１の車内の大きさ及び形状等に応じて、図４に示す如く複数のカメラ２３ａにて車内カメラ２３を形成しても良い。この際、複数のカメラ２３ａはバス１の車内の天井に分散して設置される。複数のカメラ２３ａを用いて車内カメラ２３を構成することで、バス１の車内全体を容易に撮影領域に収めることが可能となる。この際、トラッキングが切れ目なく可能となるよう、複数のカメラ２３ａの撮影領域を部分的に互いに重複させ、バス１の車内全体領域を複数のカメラ２３ａの撮影領域の合成領域に収めると良い。

関連付け処理部３４は、特定の条件において或る乗客と他の乗客の関連付けを行う。関連付け処理の詳細は後述される。

日時データ取得部３５は現在の日付及び時刻を表す日時データを取得する。地点データ取得部３６はバス１の現在地を表す地点データを取得する。地点データ取得部３６はＧＰＳ（Global Positioning System）を用いて地点データを取得して良い。

乗降車管理部３７は、バス１の乗客に関する乗降車データベースＤＢ１を作成し、乗降車データベースＤＢ１を自身が有するメモリ（不図示）に保持する。図５に、乗降車データベースＤＢ１の構造を示す。乗降車データベースＤＢ１は１以上の乗降車データセットから成る。１つの乗降車データセットは、一人の乗客のバス１への乗降車の内容を記録するものである。乗降車データセットは乗客ごとに作成される。更に、乗降車データセットは、一人の乗客のバス１の乗車及び降車の組ごとに作成されるものとする。即ち例えば、或る一人の特定の乗客が２０２０年７月１７日の午前１０時台にバス１にて第１乗車地点から第１降車地点まで移動し、２０２０年７月１７日の午後１４時台にバス１にて第２乗車地点から第２降車地点まで移動した場合、当該特定の乗客に対応付けて２０２０年７月１７日の午前１０時台についての乗降車データセットと２０２０年７月１７日の午後１４時台についての乗降車データセットが作成され、それらが乗降車データベースＤＢ１に格納される。

登録人物及び非登録人物の何れかである注目人物についての乗降車データセットを説明する。注目人物についての乗降車データセットは、注目人物の個人ＩＤを示す個人ＩＤ情報５１１と、注目人物の年齢層（年齢であっても良い）を示す年齢情報５１２と、注目人物の性別を示す性別情報５１３と、注目人物が登録人物であるか否かを示す登録有無情報５１４と、注目人物と他の人物との関連付け状況を示す関連付け情報５１５と、注目人物のバス１への乗車日時及びバス１からの降車日時を示す乗降車日時情報５１６と、注目人物のバス１への乗車地点（例えば乗車したバス停）及びバス１からの降車地点（例えば降車したバス停）を示す乗降車地点情報５１７と、を互いに関連付けた状態で含む。

各登録人物には固有の個人ＩＤが割り当てられており、注目人物が登録人物である場合、注目人物の個人ＩＤ情報５１１は注目人物としての登録人物の個人ＩＤ（図５の“Ｒ１１１”、“Ｒ１１２”又は“Ｒ１１３”に対応）を示す。注目人物が登録人物ではなく、結果、注目人物に対して個人識別部３１による個人識別が失敗している場合には、各登録人物の個人ＩＤと区別可能な暫定個人ＩＤが注目人物に割り当てられ、注目人物の個人ＩＤ情報５１１は暫定個人ＩＤ（図５の“ＴＥＭＰ０１”に対応）を示す。

信号処理部３０は、注目人物についての乗車時カメラ画像又は降車時カメラ画像から抽出した注目人物の顔画像から、注目人物の年齢層及び性別を推定する推定処理部を有していて良く、その推定結果に基づき注目人物の年齢情報５１２及び性別情報５１３が作成される。但し、注目人物が登録人物である場合、サーバ装置ＳＶから車載装置１０に提供される登録人物の固有情報（図８参照）に基づき、注目人物の年齢情報５１２及び性別情報５１３が作成されても良い。

注目人物に対して個人識別部３１による個人識別が成功している場合、注目人物の登録有無情報５１４として、注目人物が登録人物であることを示す情報（図５の“ＹＥＳ”に対応）が格納される。注目人物に対して個人識別部３１による個人識別が失敗している場合、注目人物の登録有無情報５１４として、注目人物が非登録人物であること又は登録人物であることを確認できないことを示す情報（図５の“ＮＯ”に対応）が格納される。

関連付け処理部３４により第１注目人物と第２注目人物は互いに関連付けられることがある。第１及び第２注目人物が互いに関連付けられている場合、関連付け情報５１５は、第１及び第２注目人物が互いに関連付けられていることを示す。例えば、“Ｒ１１１”の個人ＩＤが割り当てられた登録人物が第１注目人物であって、且つ、“ＴＥＭＰ０１”の個人ＩＤ（暫定個人ＩＤ）が割り当てられた非登録人物が第２注目人物である場合において、関連付け処理部３４により第１及び第２注目人物が互いに関連付けられたとき、第１注目人物の関連付け情報５１５に対し第２注目人物の個人ＩＤ（暫定個人ＩＤ）“ＴＥＭＰ０１”が格納されると共に第２注目人物の関連付け情報５１５に対し第１注目人物の個人ＩＤ“Ｒ１１１”が格納され、これによって乗降車データベースＤＢ１上で第１及び第２注目人物が互いに関連付けられる。但し、第１注目人物の関連付け情報５１５に対する第２注目人物の個人ＩＤ（暫定個人ＩＤ）“ＴＥＭＰ０１”の格納、及び、第２注目人物の関連付け情報５１５に対する第１注目人物の個人ＩＤ“Ｒ１１１”の格納の内、一方を省略しても構わない。

注目人物がバス１に乗車する際に、そのときの乗車日時及び乗車地点が日時データ及び地点データにより取得され、当該注目人物に対する個人ＩＤに対応付けて、取得された乗車日時及び乗車地点が注目人物の乗降車データセットに記録される。その後、注目人物がバス１から降車する際に、そのときの降車日時及び降車地点が日時データ及び地点データにより取得され、当該注目人物に対する個人ＩＤに対応付けて。取得された降車日時及び降車地点が注目人物の乗降車データセットに記録される。これらの記録処理により注目人物についての乗降車日時情報５１６及び乗降車地点情報５１７が乗降車データベースＤＢ１に格納される。

図２を再度参照し、通信部４０は、所定の無線通信網を介しサーバ装置ＳＶと任意の信号及びデータの双方向通信を行う。信号処理部３０は、通信部４０を用いてサーバ装置ＳＶと双方向通信が可能である。

図６にサーバ装置ＳＶの機能ブロック図を示す。サーバ装置ＳＶは、乗降車管理部５１、顧客登録管理部５２及び決裁処理部５３を備える。

乗降車管理部５１は、バス１の乗客に関する乗降車データベースＤＢ１ａを作成し、乗降車データベースＤＢ１ａを自身が有するメモリ（不図示）に保持する。図７に乗降車データベースＤＢ１ａの構造を示す。乗降車データベースＤＢ１ａは、図５の乗降車データベースＤＢ１を内包するデータベースであり、乗降車データベースＤＢ１と同じ構造を有していて良い。乗降車管理部５１は、乗降車データベースＤＢ１の内容を示す情報を所定の無線通信網を介して車載装置１０から受けて（当該情報を車載装置１０から受信することで）、乗降車データベースＤＢ１ａを作成する。

例えば、車載装置１０側で保持される乗降車データベースＤＢ１は、第１所定期間分の乗降車データセット（例えば１日分又は１週間の乗降車データセット）だけを格納するデータベースである一方、乗降車データベースＤＢ１ａは、第１所定期間を超える第２所定期間分の乗降車データセット（例えば１０年分の乗降車データセット）を格納するデータベースである。尚、乗降車データベースＤＢ１及びＤＢ１ａは完全に同じものであっても構わない。

顧客登録管理部５２は、各登録人物についての登録情報をデータベース化した顧客登録データベースＤＢ２を作成し、顧客登録データベースＤＢ２を自身が有するメモリ（不図示）に保持する。図８に顧客登録データベースＤＢ２の構造の例を示す。顧客登録データベースＤＢ２では、登録人物ごとに登録人物の個人ＩＤ及び固有情報が格納される。登録人物の固有情報は、バスサービスシステムＳＹＳに対し登録人物が登録されるときに顧客登録管理部５２に提供される情報であり、図８の例では、登録人物の性別、年齢、生年月日、顔情報、決裁情報及び連絡先情報を含む。図８では、生年月日、顔情報、決裁情報及び連絡先情報を白丸にて表し、詳細な記述を省略している。登録人物の顔情報の意義は上述した通りであり、顧客登録データベースＤＢ２中の顔情報が通信部４０を介し信号処理部３０に提供されることで上述の個人識別用データが生成されて良い。

登録人物は、バスサービスシステムＳＹＳにおいて、オート決裁機能を利用できる。オート決裁機能において、決裁処理部５３は、乗降車データベースＤＢ１ａ及び顧客登録データベースＤＢ２を用い、各登録人物のバス１の利用に対する運賃の決済処理を行う。登録人物の決済情報は、上記決裁処理を行うために必要な情報（クレジットカード情報又は銀行口座情報や、それらに紐付けられた電子決済サービスの個人情報）である。オート決裁機能を利用する際、登録人物は、バス１の乗車又は降車に際し、運賃箱３への現金投入により運賃の支払いを行う必要はなく、所定のカードを運賃箱３のカードリーダに読み込ませることによる運賃の支払いを行う必要も無い。

人物ＰＳが登録人物であることを想定して、決裁処理部５３の具体的な動作例を説明する。人物ＰＳが２０２０年７月１７日の午前１０時２０分に第１地点にてバス１に乗車し、バス１にて第１地点から第２地点まで移動した後、２０２０年７月１７日の午前１０時４０分に第２地点にてバス１から降車したケースでは、それらの乗降車の内容を示す乗降車日時情報５１６及び乗降車地点情報５１７を人物ＰＳに対応付けた乗降車データセットが作成され（図５又は図７参照）、当該乗降車データセットが乗降車データベースＤＢ１及びＤＢ１ａに含められる。決裁処理部５３は、乗降車データベースＤＢ１ａを参照して、人物ＰＳの上記移動（第１地点から第２地点までのバスの利用）に関するバス１の運賃を所定の運賃算出条件にて算出し、算出した運賃の決済義務（支払い義務）を人物ＰＳに割り当てて、算出した運賃の決済を人物ＰＳの決済情報に基づいて実行する。例えば、人物ＰＳの決済情報に示された人物ＰＳの銀行口座から、算出した運賃を引き落とすための金融手続きを実行する。以下、オート決裁機能による決済をオート決裁と称することがある。

バス１の乗客が全て登録人物であって、各乗客に対して個人識別が成功するのであれば、単に、乗客ごとにオート決済を実行すれば足る。但し、バス１の乗客に非登録人物が含まれることも想定される。例えば、第１注目人物が成人の登録人物である一方で、第２注目人物が当該登録人物の子供であって且つ当該子供が未成年の非登録人物である、といったことが考えられる。このような場合において、第１及び第２注目人物がバス１に同乗したときに第１注目人物しかオート決裁できなければ、第２注目人物だけは現金決済等を行う必要が生じ、不便である。本実施形態では、関連付け処理部３４（図２参照）を用い、第１及び第２注目人物を互いに関連付けることで、第１及び第２注目人物の運賃を一括して第１注目人物に請求するといったことが可能となる。

以下、複数の実施例の中で、バスサービスシステムＳＹＳ（特に関連付け処理部３４）に関する幾つかの具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。

＜＜第１実施例＞＞
第１実施例を説明する。図９は、関連付け処理部３４の動作に特に注目した、乗客のバス１の利用に関するフローチャートである。今、人物ＰＳ１及びＰＳ２に注目する。ここでは、以下の関連付けケースを想定する。関連付けケースにおいて、人物ＰＳ１は成人の登録人物である一方、人物ＰＳ２は人物ＰＳ１の未成年の子供（例えば１０歳の子供）であって非登録人物であり、人物ＰＳ１及びＰＳ２は共通の乗車地点ＢＳ０１にてバス１に乗車した後、バス１にて乗車地点ＢＳ０１から降車地点ＢＳ０２まで移動し、共通の降車地点ＢＳ０２にてバス１から降車する。

関連付け処理部３４は、後述する第１～第４必要条件の充足又は不充足を判定し、人物ＰＳ１及びＰＳ２について、第１～第４必要条件が全て充足する場合に人物ＰＳ１及びＰＳ２を互いに関連付ける（換言すれば人物ＰＳ１に対して人物ＰＳ２を関連付ける）。第１～第４必要条件の内の、少なくとも１つ以上の必要条件が不充足であれば、関連付け処理部３４は人物ＰＳ１及びＰＳ２を互いに関連付けない（換言すれば人物ＰＳ１に対して人物ＰＳ２を関連付けない）。

関連付け処理部３４は、図９のステップＳ１１～Ｓ１４の処理を実行し、ステップＳ１１～Ｓ１４にて夫々第１～第４必要条件の充足又は不充足を判定する。尚、図９では、第１、第２、第３又は第４必要条件が不充足となった場合における処理の流れの記載を省略している。

ステップＳ１１に対応する第１必要条件は、人物ＰＳ１及びＰＳ２が共通の乗車地点ＢＳ０１にて乗車することを前提とする。人物ＰＳ１及びＰＳ２が共通の乗車地点ＢＳ０１にて乗車する際、人物ＰＳ１及びＰＳ２の乗車対応期間で乗車客用カメラ２１により取得される乗車時カメラ画像（図３参照）において、共通のフレーム画像中に人物ＰＳ１の顔画像及び人物ＰＳ２の顔画像が含まれることがあり、その場合において第１必要条件が充足する。

図１０に、第１必要条件が充足するときに取得されたフレーム画像５３０を示す。フレーム画像５３０は、人物ＰＳ１及びＰＳ２の乗車対応期間で乗車客用カメラ２１により取得される乗車時カメラ画像中の１枚のフレーム画像を表している。図１０において、顔画像Ｆ_ＰＳ１及びＦ_ＰＳ２は、フレーム画像５３０に含まれる人物ＰＳ１及びＰＳ２の顔画像に相当する。このように、第１必要条件は、人物ＰＳ１及びＰＳ２が共通の乗車地点ＢＳ０１にて乗車することを前提とし、人物ＰＳ１及びＰＳ２の乗車対応期間で乗車客用カメラ２１により取得される乗車時カメラ画像において、共通のフレーム画像中に人物ＰＳ１の顔画像及び人物ＰＳ２の顔画像が含まれるとき、充足する。人物ＰＳ１及びＰＳ２の乗車対応期間で乗車客用カメラ２１により取得される乗車時カメラ画像において、人物ＰＳ１の顔画像及び人物ＰＳ２の顔画像の双方を含んだフレーム画像が存在しないとき、第１必要条件は充足しない。

第２必要条件に対応するステップＳ１２では、乗車時識別処理において人物ＰＳ１及びＰＳ２の個人識別の成否が評価される。具体的には、乗車時識別処理において人物ＰＳ１に対する個人識別が成功し且つ人物ＰＳ２に対する個人識別が失敗しているときにのみ、第２必要条件は充足する。仮に、人物ＰＳ１及びＰＳ２の個人識別が夫々に成功するのであれば人物ＰＳ１及びＰＳ２を互いに関連付ける必要はない。

ステップＳ１１にて第１必要条件が充足し且つステップＳ１２にて第２必要条件が充足する場合に、ステップＳ１３に進んで第３必要条件の充足又は不充足が判定される。

ステップＳ１３では搭乗中カメラ画像（図３）が参照される。参照される搭乗中カメラ画像は、人物ＰＳ１及びＰＳ２にとって共通の搭乗期間にて車内カメラ２３により取得される搭乗中カメラ画像であり、当該搭乗中カメラ画像の各フレーム画像には人物ＰＳ１及びＰＳ２の頭部の画像が含まれる。人物ＰＳ１及びＰＳ２にとって共通の搭乗期間を、以下特に、対象搭乗期間と称することがある。図１１の画像５５０は、参照される搭乗中カメラ画像を構成する１枚のフレーム画像を表している。フレーム画像５５０には人物ＰＳ１の頭部を表す画像Ｈ_ＰＳ１と人物ＰＳ２の頭部を表す画像Ｈ_ＰＳ２とが含まれている。上述したように、トラッキング部３３は、乗車対応期間、搭乗期間及び降車対応期間の合成期間の全体に亘って各乗客の同定及びトラッキングを行うことができる。トラッキング部３３による同定及びトラッキングの結果を用いて、関連付け処理部３４は、画像Ｈ_ＰＳ１及びＨ_ＰＳ２が夫々人物ＰＳ１及びＰＳ２の頭部を表すと認識できる。

関連付け処理部３４は、この認識結果に基づき、対象搭乗期間における人物ＰＳ１及びＰＳ２間の距離ｄを検出する。ここで検出される距離ｄは実空間上の距離であるとし、具体的には例えば、実空間上における人物ＰＳ１及びＰＳ２間の最短距離であるとする。関連付け処理部３４は、フレーム画像５５０内における画像Ｈ_ＰＳ１及びＨ_ＰＳ２間の距離（画像上の距離）を所定の変換式に当てはめることで、人物ＰＳ１及びＰＳ２間の距離ｄを導出できる。但し、距離ｄは画像上の距離であっても良い。この場合、フレーム画像５５０上における画像Ｈ_ＰＳ１及びＨ_ＰＳ２間の距離を距離ｄとして取り扱えば良く、具体的には例えば、フレーム画像５５０上における画像Ｈ_ＰＳ１及びＨ_ＰＳ２間の最短距離を距離ｄとして取り扱えば良い。

対象搭乗期間を構成する各フレーム画像において距離ｄを検出することで、対象搭乗期間の全体に亘る距離ｄの時系列変化が特定される。関連付け処理部３４は、対象搭乗期間の距離ｄに基づく距離評価値ｄ_ＥＶＡを求め、距離評価値ｄ_ＥＶＡに基づき対象搭乗期間の距離ｄが所定の距離条件を充足するか否かを判定する。距離評価値ｄ_ＥＶＡは対象搭乗期間における距離ｄの平均値又は中央値である。関連付け処理部３４は、距離評価値ｄ_ＥＶＡが所定の基準値以下であるとき距離条件が充足すると判定し、そうでないとき、距離条件が充足しないと判定する。人物ＰＳ１及びＰＳ２が親子である場合など、関連性の高い人物同士であれば距離条件が充足することが期待される。ステップＳ１３で充足又は不充足が判定される第３必要条件は、当該距離条件が充足される場合に充足し、当該距離条件が不充足の場合に不充足となる。このように、第３必要条件は、対象搭乗期間中の搭乗中カメラ画像に基づきトラッキングを通じて取得される距離ｄが所定の距離条件を満たすときに充足する。

ステップＳ１４に対応する第４必要条件は、人物ＰＳ１及びＰＳ２が共通の降車地点ＢＳ０２にて降車することを前提とする。従って、第１及び第４必要条件が満たされるためには、少なくとも、人物ＰＳ１の乗降車地点情報５１７と人物ＰＳ２の乗降車地点情報５１７とが一致している必要がある。人物ＰＳ１及びＰＳ２が共通の降車地点ＢＳ０２にて降車する際、人物ＰＳ１及びＰＳ２の降車対応期間において降車客用カメラ２２により取得される降車時カメラ画像から、人物ＰＳ１の顔画像及び人物ＰＳ２の顔画像が検出され、降車時カメラ画像に対し個人識別部３１により降車時識別処理が実行される。この降車時識別処理において人物ＰＳ１に対する個人識別が成功し且つ人物ＰＳ２に対する個人識別が失敗しているとき、第４必要条件は充足する。仮に、人物ＰＳ１及びＰＳ２の個人識別が夫々に成功するのであれば人物ＰＳ１及びＰＳ２を互いに関連付ける必要はない。

ステップＳ１１～Ｓ１４にて第１～第４必要条件が全て充足する場合に限り、ステップＳ１５に進み、ステップＳ１５において、関連付け処理部３４は、人物ＰＳ１及びＰＳ２を互いに関連付け（換言すれば人物ＰＳ１に対して人物ＰＳ２を関連付け）、当該関連付けの内容が乗降車管理部３７に伝達されることで、当該関連付けの内容を示す関連付け情報５１５が乗降車データベースＤＢ１に格納される（図５参照）。

例えば図５に示す如く、“Ｒ１１１”の個人ＩＤが割り当てられた登録人物が人物ＰＳ１であって、且つ、“ＴＥＭＰ０１”の個人ＩＤ（暫定個人ＩＤ）が割り当てられた非登録人物が人物ＰＳ２である場合において、ステップＳ１５にて関連付け処理部３４により人物ＰＳ１及びＰＳ２が互いに関連付けられたとき、人物ＰＳ１の関連付け情報５１５に対し人物ＰＳ２の個人ＩＤ（暫定個人ＩＤ）“ＴＥＭＰ０１”が格納されると共に人物ＰＳ２の関連付け情報５１５に対し人物ＰＳ１の個人ＩＤ“Ｒ１１１”が格納され、これによって乗降車データベースＤＢ１上で人物ＰＳ１及びＰＳ２が互いに関連付けられる。但し、人物ＰＳ１の関連付け情報５１５に対する人物ＰＳ２の個人ＩＤ（暫定個人ＩＤ）“ＴＥＭＰ０１”の格納、及び、人物ＰＳ２の関連付け情報５１５に対する人物ＰＳ１の個人ＩＤ“Ｒ１１１”の格納の内、一方を省略しても構わない。

上述の第１～第４必要条件が全て充足されて人物ＰＳ１及びＰＳ２が互いに関連付けられる関連付けケースにおいて、その関連付けの内容は人物ＰＳ１及びＰＳ２の乗降車日時情報５１６及び乗降車地点情報５１７等と共に車載装置１０からサーバ装置ＳＶに送信され、サーバ装置ＳＶでの受信内容に基づき乗降車管理部５１にて乗降車データベースＤＢ１ａが作成される。関連付けケースでは、人物ＰＳ１及びＰＳ２の運賃が一括して人物ＰＳ１に請求される。即ち、関連付けケースにおいて、決裁処理部５３は、乗降車データベースＤＢ１ａを参照して、人物ＰＳ１及びＰＳ２のバス１の利用（乗車地点ＢＳ０１から降車地点ＢＳ０２までのバス１の利用）に関するバス１の合計運賃を所定の運賃算出条件にて算出し、算出した合計運賃の決済義務（支払い義務）を人物ＰＳ１に割り当てて、当該合計運賃の決済を人物ＰＳ１の決済情報に基づいて実行する。例えば、人物ＰＳ１の決済情報に示された人物ＰＳ１の銀行口座から、上記合計運賃を引き落とすための金融手続きを実行する。

このように、関連付け処理部３４は、カメラ部２０により第１乗客（ＰＳ１）及び第２乗客（ＰＳ２）が撮影され、第１乗客に対して個人識別が成功する一方で第２乗客に対して個人識別が失敗した場合、カメラ部２０による第１乗客及び第２乗客の撮影結果に基づき第２乗客を第１乗客に関連付ける。換言すれば、第１乗客に対して個人識別が成功する一方で第２乗客に対して個人識別が失敗した場合、関連付け処理部３４は、第２乗客を第１乗客に関連付けることが可能であって、カメラ部２０による第１乗客及び第２乗客の撮影結果に基づき第２乗客の第１乗客への関連付けの是非を決定する。人物ＰＳ１、ＰＳ２は、夫々、第１、第２乗客の例である。

これにより、個人識別が成されない乗客（第２乗客）が存在していても、カメラ撮影結果を用いて第１及び第２乗客間の関連性を評価し、関連性があると判断すれば、第１乗客に第２乗客を関連付けることができる。このような関連付けを行うことで、個人識別が成されない乗客（第２乗客）が存在していても、オート決裁を有効に機能させることが可能となる。

具体的には例えば、バス１に対し第１乗客（ＰＳ１）及び第２乗客（ＰＳ２）が共通の乗車地点（ＢＳ０１）で乗車した後、対象搭乗期間を経て共通の降車地点（ＢＳ０２）にて降車し、且つ、第１乗客に対して個人識別が成功する一方で第２乗客に対して個人識別が失敗するケース（以下、特定ケースと称する）において、関連付け処理部３４は、対象搭乗期間における、第１乗客及び第２乗客に対するカメラ部２０の撮影結果に基づき、第２乗客を第１乗客に関連付ける（換言すれば、第２乗客の第１乗客への関連付けの是非を決定する）。

対象搭乗期間におけるカメラ撮影結果を参照することで第１及び第２乗客間の関連性を評価することができる。そして、関連性があると判断すれば、第１乗客に第２乗客を関連付けることができる。対象搭乗期間中の各乗客の挙動を評価することで、乗車時に単に同時に映り込んだ複数の乗客を誤って関連付けるといったことを回避できる。

更に具体的には例えば、関連付け処理部３４は、上記の特定ケースにおいて、対象搭乗期間における第１乗客及び第２乗客へのトラッキング結果（トラッキング部３３によるトラッキングの結果）に基づき、第２乗客を第１乗客に関連付ける（換言すれば、第２乗客の第１乗客への関連付けの是非を決定する）。

第１及び第２乗客間に関連性がある場合、対象搭乗期間において第１及び第２乗客は近接し続けると想定され、対象搭乗期間において第１及び第２乗客をトラッキングすることで、第１及び第２乗客が近接し続けているか否かを評価できる。そして、関連性があると判断すれば、第１乗客に第２乗客を関連付けることができる。

更に具体的には例えば、関連付け処理部３４は、上記の特定ケースにおいて、対象搭乗期間における第１乗客（ＰＳ１）及び第２乗客（ＰＳ２）へのトラッキング結果に基づき、対象搭乗期間における第１乗客及び第２乗客間の距離（ｄ）を評価し、距離（ｄ）に基づいて第２乗客を第１乗客に関連付ける（換言すれば、第２乗客の第１乗客への関連付けの是非を決定する）。

上記距離を参照することで、第１及び第２乗客間の関連性を精度良く判定することができ、関連性があると判断すれば第１乗客に第２乗客を関連付けることができる。

詳細な例として、図９の処理が挙げられ、上述の第１～第４必要条件が充足するときに、第２乗客を第１乗客に関連付けると良い。

これにより、個人識別が成されない乗客（第２乗客）が存在していても、第１及び第２乗客間の関連性を精度良く判定することができ、関連性があると判断すれば第１乗客に第２乗客を関連付けることができる。

また、乗降車データベースＤＢ１を作成及び保持する乗降車管理部３７を車載装置１に設け、第２乗客（ＰＳ２）が第１乗客（ＰＳ１）に関連付けられる場合、その関連付けを示す関連付け情報（５１５）を乗降車データベースＤＢ１に含めると良い。これにより、乗降車データベースＤＢ１に基づき、第１及び第２乗客の運賃の決済義務（支払い義務）を第１乗客に割り当てて、オート決裁を有効に機能させることが可能となる。

また、乗降車データベースＤＢ１ａを作成及び保持する乗降車管理部５１をサーバ装置ＳＶに設け、第２乗客（ＰＳ２）が第１乗客（ＰＳ１）に関連付けられる場合、その関連付けを示す関連付け情報（５１５）を乗降車データベースＤＢ１ａに含めると良い。これにより、乗降車データベースＤＢ１ａに基づき、第１及び第２乗客の運賃の決済義務（支払い義務）を第１乗客に割り当てて、オート決裁を有効に機能させることが可能となる。

即ち、サーバ装置ＳＶに決裁処理部５３を設けておき、決済処理部５３は、第２乗客（ＰＳ２）が第１乗客（ＰＳ１）に関連付けられる場合、バス１の利用に関する第１乗客及び第２乗客の運賃の決済義務（支払い義務）を第１乗客に割り当てると良い。これにより、個人識別が成されない乗客（第２乗客）が存在していても、オート決裁を有効に機能させることが可能となる。

尚、車載装置１０側で乗降車データベースＤＢ１を作成及び保持することは必須ではなく、サーバ装置ＳＶ側で乗降車データベースＤＢ１ａを作成及び保持するための情報を車載装置１０側で取得し、車載装置１０は取得情報をサーバ装置ＳＶに伝達するだけであっても良い。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例並びに後述の第３及び第４実施例は、第１実施例を基礎とする実施例であり、第２実施例において特に述べない事項に関しては、矛盾なき限り、第１実施例の記載が第２実施例に適用されて良い（第３及び第４実施例においても同様）。

第１実施例の方法により、人物ＰＳ２が人物ＰＳ１に関連付けられるべき多くのケースにおいて実際に人物ＰＳ２が人物ＰＳ１に関連付けられると期待されるが、そのような関連付けが正しく機能しないこともあり得る。例えば、乗車時において人物ＰＳ１及びＰＳ２の顔が同時に乗車客用カメラ２１の撮影領域に収まりきらないことで第１必要条件が不充足となったり、車内で人物ＰＳ２のみが人物ＰＳ１から離れた座席６に着席することで第３必要条件が不充足となったりすることがあり得る。

これらのケースでもオート決裁機能の利便性を人物ＰＳ１に享受すべく、手動関連付けを可能にしておいても良い。具体的には例えば、関連付け処理部３４は、所定の操作部（不図示）に対し所定の関連付け要求が入力されたときには、カメラ部２０による人物ＰＳ１及びＰＳ２の撮影結果に依らず、人物ＰＳ２を人物ＰＳ１に関連付けるようにしても良い。これにより、人物ＰＳ２が人物ＰＳ１に関連付けられるべきあらゆるケースにおいて実際に人物ＰＳ２を人物ＰＳ１に関連付けることができ、人物ＰＳ１はオート決裁の利便性を十分に享受することが可能となる。

ここで、操作部は、バス１の車内であって且つバス１の運転席２の近傍に設けられる操作部であり、バス１の運転手の入力操作を受け付けて入力操作内容を車載装置１０（特に関連付け処理部３４）に伝達する。つまり、ここにおける操作部は、運転手と車載装置１０との間のマンマシンインターフェースである。操作部に対する運転手の操作の種類は任意であり、例えば物理的な操作でも良いし、音声操作でも良い。即ち例えば、操作部は、押しボタンスイッチやタッチパネルにて構成されていても良いし、マイクロホン及び音声認識部にて構成されていても良い。操作部に対する運転手の操作の１つが上記関連付け要求の入力として機能する。

操作部に関連付け要求が入力されたとき、その入力内容が関連付け処理部３４に伝達され、関連付け処理部３４は、上述の第１～第４必要条件の充足又は不充足に関係なく、人物ＰＳ１に対して人物ＰＳ２を関連付ける。つまり、操作部に関連付け要求が入力されたときには、上述の第１～第４必要条件の充足又は不充足に関係なく、図９のステップＳ１５に進んでステップＳ１５の処理が実行される。人物ＰＳ１及びＰＳ２間が関連付けられた後の動作は第１実施例で述べた通りである。

＜＜第３実施例＞＞
第３実施例を説明する。第１又は第２実施例に示した方法により、人物ＰＳ１に対し人物ＰＳ２が関連付けられ、その関連付けを示す内容が乗降車データベースＤＢ１ａに格納された場合、サーバ装置ＳＶは、顧客登録データベースＤＢ２における第１乗客（ＰＳ１）の連絡先情報に基づき、第１乗客（ＰＳ１）の登録連絡先（例えば電子メールアドレス）に対し関連付け結果情報を送信すると良い。

関連付け結果情報は、人物ＰＳ１及びＰＳ２のバス１の利用の詳細（乗車日時、降車日時、乗車地点、降車地点）を示す情報と、当該利用に関わる人物ＰＳ１及びＰＳ２の運賃を示す情報と、人物ＰＳ２が人物ＰＳ１に関連付けられたことを示す情報と、人物ＰＳ１及びＰＳ２の運賃が人物ＰＳ１に請求されることを示す情報と、を含む。

人物ＰＳ１は、これらの情報を参照することで、人物ＰＳ２が正当に人物ＰＳ１に関連付けられ、人物ＰＳ１及びＰＳ２の運賃が正当に人物ＰＳ１に請求されることを認識できる。仮に、システムのミス等により身に覚えのない請求が受信された場合、人物ＰＳ１は、関連付け結果情報に含まれるサービスセンターの連絡先に連絡するといった対応を行う。

＜＜第４実施例＞＞
第４実施例を説明する。

第１実施例では、一人の登録人物である人物ＰＳ１に対し、一人の非登録人物である人物ＰＳ２が関連付けられることを想定したが、人物ＰＳ１に対し複数の非登録人物が関連付けられることがあっても良い。この場合には、複数の非登録人物の夫々を人物ＰＳ２として捉え、人物ＰＳ１と人物ＰＳ２の組ごとに第１～第４必要条件の充足又は不充足を判定することで、組ごとに人物ＰＳ１及びＰＳ２間の関連付けの是非を決定すれば良い。第２実施例においても、人物ＰＳ１に対し複数の非登録人物が関連付けられることがあっても良い。

乗車を輸送する車両としてバスを想定したが、本発明に係る車載装置１０が搭載されるべき車両はバスに分類されない車両でありえても良い。バスに分類されない車両とは、例えば、電車である。

図２のバスサービスシステムＳＹＳは本発明に係る乗客管理システムに相当する、又は、乗客管理システムを含んでいる、と言える。

本発明に係る任意の装置（例えば車載装置１０、信号処理部３０又はサーバ装置ＳＶ）である対象装置を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なメモリに保存しておいても良い。そして、該プログラムをプログラム実行装置（例えば、対象装置に搭載可能なマイクロコンピュータ）上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体は対象装置と異なる機器に搭載又は接続されても良い。

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

１ バス
２ 運転席
３ 運賃箱
４、５ 扉
６ 座席
７、８ 通路
１０ 車載装置
２０ カメラ部
２１ 乗車客用カメラ
２２ 降車客用カメラ
２３ 車内カメラ
３０ 信号処理部
３１ 個人識別部
３２ 個人識別用データ保持部
３３ トラッキング部
３４ 関連付け処理部
３５ 日時データ取得部
３６ 地点データ取得部
３７ 乗降車管理部
４０ 通信部
ＳＶ サーバ装置
５１ 乗降車管理部
５２ 顧客登録管理部
５３ 決済処理部
ＤＢ１、ＤＢ１ａ 乗降車データベース
ＤＢ２ 顧客登録データベース

Claims (10)

1. 乗客を輸送する車両に搭載される車載装置であって、
   前記乗客を撮影するカメラの撮影により得られるカメラ画像に基づく第１乗客及び第２乗客の顔検出結果と所定の個人識別用データに基づき前記第１乗客及び前記第２乗客の個人識別を行い、
   前記第１乗客に対して前記個人識別が成功する一方で前記第２乗客に対して前記個人識別が失敗したとき、前記カメラ画像に基づき、前記第２乗客を前記第１乗客に関連付ける
   、車載装置。
2. 前記車両に対し前記第１乗客及び前記第２乗客が共通の乗車地点で乗車した後、搭乗期間を経て共通の降車地点にて降車し、且つ、前記第１乗客に対して前記個人識別が成功する一方で前記第２乗客に対して前記個人識別が失敗する特定ケースにおいて、前記搭乗期間における、前記第１乗客及び前記第２乗客に対する前記カメラ画像に基づき、前記第２乗客を前記第１乗客に関連付ける
   、請求項１に記載の車載装置。
3. 前記カメラ画像に基づき前記車両の車内において前記第１乗客及び前記第２乗客をトラッキングし、
   前記特定ケースにおいて、前記搭乗期間における前記第１乗客及び前記第２乗客へのトラッキング結果に基づき、前記第２乗客を前記第１乗客に関連付ける
   、請求項２に記載の車載装置。
4. 前記特定ケースにおいて、前記搭乗期間における前記第１乗客及び前記第２乗客へのトラッキング結果に基づき、前記搭乗期間における前記第１乗客及び前記第２乗客間の距離を評価し、前記距離に基づいて前記第２乗客を前記第１乗客に関連付ける
   、請求項３に記載の車載装置。
5. 前記車両へ乗車する際における前記第１乗客及び前記第２乗客を撮影することで乗車時カメラ画像を取得し、
   前記車両から降車する際における前記第１乗客及び前記第２乗客を撮影することで降車時カメラ画像を取得し、且つ、
   前記搭乗期間における前記第１乗客及び前記第２乗客を撮影することで搭乗中カメラ画像を取得し、
   前記特定ケースにおいて、
   前記車両に対し前記第１乗客及び前記第２乗客が前記共通の乗車地点で乗車するときの、前記乗車時カメラ画像の共通フレーム画像中に前記第１乗客の顔画像及び前記第２乗客の顔画像が含まれており、
   前記距離が所定の距離条件を満たし、且つ、
   前記乗車時カメラ画像に基づく前記個人識別及び前記降車時カメラ画像に基づく前記個人識別が、前記１乗客に対して成功し、前記第２乗客に対して失敗するとき、
   前記第２乗客を前記第１乗客に関連付ける
   、請求項４に記載の車載装置。
6. 所定のマンマシンインターフェースに対し所定の関連付け要求が入力されたとき、前記カメラ画像に依らず、前記第２乗客を前記第１乗客に関連付ける
   、請求項１～５の何れかに記載の車載装置。
7. 前記乗客の個人ＩＤ、乗車日時、降車日時、乗車地点及び降車地点を格納した乗降車データベースを作成及び保持し、
   前記第２乗客が前記第１乗客に関連付けられる場合、その関連付けを示す関連付け情報を前記乗降車データベースに含める
   、請求項１～６の何れかに記載の車載装置。
8. 請求項１～６の何れかに記載の車載装置と、
   前記車載装置と通信可能な外部装置と、を備え、
   前記外部装置は、前記車載装置との通信を介し前記車載装置から情報の提供を受けて、前記乗客の個人ＩＤ、乗車日時、降車日時、乗車地点及び降車地点を格納した乗降車データベースを作成し、該乗降車データベースを保持し、
   前記第２乗客が前記第１乗客に関連付けられる場合、その関連付けを示す関連付け情報を前記乗降車データベースに含める
   、乗客管理システム。
9. 前記外部装置は、
   前記第２乗客が前記第１乗客に関連付けられる場合、前記車両の利用に関する前記第１乗客及び前記第２乗客の運賃の決済義務を前記第１乗客に割り当てる
   、請求項８に記載の乗客管理システム。
10. 乗客を輸送する車両に設置されたカメラの撮影により得られるカメラ画像に基づく第１乗客及び第２乗客の顔検出結果と所定の個人識別用データに基づき前記第１乗客及び前記第２乗客の個人識別を行い、
    前記第１乗客に対して前記個人識別が成功する一方で前記第２乗客に対して前記個人識別が失敗したとき、前記カメラ画像に基づき、前記第２乗客を前記第１乗客に関連付ける
    、車載装置が実行する乗客管理方法。

Images