JP7468322B2 - 情報処理装置、情報処理プログラム、及び監視システム - Google Patents

情報処理装置、情報処理プログラム、及び監視システム Download PDF

Info

Publication number
JP7468322B2
JP7468322B2 JP2020202220A JP2020202220A JP7468322B2 JP 7468322 B2 JP7468322 B2 JP 7468322B2 JP 2020202220 A JP2020202220 A JP 2020202220A JP 2020202220 A JP2020202220 A JP 2020202220A JP 7468322 B2 JP7468322 B2 JP 7468322B2
Authority
JP
Japan
Prior art keywords
person
vehicle
boarding
degree
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020202220A
Other languages
English (en)
Other versions
JP2022089653A (ja
Inventor
貴也 眞方山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2020202220A priority Critical patent/JP7468322B2/ja
Publication of JP2022089653A publication Critical patent/JP2022089653A/ja
Application granted granted Critical
Publication of JP7468322B2 publication Critical patent/JP7468322B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、情報処理装置、情報処理プログラム、及び監視システムに関する。
特許文献1には、車外の人物を検出し、人物が車内の搭乗者に対して呼びかけを行っているかを判定する呼びかけ判定部と、呼びかけ判定部によって人物が呼びかけを行っていると判定された場合に、人物の存在を搭乗者に対して報知する報知部と、を備える車外情報提供装置が開示されている。
特開2018-30499号公報
特許文献1に記載の車外情報提供装置では、車両への乗車意思があるにもかかわらず人物が車内の搭乗者に対して呼びかけを行わなかった場合、車両への搭乗者と認識されないことになる。従って、例えば車両がバスの場合、車両が停留所に乗客を残したまま発車してしまうことも考えられる。
一方、停留所に乗客を残したまま発車しないように、停留所に人物がいる間は車両を発車させないようにすると、乗車意思のない人物が停留所から離れるまで車両が停留所に停車し続けることになる。こうした状況は、停留所にいる人物の乗車意志を鑑みることなく発車するか否かを判断する場合に発生する。特に、運転手による運転が行われる車両よりも停留所の人物の有無に従って発車可否を判断する車両、すなわち無人の自動運転車両で発生しやすい。
本開示は、人物が呼びかけを行わない場合であっても、車両の停車時間を制御することができる情報処理装置、情報処理プログラム、及び監視システムを提供することを目的とする。
本開示の第1態様に係る情報処理装置(3)は、車両(5)の乗降に関する案内を報知する報知部(31)と、前記報知部の案内に対する人物(6)の様子から、前記車両に対する人物の乗降意思を判定する判定部(32)と、前記判定部による判定結果に基づいて、前記車両の停車時間を制御する制御部(33)と、を備える。
本開示の第2態様に係る情報処理プログラムは、コンピュータ(10)に、車両(5)の乗降に関する案内を報知し、前記案内に対する人物(6)の様子から、前記車両に対する人物の乗降意思を判定し、判定した判定結果に基づいて、前記車両の停車時間を制御する処理を実行させる。
本開示の第3態様に係る監視システム(1)は、人物(6)を撮影した画像から、画像に含まれる人物の様子を認識する認識装置(2)と、人物に対して車両(5)の乗降に関する案内を報知する報知部(31)、前記認識装置で認識された、前記報知部の案内に対する人物の様子から、前記車両に対する人物の乗降意思を判定する判定部(32)、及び前記判定部による判定結果に基づいて、前記車両の停車時間を制御する制御部(33)を備えた情報処理装置(3)と、を含む。
本開示によれば、人物が呼びかけを行わない場合であっても、車両の停車時間を制御することができる、という効果を有する。
監視システムの構成例を示す図である。 停留所周辺における人物の分布状況例を示す図である。 様子の変化例を示す図である。 停車情報の一例を示す図である。 停車時間の延長を行わない場合における車両の停車時間の制御例を示す図である。 停車時間の延長を1回行う場合における車両の停車時間の制御例を示す図である。 停車時間の延長を2回行う場合における車両の停車時間の制御例を示す図である。 情報処理装置における電気系統の要部構成例を示す図である。 停車制御処理の一例を示すフローチャートである。 人物の骨格ポイントの一例を示す図である。 姿勢パターンに基づく人物の乗車意思の判定例を示す図である。 人物の位置を用いた乗車度合いの判定について説明するための人物の分布状況例を示す図である。 エリアを用いた乗車度合いの判定について説明するための人物の分布状況例を示す図である。 移動方向を考慮した人物の分布状況例を示す図である。 重み係数の時間変化を表すグラフの一例を示す図である。 乗車意思のある人物がとるべき様子を指定した案内の一例を示す図である。 乗車意思のない人物がとるべき挙動を指定した案内の一例を示す図である。 姿勢パターンテーブルの一例を示す図である。 人物がとる姿勢の一例を示す図である。 姿勢の指定処理の一例を示すフローチャートである。 案内の表示例を示す図である。 乗車意思に関する判定結果の表示例を示す図である。 携帯デバイスを利用する監視システムの構成例を示す図である。 携帯デバイスにおける画面の表示例を示す図である。 乗車意思の確認例を示す図である。 車内における人物の分布状況例を示す図である。 車内及び停留所周辺での人物の分布状況例を示す図である。 乗車及び降車する人物を考慮した停車情報の一例を示す図である。 複数の画像を入力とする学習モデルの一例を示す図である。 複数の画像及び案内の内容を入力とする学習モデルの一例を示す図である。 複数の画像、車両の位置情報、及び車両の時間情報を入力とする学習モデルの一例を示す図である。
以下、本実施形態について図面を参照しながら説明する。なお、同じ構成要素及び同じ処理には全図面を通して同じ符号を付与し、重複する説明を省略する。
なお、本実施形態及び特許請求の範囲に記載した括弧内の符号は、1つの態様として各実施形態に記載の具体的内容との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
図1は、停車場所における人物6の車両5の乗降を監視する監視システム1の構成例を示す図である。
走行途中に停車して人物6の乗降が行われる車両5であれば、本実施形態に係る車両5の種類に制約はなく、例えば車両5は自家用車、社用車、並びに、バス及びタクシーのような営業車であってもよい。以降では、車両5がバスであり、監視システム1が停留所にいる人物6の乗車を監視する例について説明する。停留所は車両5が停車する停車場所の一例である。
また、車両5では運転手による手動運転が行われていても、自動運転が行われていてもどちらでもよいが、特に断りがない場合、以降では、自動運転が行われている車両5の例について説明する。なお、自動運転とは、非特許文献1においてレベル3以上に相当する運転自動化レベルを指し、手動運転とは、非特許文献1においてレベル2以下に相当する運転自動化レベルを指す。
[非特許文献1]
高度情報通信ネットワーク社会推進戦略本部 官民データ活用推進戦略会議“官民ITS構想ロードマップ2020”、内閣府、2020年7月15日、p.23
監視システム1は、認識装置2及び情報処理装置3を含み、各々が通信回線4で車両5と接続されている。
認識装置2は、例えば車両5の車体に設置されている撮影装置51で撮影された画像を受け付け、停留所周辺にいる人物6の様子を認識する。
ここで停留所周辺とは、撮影装置51による撮影範囲のうち、認識装置2で人物6の様子を認識可能な範囲をいう。また、人物6の様子とは、視覚によって認識可能な人物6の態様のことであり、具体的には、人物6の姿勢及び人物6の挙動の少なくとも一方によって表される態様のことである。
人物6の姿勢とは、人物6が静止した状況における身体の形状のことであり、人物6の挙動とは、時間と共に変化する人物6の位置及び身体の形状から得られる一連の動作のことである。従って、例えば人物6の移動は人物6の挙動の一例である。
情報処理装置3は、認識装置2から停留所周辺の人物6に関する基本情報、及び停留所周辺にいる人物6の様子を表す認識結果(以降、単に「認識結果」という)を取得する。人物6に関する基本情報には、例えば人物6の有無、人物6の位置が含まれる。
情報処理装置3は、報知部31、判定部32、制御部33、及びデータ保存部34を含む。
報知部31は、後述する判定部32からの指示に基づき、停留所周辺にいる人物6に対して、車両5の乗車に関する案内を報知するように指示する報知指示を、通信回線4を経由して車両5の報知装置52に送信する。
具体的には、報知部31は、音声及び画像の少なくとも一方を用いて案内を人物6に報知するよう報知装置52に対して指示を行う。人物6に案内を報知する画像には、路面に向けて投影される画像や停留所に設置されている掲示板等に表示される画像も含まれる。音声は、停留所に設置されている報知装置52から案内してもよい。以降では、特に断りがない場合、報知部31からの指示を受け付けた報知装置52が、停留所周辺にいる人物6に対して音声で案内を報知する例について説明する。
判定部32は、報知部31に対して案内の指示を行うと共に、車両5に対する人物6の乗車意思を認識結果から判定する。
判定部32による報知部31への案内の指示には、案内開始の指示及び案内する内容の指示が含まれる。なお、車両5に対する人物6の乗車意思は、車両5に対する人物6の乗降意思の一例である。
図2は、停留所で扉54を開け、乗車口56から乗客が乗車するのを待っている車両5と、案内を報知する前の停留所周辺にいる人物6の分布状況例を示す図である。説明の便宜上、人物6を個別に説明する必要がある場合、図2に示すように人物6の後ろにアルファベット符号を付与するものとする。また、図2は車両5を上部から地面に向かって眺めた平面図であり、X方向は車両5の進行方向を示している。
例えば停留所周辺に人物6A~人物6Dの4人の人物6が存在する例について説明する。図2において、人物6A及び人物6Bは何らかの姿勢をとったままで立っている様子を表しており、人物6C及び人物6Dは矢印方向に移動している様子を表している。すなわち、矢印が付加されていない人物6はその位置で静止状態にあり、矢印が付加されている人物6は矢印が示す方向に移動していることを表している。
この場合、認識装置2は撮影装置51で撮影された画像から、停留所周辺に4人の人物6が存在していることは認識できるが、誰が車両5への乗車意思を持った人物6であるかを認識することは困難である。従って、報知部31は、「利用される方は乗車してください」といった案内を報知装置52から報知するように指示する。これにより、人物6の様子に変化が見られることがある。
図3は、案内を報知した後の停留所周辺にいる人物6A~人物6Dの様子の一例を示した図である。
案内の報知により、人物6Aには例えば手を挙げる等の姿勢の変化があり、人物6Cは車両5の乗車口56に近づくように移動している。すなわち、人物6A及び人物6Cは、車両5への乗車意思を有していると推測される。
一方、人物6Bは案内の報知前と同じ位置で姿勢を変えずに立ったままの状態であり、人物6Dは車両5の乗車口56を通り過ぎようとしている。すなわち、人物6B及び人物6Dは、案内の報知に対して関心を示す様子を示していないため、車両5への乗車意思を有していないものと推測される。なお、扉54で仕切られた乗車口56は、車両5の乗降口に相当する。
このように、人物6は案内に対して、人物6が有する乗車意思を人物6の様子の変化、すなわち視覚的情報として表す傾向がある。従って、認識装置2は、それぞれ公知のパターン認識、画像処理、及び物体検出処理等を用いて、撮影装置51で撮影された画像からこうした人物6の様子に関する認識結果を出力し、判定部32に通知する。
判定部32は、後述する判定方法に従って、案内後における人物6の様子の変化から車両5に対する各々の人物6の乗車意思の強さを乗車度合いとして判定し、乗車度合いを含む判定結果を制御部33に通知する。
なお、乗車度合いは、車両5に対する人物6の乗降意思の強さを表す乗降度合いの一例である。乗車度合いは例えば数値で表され、この数値が大きいほど、停留所周辺にいる人物6の乗車度合いが高いことを表す。当然のことながら、乗車度合いを表す数値が小さいほど、停留所周辺にいる人物6の乗車度合いが高くなるように人物6の乗車度合いを定義付けてもよい。後ほど詳細に説明するように、乗車度合いは、停留所周辺にいる各々の人物6の乗車意思の合計に基づく数値として表される。従って、乗車度合いを表す数値が大きいほど、停留所周辺にいる人物6の乗車度合いが高くなるように人物6の乗車度合いを定義すると、車両5に乗車する人物6が多くなるに従って乗車度合いも高くなると捉えることができる。
制御部33は、判定部32から判定結果を受け付けると、乗車度合いに基づいて、停留所における車両5の停車時間を制御する。各停留所にはそれぞれ標準停車時間が予め定められているが、上記で説明したように、乗車度合いが高くなるに従って車両5に乗車する人数は多くなると見込まれる。従って、制御部33は、乗車度合いが高くなるに従って、車両5の停車時間が標準停車時間より長くなるように車両5の停車時間を制御する。具体的には、制御部33は、乗車度合いに基づいて調整した停車時間を、通信回線4を通じて車両5の制御装置53に送信する。
車両5の制御装置53は、指示された停車時間だけ停留所で停車した後、扉54を閉めて車両5を発車させる制御を行う。なお、制御装置53にとって、情報処理装置3の制御部33から受信した停車時間はあくまでも目安であり、実際には車両5が指定された停車時間だけ停車した後、制御装置53は、例えば車両5の周囲に歩行者等がいないか、車両5に異常がないか、また車両5の燃料の残量は規定値以上であるかといった車両5を安全に走行する上で必要な項目を確認した上で、最終的な出発判断を行う。すなわち、情報処理装置3から受信する停車時間は、制御装置53が車両5を出発させるか否かを判断する判断項目の1つに過ぎない。
すなわち、判定部32は、乗車度合いに基づき、停車した車両5を発車させるか否かを判定しているということができる。
なお、判定部32は、乗車度合いの高さに応じて車両5の停車時間を延長するのではなく、停車時間を延長するか否かといった停車時間の延長の要否を判定してもよい。例えば判定部32は、乗車度合いが予め定めた閾値以上となった場合に、標準停車時間の延長が必要であると判定してもよい。
データ保存部34は、情報処理装置3における処理で必要になる各種データ、例えば乗車度合いの判定、案内の報知、及び停車時間の制御に用いられるデータを保存し、必要に応じて判定部32及び制御部33に提供する。例えばデータ保存部34は、乗車度合いの判定に用いられる判定情報及び車両5の停車情報25を含む。判定情報は判定部32に提供され、停車情報25は制御部33に提供される。
図4は、判定部32が乗車度合いから停車時間の延長の要否を判定する場合に用いられる停車情報25の一例を示す図である。停車情報25は、車両5が停車する停留所の標準停車時間、許容最大停車時間、及び延長時間を含む。一例として図4では、停留所毎に異なる標準停車時間、許容最大停車時間、及び延長時間が定められた場合の停車情報25を示している。
標準停車時間とは、誰も車両5に乗車しない状況であっても、扉54を開けたまま停留所に停車する停車時間の下限値である。
許容最大停車時間とは、標準停車時間を超えて更に延長することができる停車時間の上限値である。
延長時間とは、乗車意思に基づき、停車時間の延長が必要となった場合に、後述する判定時間のうち、乗車意思があると判定した判定時間の度に停車時間を延長する時間である。
制御部33は、停車情報25を参照して、停留所に停車している車両5の停車時間を制御する。
一例として、判定部32が乗車度合いから停車時間の延長の要否を判定した場合に、図4に示した停車情報25を用いて車両5の停車時間を制御する例について説明する。
図5は、判定部32が乗車度合いに基づいて停車時間の延長は必要ないと判定した場合における車両5の停車時間の制御例を示す図である。
図5の横軸は車両5が停留所に停車してからの経過時間を表し、縦軸は判定部32が車両5を発車させるか否かを判定するために用いる判定値を示している。説明の便宜上、当該判定値は車両5が停留所に停車してからの経過時間を計測するカウンタの値によって表され、情報処理装置3は、判定値が発車基準値に達するまで車両5を停止させる制御を行う。発車基準値は標準停車時間に設定されている。グラフ23はカウンタの値の変化を示す。
判定部32は、車両5が停留所に停車中は、撮影装置51で定期的に撮影された画像の認識結果を認識装置2から受け付け、停車中における人物6の様子の変化に対応するため、案内の開始後、予め定めた期間に亘って乗車度合いを繰り返し判定する。図5に示す停車制御の例では標準停車時間中に案内を2回報知し、案内の開始後、判定部32は次の案内が開始されるまで、若しくは標準停車時間に達するまで乗車度合いを繰り返し判定している。なお、図5に示す案内の報知の回数は一例であり、判定部32は、車両5が停留所にて停車してから車両5が停留所を発車するまで、任意の回数だけ案内を報知してもよく、乗車度合いに応じて動的に報知の回数を変更してもよい。また、図5に示す乗車度合いの判定時間の長さは一例であり、判定部32は、車両5が停留所にて停車してから車両5が停留所を発車するまで、人物6の乗車度合いを繰り返し判定し、乗車度合いを更新する毎に、車両5の停車時間を制御するようにしてもよい。
判定部32は、乗車度合いの判定の結果、判定時間内において何れの人物6にも乗車意思がないと判定した場合、カウンタを停止しないようにする。従って、停留所に停車してからの停車時間が時間tで標準停車時間に達した場合、カウンタの値も発車基準値に達するため、車両5は時間tで発車することになる。
例えば車両5が停留所Aに停車している場合、図4に示した停車情報25から、停留所Aにおける車両5の停車時間は標準停車時間の30秒ということになる。
図6は、判定部32が乗車度合いに基づいて車両5の停車時間を延長する必要があると1回判定した場合における車両5の停車時間の制御例を示す図である。
判定部32は、乗車度合いの判定の結果、判定時間内において何れかの人物6に乗車意思があると判定した場合、この人物6が車両5に乗り遅れないように、延長時間に相当する時間Twaitだけカウンタを停止する。従って、停留所における車両5の停車時間は、標準停車時間から時間Twaitだけ延長される。
例えば車両5が停留所Aに停車している場合、図4に示した停車情報25から、停留所Aにおける車両5の停車時間は、標準停車時間の30秒と延長時間の5秒を加算した35秒となる。
図7は、判定部32が乗車度合いに基づいて停車時間を延長する必要があると2回判定した場合における車両5の停車時間の制御例を示す図である。
この場合、判定部32は、カウンタを2回停止し、カウンタ1回当たりの停止時間は延長時間に相当する時間Twaitであるから、停留所における車両5の停車時間は、標準停車時間から時間2Twaitだけ延長される。
例えば車両5が停留所Aに停車している場合、図4に示した停車情報25から、停留所Aにおける車両5の停車時間は、標準停車時間の30秒と2回分の延長時間に相当する10秒を加算した40秒となる。
なお、制御部33は、延長時間の合計が許容最大停車時間を超える場合は、延長時間の合計が許容最大停車時間に達した時点で、扉54を閉めて車両5を発車させるように制御装置53へ指示を送信する。
図4に示した停車情報25では、停留所の利用状況に応じて予め停留所毎に標準停車時間、許容最大停車時間、及び延長時間が設定されている。従って、判定部32が異なる停留所で乗車度合いに基づきそれぞれ同じ回数だけ車両5の停車時間を延長する必要があると判定したとしても、車両5の停車時間は異なる場合がある。当然のことながら、停留所毎に標準停車時間、許容最大停車時間、及び延長時間を設定する必要はなく、すべての停留所に共通の標準停車時間、許容最大停車時間、及び延長時間を設定した停車情報25を用いてもよい。また、同じ停留所であっても、時間帯毎に異なる値の標準停車時間、許容最大停車時間、及び延長時間が設定されていてもよい。
例えば7時から10時、及び17時から20時までのいわゆる通勤通学時間帯と呼ばれる時間帯は、他の時間帯に比べて車両5の運転本数も多く、交通量も多いことから、標準停車時間、許容最大停車時間、及び延長時間の少なくとも1つを他の時間帯よりも短く設定してもよい。逆に、10時から17時までの日中の時間帯は、通勤通学時間帯に比べて前後の車両5の運行間隔が長く、運行状況に余裕がある上、比較的高齢者が車両5を利用する時間帯であることから、車両5の乗車に時間がかかることも想定されるため、標準停車時間、許容最大停車時間、及び延長時間の少なくとも1つを他の時間帯よりも長く設定してもよい。
なお、図4に示した停車情報25から「延長時間/回」の欄を削除し、情報処理装置3は、停留所周辺にいる人物6の様子から判定部32が判定した乗車度合いの高さに応じて、車両5の停車時間を延長するようにしてもよい。
図1に示した監視システム1では、認識装置2及び情報処理装置3を車両5の運行を監視制御する遠隔地の管制センタに設置している例を示したが、認識装置2及び情報処理装置3を車両5に備え付けてもよい。また、情報処理装置3が認識装置2を認識部として取り込んでもよい。更に、情報処理装置3を車両5に備え付けてもよく、情報処理装置3のうちの一部の機能部のみを車両5に備え付ける構成でもよい。
具体的には、認識装置2をクラウド上に構築し、画像の認識結果を車両5に備え付けた情報処理装置3で受信するようにしてもよい。また、例えば情報処理装置3の機能部のうち、報知部31に相当する機能部を実現する装置を車両5に備え付け、情報処理装置3の判定部32からの指示に基づき、車両5側で乗車に関する案内の報知指示を生成してもよい。
更に、撮影装置51を必ずしも車両5に備え付ける必要はなく、各々の停留所や停留所を見渡すことができる箇所(例えば街灯)に設置してもよい。認識装置2で人物6の様子を認識することができる画像が得られる撮影装置51であれば、撮影装置51の種類に制約はない。従って、撮影装置51には例えばCCDセンサを用いたカメラの他、赤外線カメラ、LIDAR(Light Detection and Ranging)、3Dスキャナ、UWB(Ultra Wide Band)レーダー、及び超音波センサ等を使用することができる。使用する撮影装置51の種類により、撮影装置51から認識装置2に送られる画像は例えば可視画像、赤外画像、若しくは距離画像等に変化することになる。
こうした監視システム1における情報処理装置3は、例えばコンピュータ10を用いて構成される。
図8は、情報処理装置3における電気系統の要部構成例を示す図である。
コンピュータ10は、図1に示した情報処理装置3の機能を担うCPU(Central Processing Unit)11、及びコンピュータ10を情報処理装置3として機能させる情報処理プログラムを記憶するROM(Read Only Memory)12を備える。また、コンピュータ10は、CPU11の一時的な作業領域として使用されるRAM(Random Access Memory)13、不揮発性メモリ14、及び入出力インターフェース(I/O)15を備える。その上で、CPU11、ROM12、RAM13、不揮発性メモリ14、及びI/O15がバス16を介して各々接続されている。
不揮発性メモリ14は、不揮発性メモリ14に供給される電力が遮断されても、記憶した情報が維持される記憶装置の一例であり、例えば半導体メモリが用いられるがハードディスクを用いてもよい。不揮発性メモリ14は、必ずしもコンピュータ10に内蔵されている必要はなく、例えばメモリカードのようにコンピュータ10に着脱可能な可搬型の記憶装置であってもよい。情報処理装置3におけるデータ保存部34は、例えば不揮発性メモリ14にデータを記憶する。
一方、I/O15には一例として通信ユニット17、入力ユニット18、及び表示ユニット19が接続される。
通信ユニット17は通信回線4に接続され、車両5の報知装置52及び制御装置53、並びに認識装置2との間でデータ通信を行う通信プロトコルを備える。通信ユニット17に接続される通信回線4は無線回線であっても有線回線であってもよく、また、専用回線であってもインターネットのように不特定多数の外部装置が接続される公衆回線であってもよい。
入力ユニット18は、情報処理装置3を操作するユーザからの指示を受け付けてCPU11に通知する装置であり、例えばボタン、タッチパネル、キーボード、及びマウスといった各種入力デバイスが用いられる。
表示ユニット19は、CPU11によって処理された情報を表示する装置であり、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、及びスクリーンに映像を投影するプロジェクタ等が用いられる。
なお、I/O15には情報処理装置3が機能する上で必要なユニットが接続されればよく、必ずしも図8に示した通信ユニット17、入力ユニット18、及び表示ユニット19が接続されるわけではない。例えば情報処理装置3が無人のデータセンターに設置されるような場合で表示ユニット19が必要ない場合、I/O15に表示ユニット19が接続されないことがある。逆に、例えば情報処理装置3で判定した乗車度合いを用紙に記録する必要性がある場合には、用紙に情報を印字する画像形成ユニットをI/O15に接続してもよい。
次に、情報処理装置3が実行する、停留所における車両5の停車時間に関する制御(以降、「停車制御処理」という)について詳細に説明する。
図9は、車両5が停留所に停車した場合に、情報処理装置3のCPU11によって実行される停車制御処理の一例を示すフローチャートである。停車制御処理を規定する情報処理プログラムは、例えば情報処理装置3のROM12に予め記憶されている。情報処理装置3のCPU11は、ROM12に記憶される情報処理プログラムを読み込み、停車制御処理を実行する。
なお、CPU11はカウンタで車両5が停留所に停車してからの経過時間を計測している。また、認識装置2は車両5が停留所に停車中、撮影装置51によって撮影された画像を用いて、停留所周辺にいる人物6の様子を予め定めた間隔(例えば0.5秒毎)で繰り返し認識し、認識結果をその都度CPU11に通知しているものとする。更に、車両5の発車判定に用いる発車基準値には、図4に示した停車情報25に基づき、車両5が停車している停留所に対応した標準停車時間が設定されているものとする。
図9のステップS10において、CPU11は、カウンタが案内予定時間を経過したか否かを判定する。案内予定時間とは、車両5が停留所に停車してから案内を開始するまでの時間であり、例えば停留所毎に対応付けた案内予定時間を停車情報25に設定しておけばよい。案内予定時間は、例えば標準停車時間の10秒前に設定され、車両5がまもなく発車することを人物6に報知する最初の時間を設定する。上記に示した10秒という案内予定時間は一例であり、標準停車時間未満の時間であればよい。
CPU11は、カウンタが案内予定時間に達していない場合にはステップS10の判定処理を繰り返し実行して、案内予定時間に達するまで待機する。カウンタが案内予定時間に達した場合、ステップS20に移行する。
ステップS20において、CPU11は、認識装置2から最新の認識結果を取得する。
ステップS30において、CPU11は、ステップS20で取得した認識結果から、停留所周辺に人物6がいるか否かを検知する。人物6を検知できない場合にはステップS100に移行する。
ステップS100において、CPU11はカウンタを参照し、カウンタが発車基準値に到達したか否かを判定する。カウンタが発車基準値に到達していない場合には、停留所周辺に人物6がいてもいなくても車両5を停車させる必要があるためステップS20に移行し、認識装置2から認識結果を再度取得する。
一方、ステップS30の判定処理で人物6を検知した場合にはステップS40に移行する。
ステップS40において、CPU11は、例えば「利用される方は乗車してください」といった乗車意思の有無を確認するための案内を開始するように、車両5の報知装置52に対して報知指示を送信する。
ステップS50において、CPU11は、認識装置2から案内後における最新の認識結果を取得する。
ステップS60において、CPU11は、例えばステップS20で取得した案内前の認識結果と、ステップS50で取得した案内後の認識結果から人物6の挙動の変化、及び姿勢を取得し、車両5に対する人物6の乗車意思を判定する。
例えばCPU11は、人物6が乗車意思を有する場合にとる挙動パターンを予め不揮発性メモリ14に登録しておき、人物6が登録した挙動パターンと同じ挙動をとる場合に、この人物6は乗車意思を有していると判定すればよい。具体的には、案内後に人物6が移動し始める挙動や、案内後に人物6が顔を上げる挙動等を挙動パターンとして登録しておけばよい。
なお、案内後に人物6が移動し始める場合において、CPU11は、人物6の移動方向から人物6の乗車度合いを判定してもよい。例えば案内後に人物6が移動した場合であっても、車両5の乗車口56の前を通り過ぎるような移動よりも、車両5の乗車口56に向かってくる移動の方が、人物6の車両5に対する乗車度合いは高いと考えられる。従って、CPU11は、例えば人物6の移動方向と車両5への乗車度合いが予め対応付けられたテーブルを参照し、人物6の移動に基づく乗車度合いが閾値以上となった場合に、人物6は車両5への乗車意思を有していると判定してもよい。
同様に、CPU11は、人物6が登録した姿勢パターン8(図18参照)と同じ姿勢をとる場合に、この人物6は乗車意思を有していると判定してもよい。人物6の姿勢は骨格の位置を検出することで判定可能である。
図10は、CPU11が認識結果から検出する人物6の骨格ポイント(以降、単に「ポイント9」という)の一例を示す図である。図10において、ポイント9Aは首、ポイント9Bは右肩、ポイント9Cは右肘、ポイント9Dは右手首、ポイント9Eは左肩、ポイント9Fは左肘、及びポイント9Gは左手首を表す。また、ポイント9Hは右臀部、ポイント9Jは右膝、ポイント9Kは右足首、ポイント9Lは左臀部、ポイント9Mは左膝、ポイント9Nは左足首、ポイント9Pは右目、ポイント9Qは左目、ポイント9Rは右耳、ポイント9Sは左耳、ポイント9Tは鼻、及びポイント9Uはみぞおちを表す。なお、ポイント9A~ポイント9Uの各部位を総称してポイント9と表すことがある。
図11は、姿勢パターン8に基づいて人物6の乗車意思を判定する判定例について説明した図である。
図11は、報知装置52から人物6へ案内が報知された内容と一致する姿勢パターン8の例を示す。一例として、案内が「乗車される方がいらっしゃる場合は、停車時間を延長致しますので右手を挙げてください」と報知される場合は、人物6が車両5への乗車意思を示す場合には右手を挙げるため、姿勢パターン8には、図11に示すように人物6が右手を挙げた場合のポイント9の位置が登録されているものとする。従って、図9に示した停車制御処理のステップS40で実行される案内の報知の後、人物6がとった姿勢のポイント9の位置が姿勢パターン8で示されたポイント9の位置と同じであるとみなせる場合、CPU11は人物6が車両5への乗車意思を有していると判定する。
このようにして車両5に対する人物6の乗車意思を判定し、ステップS70において、CPU11は、ステップS60の判定結果に基づいて、人物6に車両5への乗車意思があるか否かを判定する。人物6に車両5への乗車意思がある場合にはステップS80に移行する。
ステップS80において、CPU11は、車両5への乗車意思を有する人物6が標準停車時間を過ぎても車両5に乗車できるように、停車の延長時間を設定する。
その上で、ステップS90において、CPU11は、ステップS80で設定した延長時間を発車基準値に加算して発車基準値を更新する。その後、ステップS20に移行する。
一方、ステップS70の判定処理で人物6に車両5への乗車意思はないと判定された場合には、ステップS80及びステップS90を実行することなくステップS100に移行する。
すなわち、CPU11は、車両5が発車させるまで人物6の乗車意思を繰り返し判定し、人物6に乗車意思があると判定する毎に、車両5の停車時間を更新する制御を繰り返し行う。
ステップS30の判定処理で人物6が検知されず、かつ、ステップS100の判定処理でカウンタが発車基準値に到達した場合にはステップS110に移行する。この場合、停留所周辺に人物6がおらず、停留所における車両5の停車時間が発車基準値に到達しているため、ステップS110において、CPU11は、制御装置53に対して閉扉指示を送信し、車両5の扉54を閉める制御を行う。
以上により、図9に示した停車制御処理を終了する。
図9に示した停車制御処理では、車両5の停車時間が発車基準値に到達するまでは停留所に車両5を停止させるようにした。しかしながら、CPU11は、発車基準値が標準停車時間より長くなるように延長した場合であっても、例えばステップS30の判定処理で人物6が検知されず、乗車意思を示したすべての人物6が標準停車時間以内に車両5に乗車したことを確認した場合には、車両5の停車時間が発車基準値に到達する前であっても標準停車時間に到達したタイミングで車両5の扉54を閉める制御を行い、車両5の発車準備が整ったことを車両5の制御装置53に通知してもよい。すなわち、CPU11は、ステップS30の判定処理で人物6が検知されず、乗車意思を示したすべての人物6が標準停車時間以内に車両5に乗車したことを確認した場合には、ステップS90で発車基準値に加算した延長時間をキャンセルしてもよい。
こうした制御により、例えば不用意な扉開延長による車両5のダイヤの遅れを抑制する効果が期待できる。
<変形例1>
図9の停車制御処理では、図4に示した停車情報25を用いて停車の延長時間を設定する例について説明したが、図4に示した停車情報25のように、車両5における停車の延長時間を予め規定しておく必要はない。例えばCPU11は、停留所周辺にいる各々の人物6の乗車意思の強さに基づいて、車両5の停車時間を制御してもよい。
具体的には、図9のステップS60において、CPU11は、車両5に対する各々の人物6における乗車意思の強さを乗車度合いとして判定する。その後、CPU11は、車両5への乗車意思の有無を判定する図9のステップS70の判定処理を実行せずにステップS80に移行し、ステップS80で乗車度合いに応じた停車の延長時間を設定すればよい。
なお、乗車度合いに応じて停車の延長時間を設定するとは、乗車度合いが高くなるに従って、車両5の停車時間が標準停車時間より長くなるように延長時間の長さを設定することをいう。換言すれば、乗車度合いに応じて停車の延長時間を設定するとは、乗車度合いが低くなるに従って、車両5の停車時間が標準停車時間に近づくように延長時間の長さを設定することをいう。
渋滞等により車両5が停留所に遅延して到着した場合には必ずしも停留所での停車時間を標準停車時間にあわせる必要はなく、ダイヤの遅れを回復させるため、停留所に人物6がいなければ停留所での車両5の停車時間を標準停車時間未満に設定してもよい。
車両5への乗車意思を有する人物6は車両5に乗り込みやすいように、乗車の案内後、車両5の乗車口56からできるだけ近い場所に移動する傾向がある。また、車両5への乗車意思を有する人物6は車両5に乗り込みやすいように、乗車の案内後、車両5の乗車口56の正面に移動する傾向がある。
従って、CPU11は、車両5の乗車口56に対する人物6の位置から乗車度合いを判定してもよい。
図12は、案内後における停留所周辺での人物6の分布状況例を示す図である。
図12において、車両5の乗車口56の中央を示す中央点Pから人物6A、人物6B、及び人物6Cの各々の人物6までの距離を、それぞれ距離r、距離r、及び距離rとする。また、図12において、人物6A、人物6B、及び人物6Cと中央点Pを結ぶ各々の線分が、中央点Pを通り、車両5の進行方向と直交する基準線Lと成す角度である乗車角度を、それぞれ角度α、角度α、及び角度αとする。基準線Lは、車両5の乗車口56の正面方向を表している。
この場合、中央点Pからの距離が近く、かつ、乗車角度が小さいほど、車両5に対する人物6の乗車度合いは高いとみなすことができる。従って、CPU11は、例えば(1)式に基づいて乗車度合いを算出する。
(1)式において、“n”は乗車の判定対象となる人物6の人数であり、“i”は乗車の判定対象となる人物6を個別に表すインデックス番号である。“Q”は、乗車度合いを表す。なお、(1)式は、乗車度合いを算出する演算式の一例である。従って、CPU11は、中央点Pからの距離が近く、かつ、乗車角度が小さいほど大きい値が得られる(1)式以外の演算式を用いて乗車度合いを算出してもよい。
例えば、車両5の乗車口56前の位置を先頭として、車両5に乗車しようとする人物6の列が形成されている場合、当該列に並んでいる各々の人物6は車両5への乗車意思を有しているにも関わらず、列の後ろに並んでいる人物6ほど、乗車角度及び中央点Pからの距離の少なくとも一方が大きい値をとることになるため、そのままでは(1)式で乗車度合いを正しく表すことができない場合がある。従って、CPU11は、認識装置2によって車両5の乗車口56前から続く人物6の列が認識された場合、列に並んでいる各々の人物の乗車角度及び中央点Pからの距離を、列の先頭にいる人物6の乗車角度及び中央点Pからの距離に置き換えてもよい。
当然のことながら、CPU11は、中央点Pから人物6までの距離である乗車距離だけ、又は、人物6の乗車角度だけを用いて、人物6の乗車度合いを算出してもよい。
このように、CPU11は、車両5の乗車口56に対する人物6の位置を乗車距離、及び乗車角度の少なくとも一方を用いて認識し、人物6の乗車度合いを算出すればよい。
CPU11は、図9のステップS80において、例えば算出した乗車度合いをそのまま停車の延長時間として取り扱えば、車両5における停車の延長時間が乗車度合いに応じて設定されることになる。
<変形例2>
人物6の乗車距離及び乗車角度は、撮影装置51で撮影された画像から認識装置2によって認識されるため、認識間隔が短くなるほど、認識装置2の負荷が高まることになる。
従って、認識装置2は、人物6の乗車距離及び乗車角度を認識するのではなく、その他の方法で人物6の位置を認識するようにしてもよい。具体的には、認識装置2は、停留所周辺の範囲に含まれる地面を予め複数の領域(以降、「エリア7」という)に分割し、車両5の乗車口56に対する人物6の位置を人物6がいるエリア7の情報として認識結果に含めて情報処理装置3に送信する。
この場合、人物6の位置がエリア7という1つの属性で表されるため、乗車距離及び乗車角度という複数の属性を用いて人物6の位置を表すよりも、人物6の位置の認識に要する負荷が低下することになる。
図13は、人物6の位置を人物6がいるエリア7と対応付けた上で、人物6の乗車度合いを算出する例について説明する図である。
図13に示すように人物6A~人物6Eの5人の人物6が停留所周辺に存在し、停留所周辺の地面に対してエリア7A、エリア7B、エリア7C、及びエリア7Dの4つのエリア7が仮想的に設定されているとする。
各々のエリア7は、車両5に対する人物6の乗車度合いに基づいて設定されている。既に説明したように、車両5への乗車意思を有する人物6は車両5の乗車口56からできるだけ近い場所にいる傾向がある。従って、このような場合においては、各々のエリア7の境界線は中央点Pを中心とする半円状に設定すればよい。
4つのエリア7のうち、最も乗車度合いが高い人物6が存在すると考えられるエリア7がエリア7Aであり、次に乗車度合いが高い人物6が存在すると考えられるエリア7がエリア7Bである。そして、4つのエリア7のうち、エリア7Bの次に乗車度合いが高い人物6が存在すると考えられるエリア7がエリア7Cであり、最も乗車度合いが低い人物6が存在すると考えられるエリア7がエリア7Dである。
なお、既に説明したように、車両5への乗車意思を有する人物6が停留所周辺で待機する場合に、どのような位置で待機しているのかという状態を示す待機パターンには、様々なパターンが存在する。したがって、CPU11は、認識装置2で認識された停留所における人物6の待機パターンに応じて、設定するエリア7の形状を変更してもよい。
例えば人物6が、車両5の乗車口56の正面と向き合うようにして1列に並んでいる場合、CPU11は、図13に示す各々のエリア7を基準線L方向に更に扁平させてもよい。このようにエリア7を設定すれば、列に並ぶ人物6は乗車距離によらず同じエリア7内に含まれやすくなる。
また、人物6が、車両5の乗車口56の位置から車両5の進行方向に沿って1列に並んでいる場合、CPU11は、乗車口56の前に車両5の進行方向を長軸方向とする楕円形のエリア7を設定すればよい。
すなわち、CPU11は、人物6が停留所周辺で列を形成している場合には、列を含むような形状のエリア7を設定してもよい。
なお、図13の例では4つのエリア7を設定した例を示しているが、エリア7の設定数は4つに限られず、2つ以上であればよい。また、CPU11は、各々のエリア7を同じ形状を用いて設定するのではなく、例えばエリア7Aの境界線は半円、エリア7Bの境界線は矩形というように異なる形状を用いて設定してもよい。
その上で、CPU11は、各々のエリア7に位置する人物6の車両5への乗車度合いの高さを重み係数wによって表す。一例として重み係数wが大きいほど、人物6の車両5への乗車度合いが高い状態を表す。従って、CPU11は、エリア7Aに最も大きい重み係数wを対応付け、エリア7Bには重み係数wの次に大きい重み係数wを対応付ける。また、CPU11は、エリア7Cには重み係数wの次に大きい重み係数wを対応付け、エリア7Dには最も小さい重み係数wを対応付ける。各々のエリア7と重み係数wの対応付けは、予め不揮発性メモリ14に記憶しておけばよい。
この場合、CPU11は、例えば(2)式に基づいて乗車度合いを算出する。
(2)式においてwは、インデックス番号iで表される人物6が位置するエリア7に対応付けられている重み係数wを表す。すなわち、重み係数wは、乗車度合いの判定に与える影響度を表す。
図13に示す例の場合、エリア7Bに人物6A及び人物6Eが存在し、エリア7Cに人物6Bと人物6Dが存在し、エリア7Dに人物6Cが存在する。従って、乗車度合いは、(2w+2w+w)となる。なお、人物6Dのように人物6がエリア7の境界線に位置する場合、CPU11は、境界線を跨って人物6が位置する複数のエリア7のうち、含まれる人物6の範囲が最も広いエリア7に人物6が位置すると判定すればよい。または、CPU11は、人物6がエリア7の境界線に位置する場合、人物6が跨って位置する複数のエリア7のうち、重み係数wが最も大きいエリア7に人物6が位置すると判定してもよい。
CPU11は、図9のステップS80において、例えば算出した乗車度合いをそのまま停車の延長時間として取り扱えば、車両5における停車の延長時間が乗車度合いに応じて設定されることになる。当然のことながら、CPU11は、算出した乗車度合いに比例係数を乗じて車両5における停車の延長時間を設定してもよい。
<変形例3>
変形例2では、乗車の案内後に人物6が位置するエリア7に基づいて人物6の乗車度合いを算出し、算出した乗車度合いに応じて車両5の停車の延長時間を設定した。
変形例3では、乗車の案内後における人物6の位置だけでなく、人物6の移動方向も加味して人物6の乗車度合いを算出し、算出した乗車度合いに応じて車両5の停車の延長時間を設定する例について説明する。
図14は、図13に示した乗車の案内後における人物6の位置を、人物6の移動方向と共に示した人物6の分布状況例を示す図である。
乗車の案内を行った場合、車両5への乗車意思を有する人物6は中央点Pに近づくように移動する傾向がある。従って、CPU11は、図9のステップS30で検知された人物6のうち、乗車の案内後に中央点Pに近づく移動を行った人物6だけに車両5への乗車意思があると図9のステップS60で判定してもよい。
すなわち、CPU11は、乗車の案内後の人物6の移動方向に基づき、車両5への乗車意思があると判定した人物6に対して、変形例2を適用して乗車度合いを算出する。その上で、CPU11は、車両5における停車の延長時間を制御してもよい。
図14の例の場合、乗車の案内後に人物6Aと人物6Bが中央点Pに近づいている。従って、CPU11は、車両5への乗車意思がある人物6は人物6Aと人物6Bだけであると判定し、移動後の人物6Aが位置するエリア7Aの重み係数wと、移動後の人物6Bが位置するエリア7Bの重み係数wを用いて、例えば(3)式に基づいて乗車度合いを算出する。
ここで“n1”は、乗車の案内後における人物6の様子に基づき、車両5への乗車意思があると判定された人物6の人数を表す。従って、図14の例の場合、CPU11は乗車度合いを(w+w)と算出し、算出した乗車度合いに応じて停車の延長時間を設定する。
このように変形例3における情報処理装置3は、人物6の移動方向に基づき、車両5への乗車意思を有すると判定された人物6が位置するエリア7と対応付けられた重み係数wを用いて、車両5の停車時間を制御する。従って、変形例2に示した車両5の停車時間の制御と比較して、乗車の案内後に乗車意思を有する人物6が車両5に乗車するために必要となる停車時間を更に精度よく設定することができるようになる。
なお、CPU11は、乗車の案内によって中央点Pに近づいた人物6が位置する各々のエリア7に予め対応付けられた重み係数wを用いて人物6の乗車度合いを算出したが、中央点Pに近づく人物6の移動速度を加味して人物6の乗車度合いを補正してもよい。共に中央点Pに近づく人物6であったとしても、速い速度で中央点Pに近づく人物6は、遅く近づく人物6に比べて車両5に乗車する意思が強いと考えられる。したがって、中央点Pへの移動速度が速くなるにつれて大きな値をとる補正係数βを重み係数wに乗じて、各々の人物6が位置するエリア7の重み係数wを補正してもよい。
すなわち、(3)式の代わりに(3A)式を用いてもよい。(3A)式においてβは、インデックス番号iで表される人物6の移動速度に応じた補正係数βを表す。
各々の人物6の移動方向及び移動速度が移動ベクトルとして表される場合、CPU11は、中央点Pに近づく各々の人物6の移動ベクトルを人物6と中央点Pを結ぶ方向に写像し、人物6と中央点Pを結ぶ方向における移動ベクトルの成分(「接近成分」という)が表す移動速度を、人物6の移動速度としてもよい。移動ベクトルの接近成分が表す移動速度は、移動ベクトル自体が表す移動速度よりも人物6の乗車意思を正確に反映している。
なぜなら、共に中央点Pに近づく人物6であったとしても、車両5への乗車意思が強い人物6ほど中央点Pに向かって直線的に移動する一方、車両5への乗車意思が弱い人物6ほど、中央点Pを移動先の目的地としているわけではないため、単に乗車口56周辺の方向に移動方向を変えながらフラフラと近づくような移動を行う傾向があるためである。
なお、変形例3では乗車の案内後における人物6の移動方向から車両5への人物6の乗車意思を判定し、車両5の停車時間を制御する例について説明したが、顔を上げる等の姿勢の変化を含む人物6の挙動から、車両5への人物6の乗車意思を判定してもよい。例えばCPU11は、人物6が乗車意思を有する場合にとる挙動パターンを予め不揮発性メモリ14に登録しておき、乗車の案内後に人物6が登録した挙動パターンと同じ挙動をとる場合に、この人物6は乗車意思を有していると判定してもよい。
<変形例4>
車両5への人物6の乗車意思を表す属性は、乗車の案内後に人物6が位置するエリア7や人物6の様子の変化以外にも存在する。
例えば人物6の車両5への乗車意思が強いほど、情報処理装置3が乗車の案内を開始してから人物6が車両5への乗車意思を表す様子を示すまでの時間(以降、「反応時間」という)が短くなる傾向が見られる。従って、人物6の反応時間も車両5への乗車意思を表す属性の一例である。なお、人物6が車両5への乗車意思を示すことを「反応する」ということがある。
変形例4では、乗車の案内後に人物6が位置するエリア7や人物6の様子の変化に加えて、人物6の反応時間も考慮して車両5への乗車度合いを判定し、車両5の停車時間を制御する例について説明する。
上記に示したように、人物6の車両5への乗車意思が強いほど、情報処理装置3が乗車の案内を開始してからの反応時間が短くなる。従って、CPU11は、重み係数wのように人物6が位置するエリア7によって一意に決定される重みではなく、時間の経過と共に変化する重み係数vを用いて人物6の車両5への乗車意思を判定してもよい。
図15は、時間の経過に応じた重み係数vの変化を表すグラフ24の一例を示す図である。図15において横軸は時間を表し、縦軸は重み係数vの大きさを表す。また、時間tは車両5への乗車の案内を開始した開始時間を表す。
重み係数vは、乗車の案内において、人物6の様子を変化させる契機となるような情報の報知と共に上昇を開始し、人物6の様子を変化させる契機となるような情報の報知直後に最大となり、その後、重み係数vは時間の経過と共に下降し、例えば車両5の扉54が閉じられた時間に“0”となるような変化を示す。例えば「この度はご利用ありがとうございます。このバスはA駅行きです。乗車される方がいらっしゃいましたら、停車時間を延長しますので右手を挙げてお知らせください。」という乗車の案内が行われた場合、「右手を挙げて」と報知された直後に重み係数vが最大値となる。
今、図13に示した人物6A及び人物6Eだけが車両5への乗車意思を表す様子の変化を示し、各々の様子の変化がそれぞれ時間t及び時間tに認識されたとする。
この場合、CPU11は、人物6Aと人物6Eが同じエリア7Bに位置している場合であっても、人物6Aには重み係数vを対応付け、人物6Eには重み係数vを対応付ける。すなわち、CPU11は、例えば(4)式に基づいて乗車度合いを算出する。
(4)式においてvは、車両5への乗車意思があると判定された、インデックス番号iで表される人物6に対応付けられた重み係数vを表す。すなわち、図15に示す例の場合、CPU11は乗車度合いを(v+v)と算出する。
なお、グラフ24は、人物6の様子を変化させる契機となるような情報の報知と共に重み係数vが上昇し、人物6の様子を変化させる契機となるような情報の報知直後に重み係数vが最大となり、その後、時間の経過と共に重み係数vが下降するような時間の関数として表されるものであれば、図15に示したグラフ24に限定されない。
更に、CPU11は、例えば(5)式に基づいて、乗車の案内に反応した人物6が位置するエリア7に対応付けられた重み係数wと、人物6の反応時間に対応付けられた重み係数vと、を組み合わせて乗車度合いを算出してもよい。
CPU11は、図9のステップS80において、例えば算出した乗車度合いをそのまま停車の延長時間として取り扱えば、車両5における停車の延長時間が乗車度合いに応じて設定されることになる。当然のことながら、CPU11は、算出した乗車度合いに比例係数を乗じて車両5における停車の延長時間を設定してもよい。
なお、変形例1~変形例4では(1)式~(5)式に示したように、各々の人物6の乗車度合いを加算して停留所毎の乗車度合いを算出し、算出した乗車度合いを各々の停留所における停車の延長時間とする例について説明した。
しかしながら、CPU11は、必ずしも各々の人物6の乗車度合いの合計に基づいて停車の延長時間を設定する必要はない。CPU11は、例えば乗車度合いの判定対象となった人物6における各々の乗車度合いの平均値、2乗平均、中央値、及び標準偏差といった各々の人物6の乗車度合いに基づく各種統計量から、各々の停留所における停車の延長時間を設定してもよい。
<変形例5>
変形例1~変形例4を含む図9に示した停車制御処理では、人物6に車両5への乗車意思があるか否かを人物6の様子から判定する例について説明した。
具体的には、CPU11は、例えば人物6が予め登録した姿勢パターン8と同じ姿勢をとったり、予め登録した挙動パターンと同じ挙動をとったりした場合に、人物6が乗車意思を有していると判定する。
しかしながら、人物6に車両5への乗車意思がない場合であっても、人物6が登録された姿勢パターン8及び挙動パターンの少なくとも一方と偶然同じ姿勢及び挙動をとっているという状況も考えられる。
従って、CPU11は、図9のステップS40で乗車の案内を行う場合、乗車意思のある人物6がとるべき姿勢及び挙動の少なくとも一方を指定して案内を行ってもよい。
図16は、乗車意思のある人物6がとるべき様子を指定した案内の一例を示す図である。図9のステップS40において、例えば「乗車される方がいらっしゃる場合は、停車時間を延長致しますので右手を挙げてください」という案内を行えば、乗車意思のある人物6(図16の例の場合、人物6A及び人物6B)が案内で指定した姿勢をとることになる。従って、CPU11は、図9のステップS60で、案内で指定した姿勢と同じ姿勢をとった人物6のみに乗車意思があると判定すればよい。
一例として、人物6Aの反応時間に対する重み係数vが“2”、人物6Bの反応時間に対する重み係数vが“1”、エリア7Bの重み係数wが“2”、エリア7Cの重み係数wが“1”であるとする。この場合、CPU11が(5)式に基づいて乗車度合いを判定したとすれば、乗車度合いは“(2×2+1×1)=5”となり、例えば算出した乗車度合いをそのまま停車の延長時間として取り扱えば、CPU11は停車の延長時間を5秒に設定することになる。当然のことながら、CPU11は、算出した乗車度合いに比例係数を乗じて車両5における停車の延長時間を設定してもよい。
上記では人物6の姿勢を指定する案内の例を示したが、例えば「乗車される方がいらっしゃる場合は、停車時間を延長致しますので一歩前に出てください」というように、人物6の挙動を指定する案内であってもよいことは言うまでもない。
また、CPU11は、乗車意思のある人物6がとるべき姿勢及び挙動の少なくとも一方を案内で指定するのではなく、乗車意思のない人物6がとるべき姿勢及び挙動の少なくとも一方を案内で指定してもよい。
一例として人物6の姿勢に関して言えば、「乗車されない方は下を向いてください」という案内を行えばよい。この場合、CPU11は、案内した姿勢と同じ姿勢をとる人物6以外の人物6に乗車意思があると判定すればよい。
図17は、乗車意思のない人物6がとるべき挙動を案内で指定した例を示す図である。図17に示すように、例えば「乗車されない方は、安全運行のため後ろにお下がりください」と案内することで、乗車意思のない人物6は案内前の位置から後ろに下がる、つまり、車両5から遠方方向に移動することになる。図17の例では人物6C、人物6D、及び人物6Eが後ろに下がっているため、CPU11は、人物6C、人物6D、及び人物6Eに乗車意思はないと判定する。
一方、CPU11は、そのままの位置にいる人物6A、及び案内の指示と異なる挙動をとって前に出てきた人物6Bには乗車意思があると判定する。
乗車意思のある人物6がとるべき姿勢や挙動、又は乗車意思のない人物6がとるべき姿勢や挙動を指定することで、CPU11は、人物6がとるべき姿勢や挙動を指定しない場合と比較して、人物6の乗車意思を更に精度よく判定することができる。
次に、人物6の姿勢を例にして、乗車意思を判定するために人物6にとらせる姿勢をCPU11がどのように決定するかについて説明する。
前提として、不揮発性メモリ14には図18に示すような姿勢パターンテーブル26が予め記憶されており、CPU11は乗車意思を判定するため、人物6が姿勢パターンテーブル26に含まれる少なくとも1つの姿勢パターン8をとるように案内するものとする。
図18に示す姿勢パターンテーブル26の例では、姿勢パターンテーブル26に姿勢パターン8A~姿勢パターン8H、及び姿勢パターン8Jの9つの姿勢パターン8が含まれている。説明の便宜上、人物6のポイント9の表記は省略している。
姿勢パターン8Aは両手を挙げる姿勢、姿勢パターン8Bは右手を挙げる姿勢、姿勢パターン8Cは左手を挙げる姿勢、姿勢パターン8Dは両手を広げる姿勢、姿勢パターン8Eは右手を広げる姿勢、及び姿勢パターン8Fは左手を広げる姿勢を示している。また、姿勢パターン8Gは両手を前に出す姿勢、姿勢パターン8Hは右手を前に出す姿勢、及び姿勢パターン8Jは左手を前に出す姿勢を示している。
一方、図19は、乗車の案内を開始する前に停留所周辺にいる人物6がとっている姿勢の例を示す図である。人物6A及び人物6Bは右手を挙げた姿勢をとり、人物6Cは右手を広げた姿勢をとっている。また、人物6Dは両手を広げた姿勢をとり、人物6Eは両手を下げた姿勢をとっている。
この場合、CPU11は、乗車の案内を開始する前から人物6がとっている姿勢をとるように案内すると、人物6が案内に反応して指定した姿勢をとったのか、それとも乗車意思と関係なく単に同じ姿勢を継続してとっているのかの区別がつきにくいことになる。
従って、CPU11は、姿勢パターンテーブル26に含まれる姿勢パターン8のうち、乗車の案内を開始する前に人物6がとっていた姿勢以外の姿勢パターン8を選択して、案内すればよい。
図20は、CPU11が乗車の案内で人物6がとるべき姿勢を報知する場合に、図9のステップS40の処理の一部として行う姿勢の指定処理の一例を示すフローチャートである。姿勢の指定処理を規定する情報処理プログラムは、例えば情報処理装置3のROM12に予め記憶されている。情報処理装置3のCPU11は、ROM12に記憶される情報処理プログラムを読み込み、姿勢の指定処理を実行する。
前提として、CPU11は、初期状態では姿勢パターンテーブル26に含まれるすべての姿勢パターン8を、案内で指定する候補姿勢として記憶しておく。
まず、ステップS200において、CPU11は、図9のステップS20で取得した認識結果に基づいて検知した人物6の中から、何れか1人の人物6を選択する。
ステップS210において、CPU11は、不揮発性メモリ14に記憶される姿勢パターンテーブル26から、何れか1つの姿勢パターン8を選択する。
説明の便宜上、ステップS200で選択した人物6を「選択人物6」と表し、S210で選択した姿勢パターン8を「選択姿勢パターン8」と表すことにする。
ステップS220において、CPU11は認識結果を参照して、選択人物6の姿勢を特定する。特定した姿勢は、乗車の案内を行う前の選択人物6の姿勢である。
ステップS230において、CPU11は、ステップS220で特定した選択人物6の姿勢が、選択姿勢パターン8と同じであるか否かを判定する。選択人物6の姿勢が選択姿勢パターン8と同じでない場合には、ステップS240に移行する。
ステップS240において、CPU11は、姿勢パターンテーブル26から既にすべての姿勢パターン8を選択したか否かを判定する。姿勢パターンテーブル26からすべての姿勢パターン8を選択していない場合にはステップS210に移行する。CPU11はステップS210でまだ選択していない未選択の姿勢パターン8を姿勢パターンテーブル26から選択し、ステップS230で選択人物6の姿勢が選択姿勢パターン8と同じであると判定されるまでステップS210~S240を実行する。
ステップS230の判定処理で、選択人物6の姿勢が選択姿勢パターン8と同じであると判定された場合には、ステップS250に移行する。
選択姿勢パターン8の各々には選択人物6の姿勢と同じ姿勢であると判定された回数を示す出現数が対応付けられている。従って、ステップS250において、CPU11は、選択姿勢パターン8の出現数をカウントアップする。
選択人物6の姿勢が選択姿勢パターン8と同じであるということは、乗車の案内前に、既に姿勢パターンテーブル26に含まれる姿勢パターン8と同じ姿勢をとっている人物6がいるということになる。この場合、人物6に選択姿勢パターン8で表される姿勢をとるように案内しないことが好ましい。
従って、ステップS260において、CPU11は姿勢候補から選択姿勢パターン8を削除する。
一方、ステップS240の判定処理で、姿勢パターンテーブル26からすべての姿勢パターン8を選択したと判定された場合、及びステップS260が実行された後はステップS270に移行する。なお、ステップS240の判定処理で、姿勢パターンテーブル26からすべての姿勢パターン8を選択したと判定されるということは、選択人物6は、姿勢パターンテーブル26に含まれる何れの姿勢パターン8で表される姿勢もとっていないということになる。
ステップS270において、CPU11は、検知したすべての人物6を選択したか否かを判定する。すべての人物6を選択していない場合には、ステップS200に移行する。CPU11は、ステップS200でまだ選択していない未選択の人物6を新たな選択人物6として検知した人物6の中から選択し、ステップS270の判定処理ですべての人物6を選択したと判定されるまで、ステップS200~ステップS270を実行する。これにより、姿勢候補には、乗車の案内前における人物6の姿勢と異なる姿勢パターン8だけが残ることになる。
しかしながら、状況によっては、検知した各々の人物6によって姿勢パターンテーブル26に含まれるすべての姿勢パターン8と同じ姿勢がとられていることも考えられる。この場合、ステップS260で姿勢候補から各々の姿勢パターン8が削除されるため、姿勢候補には何れの姿勢パターン8も含まれない状態となる。
従って、ステップS280において、CPU11は、姿勢候補に姿勢パターン8が含まれるか否かを判定する。姿勢候補に姿勢パターン8が含まれる場合にはステップS290に移行する。
姿勢候補に含まれる姿勢パターン8は、乗車の案内前の人物6が誰もとっていない姿勢を表している。従って、ステップS290において、CPU11は、姿勢候補に含まれる姿勢パターン8の中から、案内で指定する姿勢パターン8を決定すればよい。
一方、ステップS280の判定処理で姿勢候補に姿勢パターン8が含まれないと判定された場合には、ステップS300に移行する。
この場合、姿勢パターンテーブル26に含まれる何れの姿勢パターン8を案内で指定しても、乗車の案内前の人物6がとっている姿勢と重複することになる。
従って、ステップS300において、CPU11は、各々の姿勢パターン8と対応付けられている出現数を参照し、出現数が最も少ない姿勢パターン8を案内で指定する姿勢パターン8として決定すればよい。このように案内で指定する姿勢パターン8を選択することで、CPU11は、出現数を考慮することなく案内で指定する姿勢パターン8をランダムに選択する場合と比較して、乗車意思を有する人物6の判定精度を向上させることができる。
以上により、図20に示した姿勢の指定処理を終了する。
CPU11は、図9のステップS40において、図20に示した姿勢の指定処理を実行した後、姿勢の指定処理で決定した姿勢パターン8を、人物6がとるべき姿勢として案内で指定する。
上述したように、図20に示した姿勢の指定処理では、姿勢パターンテーブル26に含まれる何れの姿勢パターン8を案内で指定しても、乗車の案内前の人物6がとっている姿勢と重複するような状況が発生することがある。この場合、姿勢パターンテーブル26に含まれる何れかの姿勢パターン8を人物6がとっていない場合と比較して、人物6に対する車両5への乗車意思の有無に関する判定精度が低下することがある。
従って、図20のステップS280の判定処理で姿勢候補に姿勢パターン8が含まれないと判定された場合、例えばステップS300において、出現数が最も少ない姿勢パターン8と挙動と組み合わせて案内の内容を決定するようにしてもよい。
具体的には、出現数が最も少ない姿勢パターン8が右手を挙げている姿勢であれば、当該姿勢パターン8に例えば「一歩前に出る」という挙動を組み合わせ、「一歩前に出て、右手を挙げる」という挙動を伴う姿勢パターン8に決定すればよい。この場合、CPU11は、図9のステップS40において、例えば「乗車される方は、一歩前に出て、右手を挙げてください」という案内を報知すればよい。
これにより、案内前における人物6の様子と、案内で指定する人物6の様子が同じなる確率が、案内で人物6の姿勢のみを指定する場合と比較して低くなり、車両5に対する人物6の乗車意思の有無を更に精度よく判定することができる。
<変形例6>
ここまでは、停留所周辺にいる人物6に対して音声で案内を報知する例について説明してきたが、音声に加え、画像を用いて案内を報知する例について説明する。この場合、報知装置52は液晶モニタ等の画面を含み、報知装置52は画面に表示される内容が停留所周辺にいる人物6から視認可能な位置に取り付けられる。変形例6における報知装置52は表示装置に相当する。当然のことながら、報知装置52は停留所周辺にいる人物6から視認可能な位置に取り付けられていれば、その取り付け位置に制約はない。従って、必ずしも車両5に備え付けられている必要はなく、例えば停留所周辺にある掲示板に取り付けられていてもよい。
図21は、報知装置52の画面に表示される案内の表示例を示す図である。報知装置52の画面には、例えば「もうすぐ発車します」、又は「乗車される方がいらっしゃる場合は、停車時間を延長致しますので右手を挙げてください」というような、人物6が様子を変化させる契機となる情報が文字で表示される。また、案内で人物6の姿勢や挙動を指定する場合、一例として図21に示すように、CPU11は指定する姿勢及び挙動の少なくとも一方をピクトグラム等の図や画像で表示するように報知装置52を制御してもよい。当然のことながら、「右手を挙げる」というような左右の情報が重要となる場合には、ピクトグラムに顔を表記するなど左右を示す情報を追加して表示してもよい。また、画像は動画であっても静止画であってもよい。
乗車の案内が視覚的にも伝えられるため、音声だけで乗車の案内を行う場合と比較して、停留所周辺にいる人物6に案内の内容を明確に伝えることができる。
また、CPU11は、撮影装置51で撮影された画像を報知装置52の画面に表示させるように、通信回線4を通じて報知装置52を制御してもよい。
この場合、CPU11は、撮影装置51で撮影された画像を加工して、乗車意思があると判定した人物6、又は乗車意思がないと判定した人物6を、停留所周辺にいる人物6から認識可能な方法で報知装置52の画面に表示させる。
図22は、各々の人物6における乗車意思に関する判定結果の表示例を示す図である。図22に示す表示例では、乗車意思があるとCPU11が判定した人物6を枠20で囲んで表示している。こうした表示を行うことで、停留所周辺にいる人物6に、車両5が自分を乗客として認識しているか否かを報知することができる。従って、乗車前に車両5が発車してしまうのではないかといった人物6の不安を軽減し、車両5に乗車しようとする人物6に安心して乗車してもらうことができる。
逆に、車両5への乗車意思のない人物6が、乗車意思があると誤って判定されている場合、停留所周辺にいる人物6に判定結果を表示することで、判定結果に誤りがある人物6に対して、乗車意思がないと判定されるように姿勢や挙動の変更を促すきっかけを与えることができる。
なお、図22に示す表示例では、人物6を枠20で囲って乗車意思に関する判定結果を示したが、当該判定結果の表示方法はこうした表示例に限定されない。CPU11は、例えば乗車意思があると判定した人物6だけをカラーで表示し、その他の人物6や背景はグレースケールで表示してもよい。また、CPU11は、例えば乗車意思があると判定した人物6を撮影装置51で撮影された画像から抽出し、抽出した人物6の画像だけを報知装置52の画面に表示してもよい。すなわち、CPU11は、各々の人物6における車両5への乗車意思の有無に関する判定結果を、停留所周辺にいる人物6が自ら認識できる方法で報知装置52の画面に表示させる。
<変形例7>
変形例1~変形例6を含む実施形態に係る情報処理装置3のCPU11は、撮影装置51で撮影された画像に含まれる人物6の様子から車両5への乗車意思の有無を判定した。
しかしながら、車両5への乗車意思の有無は人物6の心の動きであるため、人物6自身が最も正確に把握することができる。従って、情報処理装置3は、人物6から乗車に関する意思表示を受け付けてもよい。
図23は、変形例7に対応した監視システム1の構成例を示す図である。図23に示す監視システム1が図1に示した監視システム1と異なる点は、情報処理装置3が通信回線4を通じて、人物6が携帯する携帯デバイス21と接続されている点である。携帯デバイス21とは、例えばスマートフォン、タブレット端末、及びウェアラブル端末のように、通信回線4を通じて情報の送受信が可能な情報機器のことである。
携帯デバイス21から送信された情報は情報処理装置3の判定部32に入力され、図9に示した停車制御処理のステップS60における、車両5に対する人物6の乗車意思の判定に用いられる。
図24は、携帯デバイス21における画面の表示例を示す図である。図24に示すように、携帯デバイス21の画面には、車両5への乗車意思を確認する「乗車する」ボタンが表示され、人物6が「乗車する」ボタンを押下すると、通信回線4を通じて情報処理装置3のCPU11に、車両5への乗車意思があることを表す意思情報が送信される。
CPU11は、携帯デバイス21から意思情報を受け付けると、意思情報の送信元の携帯デバイス21に対して、例えば図25に示すような乗車意思の確認情報を送信する。これにより、携帯デバイス21で「乗車する」ボタンを押下した人物6は、車両5に乗車意思を伝えることが可能となる。従って、CPU11は、停留所毎に少なくとも何人の人物6に車両5への乗車意思があるのかを把握することが可能となる。携帯デバイス21から取得した意思情報を、図9に示した停車制御処理のステップS60における乗車意思の判定と組み合わせることで、乗車意思の判定精度が向上することになる。
ここでは携帯デバイス21を通じて乗車意思を受け付ける形態について説明したが、車両5に乗車している人物6から携帯デバイス21を通じて降車意思を受け付けるようにしてもよい。また、本変形例では、図24で乗車意思を確認する画面の表示例を示し、図25でCPU11が乗車意思を受け付けたことを示す表示例を示したが、携帯デバイス21を通じた人物6とCPU11の意思情報のやり取りに関して、CPU11は、本変形例で説明した人物6の乗車意思を示す手順で発生しうる各々の事象に対応した図24及び図25以外の画面を携帯デバイス21に表示してもよい。
例えば人物6が誤って「乗車する」ボタンを押下した場合に、CPU11への意思情報の送信をキャンセルする図示しない画面や、過去に携帯デバイス21から乗車意思を示したことがあるか否かを人物6に確認する図示しない画面を表示してもよい。こうした図示しない画面を通じてCPU11に送信される情報も人物6の意思表示の一例であり、人物6から乗車に関する意思表示を受け付ける本変形例の一態様に含まれる。以上により、実施形態に係る変形例7の説明を終了する。
ここまで、図9に示した停車制御処理を用いて、停留所周辺にいる人物6の様子から停留所における車両5の停車時間を制御する情報処理装置3を含む監視システム1について説明してきた。このように情報処理装置3は、人物6が車両5へ乗車しようとする場面で車両5の停車時間を制御したが、停留所に停車した車両5から人物6が降車しようとする場面においても同じ停車制御処理を行うことで、車両5の停車時間を制御することができる。
この場合、撮影装置51は車両5の内部、より詳細には降車口周辺を撮影し、認識装置2は、車両5が停留所に停車している間、撮影装置51から降車口周辺を撮影した画像を繰り返し受け付け、各々の画像の認識結果を情報処理装置3に出力する。
これに対して、情報処理装置3のCPU11は、車両5が停車している間に例えば「もうすぐ発車します」というような、人物6が様子を変化させる契機となる案内を報知装置52から報知する。なお、報知装置52は、車外に向かって案内を報知するのではなく車内に向かって報知する。
CPU11は、案内後における人物6の様子の変化から、撮影装置51で撮影された画像に含まれる人物6の降車意思の強さを降車度合いとして判定し、判定した降車度合いに応じて車両5の停車時間を制御する。
図26は、降車の案内後における車内の人物6の位置を表した、人物6の分布状況例を示す図である。降車に伴う車両5の停車時間の制御を行う場合には、降車口周辺の車両5の床面にエリア7を設定すればよい。多くの場合、降車口と乗車口56は共通である。降車口と乗車口56が異なる車両5の場合は、降車口と乗車口56でそれぞれエリア7を設定する。具体的には、CPU11は、人物6の降車意思を算出するために設定するエリア7の中央点Pを降車口の中央に配置し、車両5内にエリア7を設定する。一方、CPU11は、人物6の乗車意思を算出するために設定するエリア7の中央点Pを乗車口56の中央に配置し、停留所周辺の歩道上にエリア7を設定する。
例えば「降車される方は右手を挙げてください」という降車の案内に対して、人物6C及び人物6Dが右手を挙げたとする。CPU11が例えば(3)式に基づいて降車度合いを算出するとした場合、この場合の降車度合いは(w+w)となる。
すなわち、これまでの変形例1~変形例7を含む実施形態において、「地面」を「車両5の床面」「停留所」及び「乗車口56」を「降車口」、「乗車」を「降車」、「乗車意思」を「降車意思」、並びに、「乗車度合い」を「降車度合い」と読み替えることにより、変形例1~変形例7を含む実施形態を、降車に伴う車両5の停車時間の制御例としてそのまま適用することができる。
なお、人物6の降車意思は車両5に対する人物6の乗降意思の一例であり、降車度合いは、車両5に対する人物6の乗降意思の強さを表す乗降度合いの一例である。
これにより、情報処理装置3は、降車しようとする人物6が降車し終わるまで車両5を停車させ、降車意思を有する人物6の降車が完了した後は速やかに停留所を出発させることができるようになる。
更に、CPU11は、停留所周辺にいる人物6の乗車度合いの判定結果から車両5の停車時間を決定する制御と、降車口周辺にいる人物6の降車度合いの判定結果から車両5の停車時間を決定する制御を組み合わせて、車両5の停車時間を制御してもよい。
図27は、乗車及び降車の案内後における降車口及び停留所周辺での人物6の位置を表した、人物6の分布状況例を示す図である。この場合、CPU11は、これまで説明した変形例1~変形例7を含む実施形態での判定方法に従い、停留所周辺にいる人物6の乗車度合い、及び降車口周辺にいる人物6の降車度合いを各々判定する。その上で、CPU11は、乗車度合い及び降車度合いに応じて人物6が乗降するのに必要な停車の延長時間を設定する。例えば、停留所周辺にいる人物6の乗車度合い、及び降車口周辺にいる人物6の降車度合いをそのまま人物6が乗車及び降車するのに必要な延長時間と捉え、乗車及び降車それぞれの延長時間を加算して人物6が車両5を乗降するのに必要な停車の延長時間を設定してもよい。なお、乗車口56と降車口が分離されている車両5や乗降口が広く一つの乗降口から複数の人物6の乗降が可能な車両5など、乗車及び降車が同時に実施可能な構造を有する車両5の場合には、乗車及び降車それぞれの延長時間のうち大きい値を停車の延長時間として設定してもよい。当然のことながら、乗車及び降車それぞれを考慮した停車の延長時間の決定方法はこれに限定されるものではない。
例えば図28に示すような停車情報25Aを用いて、人物6の乗降に伴う停車の延長時間を設定する例について説明する。
図28に示す停車情報25Aにおいて、車外用延長時間とは、乗車意思に基づき、停車時間の延長が必要となった場合に延長することができる延長1回あたりの停車時間であり、図4に示した停車情報25の延長時間に相当する。車内用延長時間とは、降車意思に基づき、停車時間の延長が必要となった場合に延長することができる延長1回あたりの停車時間である。
CPU11は、それぞれ判定した乗車意思及び降車意思の有無に基づき、例えば、乗降口が一つで複数の人物6が相互に乗車及び降車を同時に行えない構造の車両5において、停留所Aで乗車及び降車しようとする人物6のため車両5の停車時間をそれぞれ1回延長する必要があると判定した場合、車両5の停車時間は、乗車する人物6のために延長する延長時間5秒に降車する人物6のために延長する延長時間8秒を加えた13秒ということになる。すなわち、この場合の延長時間は停留所毎に、(車外用延長時間×乗車意思の有無から判定した延長判定数+車内用延長時間×降車意思の有無から判定した延長判定数)で表される。当然のことながら、乗降口が一つで複数の人物6が乗車及び降車を同時に行えない構造の車両5の場合、乗車する人物6は降車する人物6が車両5から降車を完了したことを確認してから乗車することになる。従って、停留所周辺にいる人物6が、降車する人物6が全員車両5から降車したことを確認するのに要する時間(以降、「余裕時間」という)を延長時間に加算してもよい。余裕時間を延長時間に加える制御は、車両5の停車時間を決定する制御方法の一例である。
乗降口が一つで複数の人物6が相互に乗車及び降車を同時行えない構造の車両5の場合、CPU11は(1)式~(5)式を用いて降車度合いを算出し、算出した降車度合いを、同じく(1)式~(5)式を用いて算出した乗車度合いに加算して車両5に対する人物6の乗降度合いを算出してもよい。
(1)式~(5)式に対応する乗降度合いの算出式は、それぞれ(6)式~(10)式で表される。
ここで“U”は人物6の乗降度合い、“m”は降車の判定対象となる人物6の人数、及び“j”は降車の判定対象となる人物6を個別に表すインデックス番号である。また“m1”は、車両5からの降車意思があると判定された人物6の人数を表す。
この場合、(6)式~(10)式で表される各々の乗車度合いに、上述した余裕時間を加算してもよい。
また、乗車及び降車が同時に実施可能な構造を有する車両5の場合には、(1)式~(5)式に対応する乗降度合いの算出式は、それぞれ(11)式~(15)式で表される。
ここでmax(a,b)は値aと値bのうち大きい方を選択する関数である。
CPU11は、図9のステップS80において、例えば算出した乗降度合いをそのまま停車の延長時間として取り扱えば、車両5における停車の延長時間が乗降度合いに応じて設定されることになる。当然のことながら、CPU11は、算出した乗降度合いに比例係数を乗じて車両5における停車の延長時間を設定してもよい。
延長時間を設定する場合、乗車度合い及び降車度合いの少なくとも一方を用いて設定する例について説明してきたが、CPU11は、認識装置2による画像の認識結果から人物6の年齢を取得して延長時間を調整するようにしてもよい。
例えば、小学生や老人は他の世代の人物6に比べて車両5への乗り込みや移動に時間がかかる。従って、CPU11は、取得した人物6の年齢が予め定めた第1の年齢以下であった場合、又は第1の年齢よりも大きい年齢に設定された予め定めた第2の年齢以上であった場合、例えば停車情報25における延長時間や、停車情報25Aにおける車内用延長時間及び車外用延長時間を1.5倍するというように、規定の延長時間よりも更に延長してもよい。
ここまで、CPU11が例えば(1)式~(10)式に示すような乗車度合い、降車度合い、又は乗降度合いの何れかを算出する演算式の算出結果に基づいて車両5の停車時間を設定する例について説明したが、CPU11は、人工知能を用いて車両5の停車時間を設定してもよい。
そのためには、まず乗降の案内を行う毎に撮影された、乗降の案内に対する人物6の様子の変化がわかる複数の画像と、当該画像撮影時における車両5が停車してから出発するまでの車両5の停車時間と、を対応付けた教師データの作成を行う。教師データの作成は必ずしも情報処理装置3のCPU11が行う必要はなく、外部装置で作成してもよい。ここでは一例として、CPU11が教師データを作成し、不揮発性メモリ14に記憶しているとする。
CPU11は教師データを用いて、教師データに含まれる複数の画像を入力した場合に、入力した複数の画像とそれぞれ対応付けられた車両5の停車時間が出力されるような学習モデル22を機械学習する。こうした学習モデル22には、例えばニューラルネットワークが用いられ、機械学習には例えばディープラーニングといった公知の学習方法が用いられる。
これにより、学習モデル22には、人物6がどのような位置で、どのような姿勢や挙動をどの位の反応時間でとった場合に、各々の人物6の乗降が完了するまでどの位の時間に亘って停留所に停車していなければならなかったのかといった対応関係が反映される。
従って、CPU11は、例えば停留所に停車した場合、乗降の案内に対する人物6の様子の変化がわかる、新たに撮影された複数の画像を機械学習済みの学習モデル22に入力すればよい。これにより学習モデル22から人物6の様子に応じた停車時間が出力されるため、CPU11は出力された停車時間を当該停留所における車両5の停車時間に設定すればよい。
図29は、複数の画像を入力とする学習モデル22を用いた車両5の停車時間の判定例を示す図である。画像A及び画像Bが、人物6の様子の変化がわかる複数の画像に相当する。
なお、CPU11は、必ずしも学習モデル22の生成を行う必要はなく、外部装置で機械学習が行われた学習モデル22を用いて車両5の停車時間を判定してもよい。
図29に示した学習モデル22では画像A及び画像Bを入力としたが、更に乗降の際に報知した案内の内容も入力に加えた、図30に示すような学習モデル22を生成してもよい。この場合、案内の内容の変化と停車時間の変化の相関が得られることから、例えば停車時間をより短くするような案内の内容を検討したり、報知した案内の内容から適切な停車時間を検討したりすることが可能となる。
図29の例では、車両5の停車時間の判定に画像のみを用いているが、車両5の停車時間に影響を与える属性は人物6の様子の変化だけでなく、他の属性も車両5の停車時間に影響を与える。車両5の停車時間は、例えば停留所がある場所、及び人物6が乗降する時間帯によっても影響を受ける。例えば山間部よりも住宅地の方が車両5に乗降する人物6の人数が多く、正午前後の時間帯よりも通勤通学の時間帯の方が車両5に乗降する人物6の人数が多い傾向がある。
従って、CPU11は、複数の画像、車両5が停車している位置情報、及び車両5が停車を開始した時間を表す時間情報が入力されると、乗降に必要な停車時間を出力する学習モデル22を用いて、停留所における車両5の停車時間を判定してもよい。
そのためには、停留所における複数の画像、停留所の位置情報、停留所における複数の画像の取得時間情報、及び車両5の停車時間を対応付けた教師データを用いて、学習モデル22の機械学習を行えばよい。
図31は、複数の画像、停留所の位置情報、及び停留所における複数の画像の取得時間情報を入力とする学習モデル22を用いた車両5の停車時間の判定例を示す図である。車両5の停車時間の判定に、複数の画像に加えて車両5の位置情報及び車両5の時間情報を用いているため、図29に示した学習モデル22と比較して車両5の停車時間の判定精度が高くなる。
なお、CPU11は、複数の画像、停留所の位置情報及び停留所における複数の画像の取得時間情報の何れか一方の情報、並びに、車両5の停車時間を用いて学習モデル22の機械学習を行ってもよい。この場合、停留所の位置情報及び停留所における複数の画像の取得時間情報のうち、学習モデル22の機械学習に用いた何れか一方の情報だけを複数の画像と共に学習モデル22に入力することになる。
以上、実施形態を用いて本開示について説明したが、本開示は上述した実施形態に記載の範囲には限定されない。本開示の要旨を逸脱しない範囲で実施形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も本開示の技術的範囲に含まれる。例えば、本開示の要旨を逸脱しない範囲で図9及び図20に示した停車制御処理の順序、及び姿勢の指定処理の順序を変更してもよい。
また、実施形態では、一例として情報処理装置3の停車制御処理及び姿勢の指定処理をソフトウェアで実現する形態について説明した。しかしながら、当該処理を、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又はPLD(Programmable Logic Device)に実装し、ハードウェアで処理させるようにしてもよい。この場合、情報処理装置3の処理をソフトウェアで実現した場合と比較して、処理の高速化が図られる。
このように、情報処理装置3のCPU11を例えばASIC、FPGA、PLD、GPU(Graphics Processing Unit)、及びFPU(Floating Point Unit)といった特定の処理に特化した専用のプロセッサに置き換えてもよい。
また、上述した実施形態では、情報処理装置3の処理を規定する情報処理プログラムがROM12にインストールされている形態について説明したが、これに限定されるものではない。情報処理装置3の処理を規定する情報処理プログラムは、コンピュータで読み取り可能な記憶媒体に記録された形態で提供することも可能である。例えば、情報処理プログラムを、CD-ROM(Compact Disc-ROM)、又はDVD-ROM(Digital Versatile Disc-ROM)等の光ディスクに記録した形態で提供してもよい。また、情報処理プログラムをUSB(Universal Serial Bus)メモリやメモリカード等の可搬型の半導体メモリに記録した形態で提供してもよい。更に、情報処理装置3は、通信回線4で接続される図示しない外部装置から情報処理プログラムを取得するようにしてもよい。
1 監視システム、2 認識装置、3 情報処理装置、4 通信回線、5 車両、6(6A~6E) 人物、7(7A~7D) エリア、8(8A~8J) 姿勢パターン、9(9A~9U) ポイント、10 コンピュータ、11 CPU、12 ROM、13 RAM、14 不揮発性メモリ、15 I/O、16 バス、17 通信ユニット、18 入力ユニット、19 表示ユニット、20 枠、21 携帯デバイス、22 学習モデル、23 カウンタの値の変化を示すグラフ、24 重み係数の変化を示すグラフ、25(25A) 停車情報、26 姿勢パターンテーブル、31 報知部、32 判定部、33 制御部、34 データ保存部、51 撮影装置、52 報知装置、53 制御装置、54 扉、56 乗車口、w(v) 位置の重み係数

Claims (15)

  1. 車両(5)の乗降に関する案内を報知する報知部(31)と、
    前記報知部の案内に対する人物(6)の様子から算出される、前記車両に対する各々の人物における乗降意思の強さを表す値の合計を用いて乗降度合い(U)を判定する判定部(32)と、
    前記判定部によって判定された前記乗降度合いに基づいて、前記車両の停車時間を制御する制御部(33)と、
    を備えた情報処理装置(3)。
  2. 記制御部は、前記乗降度合いが高くなるに従って、前記車両の停車時間が標準停車時間より長くなるように前記車両の停車時間を制御すると共に、前記乗降度合いが低くなるに従って、前記車両の停車時間が前記標準停車時間に近づくように前記車両の停車時間を制御する
    請求項1記載の情報処理装置。
  3. 前記判定部は、人物の移動方向から前記乗降度合いを判定する
    請求項2記載の情報処理装置。
  4. 前記判定部は、前記車両の乗降口(56)に対する人物の位置を表す属性を用いて、前記乗降度合いを判定する
    請求項2又は請求項3記載の情報処理装置。
  5. 前記車両の乗降口に対する人物の位置を表す属性が、予め分割した領域(7)と対応付けられている
    請求項4記載の情報処理装置。
  6. 前記判定部は、前記報知部で前記案内を報知してから、人物が乗降意思を表す様子を示すまでの時間に関する属性である反応時間を用いて、前記乗降度合いを判定する
    請求項2~請求項5の何れか1項に記載の情報処理装置。
  7. 前記判定部は、前記属性が前記乗降度合いの判定に与える影響度を表す重み付け(w)を、時間の経過と共に変化させて前記乗降度合いを判定する
    請求項4~請求項6の何れか1項に記載の情報処理装置。
  8. 前記報知部は、人物がとるべき姿勢及び挙動の少なくとも一方を前記案内として報知し、
    前記判定部は、前記報知部の報知に対して人物が取った姿勢及び挙動の少なくとも一方から、前記乗降度合いを判定する
    請求項2~請求項7の何れか1項に記載の情報処理装置。
  9. 前記報知部は、人物がとるべき姿勢及び挙動の少なくとも一方を表示装置(52)に表示することで前記案内を人物に報知する
    請求項8記載の情報処理装置。
  10. 前記判定部は、前記車両が発車するまで前記乗降度合いを繰り返し判定し、
    前記制御部は、前記乗降度合いが更新される毎に、前記車両の停車時間を制御する
    請求項2~請求項9の何れか1項に記載の情報処理装置。
  11. 前記報知部は、前記乗降度合いに基づき前記車両に対する乗降意思があると判定した人物と、乗降意思がないと判定した人物と、が認識できるように人物を撮影した画像を加工して表示装置に表示する
    請求項2~請求項10の何れか1項に記載の情報処理装置。
  12. 前記判定部は、前記報知部の案内に対する人物の様子の変化がわかるように撮影された複数の画像を受け付けた場合、受け付けた前記複数の画像とは異なる他の前記複数の画像と、他の前記複数の画像が撮影された停車場所での前記車両の停車時間と、を含む教師データを用いて予め機械学習が行われた学習モデル(22)に、受け付けた前記複数の画像を入力することで前記車両の停車時間を判定する
    請求項1~請求項11の何れか1項に記載の情報処理装置。
  13. 前記判定部は、前記複数の画像と、前記車両が停車している位置情報、及び前記車両が停車を開始した時間情報の少なくとも一方の情報と、を受け付けた場合、前記情報を含んだ前記教師データを用いて予め機械学習が行われた学習モデルに、受け付けた前記複数の画像及び前記情報を入力することで前記車両の停車時間を判定する
    請求項12記載の情報処理装置。
  14. コンピュータ(10)に、
    車両(5)の乗降に関する案内を報知し、
    前記案内に対する人物(6)の様子から算出される、前記車両に対する各々の人物における乗降意思の強さを表す値の合計を用いて乗降度合い(U)を判定し、
    判定した前記乗降度合いに基づいて、前記車両の停車時間を制御する処理を実行させる
    情報処理プログラム。
  15. 人物(6)を撮影した画像から、画像に含まれる人物の様子を認識する認識装置(2)と、
    人物に対して車両(5)の乗降に関する案内を報知する報知部(31)、前記認識装置で認識された、前記報知部の案内に対する人物の様子から算出される、前記車両に対する各々の人物における乗降意思の強さを表す値の合計を用いて乗降度合い(U)を判定する判定部(32)、及び前記判定部によって判定された前記乗降度合いに基づいて、前記車両の停車時間を制御する制御部(33)を備えた情報処理装置(3)と、
    を含む監視システム(1)。
JP2020202220A 2020-12-04 2020-12-04 情報処理装置、情報処理プログラム、及び監視システム Active JP7468322B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020202220A JP7468322B2 (ja) 2020-12-04 2020-12-04 情報処理装置、情報処理プログラム、及び監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020202220A JP7468322B2 (ja) 2020-12-04 2020-12-04 情報処理装置、情報処理プログラム、及び監視システム

Publications (2)

Publication Number Publication Date
JP2022089653A JP2022089653A (ja) 2022-06-16
JP7468322B2 true JP7468322B2 (ja) 2024-04-16

Family

ID=81989053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020202220A Active JP7468322B2 (ja) 2020-12-04 2020-12-04 情報処理装置、情報処理プログラム、及び監視システム

Country Status (1)

Country Link
JP (1) JP7468322B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037954A1 (ja) 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体
JP2020112866A (ja) 2019-01-08 2020-07-27 清水建設株式会社 乗り物情報提供装置及び乗り物情報提供方法
WO2020153087A1 (ja) 2019-01-23 2020-07-30 株式会社小糸製作所 車両用コミュニケーションシステム、車両用表示装置および車両

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037954A1 (ja) 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体
JP2020112866A (ja) 2019-01-08 2020-07-27 清水建設株式会社 乗り物情報提供装置及び乗り物情報提供方法
WO2020153087A1 (ja) 2019-01-23 2020-07-30 株式会社小糸製作所 車両用コミュニケーションシステム、車両用表示装置および車両

Also Published As

Publication number Publication date
JP2022089653A (ja) 2022-06-16

Similar Documents

Publication Publication Date Title
US20210158064A1 (en) Apparatus detecting driving incapability state of driver
US20200216078A1 (en) Driver attentiveness detection system
US11557150B2 (en) Gesture control for communication with an autonomous vehicle on the basis of a simple 2D camera
US20220203996A1 (en) Systems and methods to limit operating a mobile phone while driving
US9881503B1 (en) Vehicle-to-pedestrian-communication systems and methods for using the same
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
WO2019017216A1 (ja) 車両制御装置及び車両制御方法
KR20190083317A (ko) 차량의 차선 변경에 관련된 알림을 제공하는 인공 지능 장치 및 그 방법
JP7095757B2 (ja) 乗車許可判断装置及び乗車許可判断方法
CN109843771B (zh) 引导装置、引导方法和电梯
US20210179289A1 (en) Aerial vehicle, communication terminal and non-transitory computer-readable medium
JPWO2019044427A1 (ja) 支援方法およびそれを利用した支援システム、支援装置
WO2020129309A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
WO2020129312A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
US20240362931A1 (en) Systems and methods for determining driver control over a vehicle
JPWO2020045556A1 (ja) 報知装置、報知制御装置、報知システム、報知方法及びプログラム
DE102020205932A1 (de) Autonomes Fahrzeug für blinde Menschen
CN113208883A (zh) 一种基于机器视觉的多功能智能导盲手杖
JP7468322B2 (ja) 情報処理装置、情報処理プログラム、及び監視システム
JP7038232B2 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
WO2008038376A1 (fr) Dispositif de reconnaissance de signal, procédé de reconnaissance de signal, programme de reconnaissance de signal, et support d'enregistrement
JP2021039582A (ja) 案内システム、情報処理装置、案内方法、およびプログラム
JP7331632B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
CN116547729A (zh) 关注对象共享装置、关注对象共享方法
JP7418683B2 (ja) 評価装置、評価方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150