JP6673415B2 - 適合度判定装置および適合度判定方法 - Google Patents

適合度判定装置および適合度判定方法 Download PDF

Info

Publication number
JP6673415B2
JP6673415B2 JP2018168837A JP2018168837A JP6673415B2 JP 6673415 B2 JP6673415 B2 JP 6673415B2 JP 2018168837 A JP2018168837 A JP 2018168837A JP 2018168837 A JP2018168837 A JP 2018168837A JP 6673415 B2 JP6673415 B2 JP 6673415B2
Authority
JP
Japan
Prior art keywords
customer
vehicle
image
unit
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018168837A
Other languages
English (en)
Other versions
JP2020042491A (ja
Inventor
晴香 谷口
晴香 谷口
一希 笠井
一希 笠井
知柔 今林
知柔 今林
慎 江上
慎 江上
佐久間 淳
淳 佐久間
栄造 北村
栄造 北村
加藤 重之
重之 加藤
泰秀 與茂
泰秀 與茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018168837A priority Critical patent/JP6673415B2/ja
Priority to PCT/JP2019/034627 priority patent/WO2020054517A1/ja
Publication of JP2020042491A publication Critical patent/JP2020042491A/ja
Application granted granted Critical
Publication of JP6673415B2 publication Critical patent/JP6673415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、相乗り車両を提供する相乗りシステムに用いられる適合度判定装置および適合度判定方法に関する。
従来から、同乗者の属性などから自分に適合する相乗り相手を検索する技術が提案されている。例えば、特許文献1は、相乗りを行う相手を、人物の属性に基づいて検索することができる同乗者検索装置を開示する。この同乗者検索装置は、一の利用者からの要求に応じて、車両に同乗できる他の利用者を検索する。この装置は、利用者の移動に関する複数の要素からなり、出発地および目的地を要素として含む移動情報と、利用者の人物属性に関する複数の要素からなる属性情報を、当該利用者と関連付けて記憶する利用者情報記憶手段と、利用者から送信された検索要求を取得する検索要求取得手段と、検索要求を送信した利用者に対応する移動情報および属性情報と、他の利用者に対応する移動情報および属性情報を用いて、検索要求を送信した利用者と他の利用者との間の適合度を算出する適合度算出手段と、算出した適合度に基づいて、同乗者の候補を表す情報である候補情報を生成し、検索要求を送信した利用者に提示する情報提供手段と、を有する。
また、特許文献2は、抵抗感の少ない相乗り者を検索することが可能な車両の相乗り者検索システムを開示する。この相乗り者検索システムは、車両を運転する顧客A、及び顧客Aの車両に相乗りする顧客Bによる入力操作を受け付ける顧客用端末と、各顧客用端末とネットワークを介して接続された顧客サーバを備える。顧客サーバは、各顧客の基本属性に関するデータ、購買行動に関するデータ、及び地理条件に関するデータを記憶する顧客データベースと、店舗に車両で来店する顧客Aに対し、顧客データベースを参照してこの顧客Aの顧客データと合致度が高い顧客データを有する複数の顧客Bを選出する顧客データ検索部を有する。そして、選出した顧客Bについての顧客データを顧客Aの顧客用端末に送信する。従って、顧客Aは自身と相性の良い顧客Bを検索することが可能となる。
また、顔などが写った画像に基づいて、その人物やグループの属性、生体情報や表情を抽出したり、判定したりする技術が提案されている。たとえば、特許文献3は、入力顔画像からその人の性別や年齢層などの属性を正確に識別する人物属性識別装置を開示する。この人物属性識別装置は、多数の学習用顔画像を性別及び年齢層にグループ化し、このグループ化した学習用顔画像を各グループと対応させて記憶した属性記憶部と、属性毎にグループ化された学習用顔画像ベクトルの集合をグループ固有の部分空間に展開し各グループ毎の固有ベクトルを生成する部分空間生成部と、この部分空間生成部が生成した各グループ毎の固有ベクトルを未知の入力顔画像のグループ判定を行うためのデータとして記憶する判定用記憶部と、この判定用記憶部のデータを参照して未知の入力顔画像と各グループとの類似度を判定するとともに判定したグループと属性記憶部に記憶した内容から入力顔画像の属性を識別する類似度判定部とからなる。
また、特許文献4は、複数の人物が撮像された場面画像から、複数の人物によって形成されるグループのグループ属性を推定するグループ属性推定方法を開示する。このグループ属性推定方法は、店舗内が撮像された場面画像から、その場面画像に撮像された顧客を抽出する人物抽出処理を行い、場面画像データを用い、抽出された複数の顧客から同一のグループを形成する複数の顧客を推定するグループ推定処理を行う。次に、このグループ属性推定方法は、場面画像を用いて、同一のグループを形成すると推定された顧客毎に、その人物属性を推定する人物属性推定処理を行い、顧客毎に推定された人物属性に基づき、グループ属性を推定するグループ属性推定処理を行う。
また、特許文献5は、被験者の顔の撮像画像から呼吸数や心拍数等の生体活動の状態を計測する方法において、被験者の移動や体動の影響を排除して精度よく計測するための生体活動計測装置を開示する。この生体活動計測装置は、撮像装置で撮像された顔画像から顔面の特定領域の三次元座標を検出する特定領域検出部と、特定領域の平均輝度を算出する輝度取得部と、特定領域を構成する各特徴点の三次元座標に基づき、被験者の顔向きと特定領域の位置とを体動成分として検出する顔向き・位置検出部と、顔向き・位置検出部で検出した体動成分に基づき、輝度取得部で算出した特定領域の平均輝度を正面顔に相当する輝度に正規化補正する輝度補正部と、を備える。これにより、処理対象の顔画像から検出した特定領域の輝度における体動成分の影響を除外する。
また、特許文献6は、顔面全体にわたって筋肉の微小な動きを計測し、その時間的変化をパターン化し、そのパターンに基づいて、感情を表す表情の認識をおこない精度の良い表情認識装置を開示する。この表情認識装置は、表皮の動きを測定するモジュールとしてオプティカルフロー計算器を用い、表皮の動きの時間的変化のパターンを1次および2次モーメントへ変換し、標準表情画像における特徴ベクトルを定め、認識モードにおいて利用するように構成する。
特開2014−146261号公報 特開2015−076028号公報 特開平11−175724号公報 特開2004−054376号公報 特開2011−130996号公報 特開平04−342078号公報
近年、自動運転や運転支援のシステムが車両に採用されてきており、今後益々増加するものと考えられる。さらに、そのようなシステムにより運転される車両に複数人で乗り合い乗車するケースも増加していくものと推測されている。このような複数の人が一緒に乗り合わす車両などにおいては、様々な属性の人やグループが同じ車両に同乗することになるため、必ずしも快適ではない状況が生じ得る。
本発明は、かかる事情を鑑みて考案されたものであり、相乗り車両を提供する相乗りシステムにおいて、相乗りを希望する顧客が快適に移動できるようにする適合度判定装置および適合度判定方法を提供する。
上記課題を解決するために、相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、相乗り車両に同乗する顧客同士の適合度を判定する適合度判定装置であって、顧客の顔を含む画像を取得する画像取得部と、画像取得部が取得した画像に基づき、顧客の属性を推定する属性推定部と、属性推定部が推定した属性に基づき、顧客同士の適合度を判定する適合度判定部と、相乗り車両の車両状態情報を取得する車両状態取得部と、を備え、画像取得部は、相乗り車両から送信された顧客の画像を取得し、属性推定部は、その画像から生体情報を抽出し、生体情報と車両状態情報とから顧客の運転嗜好を推定し、適合度判定部は、運転嗜好に基づいて、顧客同士の適合度を判定する適合度判定装置が提供される。
これによれば、相乗り車両を提供する相乗りシステムにおいて、相乗りする顧客同士の適合度を判定することで、顧客が快適に移動できるようにする適合度判定装置を提供することができる。さらに、顧客の生体情報と乗合い車両の車両状態情報とから推定した顧客の運転嗜好に基づき適合度を判定することで、運転嗜好の合った顧客が同乗するため快適に移動できる。
上記課題を解決するために、相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、相乗り車両に同乗する顧客同士の適合度を判定する適合度判定装置であって、顧客の顔を含む画像を取得する画像取得部と、画像取得部が取得した画像に基づき、顧客の属性を推定する属性推定部と、属性推定部が推定した属性に基づき、顧客同士の適合度を判定する適合度判定部と、相乗り車両の車両状態情報を取得する車両状態取得部と、を備え、画像取得部は、相乗り車両から送信された顧客の画像を取得し、属性推定部は、その画像から心的状態を推定し、心的状態と車両状態情報とから顧客の運転嗜好を推定し、適合度判定部は、運転嗜好に基づいて、顧客同士の適合度を判定する適合度判定装置が提供される。
これによれば、相乗り車両を提供する相乗りシステムにおいて、相乗りする顧客同士の適合度を判定することで、顧客が快適に移動できるようにする適合度判定装置を提供することができる。さらに、顧客の心的状態と乗合い車両の車両状態情報とから推定した顧客の運転嗜好に基づき適合度を判定することで、運転嗜好の合った顧客が同乗するため快適に移動できる。
さらに、属性推定部は、画像に含まれている複数の顔に基づき、画像に写る顧客グループのグループ属性を推定し、適合度判定部は、グループ属性に基づき、顧客同士の適合度を判定することを特徴としてもよい。
これによれば、顧客グループのグループ属性に基づき適合度を判定することで、相乗り時のグループに合った移動が可能となる。
さらに、属性推定部は、画像に含まれている複数の顔に基づき、画像に写る顧客の人数を推定し、適合度判定部は、人数に基づき、顧客同士の適合度を判定することを特徴としてもよい。
これによれば、顧客グループの人数に基づき適合度を判定することで、相乗り時のグループ人数に合った移動が可能となる。
さらに、画像取得部は、顧客が相乗りシステムの登録時に撮像される顔画像を取得することを特徴としてもよい。
これによれば、相乗りシステムの登録時の顔画像に基づき顧客の属性を推定することで、相乗り車両を簡便に利用できる。
さらに、画像取得部は、顧客が相乗りシステムを利用する時に送信される顔画像を取得することを特徴としてもよい。
これによれば、相乗り車両を利用する時の顔画像に基づき顧客の属性を推定することで、相乗り時の属性に基づき適合度を判定することができる。
上記課題を解決するために、相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、相乗り車両に同乗する顧客同士の適合度を判定する適合度判定方法であって、相乗り車両の車両状態情報を取得し、相乗り車両から送信された顧客の顔を含む画像を取得し、画像に基づき、顧客の生体情報を抽出し、生体情報と車両状態情報とから顧客の運転嗜好を推定し、運転嗜好に基づき、顧客同士の適合度を判定する適合度判定方法が提供される。また、相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、相乗り車両に同乗する顧客同士の適合度を判定する適合度判定方法であって、相乗り車両の車両状態情報を取得し、相乗り車両から送信された顧客の顔を含む画像を取得し、画像に基づき、顧客の心的状態を推定し、心的状態と車両状態情報とから顧客の運転嗜好を推定し、運転嗜好に基づき、顧客同士の適合度を判定する適合度判定方法が提供される。
これによれば、相乗り車両を提供する相乗りシステムにおいて、相乗りする顧客同士の適合度を判定することで、顧客が快適に移動できるようにする適合度判定方法を提供することができる。
以上説明したように、本発明によれば、相乗り車両を提供する相乗りシステムにおいて、相乗りを希望する顧客が快適に移動できるようにする適合度判定装置および適合度判定方法を提供することができる。
本発明に係る第一実施例の相乗りシステムの全体のブロック構成図。 本発明に係る第一実施例の適合度判定装置のブロック構成図。 本発明に係る第一実施例の適合度判定装置の処理のフローチャート。 本発明に係る第一実施例の属性推定部の属性推定処理のフローチャート。 本発明に係る第一実施例の相乗りシステムのシーケンス図(乗客と乗客)。 本発明に係る第一実施例の相乗りシステムのシーケンス図(運転者と乗客)。 本発明に係る第二実施例の相乗りシステムの全体のブロック構成図。 本発明に係る第二実施例の適合度判定装置のブロック構成図。 本発明に係る第二実施例の車両のブロック構成図。 本発明に係る第二実施例の適合度判定装置の処理のフローチャート。 本発明に係る第二実施例の属性推定部の属性推定処理のフローチャート。 本発明に係る第二実施例の変形例の属性推定部の属性推定処理のフローチャート。 本発明に係る第二実施例の相乗りシステムのシーケンス図(乗客と乗客)。
以下では、図面を参照しながら、本発明に係る各実施例について説明する。
<第一実施例>
図1および図2を参照し、本実施例における適合度判定装置100を説明する。適合度判定装置100は、相乗りサービスを提供する相乗りシステム1に使用される。相乗りサービスは、相乗りを希望する顧客(乗客および運転者)に相乗り車両CRを提供するサービスである。相乗りシステム1は、運転者が相乗り相手の乗客を募集したり、乗客が個別に相乗り車両(自動運転を行う無人の自動運転車両なども含む)の利用を希望したりした場合に、運行情報などが合致する乗客を探して、配車を支援する。相乗りシステム1は、乗客1〜3や運転者からの相乗り希望に基づいて、相乗り車両・相乗り相手・運行スケジュール等を決定する。
相乗りシステム1は、適合度判定装置100を含む配車サーバ200と、配車サーバ200に会員の情報を入力する会員データ入力装置300と、配車サーバ200と無線ネットワークを介して接続される相乗り車両1〜2および乗客1〜3や運転者が有する携帯端末1〜4とから構成される。
配車サーバ200は、適合度判定装置100と、適合度判定装置100と情報をやり取りすると共に配車サーバ200の全体的な制御を行うサーバ制御部210と、携帯端末1〜4ならびに相乗り車両1〜2と通信を行うサーバ通信装置220と、会員データ入力装置300から入力される会員情報を格納する会員データベース230と、相乗り車両1〜2などの相乗り車両の情報を格納する車両データベース250および相乗りサービスの提供領域を含む地図データベース260と、車両データベース250および地図データベース260に基づいて運行計画を作成する運行計画装置240と、相乗りサービスの料金算定を行う料金算定装置270とを備える。
サーバ通信装置220は、顧客である乗客1〜3がそれぞれ保有する携帯端末1〜3や運転者が保有する携帯端末4と通信を行い、受信した情報をサーバ制御部210に伝達する。サーバ通信装置220は、携帯端末1〜4との間では、顧客のID(識別番号など)と共に相乗り希望の申請を受信し、その申請に対する配車に関する情報を送信する。
サーバ制御部210は、サーバ通信装置220が受信した顧客である乗客1〜3のIDと相乗り希望の申請を受け付けると、会員データ入力装置300に照合し、相乗りシステム1の正規の会員であるか否かを確認する。乗客1〜3が正規の会員であった場合、サーバ制御部210は、適合度判定装置100に対して希望申請のあった顧客がどのような属性を有し、どのような属性を有する他の顧客との相乗りが適合するかについて問い合わせる。
たとえば、サーバ制御部210は、乗客1と乗客2の希望申請を受け付けた場合、乗客1と乗客2が相乗りする適合性について判断する。適合性があると判断した場合、サーバ制御部210は、運行計画装置240に対して、利用場所や利用日時など観点から希望申請を認めてよいか否かを問い合わせる。運行計画装置240は、車両データベース250を参照し、その利用場所や利用日時で配車できる相乗り車両1〜2があるか否か、また地図データベース260を参照し乗客1と乗客2の利用経路において問題がないかなどを判定し、相乗り車両1〜2の運行計画を作成する。
たとえば、乗客1と乗客2の相乗り区間が総走行距離の相当割合あるか、一方の乗客が他方の乗客に対して極端な遠回りになることがないような運行計画を作成する。また、運行計画装置240は、料金算定装置270に対してそのような運行計画における乗客1と乗客2の料金を算定させる。サーバ制御部210は、その運行計画と料金を乗客1と乗客2のそれぞれの携帯端末1〜2に送信する。
サーバ制御部210は、公知の演算処理装置やメモリ、汎用のソフトウェアや配車サーバ200用のアプリケーションなどから構成される。サーバ通信装置220は、インターネットなどに接続できる公知のネットワークインターフェースの機能を有する。会員データベース230、車両データベース250および地図データベース260は、大容量のメモリやストレージ装置から構成される。会員データ入力装置300は、公知の演算処理装置やメモリ、汎用のソフトウェアや会員データ入力装置300用のアプリケーションなどから構成され、さらにカメラ310を有することが好ましい。会員データ入力装置300は、スマートフォンやタブレット端末などであってもよい。携帯端末1〜3は、スマートフォンやタブレット端末などであり、演算処理機能、通信機能、入出力機能、撮像機能、位置検出機能などスマートフォンなどが典型的に有する機能を有する。運転者用の携帯端末4は、運転者のスマートフォンであってもよいし、相乗り車両1に設置され、スマートフォンと同等の機能を備える車載器であってもよい。相乗り車両1〜2については、後述する。
適合度判定装置100は、図2に示すように、サーバ制御部210から乗客1〜3に関する画像データを取得する画像取得部10と、画像取得部10が取得した画像に基づいて乗客1〜3の属性を推定する属性推定部20と、属性推定部20が推定した属性と乗客1〜3のIDに関する情報とを関連付けて記憶する顧客別属性記憶部40と、属性推定部20が推定した属性に基づいて顧客同士の適合度を判定する適合度判定部30と、適合度判定部30の判定結果を出力する判定結果出力部50と、を備える。
画像取得部10は、乗客1〜3の属性が最も表れる顔が写った画像を取得することが好ましい。画像取得部10は、会員データ入力装置300に格納されている乗客1〜3が相乗りシステム1の登録時に撮像された顔画像を取得してもよい。これにより、乗客1〜3は利用申請時に画像を提供する必要がないので、相乗り車両を簡便に利用できる。また、画像取得部10は、相乗りシステム1を利用する時(利用申請時)に撮像されて、配車サーバ200に送信された顔を含む画像を取得してもよい。これによれば、相乗り車両を利用する時の顔画像に基づき顧客の属性を推定することで、相乗り時の属性または相乗り時に近い時期の属性に基づき適合度を判定することができる。
属性推定部20は、画像から人間の顔を検出し、その顔から性別、年齢、表情などを推定する。属性推定部20は、画像中の顔を認識する顔認識部21と、画像中の特徴量を抽出する特徴量抽出部22と、属性別に特徴量を記憶する属性別特徴量記憶部23と、特徴量を比較する特徴量比較部24とを有する。顔認識部21は、目鼻口の位置や輪郭を利用して人間の顔を認識する。特徴量抽出部22は、顔の部分や顔以外の身体的特徴における特徴量を抽出する。たとえば、特徴量抽出部22は、顔画像から眉や目の端点や輪郭点、鼻と口の周囲の特徴点を抽出し、特徴点の間の距離や、これら特徴点で包囲される領域の画素の特徴の分布を解析し、乗客の属性を解析する。
なお、本明細書では、属性とは、性別や年齢などを表すだけでなく、心理状態(心的状態)・嗜好・特徴なども含めるものとし、人を分類するときの分類基準とみなしても良い。心理状態とは、不安、怒り、悲しみ、恐れ、驚き、嫌悪、喜びなどをいう。嗜好は、車両の状態や運転の仕方に対する嗜好であり、加速/減速の程度、走行速度、ハンドルの切り方などに対する嗜好である。乗客1〜3などの快/不快、リラックス/緊張などの心理状態は、嗜好の類似性/異質性と関連し、これらの感情や状態を引き起こす要因となる場合がある。
属性別特徴量記憶部23は、このような属性に対する典型的な特徴量をテンプレートとして記憶する。たとえば、性別や年代により顔部分の特徴量は異なることが知られている。たとえば、性別に関して以下のような特徴量により判定できる。なお、これらの複数を組み合わせて総合的に判断してもよい。
・「目頭と目尻の長さ」と「顔の横幅」との比率に基づく
・「目頭と目尻の長さ」と「目の高さ」との比率に基づく
・性別/年齢別の平均顔との比較
・器官(目・鼻・口)や顔輪郭などのポイントの各距離や形状比率などを比較
・ガボールウェーブレット変換の結果
また、心理状態により、顔の眉や口などの形や位置関係などの特徴量が異なることも知られており、これらの特徴量に基づき推定される心理状態により属性を判定してもよい。このように、顧客の心的状態に基づき適合度を判定することで、相乗り時の心理状態に合った移動が可能となる。また、属性別特徴量記憶部23は、深層学習の技術により乗客1〜3個別の表情を学習させて、属性をより詳細に分類できるようにしてもよい。特徴量比較部24は、特徴量抽出部22が抽出した画像の特徴量と、属性別特徴量記憶部23が記憶する特徴量とを比較し、その画像が記憶した特徴量に最も類似したり、閾値を比較したりすることにより選定し、乗客1〜3の性別、年齢、表情などを推定する。
また、属性は、個人だけでなく、複数人の集合であるグループの属性であってもよい。たとえば、グループ属性とは、関係性を示すものとして、カップル、友達、夫婦、子連れファミリなど、心的状態を示すものとして、落ちつているグループ、はしゃいでいるグループなど、運転の嗜好を示すものとして、スポーティな走り、ノロノロとした安全運転、追越は余りしないなど、そして、グループに属する人数などを言う。グループ属性は、属する個人の属性、年齢、年齢差、互いの顔の距離、互いの体の距離などのパラメータに基づいて、関係性を推定する。たとえば、グループ属性は、以下の判定基準を組合せて判定される。
人数: 2人=友達、カップル、夫婦のいずれか
関係: 同性同士=友達、異性=夫婦またはカップル
年齢: 18才以下=カップル
年齢差: 10才以上=夫婦
顔の距離: 近い=カップル、普通以上=夫婦
体の距離: 近い=カップル、普通以上=夫婦
笑顔の度合: 微笑み以下=夫婦
顧客別属性記憶部40は、属性推定部20が推定した属性とサーバ制御部210から受け付ける乗客1〜3のIDに関する情報とを関連付けて記憶する。
適合度判定部30は、顧客別属性記憶部40に記憶された、利用申請している乗客1〜3の属性を読み取り、乗客1〜3が相乗り車両1〜2に乗り合わせるための適合度を判断する。適合度判定部30は、属性の類似性や相違性を点数化するなどして、適合度の高低を算出してもよい。高い適合度とは、同じ乗り合い車両に同乗しても不愉快や不快になりにくいという意味であり、相性が良い関係性を言う。不快にならない相手とは、属性が同じ/類似している関係を有することが多い。たとえば、同性である、同年代である、同じ心的状態(落ち込んでいる、テンション高い等)である、同じような感性である(髪型、メークなどの類似性)、同じような関係のグループである(カップル、友達、夫婦、子連れファミリなど)、車両の運転状態に対して同じような感覚である(ノロノロ運転好み、キビキビ運転好みなど)、などが挙げられる。
また、属性が異なっても、たとえば、老夫婦と若いカップル、老夫婦と子供などの組合せは、適合度が高いと考えてもよい。適合度判定部30は、属性の各項目で優先順位を付けてもよい。たとえば、適合度判定部30は、第1優先が「同性」、第2優先が「同年代」などの場合、まず同性の相手を探索し、複数の同性の相手が見つかった場合には、さらに絞り込むために年齢が近い相手を探索する。このように、顧客グループのグループ属性に基づき適合度を判定することで、相乗り時のグループに合った移動が可能となる。さらに、顧客グループの人数に基づき適合度を判定することで、相乗り時のグループ人数に合った移動が可能となる。
判定結果出力部50は、適合度判定部30が行った判定結果をサーバ制御部210に出力する。その判定結果を受信したサーバ制御部210は、サーバ通信装置220を介して、適合度が低い場合にはサーバ通信装置220を介して利用できる相乗り車両が無い旨を携帯端末1〜4に送信し、適合度が高い場合には、運行計画装置240により作成された配車情報を携帯端末1〜4に送信する。
図3および図4を参照し、適合度判定装置100における処理を説明する。なお、フローチャートにおけるSはステップを意味する。適合度判定装置100は、S100において、サーバ制御部210を介して顔画像を含む画像データと顧客のIDを受信する。適合度判定装置100の属性推定部20は、S102において、画像データに基づき画像データに含まれる顧客の属性を推定する。図4は、属性推定部20の処理を示す。属性推定部20の顔認識部21は、S200において、目鼻口の位置などを利用して人間の顔を認識する。顔認識部21は、S202において、画像データに含まれる人間の顔の数を計測し、1人か複数人かを確認する。
1人である場合、特徴量抽出部22は、S204において、その1人の顔画像や身体の画像から特徴量を抽出する。特徴量比較部24は、S206において、抽出した特徴量と属性別特徴量記憶部23に記憶された属性の特徴量のテンプレートとを比較し、画像に写った人が、どの属性なのか、たとえば性別や年齢について最も近似する属性を選び出す。また、特徴量比較部24は、S208において、抽出した特徴量と属性別特徴量記憶部23に記憶された表情の特徴量のテンプレートとを比較し、画像に写った人が、どのような心理状態なのか、たとえば不安な表情をしているのか、喜んだ表情をしているのかなどについて最も近似する表情を選び出す。属性推定部20は、S210において、上述した比較結果から、画像に写った人がそのような属性か、たとえば20歳台の男性で元気そうな表情しているといったことを推定する。
画像データに含まれるのが複数人すなわちグループである場合、特徴量抽出部22は、S212において、そのグループの複数の顔画像や身体の画像から特徴量を抽出する。特徴量比較部24は、S212において、抽出したグループの特徴量と属性別特徴量記憶部23に記憶されたグループの特徴量のテンプレートとを比較し、画像に写ったグループが、どのような属性なのか、たとえばグループの人数や関係性について最も近似する属性を選び出す。そして、属性推定部20は、1人である場合と同様、グループにおいても、S208とS210を実行し、これらの比較結果から、画像に写ったグループがそのような属性か、たとえば10歳台のカップルで楽しそうな表情しているといったことを推定する。
属性推定部20の処理が終わると、顧客別属性記憶部40は、S104において、画像データに基づき推定した属性とその画像データと同時に受信した顧客のIDとを記憶する。適合度判定装置100は、S106において、顧客の利用申請の状況に基づくサーバ制御部210からの画像データが他にあるか否か、全員分済んだかを確認する。まだ推定すべき画像データがある場合には、S100〜S104を繰り返す。もう全員分済んだ場合には、適合度判定部30は、S108において、顧客別属性記憶部40に記憶した顧客の中から顧客同士の適合度を算出する。適合度判定部30は、S110において、算出した適合度の高い顧客同士を、相乗りに適していると判定し、相乗り候補として決定する。判定結果出力部50は、S112において、サーバ制御部210を介して、相乗り候補者の顧客に対して判定した結果を出力する。
図5を参照し、顧客である乗客1と、乗客1の利用申請における移動情報に近い移動情報を含む利用申請を行った乗客2との適合度の判定の例を説明する。乗客2は、S300において、自己の携帯端末2から配車サーバ200に相乗りの希望申請を行う。乗客1は、S302において、ほぼ同時期に自己の携帯端末1から配車サーバ200に相乗りの希望申請を行う。それぞれの希望申請には、希望する出発場所/時間および到着場所/時間を示す移動情報と、自分のまたは自分のグループ全員の顔画像とが含まれている。
配車サーバ200は、S304において、乗客1の利用申請を受け付けると乗客1の移動情報に近い移動情報を有する利用申請の有無を確認し、乗客2とのマッチングを行う。なお、移動情報が近いとは、希望する出発場所/時間が近くかつ到着場所/時間が近い場合や、一方の出発到着経路内に他方の出発到着経路が含まれ、一方の出発到着時間と他方の出発到着時間が経路上で適切である場合など、様々な場合が考えられる。移動情報の観点から乗客1と乗客2が適合している場合には、配車サーバ200は、S306において、乗客1と乗客2の顔画像からそれぞれの属性を推定する。属性を推定すると、配車サーバ200は、S308において、乗客1と乗客2の属性の観点から適合度の高低を算出し、両者が相乗りに適合しているか否かを判定する。
適合度が高い場合には、配車サーバ200は、S310において運行計画を作成し、S312において配車情報を乗客1と乗客2へ回答する。その回答を受けた乗客2は、S314においてその配車情報に対する回答を行い、乗客1は、S316においてその配車情報に対する回答を行う。配車サーバ200は、S318において、両者の回答に基づき両者の相乗りが成立したか不成立したかの回答を行う。本図の例は、相乗り車両が、自動運転を行う無人の自動運転車両の場合に適用され得る。
図6を参照し、顧客である乗客1の利用申請の移動情報と、運転者の乗客募集の申請における移動情報が近い場合の適合度の判定の例を説明する。運転者は、S400において自己の携帯端末4または自己の車両の場合は車載器から、配車サーバ200に自分が運転する相乗り車両への乗客募集の申請を行う。乗客1は、S402において、ほぼ同時期に自己の携帯端末1から配車サーバ200に相乗りの希望申請を行う。配車サーバ200は、S404において、乗客1の利用申請を受け付けると乗客1の移動情報に近い移動情報を有する乗客募集の有無を確認し、運転者とのマッチングを行う。なお、運転者の乗客募集は複数の場合もあり得るので、最も近い移動情報を含む乗客募集を選び出す。
移動情報の観点から乗客1と運転者が適合している場合には、配車サーバ200は、S406において、乗客1と運転者の顔画像からそれぞれの属性を推定する。属性を推定すると、配車サーバ200は、S408において、乗客1と運転者の属性の観点から適合度の高低を算出し、両者が相乗りに適合しているか否かを判定する。適合度が高い場合には、配車サーバ200は、S410において運行計画を作成し、S412において配車情報を乗客1と運転者へ回答する。その回答を受けた運転者は、S414においてその配車情報に対する回答を行い、乗客1は、S416においてその配車情報に対する回答を行う。配車サーバ200は、S418において、両者の回答に基づき両者の相乗りが成立したか不成立したかの回答を行う。
上述したように、相乗り車両CRを提供する相乗りシステム1において、相乗りする顧客同士や顧客と運転者との適合度を判定することで、顧客が快適に移動できるようにする適合度判定装置100を提供することができる。
また、上述したことは、相乗りを希望する顧客に相乗り車両CRを提供する相乗りシステム1において、相乗り車両CRに同乗する顧客同士の適合度を判定する適合度判定方法でもある。この適合度判定方法は、顧客の顔を含む画像を取得し、取得した画像に基づき、画像に写った顧客の属性を推定し、推定した属性に基づき、顧客同士の適合度を判定する方法である。これによれば、相乗り車両CRを提供する相乗りシステム1において、顧客が快適に移動できるようにする適合度判定方法を提供することができる。
<第二実施例>
図7乃至図9を参照し、本実施例における適合度判定装置100Aを説明する。なお、重複記載を避けるため、上記実施例と同じ構成要素には同じ符号を付して説明を省略し、異なる点を中心に説明する。適合度判定装置100Aは、相乗りサービスを提供する相乗りシステム1Aに使用される。相乗りシステム1Aは、適合度判定装置100Aを含む配車サーバ200Aと、配車サーバ200Aに会員の情報を入力する会員データ入力装置300と、配車サーバ200Aと無線ネットワークを介して接続される相乗り車両1〜2および乗客1〜3や運転者が有する携帯端末1〜4とから構成される。
配車サーバ200Aは、適合度判定装置100Aと、適合度判定装置100Aと情報をやり取りすると共に配車サーバ200Aの全体的な制御を行うサーバ制御部210Aと、携帯端末1〜4ならびに相乗り車両1〜2と通信を行うサーバ通信装置220Aと、会員データ入力装置300から入力される会員情報を格納する会員データベース230と、相乗り車両1〜2などの相乗り車両の情報を格納する車両データベース250および相乗りサービスの提供領域を含む地図データベース260と、車両データベース250および地図データベース260に基づいて運行計画を作成する運行計画装置240と、相乗りサービスの料金算定を行う料金算定装置270とを備える。
サーバ通信装置220Aは、顧客である乗客1〜3がそれぞれ保有する携帯端末1〜3や運転者が保有する携帯端末4ならびに相乗り車両1〜2と通信を行い、受信した情報をサーバ制御部210Aに伝達する。サーバ通信装置220Aは、携帯端末1〜4との間では、顧客のIDと共に相乗り希望の申請を受信し、その申請に対する配車に関する情報を送信する。サーバ通信装置220Aは、相乗り車両1〜2との間では、乗客1〜3の乗車中の顔を含む画像や相乗り車両1〜2の状態や走行に関する情報(車両状態情報)を受信する。
サーバ制御部210Aは、サーバ通信装置220Aが受信した乗客1〜3のIDと相乗り希望の申請を受け付けると、適合度判定装置100Aに対して希望申請のあった顧客がどのような属性を有し、どのような属性を有する他の顧客との相乗りが適合するかについて問い合わせる。乗客1と乗客2において適合性があると判断した場合、サーバ制御部210Aは、運行計画装置240に対して、乗客1と乗客2が乗車する相乗り車両CRの運行計画を作成させる。運行計画装置240は、料金算定装置270に対してそのような運行計画における乗客1と乗客2の料金を算定させる。サーバ制御部210Aは、その運行計画と料金を乗客1と乗客2のそれぞれの携帯端末1〜2に送信する。
サーバ制御部210Aは、公知の演算処理装置やメモリ、汎用のソフトウェアや配車サーバ200A用のアプリケーションなどから構成される。サーバ通信装置220Aは、インターネットなどに接続できる公知のネットワークインターフェースの機能を有する。相乗り車両1〜2は、図9に示すように、様々なECU(Electronic Control Unit)やセンサ群(本図ではECU1〜3および車両センサ1〜3)と、これらとCAN(Car Area Network)などの通信バスで接続された車両データ送信装置CRSとを備える。センサ群は、たとえば、加速度センサ、車速センサ、操舵角センサ、ステアリングトルクセンサ、振動センサ、ヨーレートセンサ、ジャイロスコープ、車間距離センサ、カメラ、LIDAR、位置センサ(GPS:Global Positioning System)、道路標識センサ、車載ネットワークなどであり、多数の情報源から目的とする物理量などの情報を取得する。
ECUは、たとえば、主制御系統に関連するものとして、オートクルーズECU、エンジン制御ECU、ステアリング制御ECU、ブレーキ制御ECUなどがある。それぞれのECUには、モータやソレノイドなどから構成され、動作を発生させるアクチュエータ(本図ではアクチュエータ1〜3)が対応して備えられている。たとえば、エンジン制御ECUにはエンジン、ステアリング制御ECUにはステアリング、ブレーキ制御ECUにはブレーキが対応している。たとえば、ステアリング制御ECUは、車両センサの一つである操舵角センサが検出した操舵角などに応じて、アクチュエータとしてのステアリングを制御する。相乗り車両1〜2が自動運転を行う車両である場合、自動運転ECUが備えられる。自動運転ECUは、その他のECUに対して各制御量などを指令することによって、協働して自動運転を実現する。
車両データ送信装置CRSは、通信バスを介してECUなどと通信を行うと共に全体を制御する制御部CR1と、制御部CR1の制御の下乗客1と乗客2の顔などの画像を撮像する赤外線カメラCR2およびカメラCR3と、ネットワークを介して撮像した画像データや各種ECU/センサから得られる車両状態データを配車サーバ200Aに送信する送信部CR4とを備える。赤外線カメラCR2およびカメラCR3は、それぞれの生体信号の情報を取得するため相乗り車両1〜2に乗車している顧客やそのグループを撮像する。
なお、生体信号は、バイタルサインを少なくとも含むものとする。バイタルサインとは、生物として生きている証拠であり、たとえば血圧、脈拍数、呼吸速度、体温、発汗、瞳孔反射(対光反射)、脳波などである。生体情報は、後述するように、配車サーバ200Aで撮像した画像から得られる。これらを測る測定器は、乗客が座る座席の座面、背もたれ、ヘッドレスト、肘掛けなどに設けられ、直接的または間接的にこれらを測定できるものであってもよいが、本実施例では、赤外線カメラCR2とカメラCR3が自然光の下または乗車する顧客に可視光/非可視光の波長の電磁波を照射し、その反射光を撮像することにより生体信号を取得する。
適合度判定装置100Aは、図8に示すように、画像データを取得する画像取得部10と、画像取得部10が取得した画像に基づいて乗客1〜3の属性を推定する属性推定部20Aと、属性推定部20Aが推定した属性と乗客1と乗客2のIDに関する情報とを関連付けて記憶する顧客別属性記憶部40と、属性推定部20Aが推定した属性に基づいて顧客同士の適合度を判定する適合度判定部30と、適合度判定部30の判定結果を出力する判定結果出力部50と、サーバ制御部210Aから車両状態データを取得する車両状態取得部60と、を備える。
画像取得部10は、実際に相乗り車両CRを利用している最中に赤外線カメラCR2やカメラCR3が撮像した顔画像を取得する。車両状態取得部60は、サーバ制御部210Aを介して、相乗り車両CRの各種ECU/センサから得られる車両状態データ(車両状態情報)を取得する。車両状態取得部60は、乗客1と乗客2が実際に相乗り車両CRを利用している最中車両状態データを取得する。
属性推定部20Aは、画像から人間の顔を検出し、その顔から性別、年齢、表情、運転嗜好などを推定する。属性推定部20Aは、画像中の顔を認識する顔認識部21と、顔画像に基づき心拍数を計測する心拍数計測部25と、顔画像に基づき表情を分析する表情分析部26と、心拍数計測部25と表情分析部26の結果に基づき心理状態を推定する心的状態推定部27と、車両状態取得部60が取得した車両状態データと心的状態推定部27が推定した心理状態に基づき乗客1と乗客2の運転嗜好を決定する運転嗜好決定部28とを有する。
心拍数計測部25は、画像から抽出した乗客1と乗客2のそれぞれの顔の特定領域における輝度の時間的変化から得られる周期に基づいて、生体情報としてそれぞれの心拍数を計測する。表情分析部26は、取得した顔画像と事前に得た表情の特徴量を比較し、乗客1と乗客2が不安な表情をしているのか、喜んだ表情をしているのかなどについて分析する。心的状態推定部27は、心拍数計測部25が計測した心拍数と表情分析部26が分析した結果の表情に基づき、乗客1と乗客2のその時の心理状態が如何なるものか、緊張状態なのか、リラックスしている状態なのかなどについて推定する。心的状態推定部27は、たとえば、心拍数が急増し、恐怖の表情の時には緊張状態にあると推定する。
運転嗜好決定部28は、車両状態データと心拍などの生体情報や心理状態に基づき、乗客1と乗客2がどのような運転の仕方が好きなのかなどの運転嗜好を総合的に決定する。たとえば、表情分析部26が行った乗車中の顔画像の表情分析の結果、心拍数計測部25が行った心拍数の結果、および車両状態データとして取得した車間距離や走行速度などから総合的に運転嗜好を決定する。たとえば、ある乗客は、車間距離が短いときに、その顔画像からはいつも緊張している表情が読み取れ、心拍が速くなっているような場合には、その乗客は車間距離が短いことにストレスを感じる運転嗜好を有していると決定する。また、ある乗客は、走行速度が比較的速いときに、その顔画像からはいつも楽しそうな表情が読み取れる場合には、その乗客は走行速度が速いことに喜びを感じる運転嗜好を有していると決定する。運転嗜好決定部28は、乗客によっては表情に表れやすい人、表情に表れにくい人である場合もあり、その決定方法は、その乗客に合わせて行うことが好ましく、因果関係分析で決定してもよいし、人工知能による学習などで徐々に適合していくものであってよい。
顧客別属性記憶部40は、顧客ごとにこのような運転嗜好を属性として記憶し、次回の利用申請時の適合度を判定する際に活用される。適合度判定部30は、利用申請を受け付けて適合度を判定する際、かかる運転嗜好も含めて顧客同士の適合度を判定する。このように、顧客の生体情報や心的状態と乗合い車両の車両状態情報とから推定した顧客の運転嗜好に基づき適合度を判定することで、運転嗜好の合った顧客が同乗するため顧客は快適に移動できる。
図10乃至図12を参照し、適合度判定装置100Aにおける処理を説明する。適合度判定装置100Aは、S500において、サーバ制御部210Aを介して顔画像を含む画像データと顧客のID、および車両状態データを受信する。適合度判定装置100Aの属性推定部20Aは、S502において、画像データに基づき画像データに含まれる顧客の属性を推定する。図11は、属性推定部20Aの処理を示す。属性推定部20Aの顔認識部21は、S600において、画像から抽出した特徴量を用いて目鼻口などの器官を認識したり、多層ニューラルネットワークなどのAIを用いて人間の顔を認識する。心拍数計測部25は、S602において、画像データから心拍数を計測する。
心拍数が許容状態か否かを検査し(S604)、心拍数が許容状態以上でない場合、S600〜S602を繰り返し、心拍数を計測し続ける。心拍数が許容状態以上である場合、すなわち心拍数が相当多く緊張状態であると推測される場合、運転嗜好決定部28は、S606において、同じ時刻や少し前の車両状態データから緊張状態を引き起こした要因を推定する。たとえば、車間距離センサから得た車間距離、速度センサから得た走行速度、加速度センサから得た加速・減速の程度、ステアリングトルクセンサから得たハンドリングなど、その乗客が緊張状態となっている時と相関関係の高い要因を選び出す。
運転嗜好決定部28は、S608において、相関関係の高い要因の中で、各要因の許容値すなわちその乗客にとって平静状態となる好みの車両状態(運転嗜好)を決定する。たとえば、車間距離が5メートル以下になると緊張状態となる乗客に対しては、車間距離の許容値を10メートル以上としたり、走行速度が50Km/時以上になると緊張状態となる乗客に対しては、走行速度の許容値を40Km/時以下としたりする。属性推定部20Aは、S610において、上述したように要因の許容値が予め定めた運転嗜好のどのタイプに属するのかを決定し、その乗客の属性を決定する。たとえば、走行速度の許容値が40Km/時で車間距離の許容値が10メートルは、安全運転タイプに属し、逆に走行速度の許容値が70Km/時以上で車間距離の許容値が5メートルは、スポーツ運転タイプに属するなどである。
属性推定部20Aの処理が終わると、顧客別属性記憶部40は、S504において、推定した属性である運転嗜好と属性を推測された顧客のIDとを関連付けて記憶する。適合度判定装置100Aは、S506において、顧客の利用申請の状況に基づくサーバ制御部210Aからの画像データが他にあるか否か、全員分済んだかを確認する。まだ推定すべき画像データがある場合には、S500〜S504を繰り返す。このようにして、乗車している顧客全員分の運転嗜好が顧客別属性記憶部40に記憶される。この記憶された運転嗜好は、顧客が次回、相乗りを希望する時において、顧客別属性記憶部40に記憶した顧客の中から顧客同士の適合度を算出する。
なお、S502における属性推定部20Aの処理は、生体情報である心拍データに基づき運転嗜好を推定したが、図12で示すように、表情や感情により運転嗜好を決定してもよい。属性推定部20Aの顔認識部21は、S700において、画像から抽出した特徴量を用いて目鼻口などの器官を認識したり、多層ニューラルネットワークなどのAIを用いて人間の顔を認識する。表情分析部26は、S702において、画像データから乗客の表情や感情を分析する。表情や感情から乗客が緊張状態か否かを検査し(S704)、緊張状態でない場合は、S700〜S702を繰り返す。緊張状態である場合、運転嗜好決定部28は、S706において、同じ時刻や少し前の車両状態データから緊張状態を引き起こした要因を推定する。以降S708〜710は、上述したS608〜S610と同じなので説明を省略する。
図13を参照し、顧客である乗客1と乗客2の運転嗜好の適合度の判定の例を説明する。乗客2は、S800において配車サーバ200Aに相乗りの希望申請を行う。乗客1は、S802において配車サーバ200Aに相乗りの希望申請を行う。それぞれの希望申請には、希望する出発場所/時間および到着場所/時間を示す移動情報と、自分のまたは自分のグループ全員の顔画像とが含まれている。
配車サーバ200Aは、S804において、乗客1の利用申請を受け付けると乗客1の移動情報に近い移動情報を有する利用申請の有無を確認し、乗客2とのマッチングを行う。移動情報の観点から乗客1と乗客2が適合している場合には、配車サーバ200Aは、S806において、以前の利用時に得られて顧客別属性記憶部40が記憶している乗客1と乗客2の運転嗜好の属性を読み出す。それぞれの運転嗜好を読み出すと、配車サーバ200Aは、S808において、乗客1と乗客2の運転嗜好の観点から適合度の高低を算出し、両者が相乗りに適合しているか否かを判定する。
適合度が高い場合には、配車サーバ200Aは、S810において運行計画を作成し、S812において配車情報を乗客1と乗客2へ回答する。その回答を受けた乗客2は、S814においてその配車情報に対する回答を行い、乗客1は、S816においてその配車情報に対する回答を行う。配車サーバ200Aは、S818において、両者の回答に基づき両者の相乗りが成立したか不成立したかの回答を行う。このように、顧客の生体情報や心的状態と乗合い車両の車両状態情報とから推定した顧客の運転嗜好に基づき適合度を判定することで、運転嗜好の合った顧客が同乗するため顧客は快適に移動できる。
なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。
1 相乗りシステム
100 適合度判定装置
10 画像取得部
20 属性推定部
21 顔認識部
22 特徴量抽出部
23 属性別特徴量記憶部
24 特徴量比較部
25 心拍数計測部
26 表情分析部
27 心的状態推定部
28 運転嗜好決定部
30 適合度判定部
40 顧客別属性記憶部
50 判定結果出力部
60 車両状態取得部
200 配車サーバ
210 サーバ制御部
220 サーバ通信装置
230 会員データベース
240 運行計画装置
250 車両データベース
260 地図データベース
270 料金算定装置
300 会員データ入力装置
310 カメラ
CR 相乗り車両
CRS 車両データ送信装置
CR1 車両データ送信装置制御部
CR2 車両データ送信装置赤外線カメラ
CR3 車両データ送信装置カメラ
CR4 車両データ送信装置送信部

Claims (8)

  1. 相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、前記相乗り車両に同乗する顧客同士の適合度を判定する適合度判定装置であって、
    前記顧客の顔を含む画像を取得する画像取得部と、
    前記画像取得部が取得した前記画像に基づき、前記顧客の属性を推定する属性推定部と、
    前記属性推定部が推定した前記属性に基づき、顧客同士の適合度を判定する適合度判定部と、
    前記相乗り車両の車両状態情報を取得する車両状態取得部と、
    を備え
    前記画像取得部は、前記相乗り車両から送信された前記顧客の画像を取得し、
    前記属性推定部は、該画像から生体情報を抽出し、前記生体情報と前記車両状態情報とから前記顧客の運転嗜好を推定し、
    前記適合度判定部は、前記運転嗜好に基づいて、顧客同士の適合度を判定する、
    適合度判定装置。
  2. 相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、前記相乗り車両に同乗する顧客同士の適合度を判定する適合度判定装置であって、
    前記顧客の顔を含む画像を取得する画像取得部と、
    前記画像取得部が取得した前記画像に基づき、前記顧客の属性を推定する属性推定部と、
    前記属性推定部が推定した前記属性に基づき、顧客同士の適合度を判定する適合度判定部と、
    前記相乗り車両の車両状態情報を取得する車両状態取得部と、
    を備え、
    前記画像取得部は、前記相乗り車両から送信された前記顧客の画像を取得し、
    前記属性推定部は、該画像から心的状態を推定し、前記心的状態と前記車両状態情報とから前記顧客の運転嗜好を推定し、
    前記適合度判定部は、前記運転嗜好に基づいて、顧客同士の適合度を判定する、
    適合度判定装置。
  3. 前記属性推定部は、前記画像に含まれている複数の顔に基づき、前記画像に写る顧客グループのグループ属性を推定し、
    前記適合度判定部は、前記グループ属性に基づき、顧客同士の適合度を判定する、
    ことを特徴とする請求項1または2に記載の適合度判定装置。
  4. 前記属性推定部は、前記画像に含まれている複数の顔に基づき、前記画像に写る顧客の人数を推定し、
    前記適合度判定部は、前記人数に基づき、顧客同士の適合度を判定する、
    ことを特徴とする請求項1または2に記載の適合度判定装置。
  5. 前記画像取得部は、前記顧客が前記相乗りシステムの登録時に撮像される顔画像を取得することを特徴とする請求項1または2に記載の適合度判定装置。
  6. 前記画像取得部は、前記顧客が前記相乗りシステムを利用する時に送信される顔画像を取得することを特徴とする請求項1または2に記載の適合度判定装置。
  7. 相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、前記相乗り車両に同乗する顧客同士の適合度を判定する適合度判定方法であって、
    前記相乗り車両の車両状態情報を取得し、
    前記相乗り車両から送信された前記顧客の顔を含む画像を取得し、
    前記画像に基づき、前記顧客の生体情報を抽出し、前記生体情報と前記車両状態情報とから前記顧客の運転嗜好を推定し、
    前記運転嗜好に基づき、顧客同士の適合度を判定する適合度判定方法。
  8. 相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、前記相乗り車両に同乗する顧客同士の適合度を判定する適合度判定方法であって、
    前記相乗り車両の車両状態情報を取得し、
    前記相乗り車両から送信された前記顧客の顔を含む画像を取得し、
    前記画像に基づき、前記顧客の心的状態を推定し、前記心的状態と前記車両状態情報とから前記顧客の運転嗜好を推定し、
    前記運転嗜好に基づき、顧客同士の適合度を判定する適合度判定方法。
JP2018168837A 2018-09-10 2018-09-10 適合度判定装置および適合度判定方法 Active JP6673415B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018168837A JP6673415B2 (ja) 2018-09-10 2018-09-10 適合度判定装置および適合度判定方法
PCT/JP2019/034627 WO2020054517A1 (ja) 2018-09-10 2019-09-03 適合度判定装置および適合度判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018168837A JP6673415B2 (ja) 2018-09-10 2018-09-10 適合度判定装置および適合度判定方法

Publications (2)

Publication Number Publication Date
JP2020042491A JP2020042491A (ja) 2020-03-19
JP6673415B2 true JP6673415B2 (ja) 2020-03-25

Family

ID=69777617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018168837A Active JP6673415B2 (ja) 2018-09-10 2018-09-10 適合度判定装置および適合度判定方法

Country Status (2)

Country Link
JP (1) JP6673415B2 (ja)
WO (1) WO2020054517A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021162922A (ja) * 2020-03-30 2021-10-11 トヨタ自動車株式会社 サーバ装置、制御装置、プログラム、車両、及び情報処理システムの動作方法
JP7331767B2 (ja) * 2020-04-24 2023-08-23 トヨタ自動車株式会社 情報処理装置、プログラム、及び情報処理方法
JP7430599B2 (ja) 2020-08-21 2024-02-13 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JPWO2022091230A1 (ja) * 2020-10-27 2022-05-05
WO2022162713A1 (ja) * 2021-01-26 2022-08-04 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
EP4296988A4 (en) 2021-03-24 2024-04-10 Nec Corp OPERATION MANAGEMENT SYSTEM, OPERATION MANAGEMENT DEVICE, OPERATION MANAGEMENT METHOD AND PROGRAM

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP6318536B2 (ja) * 2013-10-11 2018-05-09 日産自動車株式会社 車両の相乗り者検索システム
JP6326866B2 (ja) * 2014-03-03 2018-05-23 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP6458792B2 (ja) * 2016-11-04 2019-01-30 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Also Published As

Publication number Publication date
WO2020054517A1 (ja) 2020-03-19
JP2020042491A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6673415B2 (ja) 適合度判定装置および適合度判定方法
US10302444B2 (en) Information processing system and control method
US11067405B2 (en) Cognitive state vehicle navigation based on image processing
US10922567B2 (en) Cognitive state based vehicle manipulation using near-infrared image processing
US11017250B2 (en) Vehicle manipulation using convolutional image processing
US9223837B2 (en) Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device
US11292477B2 (en) Vehicle manipulation using cognitive state engineering
US20180143635A1 (en) Vehicle manipulation using occupant image analysis
US20210339759A1 (en) Cognitive state vehicle navigation based on image processing and modes
US10647326B2 (en) Driving advice apparatus and driving advice method
EP2778995A2 (en) Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
WO2019217218A1 (en) Training set sufficiency for image analysis
WO2007043712A1 (ja) 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム
US20210064048A1 (en) System and method for controlling an autonomous carriage based on user intentions
JP6552548B2 (ja) 地点提案装置及び地点提案方法
CN112837407A (zh) 一种智能座舱全息投影系统及其交互方法
US20190051414A1 (en) System and method for vehicle-based health monitoring
JP7116540B2 (ja) 運転アドバイス装置及び運転アドバイス方法
JP7331728B2 (ja) 運転者状態推定装置
JP7068156B2 (ja) 情報処理装置及びプログラム
US20230129746A1 (en) Cognitive load predictor and decision aid
US20220324435A1 (en) Information processing method, information processing system, and control device
WO2021185998A1 (en) Technique for providing a user-adapted service to a user
JP6449504B1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2020169956A (ja) 車両の行先提案システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180928

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200217

R150 Certificate of patent or registration of utility model

Ref document number: 6673415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150