JP6382273B2 - 施設満足度算出装置 - Google Patents
施設満足度算出装置 Download PDFInfo
- Publication number
- JP6382273B2 JP6382273B2 JP2016193254A JP2016193254A JP6382273B2 JP 6382273 B2 JP6382273 B2 JP 6382273B2 JP 2016193254 A JP2016193254 A JP 2016193254A JP 2016193254 A JP2016193254 A JP 2016193254A JP 6382273 B2 JP6382273 B2 JP 6382273B2
- Authority
- JP
- Japan
- Prior art keywords
- facility
- vehicle
- unit
- emotion
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims description 30
- 230000008451 emotion Effects 0.000 claims description 66
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 24
- 239000003795 chemical substances by application Substances 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Acoustics & Sound (AREA)
- Social Psychology (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Description
本発明は、車両の運転者とのコミュニケーションを実行する装置に関する。
近年、人間から発せられる音声や表情をもとに、コンピュータが人間の感情を推定する技術が開発されている。このような感情推定技術は、例えばコンピュータと対話を行う際に、人間の感情に基づいて回答をおこなうことで円滑な対話を実現する等の応用が期待されている。感情推定技術としては、例えば、音声信号から感情に対応する特徴量を抽出し、基準となる音声信号とのズレ量を検出することで感情を判断する技術が提案されている（特許文献１参照）。また、人の表情の画像、特に眼および口の形状について、予め設定されている複数の基本感情に対する感情確定度を求めることにより、心理状態を推定する技術が提案されている（特許文献２参照）。
イベントまたはショッピングなどの特定地域を既に訪問した人から満足度に関する情報を収集し、それをネットワーク上に公開する情報システムが提案されている（特許文献３参照）。情報センタは車両の搭乗者の満足度に関する質問を送信する際、速度情報に基づいて停止している車両を選択して質問を送信する。情報センタが、車両が移動中だと判断した場合、搭乗者に関する情報に基づいて、運転者以外の搭乗者が存在する車両であると判断した場合に限り、質問を送信する。このようにすると、運転者以外に搭乗者が存在せず、かつ車両が移動中のときに質問の送付を防止することができ、その結果、回答者の安全を確保することができる。
しかし、車両の乗員への質問および当該乗員の回答からだけでは、乗員の施設に対する満足度の推定精度が低くなる場合がある。例えば、車両の乗員が滞在した施設に対して満足していても、乗員同士の会話をやめたくないまたは余韻を楽しんでいる雰囲気を損ねたくないと感じるなどの原因により、その意に反する言葉を口にする場合がある。
そこで、本発明は、車両の乗員の施設に対する満足度の推定精度の向上を図ることができる装置を提供することを目的とする。
本発明の施設満足度算出装置は、車両の施設における滞在の有無を判定する滞在判定部と、前記車両の一または複数の乗員の状態に関する情報に基づき、前記一または複数の乗員の感情を推定する感情推定部と、前記滞在判定部により前記車両が前記施設に滞在したと判定された場合、前記車両が前記施設から立ち去ってから指定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に基づき、前記一または複数の乗員の前記施設に対する満足度の指標値を評価する指標値評価部と、前記車両の乗員の人数を推定する人数推定部と、前記人数推定部により前記車両の乗員が一人のみであると推定された場合、乗員に向けた質問を出力する質問部と、を備えている。
本発明の施設満足度算出装置において、前記滞在判定部により前記車両が前記施設に滞在したと判定され、かつ、前記人数推定部により前記車両の乗員が複数であると推定された場合、前記質問部が、前記指定時間内に前記感情推定部による前記乗員の感情の推定確度が所定値以上にならないことを要件として、前記乗員に向けた質問を出力することが好ましい。
本発明の施設満足度算出装置において、前記指標値評価部が、前記車両が前記施設から立ち去ってから前記指定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に加えて、前記車両が前記施設に到着する前の所定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に基づき、前記一または複数の乗員の前記施設に対する満足度の指標値を評価することが好ましい。
本発明の施設満足度算出装置において、前記車両の一または複数の乗員の状態に関する情報は、カメラで撮影された前記一または複数の乗員の表情および動作、ならびにマイクで集音された前記一または複数の乗員の音声のうち少なくともいずれか１つであることが好ましい。
本発明の施設満足度算出装置によれば、車両の乗員の施設に対する満足度の推定精度の向上を図ることができる。
（基本システムの構成）
本発明の一実施形態としての施設満足度算出装置４（図４参照）は、図１に示されている基本システムの構成要素のうち少なくとも一部により構成されている。基本システムは、車両Ｘ（移動体）に搭載されているエージェント装置１、乗員により車両Ｘの内部に持ち込み可能な携帯端末装置２（例えばスマートホン）およびサーバ３により構成されている。エージェント装置１、携帯端末装置２およびサーバ３は無線通信網（例えばインターネット）を通じて相互に無線通信する機能を備えている。エージェント装置１および携帯端末装置２は、同一の車両Ｘの空間内に共存するなど、物理的に近接している場合、近接無線方式（例えばＢｌｕｅｔｏｏｔｈ（「Ｂｌｕｅｔｏｏｔｈ」は登録商標））により相互に無線通信する機能を備えている。
本発明の一実施形態としての施設満足度算出装置４（図４参照）は、図１に示されている基本システムの構成要素のうち少なくとも一部により構成されている。基本システムは、車両Ｘ（移動体）に搭載されているエージェント装置１、乗員により車両Ｘの内部に持ち込み可能な携帯端末装置２（例えばスマートホン）およびサーバ３により構成されている。エージェント装置１、携帯端末装置２およびサーバ３は無線通信網（例えばインターネット）を通じて相互に無線通信する機能を備えている。エージェント装置１および携帯端末装置２は、同一の車両Ｘの空間内に共存するなど、物理的に近接している場合、近接無線方式（例えばＢｌｕｅｔｏｏｔｈ（「Ｂｌｕｅｔｏｏｔｈ」は登録商標））により相互に無線通信する機能を備えている。
（エージェント装置の構成）
エージェント装置１は、例えば図２に示されているように、制御部１００、センサ部１１（ＧＰＳセンサ１１１、車速センサ１１２およびジャイロセンサ１１３を備えている。）、車両情報部１２、記憶部１３、無線部１４（近接無線通信部１４１および無線通信網通信部１４２を備えている。）、表示部１５、操作入力部１６、オーディオ部１７（音声出力部）、ナビゲーション部１８、撮像部１９１（車内カメラ）および音声入力部１９２（マイク）を備えている。
エージェント装置１は、例えば図２に示されているように、制御部１００、センサ部１１（ＧＰＳセンサ１１１、車速センサ１１２およびジャイロセンサ１１３を備えている。）、車両情報部１２、記憶部１３、無線部１４（近接無線通信部１４１および無線通信網通信部１４２を備えている。）、表示部１５、操作入力部１６、オーディオ部１７（音声出力部）、ナビゲーション部１８、撮像部１９１（車内カメラ）および音声入力部１９２（マイク）を備えている。
センサ部１１のＧＰＳセンサ１１１はＧＰＳ(Global Positioning System)衛星からの信号を基に現在位置を算出する。車速センサ１１２は回転軸からのパルス信号を基に車両の速度を算出する。ジャイロセンサ１１３は角速度を検出する。これらＧＰＳセンサ、車速センサ、ジャイロセンサにより、車両の現在位置や向きを正確に算出することが可能となっている。
車両情報部１２は、ＣＡＮ−ＢＵＳなどの車内ネットワークを通じて車両情報を取得する。車両情報には、例えばイグニッションＳＷのＯＮ／ＯＦＦ、安全装置系の動作状況（ＡＤＡＳ、ＡＢＳおよびエアバッグなど）の情報が含まれている。操作入力部１６は、スイッチ押下等の操作のほか、乗員の感情推定に利用可能なステアリング、アクセルペダルまたはブレーキペダルの操作量、窓およびエアコンの操作（温度設定など）などの入力を検知する。
無線部１４の近接無線通信部１４１は、例えばＷｉ−Ｆｉ： Wireless Fidelity（登録商標）、Bluetooth（登録商標）等の通信部であり、無線通信網通信部１４２は、３Ｇやセルラー、ＬＴＥ通信等のいわゆる携帯電話網に代表される無線通信網に接続される通信部である。
（携帯端末装置の構成）
携帯端末装置２は、例えば図３に示されているように、制御部２００、センサ部２１（ＧＰＳセンサ２１１およびジャイロセンサ２１３を備えている。）、記憶部２３（データ記憶部２３１およびアプリケーション記憶部２３２を備えている。）、無線部２４（近接無線通信部２４１および無線通信網通信部２４２を備えている。）、表示部２５、操作入力部２６、音声出力部２７、撮像部２９１（カメラ）および音声入力部２９２（マイク）を備えている。
携帯端末装置２は、例えば図３に示されているように、制御部２００、センサ部２１（ＧＰＳセンサ２１１およびジャイロセンサ２１３を備えている。）、記憶部２３（データ記憶部２３１およびアプリケーション記憶部２３２を備えている。）、無線部２４（近接無線通信部２４１および無線通信網通信部２４２を備えている。）、表示部２５、操作入力部２６、音声出力部２７、撮像部２９１（カメラ）および音声入力部２９２（マイク）を備えている。
携帯端末装置２は、エージェント装置１と共通する構成要素を備えている。携帯端末装置２は、車両情報を取得する構成要素（図２／車両情報部１２参照）を備えていないが、例えば近接無線通信部２４１を通じてエージェント装置１から車両情報を取得することが可能である。また、アプリケーション記憶部２３２に記憶されているアプリケーション（ソフトウェア）にしたがって、エージェント装置１のオーディオ部１７およびナビゲーション部１８のそれぞれと同様の機能を携帯端末装置２が備えていてもよい。
（施設満足度算出装置の構成）
図４に示されている本発明の一実施形態としての施設満足度算出装置４は、エージェント装置１および携帯端末装置２のうち一方または両方により構成されている。施設満足度算出装置４の一部の構成要素がエージェント装置１の構成要素であり、施設満足度算出装置４のその他の構成要素が携帯端末装置２の構成要素であり、相互の構成要素を補完し合うようにエージェント装置１および携帯端末装置２が連携してもよい。符号に関してＮ1（Ｎ2）という記載は、構成要素Ｎ1および構成要素Ｎ2のうち一方または両方により構成されていることまたは実行されていることを表わしている。
図４に示されている本発明の一実施形態としての施設満足度算出装置４は、エージェント装置１および携帯端末装置２のうち一方または両方により構成されている。施設満足度算出装置４の一部の構成要素がエージェント装置１の構成要素であり、施設満足度算出装置４のその他の構成要素が携帯端末装置２の構成要素であり、相互の構成要素を補完し合うようにエージェント装置１および携帯端末装置２が連携してもよい。符号に関してＮ1（Ｎ2）という記載は、構成要素Ｎ1および構成要素Ｎ2のうち一方または両方により構成されていることまたは実行されていることを表わしている。
施設満足度算出装置４は、記憶部１３（２３）、撮像部１９１（２９１）、音声入力部１９２（２９２）、音声出力部１７（２７）（またはオーディオ部）およびナビゲーション部１８を備えている。施設満足度算出装置４は、情報取得部４１と、滞在判定部４２と、感情推定部４３と、指標値評価部４４と、人数推定部４５と、を備えている。
情報取得部４１は、撮像部１９１（２９１）、音声入力部１９２（２９２）、ナビゲーション部１８および時計４０２からの出力信号に基づき、車両Ｘの運転者などの乗員の状態に関する情報を乗員状態情報として取得する。
撮像部１９１（２９１）により撮像された、乗員（特に車両Ｘの運転者または主乗員（第１乗員））がオーディオ部１７から出力されている音楽のリズムに合わせて身体の一部（例えば頭部）を周期的に動かしている様子など、その所作を表わす動画が乗員状態情報として取得されてもよい。撮像部１９１（２９１）により撮像された、乗員（特に車両Ｘの運転者（第１乗員）の同乗者または副乗員（第２乗員））が、眼を閉じている様子、車外を眺めている様子、またはスマートホンの操作をしている様子など、その所作を表わす動画が乗員状態情報として取得されてもよい。撮像部１９１（２９１）により撮像された、ナビゲーション部１８の出力画像変更または音声出力に応じた乗員（第１乗員）の視線の動きなどの反応を表わす動画が乗員状態情報として取得されてもよい。
音声入力部１９２（２９２）により検出された、乗員の鼻歌が乗員情報として取得されてもよい。オーディオ部１７から出力されている音楽コンテンツに関する情報が乗員情報として取得されてもよい。音声入力部１９２（２９２）により検出された、第１乗員および第２乗員の会話または第２乗員の発話の内容が車内状況情報として取得されてもよい。
サーバ３から施設満足度算出装置４に対して送信された、ナビゲーションルートまたはこれを包含する領域に含まれる道路またはこれを構成するリンクの移動コスト（距離、移動所要時間、交通渋滞度またはエネルギー消費量）が乗員状態情報（交通状況情報）として取得されてもよい。ナビゲーションルートは、現在地点または出発地点から目的地点まで連続する複数のリンクにより構成され、ナビゲーション部１８もしくは携帯端末装置２のナビゲーション機能、またはサーバ３によって計算される。施設満足度算出装置４の現在地点は、ＧＰＳセンサ１１１（２１１）によって測定される。出発地点および目的地点は、操作入力部１６（２６）または音声入力部１９２（２９２）を通じて乗員により設定される。
滞在判定部４２は、車両Ｘの施設における滞在の有無を判定する。感情推定部４３は、車両Ｘの一または複数の乗員の状態に関する情報に基づき、当該一または複数の乗員の感情を推定する。指標値評価部４４は、滞在判定部４２により車両Ｘが施設に滞在したと判定された場合、車両Ｘが施設から立ち去ってから指定時間内に感情推定部４３により推定された一または複数の乗員の感情に基づき、当該一または複数の乗員の当該施設に対する満足度の指標値を評価する。指標値評価部４４は、車両Ｘが施設から立ち去ってから第３指定時間内に感情推定部４３により推定された一または複数の乗員の感情に加えて、車両Ｘが施設に到着する前の所定時間内に感情推定部４３により推定された一または複数の乗員の感情に基づき、当該一または複数の乗員の施設に対する満足度の指標値を評価する。
人数推定部４５は、車両Ｘの乗員の人数を推定する。人数の推定は、撮像部１９１（２９１）で撮影された画像から人を検出しても良いし、シートに装着された着座センサー（図示しない）や、シートベルトの装着を検出する装置（図示しない）によって検出しても良い。質問部４６は、人数推定部４５により車両Ｘの乗員が一人のみであると推定された場合、乗員に向けた質問を出力する。質問部４６は、滞在判定部４２により車両Ｘが施設に滞在したと判定され、かつ、人数推定部４５により車両Ｘの乗員が複数であると推定された場合、指定時間内に感情推定部４３による乗員の感情の推定確度が所定値以上にならないことを要件として、乗員に向けた質問を出力する。
（施設満足度算出装置の作用）
前記構成の施設満足度算出装置４の作用または機能について説明する。
前記構成の施設満足度算出装置４の作用または機能について説明する。
情報取得部４１が、車両Ｘの乗員の状態を表わす情報を乗員状態情報として取得する（図５／ＳＴＥＰ１０２）。例えば、撮像部１９１（２９１）により撮像された、車両Ｘのキャビンスペースにいる乗員の表情、または、複数の乗員が会話をしている様子を表わす画像が乗員状態として取得されてもよい。音声入力部１９２（２９２）により検出された、乗員の発話内容が乗員状態情報として取得されてもよい。乗員状態情報は、時計４０２により計測された時刻とともに記憶部１３（２３）に時系列的に記憶保持される。
感情推定部４３が、情報取得部４１により取得された乗員状態情報に基づき、車両Ｘの一または複数の乗員の感情を推定する（図５／ＳＴＥＰ１０４）。具体的には、乗員状態情報を入力として、ディープラーニングまたはサポートベクターマシン等の機械学習により作成されたフィルターが用いられて、当該乗員の感情が推定される。例えば、複数の乗員が会話を楽しんでいる様子を示す動画または音声情報が乗員状態情報に含まれている場合、当該複数の乗員の感情が「好き」または「楽しい」などの肯定的な感情であると推定される。感情推定結果は、時計４０２により計測された時刻とともに記憶部１３（２３）に時系列的に記憶保持される。
滞在判定部４２が、車両Ｘの施設への到着の有無を判定する（図５／ＳＴＥＰ１０６）。例えば、車両情報部１２からＩＧＮスイッチがＯＮからＯＦＦに切り替えられてから一定時間が経過し、かつ、ＧＰＳセンサ１１１（２１１）によって測定される車両Ｘまたは施設満足度算出装置４の現在位置が、ナビゲーション部１８が保持している地図における施設の近傍領域に含まれている場合、車両Ｘが当該施設に到着したと判定される。当該施設が、ナビゲーション部１８において目的地点として設定されたことが、到着判定のためのさらなる要件とされてもよい。
車両Ｘが施設に到着していないと判定された場合（図５／ＳＴＥＰ１０６‥ＮＯ）、乗員状態情報の取得以降の処理が繰り返される（図５／ＳＴＥＰ１０２→ＳＴＥＰ１０４→ＳＴＥＰ１０６参照）。
車両Ｘが施設に到着したと判定された場合（図５／ＳＴＥＰ１０６‥ＹＥＳ）、滞在判定部４２が、車両Ｘの施設からの出発の有無を判定する（図５／ＳＴＥＰ１０８（図５／ＳＴＥＰ１０８‥ＮＯ→ＳＴＥＰ１０８参照））。例えば、車両情報部１０２からＩＧＮスイッチがＯＦＦからＯＮに切り替えられてから一定時間が経過し、かつ、ＧＰＳセンサ１１１（２１１）によって測定される車両Ｘまたは施設満足度算出装置４の現在位置が、施設の近傍領域から外れている場合、車両Ｘが当該施設から出発したと判定される。
車両Ｘが施設から出発したと判定された場合（図５／ＳＴＥＰ１０８‥ＹＥＳ）、人数推定部４５が車両Ｘの乗員の人数を推定する（図５／ＳＴＥＰ１１０）。例えば、撮像部１９１（２９１）により撮像された、車両Ｘのキャビンスペースの様子を示す画像が解析処理されることにより、そこにいる乗員の人数が推定される。
乗員の推定人数が複数人である場合（図５／ＳＴＥＰ１１０‥Ａ）、情報取得部４１が、車両Ｘの乗員の状態を表わす情報を乗員状態情報として取得する（図５／ＳＴＥＰ１１２）。そして、感情推定部４３が、情報取得部４１により取得された、車両Ｘの施設からの出発以後の指定時間内の乗員状態情報に基づき、乗員の感情を推定する（図５／ＳＴＥＰ１１４）。
感情推定部４３が、乗員の感情の推定確度が所定値以上であるか否かを判定する（図５／ＳＴＥＰ１１６）。
乗員の感情の推定確度が所定値以上であると判定された場合（図５／ＳＴＥＰ１１６‥ＹＥＳ）、指標値評価部４４が、記憶部１３（２３）に記憶されている、車両Ｘの施設出発以後における指定期間内の乗員の推定感情に加えて、車両Ｘの施設到着以前における所定期間内の乗員の推定感情に基づき、当該乗員の当該施設に対する満足度の指標値を評価する（図５／ＳＴＥＰ１１８）。例えば、車両Ｘの施設到着以前における乗員の推定感情を基準として、車両Ｘの施設出発以後における乗員の推定感情が肯定側に変化する程度が大きいほど指標値が大きく評価される傾向がある。その一方、車両Ｘの施設到着以前における乗員の推定感情を基準として、車両Ｘの施設出発以後における乗員の推定感情が否定側に変化する程度が大きいほど指標値が小さく評価される傾向がある。指標値の算出結果は、施設に関する情報と関連付けられて記憶部１３（２３）に記憶され、適宜サーバ３に対して送信される。
「指定時間」および「所定時間」は同一であってもよく異なっていてもよい。「指定時間」は、車両Ｘの施設への到着以前の所定時間内の乗員の推定感情に基づき、適応的に設定されてもよい。
乗員の感情の推定確度が所定値未満であると判定された場合（図５／ＳＴＥＰ１１６‥ＮＯ）、車両Ｘが施設を立ち去ってからまたは出発してから指定時間が経過したか否かが質問部４６により判定される（図５／ＳＴＥＰ１２０）。指定時間が経過していないと判定された場合（図５／ＳＴＥＰ１２０‥ＮＯ）乗員状態情報の取得以降の処理が繰り返される（図５／ＳＴＥＰ１１２→ＳＴＥＰ１１４→‥参照）。
指定時間が経過したと判定された場合、質問部４６が乗員に向けた質問を出力する（図５／ＳＴＥＰ１２２）。これにより、音声出力部１７（２７）から「●●（施設名称）はいかがでしたか？」等の質問音声が出力され、代替的または付加的に、当該質問を表わすテキストが表示部１５（２５）に表示される。
情報取得部４１が乗員状態情報を取得する（図５／ＳＴＥＰ１２４）。乗員状態情報には、この質問に接した乗員の「はい」または「いいえ」などの音声情報のほか、首を縦に振るまたは横に振るなどの乗員の動作を表わす動画が含まれている。感情推定部４３が、情報取得部４１により取得された乗員状態情報に基づき、乗員の感情を推定する（図５／ＳＴＥＰ１２６）。例えば、乗員の「はい」、「楽しかった」もしくは「また行きたい」などの肯定的な発話内容、または首を縦に振るもしくは微笑むなどの肯定的な動作または表情を表わす動画が乗員状態情報に含まれている場合、当該乗員の感情が肯定的な感情であると推定される可能性が高い。その一方、乗員の「いいえ」、「いまいち」もしくは「もう行かない」などの否定的な発話内容、または首を横に振るもしくは顔をしかめるなどの否定的な動作または表情を表わす動画が乗員状態情報に含まれている場合、当該乗員の感情が否定的な感情であると推定される可能性が高い。
そして、指標値評価部４４が、乗員の推定感情に基づき、当該乗員の当該施設に対する満足度の指標値を評価する（図５／ＳＴＥＰ１１８）。
乗員の推定人数が一人である場合（図５／ＳＴＥＰ１１０‥Ｂ）、質問部４６による乗員に向けた質問の出力、乗員状態情報の取得、乗員の感情推定および指標値評価が実行される（図５／ＳＴＥＰ１２２→ＳＴＥＰ１２４→ＳＴＥＰ１２６→ＳＴＥＰ１１８参照）。
（本発明の他の実施形態１）
前記実施形態では、人数推定結果に応じて、質問の出力の有無が区別された上で乗員の感情が推定されたが（図５／ＳＴＥＰ１１０→‥→ＳＴＥＰ１１８参照）、他の実施形態として、人数推定が省略され（図５／ＳＴＥＰ１１０参照）、質問の出力を伴わない乗員状態情報の取得および乗員の感情推定以降の処理が実行されてもよく（図５／ＳＴＥＰ１１２→ＳＴＥＰ１１４→‥→ＳＴＥＰ１１８参照）、または、質問の出力を伴う乗員状態情報の取得および乗員の感情推定以降の処理が実行されてもよい（図５／ＳＴＥＰ１２２→ＳＴＥＰ１２４→‥→ＳＴＥＰ１１８参照）。
前記実施形態では、人数推定結果に応じて、質問の出力の有無が区別された上で乗員の感情が推定されたが（図５／ＳＴＥＰ１１０→‥→ＳＴＥＰ１１８参照）、他の実施形態として、人数推定が省略され（図５／ＳＴＥＰ１１０参照）、質問の出力を伴わない乗員状態情報の取得および乗員の感情推定以降の処理が実行されてもよく（図５／ＳＴＥＰ１１２→ＳＴＥＰ１１４→‥→ＳＴＥＰ１１８参照）、または、質問の出力を伴う乗員状態情報の取得および乗員の感情推定以降の処理が実行されてもよい（図５／ＳＴＥＰ１２２→ＳＴＥＰ１２４→‥→ＳＴＥＰ１１８参照）。
前記実施形態では、人数推定部４５により車両Ｘの乗員が複数であると推定された場合、指定時間内に感情推定部４３による乗員の感情の推定確度が所定値以上にならないことを要件として、乗員に向けた質問が出力されたが（図５／ＳＴＥＰ１１０‥Ａ→ＳＴＥＰ１１２→ＳＴＥＰ１１４→ＳＴＥＰ１１６‥ＮＯ→ＳＴＥＰ１２０‥ＹＥＳ→ＳＴＥＰ１２２参照）、他の実施形態として、人数推定部４５により車両Ｘの乗員が複数であると推定された場合、乗員の感情の推定確度とは無関係に乗員に向けた質問が出力されてもよい。また、乗員の感情の推定確度とは無関係に、当該乗員の（施設に対する）満足度の指標値が評価されてもよい。
前記実施形態では、記憶部１３（２３）に記憶されている、車両Ｘの施設出発以後における指定期間内の乗員の推定感情に加えて、車両Ｘの施設到着以前における所定期間内の乗員の推定感情に基づき、当該乗員の当該施設に対する満足度の指標値が評価されたが（図５／ＳＴＥＰ１１８参照）、他の実施形態として、記憶部１３（２３）に記憶されている、車両Ｘの施設出発以後における指定期間内の乗員の推定感情のみに基づき、当該乗員の当該施設に対する満足度の指標値が評価されてもよい。例えば、車両Ｘの施設出発以後における乗員の推定感情が肯定的であり、かつ、肯定の程度（感情値）が大きいほど指標値が大きく評価される傾向がある。その一方、車両Ｘの施設出発以後における乗員の推定感情が否定的であり、かつ、否定の程度（感情値）が大きいほど指標値が小さく評価される傾向がある。
（本発明の他の実施形態２）
さらに本発明の他の実施形態として、乗員人数が一人の場合に質問を出力したが（図５／ＳＴＥＰ１２２）その質問を乗員人数が一人の場合でも複数人の場合でも出力する。
この場合、例えば得られた当該施設に対する満足度が通常の施設の平均値から乖離していた場合、何故良かった（満足した）のか、何故悪かった（満足しなかった）のかを質問をおこなうことで理由を収集する。質問は、他にも、乗員が過去に訪問した他施設との比較や、今後の提言内容をおこなっても良い。
さらに本発明の他の実施形態として、乗員人数が一人の場合に質問を出力したが（図５／ＳＴＥＰ１２２）その質問を乗員人数が一人の場合でも複数人の場合でも出力する。
この場合、例えば得られた当該施設に対する満足度が通常の施設の平均値から乖離していた場合、何故良かった（満足した）のか、何故悪かった（満足しなかった）のかを質問をおこなうことで理由を収集する。質問は、他にも、乗員が過去に訪問した他施設との比較や、今後の提言内容をおこなっても良い。
（本発明の他の実施形態３）
さらに本発明の他の実施形態として、収集した施設の満足度の指標値に対して活用をおこなう。例えば、当該施設に対する満足度の指標値をサーバ３で複数回集計し、施設に対するユーザ評価、さらに改善内容として解析レポートを作成し、当該施設に販売することができる。販売した収益は、施設の満足度の指標値に協力する乗員に対して金銭で還元しても良いし、無線通信使用量や音楽や映像等のコンテンツ、さらにより詳細な施設情報の提供といった本来有料である情報を無償や安価に提供することで還元することもできる。
さらに本発明の他の実施形態として、収集した施設の満足度の指標値に対して活用をおこなう。例えば、当該施設に対する満足度の指標値をサーバ３で複数回集計し、施設に対するユーザ評価、さらに改善内容として解析レポートを作成し、当該施設に販売することができる。販売した収益は、施設の満足度の指標値に協力する乗員に対して金銭で還元しても良いし、無線通信使用量や音楽や映像等のコンテンツ、さらにより詳細な施設情報の提供といった本来有料である情報を無償や安価に提供することで還元することもできる。
（本発明の他の実施形態４）
さらに本発明の他の実施形態として、収集した施設の満足度の指標値に対して異なる活用をおこなう。例えば、当該施設に対する満足度の指標値をサーバ３で複数回集計し、指標値が高評価だった施設をナビゲーション部１８がルート選択する際に優先的に目的地設定する。このように実施することで、複数人によって評価の高かった所謂「優良な施設」を簡単に目的地に設定することが可能となる。
さらに本発明の他の実施形態として、収集した施設の満足度の指標値に対して異なる活用をおこなう。例えば、当該施設に対する満足度の指標値をサーバ３で複数回集計し、指標値が高評価だった施設をナビゲーション部１８がルート選択する際に優先的に目的地設定する。このように実施することで、複数人によって評価の高かった所謂「優良な施設」を簡単に目的地に設定することが可能となる。
（効果）
本発明の施設満足度算出装置によれば、車両Ｘの乗員の施設に対する満足度の推定精度の向上を図ることができる。
本発明の施設満足度算出装置によれば、車両Ｘの乗員の施設に対する満足度の推定精度の向上を図ることができる。
１‥エージェント装置、２‥携帯端末装置、３‥サーバ、４‥施設満足度算出装置、１１‥センサ部、１１１‥ＧＰＳセンサ、１１２‥車速センサ、１１３‥ジャイロセンサ、１２‥車両情報部、１３‥記憶部、１４‥無線部、１４１‥近接無線通信部、１４２‥無線通信網通信部、１５‥表示部、１６‥操作入力部、１７‥オーディオ部、１８‥ナビゲーション部、１９１‥撮像部（車内カメラ）、１９２‥音声入力部（マイク）、２１‥センサ部、２１１‥ＧＰＳセンサ、２１３‥ジャイロセンサ、２３‥記憶部、２３１‥データ記憶部、２３２‥アプリケーション記憶部、２４‥無線部、２４１‥近接無線通信部、２４２‥無線通信網通信部、２５‥表示部、２６‥操作入力部、２７‥音声出力部、２９１‥撮像部（カメラ）、２９２‥音声入力部（マイク）、４１‥情報取得部、４２‥滞在判定部、４３‥感情推定部、４４‥指標値評価部、４５‥人数推定部、４６‥質問部、Ｘ‥車両（移動体）。
Claims (5)
- 車両の施設における滞在の有無を判定する滞在判定部と、
前記車両の一または複数の乗員の状態に関する情報に基づき、前記一または複数の乗員の感情を推定する感情推定部と、
前記滞在判定部により前記車両が前記施設に滞在したと判定された場合、前記車両が前記施設から立ち去ってから指定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に基づき、前記一または複数の乗員の前記施設に対する満足度の指標値を評価する指標値評価部と、
前記車両の乗員の人数を推定する人数推定部と、
前記人数推定部により前記車両の乗員が一人のみであると推定された場合、乗員に向けた質問を出力する質問部と、をさらに備えていることを特徴とする施設満足度算出装置。 - 請求項１記載の施設満足度算出装置において、前記滞在判定部により前記車両が前記施設に滞在したと判定され、かつ、前記人数推定部により前記車両の乗員が複数であると推定された場合、前記質問部が、前記指定時間内に前記感情推定部による前記乗員の感情の推定確度が所定値以上にならないことを要件として、前記乗員に向けた質問を出力することを特徴とする施設満足度算出装置。
- 請求項１又は２に記載の施設満足度算出装置において、前記指標値評価部が、前記車両が前記施設から立ち去ってから前記指定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に加えて、前記車両が前記施設に到着する前の所定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に基づき、前記一または複数の乗員の前記施設に対する満足度の指標値を評価することを特徴とする施設満足度算出装置。
- 請求項１〜３のうちいずれか１つに記載の施設満足度算出装置において、前記車両の一または複数の乗員の状態に関する情報は、カメラで撮影された前記一または複数の乗員の表情および動作、ならびにマイクで集音された前記一または複数の乗員の音声のうち少なくともいずれか１つであることを特徴とする施設満足度算出装置。
- 請求項１〜４のうちいずれか１つに記載の施設満足度算出装置を有することを特徴とする移動体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016193254A JP6382273B2 (ja) | 2016-09-30 | 2016-09-30 | 施設満足度算出装置 |
| US15/715,448 US20180096403A1 (en) | 2016-09-30 | 2017-09-26 | Facility satisfaction rate calculating apparatus |
| CN201710899703.6A CN107886045B (zh) | 2016-09-30 | 2017-09-28 | 设施满意度计算装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016193254A JP6382273B2 (ja) | 2016-09-30 | 2016-09-30 | 施設満足度算出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018055550A JP2018055550A (ja) | 2018-04-05 |
| JP6382273B2 true JP6382273B2 (ja) | 2018-08-29 |
Family
ID=61758307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016193254A Active JP6382273B2 (ja) | 2016-09-30 | 2016-09-30 | 施設満足度算出装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180096403A1 (ja) |
| JP (1) | JP6382273B2 (ja) |
| CN (1) | CN107886045B (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7066541B2 (ja) * | 2018-06-19 | 2022-05-13 | 本田技研工業株式会社 | 制御装置および制御方法 |
| CN109242743A (zh) * | 2018-08-31 | 2019-01-18 | 王陆 | 一种网约车营运服务智能监管系统及其方法 |
| US11535262B2 (en) | 2018-09-10 | 2022-12-27 | Here Global B.V. | Method and apparatus for using a passenger-based driving profile |
| US11358605B2 (en) * | 2018-09-10 | 2022-06-14 | Here Global B.V. | Method and apparatus for generating a passenger-based driving profile |
| JP7151400B2 (ja) * | 2018-11-14 | 2022-10-12 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び制御方法 |
| JP7155927B2 (ja) * | 2018-11-19 | 2022-10-19 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び情報処理方法 |
| JP7100575B2 (ja) * | 2018-12-28 | 2022-07-13 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
| CN110838027A (zh) * | 2019-10-23 | 2020-02-25 | 上海能塔智能科技有限公司 | 车辆使用满意度的确定方法及装置、存储介质、计算设备 |
| KR102382211B1 (ko) * | 2020-10-26 | 2022-04-01 | 재단법인 차세대융합기술연구원 | 스마트시티 구축을 위한 시민 만족도 예측시스템 및 이의 동작방법 |
| WO2022264391A1 (ja) * | 2021-06-18 | 2022-12-22 | 日本電気株式会社 | サーバ装置、システム、サーバ装置の制御方法及び記憶媒体 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4296411B2 (ja) * | 2004-02-04 | 2009-07-15 | 株式会社デンソー | 情報システム |
| JP4609527B2 (ja) * | 2008-06-03 | 2011-01-12 | 株式会社デンソー | 自動車用情報提供システム |
| US9177474B2 (en) * | 2010-03-15 | 2015-11-03 | GM Global Technology Operations LLC | Vehicle navigation system and method |
| JP2013134601A (ja) * | 2011-12-26 | 2013-07-08 | Nikon Corp | 電子機器 |
| JP5782390B2 (ja) * | 2012-02-08 | 2015-09-24 | トヨタ自動車株式会社 | 情報通知装置 |
| JP5729345B2 (ja) * | 2012-04-10 | 2015-06-03 | 株式会社デンソー | 感情モニタリングシステム |
| US10636046B2 (en) * | 2013-03-13 | 2020-04-28 | Ford Global Technologies, Llc | System and method for conducting surveys inside vehicles |
| JP6105337B2 (ja) * | 2013-03-14 | 2017-03-29 | 日本写真印刷株式会社 | 評価システム及び評価方法 |
| US20140278910A1 (en) * | 2013-03-15 | 2014-09-18 | Ford Global Technologies, Llc | Method and apparatus for subjective advertisment effectiveness analysis |
| JP2016136293A (ja) * | 2015-01-23 | 2016-07-28 | セイコーエプソン株式会社 | 情報処理システム、サーバーシステム、情報処理装置及び情報処理方法 |
-
2016
- 2016-09-30 JP JP2016193254A patent/JP6382273B2/ja active Active
-
2017
- 2017-09-26 US US15/715,448 patent/US20180096403A1/en not_active Abandoned
- 2017-09-28 CN CN201710899703.6A patent/CN107886045B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20180096403A1 (en) | 2018-04-05 |
| JP2018055550A (ja) | 2018-04-05 |
| CN107886045A (zh) | 2018-04-06 |
| CN107886045B (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6382273B2 (ja) | 施設満足度算出装置 | |
| JP6639444B2 (ja) | 情報提供装置及び情報提供方法 | |
| JP7172321B2 (ja) | 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム | |
| JP2018060192A (ja) | 発話装置およびコミュニケーション装置 | |
| CN107918637B (zh) | 服务提供装置和服务提供方法 | |
| US9305317B2 (en) | Systems and methods for collecting and transmitting telematics data from a mobile device | |
| US11040712B2 (en) | Information processing apparatus and information processing method | |
| JP6612707B2 (ja) | 情報提供装置 | |
| JP7192222B2 (ja) | 発話システム | |
| JP6713490B2 (ja) | 情報提供装置及び情報提供方法 | |
| US10773726B2 (en) | Information provision device, and moving body | |
| CN108932290B (zh) | 地点提案装置及地点提案方法 | |
| US20230054224A1 (en) | Information processing device, information processing method, and non-transitory computer readable storage medium | |
| JP6657415B2 (ja) | 情報提供装置、及び移動体 | |
| US20200191583A1 (en) | Matching method, matching server, matching system, and storage medium | |
| WO2023071768A1 (zh) | 到站提醒方法、装置、终端、存储介质及程序产品 | |
| JP6619316B2 (ja) | 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体 | |
| JP6657048B2 (ja) | 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体 | |
| JP6816247B2 (ja) | 情報提供装置 | |
| JP2021068357A (ja) | 観光支援装置、該装置が搭載されたロボット、観光支援システム、及び観光支援方法 | |
| JP2020130502A (ja) | 情報処理装置および情報処理方法 | |
| JP6660863B2 (ja) | 移動体用出力生成装置、移動体用出力生成プログラム、移動体用出力生成方法及び移動体 | |
| JP2023048887A (ja) | 画像抽出装置、車両、画像抽出システム、画像抽出方法、及び画像抽出プログラム | |
| CN115631550A (zh) | 一种用户反馈的方法和系统 | |
| JP2024102198A (ja) | 情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180801 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6382273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |