JPWO2017199433A1 - 情報提供制御装置および情報提供制御方法 - Google Patents

情報提供制御装置および情報提供制御方法 Download PDF

Info

Publication number
JPWO2017199433A1
JPWO2017199433A1 JP2018518048A JP2018518048A JPWO2017199433A1 JP WO2017199433 A1 JPWO2017199433 A1 JP WO2017199433A1 JP 2018518048 A JP2018518048 A JP 2018518048A JP 2018518048 A JP2018518048 A JP 2018518048A JP WO2017199433 A1 JPWO2017199433 A1 JP WO2017199433A1
Authority
JP
Japan
Prior art keywords
question
information
unit
understanding
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018518048A
Other languages
English (en)
Other versions
JP6388746B2 (ja
Inventor
進也 田口
進也 田口
悠介 小路
悠介 小路
洋一 藤井
洋一 藤井
辰彦 斉藤
辰彦 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6388746B2 publication Critical patent/JP6388746B2/ja
Publication of JPWO2017199433A1 publication Critical patent/JPWO2017199433A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

情報提供装置が提供可能な情報に関する質問を受け付ける入力受付部(1)と、入力受付部(1)が受け付けた質問が真偽判定文であるか否かの判定結果、および、当該質問に含まれる情報と当該質問に対する回答情報に含まれる情報とが一致する度合いに基づき、情報提供装置が提供可能な情報に対する理解度を判定する質問判定部(511)と、質問判定部(511)が判定した理解度に基づき、情報提供装置に提供させる情報の詳細度を決定する詳細度決定部(512)とを備えた。

Description

この発明は、情報提供装置に出力させる情報を制御する情報提供制御装置、ナビゲーション装置、設備点検作業支援装置、会話ロボット制御装置、および、情報提供制御方法に関するものである。
近年、情報提供装置は、生活の様々な場面で利用されており、その中には、利用者と対話形式で、様々な情報を提供するものも多い。
情報提供装置に関しては、利用者によって提供する情報量を変えることで、利用者の煩わしさを低減した情報の提供を行う技術が提案されている。
例えば、特許文献1には、車両のドライバに情報を提供する情報提供装置としてのナビゲーション装置において、ドライバに対して質問を行って、ドライバから得た回答に基づき、ドライバがすでに知っている情報を推定して記憶定着特性を判断し、ドライバがすでに知っていると推定される事項については、その後提供する情報の量を少なくする技術が開示されている。
特開2009−168773号公報
しかしながら、特許文献1に開示されているような技術では、利用者によって提示する情報の量を制御するために、利用者は、情報提供装置から質問された内容に答える必要があり、利用者にとっては、依然として煩わしさは残るという課題があった。
この発明は上記のような課題を解決するためになされたもので、利用者に質問を行うことなく、提供される情報の詳細度を変化させることができる情報提供制御装置、ナビゲーション装置、設備点検作業支援装置、会話ロボット制御装置、および、情報提供制御方法を提供することを目的としている。
この発明に係る情報提供制御装置は、情報提供装置が提供可能な情報に関する質問を受け付ける入力受付部と、入力受付部が受け付けた質問が真偽判定文であるか否かの判定結果、および、当該質問に含まれる情報と当該質問に対する回答情報に含まれる情報とが一致する度合いに基づき、情報提供装置が提供可能な情報に対する理解度を判定する質問判定部と、質問判定部が判定した理解度に基づき、情報提供装置に提供させる情報の詳細度を決定する詳細度決定部とを備えたものである。
この発明によれば、利用者が発する質問に基づいて、その後提供される情報の詳細度を変化させることができるので、利用者にとって、煩わしさをより低減した情報の提供を行うことができる。
この発明の実施の形態1に係る情報提供制御装置を搭載したカーナビゲーション装置の構成図である。 この発明の実施の形態1に係る情報提供制御装置の構成図である。 図3A,図3Bは、この発明の実施の形態1に係る情報提供制御装置のハードウェア構成の一例を示す図である。 この発明の実施の形態1に係る情報提供制御装置における質問応答処理の動作を説明するフローチャートである。 実施の形態1において、意味解析テーブルに格納された情報の一例を説明する図である。 実施の形態1において、対象テーブルに格納された情報の一例を説明する図である。 図7Aは、実施の形態1において、質問シンボルが「YES_NO{next_cross=RIGHT}」であった場合の応答文テンプレートの例であり、図7Bは、実施の形態1において、質問シンボルが「WHICH{obj=next_cross}」であった場合の応答文テンプレートの例である。 実施の形態1において、応答文作成部が履歴記憶部に記憶させる情報の一例を説明する図である。 この発明の実施の形態1に係る情報提供制御装置における情報提供処理の動作を説明するフローチャートである。 実施の形態1における、質問判定部による理解度判定処理の動作を説明するフローチャートである。 実施の形態1において、質問判定部が質問回答一致度を算出する動作を説明するフローチャートである。 実施の形態1において、履歴記憶部に記憶されている質問と、質問シンボルと、質問判定部が推定する、質問から推定される方向と、回答情報に含まれる方向の情報、および、これらの情報に基づき、質問判定部が算出する質問回答一致度Wと理解度の関係の一例を一覧にした図である。 図13Aは、詳細度「高」の場合の出力タイミングテーブルを示す図であり、図13Bは、詳細度「中」の場合の出力タイミングテーブルを示す図であり、図13Cは、詳細度「低」の場合の出力タイミングテーブルを示す図である。 この実施の形態1に係る情報提供制御装置を搭載した設備点検作業支援装置の構成図である。 この実施の形態1に係る情報提供制御装置を搭載した会話ロボット制御装置の構成図である。 会話ロボット制御装置の手順データ作成部が探索する調理手順の一例を説明する図である。 この発明の実施の形態2に係る情報提供制御装置の構成図である。 実施の形態2における、質問判定部による理解度判定処理の動作を説明するフローチャートである。 実施の形態2において、感情推定部が参照する不安度定義テーブルの一例を説明する図である。 実施の形態2において、ドライバからの質問と、質問シンボルと、質問から推定される方向と、回答情報に含まれる方向の情報、および、これらの情報に基づき算出される質問回答一致度、推定されるドライバの不安度、理解度の関係の一例を一覧にした図である。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
以下の説明においては、一例として、この発明の実施の形態1に係る情報提供制御装置100が、カーナビゲーション装置600に搭載される場合を説明する。すなわち、カーナビゲーション装置600は、情報提供制御装置100が行う制御に基づき、利用者であるドライバ等に情報を提供する情報提供装置である。
図1は、この発明の実施の形態1に係る情報提供制御装置100を搭載したカーナビゲーション装置600の構成図である。
図1に示すように、カーナビゲーション装置600は、ドライバ等によって、入力装置700に入力された、例えば、経路探索指示を、入力装置700から受け付け、情報提供制御装置100による制御のもと、受け付けた経路探索指示に応じた案内経路に関する情報を、出力装置800から出力させる。
入力装置700は、例えば、マイク等を備えた音声入力装置、あるいは、タッチパネル等である。
出力装置800は、ディスプレイ等の表示装置、あるいは、スピーカ等の音声出力装置である。
カーナビゲーション装置600は、受付部61と、位置検出部62と、案内データ作成部63と、案内制御部64と、データ記憶部65とを備える。
受付部61は、ドライバ等によって入力装置700に入力された、例えば、経路探索指示等を、入力装置700から受け付ける。
位置検出部62は、例えば、速度センサ、ジャイロセンサ、GPS(Global Positioning System)受信機等から構成され、車両の現在位置、速度、方位、現在時刻等を検出する。なお、位置検出部62は、これらのセンサおよび受信機を2つ以上組み合わせた構成としてもよい。
位置検出部62は、当該位置検出部62が検出した車両の現在位置、速度、方位、現在時刻等の情報を、案内データ作成部63に出力する。
案内データ作成部63は、受付部61が受け付けた経路探索指示、データ記憶部65に記憶されている情報、位置検出部62が出力した車両の現在位置、速度、方位、現在時刻等の情報に基づき、例えば、目的地までの経路を探索し、探索した経路を案内するための案内データを作成する。案内データ作成部63は、作成した案内データを、案内制御部64へ出力する。また、案内データ作成部63は、情報提供制御装置100から制御情報が出力された場合には、当該制御情報に従って案内データを作成する。なお、ここでは、制御情報とは、出力文、または、出力タイミングを示す情報等を含むものとする。
案内制御部64は、案内データ作成部63が作成した案内データを、例えば、音声データに変換して出力装置800に出力させる。なお、ここでは、案内制御部64は、案内データを音声データに変換して出力させるものとするが、これに限らず、例えば、案内制御部64は、案内データを映像データに変換して出力させるようにしてもよい。
データ記憶部65は、地図データ、および、経路の探索に用いられる各種データ等を記憶する。データ記憶部65は、例えば、HDD(Hard Disk Drive)、DVD(Digital Versatile Disc)、メモリ等によって構成される。
なお、ここでは、図1に示すように、情報提供制御装置100が、カーナビゲーション装置600に搭載されているものとするが、これに限らず、情報提供制御装置100は、カーナビゲーション装置600の外部に備えられ、インターネット等の通信網を介して、カーナビゲーション装置600における案内データの作成を制御するものであってもよい。
図2は、この発明の実施の形態1に係る情報提供制御装置100の構成図である。
図2に示すように、情報提供制御装置100は、入力受付部1と、質問応答部2と、外部情報取得部3と、出力制御部4と、提供情報作成制御部5とを備える。
入力受付部1は、入力装置700から、ドライバによる入力情報を受け付ける。なお、この実施の形態1では、ドライバは、入力装置700を利用して、カーナビゲーション装置600が案内する案内経路等に対する質問を行う。例えば、入力装置700はマイク等を備えた音声入力装置であり、ドライバは、質問を、音声にて行うものとする。入力受付部1は、ドライバからの質問を音声データとして受け付ける。そして、入力受付部1は、受け付けた音声データをテキストに変換し、質問応答部2の意味理解部21に出力する。
入力受付部1は、入力装置700から受け付けた音声について、例えば、「デジタル音声処理」(東海大学出版会、1985年9月25日)の7章(134ページ〜148ページ)、および、8章(149ページ〜192ページ)に記載されているような、公知の技術を利用して音声認識を行う。
質問応答部2は、ドライバからの質問の意味を解析し、当該質問に対する回答情報等を取得して応答文を作成するとともに、当該応答文を、ドライバからの質問と、当該質問に対する回答情報と紐付けて、ドライバからの質問の履歴として履歴記憶部25に記憶させる質問応答処理を行う。
質問応答部2は、意味理解部21と、応答文作成部22と、質問解析知識記憶部23と、応答文テンプレート24と、履歴記憶部25とを備える。質問解析知識記憶部23は、さらに、意味解析テーブル231と対象テーブル232とを有する。
意味理解部21は、入力受付部1からテキストとして取得したドライバからの質問の意味を解析して、問い合わせの対象である質問対象を特定し、当該質問対象を外部情報取得部3に問い合わせる。
具体的には、意味理解部21は、質問解析知識記憶部23の意味解析テーブル231を参照し、入力受付部1から取得したテキストと文字列が一致する発話パターンがあるかどうかを判断する。そして、意味理解部21は、テキストと文字列が一致する発話パターンがある場合、当該発話パターンに対応する質問シンボルを取得する。
さらに、意味理解部21は、質問シンボルと、質問解析知識記憶部23の対象テーブル232とを照合し、対象テーブル232から、質問シンボルに対応する質問対象を取得する。そして、意味理解部21は、取得した質問対象を、外部情報取得部3へ出力する。
また、意味理解部21は、取得した質問シンボルを、発話パターンとともに、応答文作成部22に出力する。
意味解析テーブル231、対象テーブル232の詳細については後述する。
応答文作成部22は、意味理解部21から取得した質問シンボルと、外部情報取得部3から取得した回答情報とに基づき、応答文を作成する。ここでは、応答文作成部22は、意味理解部21から取得した質問シンボルと、外部情報取得部3から取得した回答情報とに基づき、応答文テンプレート24を参照して応答文を特定することにより応答文を作成する。応答文作成部22は、作成した応答文を出力制御部4に出力する。
また、応答文作成部22は、作成した応答文を、時刻と、ドライバからの質問と、質問シンボルと、外部情報取得部3から取得した回答情報と紐付けて、履歴記憶部25に記憶させる。なお、ドライバからの質問とは、入力受付部1が入力装置700から受け付け、テキストに変換した、ドライバによる、案内経路等に対する質問である。
質問解析知識記憶部23には、意味解析テーブル231と、対象テーブル232とが格納される。
意味解析テーブル231は、発話パターンと質問シンボルとが対応付けて格納されたテーブルである。発話パターンは、想定される質問を文字列として表わしたものである。また、質問シンボルは、質問の意味を表わす、予め設定された表現である。
対象テーブル232は、質問シンボルと質問対象とが対応付けられて格納されたテーブルである。
履歴記憶部25は、応答文作成部22が作成した応答文を、時刻と、ドライバからの質問と、質問シンボルと、外部情報取得部3から出力された回答情報と紐付けて、ドライバから受け付けた質問の履歴を記憶する。
外部情報取得部3は、意味理解部21から出力された質問対象を取得し、当該質問対象に関する問い合わせを行い、当該質問対象の回答情報を取得する。外部情報取得部3は、取得した質問対象に対する回答情報を、質問応答部2の応答文作成部22に出力する。なお、外部情報取得部3は、例えば、ローカルネットワークから回答情報を取得してもよいし、インターネットなどから経路や対象物に対する一般的な情報を回答情報として取得してもよい。
また、外部情報取得部3は、提供情報作成制御部5から出力文作成に必要な情報の問い合わせがあった場合には、当該問い合わせに応じた情報を取得し提供情報作成制御部5に出力する。
提供情報作成制御部5は、履歴記憶部25を参照し、カーナビゲーション装置600が案内する案内経路等に対するドライバからの質問が真偽疑問文であるか否かを判定し、当該判定結果と、ドライバの質問と当該質問に対する回答との質問回答一致度とに基づき、ドライバの案内経路に対する理解度を判定し、当該理解度に基づき、経路の案内の際に提供すべき出力文の詳細度および出力タイミングを決定し、案内データ作成部63に対する制御情報を作成する情報提供処理を行う。
この実施の形態1では、理解度とは、ドライバが、案内経路等をどれぐらい理解しているかの度合いを意味するものとする。
提供情報作成制御部5は、詳細度判定部51と、出力文作成部52と、出力タイミングテーブル53とを備える。詳細度判定部51は、さらに、質問判定部511と、詳細度決定部512とを有する。
質問判定部511は、質問応答部2の履歴記憶部25に記憶されているドライバからの質問が真偽疑問文であるか否かを判定する、また、質問判定部511は、履歴記憶部25を参照し、ドライバからの質問と、当該質問に対する回答情報との一致度である質問回答一致度を算出する。
そして、質問判定部511は、ドライバからの質問が真偽疑問文であるか否かの判定結果と、質問回答一致度とに基づき、ドライバの理解度を判定する。質問判定部511は、判定したドライバの理解度を詳細度決定部512に出力する。
詳細度決定部512は、質問判定部511が判定したドライバの理解度に基づき、出力文の詳細度を決定する。詳細度決定部512は、決定した詳細度を出力文作成部52に出力する。なお、出力文の内容が、情報提供制御装置100がカーナビゲーション装置600に案内経路情報として出力装置800から出力させる内容となる。
出力文作成部52は、出力タイミングテーブル53を参照し、詳細度決定部512が決定した詳細度に応じた出力文テンプレート、および、当該出力文テンプレートに基づく出力文の出力タイミングを取得し、当該取得した情報に基づき外部情報取得部3に、出力文タイミング、および、出力文の作成に必要な情報の問い合わせを行い、出力文タイミングになると、外部情報取得部3から、出力文の作成に必要な情報を取得する。
出力タイミングテーブル53は、出力文テンプレートと、当該出力文テンプレートに基づく出力文を出力するタイミングとを対応付けて格納したテーブルである。
出力制御部4は、応答文作成部22が出力した応答文を、音声データに変換し、出力装置800に出力させる。また、出力制御部4は、出力文作成部52が出力した出力文の情報を制御情報として、案内データ作成部63に出力する。
なお、ここでは、図2に示すように、質問解析知識記憶部23と、応答文テンプレート24と、履歴記憶部25は、質問応答部2が備えるものとしたが、これに限らず、質問解析知識記憶部23と、応答文テンプレート24と、履歴記憶部25は、例えば、情報提供制御装置100の外部のサーバに格納され、意味理解部21は、ネットワーク等を介してサーバにアクセスし、質問解析知識記憶部23、応答文テンプレート24、あるいは、履歴記憶部25を参照するようにしてもよい。
また、ここでは、図2に示すように、出力タイミングテーブル53は、提供情報作成制御部5が備えるものとしたが、これに限らず、出力タイミングテーブル53は、例えば、情報提供制御装置100の外部のサーバに格納され、出力文作成部52は、ネットワーク等を介してサーバにアクセスし、出力タイミングテーブル53を参照するようにしてもよい。
図3A,図3Bは、この発明の実施の形態1に係る情報提供制御装置100のハードウェア構成の一例を示す図である。
この発明の実施の形態1において、入力受付部1と、意味理解部21と、応答文作成部22と、外部情報取得部3と、出力制御部4と、詳細度判定部51と、出力文作成部52の各機能は、処理回路301により実現される。すなわち、情報提供制御装置100は、受け付けた音声入力内容に基づき、案内データ作成部63による案内データの作成の制御を行うための処理回路301を備える。
処理回路301は、図3Aに示すように専用のハードウェアであっても、図3Bに示すようにメモリ305に格納されるプログラムを実行するCPU(Central Processing Unit)306であってもよい。
処理回路301が専用のハードウェアである場合、処理回路301は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路301がCPU306の場合、入力受付部1と、意味理解部21と、応答文作成部22と、外部情報取得部3と、出力制御部4と、詳細度判定部51と、出力文作成部52の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、入力受付部1と、意味理解部21と、応答文作成部22と、外部情報取得部3と、出力制御部4と、詳細度判定部51と、出力文作成部52は、HDD(Hard Disk Drive)302、メモリ305等に記憶されたプログラムを実行するCPU306、システムLSI(Large−Scale Integration)等の処理回路により実現される。また、HDD302、メモリ305等に記憶されたプログラムは、入力受付部1と、意味理解部21と、応答文作成部22と、外部情報取得部3と、出力制御部4と、詳細度判定部51と、出力文作成部52の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ305とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、入力受付部1と、意味理解部21と、応答文作成部22と、外部情報取得部3と、出力制御部4と、詳細度判定部51と、出力文作成部52の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、入力受付部1については専用のハードウェアとしての処理回路301でその機能を実現し、意味理解部21と、応答文作成部22と、外部情報取得部3と、出力制御部4と、詳細度判定部51と、出力文作成部52については処理回路がメモリ305に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
質問解析知識記憶部23と、応答文テンプレート24と、履歴記憶部25と、出力タイミングテーブル53は、例えば、HDD302を使用する。なお、これは一例にすぎず、質問解析知識記憶部23と、応答文テンプレート24と、履歴記憶部25と、出力タイミングテーブル53は、DVD、メモリ305等によって構成されるものであってもよい。
また、情報提供制御装置100は、入力装置700、カーナビゲーション装置600等の外部機器との通信を行う入力インタフェース装置303、出力インタフェース装置304を有する。
動作について説明する。
この発明の実施の形態1に係る情報提供制御装置100は、大きく分けて、ドライバからの質問を受け付けて当該質問に対する応答文を作成する質問応答処理と、ドライバからの質問に基づき判定した理解度に基づき、カーナビゲーション装置600における案内データの作成を制御する制御情報を作成する情報提供処理を行う。
まず、ドライバからの質問を受け付けて当該質問に対する応答文を作成する質問応答処理の動作について説明する。
図4は、この発明の実施の形態1に係る情報提供制御装置100における質問応答処理の動作を説明するフローチャートである。
なお、図4で説明する質問応答処理は、カーナビゲーション装置600が、例えば、ドライバへの案内経路情報の提供を行う状態となっていることを前提とする。具体的には、例えば、ドライバは、入力装置700を利用して経路探索指示を行い、カーナビゲーション装置600は探索した結果に基づき、目的地までの経路を案内するための案内経路情報としての案内データを作成し、当該案内データを音声データに変換して出力装置800に出力可能な状態となっている。
入力受付部1は、入力装置700から、ドライバによる経路についての質問を受け付けるまで待機する(ステップST401の“NO”の場合)。カーナビゲーション装置600による経路の案内が開始されている状態において、ドライバは、案内されている経路について、入力装置700から、例えば、「ここは右かな」、「ここは直進かな」等の音声によって、自由に質問することができる。入力受付部1は、このように、ドライバから、経路についての質問がされたかどうかを判断する。
入力受付部1は、ドライバからの質問を受け付けると(ステップST401の“YES”の場合)、受け付けた音声データをテキストに変換し、意味理解部21に出力する。例えば、ここでは、ドライバが、「ここは右かな」と経路についての質問をしたとすると、入力受付部1は、当該「ここは右かな」という音声データを、「ここは右かな」というテキストに変換し、意味理解部21に出力する。
意味理解部21は、質問解析知識記憶部23の意味解析テーブル231を参照し、入力受付部1から取得したテキストが示す文字列と一致する文字列で表わされた発話パターンがあるかどうかを判断する(ステップST402)。
ステップST402において、文字列が一致する発話パターンがない場合(ステップST402の“NO”の場合)、処理を終了する。
ステップST402において、文字列が一致する発話パターンがある場合(ステップST402の“YES”の場合)、意味理解部21は、文字列が一致する発話パターンに対応する質問シンボルを取得する(ステップST403)。意味理解部21は、取得した質問シンボルを、応答文作成部22に出力する。
ここで、図5は、実施の形態1において、意味解析テーブル231に格納された情報の一例を説明する図である。
図5に示すように、意味解析テーブル231には、発話パターンと質問シンボルとが対応付けられて格納されている。
質問シンボルは、予め決められており、この実施の形態1では、例えば、図5に示すように、「YES_NO{next_cross=RIGHT}」のように表現されているものとする。
質問シンボルの前半は質問の種類を示し、質問シンボルの後半は質問内容の詳細を示す。例えば、質問シンボルが「YES_NO{next_cross=RIGHT}」の「YES_NO」の場合、「YES_NO」は、「はい」等の肯定表現、あるいは、「いいえ」等の否定表現で答えることができる質問の種類を示す。また、「{next_cross=RIGHT}」は、次の交差点が右であることを質問しているという、質問内容の詳細を示す。
質問の種類について、「YES_NO」のように、「はい」等の肯定表現、あるいは、「いいえ」等の否定表現で答えることができる質問の種類は、一般に、真偽疑問文と呼ばれる。ここでは、真偽疑問文の形の質問を、YES_NO型といい、それ以外の、例えば、「何メートル先を右ですか?」、「次はどっちですか?」等、「はい」,「いいえ」では答えることができない質問の種類をオープン型というものとする。
なお、質問シンボルについて、図5を用いて説明した内容は一例であり、質問シンボルの表現形式は、これに限られるものではない。
ステップST401において、意味理解部21は、例えば、「ここは右かな」というテキストを取得し、意味解析テーブル231には、図5の内容が格納されていたとすると、意味解析テーブル231には、「ここは右かな」と文字列が一致する発話パターンが存在するので、意味理解部21は、「ここは右かな」に対応する質問シンボル「YES_NO{next_cross=RIGHT」を、意味解析テーブルから取得する(ステップST402,403)。
意味理解部21は、ステップST403で取得した質問シンボルと、質問解析知識記憶部23の対象テーブル232とを照合し、対象テーブル232から、質問シンボルに対応する質問対象を取得する(ステップST404)。意味理解部21は、取得した質問対象を、外部情報取得部3へ出力する。
ここで、図6は、実施の形態1において、対象テーブル232に格納された情報の一例を説明する図である。
図6に示すように、対象テーブル232には、質問シンボルと質問対象とが対応付けられて格納されている。質問シンボルは、意味解析テーブル231に格納されている質問シンボルと同様の表現のものである。
この実施の形態1において、質問対象とは、外部情報取得部3に対して何を問い合わせるかの情報である。当該質問対象は、質問シンボル毎に予め決められており、質問シンボルと対応付けられて対象テーブル232に格納されている。
例えば、対象テーブル232の内容が、図6に示す内容であったとすると、意味理解部21は、ステップST403で取得した質問シンボル「YES_NO{next_cross=RIGHT}」に対応する質問対象「次の交差点の進路方向」を取得する。そして、意味理解部21は、質問対象「次の交差点の進路方向」を、外部情報取得部3へ出力する。
外部情報取得部3は、意味理解部21から出力された質問対象を取得し、当該質問対象関する問い合わせを行い、当該質問対象の回答情報を取得する(ステップST405)。具体的には、例えば、意味理解部21から質問対象として「次の交差点の進路方向」を取得すると、外部情報取得部3は、案内経路情報と、自車位置情報とを問い合わせて取得し、自車位置から最も近い交差点の進路方向を、質問対象の回答情報として取得する。外部情報取得部3は、案内経路情報は、例えば、案内データ作成部63から取得するようにすればよいし、自車位置情報は、位置検出部62から取得するようにすればよい。なお、ここでは、一例として、外部情報取得部3は、カーナビゲーション装置600に各種情報を問い合わせ、回答情報を得るものとしたが、これに限らず、例えば、ローカルネットワークから回答情報を取得するようにしてもよいし、インターネットなどから経路や対象物に対する一般的な情報を回答情報として取得するようにしてもよい。
また、例えば、この実施の形態1では、進路方向をRIGHT、STRAIGHT、LEFT等と表現するものとし、このステップST405において、外部情報取得部3は、次の交差点の進行方向が直進であることを示す「STRAIGHT」を回答情報として取得したものとする。
外部情報取得部3は、取得した回答情報を、応答文作成部22に出力する。
なお、この実施の形態1では、情報提供制御装置100は、カーナビゲーション装置600に搭載されるものとしているため、上述したように、外部情報取得部3は、例えば、交差点の進路方向等、ドライバを案内する案内経路情報を、回答情報として取得するものとしたが、これは一例にすぎず、外部情報取得部3は、質問対象に応じた回答情報を取得するものである。例えば、情報提供制御装置100が、保守点検作業を行う作業装置に搭載されるものであって、次の点検項目を質問対象として取得すれば、外部情報取得部3は、次に点検するべき場所や箇所の情報を回答情報として取得する。
応答文作成部22は、ステップST403で意味理解部21が出力した質問シンボルと、ステップST405で外部情報取得部3が出力した回答情報とに基づき、応答文を作成する(ステップST406)。具体的には、例えば、ステップST403で意味理解部21が出力した質問シンボルと、ステップST405で外部情報取得部3が出力した回答情報を取得し、応答文テンプレート24を参照して応答文を特定することにより応答文を作成する。
応答文作成部22は、取得した応答文を、出力制御部4に出力する。
ここで、図7は、実施の形態1において、応答文テンプレート24の一例を説明する図であり、図7Aは、質問シンボルが「YES_NO{next_cross=RIGHT}」であった場合の応答文テンプレート24の例であり、図7Bは、質問シンボルが「WHICH{obj=next_cross}」であった場合の応答文テンプレート24の例である。
図7A,図7Bに示すように、応答文テンプレート24には、質問シンボル毎に、問い合わせ結果の情報に応じて、応答文が定義されている。なお、問い合わせ結果の情報には、外部情報取得部3から取得されると想定される回答情報が設定されている。
ここでは、ステップST403において、質問シンボル「YES_NO{next_cross=RIGHT}」が出力され、ステップST405において、回答情報「STRAIGHT」が出力されるものとしているので、応答文作成部22は、図7Aに示す応答文テンプレート24を参照して、「いいえ。直進です。」という応答文を取得する。
なお、この実施の形態1では、予め応答文テンプレート24を定義しておき、応答文作成部22は、応答文テンプレート24から取得した応答文を、出力制御部4へ出力する応答文として作成するものとしたが、これに限らず、応答文作成部22は、その他の方法によって応答文を作成するものであってもよい。
応答文作成部22は、ステップST406で取得した応答文を、履歴記憶部25に記憶させる(ステップST407)。このとき、応答文作成部22は、応答文を、時刻の情報と、ステップST401で意味理解部21が入力受付部1から取得したテキスト、すなわち、ドライバからの質問と、ステップST403で意味理解部21が取得した質問シンボルと、ステップST405で外部情報取得部3から出力された回答情報と紐付けて、履歴記憶部25に記憶させるようにする(図8参照)。
なお、ここでいう時刻とは、例えば、情報提供制御装置100内に保有している時計(図示省略)における機械的な現在時刻とする。これは一例にすぎず、時刻とは、例えば、入力受付部1が入力装置700から質問のテキストを受け付けた時刻としてもよいし、位置検出部62が検出する、応答文作成部22が応答文を取得したタイミングの現在時刻を取得するものとしてもよく、どの時点の時刻を履歴記憶部25に記憶させる時刻とするかの基準を予め設定しておき、当該基準に沿った時刻の情報であればよい。
このステップST407の動作によって、ドライバからの質問に対する応答文が、ドライバからの質問、当該質問を問い合わせて得た回答情報等と紐付けられて、履歴記憶部25に蓄積されることになる。すなわち、履歴記憶部25には、入力受付部1が受け付けた、ドライバからの質問の履歴が蓄積されることになる。
応答文作成部22は、ステップST406で取得した応答文を出力制御部4に出力し、出力制御部4は、応答文から音声合成処理によって音声データを作成し、出力装置800から音声を出力させる(ステップST408)。出力制御部4による音声合成処理は、入力受付部1による音声認識処理同様、公知の技術を用いて行えばよい。
これにより、出力装置800から、「いいえ。直進です。」という音声が出力され、ドライバは、「ここは右かな」という質問に対する応答を得る。
なお、上述の説明では、一例として、ドライバからの質問が、「ここは右かな」であるものとし、当該質問に対して得られる質問シンボルの質問の種類がYES_NO型である場合としたが、質問シンボルの質問の種類がオープン型であっても、同様の動作となる。
例えば、ドライバが、「次はどっちですか」と質問したとする。この場合、意味理解部21は、「WHICH{obj=next_cross}」という質問シンボルを取得し、当該質問シンボルに対応する質問対象として「次の交差点の進路方向」を取得する(ステップST403,404)。
そして、外部情報取得部3が、「次の交差点の進路方向」に対して、「STRAIGHT」という回答情報を出力したとすると(ステップST405)、応答文作成部22は、図7Bに示すような応答文テンプレート24を参照し、「次は直進です。」という応答文を取得する(ステップST406)。そして、応答文作成部22は、「次は直進です。」という応答文を出力制御部4に出力するとともに、当該応答文を、時刻、ドライバからの質問、質問シンボル、回答情報と紐付けて、履歴記憶部25に記憶させる(ステップST407、図8参照)。
出力制御部4は、「次は直進です。」という音声データを作成し、出力装置800に出力させる(ステップST408)。
このように、情報提供制御装置100において質問応答機能が実現でき、ドライバは、経路に対する質問に対応する応答を得ることができる。
次に、ドライバからの質問に基づき判定した理解度に基づき、カーナビゲーション装置600における案内データの作成を制御する制御情報を作成する情報提供処理の動作を説明する。
なお、上述のとおり、理解度とは、ドライバが、案内経路等をどれぐらい理解しているかの度合いである。
また、図4で説明した質問応答処理と当該情報提供処理は並行して実行可能とするが、当該情報提供処理が行われる際は、事前に図4で説明した質問応答処理が行われ、履歴記憶部25には、ドライバからの質問の履歴が記憶されていることを前提とする。
また、当該情報提供処理が行われる際は、情報提供制御装置100は、カーナビゲーション装置600の案内データ作成部63に対して、以降、情報提供制御装置100からの制御情報に基づき案内データを作成するように指示するための案内データ作成制御開始指示を送信する。案内データ作成部63は、案内データ作成制御開始指示を受信すると、情報提供制御装置100から案内データ作成制御終了指示を受信するまで、情報提供制御装置100から送信される制御情報に基づいて、案内データを作成するようにする。
図9は、この発明の実施の形態1に係る情報提供制御装置100における情報提供処理の動作を説明するフローチャートである。
詳細度判定部51の質問判定部511は、理解度判定処理を行い、ドライバの理解度を判定する(ステップST901)。具体的には、質問判定部511は、ドライバが、案内経路をどれぐらい理解しているかの度合いを表わす理解度を判定する。なお、この実施の形態1では、理解度は、「高」、「中」、「低」の三値とする。
質問判定部511は、判定したドライバの理解度を詳細度判定部51の詳細度決定部512に出力する。
図10は、実施の形態1における、質問判定部511による理解度判定処理の動作を説明するフローチャートである。
図10を用いて、図9のステップST901の理解度判定処理について詳細に説明する。
まず、質問判定部511は、履歴記憶部25を参照し、現在の経路上を走行中に質問応答処理が行われたかどうかを判定する(ステップST1001)。なお、現在の経路上を走行中とは、カーナビゲーション装置600が現在案内を行っている経路を自車が走行中であることを意味するものとする。
現在の経路上を走行中に質問応答処理が行われたかどうかについては、例えば、適宜、フラグを利用することが考えられる。具体的には、カーナビゲーション装置600が経路探索指示を受け付けた際に、情報提供制御装置100が参照可能な、カーナビゲーション装置600の内部に保有している案内中フラグを1とし、質問応答処理において応答文作成部22が、質問の履歴を履歴記憶部25に記憶させる際(図4のステップST407)に、当該案内中フラグの情報も添付して記憶させておく(図8において案内中フラグは図示省略)。そして、このステップST1001において、質問判定部511は、当該案内中フラグ=1が添付された質問があるか否かにより、現在の経路上を走行中に質問応答処理が行われたかを判定すればよい。なお、この場合、ドライバが、例えば、入力装置700から案内終了指示を入力する、あるいは、目的地を変更する等して、現在の経路案内を終了させると、受付部61は、当該案内終了指示を受け付け、内部的に保有する案内中フラグを初期化(=0)し、案内終了指示、あるいは、目的地を変更する等の指示を受け付けた旨の情報を応答文作成部22に出力し、応答文作成部22は、履歴記憶部25上の案内中フラグをすべて0に更新するようにする。
なお、これは一例にすぎず、例えば、ドライバから経路探索指示を受け付けた時刻をカーナビゲーション装置600の内部に記憶しておくようにし、質問判定部511は、履歴記憶部25に記憶されている時刻が、当該経路探索指示を受け付けた時刻以降である質問の履歴を、現在の経路上を走行中に行われた質問応答と判定するようにしてもよい。このように、質問判定部511が、現在の経路上を走行中に質問応答処理を行ったかどうかを判定できるようになっていれば、いかなる手法を採用してもよい。
ステップST1001において、質問判定部511が、現在の経路上を走行中に質問応答処理が全く行われていないと判定した場合、すなわち、履歴記憶部25に、現在の経路上を走行中に記憶された質問の履歴がない場合(ステップST1001の“NO”の場合)、質問判定部511は、理解度を「高」とし(ステップST1010)、理解度「高」の情報を詳細度決定部512に出力して、処理を終了する。
ステップST1001において、質問判定部511が、現在の経路上を走行中に質問応答処理が行われたと判定した場合、すなわち、履歴記憶部25に、現在の経路上を走行中に記憶された質問の履歴がある場合(ステップST1001の“YES”の場合)、質問判定部511は、履歴記憶部25に記憶されている、現在の経路上を走行中に記憶された質問の履歴のうち、最新の履歴について、質問の種類がYES_NO型かどうか、または、質問に経路を特定するワードが含まれるかどうかを判定する(ステップST1002)。質問判定部511は、質問の種類がYES_NO型かどうかは、応答文に紐付けて記憶されている質問シンボルから判断すればよい(図8参照)。
ステップST1002において、質問の種類がYES_NO型でない、かつ、質問に経路を特定するワードが含まれない場合(ステップST1002の“NO”の場合)、質問判定部511は、理解度を「低」とし(ステップST1008)、理解度「低」の情報を詳細度決定部512に出力して、処理を終了する。
例えば、ドライバが、「次はどっちですか」と質問した場合、当該質問の種類はYES_NO型ではなく、かつ、「次はどっちですか」の中に経路を特定するワード、例えば、「○○交差点」、「右」等のワードを含まない。そこで、質問判定部511は、ドライバは、案内経路について把握できていないと判断し、理解度を「低」とする。
ステップST1002において、質問の種類がYES_NO型である場合、または、質問に経路を特定するワードが含まれる場合(ステップST1002の“YES”の場合)、質問判定部511は、質問回答一致度Wを算出する(ステップST1003)。
ここで、図11は、実施の形態1において、質問判定部511が質問回答一致度Wを算出する動作を説明するフローチャートである。
図11を用いて、ステップST1003の動作について詳細に説明する。
まず、質問判定部511は、履歴記憶部25に記憶されている、現在の経路上を走行中に記憶された質問の履歴のうち、最新の履歴から、質問の内容と、回答情報の情報を取得する(ステップST1101)。すなわち、質問判定部511は、履歴記憶部25に記憶させておいた、ドライバからの質問の内容と、外部情報取得部3から取得した当該質問に対する回答情報を取得する。
質問判定部511は、ステップST1101で取得した質問の内容に基づき、例えば、質問に含まれる方向を推定する(ステップST1102)。ここで、質問判定部511は、質問に含まれる経路を特定するワードが、「右」、「左」等、方向を表わすワードであるかを判定し、方向を表わすワードである場合は、その方向を、質問に含まれる方向と推定する。例えば、質問の内容が「ここは右かな」であった場合、「右」というワードが含まれているので、質問判定部511は、質問に含まれる方向を推定した結果を「RIGHT」とする。
なお、質問判定部511は、ここでは質問に含まれる方向を推定した結果を「RIGHT」、「LEFT」,「NONE」等で表わすものとするが、これに限らず、方向を推定した結果がわかる表現であればどのようなものでもよい。
質問判定部511は、ステップST1101で取得した回答情報に含まれる方向を推定する(ステップST1103)。具体的には、質問判定部511は、回答情報中に方向に関するワードが含まれているかを判定し、含まれている場合は、その方向を、回答情報に含まれる方向とする。ここでは、質問対象の回答情報が「RIGHT」、「LEFT」等で返答されることとしているので、「RIGHT」、「LEFT」等が含まれる場合は、質問判定部511は、当該「RIGHT」、「LEFT」等を、回答情報に含まれる方向とする。
また、この実施の形態1では、例えば、「何m先を右ですか」という質問に対する質問シンボルとして、「HOW_DISTANCE{obj=next_turn,next_cross=RIGHT}」が取得され、質問対象には「次の交差点方向」と「次の交差点までの距離」が含まれる構成とする。そして、これにより、「RIGHT」、および、「100m」等の回答情報が取得されるものとする。
質問判定部511は、ステップST1102で推定した発話に含まれる方向と、ステップST1103で推定した回答情報に含まれる方向とを比較し、質問回答一致度Wを算出する(ステップST1104)。
具体的には、質問判定部511は、ステップST1102,ステップST1103で推定した方向を、角度情報に変換し、質問回答一致度Wを算出する。
例えば、質問判定部511は、
右:RIGHT=0度、
左:LEFT=180度、
前:STRAIGHT,FORWARD=90度、
後:BACKWARD=270度
というように、推定した方向を角度情報に変換する。
そして、質問判定部511は、以下の式により、質問回答一致度Wを算出する。

W=|100―|X−Y|/180×100|

X:質問に含まれる方向から変換した角度
Y:問い合わせ結果に含まれる方向から変換した角度

なお、ここでは、質問回答一致度Wの単位は%とする。
ここで、例えば、質問判定部511は、ステップST1102で、質問に含まれる方向「RIGHT」、ステップST1103で、回答情報に含まれる方向「RIGHT」と推定したとすると、
W=|100−|0−0|/180×100|
から、質問判定部511は、質問回答一致度W=100%と算出する。
また、例えば、質問判定部511は、ステップST1102で、質問に含まれる方向「RIGHT」、ステップST1103で、回答情報に含まれる方向「LEFT」と推定したとすると、質問判定部511は、質問回答一致度W=0%と算出する。
また、例えば、質問判定部511は、ステップST1102で、質問に含まれる方向「STRAIGHT」、ステップST1103で、回答情報に含まれる方向「RIGHT」と推定したとすると、質問判定部511は、質問回答一致度W=50%と算出する。
また、例えば、質問に含まれる方向が推定できなかった等により、質問回答一致度Wが算出できなかった場合、質問判定部511は、質問回答一致度W=0%とするものとする。
このように、質問判定部511は、ドライバからの質問に含まれる方向と、回答情報に含まれる方向とから、質問回答一致度Wを算出する。
なお、ここでは、ステップST1002,ステップST1003において、質問判定部511は、履歴記憶部25に記憶されている、現在の経路上を走行中に記憶された質問の履歴のうち、最新の履歴を用いて理解度を判定する、あるいは、質問回答一致度Wを算出するようにしたが、これに限らず、質問判定部511は、履歴記憶部25に記憶されている、さらに過去の履歴を用いて理解度を判定、あるいは、質問回答一致度Wを算出するようにしてもよい。また、質問判定部511は、ある一定の時間が経過した履歴については使用しないようにしてもよい。
図10のフローチャートに戻る。
ステップST1003において、質問回答一致度Wを算出すると、質問判定部511は、質問回答一致度Wが第1の閾値Th1以下かどうか、すなわち、W≦Th1かどうかを判定する(ステップST1004)。
この実施の形態1では、質問回答一致度Wと閾値とを比較して、質問回答一致度Wを3段階に振り分けるものとする。そこで、第1の閾値Th1、第2の閾値Th2を予め設定しておき、当該第1の閾値Th1、第2の閾値Th2によって、3段階への振り分けを行う。ここでは、例えば、第1の閾値Th1=20%、第2の閾値Th2=80%と設定されているものとする。これは一例にすぎず、第1の閾値Th1、第2の閾値Th2は、適宜設定可能である。
ステップST1004において、W≦Th1の場合、すなわち、Wが20%以下の場合(ステップST1004の“YES”の場合)、質問判定部511は、理解度を「低」とし(ステップST1008)、理解度「低」の情報を詳細度決定部512に出力して、処理を終了する。
質問回答一致度Wが低い場合、ドライバが、YES_NO型で質問を行ったか否かに関わらず、ドライバは、誤った経路を正しいと思い込んでいる可能性が高いと考えられ、この場合、ドライバには、より詳細な情報を提供することにより、正しい案内経路へと誘導すべきである。例えば、左折すべき交差点の前において、ドライバが、「次は右だね」と質問した場合、当該質問の種類は、YES_NO型であるが、ドライバは左折すべきところを右折と、誤った経路を正しいと思い込んでいる。
そこで、この実施の形態1では、このステップST1004において、質問回答一致度Wが20%以下の場合、ドライバの理解度を「低」と判定し、その後詳細な情報を提供するようにしている。
ステップST1004において、W≦Th1ではない場合(ステップST1004の“NO”の場合)、質問判定部511は、質問回答一致度Wが、Th1<W<Th2かどうか、すなわち、Wが20%〜80%の間かどうかを判定する(ステップST1005)。
ステップST1005において、Th1<W<Th2の場合(ステップST1005の“YES”の場合)、質問判定部511は、ドライバがYES_NO型で質問を行ったかどうかを判定する(ステップST1006)。
ステップST1006において、ドライバがYES_NO型で質問を行っていないと判定した場合(ステップST1006の“NO”の場合)、質問判定部511は、理解度を「低」とし(ステップST1008)、理解度「低」の情報を詳細度決定部512に出力して、処理を終了する。
ステップST1006において、ドライバがYES_NO型で質問を行ったと判定した場合(ステップST1006の“YES”の場合)、質問判定部511は、理解度を「中」とし(ステップST1009)、理解度「中」の情報を詳細度決定部512に出力して、処理を終了する。
一方、ステップST1005において、Th1<W<Th2ではない場合、すなわち、Th2≦Wの場合、つまり、Wが80%以上の場合(ステップST1005の“NO”の場合)、質問判定部511は、ドライバがYES_NO型で質問を行ったかどうかを判定する(ステップST1007)。
ステップST1007において、ドライバがYES_NO型で質問を行っていないと判定した場合(ステップST1007の“NO”の場合)、質問判定部511は、理解度を「中」とし(ステップST1009)、理解度「中」の情報を詳細度決定部512に出力して、処理を終了する。
ステップST1007において、ドライバがYES_NO型で質問を行ったと判定した場合(ステップST1007の“YES”の場合)、質問判定部511は、理解度を「高」とし(ステップST1010)、理解度「高」の情報を詳細度決定部512に出力して、処理を終了する。
以上のように、質問判定部511は、質問の種類が、YES_NO型であるかどうかに加え、質問に含まれる方向と、外部情報取得部3が取得した質問対象の回答情報に含まれる方向とから、これらが一致している度合いとして算出した質問回答一致度Wも考慮して、利用者の理解度を3段階に振り分ける。
これにより、ドライバの理解度について、より的確に、より細分化した振り分けを行うことができる。
また、例えば、提供された情報を概ね理解しているドライバの理解度を、理解度「中」として推定することが可能となり、必要以上の情報を提供することが少なくなって、よりドライバの理解度に沿った情報の提供の制御を行うことができる。
図12は、実施の形態1において、履歴記憶部25に記憶されている質問と、質問シンボルと、質問判定部511が推定する、質問から推定される方向と、回答情報に含まれる方向の情報、および、これらの情報に基づき、質問判定部511が算出する質問回答一致度Wと理解度の関係の一例を一覧にした図である。図12において、質問回答一致度Wは、第1の閾値Th1は20%、第2の閾値Th2は80%として、場合わけされたものとする。
図12に示すように、質問判定部511によって、質問から推定される方向と回答情報に含まれる方向とに応じて、質問回答一致度Wが算出され、当該質問回答一致度と質問の種類がYES_NO型か否かに応じて、3段階の理解度が決定される。
図9のフローチャートに戻る。
詳細度決定部512は、ステップST901において質問判定部511が出力した理解度の情報を取得し、カーナビゲーション装置600において出力装置800に出力させる出力文の詳細度を決定する(ステップST902)。ここでは、例えば、詳細度決定部512は、理解度が「高」の場合は、詳細度「低」と決定し、理解度が「低」の場合は、詳細度「高」と決定するものとする。なお、カーナビゲーション装置600において出力装置800に出力させる出力文とは、ここでは、経路案内のための案内データの内容をいう。
詳細度決定部512は、決定した詳細度を出力文作成部52に出力する。
出力文作成部52は、出力タイミングテーブル53を参照し、ステップST902において詳細度決定部512が出力した詳細度に応じた出力文テンプレート、および、当該出力文テンプレートに基づく出力文の出力タイミングを取得する(ステップST903)。
図13は、この実施の形態1における出力タイミングテーブル53の一例を説明する図である。図13Aは、詳細度「高」の場合の出力タイミングテーブル53、図13Bは、詳細度「中」の場合の出力タイミングテーブル53、図13Cは、詳細度「低」の場合の出力タイミングテーブル53を示している。
出力タイミングテーブル53には、出力文テンプレート、および、当該出力文テンプレートに基づく出力文を出力するタイミングが対応付けられて定義されている。この実施の形態1においては、図13A、図13B、図13Cのように、詳細度「高」、「中」、「低」それぞれの場合に応じた出力タイミングテーブル53が用意されているものとする。
出力文作成部52は、ステップST903で取得した出力タイミングテーブル53の情報、具体的には、出力文テンプレートおよび当該出力文の出力タイミングの情報を、外部情報取得部3に出力する。
外部情報取得部3は、ステップST903で出力文作成部52から取得した出力文を出力するタイミングに基づき、案内経路情報と、自車位置情報と、地図データとから、出力文を出力するタイミングになったかどうかを判定する(ステップST904)。外部情報取得部3は、例えば、案内経路情報は、案内データ作成部63から取得するようにすればよいし、自車位置情報は、位置検出部62から取得するようにすればよいし、地図データは、データ記憶部65から取得すればよい。
ステップST904において、出力文を出力するタイミングではないと判断した場合(ステップST904の“NO”の場合)、ステップST904の処理を繰り返す。
ステップST904において、出力文を出力するタイミングであると判断した場合(ステップST904の“YES”の場合)、外部情報取得部3は、出力文を出力するタイミングに対応付けられた出力文テンプレートに基づき、出力文の作成に必要な情報を取得し、出力タイミングの情報とあわせて、出力文作成部52に出力する(ステップST905)。
具体的には、例えば、ここでは、詳細度決定部512によって、詳細度「高」と決定され、外部情報取得部3は、出力文作成部52から、図13Aに示す情報を取得したとする。そして、外部情報取得部3は、案内経路情報と自車位置情報と地図データとから、自車位置が、進路変更交差点まで1kmの地点にあると判断したとする。このとき、外部情報取得部3は、出力文を出力するタイミングであると判断し(ステップST904の“YES”)、進路変更交差点まで1kmの出力タイミングに対応付けられた出力文テンプレート「およそ1km先、○方向です」に基づき作成される出力文に必要な情報、すなわち、進路変更をする方向の情報を取得し、出力タイミングの情報とあわせて、出力文作成部52に出力する。
図13A、図13B、図13Cに示すような出力タイミングテーブル53の出力文テンプレートにおいて、例えば、「およそ1km先、○方向です」の「○」には、例えば、「右」のような、具体的な方向を表わす文字または文字列が入る。外部情報取得部3では、当該具体的な方向の情報を、案内経路情報等から取得し、出力文作成部52に出力する。
また、出力文テンプレートにおいて、例えば、「この先$ランドマーク$のある交差点・・・」の「$ランドマーク$」には、「Aスーパー」のような、具体的なランドマークを表わす文字または文字列が入る。
このように、出力文作成部52は、出力文の作成のために必要な情報を外部情報取得部3に問い合わせ、外部情報取得部3は、当該問い合わせに応じた情報を取得し、出力文作成部52に出力する。
なお、詳細度「低」と決定された場合には、図13Cに示すように、「進路変更交差点まで1km」は、出力文を出力するタイミングとして定義されていないので、外部情報取得部3は、進路変更交差点まで1kmの地点にあると判断したとしても、出力文を出力するタイミングとは判断しない。
出力文作成部52は、外部情報取得部3から出力された出力タイミングを示す情報、および、出力文の作成に必要な情報に基づき、出力文を作成し、出力制御部4へ出力する(ステップST906)。具体的には、例えば、出力文作成部52は、「およそ1km先、右方向です」という出力文を示す情報を作成し、出力制御部4へ出力する。
出力制御部4は、出力文作成部52から出力された出力文を示す情報を制御情報として、カーナビゲーション装置600の案内データ作成部63へ送信する。
案内データ作成部63では、出力制御部4から制御情報として取得した出力文を示す情報を、案内データとし、当該案内データを案内制御部64へ出力する。案内制御部64は、取得した案内データを、例えば、音声データとして出力装置800に出力させる。案内制御部64は、上述したような公知の音声合成処理により、案内データを音声データに変換するようにすればよい。また、ここでは、案内制御部64は、案内データを音声に変換して出力させるものとするが、これに限らず、映像に変換して出力させるようにしてもよい。
その後、ステップST904に戻り、以降の処理を繰り返し、外部情報取得部3が詳細度に応じた出力タイミングになったと判断すると、出力文作成部52が出力文テンプレートに従った出力文を示す情報を作成し、出力制御部4を介してカーナビゲーション装置600へ作成した出力文を示す情報を出力して、当該出力文を案内データとして、音声に変換して出力装置800に出力させるようにする。
なお、ここでは、ステップST906の後、ステップST904に戻るものとしたが、これに限らず、ステップST901に戻って、最新の質問応答履歴に基づき理解度を判定し直すようにしてもよい。
ドライバが、例えば、入力装置700から案内終了指示を入力する等して、現在の経路案内を終了させると、カーナビゲーション装置600の受付部61は、当該案内終了指示を受け付け、受け付けた案内終了指示を情報提供制御装置100に出力し、情報提供制御装置100は、情報提供処理を終了させる。このとき、情報提供制御装置100は、カーナビゲーション装置600の案内データ作成部63に対して、案内データ作成制御終了指示を出力する。
なお、この実施の形態1では、出力文作成部52が、外部情報取得部3から出力された出力タイミングを示す情報、および、出力文の作成に必要な情報に基づき、出力文を作成して、作成した出力文を示す情報を制御情報として、出力制御部4を介して案内データ作成部63へ出力するようにしたが、これに限らず、例えば、出力文作成部52は、外部情報取得部3から出力された出力タイミングを示す情報、および、出力文の作成に必要な情報を、制御情報として、出力制御部4を介して案内データ作成部63に出力し、案内データ作成部63が、制御情報に基づいて出力文、すなわち、案内データを作成するようにしてもよい。
以上のように、実施の形態1によれば、カーナビゲーション装置600の利用者であるドライバから、カーナビゲーション装置600が提供可能な情報に関する質問、例えば、案内経路についての質問を受け付け、当該質問の種類がYES_NO型であったかどうかという情報と、質問回答一致度Wとを利用して理解度を判定し、当該理解度に基づいて、その後出力させる出力文の詳細度および出力タイミングを変化させるため、利用者に対して質問を行うことなく、利用者の理解度に合わせた案内内容、および、利用者の理解度に合わせた頻度で、経路案内等の情報提供を行うことができる。これにより、例えば、理解度の高い利用者に必要以上の情報を提供することがなく、理解度の低い利用者には、詳細な情報を提供でき、利用者に分かりやすい情報の提供を可能とすることができる。
また、利用者の理解度を判断するのに、利用者に対して質問を出力し、当該質問に対する利用者の回答を得るという従来技術の方法においては、利用者に対する質問のバリエーションを多数用意しておく必要があるという問題がある。これに対し、この発明の実施の形態1では、利用者からの自発的な質問に基づいて利用者の理解度を判断するようにした。これにより、利用者にとって煩わしさを低減できるだけでなく、利用者に対する質問のバリエーションを用意しておく必要がなくなる。
また、利用者からの質問の種類がYES_NO型か、すなわち、真偽疑問文か否かで理解度を判定するようにしたので、比較的簡易な方法で理解度を判定することができる。
なお、この実施の形態1では、ドライバは、経路に対する質問を、音声により入力するものとして説明したが、これに限らず、ドライバは、キーボードなどの入力手段によるテキスト入力によって、経路に対する質問を入力するようにしてもよい。
また、この実施の形態1では、出力装置800からは、音声データとして案内データおよび質問に対する応答文が出力されるものとして説明したが、これに限らず、出力装置800は、ディスプレイ等とし、案内データおよび応答文を出力装置800に表示させるようにしてもよい。
また、この実施の形態1では、図4のステップST403において、意味理解部21は、意味解析テーブル231を参照して質問シンボルを取得するものとしたが、これに限定するものではない。例えば、意味理解部21は、発話パターンを正規表現で記述してもよい。また、意味理解部21は、機械学習の手法を用いて、予めテキストに対する質問シンボルを学習しておき、受け付けたテキストがどの質問シンボルに分類されるかによって質問シンボルを特定するようにしてもよい。
また、この実施の形態1では、理解度、および、詳細度は、「高」、「中」、「低」の三値としたが、これに限定するものではない。例えば、より詳細な理解度、あるいは、詳細度を定義し、それに対応する出力タイミングテーブル53を用いて、出力文をより細かく制御することもできる。
また、この実施の形態1では、一例として、質問判定部511は、質問回答一致度Wの算出には、「右」、「左」等の直接に方向を表わすワードから推定した方向の情報を用いるようにしたが、これに限らない。例えば、質問に含まれるランドマーク等を表わすワードを、質問に含まれる経路を特定するワードとして用いて、質問回答一致度Wを算出するようにしてもよい。
例えば、履歴記憶部25に、質問の内容として「レストランAのところを曲がりますが」、質問シンボルとして「HOW_DISTANCE{obj=next_turn,landmark=レストランA}」、回答情報として、「{landmark=レストランB}」が記憶されていたとする。
この場合、質問判定部511は、ランドマーク情報landmarkの地理座標に基づき質問回答一致度Wを算出する。ランドマークAの地理座標をH1=(X1,Y1,Z1)、ランドマークBの地理座標をH2=(X2,Y2,Z2)とすると、例えば、質問判定部511は、H1とH2のユークリッド距離を計算し、ある閾値以下なら質問回答一致度Wを100%、それ以外なら質問回答一致度Wを0%と算出することもできる。
なお、ランドマークA、ランドマークBの地理座標については、質問判定部511は、例えば、外部情報取得部3に問い合わせ、外部情報取得部3を介して取得するようにすればよい。
また、例えば、質問判定部511は、建物の名称に基づき、質問回答一致度Wを算出してもよい。具体的には、例えば、質問判定部511は、質問に含まれる建物の名称と、回答情報に含まれる建物の名称を推定し、当該「発話から推定された建物の名称」と、「回答情報から推定された建物の名称」がまったく同一の文字列か、同一の場所を指し示す略称等の文字列であれば質問回答一致度Wを100%、それ以外なら質問回答一致度Wを0%と算出することもできる。
また、この実施の形態1では、一例として、情報提供制御装置100が、カーナビゲーション装置600に搭載され、情報提供制御装置100が制御する情報提供機能は、具体的には、案内された経路上を走行中の経路案内を行う機能として説明したが、これに限るものではない。
例えば、情報提供制御装置100は、施設内に設置された設備点検作業支援装置における情報提供機能を制御するものとし、利用者である設備点検作業員等から、設備点検作業支援装置の設備保守、設備点検における作業情報、例えば、設備点検作業員等が次にどこで何を点検するべきなのかに関する質問を受け付け、当該質問に対する応答を行うと同時に当該質問応答履歴を記憶し、記憶された履歴に基づき、設備点検作業員等の設備点検における作業に対する理解度を決定し、当該理解度に応じて、出力させる作業情報の詳細度を変化させるようにすることもできる。
図14は、この実施の形態1に係る情報提供制御装置100を搭載した設備点検作業支援装置900の構成図である。
図14に示すように、設備点検作業支援装置900は、設備点検作業員等によって、入力装置700に入力された、例えば、設備点検箇所への経路探索指示等を、入力装置700から受け付け、情報提供制御装置100による制御のもと、受け付けた設備点検箇所への経路探索指示に応じた次の設備点検箇所への経路に関する情報を、出力装置800から出力させる。
なお、設備点検作業支援装置900は、例えば、設備点検事務所に設置されたサーバを想定している。
設備点検作業支援装置900は、受付部71と、位置検出部72と、点検データ作成部73と、案内制御部74と、データ記憶部75とを備える。
受付部71は、設備点検作業員等によって入力装置700に入力された、例えば、設備点検箇所への経路探索指示等を、入力装置700から受け付ける。
位置検出部72は、例えば、速度センサ、ジャイロセンサ、GPS(Global Positioning System)受信機等から構成され、設備点検作業員等の現在位置、速度、方位、現在時刻等を検出する。なお、位置検出部72は、これらのセンサおよび受信機を2つ以上組み合わせた構成としてもよい。
位置検出部72は、当該位置検出部72が検出した設備点検作業員等の現在位置、速度、方位、現在時刻等の情報を、点検データ作成部73に出力する。
点検データ作成部73は、受付部71が受け付けた設備点検箇所への経路探索指示、データ記憶部75に記憶されている情報、位置検出部72が出力した設備点検作業員の現在位置、速度、方位、現在時刻等の情報に基づき、例えば、次の設備点検箇所までの経路を探索し、探索した経路、あるいは、点検内容を指示するための点検データを作成する。点検データ作成部73は、作成した案内データを、案内制御部74へ出力する。また、点検データ作成部73は、情報提供制御装置100から制御情報が出力された場合には、当該制御情報に従って点検データを作成する。なお、ここでは、制御情報とは、出力文、または、出力タイミングを示す情報等を含むものとする。
案内制御部74は、点検データ作成部73が作成した点検データを、例えば、音声データに変換して出力装置800に出力させる。なお、ここでは、案内制御部74は、点検データを音声データに変換して出力させるものとするが、これに限らず、例えば、案内制御部74は、案内データを映像データに変換して出力させるようにしてもよい。
データ記憶部75は、地図データ、および、経路の探索に用いられる各種データ等を記憶する。データ記憶部75は、例えば、HDD(Hard Disk Drive)、DVD(Digital Versatile Disc)、メモリ等によって構成される。
なお、ここでは、図14に示すように、設備点検作業支援装置900と入力装置700,出力装置800を別の装置としている。また、入力装置700はマイク等の音声入力装置、出力装置800はスピーカ等の音声出力装置、あるいは、ディスプレイ等の表示装置を想定している。これらは、スマートフォンやヘッドマウントディスプレイ等、携帯端末で一体化しているものとしてもよい。
また、ここでは、設備点検作業支援装置900は、設備点検事務所に設置されたサーバを想定しているが、これに限らず、設備点検作業支援装置900は、入力装置700,出力装置800とあわせて、スマートフォン等の携帯端末上に一体化するものとしてもよい。
図14に示す情報提供制御装置100の構成および動作については、上記において、カーナビゲーション装置600に搭載されるものとして説明した情報提供制御装置100の構成および動作と同様である。
なお、上記の説明では、情報提供制御装置100は、カーナビゲーション装置600に搭載され、ドライバからの質問を受け付けて当該質問に対する応答文を作成する質問応答処理と、ドライバからの質問に基づき判定した理解度に基づき、カーナビゲーション装置600における案内データの作成を制御する制御情報を作成する情報提供処理を行うものとした。これに対し、図14に示すように、設備点検作業支援装置900に搭載された場合、情報提供制御装置100は、設備点検作業員等からの、例えば、設備点検箇所への経路等に関する質問を受け付けて当該質問に対する応答文を作成する質問応答処理と、設備点検作業員等からの質問に基づき判定した理解度に基づき、設備点検作業支援装置900における点検データの作成を制御する制御情報を作成する情報提供処理を行う。情報提供処理において、情報提供制御装置100は、具体的には、例えば、設備点検作業員等からの質問に基づき判定した理解度が低いと判定した場合には、次の設備点検箇所までのより詳細な経路の点検データ、あるいは、点検内容をより詳細に指示する点検データの作成を制御する制御情報を作成する。情報提供制御装置100は、場合によっては、次の設備点検箇所までの経路を動画で説明する点検データの作成を制御する制御情報を作成するようにしてもよい。
そして、設備点検作業支援装置900の点検データ作成部73は、情報提供制御装置100からの制御情報に基づき、例えば、次の設備点検箇所までの経路を探索し、探索した経路、あるいは、点検内容を指示するための点検データを作成して、案内制御部74へ出力する。案内制御部74は、当該点検データを出力装置800から出力させる。すなわち、設備点検作業支援装置900の制御に基づき、出力装置800から、設備点検作業員等に対して、次の設備点検箇所までの経路が作業情報として提供される。
あるいは、例えば、情報提供制御装置100は、料理の手順を教えるアプリケーションがインストールされた携帯端末等、あるいは、会話ロボット制御装置における情報提供機能を制御するものとし、利用者である調理者から、例えば、次に何の作業をするべきなのかに関する質問を受け付け、当該質問に対する応答を行うと同時に当該質問応答履歴を記憶し、記憶された履歴に基づき、調理者の、料理の作業手順に対する理解度を決定し、当該理解度に応じて、出力させる調理手順に関する情報の詳細度を変化させるようにすることもできる。
図15は、この実施の形態1に係る情報提供制御装置100を搭載した会話ロボット制御装置1000の構成図である。
図15に示すように、会話ロボット制御装置1000は、調理者等によって、入力装置700に入力された、例えば、調理手順の探索指示等を入力装置700から受け付け、情報提供制御装置100による制御のもと、受け付けた調理手順の探索指示等に応じた、目的とする料理を完成するまでの調理手順、あるいは、味見ポイント等に関する情報を、出力装置800から出力させる。
なお、会話ロボット制御装置1000は、例えば、ホームゲートウェイ、あるいは、クラウド等に設置されたサーバを想定している。
会話ロボット制御装置1000は、受付部81と、位置検出部82と、手順データ作成部83と、案内制御部84と、データ記憶部85とを備える。
受付部81は、調理者等によって入力装置700に入力された、例えば、調理手順の探索指示等を、入力装置700から受け付ける。
位置検出部82は、例えば、速度センサ、ジャイロセンサ、GPS(Global Positioning System)受信機等から構成され、調理者等の現在位置、速度、方位、現在時刻等を検出する。なお、位置検出部82は、これらのセンサおよび受信機を2つ以上組み合わせた構成としてもよい。
位置検出部82は、当該位置検出部82が検出した調理者等の現在位置、速度、方位、現在時刻等の情報を、手順データ作成部83に出力する。このように、位置検出部82は、調理者の物理的な場所とともに、調理手順全体における現在作業の段階も「位置」として検出する。
手順データ作成部83は、受付部81が受け付けた調理手順の探索指示、データ記憶部85に記憶されている情報、位置検出部82が出力した調理者等の現在位置、速度、方位、現在時刻等の情報に基づき、例えば、目的とする料理を完成するまでの調理手順を探索し、探索した調理手順、あるいは、味見ポイント等の調理手順内容を指示するための手順データを作成する。
ここで、図16は、会話ロボット制御装置1000の手順データ作成部83が探索する調理手順の一例を説明する図である。
例えば、図16に示すように、同じ料理を調理する場合でも、手順データ作成部83が探索する調理手順は素人向けと玄人向けで異なる。あるいは、時間に余裕がある人と、素早く調理したい人では、手順データ作成部83が選択すべき調理手順は異なる。
手順データ作成部83は、調理者の状態や知識に応じて、最適な調理手順を指示するための手順データを作成する。なお、手順データ作成部83は、探索する調理手順のパターンを予め記憶しておき、例えば、調理者等から、どのパターンに基づいて調理手順を探索するかの指示を受け付け、受け付けた指示に基づいて調理手順の探索および手順データの作成を行うようにすればよい。
手順データ作成部83は、作成した手順データを、案内制御部84へ出力する。また、手順データ作成部83は、情報提供制御装置100から制御情報が出力された場合には、当該制御情報に従って手順データを作成する。なお、ここでは、制御情報とは、出力文、調理手順の写真あるいは動画、または、出力タイミングを示す情報等を含むものとする。
案内制御部84は、手順データ作成部83が作成した手順データを、例えば、音声データに変換して出力装置800に出力させる。なお、ここでは、案内制御部84は、手順データを音声データに変換して出力させるものとするが、これに限らず、例えば、案内制御部84は、手順データを映像データに変換して出力させるようにしてもよい。
データ記憶部85は、地図データ、および、経路の探索に用いられる各種データ等を記憶する。データ記憶部85は、例えば、HDD(Hard Disk Drive)、DVD(Digital Versatile Disc)、メモリ等によって構成される。
なお、ここでは、図15に示すように、会話ロボット制御装置1000と入力装置700,出力装置800を別の装置としている。また、入力装置700はマイク等の音声入力装置、出力装置800はスピーカ等の音声出力装置、あるいは、ディスプレイ等の表示装置を想定している。これらは、スマートフォン等の携帯端末で一体化しているものとしてもよい。
また、ここでは、会話ロボット制御装置1000は、ホームゲートウェイ、あるいは、クラウド等に設置されたサーバを想定しているが、これに限らず、会話ロボット制御装置1000は、入力装置700,出力装置800とあわせて、スマートフォン等の携帯端末上に一体化するものとしてもよい。
情報提供制御装置100の構成および動作については、上記において、カーナビゲーション装置600に搭載されるものとして説明した情報提供制御装置100の構成および動作と同様である。
なお、上記の説明では、情報提供制御装置100は、カーナビゲーション装置600に搭載され、ドライバからの質問を受け付けて当該質問に対する応答文を作成する質問応答処理と、ドライバからの質問に基づき判定した理解度に基づき、カーナビゲーション装置600における案内データの作成を制御する制御情報を作成する情報提供処理を行うものとした。これに対し、図15に示すように、会話ロボット制御装置1000に搭載された場合、情報提供制御装置100は、調理者等からの、例えば、調理手順に関する質問を受け付けて当該質問に対する応答文を作成する質問応答処理と、調理者等からの質問に基づき判定した理解度に基づき、会話ロボット制御装置1000における手順データの作成を制御する制御情報を作成する情報提供処理を行う。
そして、会話ロボット制御装置1000の手順データ作成部83は、情報提供制御装置100からの制御情報に基づき、例えば、目的とする料理を完成するまでの手順を探索し、探索した手順、あるいは、味見ポイント等を指示するための手順データを作成して、案内制御部84へ出力する。案内制御部84は、当該手順データを出力装置800から出力させる。すなわち、会話ロボット制御装置1000の制御に基づき、出力装置800から、調理者等に対して、目的とする料理を完成するまでの手順、あるいは、味見ポイント等が調理手順に関する情報として提供される。
あるいは、例えば、情報提供制御装置100は、機器の使用方法を説明する作業支援装置における情報提供機能を制御するものとし、利用者から、例えば、あるボタンを押下することでどのような動作を行うのかに関する質問を受け付け、当該質問に対する応答を行うと同時に当該質問応答履歴を記憶し、記憶された履歴に基づき、利用者の、機器の使用方法に対する理解度を決定し、当該理解度に応じて、出力させる動作説明に関する情報の詳細度を変化させるようにすることもできる。
あるいは、例えば、情報提供制御装置100は、展示会場または店頭等で、対話処理によって展示品または商品等の説明を行う商品案内装置における情報提供機能を制御するものとし、利用者である招待客あるいは顧客等から、例えば、商品に関する質問を受け付け、当該質問に対する応答を行うと同時に当該質問応答履歴を記憶し、記憶された履歴に基づき、顧客等の、商品に対する理解度を決定し、当該理解度に応じて、出力させる商品に関する情報の詳細度を変化させるようにすることもできる。
このように、この発明の実施の形態1に係る情報提供制御装置100は、情報を提供するあらゆる機器等の情報提供装置における情報提供機能を制御するものとして、広く適用することができる。利用者から受け付ける質問は、情報提供装置が提供可能な情報に関する質問であればよい。また、情報提供制御装置100により制御される対象となる情報提供装置は、固定設置される装置であっても、利用者により携帯される装置等であってもよい。
実施の形態2.
実施の形態1では、詳細度判定部51は、質問の種類に加え、利用者からの質問に含まれる情報と、質問対象の回答情報に含まれる情報とが一致している度合いに応じて、利用者の理解度を判定し、提供する情報の詳細度を決定していた。
この実施の形態2では、詳細度判定部51は、さらに、利用者からの質問に、感情情報が含まれるかどうかを判定し、当該判定結果も利用して理解度を判定する実施の形態について説明する。
図17は、この発明の実施の形態2に係る情報提供制御装置100aの構成図である。
図17に示す情報提供制御装置100aは、実施の形態1において図2を用いて説明した情報提供制御装置100とは、詳細度判定部51が、感情推定部513をさらに備える点が異なるのみである。
感情推定部513は、履歴記憶部25を参照して質問の内容を取得し、当該質問の内容に基づき、質問を発話したドライバの感情を推定する。
なお、情報提供制御装置100aのハードウェア構成については、実施の形態1において、図3A,図3Bを用いて説明した構成と同様であるため、重複した説明を省略する。
以下、この実施の形態2においても、実施の形態1と同様に、一例として、情報提供制御装置100aは、カーナビゲーション装置600に搭載され(図1参照)、カーナビゲーション装置600において、情報提供制御装置100aの制御に基づき、利用者であるドライバに対して、案内経路情報を提供する場合を説明する。
動作について説明する。
この発明の実施の形態2に係る情報提供制御装置100aについても、実施の形態1と同様に、大きく分けて、ドライバからの質問を受け付けて当該質問に対する応答文を作成する質問応答処理と、ドライバからの質問に基づき判定した理解度に基づき、カーナビゲーション装置600における案内データの作成を制御する制御情報を作成する情報提供処理を行う。
この発明の実施の形態2に係る情報提供制御装置100aの質問応答処理の具体的な動作は、実施の形態1において、図4を用いて説明した動作と同様であるため、重複した説明を省略する。
この発明の実施の形態2に係る情報提供制御装置100aと、実施の形態1に係る情報提供制御装置100とでは、情報提供処理について、実施の形態1において、図10を用いて説明した、図9のステップST901の理解度判定処理の動作の内容が異なるのみであるため、実施の形態1とは異なる動作についてのみ詳細に説明し、その他の実施の形態1に係る情報提供制御装置100と同様の動作については、重複した説明を省略する。
図18は、実施の形態2における、質問判定部511による理解度判定処理の動作を説明するフローチャートである。
図18のステップST1501,ステップST1504〜ステップST1512の具体的な動作は、それぞれ、実施の形態1で説明した図10のステップST1001〜ステップST1010の具体的な動作と同様であるため、重複した説明を省略し、図18のステップST1502,ステップST1503の動作についてのみ、詳細に説明する。
ステップST1501において、質問判定部511が、現在の経路上を走行中に質問応答処理が行われたと判定した場合、すなわち、履歴記憶部25に、現在の経路上を走行中に記憶された質問の履歴がある場合(ステップST1501の“YES”の場合)、質問判定部511は、当該質問の履歴がある旨の情報を感情推定部513に出力する。感情推定部513は、当該情報を取得し、履歴記憶部25に記憶されている、現在の経路上を走行中に記憶された質問の履歴のうち、最新の履歴に基づき、ドライバが行った最新の質問に関するドライバの不安度Zを推定する(ステップST1502)。具体的には、感情推定部513は、履歴記憶部25に記憶されている最新の履歴の質問の中にフィラーが含まれるかどうかを判定し、フィラーが含まれる場合に、不安度定義テーブルを参照し、ドライバの不安度Zを推定する。なお、感情推定部513は、推定したドライバの不安度Zを、質問判定部511へ出力する。なお、フィラーとは、ここでは、「ええと」、「うーん」、「あれれ」等、発話の前後、合間に挟み込まれる言葉をいう。また、ここでは、不安度Zは、%で表わされるものとする。
ここで、図19は、実施の形態2において、感情推定部513が参照する不安度定義テーブルの一例を説明する図である。
図17では図示を省略したが、この実施の形態2に係る情報提供制御装置100aは、提供情報作成制御部5の内部等、感情推定部513が参照可能な場所に、図19に示すような不安度定義テーブルを有している。
図19に示すように、不安度定義テーブルには、フィラーと、当該フィラーに対応する不安度が定義されている。
図19に示すような不安度定義テーブルにおける定義は、予め設定されているものとする。例えば、事前に、被験者を設定し、当該被験者の運転時のフィラーと、被験者が感じた不安度との関係をアンケート等で統計処理し、当該統計処理の結果に基づき、不安度定義テーブルを定義しておくようにすればよい。
例えば、履歴記憶部25に記憶されている最新の履歴の質問の内容が「あれ?次は右ですか」であった場合、感情推定部513は、「あれ?」というフィラーが含まれていると判定し、図19の不安度定義テーブルを参照して、当該「あれ?」に対応する不安度50%を、ドライバの不安度Zと推定する。
ステップST1502において、質問判定部511は、感情推定部513が推定したドライバの不安度Zを取得すると、ドライバの不安度Zが第3の閾値Th3以上かどうか、すなわち、Th3≦Zかどうかを判定する(ステップST1503)。
ステップST1503において、Th3≦Zの場合、すなわち、ZがTh3以上の場合(ステップST1503の“YES”の場合)、質問判定部511は、理解度を「低」とし(ステップST1510)、理解度「低」の情報を詳細度決定部512に出力して、処理を終了する。
この実施の形態2では、質問判定部511は、ドライバの不安度Zと閾値を比較し、ドライバが不安な心理状態であると判定される場合には、質問の種類および質問回答一致度Wに拘わらず、理解度を「低」とする。ここでは、例えば、第3の閾値Th3=50%と設定されているものとする。これは一例にすぎず、第3の閾値Th3は適宜設定可能である。
ステップST1503において、Th3≦Zではない場合(ステップST1503の“NO”の場合)、ステップST1504に進む。
以降、ステップST1504〜ステップST1512の動作は、実施の形態1で説明した図10のステップST1002〜ステップST1010と同様であるため、重複した説明を省略する。
以上のように、質問判定部511は、感情推定部513が推定した利用者の不安度Zに基づき、利用者が不安な心理状態であると判定される場合には、質問の種類、および、質問回答一致度Wに拘わらず、利用者の理解度を「低」とする。
例えば、ドライバによる質問の種類がYES_NO型であっても、ドライバが不安な心理状態であれば、不安を解消させるためにも、より詳細な案内経路情報を提供すべきであると言える。また、ドライバの質問に含まれる情報と、回答情報に含まれる情報とが一致していたとしても、すなわち、ドライバが案内経路を正しく把握していると推定できたとしても、ドライバが不安な心理状態であれば、不安を解消させるためにも、より詳細な案内経路情報を提供すべきであると言える。
そこで、この実施の形態2では、感情推定部513により不安度Zを推定し、質問判定部511は、当該不安度Zに基づき、ドライバが不安な心理状態であると判断できる場合、すなわち、不安度が閾値以上の場合は、ドライバからの質問の種類、および、質問回答一致度Wに拘わらず、ドライバの理解度を「低」とし、その後、詳細度決定部512によって出力文の詳細度が高く決定されるようにする。その結果、不安な心理状態であるドライバに、より詳細な情報を提供することができるようになる。
図20は、ドライバからの質問と、質問シンボルと、質問から推定される方向と、回答情報に含まれる方向の情報、および、これらの情報に基づき算出される質問回答一致度W、推定されるドライバの不安度Z、理解度の関係の一例を一覧にした図である。図20において、理解度は、第1の閾値Th1は20%、第2の閾値Th2は80%、第3の閾値Th3は50%として、判定されるものとする。
図20に示すように、質問回答一致度Wが100%となるような状態であっても、ドライバの不安度Zが50%の場合は、理解度は「低」と決定され、ドライバの不安度が10%の場合は、理解度は「高」と決定されるようになる。
そして、質問判定部511が3段階に振り分けた理解度に基づき、詳細度決定部512は、カーナビゲーション装置600において出力装置800に出力させる出力文の詳細度を決定する(図9のステップST902参照)。具体的には、例えば、理解度「高」の場合、詳細度決定部512は、出力文の詳細度を「低」とする。また、例えば、理解度「低」の場合、詳細度決定部512は、出力文の詳細度を「高」とする。また、例えば、理解度「中」の場合、詳細度決定部512は、出力文の詳細度を「中」とする。
以降の動作は、実施の形態1の動作と同様であるため、重複した説明を省略する。
なお、この実施の形態2では、フィラーと不安度の関係を予め不安度定義テーブルとして定義しておくようにし、感情推定部513は、不安度定義テーブルを参照して不安度Zを推定するようにしたが、これに限らず、感情推定部513は、その他の方法で不安度Zを推定するようにしてもよい。例えば、感情推定部513は、質問内容の中に、「不安」、「心配」等、不安な状態であると推定される単語が含まれているかどうかによって不安度Zを推定するようにしてもよい。
また、この実施の形態2では、感情推定部513は、利用者の不安度Zを推定するものとしたが、これに限らず、例えば、感情推定部513は、質問内容に基づき、利用者が選択に迷っている心理状態である度合いを表わす困惑度を推定するようにしてもよい。具体的には、例えば、質問内容に、「うーん」というフィラーが含まれている、あるいは、「こまったな」、「迷うな」等の単語が含まれている場合には、感情推定部513は、高い困惑度を推定する等である。
また、例えば、感情推定部513は、質問内容に基づき、利用者が詳細な情報を聞きたいという心理状態である度合いを表わす情報欲求度を推定してもよい。具体的には、例えば、質問内容に、「へえ〜」というフィラーが含まれている、あるいは、「なんで?」、「どうして?」等の単語が含まれている場合には、感情推定部513は、高い情報欲求度を推定する等である。
また、実施の形態1と同様、この実施の形態2に係る情報提供制御装置100aに関しても、ドライバの経路に対する質問の入力は、音声に限定されない。また、出力装置800からの出力も音声に限定されない。さらに、情報提供制御装置100aが制御する情報提供機能は、経路案内を行う機能に限定されない。この発明の実施の形態2に係る情報提供制御装置100aは、実施の形態1の機能に加え、利用者からの質問に含まれる感情表現も利用して理解度を判定できればよく、情報を提供するあらゆる機器等の情報提供装置における情報提供機能を制御するものとして、広く適用することができる。
以上のように、この実施の形態2によれば、利用者の理解度の判定の際に、質問判定部511は、利用者からの質問の種類がYES_NO型であったかどうかという情報と、質問回答一致度Wと、さらに、利用者からの質問に基づく利用者の不安度Zを利用して、理解度を判定する。これにより、利用者の心理状態を反映した、より利用者の理解度に沿った情報の詳細度で、利用者に情報を提供することができる。
また、利用者からの質問に含まれる情報と当該質問に対して得られた回答情報に含まれる情報とが偶然一致することにより、ドライバの理解度が高いと誤判定されてしまう可能性を排除することができる。
なお、この実施の形態1,2では、質問判定部511が判定した理解度に応じて、詳細度決定部512は、出力文の詳細度、および、出力文の出力タイミングを変化させるものとしたが、詳細度決定部512は、出力文の詳細度のみを変化させるものであってもよく、詳細度決定部512は、質問判定部511が判定した理解度に応じて、出力文の情報量を変化させるものであればよい。
また、実施の形態1,2では、情報提供装置は、一例として、カーナビゲーション装置600としたが、車両用のカーナビゲーション装置に限定されず、情報提供装置は、例えば、人、車両、鉄道、船舶または航空機等を含む移動体用のナビゲーション装置であって、特に車両への持込あるいは車載に適したナビゲーション装置に適用することができる。
また、実施の形態1,2において、情報提供制御装置100,100aは、図2,図17で示すような構成としたが、情報提供制御装置100,100aは、入力受付部1と、詳細度判定部51とを備えることにより、上述したような効果が得られるものである。
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係る情報提示制御装置は、利用者に質問を行うことなく、提供される情報の詳細度を変化させることができるように構成したため、情報提供装置に出力させる情報を制御する情報提供制御装置等に適用することができる。
1 入力受付部、2 質問応答部、3 外部情報取得部、4 出力制御部、5 提供情報作成制御部、21 意味理解部、22 応答文作成部、23 質問解析知識記憶部、24 応答文テンプレート、25 履歴記憶部、51 詳細度決定部、52 出力文作成部、53 出力タイミングテーブル、61,71,81 受付部、62,72,82 位置検出部、63 案内データ作成部、64,74,84 案内制御部、65,75,85 データ記憶部、73 点検データ作成部、83 手順データ作成部、231 意味解析テーブル、232 対象テーブル、301 処理回路、302 HDD、303 入力インタフェース装置、304 出力インタフェース装置、305 メモリ、306 CPU、511 質問判定部、512 詳細度決定部、513 感情推定部、600 カーナビゲーション装置、700 入力装置、800 出力装置、900 設備点検作業支援装置、1000 会話ロボット制御装置。

Claims (9)

  1. 情報提供装置が提供可能な情報に関する質問を受け付ける入力受付部と、
    前記入力受付部が受け付けた質問が真偽判定文であるか否かの判定結果、および、当該質問に含まれる情報と当該質問に対する回答情報に含まれる情報とが一致する度合いに基づき、前記情報提供装置が提供可能な情報に対する理解度を判定する質問判定部と、
    前記質問判定部が判定した理解度に基づき、前記情報提供装置に提供させる情報の詳細度を決定する詳細度決定部
    とを備えた情報提供制御装置。
  2. 前記入力受付部が受け付けた質問から感情を推定する感情推定部をさらに備え、
    前記質問判定部は、前記入力受付部が受け付けた質問が真偽判定文であるか否かの判定結果と、当該質問に含まれる情報と当該質問に対する回答情報に含まれる情報とが一致する度合いと、前記感情推定部が推定した感情とに基づき、前記情報提供装置が提供している情報に対する理解度を判定する
    ことを特徴とする請求項1記載の情報提供制御装置。
  3. 前記入力受付部が受け付けた質問を解析し、当該質問による問い合わせの対象である質問対象を特定し、当該質問対象に対する回答情報の問い合わせを行う意味理解部と、
    前記意味理解部が行った問い合わせの結果を前記回答情報として取得し、当該回答情報に基づき前記質問に対する応答文を作成するとともに、当該応答文を前記質問、および、前記回答情報と対応させて、前記入力受付部が受け付けた質問の履歴として記憶させる応答文作成部とを備え、
    前記質問判定部は、前記応答文作成部が記憶させた前記質問の履歴に基づき、前記情報提供装置が提供可能な情報に対する前記理解度を判定する
    ことを特徴とする請求項1記載の情報提供制御装置。
  4. 移動体の経路を案内するナビゲーション装置であって、
    前記ナビゲーション装置が提供可能な情報に関する質問を受け付ける受付部と、
    前記受付部が受け付けた質問に基づく、前記情報に対する理解度に応じた詳細度に対応付けられた前記情報を出力させるよう制御する案内制御部
    とを備えたナビゲーション装置。
  5. 施設内の設備に関する作業情報を提供する設備点検作業支援装置であって、
    前記設備点検作業支援装置が提供可能な情報に関する質問を受け付ける受付部と、
    前記受付部が受け付けた質問に基づく、前記情報に対する理解度に応じた詳細度に対応付けられた前記情報を出力させるよう制御する案内制御部
    とを備えた設備点検作業支援装置。
  6. 作業手順の案内を制御する会話ロボット制御装置であって、
    前記会話ロボット制御装置が提供可能な情報に関する質問を受け付ける受付部と、
    前記受付部が受け付けた質問に基づく、前記情報に対する理解度に応じた詳細度に対応付けられた前記情報を出力させるよう制御する案内制御部
    とを備えた会話ロボット制御装置。
  7. 入力受付部が、情報提供装置が提供可能な情報に関する質問を受け付けるステップと、
    質問判定部が、前記入力受付部が受け付けた質問が真偽判定文であるか否かの判定結果、および、当該質問に含まれる情報と当該質問に対する回答情報に含まれる情報とが一致する度合いに基づき、前記情報提供装置が提供可能な情報に対する理解度を判定するステップと、
    詳細度決定部が、前記質問判定部が判定した理解度に基づき、前記情報提供装置に提供させる情報の詳細度を決定するステップ
    とを備えた情報提供制御方法。
  8. 感情推定部が、前記入力受付部が受け付けた質問から感情を推定するステップをさらに備え、
    前記質問判定部は、前記入力受付部が受け付けた質問が真偽判定文であるか否かの判定結果と、当該質問に含まれる情報と当該質問に対する回答情報に含まれる情報とが一致する度合いと、前記感情推定部が推定した感情とに基づき、前記情報提供装置が提供している情報に対する理解度を判定するステップを有する
    ことを特徴とする請求項7記載の情報提供制御方法。
  9. 意味理解部が、前記入力受付部が受け付けた質問を解析し、当該質問による問い合わせの対象である質問対象を特定し、当該質問対象に対する回答情報の問い合わせを行うステップと、
    応答文作成部が、前記意味理解部が行った問い合わせの結果を前記回答情報として取得し、当該回答情報に基づき前記質問に対する応答文を作成するとともに、当該応答文を前記質問、および、前記回答情報と対応させて、前記入力受付部が受け付けた質問の履歴として記憶させるステップとを備え、
    前記質問判定部は、前記応答文作成部が記憶させた前記質問の履歴に基づき、前記情報提供装置が提供可能な情報に対する前記理解度を判定するステップを有する
    ことを特徴とする請求項7記載の情報提供制御方法。
JP2018518048A 2016-05-20 2016-05-20 情報提供制御装置および情報提供制御方法 Active JP6388746B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/065037 WO2017199433A1 (ja) 2016-05-20 2016-05-20 情報提供制御装置、ナビゲーション装置、設備点検作業支援装置、会話ロボット制御装置、および、情報提供制御方法

Publications (2)

Publication Number Publication Date
JP6388746B2 JP6388746B2 (ja) 2018-09-12
JPWO2017199433A1 true JPWO2017199433A1 (ja) 2018-11-29

Family

ID=60324901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018518048A Active JP6388746B2 (ja) 2016-05-20 2016-05-20 情報提供制御装置および情報提供制御方法

Country Status (3)

Country Link
JP (1) JP6388746B2 (ja)
TW (1) TW201741862A (ja)
WO (1) WO2017199433A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7084158B2 (ja) * 2018-02-23 2022-06-14 トヨタ自動車株式会社 情報処理方法、プログラム、情報処理装置、及び情報処理システム
WO2019198123A1 (ja) * 2018-04-09 2019-10-17 三菱電機株式会社 ナビゲーション装置及びナビゲーション方法
JP2019220142A (ja) * 2018-06-18 2019-12-26 日本電信電話株式会社 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
JP2021529382A (ja) 2018-06-19 2021-10-28 エリプシス・ヘルス・インコーポレイテッド 精神的健康評価のためのシステム及び方法
JP7176325B2 (ja) * 2018-09-27 2022-11-22 富士通株式会社 音声処理プログラム、音声処理方法および音声処理装置
CN109827590A (zh) * 2019-01-11 2019-05-31 北京猎户星空科技有限公司 一种机器人的控制方法、装置、设备和介质
CN110706536B (zh) * 2019-10-25 2021-10-01 北京猿力教育科技有限公司 一种语音答题方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331196A (ja) * 2000-05-22 2001-11-30 Nec Corp 音声応答装置
JP2003330490A (ja) * 2002-05-15 2003-11-19 Fujitsu Ltd 音声対話装置
JP2006163623A (ja) * 2004-12-03 2006-06-22 Nippon Hoso Kyokai <Nhk> 質問応答装置及び質問応答プログラム、並びに、テレビ受像機
US20080103781A1 (en) * 2006-10-28 2008-05-01 General Motors Corporation Automatically adapting user guidance in automated speech recognition
JP2009168773A (ja) * 2008-01-21 2009-07-30 Nissan Motor Co Ltd ナビゲーション装置および情報提供方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331196A (ja) * 2000-05-22 2001-11-30 Nec Corp 音声応答装置
JP2003330490A (ja) * 2002-05-15 2003-11-19 Fujitsu Ltd 音声対話装置
JP2006163623A (ja) * 2004-12-03 2006-06-22 Nippon Hoso Kyokai <Nhk> 質問応答装置及び質問応答プログラム、並びに、テレビ受像機
US20080103781A1 (en) * 2006-10-28 2008-05-01 General Motors Corporation Automatically adapting user guidance in automated speech recognition
JP2009168773A (ja) * 2008-01-21 2009-07-30 Nissan Motor Co Ltd ナビゲーション装置および情報提供方法

Also Published As

Publication number Publication date
WO2017199433A1 (ja) 2017-11-23
TW201741862A (zh) 2017-12-01
JP6388746B2 (ja) 2018-09-12

Similar Documents

Publication Publication Date Title
JP6388746B2 (ja) 情報提供制御装置および情報提供制御方法
JP6403927B2 (ja) 情報提供制御装置、ナビゲーション装置、設備点検作業支援装置、会話ロボット制御装置、および、情報提供制御方法
US11168997B2 (en) Reverse natural guidance
JP5315289B2 (ja) オペレーティングシステム及びオペレーティング方法
KR101857648B1 (ko) 지능형 디지털 어시스턴트에 의한 사용자 트레이닝
US20080059199A1 (en) In-vehicle apparatus
EP2518447A1 (en) System and method for fixing user input mistakes in an in-vehicle electronic device
US11200892B1 (en) Speech-enabled augmented reality user interface
JP2010145262A (ja) ナビゲーション装置
JP2011179917A (ja) 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体
WO2016174955A1 (ja) 情報処理装置、及び、情報処理方法
JPWO2019123775A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP3695995B2 (ja) ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラムを格納するコンピュータ読み取り可能な記録媒体
JP2008234427A (ja) ユーザ間の対話を支援する装置、方法およびプログラム
JP2015028566A (ja) 応答制御システム、車載器、およびセンター
JP6403926B2 (ja) 情報提供制御装置、ナビゲーション装置、設備点検作業支援装置、会話ロボット制御装置、および、情報提供制御方法
JP5160653B2 (ja) 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体
JP2005267092A (ja) 照応解析装置及びナビゲーション装置
WO2011030404A1 (ja) オペレーティングシステム及びオペレーティング方法
KR20220073513A (ko) 대화 시스템, 차량 및 대화 시스템의 제어 방법
JP2019109657A (ja) ナビゲーション装置およびナビゲーション方法、ならびにプログラム
JPWO2013069060A1 (ja) ナビゲーション装置、方法およびプログラム
JP2017159850A (ja) 応答システムおよび応答プログラム
JP2005004143A (ja) 音声認識装置及びプログラム並びに車両用ナビゲーションシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180611

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180611

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180814

R150 Certificate of patent or registration of utility model

Ref document number: 6388746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250