JP7377043B2

JP7377043B2 - 操作受付装置及びプログラム

Info

Publication number: JP7377043B2
Application number: JP2019175479A
Authority: JP
Inventors: 純也松山
Original assignee: Ｇｏ株式会社
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2023-11-09
Anticipated expiration: 2039-09-26
Also published as: JP2021051252A

Description

本発明は、ユーザによる指示を受け付けるための操作受付装置及びプログラムに関する。

従来、音声を入力することにより操作が可能になる装置が知られている。特許文献１には、操作コマンドを音声によって入力することができるナビゲーション装置が開示されている。

特開２０１５－２００６９７号公報

従来の装置においては、音声認識モードに移行した場合に音声認識が可能になっていた。したがって、ユーザが音声入力による操作を行う前に音声認識モードに移行する操作が必要になり、音声入力による操作が可能な機能を使用しづらいという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、一例として、音声入力による操作が可能な機能を使用しやすくすることを目的とする。

本発明の第１の態様の操作受付装置は、ユーザの操作を受け付ける操作受付装置であって、前記操作受付装置が実行する処理を示す複数の処理内容を記憶する記憶部と、前記複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部と、前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部と、を有する。

前記付加情報は、前記テキストの一部を強調表示した情報であってもよい。

前記処理実行部は、前記表示制御部が前記操作画面を表示している間に音声が入力された後に所定の確認時間が経過してから前記処理を実行してもよい。

前記処理実行部は、前記確認時間が経過するまでの間に前記テキストが示す前記処理を取り消す操作が行われた場合に、前記処理の実行を中止してもよい。

前記処理実行部は、複数の前記操作画面において共通する、前記テキストが示す前記処理を取り消すための取消音声を入力する操作が行われた場合に、前記処理の実行を中止してもよい。

前記処理実行部は、前記操作画面において入力される音声を誤認識する蓋然性の高さに対応する前記確認時間が経過してから前記処理を実行してもよい。

前記処理実行部は、前記処理内容がメッセージを送信する処理である場合に、前記処理内容が他の処理である場合よりも長い前記確認時間が経過してから前記処理を実行してもよい。

前記操作受付装置は車両に設けられており、前記処理実行部は、前記車両の速度に対応する前記確認時間が経過してから前記処理を実行してもよい。

前記操作受付装置は、前記確認時間の長さによって異なる音を出力する音出力部をさらに有してもよい。

前記操作受付装置は車両に設けられており、前記表示制御部は、前記車両の速度が所定の速度以下の場合に、手動による入力及び音声による入力が可能であることを示す前記付加情報を含む前記操作画面を前記表示部に表示させ、前記車両の速度が前記所定の速度より大きい場合に、手動による入力が可能ではなく、音声による入力が可能であることを示す前記付加情報を含む前記操作画面を前記表示部に表示させてもよい。

前記操作受付装置は、乗客を運送するための車両に設けられており、前記表示制御部は、乗客が前記車両に乗っているか否かに基づいて、前記操作画面を前記表示部に表示させるか否かを決定してもよい。

本発明の第２の態様のプログラムは、コンピュータを、前記コンピュータが実行する処理を示す複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部、及び前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部、として機能させる。

本発明によれば、一例として、音声入力による操作が可能な機能を使用しやすくできるという効果を奏する。

実施形態に係る操作受付システムの概要を説明するための図である。実施形態に係る操作受付システムのブロック図である。操作画面を表示している操作受付装置の正面図である。取り消し操作を受け付けている操作画面を表示している操作受付装置の正面図である。操作画面を表示している操作受付装置の正面図である。操作画面を表示している操作受付装置の正面図である。実施形態に係る操作受付システムが実行する操作受付方法のフローチャートを示す図である。

［操作受付システムの概要］
図１は、本実施形態に係る操作受付システムＳの概要を説明するための図である。操作受付システムＳは、ユーザによる操作を受け付けるシステムであり、操作受付装置１と、管理装置２とを備える。操作受付システムＳは、その他のサーバ、端末等の機器を含んでもよい。

操作受付装置１は、ユーザに対して情報を提示するとともに、ユーザによる操作を受け付けるコンピュータである。ユーザは、例えば乗客を運送するための車両の運転手である。操作受付装置１は、例えば乗客を運送するための車両に設けられているスマートフォン、タブレット端末等の情報端末である。

管理装置２は、操作受付装置１が受け付けた操作に基づいて、メッセージ送信処理、配車処理、決済処理等の所定の処理を行う、サーバ等のコンピュータである。管理装置２は、操作受付装置１との間で情報を送受信する。管理装置２は、インターネット等の通信ネットワークを介して、操作受付装置１と接続されている。

本実施形態に係る操作受付システムＳが実行する処理の概要を以下に説明する。操作受付装置１は、予め操作受付装置１が実行する処理を示す複数の処理内容を記憶する。操作受付装置１は、ユーザの操作の受け付けを開始する場合に、受け付ける操作に対応する複数の処理を特定し、当該複数の処理を示す複数の処理内容を表すテキストと、当該テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる。テキストは、例えば処理内容を説明する文字列である。付加情報は、例えばテキストの一部を強調表示した情報である。

ユーザは、操作画面を表示している操作受付装置１に対して、付加情報を付加されたテキストに対応する音声を発する。例えば操作画面において「ネット決済」の処理内容を表すテキストのうち「ネット」が強調表示されている場合に、ユーザは「ネット」という音声を発する。操作受付装置１は、操作画面を表示している間に付加情報を付加されたテキストに対応する音声（ここでは「ネット」の音声）が入力されたとき、当該付加情報を付加されたテキストが示す処理（ここではネット決済を選択する処理）を実行する。

操作受付装置１は、実行する処理に応じて、管理装置２との間で情報を送受信する。例えば操作受付装置１は、ネット決済を選択したことを示す情報を管理装置２へ送信する。管理装置２は、操作受付装置１が送信した情報に基づいてネット決済を実行する処理を実行する。

このように、操作受付装置１は、ユーザから受け付ける操作に対応する複数の処理を示す複数の処理内容を表すテキストとともに、入力可能な音声に対応する付加情報を表示する。ユーザは、音声入力による操作を行う前に音声認識モードに移行する操作を行う必要がないため、音声入力による操作が可能な機能を使用しやすくなる。

［操作受付システムＳの構成］
図２は、本実施形態に係る操作受付システムＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

操作受付装置１は、通信部１１と、記憶部１２と、制御部１３と、表示部１４と、操作部１５と、音入力部１６と、音出力部１７とを有する。制御部１３は、情報取得部１３１と、表示制御部１３２と、音声認識部１３３と、確認時間決定部１３４と、処理実行部１３５とを有する。

通信部１１は、インターネット等の通信ネットワークを介して管理装置２と通信を行うための通信インターフェースである。記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１２は、制御部１３が実行するプログラムを予め記憶している。記憶部１２は、操作受付装置１の外部に設けられてもよく、その場合にネットワークを介して制御部１３との間でデータの授受を行ってもよい。

制御部１３は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１２に記憶されたプログラムを実行することにより、情報取得部１３１、表示制御部１３２、音声認識部１３３、確認時間決定部１３４及び処理実行部１３５として機能する。制御部１３の機能の少なくとも一部は電気回路によって実行されてもよい。また、制御部１３の機能の少なくとも一部は、制御部１３がネットワーク経由で実行されるプログラムを実行することによって実現されてもよい。

表示部１４は、情報を表示可能な液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等を含む。操作部１５は、人間による操作を受け付け可能なタッチパネル等を含む。音入力部１６は、音の入力を受け付けるマイクロフォン等を含む。音出力部１７は、音を出力するスピーカ等を含む。

本実施形態に係る操作受付システムＳは、図２に示す具体的な構成に限定されない。操作受付装置１及び管理装置２は、それぞれ２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。例えば操作受付装置１及び管理装置２は、それぞれ単一のコンピュータによって構成されてもよく、互いに連携する複数のコンピュータによって構成されてもよい。

［操作受付方法の説明］
以下、本実施形態に係る操作受付システムＳが実行する操作受付方法を詳細に説明する。操作受付装置１において、記憶部１２は、操作受付装置１が実行する処理を示す複数の処理内容を予め記憶している。操作受付装置１が実行する処理は、例えば承諾する処理、拒否する処理、選択する処理、メッセージを送信する処理等である。

情報取得部１３１は、ユーザの操作の受け付けを開始するための情報を取得する。例えばユーザは、操作受付装置１が設けられている車両において乗客が運賃の決済を行う際に、操作部１５を用いて決済を開始する操作を行う。情報取得部１３１は、決済を開始する操作が行われたことを示す情報を取得した場合に、ユーザの操作の受け付けを開始する。また、情報取得部１３１は、管理装置２からメッセージや配車依頼等の所定のデータを受信した場合に、ユーザの操作の受け付けを開始してもよい。

情報取得部１３１は、ユーザの操作の受け付けを開始するための情報を取得した場合に、受け付ける操作に対応する複数の処理を特定する。例えば運賃の決済を行う場合に、情報取得部１３１は、乗客が利用可能な複数の決済方法のうちいずれかを選択する複数の処理を特定する。この場合に、複数の処理は、「ネット決済」を選択する処理と、「車内決済」を選択する処理とを含む。また、例えばメッセージの送信を行う場合に、情報取得部１３１は、送信する複数のメッセージの候補のうちいずれかを選択する複数の処理を特定する。また、例えば配車依頼の応答を行う場合に、情報取得部１３１は、配車依頼を承諾する処理及び拒否する処理を特定する。

表示制御部１３２は、情報取得部１３１が特定した複数の処理を示す複数の処理内容を表すテキストと、当該テキストそれぞれに対して付加されている付加情報とを含む操作画面を、表示部１４に表示させる。

図３は、操作画面Ａを表示している操作受付装置１の正面図である。操作画面Ａは、操作ボタンＡ１と、テキストＡ２と、付加情報Ａ３と、マークＡ４と、インジケータＡ５とを含む。操作ボタンＡ１は、情報取得部１３１が特定した複数の処理それぞれに対応する、ユーザが選択可能な仮想的なボタン（アイコン）である。ユーザが操作部１５を用いていずれかの操作ボタンＡ１を選択する操作を行った場合に、処理実行部１３５は、選択された操作ボタンＡ１に対応する処理を実行する。

テキストＡ２は、情報取得部１３１が特定した複数の処理を示す複数の処理内容を表す文字列である。テキストＡ２は、例えば処理内容の名称又は処理内容の要約であり、処理と関連付けられて予め記憶部１２に記憶されている。表示制御部１３２は、記憶部１２において、情報取得部１３１が特定した複数の処理に関連付けられた複数のテキストＡ２を取得し、表示部１４に表示させる。

付加情報Ａ３は、テキストＡ２の一部を強調表示した情報である。付加情報Ａ３は、テキストＡ２の中の一部の範囲と、該範囲に対して適用する表示態様とを示す情報である。付加情報Ａ３は、テキストＡ２と関連付けられて予め記憶部１２に記憶されている。表示制御部１３２は、記憶部１２において、表示部１４に表示される複数のテキストＡ２に関連付けられた複数の付加情報Ａ３を取得し、取得した複数の付加情報Ａ３を複数のテキストＡ２に対して適用する。

図３の例では、付加情報Ａ３は、テキストＡ２の一部に下線を付すことによって強調表示を行っている。付加情報Ａ３は、これに限られず、テキストＡ２の一部の表示態様（色、形状、模様等）をその他の部分の表示態様とは異なるように表示することによって、強調表示を行う。

ユーザが付加情報Ａ３を示す音声（すなわち、付加情報Ａ３に対応するテキストＡ２の一部を示す音声）を発することによって、後述の処理実行部１３５は、当該付加情報Ａ３に対応するテキストＡ２の示す処理を実行する。このような構成により、ユーザは、付加情報Ａ３を参照することによって、複数の処理それぞれを行うためにどのような音声を発すればよいか容易に把握できる。

マークＡ４は、操作受付装置１が音声入力を受け付けていることを示す所定の図形である。また、マークＡ４は、音声入力を受け付けていることを示す「音声受付中」のような文字列であってもよい。

インジケータＡ５は、音入力部１６にユーザが発した音声が入力されていることを表す領域である。表示制御部１３２は、音入力部１６への音声の入力が継続している時間に応じて、インジケータＡ５をマークＡ４の外周に沿って伸ばすことによって、音声の入力を受け付けていることをユーザに対して通知する。

表示制御部１３２は、ユーザから受け付ける操作が所定の条件を満たす場合に、付加情報Ａ３、マークＡ４及びインジケータＡ５を表示させなくてもよい。例えば表示制御部１３２は、ユーザから受け付ける操作が、配車依頼のキャンセルの操作、他の乗客に関する情報のやり取り、又は決済を行う操作等の予め登録された操作である場合に、付加情報Ａ３、マークＡ４及びインジケータＡ５を表示させない。この場合に、処理実行部１３５は、音声の入力を受け付けず、操作ボタンＡ１の選択に基づいて処理を実行する。このような構成により、操作受付装置１は、手動入力が好ましい特定の操作については、音声入力の対象から除外できる。ユーザは、操作画面Ａを参照することにより、音声の入力が受け付けられないことを容易に把握できる。

表示制御部１３２は、操作受付装置１が設けられている車両に乗客が乗っているか否かに基づいて、操作画面Ａを表示部１４に表示させるか否かを決定してもよい。この場合に、情報取得部１３１は、乗客が車両に乗っているか否かを示す情報を取得する。例えば情報取得部１３１は、乗客が車両に乗っているか否かを示すユーザ（運転手）の操作を示す情報を取得し、又は車両に設けられたセンサから乗客が車両に乗っているか否かを示す情報を取得する。

表示制御部１３２は、乗客が車両に乗っていない場合に、操作画面Ａを表示部１４に表示させ、乗客が車両に乗っている場合に、操作画面Ａを表示部１４に表示させない。これにより、操作受付装置１は、例えば他の乗客とのメッセージを送信するための操作画面Ａ等を、乗客が車両に乗っていない場合にのみ表示するように制御し、音声入力の際に情報が漏洩することを抑制できる。

表示制御部１３２は、操作受付装置１とは異なる情報端末が備える表示部に、操作画面Ａを表示させてもよい。この場合に、表示制御部１３２は、操作画面Ａを表示するための表示情報を情報端末へ送信する。情報端末は、操作受付装置１が送信した表示情報に基づいて、表示部に操作画面Ａを表示させる。これにより、例えば車両に操作受付装置１に加えて他の情報端末（カーナビゲーションシステム等）が設けられている場合に、操作受付装置１は、操作画面Ａを該情報端末上に表示し、ユーザから視認しやすくできる。

表示制御部１３２が操作画面を表示している間に、音入力部１６は、ユーザが発した音声の入力を受け付ける。音声認識部１３３は、音入力部１６に入力された音声に対して、既知の音声認識処理を実行する。音声認識処理は、ネットワークを介して、操作受付装置１とは異なる装置によって行われてもよい。音声認識部１３３は、音声の認識結果に基づいて、操作画面に表示された１つ又は複数の付加情報のうち、入力された音声に対応するテキストに付加された付加情報を特定する。

確認時間決定部１３４は、音声認識部１３３が特定した付加情報に対応するテキストが示す処理を取り消し可能な確認時間を決定する。確認時間決定部１３４は、確認時間をゼロに、すなわち確認時間を設けないように決定してもよい。例えば確認時間決定部１３４は、操作画面において入力される音声を誤認識する蓋然性の高さに基づいて、確認時間を決定する。この場合に、確認時間決定部１３４は、承諾又は拒否の音声は誤認識の蓋然性が低いため他の音声よりも短い確認時間を決定し、複数の選択肢から選択する音声は誤認識の蓋然性が高いため他の音声よりも長い確認時間を決定する。これにより、操作受付装置１は、ユーザが意図していない音声を認識した蓋然性が高い場合に、確認時間を長くすることによって、ユーザによる取り消しを受け付けやすくなる。

また、例えば確認時間決定部１３４は、音声認識部１３３が特定した付加情報に対応するテキストが、メッセージを送信する処理を示す場合に、他の処理の場合よりも長い確認時間を決定する。これにより、操作受付装置１は、メッセージ送信のように誤りが発生しやすい処理について、確認時間を長くすることによって、ユーザによる取り消しを受け付けやすくなる。

また、例えば確認時間決定部１３４は、操作受付装置１が設けられている車両の速度に基づいて、確認時間を決定する。この場合に、確認時間決定部１３４は、車両の速度が所定値以下である場合に、車両の速度が所定値より大きい場合よりも短い確認時間を決定する。車両が停止している場合又は低速で走行している場合には、ユーザは操作画面を注視できるため、取り消しの要否の判断を行いやすい。このような場合に、操作受付装置１は、確認時間を短くすることによって、入力された音声に対応する処理を速やかに実行に移すことができる。

確認時間決定部１３４は、決定した確認時間の長さによって異なる音を、音出力部１７から出力させてもよい。これにより、ユーザは、操作画面を注視しなくとも、音声に対応する処理の取り消しの要否の判断が必要であることを認識できるとともに、取り消し可能な確認時間の長さを認識できる。

表示制御部１３２は、確認時間決定部１３４が決定した確認時間の間、操作画面上で取り消し操作を受け付けていることを表示する。図４は、取り消し操作を受け付けている操作画面Ａを表示している操作受付装置１の正面図である。操作画面Ａは、図３に示した情報に加えて、受付情報Ａ６と、取り消しボタンＡ７とを含む。

受付情報Ａ６は、入力された音声に対応する処理に対応するテキストＡ２を強調表示した情報である。図４の例では、受付情報Ａ６は、テキストＡ２の外側に二重の枠を表すことによって強調表示を行っている。受付情報Ａ６は、これに限られず、テキストＡ２の表示態様（色、形状、模様等）をその他の部分の表示態様とは異なるように表示することによって、強調表示を行う。

取り消しボタンＡ７は、取り消しを指示するための、ユーザが選択可能な仮想的なボタン（アイコン）である。確認時間決定部１３４が決定した確認時間が経過する前に、ユーザが操作部１５を用いて取り消しボタンＡ７を選択する操作を行った場合に、処理実行部１３５は、音声認識部１３３が特定した付加情報に対応するテキストが示す処理の実行を中止する。

ユーザが付加情報を示す音声を入力してから確認時間決定部１３４が決定した確認時間が経過するまでの間にも、音入力部１６は、ユーザが発した音声の入力を受け付けてもよい。この間、音声認識部１３３は、音声認識部１３３による音声の認識結果に基づいて、所定の取消音声が入力されたか否かを判定する。

取消音声は、例えば「キャンセル」、「やめる」のような音声である。取消音声は、複数の操作画面において共通する音声（すなわち、実行する処理によらない音声）であることが望ましい。これにより、ユーザは、処理の取り消しのためにどのような音声を発するかを判断する必要がなく、素早く処理の取り消しを指示することができる。

確認時間決定部１３４が決定した確認時間が経過する前に、取消音声が入力されたと音声認識部１３３が判定した場合に、処理実行部１３５は、音声認識部１３３が特定した付加情報に対応するテキストが示す処理の実行を中止する。これにより、操作受付装置１は、音声が入力された場合であっても、所定の確認時間の間は処理を取り消し可能とし、ユーザの意図しない処理を実行することを抑制できる。

確認時間決定部１３４が決定した確認時間が経過する前に、いずれかの付加情報を示す音声が入力されたと音声認識部１３３が再度判定した場合に、音声認識部１３３は、最新の音声に対応する付加情報が入力されたとみなしてもよい。この場合に、確認時間決定部１３４は、確認時間を再度決定し、表示制御部１３２は、確認時間決定部１３４が再度決定した確認時間の間、操作画面上で取り消し操作を受け付けていることを表示する。

確認時間決定部１３４が決定した確認時間が経過した後に、処理実行部１３５は、音声認識部１３３が特定した付加情報に対応するテキストが示す処理を実行する。例えば処理実行部１３５は、音声認識部１３３が特定した付加情報に対応するテキストが示す決済方法を選択し、選択した決済方法を示す情報を管理装置２へ送信する処理を実行する。管理装置２は、操作受付装置１が送信した情報が示す決済方法で決済を行う処理を実行する。

また、例えば処理実行部１３５は、音声認識部１３３が特定した付加情報に対応するテキストが示すメッセージを管理装置２へ送信する処理を実行する。管理装置２は、操作受付装置１が送信したメッセージを所定の情報端末（例えば乗客が有する情報端末）へ転送する処理を実行する。

また、例えば処理実行部１３５は、音声認識部１３３が特定した付加情報に対応するテキストが示す、配車依頼を承諾する情報及び配車依頼を拒否する情報のうちどちらか一方を管理装置２へ送信する処理を実行する。管理装置２は、操作受付装置１が送信した情報に基づいて、操作受付装置１が設けられている車両に配車すること又は配車しないことを確定する処理を実行する。

図３、図４の例では、操作受付装置１は、テキストの一部を強調表示することによって付加情報を表示しているが、その他の方法で付加情報を表示してもよい。図５（ａ）、図５（ｂ）は、別の例に係る操作画面Ａを表示している操作受付装置１の正面図である。図５（ａ）は、メッセージの送信を行う場合の例示的な操作画面Ａを表している。図３の例とは異なり、付加情報Ａ３は、テキストＡ２に付加された記号である。ユーザが付加情報Ａ３を示す音声（すなわち、付加情報Ａ３である記号を示す音声）を発することによって、処理実行部１３５は、当該付加情報Ａ３に対応するテキストＡ２の示す処理を実行する。このような構成により、ユーザは、付加情報Ａ３を参照することによって、複数の処理それぞれを行うためにどのような音声を発すればよいか容易に把握できる。

図５（ｂ）は、配車依頼の応答を行う場合の例示的な操作画面Ａを表している。図３の例とは異なり、操作画面Ａは、情報取得部１３１が特定した１つの処理のみに対応するテキストＡ２を含み、また付加情報Ａ３を含まない。このように単純な操作画面であれば、ユーザは、マークＡ４を参照すれば音声入力を受け付けていることを把握でき、テキストＡ２を参照すれば発すべき音声を把握できる。そのため、処理実行部１３５は、１つの処理内容を示すテキストＡ２を含む操作画面において、テキストＡ２が音声として入力されたときに、テキストＡ２の示す処理を実行する。

図３、図４の例では、操作受付装置１は、手動入力及び音声入力の両方を受け付けているが、操作受付装置１が設けられている車両の速度に基づいて音声入力のみを受け付けてもよい。表示制御部１３２は、車両の速度が所定の速度以下の場合に、手動による入力及び音声による入力が可能であることを示す付加情報を含む操作画面を表示部１４に表示させる。一方、表示制御部１３２は、車両の速度が所定の速度より大きい場合に、手動による入力が可能ではなく、音声による入力が可能であることを示す付加情報を含む操作画面を表示部１４に表示させる。

図６（ａ）、図６（ｂ）は、操作画面Ａを表示している操作受付装置１の正面図である。図６（ａ）は、手動入力及び音声入力の両方を受け付けている操作画面Ａを表している。図６（ａ）の操作画面Ａは、操作ボタンＡ１及び付加情報Ａ３を表示することによって、手動による入力及び音声による入力が可能であることを示している。

図６（ｂ）は、音声入力のみを受け付けている操作画面Ａを表している。図６（ｂ）の操作画面Ａは、付加情報Ａ３を表示することによって音声による入力が可能であることを示すとともに、操作ボタンＡ１が選択できないことを表す無効情報Ａ８（ここでは破線）を表示することによって手動による入力が可能ではないことを示している。無効情報Ａ８は、その他の表示態様によって、操作ボタンＡ１が選択できないことを表してもよい。

このような構成により、操作受付装置１は、車両の走行中は手動入力を受け付けないことを明示し、安全性を高めることができる。ここでは表示制御部１３２が所定の速度に関して２段階で表示内容を切り替えているが、３段階以上で切り替えてもよい。この場合に、例えば表示制御部１３２は、手動入力及び音声入力の両方を受け付けていること、音声入力のみを受け付けていること、及び入力を受け付けていないことの３段階で操作画面Ａの表示内容を切り替える。

［操作受付方法のフローチャート］
図７は、本実施形態に係る操作受付システムＳが実行する操作受付方法のフローチャートを示す図である。情報取得部１３１は、ユーザの操作の受け付けを開始するための情報を取得する。情報取得部１３１は、ユーザの操作の受け付けを開始するための情報を取得した場合に、受け付ける操作に対応する複数の処理を特定する（Ｓ１１）。

表示制御部１３２は、情報取得部１３１が特定した複数の処理を示す複数の処理内容を表すテキストと、当該テキストそれぞれに対して付加されている付加情報とを含む操作画面を、表示部１４に表示させる（Ｓ１２）。

表示制御部１３２が操作画面を表示している間に、音入力部１６は、ユーザが発した音声の入力を受け付ける（Ｓ１３）。音声認識部１３３は、音入力部１６に入力された音声に対して、既知の音声認識処理を実行する（Ｓ１４）。音声認識部１３３は、音声の認識結果に基づいて、操作画面に表示された１つ又は複数の付加情報のうち、入力された音声に対応するテキストに付加された付加情報を特定する。

確認時間決定部１３４は、音声認識部１３３が特定した付加情報に対応するテキストが示す処理を取り消し可能な確認時間を決定する（Ｓ１５）。表示制御部１３２は、確認時間決定部１３４が決定した確認時間の間、操作画面上で取り消し操作を受け付けていることを表示する。

確認時間決定部１３４が決定した確認時間の間、音入力部１６は、ユーザが発した音声の入力を受け付ける。音声認識部１３３は、音入力部１６に入力された音声に対して、既知の音声認識処理を実行する。確認時間決定部１３４が決定した確認時間が経過していない場合であって（Ｓ１６のＮＯ）、取消音声が入力されたと音声認識部１３３が判定した場合に（Ｓ１７のＹＥＳ）、処理実行部１３５は、音声認識部１３３が特定した付加情報に対応するテキストが示す処理の実行を中止する（Ｓ１８）。取消音声が入力されたと音声認識部１３３が判定していない場合に（Ｓ１７のＮＯ）、音入力部１６は、ステップＳ１６に戻り、ユーザが発した音声の入力の受け付けを継続する。

確認時間決定部１３４が決定した確認時間が経過した場合に（Ｓ１６のＹＥＳ）、処理実行部１３５は、音声認識部１３３が特定した付加情報に対応するテキストが示す処理を実行する（Ｓ１９）。

［実施形態の効果］
本実施形態に係る操作受付システムＳにおいて、操作受付装置１は、ユーザから受け付ける操作に対応する複数の処理を示す複数の処理内容を表すテキストとともに、入力可能な音声に対応する付加情報を表示する。ユーザは、音声入力による操作を行う前に音声認識モードに移行する操作を行う必要がないため、音声入力による操作が可能な機能を使用しやすくなる。また、ユーザは、付加情報を参照することによって、付加情報を参照することによって、複数の処理それぞれを行うためにどのような音声を発すればよいかを容易に把握できる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

操作受付装置１のプロセッサは、図７に示す操作受付方法に含まれる各ステップ（工程）の主体となる。すなわち、操作受付装置１のプロセッサは、図７に示す操作受付方法を実行するためのプログラムを記憶部から読み出し、該プログラムを実行して操作受付システムＳの各部を制御することによって、図７に示す操作受付方法を実行する。図７に示す操作受付方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

Ｓ操作受付システム
１操作受付装置
１２記憶部
１３制御部
１３１情報取得部
１３２表示制御部
１３３音声認識部
１３４確認時間決定部
１３５処理実行部
１４表示部
１７音出力部

Claims

ユーザの操作を受け付ける操作受付装置であって、
前記操作受付装置が実行する処理を示す複数の処理内容を記憶する記憶部と、
前記複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部と、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部と、
を有し、
前記処理実行部は、前記処理内容がメッセージを送信する処理である場合に、前記処理内容が他の処理である場合よりも長い確認時間が経過してから前記処理を実行する、
操作受付装置。
車両に設けられている、ユーザの操作を受け付ける操作受付装置であって、
前記操作受付装置が実行する処理を示す複数の処理内容を記憶する記憶部と、
前記複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部と、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、前記車両の速度に対応する確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部と、
を有する操作受付装置。
ユーザの操作を受け付ける操作受付装置であって、
前記操作受付装置が実行する処理を示す複数の処理内容を記憶する記憶部と、
前記複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部と、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、所定の確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部と、
前記確認時間の長さによって異なる音を出力する音出力部と、
を有する操作受付装置。
ユーザの操作を受け付ける操作受付装置であって、
前記操作受付装置が実行する処理を示す複数の処理内容を記憶する記憶部と、
前記複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部と、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、前記表示制御部が前記操作画面を表示している間に前記音声が入力された後に所定の確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部と、
を有し、
前記処理実行部は、前記処理内容がメッセージを送信する処理である場合に、前記処理内容が他の処理である場合よりも長い前記確認時間が経過してから前記処理を実行する、
操作受付装置。
車両に設けられている、ユーザの操作を受け付ける操作受付装置であって、
前記操作受付装置が実行する処理を示す複数の処理内容を記憶する記憶部と、
前記複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部と、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、前記表示制御部が前記操作画面を表示している間に前記音声が入力された後に前記車両の速度に対応する確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部と、
を有する操作受付装置。
ユーザの操作を受け付ける操作受付装置であって、
前記操作受付装置が実行する処理を示す複数の処理内容を記憶する記憶部と、
前記複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部と、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、前記表示制御部が前記操作画面を表示している間に前記音声が入力された後に所定の確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部と、
前記確認時間の長さによって異なる音を出力する音出力部と、
を有する操作受付装置。
乗客を運送するための車両に設けられている、ユーザの操作を受け付ける操作受付装置であって、
前記操作受付装置が実行する処理を示す複数の処理内容を記憶する記憶部と、
前記乗客が前記車両に乗っていない場合に、前記複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させ、前記乗客が前記車両に乗っている場合に、前記操作画面を前記表示部に表示させない表示制御部と、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部と、
を有する操作受付装置。
前記付加情報は、前記テキストの一部を強調表示した情報である、
請求項１から７のいずれか一項に記載の操作受付装置。
前記処理実行部は、前記確認時間が経過するまでの間に前記テキストが示す前記処理を取り消す操作が行われた場合に、前記処理の実行を中止する、
請求項１から６のいずれか一項に記載の操作受付装置。
前記処理実行部は、複数の前記操作画面において共通する、前記テキストが示す前記処理を取り消すための取消音声を入力する操作が行われた場合に、前記処理の実行を中止する、
請求項９に記載の操作受付装置。
前記処理実行部は、前記操作画面において入力される音声を誤認識する蓋然性の高さに対応する前記確認時間が経過してから前記処理を実行する、
請求項１から６のいずれか一項に記載の操作受付装置。
前記操作受付装置は車両に設けられており、
前記表示制御部は、前記車両の速度が所定の速度以下の場合に、手動による入力及び音声による入力が可能であることを示す前記付加情報を含む前記操作画面を前記表示部に表示させ、前記車両の速度が前記所定の速度より大きい場合に、手動による入力が可能ではなく、音声による入力が可能であることを示す前記付加情報を含む前記操作画面を前記表示部に表示させる、
請求項１から１１のいずれか一項に記載の操作受付装置。
前記操作受付装置は乗客を運送するための車両に設けられており、
前記表示制御部は、乗客が前記車両に乗っているか否かに基づいて、前記操作画面を前記表示部に表示させるか否かを決定する、
請求項１から６のいずれか一項に記載の操作受付装置。
コンピュータを、
前記コンピュータが実行する処理を示す複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部、及び
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部、
として機能させ、
前記処理実行部は、前記処理内容がメッセージを送信する処理である場合に、前記処理内容が他の処理である場合よりも長い確認時間が経過してから前記処理を実行する、
プログラム。
車両に設けられているコンピュータを、
前記コンピュータが実行する処理を示す複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部、及び
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、前記車両の速度に対応する確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部、
として機能させるためのプログラム。
コンピュータを、
前記コンピュータが実行する処理を示す複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、所定の確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部、及び
前記確認時間の長さによって異なる音を出力する音出力部、
として機能させるためのプログラム。
コンピュータを、
前記コンピュータが実行する処理を示す複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部、及び
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、前記表示制御部が前記操作画面を表示している間に前記音声が入力された後に所定の確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部、
として機能させ、
前記処理実行部は、前記処理内容がメッセージを送信する処理である場合に、前記処理内容が他の処理である場合よりも長い前記確認時間が経過してから前記処理を実行する、
プログラム。
車両に設けられているコンピュータを、
前記コンピュータが実行する処理を示す複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部、及び
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、前記表示制御部が前記操作画面を表示している間に前記音声が入力された後に前記車両の速度に対応する確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部、
として機能させるためのプログラム。
コンピュータを、
前記コンピュータが実行する処理を示す複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させる表示制御部、
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、前記表示制御部が前記操作画面を表示している間に前記音声が入力された後に所定の確認時間が経過してから、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部、及び
前記確認時間の長さによって異なる音を出力する音出力部、
として機能させるためのプログラム。
乗客を運送するための車両に設けられているコンピュータを、
前記乗客が前記車両に乗っていない場合に、前記コンピュータが実行する処理を示す複数の処理内容を表すテキストと、前記テキストそれぞれに対して付加されている付加情報とを含む操作画面を表示部に表示させ、前記乗客が前記車両に乗っている場合に、前記操作画面を前記表示部に表示させない表示制御部、及び
前記操作画面を表示している間に前記付加情報を付加された前記テキストに対応する音声が入力されたとき、当該付加情報に対応する前記テキストが示す前記処理を実行する処理実行部、
として機能させるためのプログラム。