JP6191919B2 - 注文入力システム及び注文入力方法 - Google Patents

Description

本発明は、注文客及び店員の発話音声を音声認識し、注文客からの注文内容の入力を支援する注文入力システム及び注文入力方法に関する。

従来、ファストフード店やカフェ等の店舗におけるドライブスルーでは、ヘッドセットを装着した店舗内の店員が車両（例えば自動車）で来店した話者（例えば注文者）との間で注文内容の通話を行うために、車両の停車位置付近にマイク及びスピーカが設置されている（例えば図１５参照）。

図１５は、従来の注文入力システム６００のシステム構成の一例を示すブロック図である。図１５に示す注文入力システム６００は、注文客用マイクＭｃ１と、注文客用スピーカＳｐ１と、店員用マイクＭｃ２と、店員用スピーカＳｐ２と、通話システム５１０と、入力装置５３０と、ディスプレイ装置５４０と、メモリ５５０と、ＰＯＳ（Point Of Sales）システム５２０とを含む構成である。ＰＯＳシステム５２０は、注文表生成部５２８を有し、入力装置５３０，ディスプレイ装置５４０，メモリ５５０がＰＯＳシステム５２０に接続されている。店員用マイクＭｃ２と店員用スピーカＳｐ２とは、例えば店員が店舗内で装着するヘッドセットＨｄｓとして構成される。

図１５に示す注文入力システム６００では、ヘッドセットＨｄｓを装着した店員は、注文客用スピーカＳｐ１から出力された店員の音声に従って注文客が注文客用マイクＭｃ１に向かって発した注文内容の音声を、通話システム５１０及び店員用スピーカＳｐ２を介して聞き取る。店員は、注文客が注文した商品等の注文内容を復唱又はメモ等によって覚え、入力装置５３０を用いた操作を介して、ＰＯＳシステム５２０に注文内容を入力する。注文表生成部５２８は、店員の操作によって入力された注文内容を含む注文表の画面データを生成してメモリ５５０に記憶し、更に、注文表の画面データをディスプレイ装置５４０に表示させる。

図１５に示す注文入力システム６００ではＰＯＳシステム５２０と通話システム５１０とが非接続であるため、店員の聞き違いや覚え間違い等によって、注文表生成部５２８により生成された注文表の画面データの内容が間違えることがあり、注文内容の入力が効率的でなく、注文客に対する利便性を低下させてしまう。

ここで、ファストフード店等において、顧客の注文を口頭で受け応えし、注文内容が各担当者（接客担当者、調理担当者）に伝達されて注文の処理が実行される先行技術として、特許文献１に示すオーダリングシステムが提案されている。

特許文献１に示すオーダリングシステムは、店舗内のカウンタ部の顧客担当者が顧客の料理の注文を復唱してヘッドセットにおいて収音した音声を情報処理端末に出力し、情報処理端末ではヘッドセットからの音声の信号と雑音マイクが収音した雑音の信号との差分をとってから音声認識を行い、音声認識結果をヘッドセットから音声出力して接客担当者に確認させる。確認された注文はディスプレイに表示され、調理担当者がディスプレイを見て調理する。料理が出来上がると接客担当者が料理を顧客のところに運ぶと共にタッチパネルディスプレイで該当する料理が処理されたことが入力される。

また、店舗内の注文内容の入力にかかる手間を削減する先行技術として、例えば特許文献２に示す注文データ管理装置が知られている。

特許文献２に示す注文データ管理装置は、収音装置において収音された顧客の注文に関する音声情報を受信して音声認識を行い、音声情報に含まれる、注文対象となる品名と品名に対する数量とを注文した顧客を識別する顧客識別情報とを抽出して注文データを生成して記憶する。注文データ管理装置は、品名と品名に対する単価とを対応付けて記憶しており、精算対象となる顧客を特定する顧客識別情報を受信すると、顧客識別情報に対応する注文データを読み出し、注文データに含まれる品名と数量と品名に対する単価とに基づいて、精算金額を算出する。

特開２００４−３２６６１２号公報 特開２００８−１９７８２６号公報

しかし、特許文献１では、顧客の料理の注文の際に発した音声を音声認識せずに、１系統の音声（即ち、ヘッドセットを装着した店員が顧客の料理の注文内容を復唱した音声）が音声認識されるため、顧客の料理の注文の際に発した音声を注文内容のデータ生成に利用することが考慮されていない。このため、例えばファストフード店等の店舗のドライブスルーにおいて特許文献１の構成を適用しようとすると、店舗の屋外は騒がしい環境であることが多いため、顧客の注文の際に発した音声が誤認識されてしまうと、注文内容のデータが間違って生成されてしまい、注文内容の入力が効率的でない場合がある。

また、特許文献２では、顧客の注文に関する音声情報を音声認識することは考慮されているが、特許文献１のように店員が顧客の注文に関する音声を復唱した音声を音声認識することは考慮されておらず、同様に１系統の音声（即ち、顧客の注文時に発した音声）しか注文内容のデータ生成に利用されていない。このため、同様にファストフード店等の店舗のドライブスルーにおいて特許文献２の構成を適用しようとすると、店舗の屋外は騒がしい環境であることが多いため、顧客の注文の際に発した音声が誤認識されてしまうと、注文内容のデータが間違って生成されてしまい、注文内容の入力が効率的でない場合がある。

本発明は、上述した従来の課題を解決するために、ドライブスルー等の騒がしい環境下における注文において、注文客の注文時に発した音声と店員の注文客が注文時に発した音声を復唱した音声との２系統の音声を用いて、注文内容の入力を効率化させる注文入力システム及び注文入力方法を提供することを目的とする。

本発明は、屋外に設置され、第１の話者の音声を収音する第１収音部と、屋内に設置され、前記第１収音部により収音された前記第１の話者の音声を出力する音声出力部と、前記屋内に設置され、第２の話者の音声を収音する第２収音部と、前記第１収音部により収音された前記第１の話者の音声と、前記第２収音部により収音された前記第２の話者の音声とを音声認識する音声認識部と、前記第１収音部により収音された前記第１の話者の注文内容に関する音声の第１音声認識結果と、前記音声出力部による音声出力に基づいて前記第２の話者により発話され、かつ前記第２収音部により収音された前記第２の話者の前記注文内容に関する音声の第２音声認識結果とを含む、前記第１の話者の注文内容に関する注文データの表示画面を、前記屋内に設置された表示部に表示させる注文データ出力部と、を備える、注文入力システムである。

また、本発明は、第１収音部と第２収音部とを含む注文入力システムにおける注文入力方法であって、屋外に設置された前記第１収音部において、第１の話者の音声を収音するステップと、屋内に設置された音声出力部において、前記第１収音部により収音された前記第１の話者の音声を出力するステップと、前記屋内に設置され、前記第２収音部において、第２の話者の音声を収音するステップと、前記第１収音部により収音された前記第１の話者の音声と、前記第２収音部により収音された前記第２の話者の音声とを音声認識するステップと、前記第１収音部により収音された前記第１の話者の注文内容に関する音声の第１音声認識結果と、前記音声出力部による音声出力に基づいて前記第２の話者により発話され、かつ前記第２収音部により収音された前記第２の話者の前記注文内容に関する音声の第２音声認識結果とを含む、前記第１の話者の注文内容に関する注文データの表示画面を、前記屋内に設置された表示部に表示させるステップと、を有する、注文入力方法である。

本発明によれば、ドライブスルー等の騒がしい環境下における注文において、注文客の注文時に発した音声と店員の注文客が注文時に発した音声を復唱した音声との２系統の音声を用いて、注文内容の入力を効率化させることができる。

本実施形態の注文入力システムのシステム構成の一例を示すブロック図 ＰＯＳシステムにより生成される注文入力画面の一例を示す図 本実施形態の注文入力システムのメイン処理の動作手順の一例を説明するフローチャート 本実施形態の注文入力システムの初期化処理の動作手順の一例を説明するフローチャート 音声認識用辞書に格納される用語と各用語のタグとの関係の一例を示す説明図 本実施形態の注文入力システムの注文表変換処理の動作手順の一例を説明するフローチャート 注文客注文表リスト又は店員注文表リストの生成手順の一例を示す説明図 （Ａ）〜（Ｃ）注文客注文表リスト又は店員注文表リストの項目毎の注文内容の修正の一例を示す説明図 本実施形態の注文入力システムの注文表修正処理の動作手順の一例を説明するフローチャート 注文客音声履歴の選択操作に応じた注文客の注文に関する音声の音声認識結果の他の候補の表示例を示す説明図 本実施形態の注文入力システムの音声認識結果表示処理の動作手順の一例を説明するフローチャート 注文客音声認識モード、店員音声認識モードのオン、オフの切り替えを示す説明図 本実施形態の注文入力システムの注文客音声認識モード、店員音声認識モードのオン、オフの切り替えを説明するフローチャート 注文客注文リストと店員注文リストとの間に不整合があった項目を強調表示する例を示す説明図 従来の注文入力システムのシステム構成の一例を示すブロック図

以下、本発明に係る注文入力システム及び注文入力方法の実施形態（以下、「本実施形態」という）について、図面を参照して説明する。本実施形態の注文入力システムは、例えばファストフード店やカフェ等の店舗におけるドライブスルーにおいて使用されるとして説明するが、ドライブスルーに適用した例に限定されない。

なお、本発明は、注文入力システムを構成する各装置（例えば後述するＰＯＳシステム２０）、又は注文入力システムを構成する各装置（例えば後述するＰＯＳシステム２０）が行う各動作（ステップ）を含む方法として表現することも可能である。

図１は、本実施形態の注文入力システム１００のシステム構成の一例を示すブロック図である。図１に示す注文入力システム１００は、注文客用マイクＭｃ１と、注文客用スピーカＳｐ１と、店員用マイクＭｃ２と、店員用スピーカＳｐ２と、通話システム１０と、ＰＯＳシステム２０と、入力装置３０と、ディスプレイ装置４０と、メモリ５０とを含む構成である。

ＰＯＳシステム２０は、通信部２２と、音声注文入力処理部２４と、音声認識用辞書２６と、注文表生成部２８とを含む構成であり、入力装置３０，ディスプレイ装置４０，メモリ５０がＰＯＳシステム２０に接続されている。店員用マイクＭｃ２と店員用スピーカＳｐ２とは、例えばドライブスルーの店員が店舗内で装着するヘッドセットＨｄｓとして構成される。

図１に示す注文入力システム１００では、ヘッドセットＨｄｓを装着した店員（第２の話者。以下同様。）は、注文客用スピーカＳｐ１から出力された店員の音声（例えば「いらっしゃいませ。ご注文をお願いします。」）に従って注文客（第１の話者。以下同様。）が注文客用マイクＭｃ１に向かって発した注文内容の音声を、通話システム１０及び店員用スピーカＳｐ２を介して聞き取り、注文客の注文内容の音声を復唱する。店員が復唱した音声はヘッドセットＨｄｓの店員用マイクＭｃ２において収音される。注文客の発した音声と店員の復唱した音声との２系統の音声が、通話システム１０からＰＯＳシステム２０に送信されて音声認識される。ＰＯＳシステム２０は、２系統の音声の音声認識結果を用いた所定の処理（後述参照）により、注文者の発した注文内容を含む注文データの表示画面（注文表表示画面）をディスプレイ装置４０に表示させる。

本実施形態では、注文客用マイクＭｃ１及び注文客用スピーカＳｐ１は、例えばドライブスルーの店舗の屋外における車両の停車位置付近に設置されるオーダーポスト（不図示）に設けられる。オーダーポストは、ドライブスルーの注文対象の商品を写真等によって掲示し、店員と注文者との間での通話を行うための注文客用マイクＭｃ１及び注文客用スピーカＳｐ１を少なくとも含む屋外設置機器である。

第１収音部の一例としての注文客用マイクＭｃ１は、注文客の発した音声（例えば注文内容に関する音声）を収音する。注文客用マイクＭｃ１により収音された音声の音声データは、通話システム１０を介して、ヘッドセットＨｄｓを構成する店員用スピーカＳｐ２から出力される。

第１音声出力部の一例としての注文客用スピーカ装置Ｓｐ１は、例えば店員の発した音声（例えば注文内容に関する音声）を出力する。店員の声（例えば「いらっしゃいませ。ご注文をお願いします。」）は、通話システム１０を介して注文客用スピーカＳｐ１から出力されて注文者によって聞き取られる。

第２収音部の一例としての店員用マイクＭｃ２は、店員の発した音声（例えば注文客の発した注文内容を確認するため店員が復唱した注文内容に関する音声）を収音する。店員用マイクＭｃ２により収音された音声の音声データは、通話システム１０を介して、注文客用スピーカＳｐ１から出力される。

なお、注文客用マイクＭｃ１，店員用マイクＭｃ２は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられても良い。

第２音声出力部の一例としての店員用スピーカＳｐ２は、例えば注文客の発した音声（例えば注文客の発した注文内容を確認するため店員が復唱した注文内容に関する音声）を出力する。注文客の声（例えば注文内容に関する音声「One CheeseBurger medium fries please」等）は、通話システム１０を介して店員用スピーカＳｐ２から出力されて店員によって聞き取られる。

通話システム１０は、注文客用マイクＭｃ１と店員用スピーカＳｐ２との間、及び店員用マイクＭｃ２と注文客用スピーカＳｐ１との間の音声信号の仲介を行う既存の通話制御機能を有し、更に、注文客用マイクＭｃ１により収音された注文客の発した音声，店員用マイクＭｃ２により収音された店員の発した音声をＰＯＳシステム２０に送信する。

通話システム１０とＰＯＳシステム２０との間は、不図示のネットワークを介して相互に接続されている。ネットワークは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良い。

なお、図１では、入力装置３０，ディスプレイ装置４０，メモリ５０は、それぞれＰＯＳシステム２０の内部には含まれていないが、ＰＯＳシステム２０の内部に含まれた構成でも良い。ＰＯＳシステム２０は、店舗内のバックヤード（例えば不図示の監視室）に設置される据置型のＰＣ（Personal Computer）又はサーバ装置でも良いし、店員が携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末でも良い。

通信部２２は、不図示のネットワークを介して、通話システム１０から送信された音声信号を受信して音声注文入力処理部２４に出力する。

音声注文入力処理部２４は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、通信部２２から出力された音声信号を用いて、注文客の発した音声から注文内容に関して所定の処理を行う。音声注文入力処理部２４は、音声認識部２４ａと、注文表変換部２４ｂとを含む構成である。

音声認識部２４ａは、音声認識用辞書２６を用いて、通信部２２から出力された注文客の発した音声（即ち、注文客用マイクＭｃ１により収音された音声）、又は店員の発した音声（即ち、店員用マイクＭｃ２により収音された音声）の音声認識処理を行う。

音声認識部２４ａは、音声認識結果としての注文客の発した音声の所定候補数の音声認識結果とこの音声認識結果に含まれる各単語に対する所定候補数の音声認識結果とを含むリスト（以下、「注文客音声認識結果リスト」という）と店員の発した音声の所定候補数の音声認識結果と音声認識結果に含まれる各単語に対する所定候補数の音声認識結果とを含むリスト（以下、「店員音声認識結果リスト」という）とをメモリ５０に格納する。

注文表変換部２４ｂは、音声認識部２４ａの出力（即ち、注文客音声認識結果リスト及び店員音声認識結果リスト）の各第１候補の音声認識結果（例えば音声認識率が最も高い音声認識結果）を抽出し、各第１候補の音声認識結果の各単語に対応付けられたタグの情報を基に、注文客注文表リスト及び店員注文表リストを生成してメモリ５０に格納する（図７参照）。図７は、注文客注文表リスト又は店員注文表リストの生成手順の一例を示す説明図である。

図７に示すように、音声認識部２４ａにおける音声認識結果の第１候補が「One CheeseBurger medium fries」であった場合、注文表変換部２４ｂは、「One」に対応するタグ「Qty」、「CheeseBurger」に対応するタグ「Menu」、「medium」に対応するタグ「Size」、「fries」に対応するタグ「Menu」を音声認識用辞書２６から抽出し、図７に示す注文客注文表リスト又は店員注文表リストを生成してメモリ５０に格納する。注文客注文表リストとは、注文客の発した音声の音声認識結果を基に生成され、項目（タグ）毎に対応付けられた注文内容の一覧を示す。同様に、店員注文表リストとは、店員の発した音声の音声認識結果を基に生成され、項目（タグ）毎に対応付けられた注文内容の一覧を示す。

なお、注文表変換部２４ｂは、例えば「fries」に対応するタグ「Qty」が欠落していた場合又は音声認識できなかった場合には、所定のデフォルト値Ｄｆ１（例えば「１」）を付与する。所定のデフォルト値は、項目（タグ）毎に予め決められている。

音声認識用辞書２６は、音声認識部２４ａにおける音声認識処理の際に用いられる辞書データが格納されており、例えば音声認識処理の対象となる用語（単語）とドライブスルーの注文内容の項目であるタグ（例えば、メニュー（Menu）、サイズ（Size）、数量（Qty:Quantity）、価格（Price））とが予め対応付けられて格納されている（図５参照）。図５は、音声認識用辞書２６に格納される用語と各用語のタグとの関係の一例を示す説明図である。

図５に示すように、例えばタグがメニュー（Menu）の用語には「CheeseBurger」、「Fries」、「HotCoffee」等の注文の対象となる飲食物の名称が対応付けられて格納され、タグが数量（Qty）の用語には「0」、「1」、「2」、「3」、…、「7」、「8」、「9」、「one」、「two」等の数量を示す用語が対応付けられて格納され、タグがサイズ（size）の用語には「S」、「R」、「M」、「L」等のサイズ（ボリューム）が対応付けられて格納される。

注文表生成部２８は、メモリ５０に格納されている注文客注文表リスト，店員注文表リストを用いて、注文客の発した注文内容に関する注文データの表示画面（以下、「注文入力画面」という）を生成してディスプレイ装置４０に表示させる（図２参照）。図２は、ＰＯＳシステム２０により生成される注文入力画面ＷＤ１の一例を示す図である。図２に示すように、注文入力画面ＷＤ１には、注文表表示エリアＷＤ２と、注文入力操作表示エリアＷＤ３とが含まれる。

注文表表示エリアＷＤ２には、注文客注文表リスト又は店員注文表リストに含まれる音声認識結果の単語に対応するタグ（例えば「Menu」、「Size」、「Qty」、「Price」）の表示エリアＡＲ１と、注文客注文表リスト又は店員注文表リストのいずれかに対応した注文内容の表示エリアＡＲ２とが含まれる。また、注文表表示エリアＷＤ２には、注文内容の合計を示す精算額（例えば「＄５．７９」）を示す表示エリアと精算を指示するためのＴｏｔａｌボタンＢｔ１と、注文客の発した音声の音声認識結果Ｒｇ１（注文客音声認識結果リストの第１候補）と店員の発した音声の音声認識結果Ｒｇ２（店員音声認識結果リストの第１候補）とを含む音声認識結果表示エリアＡＲ３が含まれる。

一方、注文入力操作表示エリアＷＤ３には、数字キー列ボタンＫｙ１と、サイズ入力キーＫｙ２と、オプションメニュー入力キーＫｙ３と、メニュー一覧＆入力キーＫｙ４とが表示される。数字キー列ボタンＫｙ１は、例えば押下された際にテンキーをソフトウェアキーボードとして表示させるボタンである。サイズ入力キーＫｙ２は、例えば押下された際にメニューのサイズ（例えばＳサイズ、Ｒサイズ、Ｍサイズ、Ｌサイズ）を選択可能なプルダウン形式のサイズの種類の一覧を表示させるボタンである。オプションメニュー入力キーＫｙ３は、例えば押下された際にオプションメニューの一覧を表示させるためのボタンである。メニュー一覧＆入力キーＫｙ４は、例えば押下された際に全てのメニューの一覧を表示させるためのボタンである。

なお、音声認識結果表示エリアＡＲ３の注文客音声履歴ボタンＢｔ２及び店員音声履歴ボタンＢｔ３の詳細については、図１２及び図１３を参照して後述する。

操作部の一例としての入力装置３０は、店員の入力操作の内容をＰＯＳシステム２０に出力するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、入力装置３０は、例えばディスプレイ装置４０の画面に対応して配置され、店員の指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。

表示部としてのディスプレイ装置４０は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、ＰＯＳシステム２０の制御の下で、注文表生成部２８により生成された注文入力画面ＷＤ１を表示する。

記憶部としてのメモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、ＰＯＳシステム２０の各部の動作時のワークメモリとして機能し、更に、ＰＯＳシステム２０の各部の動作時に必要なデータを記憶する。

次に、本実施形態の注文入力システム１００のメイン処理の動作手順について、図３を参照して説明する。図３は、本実施形態の注文入力システム１００のメイン処理の動作手順の一例を説明するフローチャートである。

図３において、注文入力システム１００では、先ず初期化処理が行われる（Ｓ１）。ステップＳ１の初期化処理の詳細については、図４を参照して後述する。ステップＳ１の後、図２に示すＴｏｔａｌボタンＢｔ２が店員の操作によってオフされない場合（即ち、ＴｏｔａｌボタンＢｔ２が押下された場合）には（Ｓ２、ＮＯ）、図３に示す注文入力システム１００の処理は終了する。

一方、図２に示すＴｏｔａｌボタンＢｔ２が店員の操作によってオフされた場合（即ち、ＴｏｔａｌボタンＢｔ２が押下されない場合）には（Ｓ２、ＹＥＳ）、音声注文入力処理部２４は、注文客音声認識モードがオンであるか否かを判定する（Ｓ３）。注文客音声認識モードとは、音声注文入力処理部２４が注文客の発した音声に対して音声認識処理を行うか否かを示すモードであり、注文客音声認識モードを示す情報は例えばメモリ５０に一時的に格納されている。注文客音声認識モードがオンであると判定されなかった場合には（Ｓ３、ＮＯ）、図３に示す注文入力システム１００の処理はステップＳ６に進む。

一方、注文客音声認識モードがオンであると判定された場合には（Ｓ３、ＹＥＳ）、通信部２２は、注文客の発した音声（注文客発話音声）のデータを通話システム１０から受信して音声認識部２４ａに出力する（Ｓ４）。音声認識部２４ａは、注文客発話音声のデータを音声認識処理し、注文客発話音声のデータに対する所定候補数（例えば３つ）の音声認識結果と各音声認識結果の単語に対する所定候補数（例えば３つ）の音声認識結果とを、注文客音声認識結果リストとしてメモリ５０に格納する（Ｓ５）。

ステップＳ５の後、音声注文入力処理部２４は、店員音声認識モードがオンであるか否かを判定する（Ｓ６）。店員音声認識モードとは、音声注文入力処理部２４が店員の発した音声に対して音声認識処理を行うか否かを示すモードであり、店員音声認識モードを示す情報は例えばメモリ５０に一時的に格納されている。店員音声認識モードがオンであると判定されなかった場合には（Ｓ６、ＮＯ）、図３に示す注文入力システム１００の処理はステップＳ９に進む。

一方、店員音声認識モードがオンであると判定された場合には（Ｓ６、ＹＥＳ）、通信部２２は、店員の発した音声（店員発話音声）のデータを通話システム１０から受信して音声認識部２４ａに出力する（Ｓ７）。音声認識部２４ａは、店員発話音声のデータを音声認識処理し、店員発話音声のデータに対する所定候補数（例えば３つ）の音声認識結果と各音声認識結果の単語に対する所定候補数（例えば３つ）の音声認識結果とを、店員音声認識結果リストとしてメモリ５０に格納する（Ｓ８）。

ステップＳ８の後又はステップＳ６において店員音声認識モードがオンであると判定されなかった場合、音声注文入力処理部２４は、注文表変換処理を行う（Ｓ９）。ステップＳ９の注文表変換処理の詳細については、図６を参照して後述する。

ステップＳ９の後、音声注文入力処理部２４は、注文表修正処理を行う（Ｓ１０）。ステップＳ１０の注文表修正処理の詳細については、図９を参照して後述する。

ステップＳ１０の後、音声注文入力処理部２４は、音声認識結果表示処理を行う（Ｓ１１）。ステップＳ１１の音声認識結果表示処理の詳細については、図１１を参照して後述する。ステップＳ１１の後、図３に示す注文入力システム１００の処理はステップＳ２に戻る。

次に、本実施形態の注文入力システム１００における初期化処理の詳細について、図４を参照して説明する。図４は、本実施形態の注文入力システム１００の初期化処理の動作手順の一例を説明するフローチャートである。

図４において、店舗のメニュー表の内容の変更があると（Ｓ１−１、ＹＥＳ）、音声注文入力処理部２４は、例えば店員の入力装置３０を用いた操作によって入力された変更後のメニュー表の内容を項目毎に音声認識用辞書２６に反映して登録する（Ｓ１−２）。また、音声注文入力処理部２４は、例えば店員の入力装置３０を用いた操作によって、ステップＳ１−２に示す操作によって追加又は修正の対象となった各単語に新たなタグの情報を付与する（Ｓ１−３、図５参照）。ステップＳ１−３の後又はステップＳ１−１においてメニュー表の内容に変更がない場合には、図４に示す初期化処理は終了する。

次に、本実施形態の注文入力システム１００における注文表変換処理の詳細について、図６を参照して説明する。図６は、本実施形態の注文入力システム１００の注文表変換処理の動作手順の一例を説明するフローチャートである。

図６において、注文表変換部２４ｂは、メモリ５０に格納された注文客音声認識モードを示す情報を参照することで、注文客音声認識モードがオンであるか否かを判定する（Ｓ９−１）。注文表変換部２４ｂは、注文客音声認識モードがオンであると判定した場合には（Ｓ９−１、ＹＥＳ）、注文客音声認識結果リストから注文客発話音声に対する音声認識結果の第１候補を取り出し、第１候補に含まれる各単語のタグの情報を基に、注文客注文表リストを生成する（Ｓ９−２、図７参照）。

一方、注文客音声認識モードがオンではないと判定された場合には（Ｓ９−１、ＮＯ）、図６に示す注文表変換処理はステップＳ９−３に進む。

ステップＳ９−２の後、注文表変換部２４ｂは、メモリ５０に格納された店員音声認識モードを示す情報を参照することで、店員音声認識モードがオンであるか否かを判定する（Ｓ９−３）。注文表変換部２４ｂは、店員音声認識モードがオンであると判定した場合には（Ｓ９−３、ＹＥＳ）、店員音声認識結果リストから店員発話音声に対する音声認識結果の第１候補を取り出し、第１候補に含まれる各単語のタグの情報を基に、店員注文表リストを生成する（Ｓ９−４、図７参照）。

一方、店員音声認識モードがオンではないと判定された場合には（Ｓ９−３、ＮＯ）、図６に示す注文表変換処理はステップＳ９−７に進む。

ステップＳ９−４の後、注文表変換部２４ｂは、ステップＳ９−２において注文客注文表リストが生成されている場合であって、注文客注文表リストとステップＳ９−４において生成された店員注文表リストとを照合した結果、不整合箇所がある場合には、不整合箇所を強調して表示する（Ｓ９−５、図１４参照）。なお、不整合箇所が無い場合又はステップＳ９−１において注文客音声認識モードがオンではないと判定された場合には、注文表変換部２４ｂは、ステップＳ９−５の処理を省略する。

図１４は、注文客注文リストと店員注文リストとの間に不整合があった項目を強調表示する例を示す説明図である。図１４では注文客発話音声に対する音声認識結果の第１候補が「Burger medium fries and HotCoffee please」であって、店員発話音声に対する音声認識結果の第１候補が「CheeseBurger medium fries and HotCoffee please」であり、ステップＳ９−６において説明するように、注文客発話音声に対する音声認識結果の第１候補よりも店員発話音声に対する音声認識結果の第１候補が優先されて店員注文表リストの内容が注文内容の表示エリアＡＲ２に表示される。

注文表変換部２４ｂは、図１４に示すように、注文客注文表リストと店員注文表リストとの間に不整合箇所がある場合には、不整合箇所Ｅｒｐ１を強調して表示する。例えば、注文表変換部２４ｂは、不整合箇所Ｅｒｐ１を所定色で塗ったように表示したり、ブリンク（点滅）して表示させたりしても良い。

ステップＳ９−５の後、注文表変換部２４ｂは、ステップＳ９−４において生成された店員注文表リストの内容を、注文入力画面ＷＤ１の注文表表示エリアＷＤ２の注文内容の表示エリアＡＲ２に表示させる（Ｓ９−６）。特に、注文表変換部２４ｂは、ステップＳ９−２において注文客注文表リストが生成されていた場合でも、注文客注文表リストよりも店員注文表リストを優先して、店員注文表リストの内容を注文内容の表示エリアＡＲ２に表示させる。

一方、店員音声認識モードがオンではないと判定された場合には（Ｓ９−３、ＮＯ）、注文表変換部２４ｂは、ステップＳ９−２において注文客注文表リストが生成されていれば、注文客注文表リストの内容を、注文入力画面ＷＤ１の注文表表示エリアＷＤ２の注文内容の表示エリアＡＲ２に表示させる（Ｓ９−７）。なお、ステップＳ９−２において注文客注文表リストが生成されていない場合には、注文表変換部２４ｂは、注文客注文表リスト及び店員注文表リストのデータが欠如した空の内容を、注文入力画面ＷＤ１の注文表表示エリアＷＤ２の注文内容の表示エリアＡＲ２に表示させる（Ｓ９−７）。

ステップＳ９−６又はステップＳ９−７の後、図９に示す注文表変換処理は終了する。

次に、本実施形態の注文入力システム１００における注文表修正処理の詳細について、図８（Ａ）〜（Ｃ）及び図９を参照して説明する。図８（Ａ）〜（Ｃ）は、注文客注文表リスト又は店員注文表リストの項目毎の注文内容の修正の一例を示す説明図である。図９は、本実施形態の注文入力システム１００の注文表修正処理の動作手順の一例を説明するフローチャートである。

図９において、注文表変換部２４ｂは、店員の入力装置３０を用いた操作によって、注文表表示エリアＷＤ２の注文内容の表示エリアＡＲ２のいずれかの項目の音声認識結果がタッチ（クリックでも可。以下同様。）されたか否かを判定する（Ｓ１０−１）。注文表変換部２４ｂは、注文表表示エリアＷＤ２の注文内容の表示エリアＡＲ２のいずれかの項目の音声認識結果がタッチされたと判定した場合には（Ｓ１０−１、ＹＥＳ）、クリックによって選択された音声認識結果に対応する複数の選択候補を、選択された音声認識結果の周囲にリストのように表示させる（Ｓ１０−２、図８（Ａ）〜（Ｃ）参照）。

例えば図８（Ａ）に示すように、注文内容の表示エリアＡＲ２の単語「CheeseBurger」が店員の指ＦＧによりタッチされた場合には、注文表変換部２４ｂは、タグの情報が「Menu」である単語「CheeseBurger」に対応する複数の選択候補として、タグの情報が「Menu」である単語「CheeseBurger」、単語「Hamburger」、単語「Cheese」を、タッチされた単語「CheeseBurger」の周囲にリストのように表示させる。

また、例えば図８（Ｂ）に示すように、注文内容の表示エリアＡＲ２の単語「?」が店員の指ＦＧによりタッチされた場合には、注文表変換部２４ｂは、タグの情報が「Qty」である単語「?」に対応する複数の選択候補として、タグの情報が「Qty」である単語「1」、単語「2」、単語「3」、単語「4」、単語「5」を、タッチされた単語「?」の周囲にリストのように表示させる。

また、例えば図８（Ｃ）に示すように、注文内容の表示エリアＡＲ２の単語「M」が店員の指ＦＧによりタッチされた場合には、注文表変換部２４ｂは、タグの情報が「Size」である単語「M」に対応する複数の選択候補として、タグの情報が「Size」である単語「S」、単語「R」、単語「M」、単語「L」を、タッチされた単語「M」の周囲にリストのように表示させる。

ステップＳ１０−２の後、注文表変換部２４ｂは、ステップＳ１０−２においてプルダウン形式で表示された複数の選択候補の中からいずれかの単語が指定された場合に、ステップＳ１０−１で選択された単語を、プルダウン形式で表示された選択候補の中で指定された単語に置き換える（Ｓ１０−３）。

次に、本実施形態の注文入力システム１００における音声認識結果表示処理について、図１０及び図１１を参照して説明する。図１０は、注文客音声履歴の選択操作に応じた注文客の注文に関する音声の音声認識結果の他の候補の表示例を示す説明図である。図１１は、本実施形態の注文入力システム１００の音声認識結果表示処理の動作手順の一例を説明するフローチャートである。図１１の説明の前提として、注文客音声認識結果リストの第１候補（音声認識結果Ｒｇ１）が注文客音声履歴に表示され、店員音声認識結果リストの第１候補（音声認識結果Ｒｇ２）が店員音声履歴に表示されているとする。

図１１において、注文客音声履歴の音声認識結果Ｒｇ１の表示行がクリックされた場合には（Ｓ１１−１、ＹＥＳ）、注文表変換部２４ｂは、音声認識結果Ｒｇ１の他の所定候補数（例えば複数）の音声認識結果Ｒｇ１ａを、クリックされた音声認識結果Ｒｇ１の周囲にプルダウン形式で表示させる（Ｓ１１−２、図１０参照）。

例えば図１０では、注文表変換部２４ｂは、「CheeseBurger medium fries and Hot Coffee please」に対する所定候補数の他の音声認識結果Ｒｇ１ａとして、「CheeseBurger medium fries HotCoffee please」と「Hamberger medium fries and HotCoffee」とを、クリックされた「CheeseBurger medium fries and HotCoffee please」の周囲に表示させる。

ステップＳ１１−２の後、店員音声履歴の音声認識結果Ｒｇ２の表示行がクリックされた場合には（Ｓ１１−３、ＹＥＳ）、注文表変換部２４ｂは、音声認識結果Ｒｇ２の他の所定候補数（例えば複数）の音声認識結果を、クリックされた音声認識結果Ｒｇ２の周囲にプルダウン形式で表示させる（Ｓ１１−４）。

ステップＳ１１−１において注文客音声履歴の音声認識結果Ｒｇ１の表示行、ステップＳ１１−３において店員音声履歴の音声認識結果Ｒｇ２の表示行がクリックされない場合、又はステップＳ１１−４の後、図１１に示す音声認識結果表示処理は終了する。

次に、本実施形態の注文入力システム１００における注文客音声認識モード、店員音声認識モードのオン、オフの切り替えについて、図１２及び図１３を参照して説明する。図１２は、注文客音声認識モード、店員音声認識モードのオン、オフの切り替えを示す説明図である。図１３は、本実施形態の注文入力システム１００の注文客音声認識モード、店員音声認識モードのオン、オフの切り替えを説明するフローチャートである。

図１３において、図１２に示す注文客音声履歴ボタンＢｔ２が１回クリック（タッチも可。以下同様。）された場合には（Ｓ１２−１、ＹＥＳ）、音声注文入力処理部２４は、注文客音声認識モードがオンであればオフに切り替え、注文客音声認識モードがオフであればオンに切り替える（Ｓ１２−２）。

ステップＳ１２−２の後、図１２に示す店員音声履歴ボタンＢｔ３が１回クリックされた場合には（Ｓ１２−３、ＹＥＳ）、音声注文入力処理部２４は、店員音声認識モードがオンであればオフに切り替え、店員音声認識モードがオフであればオンに切り替える（Ｓ１２−４）。

言い換えると、図１２に示すように、例えば店員の指ＦＧにより注文客音声履歴ボタンＢｔ２又は店員音声履歴ボタンＢｔ３が押下される度に、トグルスイッチのように、注文客音声認識モード又は店員音声認識モードがオンとオフとを交互に切り替えられる。

なお、注文表表示画面ＷＤ２に、注文客音声認識モード又は店員音声認識モードの停止、再開のボタンを表示させ、音声注文入力処理部２４は、各ボタンの押下回数に応じてオンオフ（例えば奇数回ならオン、偶数回ならオフ）を切り替えても良い。また、注文表表示画面ＷＤ２への操作ではなく、店員が装着するヘッドセットＨｄｓに、注文客音声認識モード又は店員音声認識モードの停止、再開のボタンを設けて、店員に簡易に切り替えさせても良い。

以上により、本実施形態の注文入力システム１００は、注文客の注文内容に関する音声と、注文客の注文内容を確認するための店員の注文内容に関する音声（復唱音声）とを音声認識し、注文客の注文内容に関する音声の音声認識結果Ｒｇ１と、店員の注文内容に関する音声の音声認識結果Ｒｇ２とを含む、注文客の注文内容に関する注文入力画面ＷＤ１（注文データの表示画面）をディスプレイ装置４０に表示させる。

これにより、注文入力システム１００は、ドライブスルー等の騒がしい環境下における注文客の注文において、注文客が注文時に発した音声と店員が注文客の注文時に発した音声を復唱した音声との２系統の音声を用いて注文者の注文内容に関する注文入力画面ＷＤ１をディスプレイ装置４０において表示させるので、注文データの内容が間違える頻度を軽減することができ、更に、店員における注文内容の入力を効率化させることができ、業務に不慣れな店員であっても簡易に注文内容の入力を確認させることができる。

また、注文入力システム１００は、注文客の音声認識結果Ｒｇ１と店員の音声認識結果Ｒｇ２とのうち注文客の音声認識結果Ｒｇ１より店員の音声認識結果Ｒｇ２を優先して注文客の注文内容に関する注文入力画面ＷＤ１を生成するので、注文客の発した音声の内容を店員が復唱した音声の方が注文客の発した音声よりも音声認識結果の確度が高い点を考慮して、注文入力画面ＷＤ１の内容が間違える頻度を軽減することができる。

また、注文入力システム１００は、ディスプレイ装置４０に表示された注文入力画面ＷＤ１に対する所定の選択操作に応じて、注文客又は店員の注文内容に関する音声の音声認識処理を停止又は再開するので、注文客又は店員の注文内容に関する音声の音声認識処理の停止又は再開を簡易に切り替えることができるので、例えば店員が復唱する際に注文内容以外の音声を音声認識させないように店員の発する音声の音声認識を適切に止めたり再開したりすることができる。

また、注文入力システム１００は、注文客の音声認識結果Ｒｇ１と店員の音声認識結果Ｒｇ２とが整合しない場合に、注文客の注文内容に関する注文入力画面ＷＤ１において不整合の箇所を強調して表示するので、注文客の注文内容に関する注文入力画面ＷＤ１の不整合箇所を店員に対して分かり易く示すことができ、店員に対して正しい注文内容に修正させることができる。

また、注文入力システム１００は、ディスプレイ装置４０に表示された注文入力画面ＷＤ１に対する所定の選択操作に応じて、注文客の音声認識結果Ｒｇ１又は店員の音声認識結果Ｒｇ２の他の複数の音声認識結果の候補を、注文客の音声認識結果Ｒｇ１又は店員の音声認識結果Ｒｇ２の周囲に表示させるので、注文客の音声認識結果Ｒｇ１又は店員の音声認識結果Ｒｇ２が間違っていた場合でも、注文客の音声認識結果Ｒｇ１又は店員の音声認識結果Ｒｇ２を簡易に修正することができ、早口な注文客が注文内容を発した場合でも多くの注文内容が言われた場合でも、店員にとっては例えばメモ代わりや誤認識され易い用語（単語）の確認等に適宜参照することができるので店員の業務における利便性を向上することができる。

また、注文入力システム１００は、ディスプレイ装置４０に表示された注文入力画面ＷＤ１における所定の項目毎の注文内容に対する所定の選択操作に応じて、項目毎の注文内容の注文客の音声認識結果（例えば単語。以下同様。）又は店員の音声認識結果（例えば単語。以下同様。）の他の複数の選択候補を、注文客の音声認識結果又は店員の音声認識結果の周囲に表示させるので、注文入力画面ＷＤ１における項目毎の注文内容の注文客の音声認識結果又は店員の音声認識結果を他の複数の選択候補の中から簡易に選択して修正することができる。

最後に、本発明に係る注文入力システム及び注文入力方法の構成、作用、効果について説明する。

本発明の一実施形態は、第１の話者の注文内容に関する音声を収音する第１収音部と、前記第１収音部により収音された前記第１の話者の注文内容を確認するための第２の話者の前記注文内容に関する音声を収音する第２収音部と、前記第１収音部により収音された前記第１の話者の注文内容に関する音声と、前記第２収音部により収音された前記第２の話者の前記注文内容に関する音声とを音声認識する音声認識部と、前記第１の話者の注文内容に関する音声の第１音声認識結果と、前記第２の話者の前記注文内容に関する音声の第２音声認識結果とを含む、前記第１の話者の注文内容に関する注文データの表示画面を表示部に表示させる注文データ出力部と、を備える、注文入力システムである。

この構成によれば、注文入力システムは、第１の話者の注文内容に関する音声と、第１の話者の注文内容を確認するための第２の話者の注文内容に関する音声とを音声認識し、第１の話者の注文内容に関する音声の第１音声認識結果と、第２の話者の注文内容に関する音声の第２音声認識結果とを含む、第１の話者の注文内容に関する注文データの表示画面を表示部に表示させる。

これにより、注文入力システムは、ドライブスルー等の騒がしい環境下における注文客の注文において、注文客が注文時に発した音声と店員が注文客の注文時に発した音声を復唱した音声との２系統の音声を用いて注文者の注文内容に関する注文データの表示画面を表示部（例えばディスプレイ装置）において表示させるので、注文データの内容が間違える頻度を軽減することができ、更に、店員における注文内容の入力を効率化させることができ、業務に不慣れな店員であっても簡易に注文内容の入力を確認させることができる。

また、本発明の一実施形態は、前記注文データ出力部は、前記第１音声認識結果と前記第２音声認識結果とのうち、前記第１音声認識結果より前記第２音声認識結果を優先して、前記第１の話者の注文内容に関する注文データを生成する、注文入力システムである。

この構成によれば、注文入力システムは、第１音声認識結果と第２音声認識結果とのうち第１音声認識結果より第２音声認識結果を優先して第１の話者の注文内容に関する注文データを生成するので、注文客の発した音声の内容を店員が復唱した音声の方が注文客の発した音声よりも音声認識結果の確度が高い点を考慮して、注文データの内容が間違える頻度を軽減することができる。

また、本発明の一実施形態は、前記音声認識部は、前記表示部に表示された前記注文データの表示画面に対する所定の選択操作に応じて、前記第１の話者又は前記第２の話者の注文内容に関する音声の音声認識処理を停止又は再開する、注文入力システムである。

この構成によれば、注文入力システムは、表示部に表示された注文データの表示画面に対する所定の選択操作に応じて、第１の話者又は第２の話者の注文内容に関する音声の音声認識処理を停止又は再開するので、第１の話者又は第２の話者の注文内容に関する音声の音声認識処理の停止又は再開を簡易に切り替えることができるので、例えば店員が復唱する際に注文内容以外の音声を音声認識させないように店員の発する音声の音声認識を適切に止めたり再開したりすることができる。

また、本発明の一実施形態は、前記注文データ出力部は、前記第１音声認識結果と前記第２音声認識結果とが整合しない場合に、前記第１の話者の注文内容に関する注文データの表示画面において不整合箇所を強調表示する、注文入力システムである。

この構成によれば、注文入力システムは、第１音声認識結果と第２音声認識結果とが整合しない場合に、第１の話者の注文内容に関する注文データの表示画面において不整合の箇所を強調して表示するので、第１の話者の注文内容に関する注文データの表示画面の不整合箇所を店員に対して分かり易く示すことができ、店員に対して正しい注文内容に修正させることができる。

また、本発明の一実施形態は、前記注文データ出力部は、前記表示部に表示された前記注文データの表示画面に対する所定の選択操作に応じて、前記第１音声認識結果又は前記第２音声認識結果の他の複数の音声認識結果候補を、前記第１音声認識結果又は前記第２音声認識結果の周囲に表示させる、注文入力システムである。

この構成によれば、注文入力システムは、表示部に表示された注文データの表示画面に対する所定の選択操作に応じて、第１音声認識結果又は第２音声認識結果の他の複数の音声認識結果候補を、第１音声認識結果又は第２音声認識結果の周囲に表示させるので、第１音声認識結果又は第２音声認識結果が間違っていた場合でも、第１音声認識結果又は第２音声認識結果を簡易に修正することができ、早口な注文客が注文内容を発した場合でも多くの注文内容が言われた場合でも、店員にとっては例えばメモ代わりや誤認識され易い用語（単語）の確認等に適宜参照することができるので店員の業務における利便性を向上することができる。

また、本発明の一実施形態は、前記注文データ出力部は、前記表示部に表示された前記注文データの表示画面における所定の項目毎の注文内容に対する所定の選択操作に応じて、前記項目毎の注文内容の前記第１音声認識結果又は前記第２音声認識結果の他の複数の選択候補を、前記第１音声認識結果又は前記第２音声認識結果の周囲に表示させる、注文入力システムである。

この構成によれば、注文入力システムは、表示部に表示された注文データの表示画面における所定の項目毎の注文内容に対する所定の選択操作に応じて、項目毎の注文内容の第１音声認識結果又は第２音声認識結果の他の複数の選択候補を、第１音声認識結果又は第２音声認識結果の周囲に表示させるので、注文データの表示画面における項目毎の注文内容の第１音声認識結果又は第２音声認識結果を他の複数の選択候補の中から簡易に選択して修正することができる。

また、本発明の一実施形態は、第１収音部と第２収音部とを含む注文入力システムにおける注文入力方法であって、前記第１収音部において、第１の話者の注文内容に関する音声を収音するステップと、前記第２収音部において、前記第１収音部により収音された前記第１の話者の注文内容を確認するための第２の話者の前記注文内容に関する音声を収音するステップと、前記第１収音部により収音された前記第１の話者の注文内容に関する音声と、前記第２収音部により収音された前記第２の話者の前記注文内容に関する音声とを音声認識するステップと、前記第１の話者の注文内容に関する音声の第１音声認識結果と、前記第２の話者の前記注文内容に関する音声の第２音声認識結果とを含む、前記第１の話者の注文内容に関する注文データの表示画面を表示部に表示させるステップと、を有する、注文入力方法である。

この方法によれば、注文入力システムは、第１の話者の注文内容に関する音声と、第１の話者の注文内容を確認するための第２の話者の注文内容に関する音声とを音声認識し、第１の話者の注文内容に関する音声の第１音声認識結果と、第２の話者の注文内容に関する音声の第２音声認識結果とを含む、第１の話者の注文内容に関する注文データの表示画面を表示部に表示させる。

これにより、注文入力システムは、ドライブスルー等の騒がしい環境下における注文客の注文において、注文客が注文時に発した音声と店員が注文客の注文時に発した音声を復唱した音声との２系統の音声を用いて注文者の注文内容に関する注文データの表示画面を表示部（例えばディスプレイ装置）において表示させるので、注文データの内容が間違える頻度を軽減することができ、更に、店員における注文内容の入力を効率化させることができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、ドライブスルー等の騒がしい環境下における注文において、注文客の注文時に発した音声と店員の注文客が注文時に発した音声を復唱した音声との２系統の音声を用いて、注文内容の入力を効率化させる注文入力システム及び注文入力方法として有用である。

１０、５１０ 通話システム
２０、５２０ ＰＯＳシステム
２２ 通信部
２４ 音声注文入力処理部
２４ａ 音声認識部
２４ｂ 注文表変換部
２６ 音声認識用辞書
２８、５２８ 注文表生成部
３０、５３０ 入力装置
４０、５４０ ディスプレイ装置
５０、５５０ メモリ
Ｍｃ１ 注文客用マイク
Ｍｃ２ 店員用マイク
Ｓｐ１ 注文客用スピーカ
Ｓｐ２ 店員用スピーカ

Claims (7)

1. 屋外に設置され、第１の話者の音声を収音する第１収音部と、
   屋内に設置され、前記第１収音部により収音された前記第１の話者の音声を出力する音声出力部と、
   前記屋内に設置され、第２の話者の音声を収音する第２収音部と、
   前記第１収音部により収音された前記第１の話者の音声と、前記第２収音部により収音された前記第２の話者の音声とを音声認識する音声認識部と、
   前記第１収音部により収音された前記第１の話者の注文内容に関する音声の第１音声認識結果と、前記音声出力部による音声出力に基づいて前記第２の話者により発話され、かつ前記第２収音部により収音された前記第２の話者の前記注文内容に関する音声の第２音声認識結果とを含む、前記第１の話者の注文内容に関する注文データの表示画面を、前記屋内に設置された表示部に表示させる注文データ出力部と、を備える、
   注文入力システム。
2. 請求項１に記載の注文入力システムであって、
   前記注文データ出力部は、
   前記第１音声認識結果と前記第２音声認識結果とのうち、前記第１音声認識結果より前記第２音声認識結果を優先して、前記第１の話者の注文内容に関する注文データを生成する、
   注文入力システム。
3. 請求項１に記載の注文入力システムであって、
   前記音声認識部は、
   前記表示部に表示された前記注文データの表示画面に対する所定の選択操作に応じて、前記第１の話者又は前記第２の話者の注文内容に関する音声の音声認識処理を停止又は再開する、
   注文入力システム。
4. 請求項１に記載の注文入力システムであって、
   前記注文データ出力部は、
   前記第１音声認識結果と前記第２音声認識結果とが整合しない場合に、前記第１の話者の注文内容に関する注文データの表示画面において不整合箇所を強調表示する、
   注文入力システム。
5. 請求項１に記載の注文入力システムであって、
   前記注文データ出力部は、
   前記表示部に表示された前記注文データの表示画面に対する所定の選択操作に応じて、前記第１音声認識結果又は前記第２音声認識結果の他の複数の音声認識結果候補を、前記第１音声認識結果又は前記第２音声認識結果の周囲に表示させる、
   注文入力システム。
6. 請求項１から５のうちいずれか一項に記載の注文入力システムであって、
   前記注文データ出力部は、
   前記表示部に表示された前記注文データの表示画面における所定の項目毎の注文内容に対する所定の選択操作に応じて、前記項目毎の注文内容の前記第１音声認識結果又は前記第２音声認識結果の他の複数の選択候補を、前記第１音声認識結果又は前記第２音声認識結果の周囲に表示させる、
   注文入力システム。
7. 第１収音部と第２収音部とを含む注文入力システムにおける注文入力方法であって、
   屋外に設置された前記第１収音部において、第１の話者の音声を収音するステップと、
   屋内に設置された音声出力部において、前記第１収音部により収音された前記第１の話者の音声を出力するステップと、
   前記屋内に設置され、前記第２収音部において、第２の話者の音声を収音するステップと、
   前記第１収音部により収音された前記第１の話者の音声と、前記第２収音部により収音された前記第２の話者の音声とを音声認識するステップと、
   前記第１収音部により収音された前記第１の話者の注文内容に関する音声の第１音声認識結果と、前記音声出力部による音声出力に基づいて前記第２の話者により発話され、かつ前記第２収音部により収音された前記第２の話者の前記注文内容に関する音声の第２音声認識結果とを含む、前記第１の話者の注文内容に関する注文データの表示画面を、前記屋内に設置された表示部に表示させるステップと、を有する、
   注文入力方法。

Images