JP6477180B2 - 電子機器、オーダー管理システム、制御方法及びプログラム - Google Patents

Description

本発明は、電子機器、オーダー管理システム、制御方法及びプログラムに関する。

レストラン、居酒屋、カラオケ店などの店舗では、注文内容をハンディターミナルに入力し、入力された注文をハンディターミナルから注文管理装置に送信するオーダー管理システムが使用されている。オーダー管理システムにおいて、オーダー入力時に、注文内容とは別に、顧客を識別するために、テーブル番号、人数、客層、オーダーを入力した従業員の識別番号などの情報を入力する必要がある。
特許文献１には、関連する技術として、オーダー時に呼び出し装置から受信した呼出識別情報に対応するテーブル番号に基づいてオーダー入力画面を生成し、オーダー入力画面を介して入力されたオーダー内容に呼出識別情報のテーブル番号を関連付けてコントローラ装置に送信することで、テーブル番号の入力誤りを低減させることのできる技術が記載されている。
特許文献２には、関連する技術として、顧客特徴データと商品データと座席データとを入力し、関連付け操作により関連付けて記憶し表示することで、顧客と顧客が注文した商品との関連を接客係にひとめでわかるようにすることのできる技術が記載されている。

特開２０１１−１１３３８９号公報 特開２０１１−６５４５７号公報

ところで、オーダー管理システムにおいて、オーダー入力時に入力するテーブル番号、人数、客層、オーダーを入力した従業員の識別番号などの情報は、比較的入力ミスを起こしやすい。そして、入力ミスがあった場合、それらの情報は客の識別情報であるため、料理などの商品提供時のオペレーションやデータ分析等に、不都合が生じることになる。しかしながら、客の識別情報の入力ミスは、入力したタイミングでは気づくのが意外に難しい。
また、近年、１組の客からオーダーを受け付ける際に、その中の誰（どのような客層の人）がどのメニューを注文したかについての情報を取得し、取得した情報に基づいて客の嗜好性の分析が行われている。しかしながら、オーダー入力時にそのような情報を取得するためには、注文を受けた一つ一つのメニューに対して１組の客の中の誰が注文したのかを入力するための、メニューと客層の関連づけの操作を行う必要がある。そのため、ハンディターミナルの操作手順が複雑になり、オーダー入力を行う従業員の負担が大きくなっている。

そこで、この発明は、客の識別情報を容易に取得することができる電子機器、オーダー管理システム、制御方法及びプログラムを提供することを目的としている。

本発明の第１の態様によれば、電子機器は、撮影した映像に基づいてテーブル番号を特定するテーブル番号判定部と、撮影した映像に基づいて客の人数を特定する人数判定部と、撮影した映像に基づいて客層を特定する客層判定部と、を備える。

本発明の第２の態様によれば、上述の電子機器は、撮影した映像に基づいてオーダー入力を行う従業員を特定する従業員判定部、を備える。

本発明の第３の態様によれば、上述の電子機器は、撮影した映像に基づいてオーダー入力が新規であるか追加であるかを特定する新規／追加オーダー判定部、を備える。

本発明の第４の態様によれば、上述の電子機器は、撮影した映像に基づいてメニューを注文した注文者を特定する注文者判定部、を備える。

本発明の第５の態様によれば、上述の電子機器は、前記撮影した映像を表示する表示部と、オーダー入力時に客が注文したメニューを特定するメニュー入力部と、メニュー情報を作成し、記憶部に記録するオーダー入力部と、を備え、前記メニュー入力部は、前記撮影した映像において前記注文者判定部により特定された注文者の映像を前記表示部が識別可能に表示させた状態で、客が注文したメニューの特定を行い、前記オーダー入力部は、特定された前記メニューと前記注文者を識別する情報とを含むメニュー情報を作成し、記憶部に記憶する。

本発明の第６の態様によれば、上述の電子機器は、前記表示部は、前記撮影した映像における前記注文者の映像を選択可能に表示させ、前記注文者判定部は、前記メニューの特定に伴い、前記表示部において前記注文者の映像が選択された場合、当該選択された映像に基づき前記メニューの注文者を特定する。

本発明の第７の態様によれば、オーダー管理システムは、電子機器とオーダー管理装置とを備えるオーダー管理システムであって、前記電子機器は、撮影した映像に基づいてテーブル番号を特定するテーブル番号判定部と、撮影した映像に基づいて客の人数を特定する人数判定部と、撮影した映像に基づいて客層を特定する客層判定部と、を備え、前記オーダー管理装置は、前記電子機器が特定した、前記テーブル番号、前記客の人数、及び前記客層を管理する。

本発明の第８の態様によれば、制御方法において、テーブル番号判定部は、撮影した映像に基づいてテーブル番号を特定し、人数判定部は、撮影した映像に基づいて客の人数を特定し、客層判定部は、撮影した映像に基づいて客層を特定する。

本発明の第９の態様によれば、制御方法は、オーダー管理システムの制御方法であって、電子機器は、テーブル番号判定部は、撮影した映像に基づいてテーブル番号を特定し、人数判定部は、撮影した映像に基づいて客の人数を特定し、客層判定部は、撮影した映像に基づいて客層を特定し、オーダー管理装置は、前記電子機器が特定した前記テーブル番号、前記客の人数、及び前記客層を管理する。

本発明の第１０の態様によれば、プログラムは、コンピュータを、撮影した映像に基づいてテーブル番号を特定するテーブル番号判定手段、撮影した映像に基づいて客の人数を特定する人数判定手段、撮影した映像に基づいて客層を特定する客層判定手段、として機能させる。

本発明の実施形態による電子機器によれば、客の識別情報を容易に取得することができ、取得した客の識別情報に、当該客の注文したメニュー情報を簡単に関連付けることができる。

本発明の第一の実施形態によるオーダー管理システムの構成を示す図である。 本実施形態によるハンティターミナルの外観を示す第１の図である。 本実施形態によるハンティターミナルの外観を示す第２の図である。 本実施形態によるハンディターミナルの構成を示す図である。 本実施形態によるカメラが撮影する映像を示す図である。 本実施形態による記憶部が記憶するデータテーブルを示す第１の図である。 本実施形態による記憶部が記憶するデータテーブルを示す第２の図である。 本実施形態によるハンディターミナルの処理フローを示す第１の図である。 本実施形態によるハンディターミナルによるヘッダー入力画面のイメージを示す図である。 本実施形態におけるヘッダー情報を示す図である。 本実施形態によるハンディターミナルの処理フローを示す第２の図である。 本実施形態によるハンディターミナルの注文者特定時の表示画面を示す図である。 本実施形態によるハンディターミナルの注文者修正時の表示画面を示す図である。 本実施形態におけるメニュー情報を示す図である。 本実施形態によるハンディターミナルのオーダー入力画面を示す図である。 本実施形態によるハンディターミナルの処理フローを示す第３の図である。 本実施形態によるハンディターミナルの処理フローを示す第４の図である。 本実施形態によるハンディターミナルの処理フローを示す第５の図である。 本実施形態によるハンディターミナルの処理フローを示す第６の図である。 本実施形態によるハンディターミナルの処理フローを示す第７の図である。 本実施形態によるハンディターミナルの処理フローを示す第８の図である。 本実施形態によるハンディターミナルの従業員の笑顔評価時の表示画面を示す図である。

以下、図面を参照しながら実施形態について詳しく説明する。
＜第一の実施形態＞
まず、本発明の第一の実施形態によるオーダー管理システムの概要について説明する。
本発明の第一の実施形態によるオーダー管理システム１は、図１に示すように、ハンディターミナル１０（電子機器の１つ）と、オーダー管理装置２０と、出力装置３０と、を備える。
オーダー管理システム１において、オーダー入力時に、従業員は、ハンディターミナル１０を用いて客を撮影したり客の音声を録音する。すると、ハンディターミナル１０は、客を撮影したカメラ撮影情報や客の音声を録音した音声情報などの客の特徴を示す情報に基づいて、マニュアル入力なしにヘッダー情報を取得する。また、このとき、従業員は、ハンディターミナル１０を用いて自身の顔を撮影し、ヘッダー情報を取得する。なお、ヘッダー情報とは、新規オーダーであるか追加オーダーであるかを示すオーダー種別、テーブル番号、人数、客層、従業員コードなどの情報である。

ハンディターミナル１０は、取得したヘッダー情報を表示する。従業員は、ハンディターミナル１０に表示されたヘッダー情報を確認し、誤りがない場合にはそのままのヘッダー情報とし、また、誤りがある場合には、ヘッダー情報を修正する。
ハンディターミナル１０は、ヘッダー情報が確定すると、従業員の入力操作に基づいて、客の注文メニューを示すメニュー情報を特定する。ハンディターミナル１０は、ヘッダー情報とメニュー情報とを含むオーダー情報をオーダー管理装置２０に送信する。
オーダー管理装置２０は、ハンディターミナル１０からオーダー情報を受信すると、受信したオーダー情報に基づいて、各テーブルにおけるそれぞれのメニューの注文がどのような客層によって行われたかを管理する。

次に、ハンディターミナル１０の外観について説明する。
ハンディターミナル１０は、開閉可能な構造を有する。ハンディターミナル１０が開状態では、例えば図２に示すように、内側の左面上部にカメラ１０２とマイク２００とが配置されている。
また、ハンディターミナル１０が開状態では、例えば、内側の左全面にタッチパネル３０１と表示部５００とが重なるように配置されている。また、また、ハンディターミナル１０が開状態では、例えば、内側の右全面に固定キー部３０２が配置されている。
また、ハンディターミナル１０が閉状態では、内側の左右の面同士が対面している。ハンディターミナル１０の外側の面には、図３に示すように、カメラ１０１が配置されている。

次に、本発明の第一の実施形態によるハンディターミナル１０の構成について説明する。
ハンディターミナル１０は、図４に示すように、カメラ機能部１００と、マイク２００と、データ入力部３００と、通信部４００と、表示部５００と、記憶部６００と、オーダー入力部７００と、を備える。

カメラ機能部１００は、２つのカメラ１０１、１０２を備える。
カメラ１０１は、図３で示したように、ハンディターミナル１０の外側に備えられたカメラである。例えば、カメラ１０１は、オーダー入力時に、図５に示すような、客の顔ａ、テーブル番号ｂ、客の容姿ｃ、料理ｄ、椅子ｅ、壁紙ｆなどを含むテーブル周辺を撮影する。カメラ１０１は、複数の客の顔を検出した場合、それぞれの顔に対して客識別フラグＡ、Ｂ、Ｃ、・・・を付与する。
カメラ１０１は、撮影した映像データをオーダー入力部７００に出力する。オーダー入力部７００は、入力した映像データを記憶部６００が備えるオーダー映像記憶部６０２に記録する。なお、本発明の実施形態において、映像は一コマの映像、すなわち静止画像を含む。
なお、カメラ１０１は、魚眼レンズを備えるものであってよい。カメラ１０１は、魚眼レンズを備える場合、従業員が客に接近した場合であっても対象となるテーブルのすべての客の顔映像を撮影することができる。
カメラ１０２は、図２で示したように、ハンディターミナル１０を開いた場合に、ハンディターミナル１０の内側、すなわち、データ入力部３００の存在する側に備えられたカメラである。例えば、カメラ１０２は、従業員の顔を撮影する。
カメラ１０２は、撮影した情報をオーダー入力部７００に出力する。

マイク２００は、周囲の音を取得する。例えば、マイク２００は、客がオーダーをするときの音声を取得する。
マイク２００は、取得した音情報をオーダー入力部７００に出力する。

データ入力部３００は、タッチパネル３０１と、固定キー部３０２と、を備える。
タッチパネル３０１は、自身へのタッチ入力操作を検出し、その検出に応じた入力操作信号をオーダー入力部７００に出力する。
固定キー部３０２は、自身への押下入力操作を検出し、その検出に応じた入力操作信号をオーダー入力部７００に出力する。

通信部４００は、オーダー管理装置２０と通信を行う。
表示部５００は、ハンディターミナル１０の処理に必要な種々の情報を表示する。例えば、表示部５００は、撮影した映像を表示する。また、例えば、表示部５００は、撮影した映像における注文者の映像を選択可能に表示する。
記憶部６００は、ハンディターミナル１０が行う処理に必要な種々の情報を記憶する。記憶部６００は、オーダーデータ記憶部６０１と、オーダー映像記憶部６０２と、従業員映像データ記憶部６０３と、メニューマスターデータ記憶部６０４と、テーブル映像データ記憶部６０５と、を備える。

オーダーデータ記憶部６０１は、通信部４００を介してオーダー管理装置２０に送信したオーダー情報を記憶する。
オーダー映像記憶部６０２は、オーダー入力時にカメラ機能部１００が撮影した映像を記憶する。例えば、オーダー映像記憶部６０２は、図６に示すような、データテーブルＴＢＬ１を記憶する。例えば、データテーブルＴＢＬ１は、テーブル番号、伝票、人数、映像データ、客識別フラグに関する情報を含んでおり、それぞれのテーブル番号に伝票、人数、映像データ、客識別フラグのそれぞれが関連付けられてオーダー映像記憶部６０２に記憶されている。また、伝票における伝票番号は、ハンディターミナル１０がオーダーをオーダー管理装置２０に送信し、オーダー管理装置２０が採番し、採番した番号をハンディターミナル１０に送信したのちに記憶される。また、映像データは、テーブル番号に対応する領域におけるそれぞれの客の顔映像に客識別フラグが関連付けられている。

従業員映像データ記憶部６０３は、各従業員に対して、従業員の顔映像とその授業員の従業員コードとを関連付けて記憶する従業員データベースＤＢ１である。例えば、従業員データベースＤＢ１は、図７に示す、データテーブルＴＢＬ２を記憶している。例えば、データテーブルＴＢＬ２は、従業員コード、従業員コードに対応する顔映像、担当者名、特徴点を示す分析属性で構成されており、従業員コードに顔映像、担当者名、分析属性のそれぞれが関連付けられて従業員映像データ記憶部６０３に記憶されている。

メニューマスターデータ記憶部６０４は、各メニューの商品名、商品単価、商品説明、商品映像などを記憶するメニューデータベースＤＢ２である。また、メニューマスターデータ記憶部６０４は、商品名を発声したときの音声データ及び商品名を発声したときの口の動きのデータを記憶するメニューデータベースＤＢ２であってよい。
テーブル映像データ記憶部６０５は、各テーブルの形状、色、テーブルの背景の壁紙、座席の形状、座席数などの情報を含むテーブル映像データと、各テーブルに対応するテーブル番号とを関連付けて記憶するテーブルマスターデータベースＤＢ３である。

オーダー入力部７００は、メニュー情報を作成し、記憶部６００に記録する。オーダー入力部７００は、特定されたメニューと注文者を識別する情報とを含むメニュー情報を作成し、記憶部６００に記憶する。オーダー入力部７００は、ヘッダー入力部７０１と、明細入力部７０２と、を備える。
ヘッダー入力部７０１は、従業員判定部７１１と、新規／追加オーダー判定部７１２と、テーブル番号判定部７１３と、人数判定部７１４と、客層判定部７１５と、を備える。
明細入力部７０２は、メニュー入力部７２１と、注文者判定部７２２と、を備える。

従業員判定部７１１は、撮影した映像に基づいてオーダー入力を行う従業員を特定する。例えば、従業員判定部７１１は、オーダー入力時にカメラ１０２が撮影した従業員の顔映像と、従業員データベースＤＢ１におけるそれぞれの従業員の顔映像とを比較する。従業員判定部７１１は、従業員データベースＤＢ１における従業員の顔映像のうち一致した顔映像に関連付けられている従業員コードの従業員をオーダー入力を行う従業員と特定する。なお、従業員判定部７１１がオーダー入力を行う従業員を特定する方法は、上述の方法に限定するものではない。従業員判定部７１１がオーダー入力を行う従業員を特定する方法は、別の方法であってもよいし、複数の方法を組み合わせて総合的に判断するものであってもよい。

新規／追加オーダー判定部７１２は、撮影した映像に基づいてオーダー入力が新規であるか追加であるかを特定する。新規／追加オーダー判定部７１２は、オーダー入力時にそのオーダーが新規オーダーであるか、追加オーダーであるかを特定する。例えば、新規／追加オーダー判定部７１２は、最初のオーダー入力時に新規オーダーであると判定した時にカメラ１０１が撮影しオーダー管理装置２０に記録された客の顔映像と、今回のオーダー入力時にカメラ１０１が撮影した客の顔映像とを比較する。新規／追加オーダー判定部７１２は、顔映像が一致すると判定した人物が存在しない場合、新規オーダーであると判定する。この場合、新規／追加オーダー判定部７１２は、オーダー情報に新規オーダーであることを示す識別フラグを付加する。また、新規／追加オーダー判定部７１２は、顔映像が一致すると判定した人物が存在する場合、追加オーダーであると判定する。この場合、新規／追加オーダー判定部７１２は、オーダー情報に追加オーダーであることを示す識別フラグを付加する。比較する客の顔映像は、当該テーブルの新規オーダーに限定してもよいし、また、当該テーブルにかかわらず、会計が完了していないすべての新規オーダーを対象としてもよい。なお、新規／追加オーダー判定部７１２がオーダー入力時にそのオーダーが新規オーダーであるか、追加オーダーであるかを特定する方法は、上述の方法に限定するものではない。新規／追加オーダー判定部７１２がオーダー入力時にそのオーダーが新規オーダーであるか、追加オーダーであるかを特定する方法は、別の方法であってもよいし、複数の方法を組み合わせて総合的に判断するものであってもよい。
なお、オーダー管理装置２０に記録されている客の顔映像は、伝票番号で会計伝票にリンクしており、その会計伝票による会計が完了すると削除されるものであってよい。

テーブル番号判定部７１３は、撮影した映像に基づいてテーブル番号を特定する。テーブル番号判定部７１３は、オーダー入力時にオーダー入力の対象となるテーブルのテーブル番号を特定する。例えば、カメラ１０１は、オーダー入力時にテーブルに備え付けたプレートに記載されたテーブル番号を撮影する。テーブル番号判定部７１３は、カメラ１０１が撮影した映像を解析して映像内に含まれる数字を特定することによりテーブル番号を特定する。また、例えば、カメラ１０１は、オーダー入力時にテーブル、座席、背景の壁紙を含むテーブル映像を撮影する。テーブル番号判定部７１３は、カメラ１０１が撮影したテーブル映像のデータと、テーブルマスターデータベースＤＢ３におけるそれぞれのテーブル映像データとを比較する。テーブル番号判定部７１３は、テーブルマスターデータベースＤＢ３における一致したテーブル映像データに対応するテーブル番号をオーダー入力時にオーダー入力の対象となるテーブルのテーブル番号と特定する。なお、テーブル番号判定部７１３がオーダー入力時にオーダー入力する対象となるテーブルのテーブル番号を特定する方法は、上述の方法に限定するものではない。テーブル番号判定部７１３がオーダー入力時にオーダー入力する対象となるテーブルのテーブル番号を特定する方法は、別の方法であってもよいし、複数の方法を組み合わせて総合的に判断するものであってもよい。

人数判定部７１４は、撮影した映像に基づいて客の人数を特定する。人数判定部７１４は、オーダー入力時にオーダー入力の対象となるテーブルにおける客の人数を特定する。例えば、カメラ１０１は、オーダー入力時にオーダー入力の対象となるテーブルにおけるすべての客を同時に撮影する。人数判定部７１４は、カメラ１０１が撮影した映像を解析して映像内に含まれる顔を特定し、顔の数をカウントすることにより客の人数を特定する。なお、人数判定部７１４がオーダー入力時にオーダー入力の対象となるテーブルにおける客の人数を特定する方法は、上述の方法に限定するものではない。人数判定部７１４がオーダー入力時にオーダー入力の対象となるテーブルにおける客の人数を特定する方法は、別の方法であってもよいし、複数の方法を組み合わせて総合的に判断するものであってもよい。

客層判定部７１５は、撮影した映像に基づいて客層を特定する。客層判定部７１５は、それぞれの客の性別と年齢を推定する。例えば、客層判定部７１５は、オーダー入力時にカメラ１０１が撮影した客の顔映像における複数の特徴点（例えば、しわ、髪の長さ、顔における目の位置など）を抽出し、抽出した特徴点を所定のアルゴリズムに投入することにより性別と年齢を特定する。また、例えば、客層判定部７１５は、オーダー入力時にマイク２００が取得した客の音声データを解析し、音声に含まれる声の成分がどのような性質であるかに基づいて性別や年齢を推定する。なお、客層判定部７１５がそれぞれの客の性別と年齢を推定する方法は、上述の方法に限定するものではない。客層判定部７１５がそれぞれの客の性別と年齢を推定する方法は、別の方法であってもよいし、複数の方法を組み合わせて総合的に判断するものであってもよい。

また、客層判定部７１５は、人数判定部７１４が特定した客の人数に応じて、推定した性別と年齢の結果に基づいて、それぞれの客の間柄を推定する。例えば、客層判定部７１５は、人数判定部７１４が特定した客の人数が１人である場合、性別と年齢を推定する。また、例えば、客層判定部７１５は、人数判定部７１４が特定した客の人数が２人である場合、それぞれの性別と年齢を推定する。そして、客層判定部７１５は、推定したそれぞれの性別と年齢に基づいて、親子、男性ペア、女性ペア、カップルの何れであるかを推定する。また、例えば、客層判定部７１５は、人数判定部７１４が特定した客の人数が３人以上である場合、それぞれの性別と年齢を推定する。そして、客層判定部７１５は、推定したそれぞれの性別と年齢に基づいて、親子、男性グループ、女性グループ、混合グループの何れであるかを推定する。

例えば、客層判定部７１５は、人数判定部７１４が特定した客の人数が１人である場合、性別と年齢を推定する。
また、例えば、客層判定部７１５は、人数判定部７１４が特定した客の人数が２人である場合、それぞれの性別と年齢を推定する。そして、客層判定部７１５は、推定したそれぞれの性別と年齢に基づいて、親子、男性ペア、女性ペア、カップルの何れであるかを推定する。客層判定部７１５は、例えば、２人の年齢差が２０歳以上である場合に親子であると判定する。客層判定部７１５は、２人の年齢差が２０歳未満であり、２人の性別が男性である場合に男性ペアであると判定する。客層判定部７１５は、２人の年齢差が２０歳未満であり、２人の性別が女性である場合に女性ペアであると判定する。客層判定部７１５は、２人の年齢差が２０歳未満であり、２人のうちの１人の性別が女性であり、もう１人の性別が男性である場合にカップルであると判定する。

また、例えば、客層判定部７１５は、人数判定部７１４が特定した客の人数が３人以上である場合、それぞれの性別と年齢を推定する。そして、客層判定部７１５は、推定したそれぞれの性別と年齢に基づいて、親子、男性グループ、女性グループ、混合グループの何れであるかを推定する。客層判定部７１５は、例えば、３人以上の客から２人の客を組み合わせるすべての組み合わせに対して年齢差が２０歳以上であるか否かを判定する。そして、客層判定部７１５は、年齢差が２０歳以上であるとなる組み合わせが１つまたは２つである場合、親子であると判定する。また、客層判定部７１５は、年齢差が２０歳以上であるとなる組み合わせが３つ以上でかつその組み合わせにおける年上の人物が２人以下である場合、親子であると判定する。客層判定部７１５は、それ以外を親子ではないと判定する。客層判定部７１５は、親子ではないと判定した３人以上の客のグループのうち、客のすべての性別が男性であるグループを男性グループと判定する。客層判定部７１５は、親子ではないと判定した３人以上の客のグループのうち、客のすべての性別が女性であるグループを女性グループと判定する。客層判定部７１５は、それ以外を混合グループであると判定する。

メニュー入力部７２１は、オーダー入力時に客が注文したメニューを特定する。メニュー入力部７２１は、撮影した映像において注文者判定部７２２により特定された注文者の、映像を識別可能に表示部５００が表示させた状態で、客が注文したメニューの特定を行う。また、メニュー入力部７２１は、オーダー入力時に客が注文したメニューの数量を特定する。
例えば、メニュー入力部７２１は、オーダー入力時に従業員が客の注文したメニューの入力操作をデータ入力部３００に対して行ったときに出力する注文したメニューを示す情報を含む信号に基づいてメニューを特定する。

また、例えば、メニュー入力部７２１は、オーダー入力時にカメラ１０１が撮影した客の顔映像における口の動きを解析し、データ化する。メニュー入力部７２１は、データ化したオーダー入力時の客の口の動きのデータと、メニューデータベースＤＢ２におけるそれぞれの口の動きのデータとを比較する。メニュー入力部７２１は、メニューデータベースＤＢ２における口の動きのデータのうち一致した口の動きのデータに対応するメニューを客が注文したメニューと特定する。

また、例えば、メニュー入力部７２１は、オーダー入力時にマイク２００が取得した客の音声を解析し、データ化する。メニュー入力部７２１は、データ化したオーダー入力時の客の音声データと、メニューデータベースＤＢ２におけるそれぞれの音声データとを比較する。メニュー入力部７２１は、メニューデータベースＤＢ２における音声データのうち一致した音声データに対応するメニューを客が注文したメニューと特定する。
なお、メニュー入力部７２１がオーダー入力時に客の注文したメニューを特定する方法は、上述の方法に限定するものではない。メニュー入力部７２１がオーダー入力時に客の注文したメニューを特定する方法は、別の方法であってもよいし、複数の方法を組み合わせて総合的に判断するものであってもよい。

注文者判定部７２２は、撮影した映像に基づいて、メニューを注文した注文者を特定する。注文者判定部７２２は、オーダー入力時に注文したメニューがどの客によるものであるかを特定する。例えば、注文者判定部７２２は、オーダー入力時にカメラ１０１が撮影した客の顔映像における口の動きを解析し、従業員がデータ入力部３００を介してオーダー入力を行ったタイミングの直前に口が動いていた客をメニューを注文した客と特定する。
また、注文者判定部７２２は、メニューの特定に伴い、表示部５００において注文者の映像が選択された場合、当該選択された映像に基づきメニューの注文者を特定する。

また、例えば、注文者判定部７２２は、オーダー入力時にカメラ１０１が撮影した客の顔映像における口の動きを解析し、データ化する。注文者判定部７２２は、データ化したオーダー入力時の客の口の動きのデータと、メニューデータベースＤＢ２におけるそれぞれの口の動きのデータとを比較する。注文者判定部７２２は、メニューデータベースＤＢ２における口の動きのデータのうち一致した口の動きのデータに対応するメニューを客が注文したと特定する。

また、例えば、注文者判定部７２２は、オーダー入力時にマイク２００が取得した客の音声を解析し、データ化する。注文者判定部７２２は、データ化したオーダー入力時の客の音声データと、メニューデータベースＤＢ２におけるそれぞれの音声データとを比較する。注文者判定部７２２は、メニューデータベースＤＢ２における音声データのうち一致した音声データに対応するメニューを客が注文したと特定する。そして、注文者判定部７２２は、その音声データを解析し、音声に含まれる声の成分がどのような性質であるかに基づいて性別と年齢を推定する。また、注文者判定部７２２は、オーダー入力時にカメラ１０１が撮影した客の顔映像における複数の特徴点（例えば、しわ、髪の長さ、顔における目の位置など）を抽出し、抽出した特徴点を所定のアルゴリズムに投入することにより性別と年齢を特定する。または、客層判定部７１５が判定した性別と年齢を使用する。注文者判定部７２２は、音声データに基づいて推定した性別と年齢に一致する顔映像の客を、当該メニューの注文者であると特定する。

次に、ハンディターミナル１０が行う処理について説明する。
まず、図８に示すハンディターミナル１０が行うヘッダー情報を特定する処理フローについて説明する。
客が店舗に来店しテーブルに着くと、従業員はハンディターミナル１０を携帯してオーダーをとりに客のテーブルまで移動する。従業員は、オーダー入力を開始する。従業員は、ヘッダー情報を取得するために、まず、ハンディターミナル１０が備えるデータ入力部３００に対して、テーブルや客を撮影する入力操作を行う。

データ入力部３００は、従業員による入力操作に応じた撮影指示信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００から撮影指示信号を入力すると、入力した撮影指示信号に応じて、カメラ１０１による撮影を指示する撮影指示信号をカメラ機能部１００に出力する。

カメラ機能部１００が備えるカメラ１０１は、オーダー入力部７００から撮影指示信号を入力すると、入力した撮影指示信号に応じて、テーブルと客を撮影する（ステップＳ１）。例えば、カメラ１０１は、図５で示したような客の顔、テーブル番号を含むテーブル周辺を撮影する。
カメラ１０１は、撮影した映像データをオーダー入力部７００に出力する。

オーダー入力部７００が備えるテーブル番号判定部７１３は、カメラ１０１から映像データを入力すると、入力した映像データに基づいて、オーダー入力の対象となるテーブルのテーブル番号を特定する（ステップＳ２）。例えば、テーブル番号判定部７１３は、カメラ１０１から入力した図５で示した映像の映像データを解析して、映像内に含まれる数字“１２”を特定することによりテーブル番号をテーブル番号１２と特定する。

新規／追加オーダー判定部７１２は、テーブル番号判定部７１３がテーブル番号を特定すると、オーダー入力が新規オーダーであるか、追加オーダーであるかを特定する（ステップＳ３）。例えば、新規／追加オーダー判定部７１２は、最初のオーダー入力時に新規オーダーであると判定した時にカメラ１０１が撮影した客の顔映像と、今回のオーダー入力時にカメラ１０１が撮影した客のテーブル番号から特定した顔映像とを比較する。

新規／追加オーダー判定部７１２は、対応するテーブル番号の映像が記憶されていない場合や顔映像が一致すると判定した人物が存在しない場合には、新規オーダーであると判定し（ステップＳ３、新規）、オーダー情報に新規オーダーであることを示す識別フラグを付加する。
また、新規／追加オーダー判定部７１２は、顔映像が一致すると判定した人物が存在する場合には、追加オーダーであると判定し（ステップＳ３、追加）、ステップＳ４〜ステップＳ１０の処理を行わずに後述するステップＳ１１の処理に進める。
なお、新規／追加オーダー判定部７１２が行う新規オーダーであるか追加オーダーであるかを特定する処理の詳細は、後述する。

人数判定部７１４は、オーダー入力が新規オーダーであるか追加オーダーであるかを新規／追加オーダー判定部７１２が特定すると、オーダー入力の対象となるテーブルにおける客の人数を特定する。例えば、人数判定部７１４は、オーダー入力時にカメラ１０１が撮影した映像を解析して映像内に含まれる顔の総数Ｓを特定する（ステップＳ４）。人数判定部７１４は、顔の数Ｎの初期値を０に設定する（ステップＳ５）。人数判定部７１４は、顔の数を１カウントするとＮに１を加える（ステップＳ６）。人数判定部７１４は、ステップＳ６の処理によりカウントした顔に対して客識別フラグを付与する（ステップＳ７）。なお、客識別フラグは、顔の数Ｎが１増加する度にＡ、Ｂ、Ｃ、・・・とアルファベット順に変化する。

客層判定部７１５は、人数判定部７１４が顔の数を１カウントする（Ｎに１を加える）と、Ｎ番目の客の客層（性別と年齢）を特定する（ステップＳ８）。例えば、客層判定部７１５は、カメラ１０１が撮影した映像データに含まれるＮ番目の客の顔映像における複数の特徴点（例えば、しわ、髪の長さ、顔における目の位置など）を抽出し、抽出した特徴点を所定のアルゴリズムに投入することにより性別と年齢を特定する。
そして、客層判定部７１５は、人数判定部７１４がカウントした顔の数ＮがステップＳ４の処理により特定した顔の総数Ｓよりも小さいか否かを判定する（ステップＳ９）。
客層判定部７１５は、人数判定部７１４がカウントした顔の数Ｎが顔の総数Ｓよりも小さいと判定した場合（ステップＳ９、ＹＥＳ）、ステップＳ６の処理に戻す。

また、客層判定部７１５は、人数判定部７１４がカウントした顔の数Ｎが顔の総数Ｓよりも小さくはないと判定した場合（ステップＳ９、ＮＯ）、つまり、写っているすべての人の性別と年齢を特定すると、顔の総数Ｓ、すなわち、客の総数に応じて、グループの客層（それぞれの客の間柄）を推定する（ステップＳ１０）。
なお、客層判定部７１５が行うグループの客層を推定する処理の詳細は、後述する。

新規／追加オーダー判定部７１２がステップＳ３の処理によりオーダー入力が追加オーダーであると判定する、または、客層判定部７１５がステップＳ１０の処理によりグループの客層を推定すると、オーダー入力部７００は、カメラ１０２による撮影を指示する撮影指示信号をカメラ機能部１００に出力する。

カメラ機能部１００が備えるカメラ１０２は、オーダー入力部７００から撮影指示信号を入力すると、入力した撮影指示信号に応じて、従業員を撮影する（ステップＳ１１）。カメラ１０２は、撮影した映像データをオーダー入力部７００に出力する。

オーダー入力部７００が備える従業員判定部７１１は、カメラ１０２から映像データを入力すると、入力した映像データに基づいて、オーダー入力を行う従業員を特定する（ステップＳ１２）。例えば、従業員判定部７１１は、カメラ１０２が撮影した従業員の顔映像と、従業員データベースＤＢ１におけるそれぞれの従業員の顔映像とを比較する。従業員判定部７１１は、従業員データベースＤＢ１における従業員の顔映像のうち一致した顔映像に関連付けられている従業員コードの従業員をオーダー入力を行う従業員と特定する。
なお、従業員判定部７１１が行うオーダー入力を行う従業員を特定する処理の詳細は、後述する。
上述のステップＳ１〜ステップＳ１２の処理がハンディターミナル１０がヘッダー情報を取得する処理である。
なお、ヘッダー入力画面のイメージは、図９に示す画面である。例えば、図９に示すヘッダー入力画面では、テーブル番号Ａ１０のテーブルにおいて、４人の客の顔映像を認識し、客Ａは３０歳代の女性、客Ｂは１０歳未満の女性、客Ｃは１０歳未満の男性、客Ｄは３０歳代の男性であると特定する。また、客層は家族連れであり、オーダー入力を行った従業員は○山□子である。

従業員判定部７１１がステップＳ１１の処理によりオーダー入力を行う従業員を特定すると、オーダー入力部７００は、ステップＳ１〜ステップＳ１２の処理により取得したヘッダー情報を表示部５００に表示させる制御を行う。そして、オーダー入力部７００は、ヘッダー情報の修正の有無を確認する表示を表示部５００にさせる制御を行う。そして、オーダー入力部７００は、従業員によるデータ入力部３００に対する入力操作に基づいて、ヘッダー情報の修正があるか否かを判定する（ステップＳ１３）。

従業員がヘッダー情報の修正があることを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じてヘッダー情報の修正があることを示す信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００からヘッダー情報の修正があることを示す信号を入力すると、入力した信号に基づいて、ヘッダー情報の修正があると判定する（ステップＳ１３、ＹＥＳ）。そして、オーダー入力部７００は、表示部５００が表示するヘッダー情報をデータ入力部３００を介して修正可能な状態とする画面を表示させる制御を行う。
従業員がヘッダー情報の修正を示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じてヘッダー情報の修正を示す信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００からヘッダー情報の修正を示す信号を入力すると、入力した信号に基づいて、ヘッダー情報の修正を行う（ステップＳ１４）。

また、オーダー入力部７００は、データ入力部３００からヘッダー情報の修正がないことを示す信号を入力すると、入力した信号に基づいて、ヘッダー情報の修正がないと判定する（ステップＳ１３、ＮＯ）。そして、オーダー入力部７００は、ステップＳ１４の処理を行わずに、次に述べるステップＳ１５の処理に進める。
オーダー入力部７００は、ヘッダー情報を作成する。オーダー入力部７００は、ヘッダー情報を記憶部６００に記録する。例えば、ヘッダー情報は、図１０に示すように、伝票番号、テーブル番号、オーダー種別、会計人数、客層、従業員コード、それぞれの客の客識別フラグ、性別、年齢を含む情報である。なお、オーダー種別は、例えば、０である場合に新規、１である場合に追加であるものと決めておく。

次に、図１１に示すハンディターミナル１０が行うメニュー情報を特定する処理フローについて説明する。
オーダー入力部７００がステップＳ１３の処理によりヘッダー情報の修正がないと判定すると、オーダー入力部７００が備える注文者判定部７２２は、マイク２００から客の音声データを取得でき、カメラ１０１から客の顔の映像データを取得できる状態となる。

従業員が客のオーダーを聞きそのオーダーを入力する入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じたメニューとその数量を示すメニュー信号をオーダー入力部７００に出力する。
オーダー入力部７００が備えるメニュー入力部７２１は、データ入力部３００からメニュー信号を入力すると、入力したメニュー信号に基づいて、メニューとその数量を特定する（ステップＳ１５）。

注文者判定部７２２は、従業員が客のオーダーを聞きステップＳ１５の処理を行う際に、客の音声データと客の顔映像データを取得している。注文者判定部７２２は、メニュー入力部７２１がメニューを特定すると、取得した客の音声データと客の顔映像データに基づいて、メニュー入力部７２１が特定したメニューを注文した客を特定する（ステップＳ１６）。例えば、注文者判定部７２２は、カメラ１０１が撮影した客の顔映像における口の動きを解析し、従業員がデータ入力部３００を介してオーダー入力を行ったタイミングの直前に口が動いていた客をメニューを注文した客と特定する。

また、例えば、注文者判定部７２２は、ステップＳ１５の処理を行う際にカメラ１０１が撮影した客の顔映像における口の動きを解析し、データ化する。注文者判定部７２２は、データ化したオーダー入力時の客の口の動きのデータと、メニューデータベースＤＢ２におけるそれぞれの口の動きのデータとを比較する。注文者判定部７２２は、メニューデータベースＤＢ２における口の動きのデータのうち一致した口の動きのデータに対応するメニューを客が注文したと特定する。

また、例えば、注文者判定部７２２は、ステップＳ１５の処理を行う際にマイク２００が取得した客の音声を解析し、データ化する。注文者判定部７２２は、データ化した客の音声データと、メニューデータベースＤＢ２におけるそれぞれの音声データとを比較する。注文者判定部７２２は、メニューデータベースＤＢ２における音声データのうち一致した音声データに対応するメニューを客が注文したと特定する。そして、注文者判定部７２２は、その音声データを解析し、音声に含まれる声の成分がどのような性質であるかに基づいて性別と年齢を推定する。また、注文者判定部７２２は、オーダー入力時にカメラ１０１が撮影した客の顔映像における複数の特徴点（例えば、しわ、髪の長さ、顔における目の位置など）を抽出し、抽出した特徴点を所定のアルゴリズムに投入することにより性別と年齢を特定する。または、客層判定部７１５が判定した性別と年齢を使用する。注文者判定部７２２は、音声データに基づいて推定した性別と年齢に一致する顔映像の客を特定する。
なお、注文者が特定された場合のハンディターミナル１０の表示画面は、図１２のような画面である。例えば、図１２に示す表示画面では、顔認識のマークが強調されている客Ｄが注文者として検出されている。

ただし、注文者判定部７２２は、例えば、客が全員マスクをしているなどの理由により、口の動きを特定できなかったことを示すゼロ信号を生成する。
注文者判定部７２２は、客を特定できたか否かを判定する（ステップＳ１７）。
注文者判定部７２２は、客を特定できなかったと判定した場合（ステップＳ１７、ＮＯ）、客のオーダー時に取得した客の顔の映像データにおいて、映像の中央に最も近い客を注文した客として設定する（ステップＳ１８）。
また、注文者判定部７２２は、客を特定できたと判定した場合（ステップＳ１７、ＹＥＳ）、ステップＳ１８の処理を行わずに、次に述べるステップＳ１９の処理に進める。

注文者判定部７２２は、上述のメニューデータベースＤＢ２における音声データのうち一致した音声データに対応するメニューと、音声データに基づいて推定した性別と年齢に一致する顔映像の客の客識別フラグとを関連付ける（ステップＳ１９）。そして、注文者判定部７２２は、関連付けた結果を表示部５００に表示させる制御を行い、関連付けた結果が示す客が実際に注文した客であるか否かを確認する表示を表示部５００にさせる制御を行う。そして、注文者判定部７２２は、従業員によるデータ入力部３００に対する入力操作に基づいて、実際に注文した客であるか否かを判定する（ステップＳ２０）。

従業員が実際に注文した客ではないことを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じて実際に注文した客ではないことを示す信号を注文者判定部７２２に出力する。
注文者判定部７２２は、データ入力部３００から実際に注文した客ではないことを示す信号を入力すると、入力した信号に基づいて、実際に注文した客ではないと判定する（ステップＳ２０、ＮＯ）。そして、注文者判定部７２２は、表示部５００が表示する注文した客をデータ入力部３００を介して修正可能な状態とする画面を表示させる制御を行う。
従業員が注文した客の修正を示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じて注文した客の修正を示す信号を注文者判定部７２２に出力する。例えば、従業員は、表示部５００が表示する図１３のような画面に対してそれぞれの客に対応した領域を選択し、客を特定する修正を示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じて注文した客の修正を示す信号を注文者判定部７２２に出力する。
注文者判定部７２２は、データ入力部３００から注文した客の修正を示す信号を入力すると、入力した信号に基づいて、注文した客の修正を行う（ステップＳ２１）。

また、従業員が実際に注文した客であることを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じて実際に注文した客であることを示す信号を注文者判定部７２２に出力する。
注文者判定部７２２は、データ入力部３００から実際に注文した客であることを示す信号を入力すると、入力した信号に基づいて、実際に注文した客であると判定する（ステップＳ２０、ＹＥＳ）。そして、注文者判定部７２２は、ステップＳ２１の処理を行わずに、次に述べるステップＳ２２の処理に進める。

オーダー入力部７００は、オーダー入力が終了か否かを確認する表示を表示部５００にさせる制御を行う。そして、オーダー入力部７００は、従業員によるデータ入力部３００に対する入力操作に基づいて、オーダー入力が終了か否かを判定する（ステップＳ２２）。

従業員がオーダー入力が終了しないことを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じてオーダー入力が終了しないことを示す信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００からオーダー入力が終了しないことを示す信号を入力すると、入力した信号に基づいて、オーダー入力が終了しないと判定する（ステップＳ２２、ＮＯ）。そして、オーダー入力部７００は、ステップＳ５の処理に戻す。

また、従業員がオーダー入力が終了することを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じてオーダー入力が終了することを示す信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００からオーダー入力が終了することを示す信号を入力すると、入力した信号に基づいて、オーダー入力が終了すると判定する（ステップＳ２２、ＹＥＳ）。ここで、オーダー入力部７００は、メニュー情報を作成する。オーダー入力部７００は、メニュー情報を記憶部６００に記録する。例えば、メニュー情報は、図１４に示すように、伝票番号、メニュー、当該メニューを注文したそれぞれの客の客識別フラグ、注文した数量を含む情報である。そして、オーダー入力部７００は、ヘッダー情報とメニュー情報を表示部５００にさせる制御を行い（ステップＳ２３）、従業員にヘッダー情報とメニュー情報を確認させる。そして、オーダー入力部７００は、従業員によるデータ入力部３００に対する入力操作に基づいて、ヘッダー情報を修正するか否かを判定する（ステップＳ２４）。

従業員がヘッダー情報を修正することを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じてヘッダー情報を修正することを示す信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００からヘッダー情報を修正することを示す信号を入力すると、入力した信号に基づいて、ヘッダー情報を修正すると判定する（ステップＳ２４、ＮＯ）。そして、オーダー入力部７００は、ステップＳ１３の処理に戻す。

また、従業員がヘッダー情報を修正しないことを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じてヘッダー情報を修正しないことを示す信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００からヘッダー情報を修正しないことを示す信号を入力すると、入力した信号に基づいて、ヘッダー情報を修正しないと判定する（ステップＳ２４、ＮＯ）。そして、オーダー入力部７００は、従業員によるデータ入力部３００に対する入力操作に基づいて、メニュー情報を修正するか否かを判定する（ステップＳ２５）。

従業員がメニュー情報を修正することを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じてメニュー情報を修正することを示す信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００からメニュー情報を修正することを示す信号を入力すると、入力した信号に基づいて、メニュー情報を修正すると判定する（ステップＳ２４、ＮＯ）。そして、オーダー入力部７００は、ステップＳ１５の処理に戻す。

また、従業員がメニュー情報を修正しないことを示す入力操作をデータ入力部３００に対して行うと、データ入力部３００は、その入力操作に応じてメニュー情報を修正しないことを示す信号をオーダー入力部７００に出力する。
オーダー入力部７００は、データ入力部３００からメニュー情報を修正しないことを示す信号を入力すると、入力した信号に基づいて、メニュー情報を修正しないと判定する（ステップＳ２４、ＮＯ）。そして、オーダー入力部７００は、ヘッダー情報とメニュー情報とを含むオーダー情報を通信部４００を介して、オーダー管理装置２０に送信する（ステップＳ２６）。
なお、オーダー入力画面のイメージ図は、図１５に示す表示画面である。例えば、図１５に示す表示画面は、お子様セットが１つ注文され、セットとなる飲み物とデザートが未入力であることを示す画面である。

次に、新規／追加オーダー判定部７１２が行う今回のオーダーが新規オーダーであるか追加オーダーであるかを特定する処理の詳細を説明する。
ここでは、新規／追加オーダー判定部７１２が図８で示したステップＳ３の新規オーダーであるか追加オーダーであるかを特定する処理の詳細を図１６に示す処理フローを用いて説明する。なお、ハンディターミナル１０が過去の新規オーダー時に撮影したテーブル番号に対応する映像は、オーダー管理装置２０に送信され、オーダー管理装置２０の記憶部に記憶されているものとする。なお、ハンディターミナル１０が複数ある場合には、オーダー管理装置２０の記憶部は、すべてのハンディターミナル１０が過去の新規オーダー時に撮影したテーブル番号に対応する映像を記憶しているものとする。

新規／追加オーダー判定部７１２は、テーブル番号判定部７１３がテーブル番号を特定すると、テーブル番号判定部７１３が特定したテーブル番号を通信部４００を介してオーダー管理装置に送信する。

オーダー管理装置２０は、ハンディターミナル１０からテーブル番号を受信すると、受信したテーブル番号に対応する映像をオーダー管理装置２０の記憶部において検索する（ステップＳ３１）。
オーダー管理装置２０は、テーブル番号に対応する映像を見つけた場合には、見つけたテーブル番号に対応する映像データをハンディターミナル１０に送信する。
また、オーダー管理装置２０は、テーブル番号に対応する映像を見つけられなかった場合には、ハンディターミナル１０には当該テーブル番号に対応する映像データなしという信号を送信する。

新規／追加オーダー判定部７１２は、オーダー管理装置２０からテーブル番号に対応する映像データを受信したか否かに基づいて、テーブル番号に対応する映像があるかないかを判定する（ステップＳ３２）。

新規／追加オーダー判定部７１２は、オーダー管理装置２０から当該テーブル番号に対応する映像データなしを受信し、テーブル番号に対応する映像がないと判定した場合（ステップＳ３２、なし）、オーダーが新規オーダーであると判定する（ステップＳ３３）。そして、新規／追加オーダー判定部７１２は、新たな伝票番号を取得し付与する（ステップＳ３４）。そして、新規／追加オーダー判定部７１２は、テーブル番号に対応する映像データと新規オーダーを行う客の映像データの登録や更新を行う（ステップＳ３５）。

また、新規／追加オーダー判定部７１２は、所定時間内にオーダー管理装置２０からテーブル番号に対応する映像データを受信し、テーブル番号に対応する映像があると判定した場合（ステップＳ３２、あり）、そのテーブル番号に対応する新規オーダー時の客の顔映像と、今回のオーダー時の客の顔映像とを比較し、同一人物がいるか否かを判定する（ステップＳ３６）。
新規／追加オーダー判定部７１２は、同一人物がいないと判定した場合（ステップＳ３６、ＮＯ）、ステップＳ３３の処理に進める。
また、新規／追加オーダー判定部７１２は、同一人物がいると判定した場合（ステップＳ３６、ＹＥＳ）、現在のテーブル番号に対応する伝票番号を取り込み（ステップＳ３８）、ステップＳ３５の処理に進める。

なお、別の実施例として、新規オーダーで登録されているすべての客の映像データと、今回オーダー入力を行う客の映像データを比較し、同一人物がいるか否かで新規オーダーであるか追加オーダーであるかを判別してもよい。
この場合に新規／追加オーダー判定部７１２が新規オーダーであるか追加オーダーであるかを判別する処理フローは、図１７となる。
この場合も、ハンディターミナル１０が過去の新規オーダー時に撮影したテーブル番号に対応する映像は、オーダー管理装置２０に送信され、オーダー管理装置２０の記憶部に記憶されているものとする。なお、ハンディターミナル１０が複数ある場合には、オーダー管理装置２０の記憶部は、すべてのハンディターミナル１０が過去の新規オーダー時に撮影したテーブル番号に対応する映像を記憶しているものとする。
オーダー管理装置２０は、ハンディターミナル１０から、テーブル番号の映像データを受信すると、オーダー管理装置２０の記憶部にある新規オーダーで登録されているすべての客の映像データを検索し、今回オーダー入力を行う客の映像データと同一人物がいるか否かを判定する（ステップＳ３９１）。
オーダー管理装置２０は、同一人物を見つけた場合には、同一人物がいるテーブル番号の映像データをハンディターミナル１０に送信する。
また、オーダー管理装置２０は、同一人物の映像を見つけられなかった場合には、ハンディターミナル１０には同一人物の映像データなしという信号を送信する。

新規／追加オーダー判定部７１２は、オーダー管理装置２０から、同一人物の映像データなしの信号を受信し、同一人物がいないと判断した場合は(ステップＳ３９１、ＮＯ)、オーダーが新規オーダーであると判定する（ステップＳ３９２）。そして、新規／追加オーダー判定部７１２は、新たな伝票番号を取得し付与する（ステップＳ３９３）。そして、新規／追加オーダー判定部７１２は、テーブル番号に対応する映像データと新規オーダーを行う客の映像データの登録や更新を行う（ステップＳ３９４）。

また、新規／追加オーダー判定部７１２は、オーダー管理装置２０から、同一人物がいるテーブル映像データを受信し、同一人物がいると判定した場合（ステップＳ３９１、ＹＥＳ）、オーダーが追加オーダーであると判定する（ステップＳ３９５）。対応する伝票番号を取り込む（ステップＳ３９６）。次に、新規／追加オーダー判定部７１２は、テーブル番号が前回と同一であるかを判断する（ステップＳ３９７）。新規／追加オーダー判定部７１２は、テーブル番号が前回と同一である場合（ステップＳ３９７、ＹＥＳ）、テーブル番号をそのままにし、ステップＳ３９４の処理に進める。
また、新規／追加オーダー判定部７１２は、テーブル番号が前回と同一でない場合（ステップＳ３９７、ＮＯ）、客がテーブルを移動したと判断し、対応するテーブル番号を今回のオーダーで識別したテーブル番号に更新する（ステップＳ３９８）。そして、新規／追加オーダー判定部７１２は、ステップＳ３９４の処理に進める。

そして、新規／追加オーダー判定部７１２は、ステップＳ３５の処理に進める。
以上のように、客層判定部７１５は、今回のオーダーが新規オーダーであるか追加オーダーであるかを特定する。

次に、客層判定部７１５が行うグループの客層を推定する処理の詳細を説明する。
ここでは、客層判定部７１５が図８で示したステップＳ１０のグループの客層を推定する処理の詳細を図１８〜２０に示す処理フローを用いて説明する。
まず、図１８に示すグループの人数を特定する処理フローについて説明する。
客層判定部７１５は、人数判定部７１４が特定した客の人数が１人であるか否かを判定する（ステップＳ４１）。

客層判定部７１５は、人数判定部７１４が特定した客の人数が１人ではないと判定すると（ステップＳ４１、ＮＯ）、人数判定部７１４が特定した客の人数が２人であるか否かを判定する（ステップＳ４２）。
客層判定部７１５は、人数判定部７１４が特定した客の人数が２人ではないと判定すると（ステップＳ４２、ＮＯ）、多人数のグループの客層を推定する（ステップＳ４３）。
また、客層判定部７１５は、人数判定部７１４が特定した客の人数が２人であると判定すると（ステップＳ４２、ＹＥＳ）、２人のグループの客層を推定する（ステップＳ４４）。

次に、図１９に示すステップＳ４２の処理で２人のグループであると判定した場合に続けて行うステップＳ４４のグループの客層を推定する処理の詳細について説明する。
客層判定部７１５は、２人の年齢差が２０歳以上であるか否かを判定する（ステップＳ５１）。
客層判定部７１５は、２人の年齢差が２０歳以上であると判定した場合（ステップＳ５１、ＹＥＳ）、２人は家族であると判定する（ステップＳ５２）。
客層判定部７１５は、２人の年齢差が２０歳以上ではないと判定する（ステップＳ５１、ＮＯ）と、２人が同性であるか否かを判定する（ステップＳ５３）。
客層判定部７１５は、２人が同性であると判定する（ステップＳ５３、ＹＥＳ）と、２人は友人であると判定する（ステップＳ５４）。
また、客層判定部７１５は、２人が異性であると判定する（ステップＳ５３、ＮＯ）と、２人は恋人であると判定する（ステップＳ５５）。

次に、図２０に示すステップＳ４２の処理で３人以上の複数人グループであると判定した場合に続けて行うステップＳ４３のグループの客層を推定する処理の詳細について説明する。
客層判定部７１５は、複数人における最大年齢差が２０歳以上であるか否かを判定する（ステップＳ６１）。
客層判定部７１５は、複数人における最大年齢差が２０歳以上であると判定した場合（ステップＳ６１、ＹＥＳ）、複数人のグループは家族であると判定する（ステップＳ６２）。
また、客層判定部７１５は、複数人における最大年齢差が２０歳以上ではないと判定した場合（ステップＳ６１、ＮＯ）、複数人のグループは友人であると判定する（ステップＳ６３）。
以上のように、客層判定部７１５は、グループの客層を推定する。

次に、従業員判定部７１１がオーダー入力を行う従業員を特定する処理の詳細を説明する。
ここでは、従業員判定部７１１が図８で示したステップＳ１２のオーダー入力を行う従業員を特定する処理の詳細を図２１に示す処理フローを用いて説明する。
カメラ１０２は、従業員の顔を含む映像を撮影する（ステップＳ７１）。従業員判定部７１１は、カメラ１０２が撮影した従業員の映像から顔を検出する（ステップＳ７２）。従業員判定部７１１は、検出した顔映像から属性（特徴点）を検出する（ステップＳ７３）。従業員判定部７１１は、検出した顔映像と属性（特徴点）を有する映像データを従業員データベースＤＢ１から読み出す（ステップＳ７４）。従業員判定部７１１は、従業員データベースＤＢ１から読み出した映像データに対象の顔映像があるか否かを判定する（ステップＳ７５）。
従業員判定部７１１は、対象の顔映像があると判定した場合（ステップＳ７５、ＹＥＳ）、従業員コードを読みこむ（ステップＳ７６）。
従業員判定部７１１は、対象の顔映像がないと判定した場合（ステップＳ７５、ＮＯ）、従業員コードをクリアする（ステップＳ７７）。

なお、本実施形態によるハンディターミナル１０において、オーダー入力部７００は、カメラ１０２が撮影する接客時の従業員の顔映像から笑顔の度合いを解析し、表示部５００に解析結果を表示させるものであってよい。例えば、オーダー入力部７００は、表情認証技術を用いて従業員の顔映像から笑顔の度合いを解析し、図２２に示すような従業員の笑顔と笑顔に対する得点を表示部５００に表示させる。従業員は、表示画面を見て笑顔が高得点になるように訓練し、接客時のサービス向上につなげるものであってよい。
以上のように、従業員判定部７１１は、オーダー入力を行う従業員を特定する。

以上、第一の実施形態によるオーダー管理システム１について説明した。
第一の実施形態によるオーダー管理システム１が備えるハンディターミナル１０において、テーブル番号判定部７１３は、撮影した映像に基づいてテーブル番号を特定する。人数判定部７１４は、撮影した映像に基づいて客の人数を特定する。客層判定部７１５は、撮影した映像に基づいて客層を特定する。
こうすることで、客の識別情報を容易に取得することができ、取得した客の識別情報に、当該客の注文したメニュー情報を簡単に関連付けることができる。その結果、従業員は、メニューの入力に集中でき、客の注文を待たせることもなくなる。

また、従業員判定部７１１は、撮影した映像に基づいてオーダー入力を行う従業員を特定する。
こうすることで、オーダーの入力者（ハンディターミナル１０の操作者）を確実に識別することができる。その結果、不正入力を防止につなげることができるとともに、個人別の売り上げ成績を把握することができ、売上成績優秀者の表彰等、従業員のモチベーションアップにつなげることができる。また、従業員食事オーダーについても、他人のコードを使っての入力ができなくなるため、従業員の給与の支給控除のトラブルやミスをなくすことができる。

また、新規／追加オーダー判定部７１２は、撮影した映像に基づいてオーダー入力が新規であるか追加であるかを特定する。
こうすることで、新たに客の識別情報の取得が必要であるか否かがわかり、ハンディターミナル１０の操作を容易にすることができる。さらには、客が勝手に席を移動した場合であっても、混乱することなく、新規オーダーであるか追加オーダーであるかの判別が可能となる。

また、注文者判定部７２２は、撮影した映像に基づいてメニューを注文した注文者を特定する。
こうすることで、メニューごとに、特別な操作をすることなく、注文をした客の情報(性別、年代、時間帯)がわかり、メニューの詳細な分析に利用できる。また、調理・配膳において注文メニューや配膳先等で、不明点が発生した場合、オーダーを入力した担当者をわざわざ呼び出さなくとも、オーダーの内容を、配膳管理のディスプレイ装置や他のハンディターミナルで、確認することができる。

なお、本発明における記憶部６００は、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部６００は、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。

なお、本発明の実施形態における処理フローは、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。

なお、本発明の実施形態について説明したが、上述のハンディターミナル１０及びオーダー管理装置２０のそれぞれは内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定するものではない。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができるものである。

１・・・オーダー管理システム
２・・・第一部材
３・・・第二部材
１０・・・ハンディターミナル
２０・・・オーダー管理装置
３０・・・出力装置
１００・・・カメラ機能部
１０１、１０２・・・カメラ
２００・・・マイク
３００・・・データ入力部
３０１・・・タッチパネル
３０２・・・固定キー部
４００・・・通信部
５００・・・表示部
６００・・・記憶部
６０１・・・オーダーデータ記憶部
６０２・・・オーダー映像記憶部
６０３・・・従業員映像データ記憶部
６０４・・・メニューマスターデータ記憶部
６０５・・・テーブル映像データ記憶部
７００・・・オーダー入力部
７０１・・・ヘッダー入力部
７０２・・・明細入力部
７１１・・・従業員判定部
７１２・・・新規／追加オーダー判定部
７１３・・・テーブル番号判定部
７１４・・・人数判定部
７１５・・・客層判定部
７２１・・・メニュー入力部
７２２・・・注文者判定部
ＴＢＬ１、ＴＢＬ２・・・データテーブル

Claims (10)

1. 撮像部と通信部とオーダー入力部を備える電子機器であって、
   前記撮像部は、客の顔、テーブル番号、客の容姿を含むテーブル周辺の映像を撮影してオーダー入力部に出力する映像撮像手段を備え、
   前記オーダー入力部は、
   前記撮影した映像に基づいてテーブル番号を特定するテーブル番号判定部と、
   前記撮影した映像に基づいて客の人数を特定する人数判定部と、
   前記撮影した映像に基づいて客層を特定する客層判定部とを備え、
   前記オーダー入力部は、前記各判定部により特定された情報を含むオーダー情報を前記通信部を介して、オーダー管理装置に送信する
   電子機器。
2. 前記撮像部は、従業員の映像を撮影し、前記オーダー入力部に出力する映像撮像手段を備え、
   前記オーダー入力部は、
   前記撮影した映像に基づいてオーダー入力を行う従業員を特定する従業員判定部、
   を備える請求項１に記載の電子機器。
3. 前記オーダー入力部は、
   前記撮影した映像に基づいてオーダー入力が新規であるか追加であるかを特定する新規／追加オーダー判定部、
   を備える請求項１または請求項２に記載の電子機器。
4. 前記オーダー入力部は、
   前記撮影した映像に基づいてメニューを注文した注文者を特定する注文者判定部、
   を備える請求項１に記載の電子機器。
5. 前記撮影した映像を表示する表示部と、
   オーダー入力時に客が注文したメニューを特定するメニュー入力部と
   メニュー情報を作成する前記オーダー入力部と、
   を備え、
   前記メニュー入力部は、前記撮影した映像において前記注文者判定部により特定された注文者の映像を前記表示部が識別可能に表示させた状態で、客が注文したメニューの特定を行い、
   前記オーダー入力部は、特定された前記メニューと前記注文者を識別する情報とを含むメニュー情報を作成し、前記メニュー情報を含む前記オーダー情報を前記通信部を介して、オーダー管理装置に送信する
   請求項４に記載の電子機器。
6. 前記表示部は、前記撮影した映像における前記注文者の映像を選択可能に表示させ、
   前記注文者判定部は、前記メニューの特定に伴い、前記表示部において前記注文者の映像が選択された場合、当該選択された映像に基づき前記メニューの注文者を特定する
   請求項５に記載の電子機器。
7. 電子機器とオーダー管理装置とを備えるオーダー管理システムであって、
   前記電子機器は、
   撮像部と通信部とオーダー入力部を備え、
   前記撮像部は客の顔、テーブル番号、客の容姿を含むテーブル周辺の映像を撮影してオーダー入力部に出力する映像撮像手段を備え、
   前記オーダー入力部は、
   前記撮影した映像に基づいてテーブル番号を特定するテーブル番号判定部と、
   前記撮影した映像に基づいて客の人数を特定する人数判定部と、
   前記撮影した映像に基づいて客層を特定する客層判定部とを備え、
   前記オーダー入力部は、前記各判定部により特定された情報を含むオーダー情報を前記通信部を介して、オーダー管理装置に送信し、
   前記オーダー管理装置は、
   前記電子機器が特定した、前記テーブル番号、前記客の人数、及び前記客層を管理する、
   オーダー管理システム。
8. 撮像部と通信部とオーダー入力部を備える電子機器において、
   前記撮像部は、客の顔、テーブル番号、客の容姿を含むテーブル周辺の映像を撮影してオーダー入力部に出力する映像撮像手段を備え、
   前記オーダー入力部は、
   テーブル番号判定部と、
   人数判定部と、
   客層判定部とを備え、
   前記オーダー入力部は、前記各判定部により特定された情報を含むオーダー情報を前記通信部を介して、オーダー管理装置に送信する電子機器の制御方法であって、
   テーブル番号判定部は、前記撮影した映像に基づいてテーブル番号を特定し、
   人数判定部は、前記撮影した映像に基づいて客の人数を特定し、
   客層判定部は、前記撮影した映像に基づいて客層を特定する、制御方法。
9. 電子機器とオーダー管理装置とを備えるオーダー管理システムの制御方法であって、
   前記電子機器は、
   撮像部と通信部とオーダー入力部を備え、
   前記撮像部は客の顔、テーブル番号、客の容姿を含むテーブル周辺を撮影し、オーダー入力部に出力する映像撮像手段を備え、
   前記オーダー入力部は、
   前記撮影した映像に基づいてテーブル番号を特定するテーブル番号判定部と、
   前記撮影した映像に基づいて客の人数を特定する人数判定部と、
   前記撮影した映像に基づいて客層を特定する客層判定部とを備え、
   前記オーダー入力部は、前記各判定部により特定された情報を含むオーダー情報を前記通信部を介して、オーダー管理装置に送信し、
   オーダー管理装置は、前記電子機器が特定した前記テーブル番号、前記客の人数、及び前記客層を管理する、制御方法。
10. コンピュータと、
    客の顔、テーブル番号、客の容姿を含むテーブル周辺を撮影する映像撮像手段を備える撮像部と、
    オーダー情報をオーダー管理装置に送信する通信部と、
    を備える電子機器において、
    前記コンピュータを、
    前記撮影した映像に基づいてテーブル番号を特定するテーブル番号判定手段、
    前記撮影した映像に基づいて客の人数を特定する人数判定手段、
    前記撮影した映像に基づいて客層を特定する客層判定手段、
    を備え、前記各判定部により特定された情報を含むオーダー情報を前記通信部を介して、オーダー管理装置に送信するオーダー入力部として機能させるプログラム。

Images