JP6776067B2 - 操作入力装置及びプログラム - Google Patents

Description

本発明の実施形態は、操作入力装置及びプログラムに関する。

従来、ユーザの腕（手首）等の特定部位に装着されたセンサから得られた測定値をもとに、ユーザの手や指等の動作（ジェスチャ）を非接触で認識する技術がある。係る技術では、認識した動作に対応させて、ＰＣ（Personal Computer）等の画面に配置されたポインタを移動し、ポインタの位置に対応するオブジェクトに対して処理が実行される。このような非接触式の操作入力装置のメリットとして、離れた場所から操作できる点、画面を直接触れないで操作できるため衛生的であるという点が上げられる。

しかしながら、従来の技術では、複数のユーザが非接触の操作によって、同一の表示装置上に表示された画面を操作するような場合、どのユーザの操作が画面に反映されているのか判別することは困難であった。

本発明が解決しようとする課題は、非接触式の操作入力装置において、どのユーザの操作が画面に反映されているかを容易に判別することが可能な操作入力装置を提供することである。

実施形態の操作入力装置は、非接触式の操作入力装置であって、表示制御手段と、認識手段と、付与手段とを備える。表示制御手段は、操作の対象となるメニューを配列した操作画面を表示部に表示する。認識手段は、ユーザの動作を認識する。付与手段は、前記認識手段が操作の開始を指示する第１動作を認識したことを条件に、当該第１動作を行ったユーザを識別し、当該ユーザに前記操作画面に対する操作権限を付与する。更に、表示制御手段は、前記操作権限が付与されたユーザ毎に、前記操作画面の表示形態を変更し、前記操作権限が付与されたユーザにより前記操作画面に表示されたメニューの消込操作が行われたことが前記認識手段で認識されると、当該消込操作の対象となったメニューの表示形態を変更する。

図１は、実施形態に係る操作入力装置の構成の一例を示す図である。 図２は、表示部が表示する操作画面（注文表示画面）の一例を示す図である。 図３は、実施形態の操作入力装置が備える機能構成の一例を示す図である。 図４は、ジェスチャの一例を説明するための図である。 図５は、表示部が表示する操作画面（注文表示画面）の他の例を示す図である。 図６は、実施形態の操作入力装置が実行する操作支援処理の一例を示すフローチャートである。

以下に図面を参照して、本発明に係る操作入力装置及びプログラムの実施形態を詳細に説明する。以下に示す実施形態では、本発明を飲食店等の店舗で用いられる、注文内容を表示するためのキッチンディスプレイに適用した例について説明するが、本発明はこの実施形態に限定されるものではない。

図１は、本実施形態に係る操作入力装置１の構成の一例を示す図である。図１に示すように、操作入力装置１は、表示部１１と、制御部１２と、通信部１３と、動作認識部１４とを備える。なお、制御部１２、通信部１３及び動作認識部１４は、表示部１１と一体的に構成されてもよいし、別体として構成されてもよい。

表示部１１は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等の表示デバイスを備えた表示装置である。表示部１１は、調理場等のバックヤードに設置され、制御部１２による制御の下、注文されたメニュー名等の各種の情報を表示する。なお、本実施形態では、複数のユーザ（調理人、店員等）が同一の表示部１１を観察（操作）することを想定しているため、表示部１１は、複数のユーザが同時に観察することが可能な位置（例えば、壁の上方等）に設置することが好ましい。

制御部１２は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read Only memory）、ＲＡＭ（Random Access Memory）等のコンピュータ構成を備え、操作入力装置１の動作を制御する。また、制御部１２は、動作認識部１４とともに操作支援部２０として機能し、表示部１１に対する画面表示を制御する。

具体的に、制御部１２は、操作入力装置１の操作に係る各種の操作画面（ＧＵＩ（Graphical User Interface））や情報を表示部１１に表示させるための制御を行う。例えば、制御部１２は、通信部１３により受信されたオーダ情報を記憶及び管理し、そのオーダ情報に含まれたメニュー名やオーダ数、テーブル番号等を表した注文表示画面を表示部１１に表示させる。

図２は、表示部１１が表示する操作画面（注文表示画面）の一例を示す図である。図２に示す注文表示画面Ｇ１では、１オーダにつき１マスの表示領域が割り当てられ、各表示領域には各注文（オーダ情報）に含まれるメニュー名及び注文数が表示される。また、各表示領域の上部には、各注文を識別できるよう、テーブル番号、オーダ時間、客数、担当者情報がそれぞれ表示される。

ユーザは、表示部１１に表示された注文表示画面Ｇ１を見ることで、現在の注文状況を確認し、注文されたメニューの調理等を行う。また、ユーザは、後述する動作認識部１４の機能を用いることで、注文表示画面Ｇ１に対する操作を非接触で行う。例えば、ユーザは、注文されたメニューの調理等が完了すると、そのメニューを消し込むための動作（ジェスチャ）を行うことで、注文表示画面Ｇ１から該当するメニューの消去を行う。

メニューの消し込みを行う場合、例えばユーザは、手を動かす等の所定のジェスチャを行うことで、消し込み対象のメニューの上までカーソル等のポインタＰ１を移動させ、当該メニューを選択する。そして、ユーザは、ポインタＰ１を消込ボタンＢ１上に移動させ、当該消込ボタンＢ１を選択（ボタン押下）することで、選択したメニューの消し込みを指示する。制御部１２は、上記したメニューの消し込み操作が動作認識部１４で認識されると、この消し込み操作で指示されたメニューを注文表示画面Ｇ１から消去する。ここで、制御部１２は、消し込み操作の対象となったメニューを、破線等で表す形態としてもよい（図２のメニューＭ６１参照）。なお、注文表示画面Ｇ１は、基本的にポインタＰ１の移動と操作子（メニュー、ボタン等）の選択操作とで、各種の処理を指示できるよう構成されているとする。

図１に戻り、通信部１３は、有線又は無線により通信を行う通信装置である。通信部１３は、店舗内に設けられたオーダ端末（図示せず）と通信し、当該オーダ端末から送信されるオーダ情報を受信する。係るオーダ端末は、例えば、店員により携帯され、店員により入力されたオーダ情報を通信部１３に送信する。なお、オーダ情報には、メニュー名及び注文数の他、テーブル番号、オーダ時間、客数、接客を担当した店員の担当者情報等が含まれるものとする。

動作認識部１４は、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ等のコンピュータ構成や、各種のセンシング機器、無線通信インタフェース等を備え、ユーザが行う所定動作（ジェスチャ）を認識する。本実施形態において、動作認識部１４は、制御部１２とともに操作支援部２０として機能し、表示部１１に表示された画面に対する操作入力を非接触で受け付ける。

具体的には、動作認識部１４は、ユーザによる所定動作であるジェスチャを認識し、制御部１２と協働することで、表示部１１に表示された画面に対する操作を非接触で受け付ける。例えば、動作認識部１４は、上記したメニューの消し込み操作を認識すると、表示部１１と協働することで、この消し込み操作で指示されたメニューを注文表示画面Ｇ１から消去する。なお、本実施形態では、制御部１２と動作認識部１４とを別体としたが、これに限らず、共通するコンピュータ構成により一体的に構成してもよい。

また、ユーザ動作の認識方法は特に問わず、公知公用の技術を用いることが可能である。例えば、動作認識部１４は、ＣＣＤ（Charge Coupled Device）や赤外線等のカメラにより撮像されたユーザの撮像画像から、当該ユーザの顔や動作（例えば手の動作）を認識する構成としてもよい。この場合、動作認識部１４は、動作認識部１４のＲＯＭ等に記憶された各種のジェスチャを表す設定情報に基づき、ユーザが行った動作が何れかのジェスチャに該当するかを判定する。そして、動作認識部１４は、ユーザの動作が何れかのジェスチャに該当した場合に、当該ジェスチャをユーザが行ったと認識する。係る構成としては、例えばＩｎｔｅｌ ＲｅａｌＳｅｎｓｅ（登録商標）等に係る技術を用いることができる。

また、例えば、動作認識部１４は、図１に示すように、ユーザの腕（手首）に装着される測定装置３０によって測定された測定値をもとに、ユーザの動作を認識する構成としてもよい。係る測定装置３０は、例えば、加速度や角速度、地磁気等を測定するための各種センサを有する。また、測定装置３０は、測定対象であるユーザの特定部位に装着される。特定部位は、例えば、ユーザの腕、手首、指、頭、足等である。図１では、ユーザの手首に測定装置３０（３０ａ、３０ｂ、３０ｃ）を装着した例を示している。

ユーザの手首に装着される場合、測定装置３０は、当該測定装置３０を装着したユーザの手の加速度や角速度を、測定値として無線通信により動作認識部１４に送信する。測定値を受信する動作認識部１４は、動作認識部１４のＲＯＭ等に記憶された各種のジェスチャを表す設定情報に基づき、その測定値に対応するユーザの動作が何れかのジェスチャに該当するかを判定する。そして、動作認識部１４は、ユーザの動作が何れかのジェスチャに該当した場合に、当該ジェスチャをユーザが行ったと認識する。なお、本実施形態では、測定装置３０を用い、当該測定装置３０をユーザの手首に装着する場合の例について説明する。

次に、操作入力装置１の機能構成について説明する。図３は、操作入力装置１（操作支援部２０）が備える機能構成の一例を示す図である。図３に示すように、操作支援部２０は、操作開始動作認識部２１と、表示制御部２２と、操作受付部２３と、操作終了動作認識部２４とを機能部として備える。これら機能部の一部又は全ては、制御部１２及び動作認識部１４の何れか一方又は両方のプロセッサ（ＣＰＵやＧＰＵ）と、ＲＯＭ等のメモリに記憶されたプログラムとの協働によりＲＡＭ上に実現されるソフトウェア構成としてもよい。また、これら機能部の一部又は全ては、各機能を実現するよう設計された一又は複数の処理回路等によって実現されるハードウェア構成としてもよい。

操作開始動作認識部２１は、何れか一のユーザにより操作の開始を指示するジェスチャ（操作開始動作）が行われると、操作開始動作を認識するとともに、その動作を行ったユーザを認識（識別）する。また、操作開始動作認識部２１は、操作開始動作を行ったユーザに操作権限を付与することで、表示部１１が表示する画面に対する操作入力を有効化する。

ここで、操作開始動作は、特に問わず、任意の動作を設定することが可能である。例えば、図４（ａ）に示すように、手を上げる動作を行った後、指打ち等の動作を行うことを操作開始動作としてもよい。ここで、指打ちとは、摘まむような形で親指と他の指（中指等）とを軽く打ち付ける動作を意味する。操作開始動作認識部２１は、ＲＯＭ等に記憶された操作開始動作を表す設定情報に基づき、ユーザの動作が操作開始動作に該当した場合に、当該ユーザが操作開始動作を行ったことを認識する。

また、操作者の認識（識別）方法は、特に問わず、種々の方法を採用することが可能である。本実施形態では、測定装置３０毎に割り当てた固有の識別子を測定値とともに測定装置３０から出力させることで、この識別子により測定装置３０を装着したユーザを識別する。また、撮像画像を用いて動作の検出を行う構成の場合、顔認識によって操作の開始を指示したユーザを識別してもよい。なお、操作開始動作認識部２１は、一のユーザに操作権限を付与している間は、他のユーザが操作開始動作を行ったとしても、当該他のユーザに対する操作権限の付与を抑制することで、操作画面を操作するユーザが一人となるよう排他制御を行うものとする。

表示制御部２２は、操作入力装置１の操作に係る各種の操作画面（ＧＵＩ）や情報を表示部１１に表示させる。例えば、表示制御部２２は、上述した注文表示画面Ｇ１（図２参照）等を表示部１１に表示させる。

また、表示制御部２２は、操作画面の表示形態を操作者毎に変更する。具体的には、表示制御部２２は、操作開始動作認識部２１により操作権限が付与されたユーザ毎に、注文表示画面Ｇ１の表示形態を変更する。表示形態の変更方法は特に限らず、種々の方法を採用することが可能である。例えば、図５に示すように、表示制御部２２は、操作権限が付与されたユーザ毎に注文表示画面Ｇ１の背景色を切り替えてもよい。

ここで、図５は、表示部１１が表示する注文表示画面Ｇ１の他の例を示す図であり、図２に対応するものである。図５に示す注文表示画面Ｇ１は、図２に示した注文表示画面Ｇ１とは異なるユーザに操作権限が付与された状態を示しており、注文表示画面Ｇ１の背景色が異なっている（図２の４０ａ、図５の４０ｂ参照）。なお、注文表示画面Ｇ１の背景色は、ユーザ毎（測定装置３０の識別子毎）に予め定められ、設定情報として保持されているものとする。この場合、例えば、各ユーザが装着する測定装置３０の色を相違させ、表示制御部２２は、操作入力が有効化されたユーザが装着する測定装置３０の色に注文表示画面Ｇ１の背景色を切り替えるよう制御してもよい。これにより、どのユーザが操作しているか、つまりどのユーザの操作が画面に反映されているかを、注文表示画面Ｇ１の背景色によって容易に判別することができる。

なお、表示色を変える対象は注文表示画面Ｇ１の背景に限らないものとする。例えば、注文表示画面Ｇ１内に表示するポインタＰ１の表示色を、ユーザ毎に変更してもよい。この場合、ポインタＰ１の表示色は、ユーザ毎（測定装置３０の識別子毎）に予め定められ、設定情報として保持されているものとする。これにより、どのユーザが操作しているか、つまりどのユーザの操作が画面に反映されているかを、ポインタＰ１の表示色によって容易に判別することができる。

また、例えば、表示制御部２２は、操作権限が付与されたユーザ毎に、注文表示画面Ｇ１内に表示するポインタＰ１の形状を切り替えてもよい。この場合、ポインタＰ１の形状は、ユーザ毎（測定装置３０の識別子毎）に予め定められ、設定情報として保持されているものとする。これにより、どのユーザが操作しているかを、ポインタＰ１の形状によって容易に判別することができる。

また、例えば、表示制御部２２は、操作権限が付与されたユーザを表すユーザ名や、店員コード、顔画像等のユーザ情報を注文表示画面Ｇ１に表示してもよい。この場合、各ユーザのユーザ情報は、ユーザ毎（測定装置３０の識別子毎）に予め定められ、設定情報として保持されているものとする。これにより、どのユーザが操作しているか、つまりどのユーザの操作が画面に反映されているかを、注文表示画面Ｇ１に表示されるユーザ情報によって容易に判別することができる。

操作受付部２３は、操作権限が付与されたユーザの動作を監視し、当該ユーザが操作開始動作及び後述する操作終了動作以外の所定動作（ジェスチャ）を行ったことを認識すると、その動作に対応する操作を受け付ける。具体的に、操作受付部２３は、ユーザの動作が所定の動作に該当するか否かを判定し、該当すると判定した場合に、当該動作に対応する操作を受け付ける。例えば、操作受付部２３は、ユーザが手を上下左右方向の何れかに移動させると、その移動方向にポインタＰ１の移動を指示する操作として受け付ける。また、操作受付部２３は、ユーザが指打ち等の動作を行うと、選択やボタン押下の操作として受け付ける。

操作終了動作認識部２４は、操作開始動作認識部２１により操作権限が付与されたユーザにより操作の終了を指示するジェスチャ（操作終了動作）が行われると、その操作終了動作を認識する。また、操作終了動作認識部２４は、操作終了動作を行ったユーザの操作権限を解除することで、表示部１１が表示する画面に対する操作入力を無効化する。

ここで、操作終了動作は、特に問わず、操作開始動作と同様、任意の動作を設定することが可能である。例えば、図４（ｂ）に示すように、手を下げる動作を行った後、指打ち等の動作を行うことを操作終了動作としてもよい。操作終了動作認識部２４は、ＲＯＭ等に記憶された操作終了動作を表す設定情報に基づき、ユーザの動作が操作終了動作に該当した場合に、当該ユーザが操作終了動作を行ったことを認識する。

なお、表示制御部２２は、操作権限の解除に伴い、表示部１１に表示される操作画面を、デフォルトの表示形態、つまり何れのユーザも操作を行っていないことを表す表示形態に戻す。例えば、注文表示画面Ｇ１の背景色を変更していた場合には、表示制御部２２は、デフォルトの背景色に戻す。また、例えば、ポインタＰ１の表示色や形状を変更していた場合には、表示制御部２２は、ポインタＰ１の表示を消去したり、デフォルトの表示色や形状に戻したりする。また、例えば、ユーザ情報を表示していた場合には、表示制御部２２は、ユーザ情報の表示を消去したり、ユーザ情報の代わりに操作者が存在しないことを表す情報を表示したりする。

以下、上記した構成の操作入力装置１の動作について説明する。図６は、操作入力装置１が実行する操作支援処理の一例を示すフローチャートである。なお、本処理の前提として、表示制御部２２の制御により、操作画面がデフォルトの表示形態で表示部１１に表示されているとする。

まず、操作開始動作認識部２１は、何れか一のユーザにより操作開始動作が行われるまで待機する（ステップＳ１１；Ｎｏ）。操作開始動作認識部２１は、何れか一のユーザにより操作開始動作が行われたことを認識すると（ステップＳ１１；Ｙｅｓ）、この操作開始動作を行ったユーザを識別する（ステップＳ１２）。次いで、操作開始動作認識部２１は、ステップＳ１２で識別したユーザに操作権限を付与し、操作画面に対する操作を有効化する（ステップＳ１３）。

続いて、表示制御部２２は、操作権限が付与されたユーザに応じて、操作画面の表示形態を変更する（ステップＳ１４）。次いで、操作支援部２０は、操作権限が付与されたユーザが所定動作を行うまで待機する（ステップＳ１５；Ｎｏ）。当該ユーザにより所定動作が行われると、操作支援部２０は、その動作が操作終了動作か否かを判定する（ステップＳ１６）。

ステップＳ１６において操作終了動作（操作開始動作）以外の所定動作が認識された場合（ステップＳ１５；Ｙｅｓ→ステップＳ１６；Ｎｏ）、操作受付部２３は、その所定動作に対応する操作を受け付ける（ステップＳ１７）。そして、操作受付部２３は、制御部１２と協働することで、その操作に応じた処理を実行し（ステップＳ１８）、ステップＳ１５に戻る。例えば、メニューの消し込み操作が行われた場合、操作受付部２３は、制御部１２と協働することで、ステップＳ１８において、消し込み操作で選択されたメニューを注文表示画面Ｇ１から消去する。

一方、ステップＳ１６において、操作終了動作が認識されると（ステップＳ１６；Ｙｅｓ）、操作終了動作認識部２４は、ユーザに付与されている操作権限を解除し、操作画面に対する操作入力を無効化する（ステップＳ１９）。そして、表示制御部２２は、操作画面の表示形態をデフォルトの表示形態に変更し（ステップＳ２０）、ステップＳ１１に戻る。

以上のように、本実施形態の操作入力装置１は、表示部１１に表示される操作画面の表示形態を、操作者（ユーザ）毎に相違させる。これにより、操作入力装置１では、複数のユーザが非接触の操作によって、表示部１１上に表示された操作画面を操作するような場合であっても、どのユーザの操作が画面に反映されているかを容易に判別することができる。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、操作画面を操作するユーザが一人となるよう、操作権限の排他処理を行う形態としたが、これに限らず、複数のユーザが同時に操作できる構成としてもよい。この場合、操作開始動作認識部２１は、操作開始動作を行ったユーザ毎に操作権限を付与するものとする。また、表示制御部２２は、操作権限が付与されたユーザ毎に、操作画面の表示形態を変更する。具体的には、表示制御部２２は、操作権限が付与されたユーザ毎に、当該ユーザが操作するポインタＰ１の表示色や形状を異ならせたり、メニュー等の操作子が選択された際の表示色を異ならせたりする。これにより、複数のユーザが表示部１１に表示された操作画面を同時に操作するような場合であっても、どのユーザの操作が画面に反映されているか容易に判別することができる。

１ 操作入力装置
１１ 表示部
１２ 制御部
１３ 通信部
１４ 動作認識部
２０ 操作支援部
２１ 操作開始動作認識部
２２ 表示制御部
２３ 操作受付部
２４ 操作終了動作認識部
３０ 測定装置

特開２０１５−９９５７４号公報 特開２０１６−６２２７４号公報

Claims (6)

1. 非接触式の操作入力装置であって、
   操作の対象となるメニューを配列した操作画面を表示部に表示する表示制御手段と、
   ユーザの動作を認識する認識手段と、
   前記認識手段が操作の開始を指示する第１動作を認識したことを条件に、当該第１動作を行ったユーザを識別し、当該ユーザに前記操作画面に対する操作権限を付与する付与手段と、
   を備え、
   前記表示制御手段は、前記操作権限が付与されたユーザ毎に、前記操作画面の表示形態を変更し、前記操作権限が付与されたユーザにより前記操作画面に表示されたメニューの消込操作が行われたことが前記認識手段で認識されると、当該消込操作の対象となったメニューの表示形態を変更する操作入力装置。
2. 前記表示制御手段は、前記操作権限が付与されたユーザ毎に、前記操作画面の背景色を変更する請求項１に記載の操作入力装置。
3. 前記表示制御手段は、前記操作権限が付与されたユーザ毎に、前記操作画面に表示するカーソルの表示色又は形状を変更する請求項１又は２に記載の操作入力装置。
4. 前記表示制御手段は、前記操作権限が付与されたユーザを表すユーザ情報を、前記操作画面に表示する請求項１〜３の何れか一項に記載の操作入力装置。
5. 前記認識手段が操作の終了を指示する第２動作を認識したことを条件に、当該第２動作を行ったユーザに付与されている前記操作権限を解除する解除手段を更に備え、
   前記付与手段は、一のユーザに付与した前記操作権限が前記解除手段により解除されるまで、他のユーザに対する前記操作権限の付与を抑制する請求項１〜４の何れか一項に記載の操作入力装置。
6. 非接触式の操作入力装置のコンピュータを、
   操作の対象となるメニューを配列した操作画面を表示部に表示する表示制御手段と、
   ユーザの動作を認識する認識手段と、
   前記認識手段が操作の開始を指示する第１動作を認識したことを条件に、当該第１動作を行ったユーザを識別し、当該ユーザに前記操作画面に対する操作権限を付与する付与手段と、
   して機能させ、
   前記表示制御手段は、前記操作権限が付与されたユーザ毎に、前記操作画面の表示形態を変更し、前記操作権限が付与されたユーザにより前記操作画面に表示されたメニューの消込操作が行われたことが前記認識手段で認識されると、当該消込操作の対象となったメニューの表示形態を変更するプログラム。

Images