JP7336553B2 - 処理実行装置、処理実行方法及び処理実行プログラム - Google Patents

Description

本開示は、カメラを使って非接触で処理の指示を行う技術に関する。

機器に触れることにより、ウイルス感染のリスクが高くなる。また、飲食業では、濡れた手又は油が付着した手で機器に触れることにより、機器の故障に繋がる。そのため、機器に接触することなく、機器を利用可能にしたいという要求がある。

特許文献１には、複数の非接触センサを用いて、利用者からの指示を受け付けることが記載されている。

特許第６９６２４１９号公報

特許文献１のように、操作対象の機器によっては、複数の非接触センサを搭載させることが困難な場合がある。また、操作対象の機器に複数の非接触センサを搭載させるとコストがかかってしまう。
本開示は、簡便な構成により、非接触で処理の指示を可能にすることを目的とする。

本開示に係る処理実行装置は、
画像データにおける複数の特定領域のうちのいずれかの特定領域において対象物が検出されたか否かを判定する検出判定部と、
前記検出判定部によって前記対象物が検出されたと判定された場合に、前記複数の特定領域のうちのどの特定領域で前記対象物が検出されたかに応じて異なる処理を実行する処理実行部と
を備える。

前記処理実行部は、検出された前記対象物の向きに応じて異なる処理を実行する。

前記処理実行部は、検出された前記対象物の種類に応じて異なる処理を実行する。

前記処理実行装置は、さらに、
前記画像データに含まれる顔画像に基づき認証を行う顔認証部
を備え、
前記処理実行部は、前記顔認証部によって認証が成功した場合に、処理を実行する。

前記対象物は、利用者を識別する識別情報を含み、
前記処理実行装置は、さらに、
検出された前記対象物に含まれる前記識別情報が示す利用者が、前記顔画像から特定される利用者と一致するか否かを判定する二次認証部
を備え、
前記処理実行部は、前記二次認証部によって一致すると判定された場合に、処理を実行する。

前記複数の特定領域の位置は、前記画像データに含まれる顔の位置に応じて決定される。

前記処理実行装置は、さらに、
前記画像データに前記複数の特定領域を示して表示する表示部
を備える。

本開示に係る処理実行方法は、
コンピュータが、画像データにおける複数の特定領域のうちのいずれかの特定領域において対象物が検出されたか否かを判定し、
コンピュータが、前記対象物が検出されたと判定された場合に、前記複数の特定領域のうちのどの特定領域で前記対象物が検出されたかに応じて異なる処理を実行する。

本開示に係る処理実行プログラムは、
画像データにおける複数の特定領域のうちのいずれかの特定領域において対象物が検出されたか否かを判定する検出判定処理と、
前記検出判定処理によって前記対象物が検出されたと判定された場合に、前記複数の特定領域のうちのどの特定領域で前記対象物が検出されたかに応じて異なる処理を実行する処理実行処理と
を行う処理実行装置としてコンピュータを機能させる。

本開示では、画像データにおける複数の特定領域のうちのどの特定領域で対象物が検出されたかに応じて異なる処理が実行される。これにより、カメラを用いて簡便に非接触で処理の指示を受け付けることが可能である。

実施の形態１に係る処理実行システム１００の構成図。 実施の形態１に係る処理実行装置１０の構成図。 実施の形態１に係る領域情報３１の説明図。 実施の形態１に係る処理実行装置１０の処理の流れを示すフローチャート。 実施の形態１に係る表示処理の説明図。 変形例４の説明図。 変形例５に係る処理実行装置１０の構成図。 実施の形態２に係る領域情報３１の説明図。 変形例８に係る領域情報３１の説明図。 実施の形態３に係る処理実行装置１０の構成図。 実施の形態３に係る処理実行装置１０の処理の流れを示すフローチャート。 実施の形態３に係る履歴を示す図。 変形例９に係る特定領域５１の説明図。 実施の形態３に係る処理実行装置１０の構成図。 実施の形態４に係る処理実行装置１０の処理の流れを示すフローチャート。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る処理実行システム１００の構成を説明する。
処理実行システム１００は、処理実行装置１０と、操作端末４０とを備える。処理実行装置１０と操作端末４０とは、伝送路９０を介して接続されている。伝送路９０は、具体例としてはＬＡＮ又はインターネットである。ＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。
処理実行装置１０は、指示された処理を特定して、処理を実行するサーバ等のコンピュータである。操作端末４０は、処理実行装置１０に対する指示の入力を受け付ける装置である。操作端末４０には、カメラ４１が設けられている。カメラ４１は、操作端末４０に搭載されていてもよいし、外付けされていてもよい。操作端末４０は、具体例としては、カメラ４１が搭載されたノートＰＣである。ＰＣは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒの略である。また、操作端末４０は、具体例としては、カメラ４１と表示装置との組合せである。カメラ４１には、静止画を撮影するものと、動画を撮影するビデオカメラとを含むものとする。

図２を参照して、実施の形態１に係る処理実行装置１０の構成を説明する。
処理実行装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣは、Ｉｎｔｅｇｒａｔｅｄ
Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）の略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。
処理実行装置１０は、通信インタフェース１４を介して、操作端末４０のカメラ４１と接続されている。

処理実行装置１０は、機能構成要素として、画像取得部２１と、表示部２２と、検出判定部２３と、処理実行部２４とを備える。処理実行装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、処理実行装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、処理実行装置１０の各機能構成要素の機能が実現される。

ストレージ１３には、領域情報３１が記憶される。

図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図３から図５を参照して、実施の形態１に係る処理実行装置１０の動作を説明する。
実施の形態１に係る処理実行装置１０の動作手順は、実施の形態１に係る処理実行方法に相当する。また、実施の形態１に係る処理実行装置１０の動作を実現するプログラムは、実施の形態１に係る処理実行プログラムに相当する。

図３を参照して、実施の形態１に係る領域情報３１を説明する。
領域情報３１は、複数の特定領域５１それぞれについて、位置情報と、処理情報とを含む。
位置情報は、画像データ５２における特定領域５１の位置を示す。画像データ５２は、カメラ４１によって取得されるデータである。実施の形態１では、特定領域５１は、矩形である。位置情報は、特定領域５１の左上の座標と右下の座標とを示している。但し、特定領域５１は、矩形に限るものではなく、楕円形等の他の形状でもよい。
処理情報は、実行される処理を示す。図３では、処理実行システム１００が勤怠管理に利用される例が示されている。特定領域５１Ａには出勤時刻の記録処理が割り当てられている。特定領域５１Ｂには退勤時刻の記録処理が割り当てられている。

図４を参照して、実施の形態１に係る処理実行装置１０の処理の流れを説明する。
（ステップＳ１１：画像取得処理）
画像取得部２１は、操作端末４０からカメラ４１によって取得された最新フレームの画像データ５２を取得する。ここでは、カメラ４１は、周期的に画像データ５２を取得している。

（ステップＳ１２：表示処理）
表示部２２は、ステップＳ１１で取得された画像データ５２に、複数の特定領域５１を示して表示する。
具体的には、表示部２２は、領域情報３１の位置情報を参照することにより、複数の特定領域５１それぞれの位置を特定する。そして、表示部２２は、カメラ４１が撮影した画像データ５２に、領域情報３１に基づき複数の特定領域５１それぞれの枠と、領域情報３１に記憶された特定領域５１の処理情報とを示して、操作端末４０の表示装置に表示する。図５では“領域Ａ”、“領域Ｂ”という表記になっているが、具体的には”領域Ａ”には、「出勤時間の記録処理」と表示される。また”領域Ｂ”には、「退勤時間の記録処理」と表示される。なお処理情報の表記は、特定領域５１を示す枠の外でも中でもよい。また処理情報そのものでなく、処理情報を加工して、利用者がわかりやすい表示に変更してもよい。例えば、「出勤時刻を記録します」という表示が考えられる。
図３のように領域情報３１が設定されているとする。この場合には、図５に示すように、複数の特定領域５１が示された画像データ５２が表示される。

（ステップＳ１３：検出判定処理）
検出判定部２３は、ステップＳ１１で取得された画像データ５２における複数の特定領域５１のうちのいずれかの特定領域５１において対象物が検出されたか否かを判定する。実施の形態１では、対象物は体の一部又は特定の物等、どのようなものであっても構わない。実施の形態１では、対象物は手とする。対象物が手である場合には、検出判定部２３は、いずれかの特定領域５１に手がかざされたか否かを判定することになる。
検出判定部２３は、対象物が検出された場合には、処理をステップＳ１４に進める。一方、検出判定部２３は、対象物が検出されなかった場合には、処理をステップＳ１１に戻す。

具体的には、検出判定部２３は、複数の特定領域５１それぞれを対象の特定領域５１に設定する。検出判定部２３は、画像データ５２における対象の特定領域５１の部分画像を入力として、対象物を検出されるか否かを判定する。検出判定部２３は、領域情報３１の位置情報を参照することにより、各特定領域５１の位置を特定する。これにより、検出判定部２３は、画像データ５２から対象の特定領域５１の部分画像を切り出すことができる。
例えば、検出判定部２３は、画像を入力として対象物を検出する学習済みモデルに部分画像を入力することにより、対象の特定領域５１から対象物を検出する。また、検出判定部２３は、いわゆるパターンマッチングにより、対象の特定領域５１から対象物を検出してもよい。

（ステップＳ１４：処理実行処理）
処理実行部２４は、複数の特定領域５１のうちのどの特定領域５１で対象物が検出されたかに応じて異なる処理を実行する。
具体的には、処理実行部２４は、領域情報３１を参照して、対象物が検出された特定領域５１に対応する処理を特定する。図３のように領域情報３１が設定されているとする。この場合には、処理実行部２４は、対象物である手が特定領域５１Ａで検出された場合には、出勤時刻の記録処理を実行する。つまり、処理実行部２４は、特定領域５１Ａに手がかざされると、出勤時刻を記録する。また、処理実行部２４は、対象物である手が特定領域５１Ｂで検出された場合には、退勤時刻の記録処理を実行する。つまり、処理実行部２４は、特定領域５１Ｂに手がかざされると、退勤時刻を記録する。

なお、処理実行部２４は、実行した処理を利用者に通知してもよい。具体的には、処理実行部２４は、実行した処理内容を操作端末４０に表示してもよい。例えば、処理実行部２４は、出勤時刻を記録した場合には、“出勤時刻を記録しました”というメッセージを操作端末４０に表示してもよい。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る処理実行装置１０は、カメラ４１によって取得された画像データ５２における複数の特定領域５１のうちのどの特定領域５１で対象物が検出されたかに応じて異なる処理が実行される。これにより、カメラ４１を用いて簡便に非接触で処理の指示を受け付けることが可能である。

実施の形態１に係る処理実行装置１０は、特定領域５１の数を任意に設定することができる。これにより、処理実行装置１０により操作したい機器に応じて、適切な処理の割り当てを行うことが可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、処理実行装置１０が対象物を検出した。しかし、操作端末４０が対象物を検出してもよい。操作端末４０がＰＣのように処理を実行可能な装置である場合には、操作端末４０に処理実行装置１０が内包されるように構成してもよい。その場合は、図４で示した、画像取得処理、表示処理、検出判定処理及び処理実行処理が全て操作端末４０内で実行され、データの送受信処理は機能構成要素間の情報の受渡しとして処理される。
操作端末４０と処理実行装置１０との一体化により、画像データ５２に関して、以下変形例が可能となる。実施の形態１では、カメラ４１で撮影された最新フレームである画像データ５２を取得して特定領域５１で対象物が検出されたとき、領域情報３１に定められた処理情報により処理を実行するとした。しかし画像データ５２は、カメラ４１からリアルタイムで取得するものだけではなく、ストレージ１３に記憶された過去に撮影されたものであってもよい。また画像データ５２は、他の処理装置（図示せず）から処理実行装置に受け渡されるものであってもよい。このような構成により、リアルタイムに処理が実行できない場合や実行する必要がない場合にも適用可能となる。

また、操作端末４０がＰＣのように処理を実行可能な装置である場合には、操作端末４０が処理実行装置１０の一部の処理を行う構成であってもよい。
例えば、処理実行装置１０に代わって操作端末４０が対象物を検出してもよい。図４を参照してこの場合の処理を具体的に説明する。ステップＳ１１で操作端末４０は、画像データ５２に代えて検出結果を処理実行装置１０に送信する。検出結果は、各特定領域５１について対象物が検出されたか否かを示す。ステップＳ１２で操作端末４０は画像データ５２に複数の特定領域５１等を示して表示する。ステップＳ１３で検出判定部２３は、検出結果に基づき、複数の特定領域５１のうちのいずれかの領域において対象物が検出されたか否かを判定する。ステップＳ１４で処理実行部２４は、検出結果に基づき、どの特定領域５１で対象物が検出されたかを特定する。そして、処理実行部２４は、対象物が検出された特定領域５１に応じた処理を実行する。

また、例えば、操作端末４０が、領域情報３１を記憶しておき、処理実行装置１０に代わって操作端末４０が、どの処理を実行するかを特定してもよい。つまり、操作端末４０は、領域情報３１を参照して、特定領域５１で対象物が検出されたかを特定し、どの処理を実行するかを特定する。この場合には、操作端末４０は、検出結果に実行する処理の識別情報を含める。ステップＳ１４で処理実行部２４は、検出結果に含まれた識別情報が示す処理を実行する。

＜変形例２＞
処理実行装置１０は、複数の操作端末４０と接続されていてもよい。この場合には、領域情報３１は、操作端末４０毎に、複数の特定領域５１それぞれについて、位置情報と、処理情報とを含む。そして、図４に示す処理が、複数の操作端末４０それぞれを対象の操作端末４０として実行される。ステップＳ１２及びステップＳ１３では、対象の操作端末４０に対応する位置情報が用いられる。また、ステップＳ１４では、対象の操作端末４０に対応する処理情報が用いられる。

＜変形例３＞
実施の形態１では、処理実行システム１００が勤怠管理に利用される例を用いて説明した。しかし、処理実行システム１００は、勤怠管理に限らず、様々な機器又はシステムに利用可能である。
例えば、飲食店等での発注システムに利用することが考えられる。この場合には、特定領域５１毎に注文する商品を割り当てることが考えられる。例えば、特定領域５１Ａにはお茶、特定領域５１Ｂにはコーヒーが割り当てられる。これにより、特定領域５１Ａに手がかざされると、お茶が注文され、特定領域５１Ｂに手がかざされると、コーヒーが注文される。

＜変形例４＞
実施の形態１では、全ての特定領域５１に処理が割り当てられていた。しかし、複数の特定領域５１のうちいずれか１つの特定領域５１にのみ処理を割り当てておいてもよい。
図６を参照して具体例を説明する。ここでは、処理実行システム１００が扉の解錠システムに利用されているとする。図６では、６個の特定領域５１が示されている。このうち、事前に設定された特定領域５１Ｘに対して手がかざされた場合にのみ、処理実行部２４は扉を解錠する処理を実行する。一方、他の特定領域５１に手がかざされても、処理実行部２４は扉を解錠する処理を実行しない。これにより、どの特定領域５１に扉を解錠する処理が割り当てられている利用者だけが扉を解錠できる。
なお、他の特定領域５１に連続して基準回数以上手がかざされた場合には、警備室等に通知を行ってもよい。この際、手がかざされたときの画像データ５２を警備室に送ってもよい。手がかざされたときの画像データ５２には、手をかざしている人の顔等が映っている可能性がある。

＜変形例５＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例５として、各機能構成要素はハードウェアで実現されてもよい。この変形例５について、実施の形態１と異なる点を説明する。

図７を参照して、変形例５に係る処理実行装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、処理実行装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例６＞
変形例６として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、検出された対象物の向きに応じて異なる処理を実行する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊動作の説明＊＊＊
図８を参照して、実施の形態２に係る領域情報３１を説明する。
領域情報３１は、複数の特定領域５１それぞれについて、位置情報と、向きと、処理情報とを含む。向きは、対象物の向きである。対象物が手の場合には、対象物の向きは、手の先がどちらを向いているかを意味する。
図８では、特定領域５１Ａにはお茶の注文に関する処理が割り当てられている。特定領域５１Ａについて向きが上の場合には、注文数を１増やす処理が割り当てられている。特定領域５１Ａについて向きが下の場合には、注文数を１減らす処理が割り当てられている。特定領域５１Ｂにはコーヒーの注文に関する処理が割り当てられている。特定領域５１Ｂについて向きが上の場合には、注文数を１増やす処理が割り当てられている。特定領域５１Ｂについて向きが下の場合には、注文数を１減らす処理が割り当てられている。特定領域５１Ｃには、向きに関わらず、注文の確定処理が割り当てられている。

図４を参照して、実施の形態２に係る処理実行装置１０の処理の流れを説明する。
ステップＳ１１及びステップＳ１２の処理は、実施の形態１と同じである。

（ステップＳ１３：検出判定処理）
検出判定部２３は、ステップＳ１１で取得された画像データ５２における複数の特定領域５１のうちのいずれかの特定領域５１において対象物が検出されたか否かを判定する。検出判定部２３は、対象物が検出された場合には、対象物の向きを特定する。対象物の向きは、対象物の検出と合わせて学習済みモデルにより行うことが考えられる。

（ステップＳ１４：処理実行処理）
処理実行部２４は、複数の特定領域５１のうちのどの特定領域５１で対象物が検出されたかに加えて、対象物がどの向きかに応じて異なる処理を実行する。
具体的には、処理実行部２４は、領域情報３１を参照して、対象物が検出された特定領域５１と、検出された対象物の向きとに対応する処理を特定する。図８のように領域情報３１が設定されているとする。この場合には、特定領域５１Ａに上向きの手がかざされると、お茶の注文数が１つ増える。特定領域５１Ａに下向きの手がかざされると、お茶の注文数が１つ減る。同様に、特定領域５１Ｂに上向きの手がかざされると、コーヒーの注文数が１つ増える。特定領域５１Ｂに下向きの手がかざされると、コーヒーの注文数が１つ減る。特定領域５１Ｃに手がかざされると、注文が確定される。例えば、特定領域５１Ａに上向きの手が３回かざされ、特定領域５１Ｂに上向きの手が２回かざされた後に、特定領域５１Ｃに手がかざされると、お茶３つとコーヒー２つの注文が確定される。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る処理実行装置１０は、検出された対象物の向きに応じて異なる処理を実行する。これにより、実施の形態１に比べ、より柔軟な操作が可能になる。

＊＊＊他の構成＊＊＊
＜変形例７＞
実施の形態２では、実施の形態１との組合せであったため、特定領域５１が複数存在することが前提であった。しかし、特定領域５１は１つだけでもよい。この場合には、図４のステップＳ１４で処理実行部２４は、検出された対象物の向きにのみ応じた処理を実行する。

＜変形例８＞
実施の形態２では、対象物の向きに応じて異なる処理が実行された。対象物の種類に応じて異なる処理が実行されてもよい。例えば、対象物が複数の種類の札であるとする。図４のステップＳ１３では、検出判定部２３は、複数の特定領域５１のうちのいずれかの特定領域５１においていずれかの札が検出されたか否かを判定する。図４のステップＳ１４では、処理実行部２４は、複数の特定領域５１のうちのどの特定領域５１で対象物が検出されたかに加えて、どの種類の札が検出されたかに応じて異なる処理を実行する。この際、処理実行部２４は、対象物の向きにも応じて異なる処理を実行してもよい。

この場合には、図９に示すように、領域情報３１は、複数の特定領域５１それぞれについて、位置情報と、種類と、処理情報とを含む。向きを考慮する場合には、領域情報３１は、複数の特定領域５１それぞれについて、位置情報と、向きと、種類と、処理情報とを含む。
図９では、特定領域５１Ａにはお茶の注文に関する処理が割り当てられている。特定領域５１Ａについて種類１の札の場合には、注文数を１増やす処理が割り当てられている。特定領域５１Ａについて種類２の札の場合には、注文数を１減らす処理が割り当てられている。特定領域５１Ｂにはコーヒーの注文に関する処理が割り当てられている。特定領域５１Ｂについて種類１の札の場合には、注文数を１増やす処理が割り当てられている。特定領域５１Ｂについて種類２の札の場合には、注文数を１減らす処理が割り当てられている。特定領域５１Ｃには、札の種類に関わらず、注文の確定処理が割り当てられている。

なお、変形例７と同様に、特定領域５１は１つだけでもよい。この場合には、図４のステップＳ１４で処理実行部２４は、検出された対象物の種類のみに応じた処理を実行する。

実施の形態３．
実施の形態３は、顔認証を行う点が実施の形態１，２と異なる。実施の形態では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３では、実施の形態１に変更を加えた場合を説明する。しかし、実施の形態２に変更を加えることも可能である。

＊＊＊構成の説明＊＊＊
図１０を参照して、実施の形態３に係る処理実行装置１０の構成を説明する。
処理実行装置１０は、機能構成要素として、顔認証部２５を備える点が図２に示す処理実行装置１０と異なる。顔認証部２５の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。

＊＊＊動作の説明＊＊＊
図１１を参照して、実施の形態３に係る処理実行装置１０の処理の流れを説明する。
図１１に示す処理の前提として、処理実行装置１０のストレージ１３には１人以上の利用者それぞれの顔の画像が利用者属性情報と対応付けられた照合画像として記憶されている。また顔認証について、虹彩認証としてもよく、その場合は利用者の目の虹彩模様が判別できる画像を照合画像として記憶する。以下の説明で顔認証には、虹彩認証を含むものとする。

ステップＳ２１からステップＳ２２の処理は、図４のステップＳ１１からステップＳ１２の処理と同じである。ステップＳ２４からステップＳ２５の処理は、図４のステップＳ１３からステップＳ１４の処理と同じである。

（ステップＳ２３：顔認証処理）
顔認証部２５は、ステップＳ２１で取得された画像データ５２に含まれる顔画像に基づき認証を行う。
具体的には、顔認証部２５は、画像データ５２から顔を検出する。顔の検出は、例えば、画像を入力として顔を検出する学習済みモデルに部分画像を入力することにより実現される。顔認証部２５は、検出された顔部分の画像である顔画像と、１人以上の利用者それぞれの照合画像とを比較する。顔認証部２５は、類似度が基準以上の照合画像があったか否かを判定する。顔認証部２５は、類似度が基準以上の照合画像があった場合には、認証が成功したと判定する。一方、顔認証部２５は、類似度が基準以上の照合画像がなかった場合には、認証が失敗したと判定する。
顔認証部２５は、認証が成功した場合には、照合画像に対応する利用者を特定する。なお、類似度が基準以上の照合画像が複数あった場合には、最も類似度が高い照合画像に対応する利用者を特定する。そして、顔認証部２５は、処理をステップＳ２４に進める。一方、顔認証部２５は、認証が失敗した場合には、処理をステップＳ２１に戻す。

（ステップＳ２６：履歴記憶処理）
処理実行部２４は、ステップＳ２４で実行した処理内容と、ステップＳ２３で特定された利用者とを対応付けて履歴としてストレージ１３に書き込む。例えば、処理実行システム１００が勤怠管理に利用されるとする。この場合には、図１２に示すように、各利用者の出勤時刻と退勤時刻とが記録されることになる。

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る処理実行装置１０は、顔認証を行う。処理実行装置１０は、カメラ４１で取得された画像データ５２を用いて処理の指示を受け付ける。そのため、処理の指示をする際に、併せて顔認証を行うことが可能である。これにより、適切な利用者だけが処理を指示できるようにすることが可能である。

また、処理を指示した利用者を特定することが可能である。そのため、勤怠管理のように利用者を特定する必要があるシステムに処理実行システム１００が利用される場合には、別途利用者を特定する必要がなくなる。

実施の形態３の機能を、変形例４に記載された解錠の例と合わせることが考えられる。これにより、顔認証に成功し、かつ、どの特定領域５１に扉を解錠する処理が割り当てられているかを知る利用者だけが扉を解錠できる。

＜変形例９＞
以上の説明では、特定領域５１の位置は固定されていた。しかし、特定領域５１は、画像データ５２に含まれる顔の位置に応じて決定されてもよい。この場合には、図１３に示すように、領域情報３１は、位置情報として、顔の位置を基準とした位置が設定される。顔の位置は、顔の検出枠の位置である。図１３では、特定領域５１Ａは、顔の検出枠の左上に、顔の検出枠の１．５倍の大きさで表示されるように設定されている。特定領域５１Ｂは、顔の検出枠の右上に、顔の検出枠の１．５倍の大きさで表示されるように設定されている。
利用者の位置又は身長等によっては、特定領域５１に対象物をかざしづらい可能性がある。顔の位置を基準とすることにより、利用者が対象物をかざしやすい位置に特定領域５１を設定することが可能である。

実施の形態４．
実施の形態４は、対象物が利用者を識別する識別情報を含む点が実施の形態３と異なる。実施の形態４では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図１４を参照して、実施の形態３に係る処理実行装置１０の構成を説明する。
処理実行装置１０は、機能構成要素として、二次認証部２６を備える点が図１０に示す処理実行装置１０と異なる。二次認証部２６の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。

＊＊＊動作の説明＊＊＊
図１５を参照して、実施の形態４に係る処理実行装置１０の処理の流れを説明する。
実施の形態４では、対象物は、利用者の識別情報を記録した二次元コードであるとする。これに限らず、対象物は、利用者の識別情報を示す社員証等であってもよい。

ステップＳ３１からステップＳ３４の処理は、図１１のステップＳ２１からステップＳ２４の処理と同じである。ステップＳ３６からステップＳ３７の処理は、図１１のステップＳ２５からステップＳ２６の処理と同じである。

（ステップＳ３５：二次認証処理）
二次認証部２６は、ステップＳ３４で検出された対象物に含まれる識別情報が示す利用者が、顔画像から特定される利用者と一致するか否かを判定する。
具体的には、二次認証部２６は、ステップＳ３４で検出された対象物から識別情報を抽出する。ここでは、二次認証部２６は、二次元コードを読み取ることにより、識別情報を抽出する。二次認証部２６は、識別情報が示す利用者を特定する。二次認証部２６は、特定された利用者が、ステップＳ３３で特定された利用者と一致するか否かを判定する。
二次認証部２６は、一致する場合には、処理をステップＳ３６に進める。一方、二次認証部２６は、一致しない場合には、処理をステップＳ３１に戻す。

＊＊＊実施の形態４の効果＊＊＊
以上のように、実施の形態４に係る処理実行装置１０は、顔認証に加えて、対象物に含まれる識別情報による認証を行う。これにより、利用者をより適切に識別可能である。

＜変形例１０＞
変形例８では、対象物の種類に応じて異なる処理が実行されるとした。対象物として、識別情報を含まない第１物と、識別情報を含む第２物とを設定してもよい。そして、第１物がかざされた場合と、第２物がかざされた場合とで異なる処理が実行されてもよい。
例えば、第１物を手とし、第２物を二次元コードとする。そして、手をかざすと部屋の中の人を呼ぶ処理が実行される。二次元コードをかざすと扉を解錠する処理が実行される。これにより、二次元コードが示された社員証等を忘れた利用者は、扉を開けることはできないが、中の人を呼ぶことができる。

＜変形例１１＞
実施の形態４では、ステップＳ３５において、ステップＳ３３で認証された顔画像と対応付けられた利用者と、ステップＳ３４で検出された識別情報が示す利用者とが一致するか否かを判定した。しかし、ステップＳ３３の処理を省略し、ステップＳ３４で識別された識別情報および利用者属性情報と、予めストレージ１３に記憶された識別情報と利用者属性情報とが一致するかをステップＳ３５で判定するように構成してもよい。なお利用者属性情報とは、利用者氏名、社員番号等を示す。

なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１００ 処理実行システム、１０ 処理実行装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 画像取得部、２２ 表示部、２３ 検出判定部、２４ 処理実行部、２５ 顔認証部、２６ 二次認証部、３１ 領域情報、４０ 操作端末、４１ カメラ、５１ 特定領域、５２ 画像データ、９０ 伝送路。

Claims (10)

1. 画像データにおける複数の特定領域のうちのいずれかの特定領域において、利用者を識別する識別情報を含む対象物が検出されたか否かを判定する検出判定部と、
   前記画像データに含まれる顔画像に基づき認証を行う顔認証部と、
   前記検出判定部によって検出された前記対象物に含まれる前記識別情報が示す利用者が、前記顔認証部によって前記顔画像から特定された利用者と一致するか否かを判定する二次認証部と、
   前記二次認証部によって一致すると判定された場合に、前記複数の特定領域のうちのどの特定領域で前記対象物が検出されたかに応じて異なる処理を実行する処理実行部と
   を備える処理実行装置。
2. 前記処理実行部は、検出された前記対象物の向きに応じて異なる処理を実行する
   請求項１に記載の処理実行装置。
3. 前記処理実行部は、検出された前記対象物の種類に応じて異なる処理を実行する
   請求項１又は２に記載の処理実行装置。
4. 前記複数の特定領域の位置は、前記画像データに含まれる顔の位置に応じて決定される請求項１から３までのいずれか１項に記載の処理実行装置。
5. 前記処理実行装置は、さらに、
   前記画像データに前記複数の特定領域を示して表示する表示部
   を備える請求項１から４までのいずれか１項に記載の処理実行装置。
6. コンピュータが、画像データにおける複数の特定領域のうちのいずれかの特定領域において、利用者を識別する識別情報を含む対象物が検出されたか否かを判定し、
   コンピュータが、前記画像データに含まれる顔画像に基づき認証を行い、
   コンピュータが、検出された前記対象物に含まれる前記識別情報が示す利用者が、前記顔画像から特定された利用者と一致するか否かを判定し、
   コンピュータが、利用者が一致すると判定された場合に、前記複数の特定領域のうちのどの特定領域で前記対象物が検出されたかに応じて異なる処理を実行する処理実行方法。
7. 画像データにおける複数の特定領域のうちのいずれかの特定領域において、利用者を識別する識別情報を含む対象物が検出されたか否かを判定する検出判定処理と、
   前記画像データに含まれる顔画像に基づき認証を行う顔認証処理と、
   前記検出判定処理によって検出された前記対象物に含まれる前記識別情報が示す利用者が、前記顔認証処理によって前記顔画像から特定された利用者と一致するか否かを判定する二次認証処理と、
   前記二次認証処理によって一致すると判定された場合に、前記複数の特定領域のうちのどの特定領域で前記対象物が検出されたかに応じて異なる処理を実行する処理実行処理とを行う処理実行装置としてコンピュータを機能させる処理実行プログラム。
8. 前記処理実行処理は、検出された前記対象物の向きに応じて異なる処理を実行する
   請求項７に記載の処理実行プログラム。
9. 前記処理実行処理は、検出された前記対象物の種類に応じて異なる処理を実行する
   請求項７又は８に記載の処理実行プログラム。
10. 前記複数の特定領域の位置は、前記画像データに含まれる顔の位置に応じて決定される請求項７から９までのいずれか１項に記載の処理実行プログラム。

Images