以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
例えば、実施形態でいう「部」又は「装置」とは単にハードウェアによって機械的に実現される物理的構成に限らず、その構成が有する機能をプログラムなどのソフトウェアにより実現されるものも含む。また、1つの構成が有する機能が2つ以上の物理的構成により実現されても、又は2つ以上の構成の機能が例えば1つの物理的構成によって実現されていてもかまわない。
図1は、本開示の実施形態の認証システム5の構成例を示すブロック図である。認証システム5は、ゲートカメラ10、ディスプレイ20、プレカメラ30、及びサーバ装置100を備える。ゲートカメラ10及びディスプレイ20は、例えばゲート50又はゲート50の周辺に設置される。
各ゲート50のゲートカメラ10及びディスプレイ20は、サーバ装置100に有線又は無線で通信可能に接続される。プレカメラ30は、サーバ装置100に有線又は無線で通信可能に接続される。なお、ゲートカメラ10、ディスプレイ20、プレカメラ30、及びサーバ装置100は、有線又は無線のネットワークを構成してそれぞれが通信可能に接続されてもよい。
ゲートカメラ10は、各種の被写体を撮像し、ゲート50(ゲート50が設置された地点)を通過する人物を撮像する。ディスプレイ20は、各種データや情報を表示する。ディスプレイ20は、例えば、ゲート50を通過する人物又はゲート50の周辺に所在する人物に対して、各種データや情報を表示する。
プレカメラ30は、例えばゲート50よりも上流側に設置される。例えば、ゲート50が所定のエリアARに設置される場合、エリアARの入場口よりも手前にプレカメラ30が設置される。例えば所定の施設内に所定のエリアARがある場合、施設入場口にプレカメラ30が設置され、エリアARの入場口にゲートカメラ10が設置される。プレカメラ30の撮像範囲に含まれるゲート上流位置(ゲート50よりも上流側の所定の位置)を通った人物は、ゲート50を通ることが想定される。また、ゲート上流位置を通った人物の組み合わせで、つまり同じ人物の組み合わせのグループで、ゲート50を通ることが想定される。また、ゲート上流位置を通った各人物の順番で、各人物が同じ時間間隔で、ゲート50を通ることが想定される。
サーバ装置100は、認証システム5における各装置を管理する。サーバ装置100は、ゲート50のゲートカメラ10、ディスプレイ20、及びプレカメラ30の動作を制御する。例えば、サーバ装置100は、ゲートカメラ10の各種設定をゲートカメラ10に対して指示したり、ゲートカメラ10により撮像された画像を取得したりする。例えば、サーバ装置100は、ディスプレイ20の各種設定をディスプレイ20に対して指示したり、ディスプレイ20により表示される情報(例えば警告情報、画像、案内情報)をディスプレイ20に送信したりする。例えば、サーバ装置100は、プレカメラ30の各種設定をプレカメラ30に対して指示したり、プレカメラ30により撮像された画像を取得したりする。
サーバ装置100は、認証システム5における各装置と連携して、ゲート50が設置されたエリアARの内部又は周辺に所在する人物を管理する。サーバ装置100は、ゲート50を通過する人物を個別に管理し、ゲート50を通過する複数の人物をグループとしても管理する。
サーバ装置100は、ゲートカメラ10から取得された画像に基いて画像に映り込んだ人物の認証を行う。サーバ装置100は、プレカメラ30から取得された画像に基いて画像に映り込んだ人物の認証を行う。ここでの認証結果は、成功(OK)又は失敗(NG)を含む。サーバ装置100は、認証用の閾値THに基づいて認証を行ってよい。認証用の閾値THは可変である。つまり、サーバ装置100は、閾値THの調整によって人物の認証の厳密さを調整可能である。サーバ装置100は、任意の位置に設置されてよく、例えばゲート50や認証システム5を管理する管理センタに設置されてよい。
図2Aは、ゲート50に設置されたゲートカメラ10及びディスプレイ20の第1設置例を示す図である。図2Aでは、ゲート50のフレームの中央部にディスプレイ20が設置され、ディスプレイ20の水平方向に沿う両側に、ゲートカメラ10が設置されている。ゲート50は、所定のエリアARに設置され、エリアARの入退場口やエリアAR内に設置される。エリアARは、所定の空間的なエリアであり、例えばアミューズメントパークである。ゲート50は、例えば、アミューズメントパークの入退場口やアトラクションの入退場口に設置されたゲートである。なお、ゲート50の形状は、第1設置例に示した形状に限らず、他の形状であってもよい。例えば、ゲート50の形状は、奥行きのあるトンネル型の形状(図2B参照)であったり、天井や人物が移動する通路の情報に設置された支持部材からゲートカメラ10及びディスプレイ20が吊り下げられている天吊り型の形状(図2C参照)であったりしてよい。また、ゲート50という形式に限られず、所定の地点における人物の生体特徴データ又は生体特徴データの元となるデータを取得可能であればよい。例えば、ゲートカメラ10及びディスプレイ20は、キャスター等で移動可能なディスプレイ20に、所定の地点を通行する人物を撮像するゲートカメラ10を備えた形状(図2D参照)であってもよい。
ゲート50は、複数人(例えば多人数)が同時に通過可能なスーパーワイドゲート(SWG:Super Wide Gate)である。ゲート50では、様々な人物が通過可能である。例えば、大人、子供(例えば幼児)、マスクを装着した人物、又はマスクを装着していない人物が、ゲート50を通過可能である。ゲート50を通過する人物は、サーバ装置100によって、個別に認証されたりグループで認証されたりする。
例えば、単一の人物が個別に認証(個別認証)が成功すると、個別認証結果OKであり、個別認証が失敗すると、個別認証結果NGである。複数の人物の属するグループでの認証(グループ認証)が成功すると、グループ認証結果OKであり、グループ認証が失敗すると、グループ認証結果NGである。例えば、予め登録されたグループ(登録グループ)に属する複数の人物の全員が認証に成功すると、グループ認証に成功する。例えば、登録グループに属する複数の人物の少なくとも1人が認証に失敗すると、グループ認証に失敗する。なお、グループ認証が成功するためには、登録グループに属する複数の人物の全員が同時に認証に成功することが必須であってもよい。
なお、グループは、例えば家族、友人又はその他の単位であり、大人と子供とを含んでよい。一般的に、子供は顔等の特徴量が少なく、認証に失敗する確率が高い。一方、大人は顔等の特徴量が多く、認証に成功する可能性が高い。そのため、子供を大人と紐づけてグループ化してグループ認証することで、子供の動向を把握し易くなるという利点がある。
図3は、サーバ装置100の構成例を示すブロック図である。
サーバ装置100は、プロセッサ110と、メモリ120と、通信デバイス130と、を含む構成である。サーバ装置100は、所定の処理を行うサーバとして動作してもよいし、PCのように操作デバイスや表示デバイスを備えて、所定の処理を行うに際し、管理者からの操作の受け付けや管理者に対する表示を行ってもよい。
プロセッサ110は、MPU(Micro processing Unit)、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphical Processing Unit)等を含んでよい。プロセッサ110は、各種集積回路(例えばLSI(Large Scale Integration)、FPGA(Field Programmable Gate Array))により構成されてもよい。プロセッサ110は、メモリ120に保持されたプログラムを実行することで、各種機能を実現する。プロセッサ110は、サーバ装置100の各部を統括的に制御し、各種処理を行う。
メモリ120は、一次記憶装置(例えばRAM(Random Access Memory)又はROM(Read Only Memory))を含む。メモリ120は、二次記憶装置(例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive))又は三次記憶装置(例えば光ディスク又はSDカード)等を含んでよい。また、メモリ120は、外部記憶媒体であり、サーバ装置100に対して着脱可能であってよい。メモリ120は、各種データ、情報又はプログラム等を記憶する。メモリ120は、例えば、後述する登録グループ情報I1、グループリストGL、及びゲート通過情報I2を保持する。
図4は、登録グループ情報I1の一例を示す図である。登録グループ情報I1は、予め登録されたグループに関する各種情報を含む。登録グループ情報I1は、例えば、グループの識別情報(グループID)、グループに属する各人物の識別情報(名前やID)、グループに属する各人物の属性、及びグループに属する各人物の顔画像、が含まれる。人物の顔画像は、人物の生体特徴データの一例であり、人物の認証に用いられる。人物の属性は、大人又は子供のどちらであるか、又はマスクの装着の有無等を含む。
図3に戻り、通信デバイス130は、有線又は無線による通信方式に従って、各種データ又は情報等を通信する。通信デバイス130は、通信方式は、WAN(Wide Area Network)、LAN(Local Area Network)、携帯電話用のセルラー通信(例えばLTE、5G)、又は電力線通信等であってもよい。
通信デバイス130は、ゲートカメラ10、ディスプレイ20、プレカメラ30、及びその他の通信装置と通信可能である。例えば、通信デバイス130は、プレカメラ30からプレカメラ30により撮像された画像(プレ画像)を受信してよい。通信デバイス130は、ゲートカメラ10からゲートカメラ10により撮像された画像(ゲート画像)を受信してよい。通信デバイス130は、ディスプレイ20により表示される表示情報と表示指示とをディスプレイ20に送信してよい。
プロセッサ110は、機能構成として、第1認証制御部111、グループリスト処理部112、第2認証制御部113、及び認証部114、を備える。
第1認証制御部111は、通信デバイス130からプレ画像を取得する。第1認証制御部111は、プレ画像と、プレ画像を用いた人物の認証(プレ人物認証)の要求(プレ人物認証要求)(例えば顔認証要求)と、を認証部114に送信する。第1認証制御部111は、認証部114によるプレ人物認証の認証結果(プレ人物認証結果)を取得する。プレ人物認証結果には、プレ人物認証で認証された人物を識別する人物IDを取得する。第1認証制御部111は、プレ人物認証結果を含むプレ人物認証情報をグループリスト処理部112に送信する。プレ人物認証情報は、取得された人物IDとプレ人物認証が行われた認証時刻とを含む。この認証時刻は、プレ画像が撮像された撮像時刻に相当し、認証対象の人物がゲート上流位置を通過した通過時刻(プレ通過時刻)であってもよい。
グループリスト処理部112は、第1認証制御部111からプレ人物認証情報を取得し、プレ人物認証情報に基づいて、グループリストGLを生成する。グループリストGLは、ゲート上流位置を通過した人物を含むグループが順にリストアップされたものである。ゲート上流位置を通過した人物は、少なくともプレ人物認証が試みられている。
図5は、グループリストGLの一例である。グループリストGLは、プレ人物認証に成功した人物の人物IDと、この人物の認証時刻(プレ通過時刻)と、この人物が属する登録グループのグループIDと、を含む。また、グループリストGLは、この登録グループに属する他の人物の人物IDも含む。プロセッサ110は、グループリストGLを参照することで、どの時間帯にどの登録グループが通過したかを容易に把握できる。また、グループリストGLは、登録グループの各人物のプレ認証の認証結果(OK又はNG)を含んでもよい。
図3に戻り、第2認証制御部113は、通信デバイス130からゲート画像を取得する。第2認証制御部113は、ゲート画像と、ゲート画像を用いた人物の認証(ゲート人物認証)の要求(ゲート人物認証要求)(例えば顔認証要求)と、を認証部114に送信する。第2認証制御部113は、認証部114によるゲート人物認証の認証結果(ゲート人物認証結果)を取得する。ゲート人物認証結果には、ゲート人物認証で認証された人物を識別する人物IDを取得する。第2認証制御部113は、ゲート人物認証の認証結果に基づいて、各人物のゲート50の通過に関するゲート通過情報I2を生成する。第2認証制御部113は、ゲート通過情報I2を表示制御部115に送る。
図6は、ゲート通過情報I2の一例を示す図である。ゲート通過情報I2は、取得された人物IDと、ゲート人物認証が行われた認証時刻と、ゲート人物認証の個別認証結果(成功(OK)又は失敗(NG))と、人物IDの人物が属する登録グループを識別するグループIDと、ゲート人物認証での登録グループのグループ認証の認証結果(成功(OK)又は失敗(NG))と、を含む。この認証時刻は、ゲート画像が撮像された撮像時刻に相当し、画像に映り込んだ人物がゲート50を通過した時刻(ゲート通過時刻)に相当してよい。グループ認証結果は、登録グループに属する複数の人物の個別認証結果に基づいて決定される。例えば、登録グループに属する全ての人物の個別認証結果が成功である場合、グループ認証結果が成功となる。一方、登録グループに属する少なくとも1人の人物の個別認証結果が失敗である場合、グループ認証結果が失敗となる。また、ゲート通過情報I2は、ゲート50を通過した人物の顔画像(ゲート画像から検出された顔画像)を含んでもよい。また、ゲート通過情報I2は、人物IDに対応する表示名、グループIDに対応するグループ名、等を含んでよい。
認証部114は、メモリ120から登録グループ情報I1を取得する。認証部114は、閾値THを用いて画像に対して人物の認証を行う。例えば、認証部114は、画像から生体特徴データ(例えば人物の顔の画像部分)を検出し、検出された生体特徴データと、登録グループ情報I1に保持された生体特徴データ(例えば顔画像)との類似度を算出する。認証部114は、算出された類似度が閾値TH以上である場合、認証成功と判定する。認証部114は、算出された類似度が閾値TH未満である場合、認証失敗と判定する。なお、生体特徴データが人物の顔ではなく他の生体特徴データ(例えば人物指紋)でもよく、他の生体特徴データを用いて人物を認証してもよい。認証された結果(認証結果)には、閾値THを用いて認証に成功した(認証結果OK)か失敗した(認証結果NG)かを示す情報を含んでよい。また、認証結果は、画像から認証された人物の人物IDを含んでよい。認証部114は、プレ人物認証及びゲート人物認証を行う。認証部114は、ゲート人物認証を複数回行ってもよい。なお、認証部114は、プレ人物認証とゲート人物認証とにおいて、同じ認証アルゴリズムを用いてよい。
認証部114は、認証用の閾値THを決定する。例えば、認証の種別に応じて、閾値THを決定してよい。認証の種別とは、プレ人物認証かゲート人物認証かを示す。例えば、認証部114は、認証がプレ人物認証である場合、閾値THを閾値TH1に決定してよい。認証部114は、認証がゲート人物認証である場合、閾値THを閾値TH1又は閾値TH2に決定してよい。例えば、閾値TH1は、厳格な認証に用いる閾値(標準的な閾値)である。例えば、閾値TH2は、閾値TH1よりも小さく、認証成功し易く、非厳格な認証に用いる閾値である。閾値TH2は、例えば子供用(例えば乳児用)の閾値である。認証部114は、例えば、人物の属性に応じて閾値THを調整可能である。人物の属性は、例えば、子供であるか大人であるかの情報、マスクを装着しているか装着していないかの情報を含む。人物の属性の情報は、例えば、認証部114によるゲート人物認証時にゲート画像から検出された生体特徴データに基づいて判別されてもよいし、登録グループ情報I1から取得されてもよい。
認証部114は、第1認証制御部111からプレ画像とプレ人物認証要求とを取得する。認証部114は、プレ人物認証要求に従って、閾値TH1を用いて、プレ画像に対して認証(プレ人物認証)(例えば顔認証)を行い、プレ人物認証結果を得る。プレ人物認証では、標準的な閾値TH1を用いることで、厳格な認証が可能である。認証部114は、プレ人物認証結果を第1認証制御部111に送る。
認証部114は、第2認証制御部113からゲート画像とゲート人物認証要求とを取得する。認証部114は、ゲート人物認証要求に従って、閾値TH1又は閾値TH2を用いて、ゲート画像に対して認証(ゲート人物認証)(例えば顔認証)を行い、ゲート人物認証結果を得る。ゲート人物認証では、標準的な閾値TH1を用いた場合には厳格な認証が可能であり、閾値TH2を用いた場合には厳格さが緩和された認証が可能である。認証部114は、ゲート人物認証結果を第2認証制御部113に送る。
認証部114は、ゲート人物認証では、登録グループに属する各人物について同時に認証成功したかを判定する。認証部114は、登録グループの複数の人物の全員が認証成功した場合、登録グループのグループ認証に成功したと判定する。認証部114は、登録グループの一部の人物が認証に失敗した場合、登録グループのグループ認証に失敗したと判定する。認証部114は、グループ認証の認証結果も第2認証制御部113に送る。
認証部114は、ゲート人物認証において、認証方式に従って、認証対象の人物やグループの範囲を決定してよい。認証部114は、ゲート人物認証において、認証方式に従って、閾値を変更する対象の人物やグループの範囲を決定してよい。認証方式は、少なくとも第1認証方式と第2認証方式とを含むが、その他の認証方式があってもよい。第1認証方式と第2認証方式との詳細については後述する。
表示制御部115は、グループリスト処理部112やメモリ120からグループリストGLを取得する。表示制御部115は、第2認証制御部113やメモリ120からゲート通過情報I2を取得する。表示制御部115は、グループリストGL及びゲート通過情報I2の少なくとも1つに基づいて、表示情報(例えば案内情報、警告情報、その他の情報)を生成する。表示制御部115は、通信デバイス130を介してディスプレイ20に表示情報と表示指示とを送る。ディスプレイ20は、サーバ装置100から表示情報と表示指示とを受信すると、表示指示に従って表示情報に基づく表示を行う。
例えば、表示制御部115は、グループリストGLやプレ人物認証で認証結果NGであり、ゲート人物認証で個別認証結果OKとなった人物(例えば子供Ha)が存在する場合、この人物が属する登録グループ(例えば登録グループGA)を特定する。表示制御部115は、この登録グループに属する他の人物(例えば大人HA)のゲート50の通過状況を判定してよい。表示制御部115は、判定された通過状況を、通信デバイス130を介してディスプレイ20に表示させてよい。表示制御部115は、ゲート50の通過状況として、ゲート50を通過予定であることや通過済みであること等を示す案内情報を表示させてよい。また、ゲート50の通過状況として、通過済み時刻や通過済み時刻と現在時刻との差(例えば〇分前に通過済み)等の案内情報を表示させてよい。また、ゲート50の通過状況として、通過予定時刻や通過予定時刻と現在時刻との差(例えば〇分後に通過予定)等の案内情報を表示させてよい。
表示制御部115は、ゲート通過情報I2を参照し、ゲート人物認証の個別認証又はグループ認証に成功した場合、個別認証又はグループ認証が成功したことを示す案内情報をディスプレイ20に表示させてよい。
表示制御部115は、ゲート通過情報I2を参照し、ゲート人物認証の個別認証又はグループ認証に失敗した場合、エラー処理や警告処理を実行してよい。エラー処理では、例えば、プロセッサ110が、ゲート50を閉じることで、ゲート人物認証に失敗した人物やこの人物が属するグループの各人物がゲート50を通過できないようにしてよい。警告処理では、表示制御部115は、通信デバイス130を介して、認証に失敗したことを示す情報、認証に失敗した人物に関する情報(例えば顔画像又はその他の特徴)等の警告情報をディスプレイ20に表示させてもよい。
なお、上記の警告情報や案内情報は表示以外の提示方法で提示されてもよい。例えば、プロセッサ110は、エリアARに設置されたスピーカによって警告情報や案内情報を提示させてもよい。
次に、認証システム5の動作例について説明する。
図7は、認証システム5の動作概要を説明するための図である。
ゲート50を通過する人物、つまりエリアARに入退場する人物は、一人でゲート50を通過してもよいし、他の人物とともにグループでゲート50を通過してもよい。ゲート50を通過する複数の人物を含むグループは、ゲート50を通過する前つまりエリアARに入場する前に、予め登録される。
同じ登録グループに属する複数の人物は、ゲート50をほぼ同時に通過する可能性が高い。しかし、例えば同じ登録グループに属する大人HAと子供Haや大人HBと子供Hbとが離れてしまった場合など、別々にゲート50を通過することもあり得る。また、ゲート50は、複数の人物が同時に通過可能であるので、異なる登録グループに属する複数の人物がほぼ同時に通過することもあり得る。この場合、ゲート50の通過時刻だけでは、同一の登録グループに属する人物であるかどうかを識別することは難しい。
図7では、ゲート50の上流側から下流側に向かって人物及びその人物を含むグループが移動する。ここでのグループは、登録グループとは異なる人物であることもあり得る。ゲート50の設置位置の上流側の位置に、プレカメラ30が設置されている。そのため、ゲート50に向かう人物及びグループは、ゲート上流位置を通った後、ゲート50を通過する。この場合、プレカメラ30の前を通過した1人以上の人物の組み合わせのまま、ゲート50を通過する可能性が高い。
図7では、登録グループGA、登録グループGB、登録グループGC、及び登録グループGDの順に、プレカメラ30の前(ゲート上流位置)を通過する。登録グループGAは、大人HA及び子供Haを含む。登録グループGBは、大人HB及び子供Hbを含む。登録グループGCは、大人HC及び子供Hcを含む。登録グループGDは、大人HD及び子供Hdを含む。ゲート上流位置を、登録グループ30GAが通過した5分後に登録グループGBが通過することを想定する。ゲート上流位置を、登録グループ30GBが通過した5分後に登録グループGCが通過することを想定する。ゲート上流位置を、登録グループ30GCが通過した1時間後に登録グループGDが通過することを想定する。
例えば、登録グループGAの各人物が撮像されたプレ画像に対するプレ人物認証により、大人HAの認証に成功し、子供Haの認証に失敗する。プレ人物認証では、閾値TH1が用いられる。同様に、登録グループGBの各人物が撮像されたプレ画像に対するプレ人物認証により、大人HBの認証に成功し、子供Hbの認証に失敗する。同様に、登録グループGCの各人物が撮像されたプレ画像に対するプレ人物認証により、大人HCの認証に成功し、子供Hcの認証に失敗する。同様に、登録グループGDの各人物が撮像されたプレ画像に対するプレ人物認証により、大人HDの認証に成功し、子供Hdの認証に失敗する。なお、プレ人物認証により大人の認証に失敗することもあり得るし、子供の認証に成功することもあり得る。
グループリスト処理部122は、プレ人物認証のプレ人物認証情報に基づいて、グループリストGLを生成する。認証部114は、グループリストGLに基づいて、登録グループの各人物が撮像されたゲート画像に対するゲート人物認証により、各人物を認証する。この場合、認証部114は、認証方式に従って、認証対象の人物やグループの範囲を決定してよい。
ここで、第1認証方式及び第2認証方式の詳細について説明する。
図8は、第1認証方式に従ったゲート人物認証時の閾値変更グループと認証対象グループの一例を示す図である。図9は、第1認証方式に従った変更前後の閾値THと各人物の認証結果の一例を示す図である。
第1認証方式では、認証部114は、プレ人物認証に成功した人物が属する登録グループがゲート上流位置を通過した時刻(プレ通過時刻)を基に、ゲート人物認証の対象となる認証対象グループGNと、閾値THを小さくする対象となる閾値変更グループGSと、を設定する。登録グループのプレ通過時刻は、登録グループに属する複数の人物のうち、ゲート上流位置を最初に通過した人物が通過時刻である。例えば、所定の登録グループのプレ通過時刻の前後で所定時間(例えば30分)以内に通過した登録グループが、認証対象グループGN及び閾値変更グループGSとなる。つまり、図8に示すように、認証部114は、グループリストGLに含まれる登録グループのうち、ゲート人物認証を行う登録グループの範囲を認証対象グループGNに限定し、閾値変更を行う登録グループの範囲を閾値変更グループGSに限定する。第1認証方式では、認証対象グループGNと閾値変更グループGSとは、同じ登録グループの範囲となる。図8では、登録グループGA,GB,GCが認証対象グループGN及び閾値変更グループGSに設定されている。
認証部114は、閾値変更グループGSの閾値TH、つまり閾値変更グループGSの各人物を認証する閾値THを、閾値TH2に設定する。よって、図9に示すように、例えば閾値TH2以上のスコア(例えば類似度)が得られた大人HB、子供Ha、子供Hb、及び子供Hcに対する認証に成功する。なお、グループリストGLに含まれる登録グループGZ,GDは、認証対象グループGN及び閾値変更グループGSに設定されていないので、ゲート人物認証が実施されない。
図10は、第2認証方式に従ったゲート人物認証時の閾値変更グループと認証対象グループの一例を示す図である。図11は、第2認証方式に従った変更前後の閾値THと各人物の認証結果の一例を示す図である。
第2認証方式では、認証部114は、プレ通過時刻を基に、閾値変更グループGSを設定する。一方、認証部114は、グループリストGLに含まれる登録グループの全グループを認証対象グループに設定する。例えば、所定の登録グループのプレ通過時刻の前後で所定時間(例えば30分)以内に通過した登録グループが、閾値変更グループGSとなる。一方、所定の登録グループのプレ通過時刻の前後で所定時間(例えば30分)以内に通過していない登録グループであっても、グループリストGLに登録されていれば認証対象グループGNであるので、ゲート人物認証の対象となる。つまり、図10に示すように、グループリストGLに含まれる登録グループのうち、閾値変更を行う登録グループの範囲を閾値変更グループGSに限定し、ゲート人物認証を行う登録グループの範囲を特に限定しない。第2認証方式では、認証対象グループGNの範囲は、閾値変更グループGSの範囲よりも広範囲となる。
図10では、登録グループGA,GB,GCが閾値変更グループGSに設定され、登録グループGZ,GA,GB,GC,GDが認証対象グループGNに設定される。一方、登録グループGZ,GDは、閾値変更グループGSに設定されない。
認証部114は、閾値変更グループGSの閾値THを閾値TH2に設定する。よって、登録グループGA,GB,GCの閾値THを閾値TH2に設定し、登録グループGZ,GDの閾値THを閾値TH1に設定する。よって、図11に示すように、子供Hd,Hxについては、スコアが閾値TH1未満であるので、ゲート人物認証に失敗する。子供Haについては、スコアが閾値TH2以上であるので、ゲート人物認証に成功する。つまり、子供Haよりも子供Hdの方がスコアが高いが、子供Hdについてはゲート人物認証に閾値TH1が適用されるので、認証失敗となる。
図12及び図13は、サーバ装置100の動作例を示すフローチャートである。なお、図12及び図13では、認証の一例として顔認証が行われることを示すが、他の認証でもよい。また、本実施形態では、ゲート50におけるゲート人物認証の認証方式が第1認証方式であることを例示するが、第2認証方式であってもよい。
まず、プレカメラ30は、画像を撮像し、プレ画像を得る。プレカメラ30は、プレ画像をサーバ装置100に送信する。
サーバ装置100では、通信デバイス130が、プレカメラ30からプレ画像を受信する(S11)。認証部114は、第1認証制御部111を介してプレ画像を取得し、プレ画像に対して人物検出(例えば顔検出)及び人物認証(例えば顔認証)を行う(S12)。つまり、認証部114は、プレ画像から1人以上の人物を検出し、プレ人物認証を行う。グループリスト処理部112は、プレ人物認証の認証結果を含むプレ人物認証情報と登録グループ情報I1とを基に、グループリストGLを生成する(S13)。
なお、認証部114は、プレ画像を順次取得し、グループリスト処理部112は、プレ人物認証情報を順次取得し、グループリストGLを順次更新し、ゲート上流位置を通過した登録グループをグループリストに順次追加してよい。生成や更新がされたグループリストGLは、メモリ120に保持される。サーバ装置100は、グループリストGLを生成することで、グループの関連性や通過時刻を把握できる。
ゲート上流位置を通過した人物は、プレカメラ30の下流側にあるゲート50に向かう。ゲートカメラ10は、画像を撮像し、ゲート画像を得る。ゲートカメラ10は、ゲート画像をサーバ装置100に送信する。
サーバ装置100では、通信デバイス130が、ゲートカメラ10からゲート画像を受信する(S14)。認証部114は、第2認証制御部113を介してゲート画像を取得し、ゲート画像に対して人物検出(例えば顔検出)及び人物認証(例えば顔認証)を行う(S15)。つまり、認証部114は、ゲート画像から1人以上の人物を検出し、ゲート人物認証を行う。第2認証制御部113は、ゲート人物認証の認証結果を含むゲート人物認証情報に基づいて、ゲート通過情報I2を生成する。
なお、認証部114は、ゲート画像を順次取得し、第2認証制御部113は、ゲート人物認証情報を順次取得して、ゲート通過情報I2を順次更新し、ゲート50を通過した人物や登録グループをゲート通過情報I2に順次追加してよい。生成や更新がされたゲート通過情報I2は、メモリ120に保持される。
認証部114は、メモリ120に保持されたグループリストGLを参照し、ゲート人物認証に成功した人物が属する登録グループのプレ通過時刻に近いプレ通過時刻を有する他の登録グループを特定する。プレ通過時刻は、例えば、その登録グループがグループリストGLにリストアップされた時刻に相当する。認証部114は、この登録グループと他の登録グループとを認証対象グループGN及び閾値変更グループGSに指定する(S16)。認証部114は、指定された認証対象グループGNに認証対象の登録グループの範囲を制限し、指定された閾値変更グループGSに対して閾値THを閾値TH1(例えば通常の閾値)から閾値TH2に小さくして設定して、ゲート人物認証を再度実行する(S17)。
なお、本実施形態では、ゲート画像の顔認証に成功した人物であれば特に条件を設けずに、認証対象グループGN及び閾値変更グループGSを指定するための起点として使用する形態を開示している。しかし、この形態に限定されず、ゲート画像の顔認証に成功した人物の中でもグループ認証に成功していない人物のみを、認証対象グループGN及び閾値変更グループGSを指定するための起点として使用するような形態であってもよい。
なお、ステップS17では、認証対象の登録グループの範囲を制限する第1認証方式について例示したが、これに限られない。認証部114は、認証対象の登録グループの範囲を制限しない第2認証方式に従って、ゲート人物認証を再度実行してもよい。
図13に進み、表示制御部115は、再度実行されたゲート人物認証(ゲート人物再認証)が成功したか否かを判定する(S21)。なお、上述のように、第1認証方式の場合には、認証対象グループGNが制限された範囲であり、この範囲でゲート人物認証が成功したか否かが判定される。第2認証方式の場合には、認証対象グループGNが制限されておらず、つまり認証対象の登録グループが特に制限されずに、ゲート人物認証が成功したか否かが判定される。
表示制御部115は、ゲート人物再認証に成功した場合(ステップS21のYes)、登録グループ情報I1を参照して、ゲート人物認証又はゲート人物再認証に成功した人物が属する登録グループを特定する。そして、表示制御部115は、特定された登録グループ(「特定登録グループ」とも称する)に属する人物(メンバー)(ステップS21でゲート人物再認証に成功した人物以外の他の人物(他メンバー))のうち、誰かが既にゲート50を通過済みであるか否かを判定する(S22)。なお、ここでの特定登録グループとして、複数の登録グループが含まれ得る。
なお、ステップS22において、誰かが既にゲート50を通過済みである場合には、1つの特定登録グループに属する複数の人物が、時間差を有して順番にゲート50を通過したことが考えられる。また、ステップS22において、誰も未だゲートを通過済みでない場合には、認証された人物が特定登録グループに属する複数の人物のうちの最初にゲート50を通過した人物であること、特定登録グループに属する複数の人物が同時にゲート50を通過したこと、等が考えられる。
誰かが既にゲート50を通過済みである場合(ステップS22のYes)、表示制御部115は、特定登録グループに属する人物全員が認証済み(ゲート人物認証又はゲート人物再認証が済み)であるか否かを判定する(S23)。
特定登録グループに属する人物全員が認証済みである場合(ステップS23のYes)、表示制御部115は、特定登録グループに属する他の人物(他メンバー)が、ゲート50を既に通過済みであることを示す情報をディスプレイ20に表示させる(S24)。表示制御部115は、ゲート通過情報I2に基づいて、特定登録グループに属する他メンバーがゲート50を通過した通過時刻を表示させてもよい(S24)。表示制御部115は、ゲート通過情報I2に基づいて、特定登録グループに属する他メンバーが何組前に通過したかを示す情報を表示させてもよい(S24)。表示制御部115は、ゲート通過情報I2に基づいて、既にゲート50を通過済みの人数を表示させてもよい(S24)。ここでの通過済みの人数は、ゲート50を通過した人物の総数であってもよいし、特定登録グループに属するメンバーのうちのゲート50を通過した人数であってもよい。表示制御部115は、登録グループ情報I1及びゲート通過情報I2に基づいて、既にゲート50を通過したメンバーの名前を表示させてよい(S24)。表示制御部115は、特定登録グループに属するメンバーの全員が認証済みとなったことを示す情報を表示させてもよい(S24)。
なお、表示制御部115は、情報を表示させる場合、通信デバイス130を介して表示対象の情報と表示指示とをディスプレイ20に送る。ディスプレイ20は、表示対象の情報と表示指示とを受信し、表示指示に従って、表示対象の情報を表示する。
一方、特定登録グループに属する少なくとも1人の人物が認証済みでない場合(ステップS23のNo)、表示制御部115は、特定登録グループに属する他の人物(他メンバー)が、ゲート50を既に通過済みであることを示す情報をディスプレイ20に表示させる(S25)。表示制御部115は、ゲート通過情報I2に基づいて、特定登録グループに属する他メンバーがゲート50を通過した通過時刻を表示させてもよい(S25)。表示制御部115は、ゲート通過情報I2に基づいて、特定登録グループに属する他メンバーが何組前に通過したかを示す情報を表示させてもよい(S24)。表示制御部115は、ゲート通過情報I2に基づいて、既にゲート50を通過済みの人数を表示させてもよい(S25)。ここでの通過済みの人数は、ゲート50を通過した人数の総数であってもよいし、登録グループに属するメンバーのうちのゲート50を通過した人数であってもよい。表示制御部115は、登録グループ情報I1及びゲート通過情報I2に基づいて、既にゲート50を通過したメンバーの名前を表示させてよい。表示制御部115は、登録グループ情報I1及びゲート通過情報I2に基づいて、特定登録グループに属する未認証の(つまりゲート人物認証又はゲート人物再認証により認証されていない)人数を示す情報を表示させてよい。
また、ステップS22において、特定登録グループに属する誰も未だゲート50を通過していないと判定された場合(S22のNo)、図14に進む。この場合、表示制御部115は、ステップS23と同様に、特定登録グループに属する人物全員が認証済みであるか否かを判定する(S26)。例えば、特定登録グループに属する複数の人物が同時にゲート50を通過する場合、特定登録グループに属する誰も未だゲート50を通過していないと判定され、且つ、特定登録グループに属する人物全員が認証済みであると判定されることがあり得る。
特定登録グループに属する人物全員が認証済みである場合(ステップS26のYes)、表示制御部115は、特定登録グループに属する人物の中で最初の通過であることを示す情報をディスプレイ20に表示させる(S27)。表示制御部115は、特定登録グループに属するメンバーの全員が認証済みであることを示す情報を表示させてもよい(S27)。
一方、特定登録グループに属する少なくとも1人の人物が認証済みでない場合(ステップS26のNo)、表示制御部115は、特定登録グループに属する人物の中で最初の通過であることを示す情報をディスプレイ20に表示させる(S28)。表示制御部115は、特定登録グループに属する人物のうち、ゲート人物認証又はゲート人物再認証により認証されていない人物の人数(未認証の人数)を表示させてよい(S28)。表示制御部115は、グループリストGLとゲート通過情報I2に基づいて、何組後にゲート50を通過予定であるかを示す情報を表示させてよい(S28)。この場合、表示制御部115は、例えば、プレカメラ30により撮像されるゲート上流位置を通過した各人物の順番と、ゲート50を通過した人物と、に基づいて、何組後にゲート50を通過予定であるかを算出してよい。
図13のステップS21において、ゲート人物再認証が失敗したと判定された場合(ステップS21のNo)、表示制御部115は、ゲート人物認証(ゲート人物再認証含む)に失敗したことを示す情報を表示させる(S29)。
なお、表示制御部115は、ゲート50を通過した人物の属性に基づいて、認証結果の表示態様を変更し、ディスプレイ20に指示してよい。認証結果を含む情報の表示は、インジケータによる表示であってもよい。なお、認証結果を含む情報は、表示以外の提示態様で提示されてよい。例えば、認証システム5が備えるスピーカが、各種の提示対象の情報に対応する通知音を発してもよい。通知音は、属性に応じた通知音であってよい。
図12~図14の動作例によれば、認証システム5は、時間的に隣接する登録グループにまで閾値変更グループGSの範囲を広げることで、他の登録グループに属する認証し難い人物が同時に通行した場合でも適切に認証でき、認証結果に基づく適切な表示を実施できる。認証システム5は、どの登録グループの人が紛れ込んでいるかを提示できる。また、閾値THの変更後に認証成功した人物が属する登録グループがゲート50を既に通過済みであるか、これから通過予定であるかも提示できる。また、認証システム5は、各種情報(例えば警告情報、案内情報)の提示を、他の登録グループに紛れ込んだ認証し難い人物(例えば子供)に対して実施でき、認証し難い人物の周囲に所在する人物(例えば大人)に対して実施することもできる。また、認証システム5は、認証対象グループGNを設定し、ゲート人物認証の認証範囲を制限することで、閾値変更グループGSの範囲を広げることによる誤認証(他人受入)を悪化させることなく、認証し難い人物の認証精度(本人受入率)を向上することが出来る。よって、認証システム5は、ゲート人物認証時の誤認証を抑制でき、利便性が向上する。
次に、比較例と本実施形態とを比較する。
比較例では、登録グループGBXのゲート通過と同時に、グループGAXの子供HaX及び登録グループGCXの子供HcXが紛れ込んでいるとする。この場合、比較例のサーバ装置100Xは、登録グループGBXの子供HbXが認証失敗した場合、子供HbXを含む登録グループGBXの認証用の閾値THXのみ小さくする。この場合、子供HaX及び子供HbXについては、閾値THXが変更されていないので、認証失敗となる。
これに対し、本実施形態では、サーバ装置100は、登録グループGBの大人HBの認証について、プレカメラ30の前の登録グループGBが通過したグループリストGLにより、登録グループGBの通過時刻の例えば前後30分に通過した登録グループGA,GB,GCに閾値変更グループGSの範囲を広げる。そして、サーバ装置100は、ゲート人物認証時に、閾値THを閾値TH1から小さくして閾値TH2に設定できる。よって、サーバ装置100は、登録グループGBに紛れ込んだ子供Ha及び子供Hcのゲート人物認証に成功する。これにより、本実施形態のサーバ装置100によれば、ゲート人物認証のスコアが低くなり易い子供についても、正確に顔認証(顔照合)が可能となり、紛れ込んだ子供Ha及び子供Hcについても動向を把握可能である。
また、サーバ装置100は、グループリストGLに含まれる登録グループのうち、認証範囲(認証対象の登録グループの範囲)を制限することで、ゲート人物認証のために閾値THを小さくした場合でも、誤認証のリスクを抑制可能である。さらに、サーバ装置100は、グループリストGL及びゲート通過情報I2の少なくとも一方を参照し、子供Ha,Hcの認証に成功していない大人HA,HCの通過履歴を判別する。サーバ装置100は、この通過履歴を基に、登録グループGA,GCの少なくとも一人の人物が通過済みのグループか、全人物が未だ通過していない未通過のグループか、をディスプレイ20に表示させることが可能である。これにより、例えばディスプレイ20の表示を確認した警備員や周囲の大人は、より適切な対処が可能となり、警備員の負荷低減が可能であり、効率的な監視や警備が可能である。
このように、サーバ装置100は、閾値TH1を用いたゲート人物認証に失敗した場合でも、ゲート人物認証に用いる閾値TH1を小さくして連続的に認証を実施可能である。また、サーバ装置100は、1つのゲート画像内に、ゲート人物認証に成功した人物と失敗した人物とが混在している場合、ゲート人物認証に失敗した人物の属性に応じて閾値THを下げて、ゲート人物再認証が可能である。例えば、大人用の閾値TH1(厳格な閾値)から子供用の閾値TH2(緩和された閾値)に変更可能である。
また、例えば、認証システム5は、所定の登録グループの人物に、所定の登録グループとは異なる他の登録グループに属する人物が紛れこんでいた場合、個別認証結果やグループ認証結果の情報を表示又は通知可能なだけでなく、どの登録グループに属する人物が紛れ込んでいるかを表示又は通知可能である。例えば、認証システム5は、他の登録グループが既にゲート50を通過済み(認証済み)の場合、どのくらい前に通過した登録グループであるか、何分前に通過したのか等を表示又は通知可能である。また、例えば、認証システム5は、他の登録グループが未だゲート50を通過していない場合には、未通過であることと、どれくらい後ろを移動しているか、何分後に通過予定であるか等を表示又は通知可能である。認証システム5は、上記の内容を表示又は通知することで、紛れ込んだ人物が次にどのような動作をすればよいのかを知らせることができ、利便性を向上できる。また、紛れ込んだ人物が子供(例えば幼児)である場合、この子供の周囲の大人が表示又は通知される内容に応じて対応でき、利用者の利便性が向上すると同時に、施設スタッフの対応工数を削減して効率化できる。なお、ここでの表示は一例であり、通行人に利便性を与える様々な表示が可能である。
認証システム5は、例えばグループの行動分析、マーケティングの使用に有用である。例えば、認証システム5は、アミューズメントパークにおいて閾値TH1を用いてゲート人物認証に成功した人物に対して課金することもできる。
なお、本実施形態では、サーバ装置100が、ゲート人物認証の第2認証方式において、グループリストGLに載っている登録グループの全体を対象とすることを例示したが、これに限られない。例えば、サーバ装置100が、グループリストGLに載っていない登録グループも含み得る登録グループ情報I1に登録された登録グループの全体をゲート人物認証の対象としてもよい。
なお、本実施形態では、サーバ装置100が、ゲート人物認証時(例えば再認証時)に閾値THを小さくする場合に、閾値変更グループGSの大人も子供も閾値THを小さくして認証することを例示したが、これに限られない。例えば、サーバ装置100が、ゲート画像での人物検出時に人物の属性を検出しておき、子供の属性の人物に限定して閾値THを下げてゲート人物認証を行ってもよい。
なお、本実施形態では、ディスプレイ20は、ゲート50に設置されることを例示したが、これに限られない。例えば、認証システム5の管理者用又は警備員用のディスプレイが、ゲート50のディスプレイ20の代わりに設置されてもよいし、ゲート50のディスプレイ20とは別に設置されてもよい。
なお、本実施形態では、閾値THを小さくすることで認証の厳格さを緩和することを例示したが、これに限られない。例えば、閾値THを変更せずに、閾値THと比較されるスコア(例えば類似度)に所定値を加算することで、認証の厳格さを緩和してもよい。
なお、サーバ装置100は、いずれかのゲート50に設置されてもよく、認証装置付きゲートとして動作してもよい。または、サーバ装置100が独立した装置として設置されるのではなく、いずれかの装置がサーバ装置100としての機能を有してもよい。また、サーバ装置100により認証を管理し、実際の認証をサーバ装置100とは別体の認証サーバが行うように構成してもよい。
なお、本実施形態では、ゲート50が1つであることを想定したが、ゲート50が複数設けられてもよい。この場合、サーバ装置100は、例えば、図8~図11を用いて説明したいずれの認証方式でも認証し難い子供Hdについて、以下のように追跡可能なケースがある。例えば、子供Hdは、第1ゲートを通過した際には認証NGとなり、不正侵入扱いとなる。子供Hdが属する登録グループGDに属する大人HDは、第1ゲートでのゲート人物認証に成功する。プロセッサ110は、登録グループ情報I1と、第1ゲートでの子供Hdの認証失敗情報と、第1ゲートでの大人HDの認証成功情報と、に基づいて、第1ゲートよりも下流に設置された第2ゲートでのゲート人物認証(例えば閾値TH2を用いた認証)を行う。これにより、サーバ装置100は、第2ゲートにおいて子供Hdの認証に成功し、子供Hdの動向を把握し得る。
[実施形態の概要]
以上のように、実施形態のサーバ装置100(認証装置の一例)は、ゲート50が設置された位置(第1の地点の一例)を通過する人物を認証する。サーバ装置100は、プロセッサ110とメモリ120とを備える。メモリ120は、複数の人物が属する1つ以上の登録グループの情報を保持する。プロセッサ110は、ゲート50を通過する人物が撮像された第1の画像(例えばゲート画像)を取得し、第1の画像に基づいて人物に対する第1の認証(例えばゲート人物認証)を行う。プロセッサ110は、第1の画像に、第1の認証に成功した第1の人物(例えば大人HB)と第1の認証に失敗した第2の人物(例えば子供Ha,Hb)とが混在して含まれ、登録グループに第1の人物と他の人物とが属する第1のグループ(例えば登録グループGB)が含まれる場合、第1の認証の厳格さを緩和して、第2の人物に対する第1の認証を再度実行する。
ゲート画像にゲート人物認証に成功した人物とゲート人物認証に失敗した人物とが混在する場合、例えば、認証し易い大人HBと認証し難い子供Ha,Hb等とが一緒に通過していることが考えられる。この場合、サーバ装置100は、ゲート人物認証の厳格さを緩和することで、ゲート画像に映り込んだ一度認証に失敗した人物を認証し易い状態に変更できる。よって、サーバ装置100は、登録グループを加味して、第1の地点を通過する人物について認証し難い人物の認証精度を向上できる。
また、プロセッサ110は、再度実行された第2の人物に対する第1の認証が成功であり、登録グループに第1の人物(例えば大人HB)と第2の人物(例えば子供Ha)とが属するグループが含まれない場合、登録グループのうち第2の人物が属する第2のグループ(例えば登録グループGA)を特定してよい。プロセッサ110は、第2のグループに属する第3の人物(例えば大人HA)のゲート50の通過状況を判定し、判定された通過状況を提示するよう指示してよい。
これにより、サーバ装置100は、例えば、ゲート人物再認証に成功した子供Haが、当初のゲート人物認証に成功していた大人HBと同じ登録グループに属していない場合に、子供Haが属する登録グループGAの動向を提示できる。これにより、子供Ha本人又は子供Ha周囲の大人又は警備員等が、子供Haに対して適切な対処を実施できる。
また、人物は、ゲート50の上流側からか下流側に向かって移動可能でよい。プロセッサ110は、ゲート50よりも上流側のゲート上流位置(第2の地点の一例)に位置する人物が撮像された複数の第2の画像(例えばプレ画像)を取得し、複数の第2の画像のそれぞれに基づいて第2の認証(例えばプレ人物認証)を行ってよい。プロセッサ110は、登録グループのうち、第2の認証に成功した第4の人物(例えば大人HB)が属する登録グループである第3のグループ(例えば登録グループGB)を特定してよい。プロセッサ110は、登録グループのうち、第3のグループがゲート上流位置を通過した通過時刻から所定時間以内に通過した登録グループである第4のグループ(例えば登録グループGA,GC)を特定してよい。プロセッサ110は、第3のグループ及び第4のグループに属する第5の人物(例えば大人HA,HB,HC、子供Ha,Hb,Hc)に対する第1の認証の厳格さを緩和して、第1の認証を再度実行してよい。
これにより、サーバ装置100は、プレ人物認証により、ゲート50に向かう各登録グループの人物や登録グループのゲート通過順序を予想可能である。また、本来の認証対象の人物が属する登録グループから拡張して閾値変更グループGSを設定することで、本来の認証対象の前後にゲート50を通過する登録グループに属する認証し難い人物も認証し易くなる。
また、プロセッサ110は、第5の人物に第1の認証の対象を限定して、第1の認証を再度実行してよい。
これにより、サーバ装置100は、認証対象グループGNを設定し、ゲート人物認証の認証範囲を制限することで、閾値変更グループGSの範囲を広げることによる誤認証(他人受入)を悪化させることなく、認証し難い人物の認証精度(本人受入率)を向上することが出来る。
また、第1の認証の厳格さの緩和は、第1の認証のための閾値THを小さくすること、又は、閾値THを変更せずに、閾値THと比較される第1の認証のためのスコア(例えば類似度)に所定値を加算すること、を含んでよい。
これにより、サーバ装置100は、認証用の閾値TH又は認証用のスコアを調整することで、認証し難い人物の認証し易くできる。この場合でも、サーバ装置100は、同じ登録グループに属する認証し易い人物との組み合わせであることで、認証結果の確実性を高くできる。
また、プロセッサ110は、他の人物の属性に基づいて第1の認証の厳格さを緩和してよい。これにより、サーバ装置100は、例えば、子供という属性に応じて、子供に適した認証の厳格さの緩和(例えば閾値TH2の設定)が可能である。
また、第1の地点には、人物が通過可能なゲート50が設置されてよい。つまり、第1の地点は、ゲート50が設置された位置でよい。これにより、サーバ装置100は、登録グループを加味して、ゲート50を通過する人物について認証し難い人物の認証精度を向上できる。
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。