JP7416782B2 - 画像処理方法、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

Description

本開示は、コンピュータビジョンの技術分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。

テーブルゲームは、人々の生活水準の向上に伴って、多くのユーザの間では人気が高まっている。テーブルゲームは、非常に古い業界に属しており、現在流行しているオンラインのテーブルゲームよりも、リアルシーンにおける対面型のテーブルゲームの方が魅力的である。例えばチェス、囲碁等の対面型のテーブルゲームは、電子機器に依存することなく、多様な思考力の鍛えを重視する。また、テーブルゲームの過程を撮影して、繰り返し見てノウハウを習得する愛好家もいる。

本開示は、画像処理の技術的手段を提供する。
本開示の第１の方面によれば、ゲームテーブルトップのビデオストリームを取得することと、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することと、前記目標対象物に基づいて、現在のゲームステージを特定することと、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することと、を含む画像処理方法が提供される。
いくつかの可能な実施形態では、前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することは、第１視点で収集された第１画像に対して目標検出を行い、前記第１画像における目標対象物を決定することと、第２視点で同期的に収集された第２画像に対して目標検出を行い、前記第２画像における目標対象物を決定することと、前記第１画像における目標対象物の外観情報及び周囲情報と、前記第２画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定し、ここで、１つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、１つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周囲の設定範囲内の画素によって決定されることと、を含む。
いくつかの可能な実施形態では、前記第１画像における目標対象物の外観情報及び周囲情報と、前記第２画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することは、前記第１画像における目標対象物の外観情報と、前記第２画像における目標対象物の外観情報とに基づいて、第１特徴距離を決定し、１つの第１特徴距離は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との類似度を表すことと、前記第１画像における目標対象物の周囲情報と、前記第２画像における目標対象物の周囲情報とに基づいて、第２特徴距離を決定し、１つの第２特徴距離は、前記第１画像における１つの目標対象物の周囲情報と、前記第２画像における１つの目標対象物の周囲情報との類似度を表すことと、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物の第１特徴距離と第２特徴距離とに基づいて、前記２つの目標対象物間の特徴距離を決定することと、決定された特徴距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することと、を含む。
いくつかの可能な実施形態では、２つの目標対象物の第１特徴距離と第２特徴距離とに基づいて、前記２つの目標対象物間の特徴距離を決定することは、前記２つの目標対象物の第１特徴距離と第２特徴距離とを重み付き加算して、前記２つの目標対象物間の特徴距離を得ることを含み、ここで、前記２つの目標対象物の類似度が高いほど、重み付き加算時に前記２つの目標対象物の第２特徴距離の重み係数を大きくする。
いくつかの可能な実施形態では、前記第１画像における目標対象物と前記第２画像における目標対象物との間の幾何学的距離を決定することをさらに含み、決定された特徴距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することは、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物間の特徴距離と幾何学的距離に基づいて前記２つの目標対象物間の距離を決定することと、前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することと、を含む。
いくつかの可能な実施形態では、前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することは、前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離によって距離行列を形成し、ここで、前記距離行列の１つの要素の値は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との間の距離を示すことと、前記距離行列に基づいて、前記第１画像と前記第２画像との間の隣接行列を決定し、前記隣接行列の要素の値は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との間に相関関係があるかないかを示すことと、を含む。
いくつかの可能な実施形態では、前記目標対象物に基づいて現在のゲームステージを特定することは、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することと、決定された時点を１つのゲームステージの開始時点とすることと、を含む。
いくつかの可能な実施形態では、前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、１つの視点でのビデオストリームにおいて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像を決定することと、他の視点で同期的に収集されたビデオストリームにおいて、前記第１フレームの画像に同期して収集された同期画像を決定することと、前記同期画像の前のＮフレームの画像のうち少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記同期画像の前のＮフレームの画像のうち、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが最も早く検出された画像に対応する時点を決定することと、を含む。
いくつかの可能な実施形態では、前記同期画像の前のＮフレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出していないことに応じて、前記第１フレームの画像に対応する時点を決定することをさらに含む。
いくつかの可能な実施形態では、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、決定された時点を１つのゲームステージの開始時点とすることは、決定された時点を第１ゲームステージの開始時点とすることを含む。
いくつかの可能な実施形態では、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、決定された時点を１つのゲームステージの開始時点とすることは、決定された時点を第１ゲームステージの終了時点及び第２ゲームステージの開始時点とすることを含む。
いくつかの可能な実施形態では、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、決定された時点を１つのゲームステージの開始時点とすることは、決定された時点を第２ゲームステージの終了時点及び第３ゲームステージの開始時点とすることを含む。
いくつかの可能な実施形態では、現在のゲームステージは、第１ゲームステージであり、前記目標対象物は、人物対象物と物体対象物とを含み、前記目標対象物及び特定された現在のゲームステージに基づいて、ゲーム検出結果を決定することは、ゲームコインとプレイヤとの対応関係を決定することと、決定された対応関係及び第１ゲームステージのルールに基づいて、複数のプレイヤの、プレイヤのゲームに使用されるゲームコインの総価値及びゲームに使用されるゲームコインが存在するゲーム関与領域のサブ領域を含むゲーム関与結果を決定することと、を含む。
いくつかの可能な実施形態では、現在のゲームステージは、第２ゲームステージであり、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、前記ゲームテーブルトップのゲーム関与領域においてゲーム関与結果が変化することを検出した場合と、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの種類、位置又は出現順序が、所定ルールと異なることを検出した場合と、のいずれかの場合に、提示情報を発することを含む。
いくつかの可能な実施形態では、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、第２ゲームステージの終了時点に、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの位置及びポイントに基づいて、勝敗結果を決定することを含む。
いくつかの可能な実施形態では、現在のゲームステージは、第３ゲームステージであり、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、第２ゲームステージの終了時に決定された勝敗結果、第１ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールに基づいて、複数のプレイヤの払出結果を決定することを含む。
いくつかの可能な実施形態では、オペレータにより実行された払出結果を確認することと、複数のプレイヤによる払出結果と前記オペレータにより実行された払出結果とを比較し、払出結果が正確に実行されたか否かを確認することと、払出結果が正確に実行されていない場合に、警告情報を発することと、をさらに含む。
本開示の第２の方面によれば、ゲームテーブルトップのビデオストリームを取得するための取得モジュールと、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出するための検出モジュールと、前記目標対象物に基づいて、現在のゲームステージを特定するためのゲームステージ特定モジュールと、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定するための結果決定モジュールと、を含む画像処理装置が提供される。
本開示の第３の方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、前記メモリに記憶された命令を呼び出して、第１の方面におけるいずれか１つに記載の方法を実行するように構成される電子機器が提供される。
本開示の第４の方面によれば、コンピュータプログラム命令を記憶したコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、第１の方面におけるいずれか１つに記載の方法を実現させるコンピュータ読取可能な記憶媒体が提供される。
本開示の第５の方面によれば、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器で動作すると、前記電子機器のプロセッサに第１の方面におけるいずれか１つに記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。

本開示の実施例では、ゲームテーブルトップに関するビデオストリームを取得し、ビデオストリームに対して目標検出処理を行うことにより、ビデオストリームの複数の画像における目標対象物を検出し、検出された目標対象物に基づいて、現在進行しているゲームステージを特定し、さらに、検出された目標対象物及び特定されたゲームステージを用いて、ゲームテーブルトップの検出を実行することができる。このようにして、便利で、迅速かつ正確であるという特徴を有すると共に、ゲーム過程の検出を自動的に実行することができるため、規模化と産業化の経営を容易に実現し、経営効率を向上させ、経営中のミスを低減することができる。

なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではないと理解すべきである。

以下、例示的な実施例について図面を参照しながら詳細に説明することによって、本開示の他の特徴及び方面は明らかになるであろう。

ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的手段の説明に用いられる。
本開示の実施例に係る画像処理方法のフローチャートを示す。 本開示の実施例に係る画像処理方法の適用シーンの模式図を示す。 本開示の実施例に係る画像処理方法のステップＳ２０のフローチャートを示す。 本開示の実施例に係る画像処理方法のステップＳ２３のフローチャートを示す。 本開示の実施例に係る画像処理方法における特徴距離の決定の模式図を示す。 本開示の実施例に係る画像処理方法のステップＳ２３の他のフローチャートを示す。 本開示の実施例に係る画像処理方法のステップＳ３０のフローチャートを示す。 本開示の実施例に係る画像処理方法における第１ステージの検出を実行するフローチャートを示す。 本開示の実施例に係る画像処理方法における第３ステージの検出のフローチャートを示す。 本開示の実施例に係る画像処理装置のブロック図を示す。 本開示の実施例に係る電子機器のブロック図を示す。 本開示の実施例に係る他の電子機器のブロック図を示す。

以下に、本開示の様々な例示的な実施例、特徴および方面について、図面を参照しながら詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。

ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。

本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。

本開示の実施例に係る画像処理方法は、画像処理装置によって実行されてもよい。例えば、画像処理方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレスフォン電話機、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドへルドデバイス、計算装置、車載装置、ウェアラブル装置等の端末装置、サーバ又は他の処理装置によって実行されてもよい。サーバは、ローカルサーバ又はクラウドサーバを含んでもよい。いくつかの可能な実施形態では、該画像処理方法は、プロセッサがメモリに記憶されたコンピュータ読取可能な命令を呼び出して実現することができる。本開示は、ビデオ、画像の検出、識別等のシーンに適用可能であり、例えば、ビデオストリームの異なるステージの識別及び検出に適用されてもよい。本開示は、具体的な適用シーンを制限するものではない。

図１は、本開示の実施例に係る画像処理方法のフローチャートを示す。図１に示すように、前記画像処理方法は、以下を含む。

Ｓ１０で、ゲームテーブルトップについてのビデオストリームを取得する。

いくつかの可能な実施形態では、ゲームテーブルトップのビデオストリームを収集するために、ゲームテーブルトップの周りに少なくとも１つの画像収集装置（例えば、カメラ又は撮像装置）を設けてもよい。本開示の実施例は、画像収集装置によってリアルタイムに収集したビデオストリームを直接受信してもよいし、画像収集装置に接続された他の電子機器と通信して、収集されたビデオストリームを受信してもよいが、本開示ではこれが具体的に限定されない。ビデオストリームが取得された場合、ビデオストリームの複数フレームの画像を取得できる。

本開示の実施例は、ゲームテーブルトップの複数の角度での画像（ビデオストリーム）をより全面的に収集するとともに検出の精度を向上させるために、少なくとも２つの視点の異なる画像収集装置を用いてゲームテーブルトップの画像を収集してもよい。ここで、少なくとも２つの視点は、平面視視点（第１視点）及び側面視視点（第２視点）を含んでもよい。即ち、少なくとも側面視視点及び平面視視点の２つの視点の画像収集装置を用いてゲームテーブルトップの画像（ビデオストリーム）を収集することができる。ここで、平面視視点の画像収集装置は、ゲームテーブルトップの中央領域の上方に設けられてもよい。側面視視点の画像収集装置は、ゲームテーブルトップの両側、つまり平面視視点の画像収集装置の両側にそれぞれ設けられてもよい。側面視視点は、例えば、左側面視視点と右側面視視点とを含んでもよい。２つの側面視視点の画像収集装置は、ゲームテーブルトップの画像を全面的に収集するように対向して設けられてもよい。上記の少なくとも２つの視点の画像収集装置により収集された画像から、ゲームテーブルトップの全面的な情報を取得することができる。以下の実施例では、異なる視点での画像を区別するように、第１視点で収集されたビデオストリームに対応する画像を第１画像、第２視点で収集されたビデオストリームに対応する画像を第２画像と呼ぶ。他の実施例では、他の視点がより多く含まれる場合には、さらに第３画像、第４画像等のように呼んで区別してもよいが、本開示ではこれが具体的に限定されない。

つまり、本実施例では、第１画像収集装置で第１画像を収集し、第２画像収集装置で第２画像を収集することができる。いくつかの実施例では、第１画像収集装置及び第２画像収集装置は、同一のシーンに対して、異なる位置で画像を収集して、第１画像及び第２画像をそれぞれ取得してもよい。それに応じて、第１画像と第２画像とは、同一のシーンに対して収集されたが異なる視点に対応する画像であってもよい。例示的に、第１画像と第２画像において、同じ対象物を含むことができるが、対象物の第１画像における位置と第２画像における位置とが異なる可能性がある。例えば、第１画像と第２画像においては、同じ背景及び３つのリンゴが含まれているが、３つのリンゴの第１画像における位置と第２画像における位置とが異なっている。

Ｓ２０で、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出する。

いくつかの可能な実施形態では、ゲームプレイ中に、第１画像と第２画像において同じ目標対象物又は少なくとも一部が異なる目標対象物が存在することができ、目標対象物の第１画像における位置と第２画像における位置とが異なる。例えば、ゲームテーブルトップには、少なくとも１つの物体対象物が含まれてもよく、例えば、ゲームコイン、トランプが含まれてもよいし、ゲーム貨幣が含まれてもよい。ゲームテーブルトップの画像を収集する際には、画像には上記物体対象物が含まれてもよいし、テーブルトップの周りにいるの人物対象物が含まれてもよい。人物対象物は、オペレータ（例えばディーラー）及びゲームプレイヤを含んでもよい。これによれば、本開示の実施例では、取得された画像において所望の目標対象物を検出することができる。この目標対象物は、人体、顔、手の少なくとも１つを含み得る人物対象物と、ゲームコイン（両替物）、トランプのうちの少なくとも１つを含み得る物体対象物を含んでもよい。

いくつかの可能な実施形態では、収集された少なくとも１つの画像に対して、同じタイプの目標対象物の目標検出処理を行うことができ、つまり、全ての画像における全てのタイプの目標対象物を検出して、各画像における全てのタイプの目標対象物の存在する位置情報を得る。例えば、本開示の実施例では、取得された画像における人体、顔、手、ゲームコイン（両替物）、トランプ等を検出して、目標対象物の識別子、対応する目標対象物の有無、検出された目標対象物の位置、検出された目標対象物の信頼度を含み得る検出結果であって画像における複数の目標対象物に関する検出結果を得ることができる。

他のいくつかの可能な実施形態では、異なる視点での画像に対して、異なるタイプの目標対象物の目標検出処理を行うこともできる。例えば、側面視視点で収集された画像については、検出された目標対象物のタイプは、人物対象物と物体対象物とを含んでもよいが、平面視視点で収集された画像については、検出された目標対象物のタイプは、例えばゲームコイン及びトランプ等の物体対象物を含んでもよい。このようにして、異なる画像における対応する目標対象物の検出結果をそれぞれ得ることができる。これによれば、リソースの無駄を少なくすることができる一方で、運転効率を速めることができる。

いくつかの可能な実施形態では、本開示の実施例で実行される目標対象物の検出過程は、入力画像における目標対象物をトレーニングにより検出可能な目標検出ニューラルネットワークにより実現されてもよい。本開示の実施例における目標検出ニューラルネットワークは、例えば領域提案ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ、ＲＰＮ）又は高速領域畳み込みニューラルネットワーク（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含み得る畳み込みニューラルネットワークであってもよいが、本開示では具体的な限定はされない。

本開示の実施例では、異なる視点での画像における目標対象物が得られる場合に、異なる視点での画像における目標対象物の外観情報と周囲情報とを用いて、異なる視点での目標対象物の相関関係を決定してもよい。第１視点で取得された第１画像における目標対象物の外観情報及び周囲情報と、第２視点で取得された第２画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第１画像における複数の目標対象物と前記第２画像における複数の目標対象物との相関関係を決定することができ、ここで、１つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、１つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周りの設定範囲内の画素によって決定される。

Ｓ３０で、前記目標対象物に基づいて、現在のゲームステージを特定する。

いくつかの可能な実施形態では、画像における目標対象物の検出結果に基づいて、現在進行しているゲームステージを特定することができる。例えば、本開示の実施例では、ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出し、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定し、決定された時点を１つのゲームステージの開始時点とするようにしてもよい。本開示の実施例では、検出結果に基づいてゲーム過程全体を第１ゲームステージ、第２ゲームステージ及び第３ゲームステージに分割することができる。ここで、第１ゲームステージは、ゲームプレイヤがゲームテーブルトップのゲーム関与領域にゲームコインを置くステージであり、該ゲームプレイヤが今回のゲームに参加するゲームコイン値を示すために用いられ、第２ゲームステージは、ディーラーがゲームカードを配るステージ（カード配りステージ）であり、第３ゲームステージは、複数のゲームプレイヤの勝敗状況を算出し、払出を実行する過程（払出ステージ）である。異なるゲームについては、異なるゲームステージが含まれてもよいが、本開示ではこれが具体的に限定されない。

いくつかの可能な実施形態では、所定時間の隣接する時間フレームの画像において検出されたゲームコインの位置の変化と、検出された手の位置の変化とによって、第１ゲームステージであるか否かを決定し、画像におけるゲームカードの位置の変化によって第２ゲームステージであるか否かを決定し、また、ゲームカードの数およびポイントの合計に基づいて、第３ゲームステージであるか否かを決定してもよい。

Ｓ４０で、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定する。

いくつかの可能な実施形態では、１つ又は複数のゲームステージについて、該当のゲームステージに対応する画像における目標対象物を検出することにより、複数のステージにルール違反の状況があるか否かを確認すること、ゲームプレイヤの勝敗状況を集計すること、ディーラーの払出操作を検証すること等、ゲーム過程の全面的な検出を実現している。

本開示の実施例では、ゲームテーブルトップの画像で形成されるビデオストリームを取得し、ビデオストリームの画像に対して目標検出処理を行うことにより、複数の画像における目標対象物を検出し、かつ検出された目標対象物に基づいて、現在進行しているゲームステージを特定し、さらに、検出された目標対象物及び特定されたゲームステージを用いて、ゲームテーブルトップの検出を実行することによって、便利で、迅速かつ正確であるという特徴を有すると共に、ゲーム過程の検出を自動的に実行することができるため、規模化と産業化の経営を容易に実現することができる。

以下、図面を参照しながら、本開示の実施例を詳細に説明する。図２は、本開示の実施例に係る画像処理方法の適用シーンの模式図を示す。ここで、ゲームテーブルトップの画像を収集するために、ゲームテーブルトップの上方に少なくとも１つの視点の画像収集装置が設けられてもよい。本開示の実施例では、図２に示すように、ゲームテーブルトップの上方に左側面視視点、右側面視視点及び平面視視点の３つの画像収集装置を設けて、対応する視点でのゲームテーブルトップの画像をそれぞれ収集することによって、ゲームテーブルトップの画像情報を全面的に収集することができる。複数の視点での画像が得られた場合には、さらに得られた画像に対して目標検出処理を実行して、画像における目標対象物を検出することができる。

図３は、本開示の実施例に係る画像処理方法のステップＳ２０のフローチャートを示す。ここで、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することは、
第１視点で収集された第１画像に対して目標検出を行い、前記第１画像における目標対象物を決定するＳ２１と、
第２視点で同期的に収集された第２画像に対して目標検出を行い、前記第２画像における目標対象物を決定するＳ２２と、
前記第１画像における目標対象物の外観情報及び周囲情報と、前記第２画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定し、ここで、１つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、１つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周囲の設定範囲内の画素によって決定されるＳ２３とを含む。

以上の実施例で説明したように、本開示の実施例では、複数の視点での画像に対して同一の目標検出処理を行い、画像における全てのタイプの目標対象物を検出して、各画像における１つ又は複数の目標対象物の検出結果を得てもよい。又は、異なる視点での画像に対して、該当の視点に対応する目標対象物の目標検出処理を実行し、画像における画像の視点に対応する目標対象物の検出結果を検出してもよい。例えば、本開示の実施例では、第１視点で収集された前記ゲームテーブルトップの第１画像に対して目標検出処理を実行し、前記第１画像における第１目標対象物を検出してもよい。第１目標対象物は、手、顔、人体を含み得る人物対象物と、ゲームコイン及びゲーム貨幣を含み得る物体対象物とを含む。また、第２視点で収集された前記ゲームテーブルトップの第２画像に対して目標検出処理を実行し、前記第２画像における第２目標対象物を検出してもよい。第２目標対象物は、ゲームコイン及び両替物を含み得る物体対象物を含む。

いくつかの可能な実施形態では、少なくとも１つの目標検出ニューラルネットワークを用いて上記目標検出処理を実行してもよい。例えば、１つの目標検出ニューラルネットワークを用いて画像における全てのタイプの目標対象物を検出してもよいし、１つの目標検出ニューラルネットワークが少なくとも１つのタイプの目標対象物の目標検出処理を実行するように複数の目標検出ニューラルネットワークを配置し、例えば、画像における人物対象物を検出するための第１目標検出ニューラルネットワークと、画像における物体対象物を検出するための第２目標検出ニューラルネットワークとを含むようにしてもよい。本開示の他の実施形態では、さらに細分化される目標検出ニューラルネットワーク、例えば人体、手及び顔の少なくとも１つを検出するための目標検出ニューラルネットワーク、ゲームコイン及びゲーム貨幣の少なくとも１つを検出するための目標検出ニューラルネットワークを用いてもよいが、本開示ではこれが具体的に限定されない。

上記目標検出処理により、少なくとも１つの画像における対応する目標対象物の検出結果を得ることができる。この検出結果は、（ｌａｂｅｌ、ｘ１、ｘ２、ｙ１、ｙ２、ｓｃｏｒｅ）で表すことができ、ここで、ｌａｂｅｌは、目標対象物の種別識別子を示し、異なる目標対象物を区別するように、例えば手、人体、顔、ゲームコイン、トランプ等の目標対象物は、それぞれ対応する種別識別子に対応付けられている。（ｘ１、ｙ１）及び（ｘ２、ｙ２）は、画像において検出された目標対象物の検出枠の位置領域をそれぞれ示し、ｓｃｏｒｅは、該位置領域がｌａｂｅｌに対応する目標対象物である信頼度（確率値）を示す。他の実施例では、目標対象物の検出結果は他の態様で表されてもよいが、本開示ではこれが具体的に限定されない。以上より、少なくとも１つの画像における目標対象物を得ることができる。

選択的には、目標対象物の周囲情報には、画像における目標対象物の周囲画素、又は、目標対象物の周囲画素から抽出された特徴が含まれる。同一のシーンに対して異なる視点で異なる画像を収集するため、同一の目標対象物でも２つの画像における周囲情報が多少異なっている。これによれば、第１画像と第２画像における目標対象物の相関関係を決定する過程で、２つの画像における目標対象物の周囲情報に基づいて、相関関係を決定する。ここで、相関関係がある２つの目標対象物は、同一の目標対象物を表す。例示的に、第１画像と第２画像は、同一のシーンに対して異なる視点で収集された画像であり、シーンには、リンゴ１、リンゴ２及びリンゴ３の３つのリンゴが存在しており、そうすると、第１画像及び第２画像には、いずれもリンゴ１、リンゴ２及びリンゴ３が含まれており、これに応じて、第１画像のリンゴ１と第２画像のリンゴ１とが関連付けられ（即ち、両者は同一の物体である）、第１画像のリンゴ２と第２画像のリンゴ２とが関連付けられ、第１画像のリンゴ３と第２画像のリンゴ３とが関連付けられている。

本開示の実施例では、１つの視点で収集されたゲームテーブルトップの画像において検出される目標対象物には、人物対象物の顔、手及び人体が含まれ、ゲームテーブルトップの付近に複数人いる可能性があるため、同じ人物対象物の顔、人体及び手を得るように複数の画像における顔、手及び人体をマッチングして関連付ける必要がある。ここで、画像に対して目標検出処理を実行した検出結果には、画像における顔、人体及び手の検出結果、即ち、顔、人体及び手のある位置領域の検出枠が含まれ、つまり、画像における顔、人体及び手の検出枠に対応する画像領域が得られる。本開示の実施例では、顔検出枠と人体検出枠に対応する面積インターセクションオーバーユニオン（ＩＯＵ）に基づいて、該顔検出枠と人体検出枠とが同一の人物対象物であるか否かを決定してもよく、手検出枠と人体検出枠とに対応する面積インターセクションオーバーユニオンに基づいて、該手検出枠と人体検出枠とが同一の人物対象物であるか否かを決定してもよい。ここで、面積インターセクションオーバーユニオンが面積インターセクションオーバーユニオン閾値より大きい場合には、２つの検出枠が同じ人物対象物に対応すると決定してもよい。

又は、顔検出枠、人体検出枠及び手検出枠の間の距離によって同一の人物に属するか否かを決定し、又は、人体検出枠内の肘部のキーポイントと、手のキーポイントとの間の結線及び手検出枠内の手のキーポイントとの間の結線の夾角により対応する顔、人体及び手が同一の人物対象物に属するか否かを決定する。

以上の方式により同じ人物対象物の人体、手及び顔の検出枠を決定することができる。さらに、異なる人物を区別するために、同じ人物対象物の人体、顔及び手に同じ人物識別子を割り当ててもよい。

本実施例では、対象物の外観情報は、対象物の存在領域内の画素情報を含んでもよい。いくつかの実施例では、検出枠で目標対象物の存在領域をマーク付けし、検出枠内の画素情報を外観情報とすることができる。いくつかの実施例では、目標対象物が含まれる画像を、目標検出ネットワークによって処理し、目標対象物に対応する検出枠を含む第１画像及び第２画像を得て、第１画像及び第２画像における目標対象物の検出枠内の画素情報を目標対象物の外観情報とすることができる。

本実施例では、第１画像及び第２画像における目標対象物の検出枠が決定された後、目標対象物の検出枠に基づいて目標対象物の周囲情報を決定してもよい。

本開示のいくつかの選択可能的な実施例では、目標対象物の周囲情報を決定することは、目標対象物の検出枠の存在領域を拡大し、拡大後の、前記検出枠の存在領域よりも大きくかつ前記検出枠の存在領域を含む特定領域を決定することと、前記特定領域内かつ前記検出枠以外の画素情報を、目標対象物の周囲情報として決定することとを含む。

本実施例では、目標対象物の検出枠の存在領域を所定比率で拡大することができ、例えば、検出枠の存在領域の四辺を、それぞれ対応する辺の長さの２０％拡大して、前記特定領域を得、前記特定領域内かつ検出枠以外の領域に対応する画素情報を１つの対象物の周囲画素情報とすることができる。

本実施例では、第１画像における目標対象物の周囲情報と外観情報とを特徴抽出し、第２画像における目標対象物の周囲情報と外観情報とを特徴抽出し、第１画像における１つの目標対象物と第２画像における１つの目標対象物の周囲情報の特徴および外観情報の特徴をマッチングし、第１画像における１つの目標対象物と第２画像における１つの目標対象物との類似度を決定し、該類似度に基づいて２つの目標対象物の間の相関関係を決定することができる。

図４は、本開示の実施例に係る画像処理方法のステップＳ２３のフローチャートを示す。ここで、前記第１画像における目標対象物の外観情報及び周囲情報と、前記第２画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することは、
前記第１画像における目標対象物の外観情報と、前記第２画像における目標対象物の外観情報とに基づいて、第１特徴距離を決定し、１つの第１特徴距離は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との類似度を表すＳ２３１と、
前記第１画像における目標対象物の周囲情報と、前記第２画像における目標対象物の周囲情報とに基づいて、第２特徴距離を決定し、１つの第２特徴距離は、前記第１画像における１つの目標対象物の周囲情報と、前記第２画像における１つの目標対象物の周囲情報との類似度を表すＳ２３２と、
前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物の第１特徴距離と第２特徴距離とに基づいて、前記２つの目標対象物間の特徴距離を決定するＳ２３３と、
決定された特徴距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定するＳ２３４と、を含む。

本実施例では、第１画像及び第２画像における目標対象物の外観情報及び周囲情報を、それぞれ特徴抽出ネットワークによって特徴抽出し、外観情報の特徴抽出について、第１画像における目標対象物の第１外観特徴及び第２画像における目標対象物の第２外観特徴をそれぞれ取得し、周囲情報の特徴抽出について、第１画像における目標対象物に対応する第１周囲特徴及び第２画像における対象物の第２周囲特徴をそれぞれ取得するようにしてもよい。例示的には、特徴抽出ネットワークは、１つ又は複数の畳み込み層を含み、１つ又は複数の畳み込み層により、第１画像及び第２画像における目標対象物の検出枠内の画素情報を畳み込み処理して、第１画像における目標対象物に対応する第１外観特徴及び第２画像における目標対象物に対応する第２外観特徴を得、１つ又は複数の畳み込み層により、第１画像及び第２画像における目標対象物の周囲情報に対応する画素情報を畳み込み処理して、第１画像における目標対象物に対応する第１周囲特徴及び第２画像における目標対象物に対応する第２周囲特徴を得ることができる。

本実施例では、第１画像における目標対象物を第１対象物、第２画像における目標対象物を第２対象物と記すと、第１画像における第１対象物の第１外観特徴と第２画像における第２対象物の第２外観特徴とに基づいて、前記第１対象物と前記第２対象物との間の類似度を表す第１特徴距離を決定することができ、前記第１特徴距離が大きいほど、第１対象物と第２対象物との間の類似度が低くなることを示し、逆に、前記第１特徴距離が小さいほど、第１対象物と第２対象物との間の類似度が高くなることを示すことができる。また、第１対象物に対応する第１周囲特徴と第２対象物に対応する第２周囲特徴とに基づいて、前記第１対象物の周囲情報と前記第２対象物に対応する周囲情報との間の類似度を表す第２特徴距離を決定し、第２特徴距離が大きいほど、前記第１対象物の周囲情報と前記第２対象物の周囲情報との間の類似度が低くなることを示し、逆に、第２特徴距離が小さいほど、前記第１対象物の周囲情報と前記第２対象物の周囲情報との間の類似度が高くなることを示すことができる。さらに、前記第１特徴距離と前記第２特徴距離とに基づいて、第１対象物と第２対象物との間の特徴距離を得、前記特徴距離に基づいて、前記第１対象物と前記第２対象物との相関関係を決定することができる。

いくつかの選択可能的な実施例では、第１外観特徴と第２外観特徴とに基づいて距離Ｌ２を算出し、距離Ｌ２を第１特徴距離とし、それに応じて、第１周囲特徴と第２周囲特徴とに基づいて距離Ｌ２を算出し、距離Ｌ２を第２特徴距離とする。

例示的には、距離Ｌ２は、

を満たす。

上記距離Ｌ２が第１特徴距離であることを例にすると、Ｉ₁及びＩ₂は、第１外観特徴及び第２外観特徴をそれぞれ示し、Ｐは第１外観特徴及び第２外観特徴の次元を示し、ｄ₂（Ｉ₁、Ｉ₂）は、第１外観特徴と第２外観特徴との間の距離Ｌ２を示す。それに応じて、上記距離Ｌ２が第２特徴距離である場合には、同様に、Ｉ₁及びＩ₂は、第１周囲特徴及び第２周囲特徴をそれぞれ示し、Ｐは第１周囲特徴及び第２周囲特徴の次元を示し、ｄ₂（Ｉ₁、Ｉ₂）は第１周囲特徴と第２周囲特徴との間の距離Ｌ２を示す。

いくつかの選択可能的な実施例では、２つの目標対象物の第１特徴距離と第２特徴距離とに基づいて、前記２つの目標対象物間の特徴距離を決定することは、前記２つの目標対象物の第１特徴距離と第２特徴距離とを重み付き加算して、前記２つの目標対象物間の特徴距離が得られることを含み、ここで、前記２つの目標対象物の類似度が高いほど、重み付き加算時に前記２つの目標対象物の第２特徴距離の重み係数を大きくする。

本実施例では、第１特徴距離と第２特徴距離とを重み付き加算処理して、第１対象物と第２対象物との間の特徴距離を得ることができる。ここで、特徴距離が大きいほど、第１対象物と第２対象物との関連性が小さくなることを示し、逆に、特徴距離が小さいほど、第１対象物と第２対象物との関連性が大きくなることを示すことができる。いくつかの選択可能的な実施例では、特徴距離が第１所定閾値よりも大きくなると、第１対象物と第２対象物とに関連性がないと決定され、特徴距離が第２所定閾値よりも小さくなると、第１対象物と第２対象物とに関連性があると決定される。ここで、第２所定閾値は、第１所定閾値よりも小さく、第１所定閾値及び第２所定閾値の取り得る値は、複数回の実験又はテストによって決定することができる。

本実施例では、前記２つの目標対象物の類似度が高いほど、重み付き加算を行う時に前記２つの目標対象物の第２特徴距離の重み係数を大きくする。目標対象物間の関連付け及びマッチングの過程において、２つの目標対象物が類似するほど、目標対象物の周囲情報間の第２特徴距離を参照する必要がある可能性が高くなると理解される。

いくつかの選択可能的な実施例では、第１外観特徴と前記第２外観特徴との間の類似度によって複数の重み係数を予め設定しておき、現在の第１外観特徴と前記第２外観特徴との間の類似度に応じて、設定された複数の重み係数から１つの重み係数を２つの対象物の第２特徴距離の重み係数として選択することができる。

他のいくつかの選択可能的な実施例では、上記特徴距離は、

を満たす。

ここで、ｄ^abは、特徴距離を示し、λは、重み係数を示し、

は、第１外観特徴

と第２外観特徴

との間の第１特徴距離（例えば、距離Ｌ２）を示し、

は、第１周囲特徴

と第２周囲特徴

との間の第２特徴距離（例えば、距離Ｌ２）を示し、Ｓ_Cは、コサイン類似度を示し、即ち、第１外観特徴

と第２外観特徴

とのコサイン類似度を算出することで重み係数λを得る。

図５は、本開示の実施例に係る画像処理方法における特徴距離の決定の模式図を示す。上記過程は、例えば図５に示すように、２つの画像をそれぞれ画像ａ（Ｖｉｅｗ ａ）と画像ｂ（Ｖｉｅｗ ｂ）と記すことを例として、画像ａには１つの目標対象物（第１対象物と記す）の検出枠と周囲情報に対応する領域（第１特定領域と記す）とが含まれ、画像ｂに１つの目標対象物（第２対象物と記す）の検出枠と周囲情報に対応する領域（第２特定領域と記す）とが含まれ、画像ａと画像ｂのそれぞれにおいて目標対象物の検出枠の画素情報及び第１特定領域の画素情報を分割する。実際の適用では、周囲情報に対応する領域の取得について、検出枠の存在領域が拡大された領域を画像ａ又は画像ｂにおいて分割し、さらに、分割された領域内の検出枠に対応する領域の範囲内を検出枠のサイズに合わせるマスクで覆うことで、上記第１特定領域及び第２特定領域の画素情報を得ることができる。

さらに、２つの特徴抽出器により上記検出枠内の画素情報及び特定領域（第１特定領域及び第２特定領域を含む）の画素情報に対してそれぞれ特徴抽出することができる。例えば、画像ａと画像ｂにおける対応する検出枠内の画素情報と特定領域（第１特定領域と第２特定領域を含む）の画素情報に対して外観特徴抽出器（Ａｐｐｅａｒａｎｃｅ Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）で特徴抽出して、第１対象物に対応する第１外観特徴

と第２対象物に対応する第２外観特徴

とを取得し、画像ａの第１特定領域と画像ｂの第２特定領域の画素情報に対して周囲特徴抽出器（Ｓｕｒｒｏｕｎｄｉｎｇ Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）で特徴抽出して、第１周囲特徴

と第２周囲特徴

を得ることができる。さらに、第１外観特徴

と第２外観特徴

との間のコサイン類似度を算出して重み係数λを得る。第１外観特徴

と第２外観特徴

との間の距離Ｌ２を算出し、第１対象物と第２対象物との間の特徴距離ｄ_appを得、第１周囲特徴

と第２周囲特徴

との間の距離Ｌ２を算出し、第１周囲特徴と第２周囲特徴との間の特徴距離ｄ_surを得る。最後に上記式（２）を用いて第１対象物と第２対象物との間の特徴距離を得る。

本開示の実施例の技術的手段を用いて、異なる画像における目標対象物の周囲情報を、異なる画像の目標対象物間の関連付け及びマッチングの根拠とすることで、２つの画像において外観が類似するか又は同じである物体の関連付け及びマッチングを実現しており、関連付け及びマッチングの精度を向上させている。

本開示の実施例は、他の目標対象物の関連付け方法をさらに提供する。図６は、本開示の実施例に係る画像処理方法のステップＳ２３の他のフローチャートを示す。図６に示すように、前記方法は、
前記第１画像における目標対象物の外観情報と、前記第２画像における目標対象物の外観情報とに基づいて、第１特徴距離を決定し、１つの第１特徴距離は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との類似度を表すＳ２３０１と、
前記第１画像における目標対象物の周囲情報と、前記第２画像における目標対象物の周囲情報とに基づいて、第２特徴距離を決定し、１つの第２特徴距離は、前記第１画像における１つの目標対象物の周囲情報と、前記第２画像における１つの目標対象物の周囲情報との類似度を表すＳ２３０２と、
前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物の第１特徴距離と第２特徴距離とに基づいて、前記２つの目標対象物間の特徴距離を決定するＳ２３０３と、
前記第１画像における目標対象物と前記第２画像における目標対象物との間の幾何学的距離を決定するＳ２３０４と、
前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物間の特徴距離と幾何学的距離に基づいて前記２つの目標対象物間の距離を決定するＳ２３０５と、
前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定するＳ２３０６と、を含む。

本実施例におけるＳ２３０１乃至Ｓ２３０３の詳細は、前述の実施例における説明を参照すればよく、ここでは省略される。

本開示のいくつかの選択可能的な実施例では、前記第１画像における目標対象物と前記第２画像における目標対象物との間の幾何学的距離を決定することは、前記第１画像を収集する第１画像収集装置の第１位置と前記第２画像を収集する第２画像収集装置の第２位置とを取得し、前記第１画像収集装置の第１内部パラメータを取得し、前記第２画像収集装置の第２内部パラメータを取得することと、前記第１画像における１つの対象物の中心点の前記第１画像における第３位置を決定することと、前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータおよび前記第２内部パラメータに基づいて、前記第２画像におけるエピポーラ線を決定し、ここで、前記エピポーラ線は、前記第１対象物の中心点とその前記第１画像の結像平面上の像点とを結ぶ線が前記第２画像に射影される直線を表すことと、前記第２画像における１つの対象物と前記エピポーラ線との間の垂直画素距離を決定することと、決定した垂直画素距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との幾何学的距離を決定することとを含む。

本実施例では、２つの画像における外観が同じであるか又は類似する目標対象物であって周囲情報も類似するシーンでの目標対象物を関連付けてマッチングさせるために、上述したエピポーラ幾何学方式で制約することにより、上記シーンでの目標対象物の関連付け及びマッチングを実現し、関連付け及びマッチングの正確率を向上させる。

本実施例では、第１画像と第２画像は、異なる視点で収集された画像であり、第１画像が第１視点に対応し、第２画像が第２視点に対応すると仮定する。第１画像における第１対象物について、第１対象物は、第１画像における任意の目標対象物であり、第１対象物の中心点を第１画像収集装置の結像平面のＰ点に射影すると、中心点とＰ点とを結んで、第１画像に対応する第１視点での直線である直線が形成される。該直線を第２画像に投影して、第２画像に対応する第２視点でのエピポーラ線を得る。

実際の適用では、それぞれ第１画像収集装置の第１位置と第２画像収集装置の第２位置とによって第１画像収集装置と第２画像収集装置との間の相対的な位置関係を決定することができ、前記相対的な位置関係、前記第１画像収集装置の第１内部パラメータおよび前記第２画像収集装置の第２内部パラメータとに基づいて、変換関係を決定することができ、第１対象物の中心点の第１画像における第３位置に基づいて、該中心点と第３位置との結線の第１画像における座標を決定することができ、上記変換関係に基づいて、該中心点と第３位置との結線の第１画像における座標を変換して、第２画像におけるエピポーラ線の座標を得ることができる。

第１画像における第１対象物と第２画像における第２対象物とが関連付けられ、つまり、第１対象物と第２対象物とが同一の対象物であると、第２画像におけるエピポーラ線を決定した後、第２画像における複数の目標対象物のうち第２対象物からエピポーラ線までの垂直画素距離が最も小さく、さらには０であると理解される。上記垂直画素距離が、第１画像と第２画像における２つの目標対象物の間の幾何学的距離である。

そのため、第２画像における複数の目標対象物と前記エピポーラ線との間の垂直画素距離を決定することにより、第２画像におけるどの目標対象物が第１画像における第１対象物に関連付けられるかを判断する。

本開示のいくつかの選択可能的な実施例では、２つの目標対象物間の特徴距離と幾何学的距離に基づいて前記２つの目標対象物間の距離を決定することは、前記２つの目標対象物間の特徴距離と前記幾何学的距離を重み付き加算して、前記２つの目標対象物間の距離を得ることを含む。

本実施例では、１対の第１対象物と第２対象物との間の距離について、特徴距離と幾何学的距離とを重み付き加算処理して得られる。重み付き加算処理に用いられる重み係数は、固定的な所定数値を用いることができ、本実施例では重み係数の取り得る値が限定されない。

本開示のいくつかの選択可能的な実施例では、前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することは、前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離によって距離行列を形成し、ここで、前記距離行列の１つの要素の値は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との間の距離を示すことと、前記距離行列に基づいて、前記第１画像と前記第２画像との間の隣接行列を決定し、前記隣接行列の要素の値は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との間に相関関係があるかないかを示すこととを含む。

本実施例では、１対の第１対象物と第２対象物とに対応して１つの距離を得ると、第１画像におけるＭ個の目標対象物と第２画像におけるＮ個の目標対象物との間には、Ｍ×Ｎ個の距離が存在可能であり、それに応じてＭ×Ｎの距離行列が形成される。画像１と画像２に３つの対象物が存在すると仮定すると、３×３の距離行列が形成され、所定アルゴリズムに従って距離行列を処理して隣接行列が得られ、隣接行列の数値が１である１対の目標対象物が関連付けられ、隣接行列の数値が０である１対の目標対象物が関連付けられない。例示的には、ハンガリーのアルゴリズム（Ｋｕｈｎ－Ｍｕｎｋｒｅｓ）（ＫＭアルゴリズムと略称する）に従って距離行列を処理して隣接行列を得ることができる。

また、本開示の実施例では、目標対象物は人物対象物と物体対象物とを含み、異なる物体対象物は、色、模様、大きさ、価値の少なくとも１つを含むことができる異なる物体識別子を有し、例えば、物体対象物の外縁は、模様、色等の識別子を有し、同時に模様及び色等の特徴を識別して物体対象物に対応する価値を決定し、または、物体対象物の表面に価値等の情報を有し、該特徴を識別しても物体の価値を得ることができるようにしてもよい。本開示の実施例では、画像における物体対象物が検出される場合に、さらに物体対象物の物体識別子を識別することで物体対象物の価値を決定することができる。

また、本開示の実施例では、異なる視点での画像における目標対象物の関連付け結果を決定する場合には、同じ目標対象物に同じ対象物識別子を割り当て、異なる目標対象物に異なる対象物識別子を割り当てることにより、異なる視点で収集された画像における目標対象物の相関関係を確立し、即ち、異なる視点で収集された画像における同じ対象物識別子を有する目標対象物が同一の目標対象物である。上記構成によれば、取得された少なくとも１つの画像において同じ目標対象物間の関連付けが可能となり、同じ目標対象物に同じ対象物識別子が割り当てられ、異なる目標対象物に異なる対象物識別子が割り当てられることによって、異なる画像間の目標対象物の関連付けが実現される。

いくつかの可能な実施形態では、ゲーム中に目標対象物が遮蔽される可能性があるため、目標対象物は、時間と共にその位置が変化していく可能性があり、遮蔽によるあるフレーム又はある数フレームが検出されなくなる可能性があるため、本開示の実施例では、隣接する時間フレームの画像における目標対象物の追跡結果に基づいて、欠けている目標対象物を補正し、誤った検出枠を改正し、欠けている検出枠を補完することができる。つまり、ステップＳ２１又はＳ２２の後に、さらに検出枠の改正操作を実行してもよい。ここで、該検出枠の改正操作は、
第ｋ（ｋが１以上の整数）フレームの画像において第１目標対象物が検出されていないか又は第ｋフレームの画像における第１目標対象物が残りの目標対象物で遮られる場合、かつ前記第ｋフレームの画像よりも前のｎ（ｎが１以上の整数）フレームの画像のうち少なくとも１つの画像において前記第１目標対象物が検出されること及び／又は前記第ｋフレームの画像よりも後のｎフレームの画像のうち少なくとも１つの画像において前記第１目標対象物が検出されたことに応じて、検出された前記第１目標対象物に基づいて前記第ｋフレームの画像における前記第１目標対象物の位置を予測することを含んでもよい。

具体的には、本開示の実施例では、第ｋフレームよりも前の時間フレームで取得された画像において検出された第１目標対象物と、第ｋフレームよりも後の時間フレームで取得された画像において検出された第１目標対象物とに基づいて、第ｋフレームにおいて第１目標対象物が検出されていない結果を改正し、第ｋフレームの画像における第１目標対象物を決定することができる。ここで、第１目標対象物は、画像における任意の検出された１つの目標対象物である。検出枠の改正の精度を向上させるために、本開示の実施例におけるｎ値を、例えば３又は５とする設定値よりも小さくするべきであるが、本開示ではこれが具体的に限定されない。

一例では、本開示の実施例は、第ｋフレームの画像よりも前のｎフレームの画像においてそれぞれ検出された第１目標対象物の位置、及び／又は、第ｋフレームの画像よりも後のｎフレームの画像において検出された第１目標対象物の位置に基づいて、リニアフィッティング処理を実行して、第ｋフレームの画像における第１目標対象物の位置、即ち、第ｋフレームの画像における第１目標対象物の検出枠に対応する画像領域を得ることができる。

以上の構成によれば、本開示の実施例では、目標対象物が検出されていないか又は目標対象物が遮蔽される場合に、対応する目標対象物の検出枠の位置を改正又は補完することができることによって、目標対象物の追跡効果及び検出精度を向上させる。

画像における目標対象物を得てかつ対応する対象物識別子を配置する場合には、画像における目標対象物に基づいて、ゲーム過程のゲームステージをさらに決定することができる。図７は、本開示の実施例に係る画像処理方法のステップＳ３０のフローチャートを示す。ここで、前記目標対象物に基づいて、現在のゲームステージを特定することは、
前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定するＳ３１と、
決定された時点を１つのゲームステージの開始時点とするＳ３２と、を含む。

本開示の実施例では、ビデオストリームの少なくとも１フレームの画像において特定の目標対象物が検出される場合に、特定の目標対象物が検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を、１つのゲームステージの開始時点として決定することにより、１つのゲームステージの開始時点でゲーム進行のステージを切り替えることができる。以上の過程を経て、ビデオストリームにおける特定の目標対象物の検出によってゲーム進行のステージを自動的に切り替え、ゲームのテンポを確保し、ハードウェアコストを節約し、ゲーム時間を節約し、効率を向上させることができる。

本開示の実施例では、１つの視点でのビデオストリームの、前記特定の目標対象物が検出された連続する複数フレームの画像のうち第１フレームの画像を決定し、他の視点で同期的に収集されたビデオストリームにおいて、前記第１フレームの画像に同期して収集された同期画像を決定し、前記同期画像の前のＮフレームの画像のうち少なくとも１フレームの画像において前記特定の目標対象物が検出されたことに応じて、前記同期画像の前のＮフレームの画像のうち前記特定の目標対象物が最も早く検出された画像に対応する時点を、１つのゲームステージの開始時点として決定してもよい。

なお、ゲームを複数ラウンドプレイするため、ビデオストリームには、少なくとも１ラウンドで収集された複数の視点でのビデオストリームが含まれ、異なるラウンドのゲームを区別するために、特定の目標対象物が連続的に収集された複数フレームの画像が１ラウンドのゲームの画像であることを決定することができるため、複数の視点でのビデオストリームにおける、特定の目標対象物が検出された連続する複数フレームの画像のうち第１フレームの画像をそれぞれ取得することができると説明すべきである。

複数の視点が、ゲームテーブルトップの左側面視視点及び／又はゲームテーブルトップの右側面視視点を含む側面視視点と、平面視視点とを含む場合、複数の視点でのビデオストリームのうち、例えばゲームテーブルトップの左側面視視点、ゲームテーブルトップの右側面視視点、平面視視点のビデオストリームにおいて、特定の目標対象物が検出された連続する複数フレームの画像の第１フレームの画像をそれぞれ決定し、あるラウンドで、第１視点（例えば左側面視視点）で特定の目標対象物が検出された連続する複数フレームの画像の第１フレームの画像を画像ａとする。

例えば、現在の１つの視点が左側面視視点であり、他の視点がゲームテーブルトップの右側面視視点及び／又はゲームテーブルトップの平面視視点を含む１つ以上の視点であると仮定すると、他の視点で同期的に収集されたビデオストリームにおいて、ゲームテーブルトップの左側面視視点に対応する第１フレームの画像、即ち画像ａに同期して収集された同期画像を決定することができる。それに応じて、同期画像の数は、１つ以上であってもよい。

本開示の実施例では、１ラウンドのゲームで、複数の視点で同期収集されたビデオストリームのすべてにおいて特定の目標対象物が検出される可能性がある。ゲーム進行のステージを切り替えるとき、異なるラウンドのゲームを区別するように、前ラウンドのゲームで特定の目標対象物が検出された時点を本ラウンドのゲームでのゲーム進行のステージの切り替えの時点とする確率を低下し、Ｎの取り得る値の範囲を限定することができる。例えば、あるラウンドのゲームの平均時間長と、複数のゲーム進行のステージの平均時間長と、画像のサンプリング周波数とに基づいてＮを決定することで、同期画像の前のＮフレームの画像が同一ラウンドのゲームにあることを確保する。Ｎは、１以上３０以下であってもよい。

以上は、Ｎの取り得る値の範囲を例示したに過ぎないが、Ｎの取り得る値は、同一ラウンドのゲームに限定され、かつ、ゲーム時間に応じて限定されてもよいが、本開示ではこれが限定されない。

ゲームテーブルトップの左側面視視点の第１フレームの画像を画像ａ、平面視視点で画像ａに同期して収集された同期画像を画像ｂとすると、画像ｂの前のＮフレームの画像のうち少なくとも１フレームの画像にも特定の目標対象物が検出された場合、ゲームテーブルトップの左側面視視点では画像ａが収集されるまでのある程度の期間内で、特定の目標対象物が遮蔽されるため、決定されたこのラウンドのゲームでゲームテーブルトップの左側面視視点で収集された画像から判断された目標対象物の最も早い出現時点が正確ではないと考えられる。この場合には、平面視視点で収集された画像の画像ｂの前のＮフレームの画像のうち特定の目標対象物が最も早く検出された画像に対応する時点で、ゲームステージを切り替えることができる。

３つ以上の視点で収集されたビデオストリームが取得された場合には、複数の視点について、第１フレームの画像の同期画像を見つけ出すことができる。少なくとも２つの視点での同期画像の前のＮフレームの画像のうち少なくとも１フレームの画像において特定の目標対象物を検出できると決定すれば、少なくとも２つの視点での同期画像の前のＮフレームの画像のうち、特定の目標対象物が最も早く検出された画像に対応する複数の時点を決定し、複数の時点から最も早い時点を見つけ出し、最も早い時点でゲーム進行のステージを切り替えることにより、１ラウンドのゲームで特定の目標対象物が最も早く出現した時点でゲーム進行のステージを切り替えることができる。そこで、複数の視点で収集されたビデオストリームに基づいてゲーム進行のステージを判断することは、単一の視点で収集されたビデオストリームに基づいてゲームステージを判断することよりも正確となる。

本開示の実施例では、異なる視点でのそれぞれ対応する同期画像の前のＮフレームの画像のいずれかにも特定の目標対象物が検出されなかった場合、該当ラウンドのゲームでは、特定の目標対象物が初めてゲームテーブルトップの特定領域に出現した時点が第１フレームの画像に対応する時点であるため、第１フレームの画像に対応する時点を１つのゲームステージの開始時点とすることができる。

いくつかの選択可能的な実施例では、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、
決定された時点を１つのゲームステージの開始時点とすることは、
決定された時点を第１ゲームステージの開始時点とすることを含む。

ここで、ゲーム関与領域は、賭け領域であり、つまり、ゲームテーブルトップの賭け領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点で第１ゲームステージ（賭けステージ）が開始することを決定するようにしてもよい。

いくつかの選択可能的な実施例では、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、
決定された時点を１つのゲームステージの開始時点とすることは、
決定された時点を第１ゲームステージの終了時点及び第２ゲームステージの開始時点とすることを含む。

つまり、ゲームテーブルトップのゲーム進行領域にゲームカードが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を、第１ゲームステージ（賭けステージ）の終了時点及び第２ゲームステージ（カード配りステージ）の開始時点と決定し、その時点でゲームステージを第１ゲームステージから第２ゲームステージに切り替えることができる。

本開示の実施例では、ビデオストリームの連続する複数フレームの画像においてゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出されると、現在のラウンドのゲームが既に第２ゲームステージであることを示すため、ゲームテーブルトップのゲーム進行領域にゲームカードが検出された連続する複数フレームの画像の第１フレームの画像に対応する時点を、ゲームステージが第１ゲームステージから第２ゲームステージに切り替わる時点としてもよい。

いくつかの選択可能的な実施例では、第１ゲームステージから第２ゲームステージに切り替えた後に、前記ゲームテーブルトップにおけるゲーム関与領域のゲーム関与結果が変化したと検出されると、例えば、ゲームテーブルトップにおける賭け領域に賭けるゲームコインが変化したことが検出されると、ゲームの公平性を保証するために提示情報を発する。該提示情報は、音声提示情報であってもよい。

本開示の実施例では、各ラウンドのゲームで、第１ゲームステージから第２ゲームステージに切り替えた後、第２ゲームステージの画像においてゲームテーブルトップの賭け領域に賭けるゲームコインが変化したことが検出されると、例えば、あるゲームプレイヤが新たに賭けゲームコインを増やすと、変化した賭けゲームコインが無効になると決定される。本開示の実施例では、あるプレイヤが自分の賭けゲームコインを増やすと、ゲームルールに基づいて、該ゲームプレイヤが第２ゲームステージに入った後に新たに増やした賭けゲームコインが無効になると決定したり、該ゲームプレイヤの全ての賭けゲームコインがいずれも無効になると決定したりすることができるが、本開示ではこれが限定されない。

いくつかの選択可能的な実施例では、第２ゲームステージで、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの種類、位置又は出現順序が、所定ルールと異なることが検出される場合に、ゲームディーラーがカードを誤って配ったことを注意するように、音声提示情報であり得る提示情報を発する。

いくつかの選択可能的な実施例では、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、
決定された時点を１つのゲームステージの開始時点とすることは、
決定された時点を第２ゲームステージの終了時点及び第３ゲームステージの開始時点とすることを含む。

具体的には実施すると、第２ゲームステージで、ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数とゲームカードのポイントとを検出し、数（例えば６枚のゲームカード）又はポイントの合計がカード配り終了時のルールに適合することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点に、第２ゲームステージ（カード配りステージ）が終了し、第３ゲームステージ（払出ステージ）が開始すると決定してもよい。

複数のゲームステージの開始時点及び終了時点が決定された後、ゲームステージを自動的に切り替えることによって、手間を節約し、ゲームの効率を向上させることができる。

いくつかの選択可能的な実施例では、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
第２ゲームステージの終了時点に、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの位置及びポイントに基づいて、勝敗結果を決定することを含む。

いくつかの選択可能的な実施例では、第３ゲームステージで、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
第２ゲームステージの終了時に決定された勝敗結果、第１ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールに基づいて、複数のプレイヤの払出結果を決定することを含み、これにより、ゲームディーラーの作業を減らし、人為的な計算による不注意又は誤りを低減する。

いくつかの選択可能的な実施例では、第１ゲームステージにおいて、プレイヤ（即ち、ゲームプレイヤ）がゲームに使用するゲームコインを記録することができる。図８は、本開示の実施例に係る画像処理方法における第１ゲームステージの検出を実行するフローチャートを示す。ここで、前記画像において検出された前記目標対象物と、特定された前記ゲームステージとに基づいて、ゲーム検出結果を得ることは、
ゲームコインとプレイヤとの対応関係を決定するＳ４１と、
決定された対応関係及び第１ゲームステージのルールに基づいて、複数のプレイヤの、プレイヤのゲームに使用されるゲームコインの総価値及びゲームに使用されるゲームコインが存在するゲーム関与領域のサブ領域を含むゲーム関与結果を決定するＳ４２と、を含む。

本開示の実施例では、ゲームコイン（両替物）とプレイヤとの対応関係を決定することは、複数のプレイヤの位置と、複数のゲーム関与領域の位置とに基づいて、ゲーム関与領域に関連付けられたプレイヤを決定することを含み、このステップは、１人のプレイヤの位置と１つのゲーム関与領域との間の距離が関連距離閾値以下である場合、該プレイヤが該ゲーム関与領域に関連付けられると決定することを含んでもよい。

本開示の実施例では、ゲームコインが識別された場合に、ゲームコインの物体識別子が取得されてもよい。異なる物体対象物は、色、模様、大きさ、コード値の少なくとも１つを含み得る異なる物体識別子を有してもよい。側面視視点で収集された画像によって、ゲームテーブルトップにおける物体対象物の物体識別子を容易に検出することができる。また、本開示の実施例では、第１ゲームステージの画像によって、ゲーム関与領域内の物体対象物の物体識別子が現在置かれたゲーム関与領域の位置情報に一致するか否かを確認することができ、例えば、物体識別子と位置情報とが一致しない場合には、警告動作を実行することができる。ここで、警告動作は、音声提示を含んでもよい。物体識別子と位置情報が一致しないという提示情報を所定の電子機器に送信することにより、第１ゲームステージの物体対象物を容易に検出することができる。

また、本開示の実施例では、ゲーム関与領域は、ゲームに使用されるゲームコインを置くための複数のサブ領域を含んでもよい。本開示の実施例では、第１ゲームステージにおけるゲーム関与領域の複数のサブ領域のゲームコインの総価値を統計してもよい。

第２ゲームステージは、ゲームプレイヤにゲームカードを配るステージであってもよい。ここで、ゲームカード毎に対応する数値符号と花色とを有し、該数値符号と花色とは、同様にゲームカードの物体識別子であってもよい。また、本開示の実施例は、ゲームカードの位置と人物対象物（ゲームプレイヤ又はゲームディーラー）の手の位置との間の面積インターセクションオーバーユニオンに基づいて、ゲームカードに対応する人物対象物を決定することで、人物対象物に対応するゲームカードを得ることができる。その上で、識別された人物対象物のゲームカードの数値符号と花色とに基づいて、第２ゲームステージの終了時に勝敗結果を得ることができる。ここで、異なるテーブルゲームは、異なるゲーム勝敗判定ルールを有してもよいが、本開示の実施例では、これが具体的に限定されない。

いくつかの可能な実施形態では、第３ゲームステージにおいて、オペレータ（例えば、ゲームディーラー）の払出操作を検出して、オペレータが実行する払出結果と、決定された払出結果とが一致するか否かを判断してもよい。ここで、払出結果は、第２ゲームステージの終了時に決定された勝敗結果、第１ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールによって決定され、不正行為が低減される。

図９は、本開示の実施例に係る画像処理方法における第３ゲームステージの検出のフローチャートを示す。前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、以下を含む。

Ｓ４０１で、オペレータにより実行された払出結果を確認する。

いくつかの可能な実施形態では、オペレータが、少なくとも１つのゲームプレイヤに対応するゲーム関与領域から抽出されたゲームコインの総価値、及びゲームプレイヤへ払い出されるゲームコインの価値を検出し、上記検出結果をオペレータにより実行された払出結果とすることができる。

Ｓ４０２で、勝敗結果におけるプレイヤによる払出結果とオペレータにより実行された前記払出結果とを比較し、オペレータによる払出結果が正確であるか否かを確認する。

いくつかの可能な実施形態では、検出されたオペレータによる払出結果と、決定された払出結果とを比較し、実行される払出結果と、決定された払出結果とが一致するか否かを確認することができる。一致しなければ、払出結果が正確に実行されていないと考えられる。

Ｓ４０３で、払出結果が正確に実行されていない場合に、警告情報を発する。

実行される払出結果と、決定された払出結果とが一致する場合には、払出結果が正確に実行されたと決定することができ、実行される払出結果と、決定された払出結果とが一致しない場合には、例えば、払い出されるゲームコインが、決定された払出結果におけるゲームコインよりも多い場合、警告情報を生成して、オペレータに提示してもよい。同様に、警告情報は、音声提示又は表示出力であってもよいが、本開示ではこれが限定されない。

以下、例を挙げて本開示の実施例の過程を説明する。図２に示すように、ゲームテーブルトップの上方に複数の撮像装置を架設し、テーブルトップのゲームをリアルタイムに解析し、識別結果に基づいてゲーム過程全体を第１ゲームステージ、第２ゲームステージ及び第３ゲームステージに分割する。第１ゲームステージでは、ゲームコインが各ゲームプレイヤ（人物対象物）によりゲーム関与領域に置かられると直ぐに各ゲームコインを識別し、該ゲームプレイヤのゲームコインを該ゲーム関与領域に置くことができるか否かを判断し、第１ゲームステージが終了すると直ぐに各ゲームプレイヤによりゲーム関与領域に置かられたゲームコインの総価値を統計することができる。第２ゲームステージでは、システムは、ゲームテーブルトップのゲーム関与領域におけるゲームコインの状況を不正に変えた人がいるか否か、例えば自分のゲームコインを取り戻したり、ゲームコインを増やしたりするか否かを自動的に監視することができ、第２ゲームステージの終了時に、ゲームテーブルトップのゲーム進行領域に存在するゲームカードに基づいて、各ゲームプレイヤの勝敗状況、即ち各ゲームプレイヤが勝利したか失敗したか、および対応する払出結果を算出することができる。第３ゲームステージでは、算出された払出結果に基づいて、実行された払出結果を照合することができる。

以下、画像収集装置の設置形態について詳細に説明する。本開示の実施例では、ゲームコインの額面金額（価値）の識別等、テーブルトップの微細な変化をキャプチャする必要があるため、３つのカメラ（撮像装置）を配置することができる。ここで、オペレータの左側にあるカメラをｌｅｆｔ ｖｉｅｗ（左側面視視点）といい、テーブルトップの左半分を撮像し、オペレータの右側にあるカメラをｒｉｇｈｔ ｖｉｅｗ（右側面視視点）といい、テーブルトップの右半分を撮像し、オペレータの真上のカメラをｂｉｒｄ ｖｉｅｗ（平面視視点）といい、テーブルトップ全体を平面視で撮像する。ここで、Ｌｅｆｔ ｖｉｅｗは、左半分の顔、ゲームコイン、人体、手の検出及び識別を担当し、Ｒｉｇｈｔ ｖｉｅｗは、右半分の顔、ゲームコイン、人体、手の検出及び識別を担当し、Ｂｉｒｄ ｖｉｅｗは、ゲーム貨幣、トランプの検出及び識別を担当し、かつテーブルトップ全体の状況を統括することができる。

本開示の実施例は、検出過程で、
３つのカメラビデオストリームを復号することにより、３つのカメラのビデオフレームを取得し、本開示の実施例の操作主体に入力するステップ１と、
本開示の実施例におけるシステムが、ｌｅｆｔ ｖｉｅｗとｒｉｇｈｔ ｖｉｅｗでのビデオにおける顔、手、人体及びゲームコインを検出し、ｂｉｒｄ ｖｉｅｗでのゲームコイン、手、トランプ及び貨幣を検出するステップ２と、
ステップ２で検出された各タイプの対象物を追跡し、追跡とは、ある物体を前後のビデオフレームにおいて関連付けて、一意的な番号識別子を付与することであるステップ３と、
時間と共に物体の位置が絶えず変化するため、検出枠が十分に正確ではない場合があり、遮蔽によるあるフレーム又はある数フレームが検出されなくなる場合があり、検出結果を修正して、それらの誤った検出枠を改正し、欠けている検出枠を補完するステップ４と、
検出枠によって、入力ビデオフレームにおいて該物体自身の画像を切り出し、ｌｅｆｔ ｖｉｅｗとｒｉｇｈｔ ｖｉｅｗで顔を特徴抽出し、ゲームコインを識別し、ｂｉｒｄ ｖｉｅｗでトランプの符号を識別するステップ５と、
ｌｅｆｔ ｖｉｅｗカメラ及びｒｉｇｈｔ ｖｉｅｗカメラは、テーブルトップの左右２つの領域のシーンをそれぞれ担当し、実際には中間領域にいるプレイヤが左右２つのカメラにより撮像される可能性があり、同一の人の場合について重複計算を行うため、融合を行って識別の重複を取り除く必要があるステップ６と、
テーブルトップの物体をマッピングし、ｂｉｒｄ ｖｉｅｗカメラがテーブルトップ全体を総合的かつ全面的に監視し、テーブルトップの全てのトランプ、貨幣及びゲームコインを撮像することができ、Ｌｅｆｔ ｖｉｅｗカメラ及びｒｉｇｈｔ ｖｉｅｗカメラがテーブルトップの一部を撮像することができるため、Ｌｅｆｔ ｖｉｅｗカメラとｒｉｇｈｔ ｖｉｅｗカメラで撮像されたゲームコインを、ｂｉｒｄ ｖｉｅｗカメラで撮像された画像にマッピングする必要があるステップ７と、
本開示の実施例では、ゲームプレイヤによりゲームテーブルトップのゲーム関与領域に置かれたゲームコインの状況をさらに取得し、このステップでステップ１～ステップ６の検出及び追跡を統括し、識別結果を管理し、ゲームテーブルトップのゲーム関与領域のゲームコインをゲームテーブル側にいるゲームプレイヤのいずれかに対応付けるステップ８と、
ステップ１～ステップ８がビデオストリームの１フレームの処理フローのすべてであり、ビデオストリームの各フレームを処理することにより、ゲームが現在どのゲームステージであるかを判別し、第１ゲームステージであると、各ゲームプレイヤのゲーム参加状況を判別し、第２ステージであると、カード配り状況を自動的に監視して各ゲームプレイヤの勝敗結果及び払出結果を算出し、かつ人によるテーブルトップ環境の変化を防止し、第３ステージであると、払出が正確であるか否かを自動的に照合するステップ９と、を実行することができる。

本開示の実施例では、ゲームテーブルトップの画像を取得し、画像に対して目標検出処理を行って、複数の画像における目標対象物を検出し、かつ検出された目標対象物に基づいて、現在進行しているゲームステージを特定し、検出された目標対象物及び特定されたゲームステージをさらに用いて、ゲームテーブルトップの検出を実行することによって、便利で、迅速かつ正確という特徴を有すると共に、ゲーム過程の検出を自動的に実行することができるため、規模化と産業化の経営を容易に実現することができる。

また、今までの人による作業に比べて、効率の大幅の向上、作業者の関与度の低減、専門作業者へのニーズの低減、その規模化経営の支援を図ることができ、誤りの発生も低下させ、異なる視点での画像収集装置により画像を収集することでテーブルトップの物体、特に、物体対象物の価値を正確に識別しつつ、参加する人とテーブルトップの他の物体との監視を両立させることができる。

また、当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。

また、本開示では、画像処理装置、電子機器、コンピュータ読取可能な記憶媒体、プログラムがさらに提供される。これらはいずれも本開示に係る画像処理方法のいずれか１つを実現するために利用できる。対応する技術的手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。

図１０は、本開示の実施例に係る画像処理装置のブロック図を示す。図１０に示すように、前記画像処理装置は、
ゲームテーブルトップのビデオストリームを取得するための取得モジュール１０と、
前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出するための検出モジュール２０と、
前記目標対象物に基づいて、現在のゲームステージを特定するためのゲームステージ特定モジュール３０と、
前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定する結果決定モジュール４０と、を含む。

いくつかの可能な実施形態では、前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、前記検出モジュールは、さらに、第１視点で収集された第１画像に対して目標検出を行い、前記第１画像における目標対象物を決定することと、第２視点で同期的に収集された第２画像に対して目標検出を行い、前記第２画像における目標対象物を決定することと、前記第１画像における目標対象物の外観情報及び周囲情報と、前記第２画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定し、ここで、１つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、１つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周囲の設定範囲内の画素によって決定されることに用いられる。

いくつかの可能な実施形態では、前記検出モジュールは、さらに、前記第１画像における目標対象物の外観情報と、前記第２画像における目標対象物の外観情報とに基づいて、第１特徴距離を決定し、１つの第１特徴距離は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との類似度を表すことと、前記第１画像における目標対象物の周囲情報と、前記第２画像における目標対象物の周囲情報とに基づいて、第２特徴距離を決定し、１つの第２特徴距離は、前記第１画像における１つの目標対象物の周囲情報と、前記第２画像における１つの目標対象物の周囲情報との類似度を表すことと、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物の第１特徴距離と第２特徴距離とに基づいて、前記２つの目標対象物間の特徴距離を決定することと、決定された特徴距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することに用いられる。

いくつかの可能な実施形態では、前記検出モジュールは、さらに、前記２つの目標対象物の第１特徴距離と第２特徴距離とを重み付き加算して、前記２つの目標対象物間の特徴距離を得ることを含み、ここで、前記２つの目標対象物の類似度が高いほど、重み付き加算時に前記２つの目標対象物の第２特徴距離の重み係数を大きくすることに用いられる。

いくつかの可能な実施形態では、前記検出モジュールは、さらに、前記第１画像における目標対象物と前記第２画像における目標対象物との間の幾何学的距離を決定することと、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物間の特徴距離と幾何学的距離に基づいて前記２つの目標対象物間の距離を決定することと、前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することに用いられる。

いくつかの可能な実施形態では、前記検出モジュールは、さらに、前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離によって距離行列を形成し、ここで、前記距離行列の１つの要素の値は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との間の距離を示すことと、前記距離行列に基づいて、前記第１画像と前記第２画像との間の隣接行列を決定し、前記隣接行列の要素の値は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との間に相関関係があるかないかを示すことに用いられる。

いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することと、決定された時点を１つのゲームステージの開始時点とすることに用いられる。

前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、１つの視点でのビデオストリームにおいて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像を決定することと、他の視点で同期的に収集されたビデオストリームにおいて、前記第１フレームの画像に同期して収集された同期画像を決定することと、前記同期画像の前のＮフレームの画像のうち少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記同期画像の前のＮフレームの画像のうち、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが最も早く検出された画像に対応する時点を決定することに用いられる。

いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記同期画像の前のＮフレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出していないことに応じて、前記第１フレームの画像に対応する時点を決定することに用いられる。

いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含むように用いられ、
決定された時点を１つのゲームステージの開始時点とすることは、決定された時点を第１ゲームステージの開始時点とすることを含むように用いられる。

いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含むように用いられ、
決定された時点を１つのゲームステージの開始時点とすることは、決定された時点を第１ゲームステージの終了時点及び第２ゲームステージの開始時点とすることを含むように用いられる。

いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含むように用いられ、
決定された時点を１つのゲームステージの開始時点とすることは、決定された時点を第２ゲームステージの終了時点及び第３ゲームステージの開始時点とすることを含むように用いられる。

いくつかの可能な実施形態では、現在のゲームステージが賭けステージであり、前記目標対象物は、人物対象物と物体対象物とを含み、前記結果決定モジュールは、さらに、ゲームコインとプレイヤとの対応関係を決定することと、決定された対応関係及び第１ゲームステージのルールに基づいて、複数のプレイヤの、プレイヤのゲームに使用されるゲームコインの総価値及びゲームに使用されるゲームコインが存在するゲーム関与領域のサブ領域を含むゲーム関与結果を決定することに用いられる。

いくつかの可能な実施形態では、現在のゲームステージがカード配りステージであり、前記結果決定モジュールは、さらに、
前記ゲームテーブルトップのゲーム関与領域においてゲーム関与結果が変化することを検出した場合と、
前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの種類、位置又は出現順序が、所定ルールと異なることを検出した場合と、のいずれかの場合に、提示情報を発することに用いられる。

前記結果決定モジュールは、さらに、第２ゲームステージの終了時点に、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの位置及びポイントに基づいて、勝敗結果を決定することに用いられる。

現在のゲームステージは、第３ゲームステージであり、前記結果決定モジュールは、さらに、第２ゲームステージの終了時に決定された勝敗結果、第１ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールに基づいて、複数のプレイヤの払出結果を決定することに用いられる。

前記結果決定モジュールは、さらに、オペレータにより実行された払出結果を確認することと、複数のプレイヤによる払出結果と前記オペレータにより実行された払出結果とを比較し、払出結果が正確に実行されたか否かを確認することと、払出結果が正確に実行されていない場合に、警告情報を発することに用いられる。

本開示の実施例では、コンピュータプログラム命令を記憶したコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ読取可能な記憶媒体がさらに提供される。コンピュータ読取可能な記憶媒体は、不揮発性コンピュータ読取可能な記憶媒体であってもよいし、揮発性コンピュータ読取可能な記憶媒体であってもよい。

本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、上記方法を実行するように構成される電子機器がさらに提供される。

本開示の実施例では、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器で動作すると、上記方法を実行するコンピュータプログラムがさらに提供される。

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

論理に違反しない限り、本願のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。

いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。

図１１は、本開示の実施例に係る電子機器のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。

図１１を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標／ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

例示的な実施例では、さらに、不揮発性または揮発性のコンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されと、上記方法を実行させることができる。

図１２は、本開示の実施例に係る他の電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図１２を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばマイクロソフトサーバオペレーティングシステム（Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ^TM）、アップル社が打ち出したグラフィカルユーザインタフェースベースのオペレーティングシステム（Ｍａｃ ＯＳ Ｘ^TM）、マルチユーザ・マルチプロセスのコンピュータオペレーティングシステム（Ｕｎｉｘ^TM）、オープンソースコードで開発されたＵｎｉｘ（登録商標）系オペレーティングシステム（Ｌｉｎｕｘ^TM）、オープンソースコードで開発されたＵｎｉｘ系オペレーティングシステム（ＦｒｅｅＢＳＤ^TM）又は類似するものに基づいて動作できる。

例示的な実施例では、さらに、不揮発性または揮発性のコンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されと、上記方法を実行させることができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令が有しているコンピュータ可読記憶媒体を含んでもよい。

コンピュータ可読記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することで、本開示の各方面を実現するようにしてもよい。

ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現ように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

本開示は、２０２０年８月１日にシンガポール知的財産庁に提出された、出願番号が１０２０２００７３４９Ｒで、発明の名称が「ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ，ＥＬＥＣＴＲＯＮＩＣ ＤＥＶＩＣＥ，ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ」であるシンガポール特許出願の優先権を主張し、その全ての内容は援用することによって本開示に組み込まれる。

Claims (14)

1. １つ以上のプロセッサによって、ゲームテーブルトップのビデオストリームを取得することと、
   １つ以上のプロセッサによって、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することと、
   １つ以上のプロセッサによって、前記目標対象物に基づいて、現在のゲームステージを特定することと、
   １つ以上のプロセッサによって、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することと、を含み、
   前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、
   前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することは、
   第１視点で収集された第１画像に対して目標検出を行い、前記第１画像における目標対象物を決定することと、
   第２視点で同期的に収集された第２画像に対して目標検出を行い、前記第２画像における目標対象物を決定することと、
   前記第１画像における目標対象物の外観情報及び周囲情報と、前記第２画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することと、を含み、
   前記第１画像における目標対象物の外観情報及び周囲情報と、前記第２画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することは、
   前記第１画像における目標対象物の外観情報と、前記第２画像における目標対象物の外観情報とに基づいて、第１特徴距離を決定し、１つの第１特徴距離は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との類似度を表すことと、
   前記第１画像における目標対象物の周囲情報と、前記第２画像における目標対象物の周囲情報とに基づいて、第２特徴距離を決定し、１つの第２特徴距離は、前記第１画像における１つの目標対象物の周囲情報と、前記第２画像における１つの目標対象物の周囲情報との類似度を表すことと、
   前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物の第１特徴距離と第２特徴距離とに基づいて、前記２つの目標対象物間の特徴距離を決定することと、
   決定された特徴距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することと、を含む、
   ことを特徴とする画像処理方法。
2. １つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、１つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周囲の設定範囲内の画素によって決定されることを特徴とする請求項１に記載の画像処理方法。
3. ２つの目標対象物の第１特徴距離と第２特徴距離とに基づいて、前記２つの目標対象物間の特徴距離を決定することは、
   前記２つの目標対象物の第１特徴距離と第２特徴距離とを重み付き加算して、前記２つの目標対象物間の特徴距離を得ることを含み、ここで、前記２つの目標対象物の類似度が高いほど、重み付き加算時に前記２つの目標対象物の第２特徴距離の重み係数を大きくすることを特徴とする請求項１に記載の画像処理方法。
4. １つ以上のプロセッサによって、前記第１画像における目標対象物と前記第２画像における目標対象物との間の幾何学的距離を決定することをさらに含み、
   決定された特徴距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することは、
   前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物に対して、２つの目標対象物間の特徴距離と幾何学的距離に基づいて前記２つの目標対象物間の距離を決定することと、
   前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することと、を含むことを特徴とする請求項１又は３に記載の画像処理方法。
5. 前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離に基づいて、前記第１画像における目標対象物と前記第２画像における目標対象物との相関関係を決定することは、
   前記第１画像における目標対象物と前記第２画像における目標対象物との間の距離によって距離行列を形成し、ここで、前記距離行列の１つの要素の値は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との間の距離を示すことと、
   前記距離行列に基づいて、前記第１画像と前記第２画像との間の隣接行列を決定し、前記隣接行列の要素の値は、前記第１画像における１つの目標対象物と前記第２画像における１つの目標対象物との間に相関関係があるかないかを示すことと、を含むことを特徴とする請求項４に記載の画像処理方法。
6. 前記目標対象物に基づいて現在のゲームステージを特定することは、
   前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することと、
   決定された時点を１つのゲームステージの開始時点とすることと、を含むことを特徴とする請求項１に記載の画像処理方法。
7. 前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、
   前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、
   １つの視点でのビデオストリームにおいて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像を決定することと、
   他の視点で同期的に収集されたビデオストリームにおいて、前記第１フレームの画像に同期して収集された同期画像を決定することと、
   前記同期画像の前のＮフレームの画像のうち少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記同期画像の前のＮフレームの画像のうち、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが最も早く検出された画像に対応する時点を決定することと、を含むことを特徴とする請求項６に記載の画像処理方法。
8. １つ以上のプロセッサによって、前記同期画像の前のＮフレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出していないことに応じて、前記第１フレームの画像に対応する時点を決定することをさらに含むことを特徴とする請求項７に記載の画像処理方法。
9. 前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、
   前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、
   決定された時点を１つのゲームステージの開始時点とすることは、
   決定された時点を第１ゲームステージの開始時点とすることを含み、
   及び／又は、
   前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、
   前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、
   決定された時点を１つのゲームステージの開始時点とすることは、
   決定された時点を第１ゲームステージの終了時点及び第２ゲームステージの開始時点とすることを含み、
   及び／又は、
   前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することは、
   前記ビデオストリームの少なくとも１フレームの画像において前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことが検出された連続する複数フレームの画像のうち第１フレームの画像に対応する時点を決定することを含み、
   決定された時点を１つのゲームステージの開始時点とすることは、
   決定された時点を第２ゲームステージの終了時点及び第３ゲームステージの開始時点とすることを含むことを特徴とする請求項６～８のいずれか１項に記載の画像処理方法。
10. 現在のゲームステージは、第１ゲームステージであり、前記目標対象物は、人物対象物と物体対象物とを含み、
    前記目標対象物及び特定された現在のゲームステージに基づいて、ゲーム検出結果を決定することは、
    ゲームコインとプレイヤとの対応関係を決定することと、
    決定された対応関係及び第１ゲームステージのルールに基づいて、複数のプレイヤの、プレイヤのゲームに使用されるゲームコインの総価値及びゲームに使用されるゲームコインが存在するゲーム関与領域のサブ領域を含むゲーム関与結果を決定することと、を含み、
    及び／又は、
    現在のゲームステージは、第２ゲームステージであり、
    前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
    前記ゲームテーブルトップのゲーム関与領域においてゲーム関与結果が変化することを検出した場合と、
    前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの種類、位置又は出現順序が、所定ルールと異なることを検出した場合と、のいずれかの場合に、提示情報を発することを含み、
    及び／又は、
    前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
    第２ゲームステージの終了時点に、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの位置及びポイントに基づいて、勝敗結果を決定することを含み、
    及び／又は、
    現在のゲームステージは、第３ゲームステージであり、
    前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
    第２ゲームステージの終了時に決定された勝敗結果、第１ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールに基づいて、複数のプレイヤの払出結果を決定することを含むことを特徴とする請求項１に記載の画像処理方法。
11. １つ以上のプロセッサによって、オペレータにより実行された払出結果を確認することと、
    １つ以上のプロセッサによって、複数のプレイヤによる払出結果と前記オペレータにより実行された払出結果とを比較し、払出結果が正確に実行されたか否かを確認することと、
    １つ以上のプロセッサによって、払出結果が正確に実行されていない場合に、警告情報を発することと、をさらに含むことを特徴とする請求項１０に記載の画像処理方法。
12. プロセッサと、
    プロセッサにより実行可能な命令を記憶するためのメモリとを含み、
    前記プロセッサは、前記メモリに記憶された命令を呼び出して、請求項１～１１のいずれか１項に記載の画像処理方法の各ステップを実行することを特徴とする電子機器。
13. コンピュータプログラム命令を記憶したコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、請求項１～１１のいずれか１項に記載の画像処理方法の各ステップを実行することを特徴とするコンピュータ読取可能な記憶媒体。
14. コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項１～１１のいずれか１項に記載の画像処理方法の各手順を実行させることを特徴とするコンピュータプログラム。

Images