JP7085622B2 - 画像におけるシーケンスを認識する方法及び装置、電子機器並びに記憶媒体 - Google Patents

Description

本開示は、コンピュータ技術に関し、特に、画像におけるシーケンスを認識する方法及び装置、電子機器並びに記憶媒体に関する。
＜関連出願の相互参照＞
本願は、２０１９年９月５日に中国特許局に提出された、出願番号２０１９１０８３８２８１．０、発明の名称「画像におけるシーケンスを認識する方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

画像におけるシーケンスの認識は、コンピュータビジョンにおける重要な研究の課題となっている。シーケンス認識アルゴリズムは、シーンテキスト認識、ナンバープレート認識等のシーンで広く用いられている。

本開示は、画像におけるシーケンスを認識する技術的解決手段を提供する。

本開示の一方面によれば、少なくとも１つの物体を積み重ね方向に沿って積み重ねたシーケンスを含む被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得ることと、前記被処理画像における、前記被処理画像を前記積み重ね方向に沿ってｋ個の領域に区画して得られた各区画領域の領域特徴を、前記第１の特徴マップに基づいて特定することであって、ｋは、前記積み重ね方向に沿って積み重ねた物体の設定された数であり、１より大きい整数であることと、各区画領域の領域特徴に基づいて前記シーケンス中の各物体のカテゴリーを特定することと、を含む画像におけるシーケンスを認識する方法を提供する。

可能な一実施形態では、各区画領域の領域特徴に基づいて前記シーケンス中の各物体のカテゴリーを特定することは、前記各区画領域のうちのいずれか１つである第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定することと、前記第１の区画領域の領域特徴が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、前記第１の区画領域の領域特徴が属する物体カテゴリーとして特定することと、を含む。

可能な一実施形態では、第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定するステップは、畳み込みカーネルの数が設定した物体カテゴリーの数と等しく、畳み込みカーネルのサイズが１×Ｎである第１の畳み込み層と、ｓｏｆｔｍａｘ層とを含む分類ネットワークによって実現され、Ｎは、各区画領域の領域特徴の長さであり、１より大きい整数であり、第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定することは、
前記第１の畳み込み層における各畳み込みカーネルのそれぞれを用いて前記第１の区画領域の領域特徴に対する畳み込み処理を行って、前記第１の区画領域の特徴のうち、設定した物体カテゴリーのそれぞれに属するカテゴリー特徴を特定することと、前記分類ネットワークにおけるｓｏｆｔｍａｘ層を用いて前記カテゴリー特徴を処理して、前記第１の区画領域の特徴が設定した物体カテゴリーのそれぞれに属する確率を特定することと、を含む。

可能な一実施形態では、被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得るステップは、第２の畳み込み層とプーリング層とを含む特徴抽出ネットワークによって実現され、被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得ることは、
前記第２の畳み込み層を用いて前記被処理画像に対する特徴抽出を行って、第２の特徴マップを取得することと、前記プーリング層を用いて前記第２の特徴マップに対するプーリング処理を行って、前記第２の特徴マップよりも特徴次元が少ない前記第１の特徴マップを取得することと、を含む。

可能な一実施形態では、前記被処理画像には、前記シーケンスを構成する物体の前記積み重ね方向に沿った面の画像が含まれる。

可能な一実施形態では、前記シーケンス中の少なくとも１つの物体は、一定の厚さを有するシート状物体である。

可能な一実施形態では、前記積み重ね方向は、前記シーケンス中の物体の厚さ方向である。

可能な一実施形態では、前記シーケンス中の少なくとも１つの物体は、前記積み重ね方向に沿った面に、色、模様及びパターンのうちの少なくとも１つを含む設定のマークを有する。

可能な一実施形態では、前記被処理画像は、取得された画像から前記シーケンスを切り取ったものであり、前記シーケンスの一端が前記被処理画像の１つのエッジと揃っている。

可能な一実施形態では、前記シーケンス中の物体の厚さが同じであり、前記被処理画像の前記積み重ね方向に沿った長さは、前記シーケンス中の物体の厚さのｋ倍である。

可能な一実施形態では、前記シーケンス中の物体の厚さが異なり、前記被処理画像の前記積み重ね方向に沿った長さは、前記シーケンス中の物体の可能なカテゴリーの最大厚さのｋ倍である。

可能な一実施形態では、前記方法は、前記シーケンス中の各物体のカテゴリーを特定した後、カテゴリーと前記カテゴリーの表す価値との間の対応関係により、前記シーケンスの表す合計価値を特定することを更に含む。

本開示の一方面によれば、少なくとも１つの物体を積み重ね方向に沿って積み重ねたシーケンスを含む被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得るための特徴抽出モジュールと、前記被処理画像における、前記被処理画像を前記積み重ね方向に沿ってｋ個の領域に区画して得られた各区画領域の領域特徴を、前記第１の特徴マップに基づいて特定するためのものであって、ｋは、前記積み重ね方向に沿って積み重ねた物体の設定された数であり、１より大きい整数である領域特徴特定モジュールと、各区画領域の領域特徴に基づいて前記シーケンス中の各物体のカテゴリーを特定するためのカテゴリー特定モジュールと、を含む画像におけるシーケンスを認識する装置を提供する。

可能な一実施形態では、前記カテゴリー特定モジュールは、前記各区画領域のうちのいずれか１つである第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定するための確率特定サブモジュールと、前記第１の区画領域の領域特徴が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、前記第１の区画領域の領域特徴が属する物体カテゴリーとして特定するためのカテゴリー特定サブモジュールと、を含む。

可能な一実施形態では、前記確率特定サブモジュールは、畳み込みカーネルの数が設定した物体カテゴリーの数と等しく、畳み込みカーネルのサイズが１×Ｎである第１の畳み込み層と、ｓｏｆｔｍａｘ層とを含む分類ネットワークによって実現され、Ｎは、各区画領域の領域特徴の長さであり、１より大きい整数であり、前記確率特定サブモジュールは、
前記第１の畳み込み層における各畳み込みカーネルのそれぞれを用いて前記第１の区画領域の領域特徴に対する畳み込み処理を行って、前記第１の区画領域の特徴のうち、設定した物体カテゴリーのそれぞれに属するカテゴリー特徴を特定することと、前記分類ネットワークにおけるｓｏｆｔｍａｘ層を用いて前記カテゴリー特徴を処理して、前記第１の区画領域の特徴が設定した物体カテゴリーのそれぞれに属する確率を特定することとに用いられる。

可能な一実施形態では、前記特徴抽出モジュールは、第２の畳み込み層とプーリング層とを含む特徴抽出ネットワークによって実現され、前記特徴抽出モジュールは、
前記第２の畳み込み層を用いて前記被処理画像に対する特徴抽出を行って、第２の特徴マップを取得することと、前記プーリング層を用いて前記第２の特徴マップに対するプーリング処理を行って、前記第２の特徴マップよりも特徴次元が少ない前記第１の特徴マップを取得することとに用いられる。

可能な一実施形態では、前記被処理画像には、前記シーケンスを構成する物体の前記積み重ね方向に沿った面の画像が含まれる。

可能な一実施形態では、前記シーケンス中の少なくとも１つの物体は、一定の厚さを有するシート状物体である。

可能な一実施形態では、前記積み重ね方向は、前記シーケンス中の物体の厚さ方向である。

可能な一実施形態では、前記シーケンス中の少なくとも１つの物体は、前記積み重ね方向に沿った面に、色、模様及びパターンのうちの少なくとも１つを含む設定のマークを有する。

可能な一実施形態では、前記被処理画像は、取得された画像から前記シーケンスを切り取ったものであり、前記シーケンスの一端が前記被処理画像の１つのエッジと揃っている。

可能な一実施形態では、前記シーケンス中の物体の厚さが同じであり、前記被処理画像の前記積み重ね方向に沿った長さは前記シーケンス中の物体の厚さのｋ倍である。

可能な一実施形態では、前記シーケンス中の物体の厚さが異なり、前記被処理画像の前記積み重ね方向に沿った長さは前記シーケンス中の物体の可能なカテゴリーの最大厚さのｋ倍である。

可能な一実施形態では、前記装置は、前記シーケンス中の各物体のカテゴリーを特定した後、カテゴリーと前記カテゴリーの表す価値との間の対応関係により、前記シーケンスの表す合計価値を特定するための価値特定モジュールを更に含む。

本開示の一方面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは前記メモリに記憶されたコマンドを呼び出して上記方法を実行するように構成される電子機器を提供する。

本開示の一方面によれば、コンピュータプログラムコマンドを記憶しているコンピュータ読み取り可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、上記方法を実現するコンピュータ読み取り可能記憶媒体を提供する。

本開示の一方面によれば、コンピュータ読み取り可能コードを含み、前記コンピュータ読み取り可能コードが電子機器上で作動すると、前記電子機器におけるプロセッサに上記方法を実行させるコンピュータプログラムを提供する。

本開示の実施例では、物体のシーケンスの画像の特徴マップを抽出し、被処理画像を複数の区画領域に区画して各区画領域の領域特徴を特定し、各領域特徴に基づいてシーケンス中の各物体のカテゴリーをそれぞれ特定することによって、積み重ねシーケンス中の物体の認識を実現することができ、複数の区画領域に区画して認識することで、認識の難しさが低くなり、認識の効果が高くなる。

以上の一般的な説明と以下の詳細な説明は、例示的及び説明的なものに過ぎず、本開示を制限するものではないと理解すべきである。以下の図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面が明確になる。

ここの図面は、明細書の一部として組み込まれて、本開示に適合する実施例を示すものであって、明細書と共に本開示の技術的手段を説明するために用いられる。

本開示の実施例に係る画像におけるシーケンスを認識する方法のフローチャートを示す。 本開示の実施例に係る画像におけるシーケンスを認識する方法における被処理画像の模式図を示す。 本開示の実施例に係る画像におけるシーケンスを認識する方法における被処理画像の模式図を示す。 本開示の実施例に係る画像におけるシーケンスを認識する方法の処理手順の模式図を示す。 本開示の実施例に係る画像におけるシーケンスを認識する装置のブロック図を示す。 本開示の実施例に係る電子機器のブロック図を示す。 本開示の実施例に係る電子機器のブロック図を示す。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。

ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。

本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は多種のうちのいずれか１つ又は多種のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣから構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素および回路について、詳細な説明を行わない。

図１は本開示の実施例に係る画像におけるシーケンスを認識する方法のフローチャートを示し、図１に示すように、前記方法は、
少なくとも１つの物体を積み重ね方向に沿って積み重ねたシーケンスを含む被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得るステップＳ１１と、
前記被処理画像における、前記被処理画像を前記積み重ね方向に沿ってｋ個の領域に区画して得られた各区画領域の領域特徴を、前記第１の特徴マップに基づいて特定するステップであって、ｋは、前記積み重ね方向に沿って積み重ねた物体の設定された数であり、１より大きい整数であるステップＳ１２と、
各区画領域の領域特徴に基づいて前記シーケンス中の各物体のカテゴリーを特定するステップＳ１３と、を含む。

可能な一実施形態では、前記画像におけるシーケンスを認識する方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置等の端末装置又はサーバ等の電子機器により実行されてもよく、プロセッサによりメモリに記憶されたコンピュータ読み取り可能コマンドを呼び出すことで実現されてもよい。又は、前記方法はサーバによって実行されてもよい。

可能な一実施形態では、被処理画像は、画像取得装置により取得された画像であってもよいし、他の方式で取得された画像であってもよく、少なくとも１つの物体を積み重ね方向に沿って積み重ねたシーケンスが含まれる。ここで、このシーケンス中の少なくとも１つの物体は、例えば、チップ、コイン、図書、タイヤ等のような一定の厚さを有するシート状物体である。本開示は、被処理画像における積み重ね物体の種類、被処理画像の具体的な取得方式及び被処理画像におけるシーケンス中の物体の具体的な種類を制限しない。

可能な一実施形態では、前記被処理画像は、取得された画像から前記シーケンスを切り取ったものであり、前記シーケンスの一端が前記被処理画像の１つのエッジと揃っている。例を挙げると、画像取得装置により取得された画像は、適用シーンの画像取得領域の領域画像であってもよく、その領域画像から物体のシーケンスの画像を被処理画像として切り取ることができる。本開示は、被処理画像を切り取るための具体的な方式を制限しない。

可能な一実施形態では、被処理画像におけるシーケンス中の物体の積み重ね方向は、シーケンス中の物体の厚さ方向である。ここで、シーケンス中の各物体の厚さは、同じであっても異なってもよく、本開示はこれを制限しない。

可能な一実施形態では、被処理画像には、前記シーケンスを構成する物体の前記積み重ね方向に沿った面の画像が含まれてもよい。積み重ね方向が厚さ方向であれば、被処理画像に前記シーケンスを構成する物体の厚さ方向の画像が含まれる。

図２ａ及び図２ｂは本開示の実施例に係る画像におけるシーケンスを認識する方法における被処理画像の模式図を示す。図２ａは整然と積み重ねられたシーケンスであり、図２ｂは乱れて積み重ねられたシーケンスである。図２ａ及び図２ｂに示すように、被処理画像は、厚さ方向の画像であり、つまりシーケンスを構成する物体の側面の画像であり、シーケンス中の物体は物体の厚さ方向に沿って、整然と積み重ねているか、または、乱れて積み重ねている。区画領域が積み重ね方向に沿って区画されるので、整然と積み重ねられたシーケンスであっても、乱れて積み重ねられたシーケンス、例えば整然としていないシーケンスであっても、区画領域の区画方式に影響を与えることがないため、シーケンスの認識に影響を及ぼさない。

可能な一実施形態では、前記シーケンス中の少なくとも１つの物体は、前記積み重ね方向に沿った面に、色、模様及びパターンのうちの少なくとも１つを含む設定のマークを有する。

図２ａ及び図２ｂに示すように、積み重ね方向がシーケンス中の各物体の厚さ方向であり、各物体の側面に設定のマークを有することによって、マークに基づいて各物体カテゴリーを特定することができる。物体のカテゴリーは、例えば、シーケンス中の物体がチップ又はコインである場合に、その物体の表す価値又は仮想価値を示すことができる。

可能な一実施形態では、このマークは、色、模様及びパターンのうちの少なくとも１つを含んでもよい。例えば、カテゴリーＡの物体を黄で表し、カテゴリーＢの物体を緑で表すようにしてもよく、カテゴリーＡの物体を細い模様で表し、カテゴリーＢの物体を太い模様で表すようにしてもよい。また、色、模様及びパターンのうちの少なくとも２つを組合せて異なるカテゴリーの物体を表してもよい。

各カテゴリーの物体のマークは、当業者により実際の状況に応じて設定されてもよい。本開示は、物体のカテゴリーの数、及び各カテゴリーの物体のマークの設定様式を制限しない。

いくつかの適用シーン（例えば、ゲームシーン）において、被処理画像におけるシーケンス中の物体の認識、分類が必要であり、例えば、物体の実際の数および各物体のカテゴリー（例えば、物体の表す価値又は仮想価値）を認識する。

可能な一実施形態では、前記積み重ね方向に沿って積み重ねた物体の数ｋを予め設定してもよく、ｋが１より大きい整数であり、例えばｋ＝４０である。被処理画像におけるシーケンス中の物体の数がその数ｋ以下である。被処理画像におけるシーケンス中の物体の数がｋより大きい場合、この被処理画像を複数の画像に区画して処理することができる。その数ｋについては、当業者により実際の状況に応じて設定されることができることを理解すべきであり、本開示はこれを制限しない。

可能な一実施形態では、前記シーケンス中の物体の厚さが同じであり、前記被処理画像の前記積み重ね方向に沿った長さは、前記シーケンス中の物体の厚さのｋ倍である。つまり、シーケンス中の各カテゴリーの物体の厚さが同じである場合、被処理画像の積み重ね方向に沿った長さが物体の厚さのｋ倍であり、又は物体の厚さのｋ倍より大きくなるようにしてもよい。このように、シーケンス中の物体の区画が容易になる。

可能な一実施形態では、前記シーケンス中の物体の厚さが異なり、前記被処理画像の前記積み重ね方向に沿った長さは、前記シーケンス中の物体の可能なカテゴリーの最大厚さのｋ倍である。つまり、シーケンス中の各カテゴリーの物体の厚さが異なる場合、被処理画像の積み重ね方向に沿った長さが前記シーケンス中の物体の可能なカテゴリーの最大厚さのｋ倍であり、又は前記シーケンス中の物体の可能なカテゴリーの最大厚さのｋ倍より大きくなるようにしてもよい。このように、シーケンス中の物体の区画が容易になる。

可能な一実施形態では、ステップＳ１１において、特徴抽出ネットワークによって被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得ることができる。ここで、この特徴抽出ネットワークは、例えば、畳み込み層、プーリング層等を含む畳み込みニューラルネットワークであってもよい。本開示は、特徴抽出ネットワークの具体的な種類を制限しない。

可能な一実施形態では、ステップＳ１２において、第１の特徴マップに基づいて、被処理画像を前記積み重ね方向に沿ってｋ個の区画領域に区画し、各区画領域の領域特徴を特定することができる。各領域特徴の形状は、被処理画像におけるシーケンス中の各物体の厚さに関連するものである。

可能な一実施形態では、ステップＳ１３において、分類ネットワークによって各区画領域の領域特徴に対して分類処理を行って、各区画領域に対応する物体が設定したカテゴリーのそれぞれに属する確率を特定し、更に各物体のカテゴリーを特定することができる。この分類ネットワークは、例えば、畳み込み層、ｓｏｆｔｍａｘ層等を含む畳み込みニューラルネットワークであってもよい。本開示は、分類ネットワークの具体的な種類を制限しない。

本開示の実施例によれば、物体のシーケンスの画像の特徴マップを抽出し、被処理画像を複数の区画領域に区画して各区画領域の領域特徴を特定し、各領域特徴に基づいてシーケンス中の各物体のカテゴリーを特定することによって、積み重ねシーケンス中の物体の認識を実現し、認識の効果を高めることができる。

可能な一実施形態では、ステップＳ１１は、第２の畳み込み層とプーリング層とを含む特徴抽出ネットワークによって実現されてもよく、ステップＳ１１は、
前記第２の畳み込み層を用いて前記被処理画像に対する特徴抽出を行って、第２の特徴マップを取得することと、前記プーリング層を用いて前記第２の特徴マップに対するプーリング処理を行って、前記第２の特徴マップよりも特徴次元が少ない前記第１の特徴マップを取得することと、を含む。

例を挙げると、第２の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、プーリング層は、例えば、平均プーリング層であってもよいし、他の種類のプーリング層であってもよい。被処理画像が特徴抽出ネットワークに入力された後、第２の畳み込み層を用いて被処理画像の畳み込みを行って第２の特徴マップを得、更にプーリング層を用いて第２の特徴マップに対するプーリング処理を行って、第１の特徴マップを取得することができる。ここで、第１の特徴マップの特徴次元が前記第２の特徴マップの特徴次元より少ない。例えば、第２の特徴マップの特徴次元が８１９２×１であり、第１の特徴マップの特徴次元が４０９６×１である。このように、後の分類ネットワークの分類処理において、多い特徴で処理する必要がなく、分類ネットワークの処理速度を高めることができる。

本開示は、特徴抽出ネットワークにおける畳み込み層の数、プーリング層の種類及びパラメータ設定を制限しない。

可能な一実施形態では、第１の特徴マップが得られた後、ステップＳ１２において、被処理画像を物体の積み重ね方向に沿ってｋ個の区画領域に区画し、第１の特徴マップの各区画領域に対応する特徴を各区画領域の領域特徴として特定することができる。ここで、各区画領域に基づいて、第１の特徴マップが各区画領域の領域特徴を積み重ねた特徴シーケンスとなるように、第１の特徴マップを整形（ｒｅｓｈａｐｅ）することができる。

例えば、第１の特徴マップの特徴次元を４０９６×１とし、被処理画像の区画領域の数ｋ＝１６とする場合、各区画領域の領域特徴の特徴次元が２５６×１であり、第１の特徴マップを１６×２５６の特徴シーケンスに整形することができ、即ち、この特徴シーケンスの形状は、区画領域の数（例えば、１６）×各区画領域の領域特徴の特徴長さＮ（例えば、２５６）である。このように、後の各区画領域に対する分類処理の利便性を向上させることができる。

可能な一実施形態では、ステップＳ１３は、
前記各区画領域のうちのいずれか１つである第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定することと、
前記第１の区画領域の領域特徴が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、前記第１の区画領域の領域特徴が属する物体カテゴリーとして特定することと、を含んでもよい。

例を挙げると、被処理画像における各区画領域の領域特徴が特定された場合に、各区画領域の領域特徴を分類することができる。例えば、シーケンス中の物体は最大Ｐ個の物体カテゴリーを有し、Ｐが１より大きい整数である。被処理画像におけるシーケンス中の物体のカテゴリーは、例えばゲームシーンにおいて、物体の表す価値（又は仮想価値）となり、例えば、５、１０、２０、５０、１００といった５つの価値の物体を表す５つのカテゴリーが設定されてもよい。本開示は、物体カテゴリーの数を制限しない。

可能な一実施形態では、各区画領域のうちのいずれか１つの区画領域（例えば、第１の区画領域と呼んでもよい）について、第１の区画領域の領域特徴に基づいて第１の区画領域における物体を予測し、第１の区画領域における物体が設定した物体カテゴリーのそれぞれに属する確率を特定することができ、第１の区画領域の領域特徴が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、第１の区画領域の領域特徴が属する物体カテゴリーとして特定することができる。例えば、第１の区画領域が設定した５つのカテゴリーに属する確率はそれぞれ０．２、０．８、０．１、０．０７、０．３である場合、確率０．８の物体カテゴリーをこの第１の区画領域における物体が属する物体カテゴリーとして特定することができる。

このような形態によれば、各区画領域における物体に対してそれぞれカテゴリー予測を行って、各区画領域における物体が属する物体カテゴリーを得ることによって、被処理画像におけるシーケンス中の各物体のカテゴリーを特定し、画像におけるシーケンスの認識を実現することができる。

可能な一実施形態では、第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定するステップは、畳み込みカーネルの数が設定した物体カテゴリーの数と等しく、畳み込みカーネルのサイズが１×Ｎである第１の畳み込み層と、ｓｏｆｔｍａｘ層とを含む分類ネットワークによって実現され、Ｎは、各区画領域の領域特徴の長さであり、１より大きい整数であり、
第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定することは、
前記第１の畳み込み層における各畳み込みカーネルのそれぞれを用いて前記第１の区画領域の領域特徴に対する畳み込み処理を行って、前記第１の区画領域の特徴のうち、設定した物体カテゴリーのそれぞれに属するカテゴリー特徴を特定することと、前記分類ネットワークにおけるｓｏｆｔｍａｘ層を用いて前記カテゴリー特徴を処理して、前記第１の区画領域の特徴が設定した物体カテゴリーのそれぞれに属する確率を特定することと、を含む。

例を挙げると、分類ネットワークを用いて各区画領域の領域特徴を分類することができる。この分類ネットワークは第１の畳み込み層とｓｏｆｔｍａｘ層を含んでもよい。第１の畳み込み層における畳み込みカーネルの数が設定した物体カテゴリーの数（Ｐ個）と等しく、各畳み込みカーネルのサイズが１×Ｎであり、Ｎは各区画領域の領域特徴の長さであり、１より大きい整数である。例えば、設定した物体カテゴリーの数Ｐが５である場合に、第１の畳み込み層は各物体カテゴリーに対応する５つの畳み込みカーネルを含み、各領域特徴の特徴長さＮが２５６である場合に、各畳み込みカーネルのサイズが１×２５６である。

可能な一実施形態では、前記第１の畳み込み層における各畳み込みカーネルのそれぞれを用いて前記第１の区画領域の領域特徴に対する畳み込み処理を行って、第１の区画領域の特徴のうち、設定した物体カテゴリーのそれぞれに属するカテゴリー特徴を特定することができる。このカテゴリー特徴は、例えば、特徴値又は特徴ベクトル等であってもよく、本開示は、カテゴリー特徴の具体的な形式を制限しない。

可能な一実施形態では、分類ネットワークにおけるｓｏｆｔｍａｘ層を用いてカテゴリー特徴を処理して、第１の区画領域の特徴が設定した物体カテゴリーのそれぞれに属する確率を特定することができる。

ここで、分類ネットワークにおいて、第１の畳み込み層及びｓｏｆｔｍａｘ層の数が被処理画像の区画領域の数ｋに対応し、各区画領域の領域特徴を分類ネットワークの各第１の畳み込み層に入力して、各第１の畳み込み層及び各ｓｏｆｔｍａｘ層により処理して、各区画領域が属する物体カテゴリーを得るようにしてもよい。これによって、被処理画像におけるシーケンス中の各物体のカテゴリーを特定し、画像におけるシーケンスの認識を実現することができる。

図３は本開示の実施例に係る画像におけるシーケンスを認識する方法の処理手順の模式図を示す。図３に示すように、被処理画像を特徴抽出ネットワーク２１に入力して特徴抽出を行って、被処理画像の第１の特徴マップ２２（例えば、４０９６×１の特徴マップ）を得ることができる。第１の特徴マップ２２に基づいて、被処理画像を物体の積み重ね方向に沿ってｋ個の区画領域に区画し、第１の特徴マップの各区画領域に対応する特徴を各区画領域の領域特徴として特定することができる。

この例において、第１の特徴マップが各区画領域の領域特徴を積み重ねた特徴シーケンス２３となるように、第１の特徴マップ２２に対する整形（ｒｅｓｈａｐｅ）処理を行うことができる。特徴シーケンス２３は、高さが被処理画像の区画領域の数（シーケンス中のｋ個の物体、例えばｋ＝１６）に対応し、長さが各区画領域の領域特徴の特徴長さ（例えば、特徴長さＮ＝２５６）に対応し、幅が各区画領域の領域特徴の特徴幅に対応する。例えば、特徴シーケンス２３には、高さが１、長さＮ＝２５６である最も下方の区画領域の領域特徴２３１を含む。

この例において、特徴シーケンス２３が得られた後、特徴シーケンス２３を分類ネットワーク２４の第１の畳み込み層に入力して処理することができる。分類ネットワーク２４の第１の畳み込み層の畳み込みカーネルの数が設定した物体カテゴリーの数（例えば、Ｐ＝５）と等しく、第１の畳み込み層の数が被処理画像の区画領域の数（例えば、ｋ＝１６）と等しくてもよい。特徴シーケンス２３中の各区画領域の領域特徴を対応する第１の畳み込み層の各畳み込みカーネルにそれぞれ入力して、各区画領域の領域特徴のＰ個のカテゴリー特徴を得、更に各区画領域のＰ個のカテゴリー特徴をｓｏｆｔｍａｘ層にそれぞれ入力して処理して、各区画領域が設定した物体カテゴリーのそれぞれに属する確率を得ることができる。

この例において、各区画領域が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、この区画領域の領域特徴が属する物体カテゴリーとして特定し、画像におけるシーケンスの認識結果２５を得ることができる。この認識結果２５は、被処理画像におけるシーケンス中の各物体のカテゴリーを含み、例えば、２５１はシーケンス中の最も上層の物体の物体カテゴリーを表す。

可能な一実施形態では、本開示の実施例に係る画像におけるシーケンスを認識する方法は、更に、前記シーケンス中の各物体のカテゴリーを特定した後、カテゴリーと前記カテゴリーの表す価値との間の対応関係により前記シーケンスの表す合計価値を特定することを含んでもよい。

例を挙げると、被処理画像におけるシーケンス中の物体のカテゴリーは、いくつかのシーン（例えば、ゲームシーン）において、物体の表す価値となり、例えば、５、１０、２０、５０、１００といった５つの価値（又は仮想価値）の物体を表す５つのカテゴリーが設定されてもよい。シーケンス中の各物体のカテゴリーを特定した後、シーケンス中の各物体のカテゴリーとカテゴリーの表す価値との間の対応関係により、このシーケンスの表す合計価値を特定することができる。例えば、シーケンスに８つの物体が含まれ、各物体のカテゴリーの表す価値がそれぞれ２０、２０、５０、５、１０、５、１００、５０である場合、計算により、このシーケンスの表す合計価値が２６０であると特定することができる。

このような形態によって、シーケンスの表す合計価値の自動的な認識を実現することができる。

可能な一実施形態では、特徴抽出ネットワーク及び分類ネットワークを用いる前に、特徴抽出ネットワーク及び分類ネットワークをトレーニングしてもよい。ここで、前記画像におけるシーケンスを認識する方法は、
複数のサンプル画像を含む、予め設定されたトレーニングセットにより、前記特徴抽出ネットワーク及び前記分類ネットワークをトレーニングすることを更に含む。

例を挙げると、予め設定されたトレーニングセットにより、特徴抽出ネットワーク及び分類ネットワークを一緒にトレーニングすることができる。トレーニングセットには複数のサンプル画像が含まれる。各サンプル画像は、例えばシーケンス中の物体の数、厚さ、カテゴリー等をラベリングしたラベリング情報を有する。

可能な一実施形態では、トレーニングセットには、更にサンプル画像の拡張された画像が含まれてもよい。ここで、前記方法は、サンプル画像に対して、イメージネットポリシー（ＩｍａｇｅＮｅｔＰｏｌｉｃｙ）、画像のエッジのランダムなトリミング、画像のランダムな縦方向トリミング、及びランダムなオクルージョンのうちの少なくとも１つを含むデータ拡張処理を実行して、前記サンプル画像の拡張された画像を得ることを更に含む。ここで、イメージネットポリシーは、サンプル画像に対して、歪み、色の変化、輝度の調整、鮮明度の調整等の処理のうちの少なくとも１つを実行することを含んでもよい。

つまり、トレーニング効果を高めるために、データ拡張処理によってサンプル画像の数を拡張することができる。拡張された画像は、対応するサンプル画像のラベリング情報を採用することができる。イメージネットポリシー、画像のエッジのランダムなトリミング、画像のランダムな縦方向トリミング、及びランダムなオクルージョン等の手法でデータ拡張を実行することができ、本開示はデータ拡張の具体的な手法を制限しない。

このような形態によれば、トレーニングされた特徴抽出ネットワーク及び分類ネットワークにより、実際のシーンでのボケ、オクルージョン、不規則な配置等の場合の積み重ねられた物体の認識が実現でき、認識精度を著しく向上させることができる。

可能な一実施形態では、予め設定されたトレーニングセットにより前記特徴抽出ネットワーク及び前記分類ネットワークをトレーニングするステップは、
サンプル画像を特徴抽出ネットワークに入力して特徴抽出を行って、前記サンプル画像の特徴マップを得ることと、前記サンプル画像の特徴マップに基づいて前記被処理画像における各区画領域の領域特徴を特定することと、各区画領域の領域特徴に基づいて前記サンプル画像におけるシーケンス中の各物体のカテゴリーを特定することと、前記サンプル画像におけるシーケンス中の各物体のカテゴリー及び前記サンプル画像のラベリング情報に基づいて、前記特徴抽出ネットワーク及び前記分類ネットワークのネットワーク損失を特定することと、前記ネットワーク損失に基づいて、前記特徴抽出ネットワーク及び前記分類ネットワークをトレーニングすることと、を含んでもよい。

例を挙げると、サンプル画像を特徴抽出ネットワークに入力して、サンプル画像の特徴マップを出力し、被処理画像を物体の積み重ね方向に沿ってｋ個の区画領域に区画し、第１の特徴マップの各区画領域に対応する特徴を各区画領域の領域特徴として特定することができる。ここで、各区画領域に基づいて、特徴マップが各区画領域の領域特徴を積み重ねた特徴シーケンスとなるように、第１の特徴マップを整形（ｒｅｓｈａｐｅ）することができる。

可能な一実施形態では、特徴シーケンスを分類ネットワークに入力して、各区画領域が設定した物体カテゴリーのそれぞれに属する確率を出力し、各区画領域の領域特徴が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、この区画領域の領域特徴が属する物体カテゴリー、即ち、サンプル画像におけるシーケンスの認識結果として特定することができる。

可能な一実施形態では、サンプル画像におけるシーケンスの認識結果及びサンプル画像のラベリング情報によって、特徴抽出ネットワーク及び分類ネットワークのネットワーク損失を特定することができる。

可能な一実施形態では、ネットワーク損失は、交差エントロピー損失関数、中心損失関数（Ｃｅｎｔｅｒ Ｌｏｓｓ）及び平均２乗誤差のうちの少なくとも１つを含む。ここで、交差エントロピー損失関数及び中心損失関数は、サンプル画像におけるシーケンスの認識結果とラベリング情報中のラベリング結果との間の違いを示し、サンプル画像におけるシーケンスの認識結果を監視することができる。平均２乗誤差は、サンプル画像におけるシーケンス中の各物体の予測厚さ（即ち各区画領域の高さ）と各物体の真の厚さとの間の違いを示し、サンプル画像における区画領域の区画を監視することができる。従って、トレーニングされたニューラルネットワークは、抽出された特徴に基づいて区画領域を区画し、シーケンス中の異なる物体をより正確に異なる区画領域へ区画することができる。

可能な一実施形態では、ネットワーク損失に基づいて特徴抽出ネットワーク及び分類ネットワークをトレーニングしてもよい。即ち、全ての損失関数の値を、パラメータ勾配を計算するために一緒に逆伝播するとともに、特徴抽出ネットワーク及び分類ネットワークのパラメータを更新する。複数回の調整を行って、予め設定されたトレーニング条件に達した（例えば、ネットワーク損失が収束したり、予め設定された調整回数になったりする）場合、最終回で調整された特徴抽出ネットワーク及び分類ネットワークをトレーニングされた特徴抽出ネットワーク及び分類ネットワークとして用いることができる。本開示は、具体的なトレーニング条件及びトレーニング方式を制限しない。

このような形態によって、ネットワークのトレーニングプロセスを完了して、実用可能な特徴抽出ネットワーク及び分類ネットワークを得ることができる。

本開示の実施例に係わる画像におけるシーケンスを認識する方法によれば、画像におけるシーケンス中の各物体の正確な認識を実現でき、実際のシーンでのボケ、オクルージョン、不規則な配置等の場合の積み重ねられた物体の認識を実現でき、使用される全層畳み込みニューラルネットワークモデルは、モデルサイズ及びモデル速度がいずれも優れ、実際のシーンに容易に適用することができる。

本開示の実施例に係る画像におけるシーケンスを認識する方法は、汎用性を有し、積み重ね物体のシーケンスを認識する様々なシーンに適用可能である。例えば、ゲームシーンでは、この方法によって、取得された画像から切り取ったゲームチップ又はゲームコインのシーケンスの画像を認識し、勝負の知能化配当、チップ金額の知能化確認等の機能を実現して、ゲームシーンをより規範的で、安全で、信頼可能にすることができる。

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示ではその説明を省略する。当業者であれば、具体的な実施形態の上記方法において、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが理解される。

また、本開示は画像におけるシーケンスを認識する装置、電子機器、コンピュータ読み取り可能記憶媒体、プログラムを更に提供し、それらのいずれも本開示で提供される画像におけるシーケンスを認識する方法のいずれか１つを実現するために利用可能であり、それに対応する技術的手段及び説明については方法部分の対応する記載を参照すればよく、ここで割愛する。

図４は本開示の実施例に係る画像におけるシーケンスを認識する装置のブロック図を示し、図４に示すように、前記装置は、
少なくとも１つの物体を積み重ね方向に沿って積み重ねたシーケンスを含む被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得るための特徴抽出モジュール４１と、
前記被処理画像における、前記被処理画像を前記積み重ね方向に沿ってｋ個の領域に区画して得られた各区画領域の領域特徴を前記第１の特徴マップに基づいて特定するためのものであって、ｋは、前記積み重ね方向に沿って積み重ねた物体の設定された数であり、１より大きい整数である領域特徴特定モジュール４２と、
各区画領域の領域特徴に基づいて前記シーケンス中の各物体のカテゴリーを特定するためのカテゴリー特定モジュール４３と、を含む。

可能な一実施形態では、前記カテゴリー特定モジュールは、前記各区画領域のうちのいずれか１つである第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定するための確率特定サブモジュールと、前記第１の区画領域の領域特徴が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、前記第１の区画領域の領域特徴が属する物体カテゴリーとして特定するためのカテゴリー特定サブモジュールと、を含む。

可能な一実施形態では、前記確率特定サブモジュールは、畳み込みカーネルの数が設定した物体カテゴリーの数と等しく、畳み込みカーネルのサイズが１×Ｎである第１の畳み込み層と、ｓｏｆｔｍａｘ層とを含む分類ネットワークによって実現され、Ｎは、各区画領域の領域特徴の長さであり、１より大きい整数であり、前記確率特定サブモジュールは、
前記第１の畳み込み層における各畳み込みカーネルのそれぞれを用いて前記第１の区画領域の領域特徴に対する畳み込み処理を行って、前記第１の区画領域の特徴のうち、設定した物体カテゴリーのそれぞれに属するカテゴリー特徴を特定することと、前記分類ネットワークにおけるｓｏｆｔｍａｘ層を用いて前記カテゴリー特徴を処理して、前記第１の区画領域の特徴が設定した物体カテゴリーのそれぞれに属する確率を特定することとに用いられる。

可能な一実施形態では、前記特徴抽出モジュールは、第２の畳み込み層とプーリング層とを含む特徴抽出ネットワークによって実現され、前記特徴抽出モジュールは、
前記第２の畳み込み層を用いて前記被処理画像に対する特徴抽出を行って、第２の特徴マップを取得することと、前記プーリング層を用いて前記第２の特徴マップに対するプーリング処理を行って、前記第２の特徴マップよりも特徴次元が少ない前記第１の特徴マップを取得することとに用いられる。

可能な一実施形態では、前記被処理画像には、前記シーケンスを構成する物体の前記積み重ね方向に沿った面の画像が含まれる。

可能な一実施形態では、前記シーケンス中の少なくとも１つの物体は、一定の厚さを有するシート状物体である。

可能な一実施形態では、前記積み重ね方向は、前記シーケンス中の物体の厚さ方向である。

可能な一実施形態では、前記シーケンス中の少なくとも１つの物体は、前記積み重ね方向に沿った面に、色、模様及びパターンのうちの少なくとも１つを含む設定のマークを有する。

可能な一実施形態では、前記被処理画像は、取得された画像から前記シーケンスを切り取ったものであり、前記シーケンスの一端が前記被処理画像の１つのエッジと揃っている。

可能な一実施形態では、前記シーケンス中の物体の厚さが同じであり、前記被処理画像の前記積み重ね方向に沿った長さは、前記シーケンス中の物体の厚さのｋ倍である。

可能な一実施形態では、前記シーケンス中の物体の厚さが異なり、前記被処理画像の前記積み重ね方向に沿った長さは、前記シーケンス中の物体の可能なカテゴリーの最大厚さのｋ倍である。

可能な一実施形態では、前記装置は、前記シーケンス中の各物体のカテゴリーを特定した後、カテゴリーと前記カテゴリーの表す価値との間の対応関係により前記シーケンスの表す合計価値を特定するための価値特定モジュールを更に含む。

いくつかの実施例では、本開示の実施例で提供された装置に備える機能又は含まれるモジュールは、上記方法実施例に記載の方法を実行するために用いられるものであり、その具体的な実施については上記方法実施例の説明を参照すればよく、説明を簡潔にするために、ここで割愛する。

本開示の実施例は、コンピュータプログラムコマンドを記憶しているコンピュータ読み取り可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、上記方法を実現するコンピュータ読み取り可能記憶媒体を更に提供する。コンピュータ読み取り可能記憶媒体は、非揮発性コンピュータ読み取り可能記憶媒体であってもよいし、揮発性コンピュータ読み取り可能記憶媒体であってもよい。

本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されたコマンドを呼び出して上記方法を実行するように構成される電子機器を更に提供する。

本開示の実施例は、コンピュータ読み取り可能コードを含み、前記コンピュータ読み取り可能コードが電子機器上で作動すると、前記電子機器におけるプロセッサに上記方法を実行させるコンピュータプログラムを更に提供する。

電子装置は、端末、サーバ又は他の形態の装置として提供されてもよい。

図５は本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってもよい。

図５を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００の各面での状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）（登録商標）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行することができる。

図６は本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図６を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１の命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成された有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、Ｍａｃ ＯＳ Ｘ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）または類似するものに基づいて動作できる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行することができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能プログラム命令が有しているコンピュータ読み取り可能記憶媒体を含んでもよい。

コンピュータ読み取り可能記憶媒体は命令実行装置により使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶させる。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。

なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各方面を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できると理解すべきである。

これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。

コンピュータ読み取り可能プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は、指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

論理に違反しない限り、本願のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

本開示は、少なくとも１つの物体を積み重ね方向に沿って積み重ねたシーケンスを含む被処理画像に対する特徴抽出を行って、被処理画像の第１の特徴マップを得ることと、被処理画像における、被処理画像を積み重ね方向に沿ってｋ個の領域に区画して得られた各区画領域の領域特徴を第１の特徴マップに基づいて特定することであって、ｋは、積み重ね方向に沿って積み重ねた物体の設定された数であり、１より大きい整数であることと、各区画領域の領域特徴に基づいてシーケンス中の各物体のカテゴリーを特定することと、を含む画像におけるシーケンスを認識する方法及び装置、電子機器並びに記憶媒体に関する。本開示の実施例は、積み重ねシーケンス中の物体の認識を実現することができる。

Claims (12)

1. 少なくとも１つの物体を積み重ね方向に沿って積み重ねたシーケンスを含む被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得ることと、
   前記被処理画像における、前記被処理画像を前記積み重ね方向に沿ってｋ個の領域に区画して得られた各区画領域の領域特徴を、前記第１の特徴マップに基づいて特定することであって、ｋは、前記積み重ね方向に沿って積み重ねた物体の設定された数であり、１より大きい整数であることと、
   各区画領域の領域特徴に基づいて前記シーケンス中の各物体のカテゴリーを特定することと、を含み、
   各区画領域の領域特徴に基づいて前記シーケンス中の各物体のカテゴリーを特定することは、
   前記各区画領域のうちのいずれか１つである第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定することと、
   前記第１の区画領域の領域特徴が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、前記第１の区画領域の領域特徴が属する物体カテゴリーとして特定することと、を含む、ことを特徴とする画像におけるシーケンスを認識する方法。
2. 第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定するステップは、畳み込みカーネルの数が設定した物体カテゴリーの数と等しく、畳み込みカーネルのサイズが１×Ｎである第１の畳み込み層と、ｓｏｆｔｍａｘ層とを含む分類ネットワークによって実現され、Ｎは、各区画領域の領域特徴の長さであり、１より大きい整数であり、
   第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定することは、
   前記第１の畳み込み層における各畳み込みカーネルのそれぞれを用いて前記第１の区画領域の領域特徴に対する畳み込み処理を行って、前記第１の区画領域の特徴のうち、設定した物体カテゴリーのそれぞれに属するカテゴリー特徴を特定することと、
   前記分類ネットワークにおけるｓｏｆｔｍａｘ層を用いて前記カテゴリー特徴を処理して、前記第１の区画領域の特徴が設定した物体カテゴリーのそれぞれに属する確率を特定することと、を含むことを特徴とする請求項１に記載の方法。
3. 被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得るステップは、第２の畳み込み層とプーリング層とを含む特徴抽出ネットワークによって実現され、
   被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得ることは、
   前記第２の畳み込み層を用いて前記被処理画像に対する特徴抽出を行って、第２の特徴マップを取得することと、
   前記プーリング層を用いて前記第２の特徴マップに対するプーリング処理を行って、前記第２の特徴マップよりも特徴次元が少ない前記第１の特徴マップを取得することと、を含むことを特徴とする請求項１または２に記載の方法。
4. 前記被処理画像には、前記シーケンスを構成する物体の前記積み重ね方向に沿った面の画像が含まれ、
   前記積み重ね方向は、前記シーケンス中の物体の厚さ方向であることを特徴とする請求項１～３のいずれか一項に記載の方法。
5. 前記シーケンス中の少なくとも１つの物体は、一定の厚さを有するシート状物体であることを特徴とする請求項１～４のいずれか一項に記載の方法。
6. 前記シーケンス中の少なくとも１つの物体は、前記積み重ね方向に沿った面に、色、模様及びパターンのうちの少なくとも１つを含む設定のマークを有することを特徴とする請求項５に記載の方法。
7. 前記被処理画像は、取得された画像から前記シーケンスを切り取ったものであり、前記シーケンスの一端が前記被処理画像の１つのエッジと揃っていることを特徴とする請求項１～６のいずれか一項に記載の方法。
8. 前記シーケンス中の物体の厚さが同じであり、前記被処理画像の前記積み重ね方向に沿った長さは、前記シーケンス中の物体の厚さのｋ倍であり、
   または、
   前記シーケンス中の物体の厚さが異なり、前記被処理画像の前記積み重ね方向に沿った長さは、前記シーケンス中の物体の可能なカテゴリーの最大厚さのｋ倍であることを特徴とする請求項７に記載の方法。
9. 少なくとも１つの物体を積み重ね方向に沿って積み重ねたシーケンスを含む被処理画像に対する特徴抽出を行って、前記被処理画像の第１の特徴マップを得るための特徴抽出モジュールと、
   前記被処理画像における、前記被処理画像を前記積み重ね方向に沿ってｋ個の領域に区画して得られた各区画領域の領域特徴を、前記第１の特徴マップに基づいて特定するためのものであって、ｋは、前記積み重ね方向に沿って積み重ねた物体の設定された数であり、１より大きい整数である領域特徴特定モジュールと、
   各区画領域の領域特徴に基づいて前記シーケンス中の各物体のカテゴリーを特定するためのカテゴリー特定モジュールと、を含み、
   前記カテゴリー特定モジュールは、
   前記各区画領域のうちのいずれか１つである第１の区画領域の領域特徴に基づいて、前記第１の区画領域が設定した物体カテゴリーのそれぞれに属する確率を特定するための確率特定サブモジュールと、
   前記第１の区画領域の領域特徴が属する物体カテゴリーのうちの確率が最も高い物体カテゴリーを、前記第１の区画領域の領域特徴が属する物体カテゴリーとして特定するためのカテゴリー特定サブモジュールと、を含む、ことを特徴とする画像におけるシーケンスを認識する装置。
10. プロセッサと、
    プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
    前記プロセッサは、前記メモリに記憶されたコマンドを呼び出して請求項１～８のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
11. コンピュータプログラムコマンドを記憶しているコンピュータ読み取り可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項１～８のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能記憶媒体。
12. コンピュータ読み取り可能コードを含み、前記コンピュータ読み取り可能コードが電子機器上で作動すると、前記電子機器におけるプロセッサに請求項１～８のいずれか一項に記載の方法を実行させることを特徴とするコンピュータプログラム。

Images