JP6339489B2 - 画像分割方法および画像分割装置 - Google Patents

Description

本開示は、インターネットの分野に関し、より詳細には、画像分割方法および画像分割装置に関する。

人工知能の分野において、いかにしてスマートウェアラブルデバイスまたはロボットに自然な対話形式で再構成および識別を行わせるかは、現在の研究において主要な課題となっており、その中で自然な人間対コンピュータの対話の構築はとりわけ重要である。人工知能デバイスおよびロボットは、人間生活の様々な面で広く適用されてきたものであり、人間の介入による機械視覚と認識もまた、新しい技術によってより便利かつ効率的になるべきであり、機械認識および画像識別を行うより自然な方法が求められる。

現在、画像識別および機械視覚認識のための入力は、まず写真を撮影しついで対象物を決定することにより行われる。この処理はしばしば、撮影内容の複雑さにより限定され、その結果として多くのステップが必要とされ、学習コストは高い。さらに、撮影された写真は人間の介入を必要とし、たとえば、写真は手動で区切られる必要がある。加えて、識別内容を機械によって正確に取得することができないため、識別の正確性が低くなり、不規則な物体を識別することは難しく、操作は不便であり、ユーザ体験は劣っている。

本開示の実施形態は、従来技術における問題の少なくとも一つを少なくともある程度解決することを目的とする。

本開示の第１の態様によると、画像分割方法が提供される。画像分割方法は、対象物の動的移動のビデオ画像を受信し、ビデオ画像のフル画像オプティカルフローを取得してビデオ画像内の各画素の第１の変位を推定し、ビデオ画像の背景画像オプティカルフローを取得してビデオ画像内の背景画素の第２の変位を推定することと、第１の変位を第２の変位と比較して対象物の前景領域を取得することと、対象物の前景領域におけるビデオ画像内の特徴点を抽出し、抽出された特徴点の確率密度を計算して対象物の数を決定することと、対象物の視覚追跡と移動軌跡分析を行って対象物を追跡することと、特徴点のフレーム間変位、フレーム間切開窓の類似性、追跡ボックススケーリングにしたがって対象物の静止判定と画像分割を行うこととから構成される。

本開示の実施形態に係る画像分割方法では、対象物の動的移動のビデオ画像が受信された後、フル画像オプティカルフローと背景画像オプティカルフローを取得することにより対象物の前景領域（つまり、対象物）が決定されてよく、対象物の動的移動の間対象物が追跡され、対象物の静止判定が行われて対象物が位置するビデオ画像の領域が分割される。したがって、識別される物体が識別される際、ユーザは、対象物の画像分割を素早く行うため、対象物を取るか振るかするだけでよく、これは対象物の後続の画像識別のための正確な識別入力として用いることができる。

本開示の第２の態様によると、画像分割装置が提供される。画像分割装置は、対象物の動的移動のビデオ画像を受信するよう構成された受信モジュールと、ビデオ画像のフル画像オプティカルフローを取得してビデオ画像内の各画素の第１の変位を推定するよう、またビデオ画像の背景画像オプティカルフローを取得してビデオ画像内の背景画素の第２の変位を推定するよう構成された取得モジュールと、第１の変位と第２の変位を比較して対象物の前景領域を取得するよう構成された比較モジュールと、対象物の前景領域におけるビデオ画像内の特徴点を抽出するよう構成された抽出モジュールと、抽出された特徴点の確率密度を計算して対象物の数を決定するよう構成された計算モジュールと、対象物の視覚追跡と移動軌跡分析を行って対象物を追跡するよう構成された追跡モジュールと、特徴点のフレーム間変位、フレーム間切開窓の類似性、および追跡ボックススケーリングにしたがって対象物の静止判定と画像分割を行うよう構成された分割モジュールとから構成される。

本開示の実施形態に係る画像分割装置では、受信モジュールが対象物の動的移動のビデオ画像を受信した後、フル画像オプティカルフローと背景画像オプティカルフローを取得することにより対象物の前景領域（つまり、対象物）が決定されてよく、対象物の動的移動の間対象物が追跡され、対象物の静止判定が行われて、対象物の位置するビデオ画像の領域が分割される。したがって、識別される物体が識別される際、対象物の画像分割を素早く行うために、ユーザは対象物を取るか振るかするだけでよく、これは後続の対象物の画像識別のための正確な識別入力として用いることができる。

本開示の第３の態様によると、コンピュータ読み取り可能な記憶媒体が提供される。コンピュータ読み取り可能な記憶媒体は、コンピュータ上で実行された際に本開示の第１の態様に係る画像分割方法を実行するコンピュータプログラムから構成される。

本開示の実施形態のさらなる態様や利点が、以下の説明において部分的に述べられ、以下の説明から部分的に明らかとなり、あるいは本開示の実施形態の実践により理解される。

本開示の実施形態のこれらまたは他の態様および利点が、図面を参照してなされる以下の説明により明らかとなり、より容易に理解されるであろう。
本開示の実施形態に係る画像分割方法のフローチャートである。 本開示の実施形態に係る画像分割方法の概略図である。 本開示の実施形態に係る画像分割装置のブロック図である。

本開示の実施形態について詳細に述べる。図面を参照して本明細書に記載される実施形態は、説明的かつ一例であり、本開示を一般的に理解するために用いられる。実施形態は、本開示を限定するものと解釈されてはならない。同一または同様の要素および同一または同様の機能を有する要素は、説明の全体にわたって同等の参照番号で示される。

図１は、本開示の実施形態に係る画像分割方法のフローチャートである。

図１に示されるように、画像分割方法は以下のステップから構成される。

ステップ１０１において、対象物の動的移動のビデオ画像が受信され、ビデオ画像のフル画像オプティカルフローが取得されてビデオ画像内の各画素の第１の変位が推定され、ビデオ画像の背景画像オプティカルフローが取得されてビデオ画像内の背景画素の第２の変位が推定される。

いくつかの実施形態においては、対象物の動的移動のビデオ画像を受信することは、カメラによって入力された対象物の動的移動のビデオ画像を受信することから構成される。

さらに、対象物の動的移動のビデオ画像が受信される前に、発話、タッチスクリーン、または動的センサを介して入力される画像識別要求が受信されてビデオ画像の受信操作が始動される。

つまり、本実施形態において、カメラ付きスマートデバイスが、発話、タッチスクリーン、または動的センサを介してユーザにより入力される画像識別要求を受信した後、スマートデバイスのカメラが起動する。ユーザが対象物を取ったり動かしたりする処理は、カメラにより撮影され、すなわち、ユーザが対象物を取ったり動かしたりする処理のビデオ画像はカメラによって受信され、後続の処理が実行される。

いくつかの実施形態においては、カメラ付きのスマートデバイスは、カメラ付きのスマート携帯端末、カメラ付きのヘッドセットウェアラブルデバイス（たとえば、グーグル・グラスまたはバイドゥアイ）、カメラ付きのスマートウォッチ、またはカメラ視覚入力付きのロボットであってよい。しかし、本開示はそれらに限定されない。

ステップ１０２において、第１の変位が第２の変位と比較され、対象物の前景領域が取得される。

具体的には、各画素の第１の変位は、「前景領域（対象物）＋背景領域（環境）」を示し、一方で背景画素の第２の変位は、「背景領域（環境）」を示す。第１の変位が第２の変位と比較された後、対象物の前景領域が取得されてよい。用いられるアルゴリズム論理は、単に「（前景領域＋背景領域）−背景領域＝前景領域」と表されてよい。

ステップ１０３において、対象物の前景領域におけるビデオ画像内の特徴点が抽出され、抽出された特徴点の確率密度が計算されて対象物の数が決定される。

ステップ１０４において、対象物の視覚追跡および移動軌跡解析が行われて対象物が追跡される。

ステップ１０５において、特徴点のフレーム間変位、フレーム間切開窓の類似性、および追跡ボックススケーリングに基づいて対象物の静止判定および画像分割が行われる。

本実施形態において、対象物の画像分割が行われた後、これに基づいて画像識別が行われてよく、ついで識別結果がカメラ付きスマートデバイスの音声出力チャネルまたは画像出力チャネルを介してユーザに出力されて対象物の識別が完了される。

本開示の実施形態に係る画像分割方法では、対象物の動的移動のビデオ画像が受信された後、フル画像オプティカルフローおよび背景画像オプティカルフローを取得することにより対象物の前景領域（つまり、対象物）が決定されてよく、対象物の動的移動の間対象物が追跡され、対象物に静止判定が行われて対象物が位置するビデオ画像の領域が分割される。したがって、識別される物体が識別される際、ユーザは、対象物の画像分割を素早く行うために、対象物を取るか振るかするだけでよく、これはその後の対象物の画像識別のための正確な識別入力として用いることができる。

図２は、本開示の実施形態に係る画像分割方法の概略図である。図２に示されるように、ユーザが主観視点から手で物体を取るか、手で自然に物体を振るかすると、図１に示す方法で、手の動的移動がカメラによって捕捉され、フル画像オプティカルフローと背景画像オプティカルフローを取得することにより対象物の前景領域が決定されてよく、対象物が追跡され、対象物の静止判定および画像分割が行われて対象物が分割される、つまり、識別のための画像がボックスで選択される。

図３は、本開示の実施形態に係る画像分割装置のブロック図である。本実施形態の画像分割装置は、図１に示される画像分割方法を実現するために用いられてよい。

画像分割装置は、受信モジュール３１と、取得モジュール３２と、比較モジュール３３と、抽出モジュール３４と、計算モジュール３５と、追跡モジュール３６と、分割モジュール３７とから構成される。

受信モジュール３１は、対象物の動的移動のビデオ画像を受信するよう構成される。本実施形態において、受信モジュール３１は、カメラ３８によって入力された対象物の動的移動のビデオ画像を受信する。さらに、受信モジュール３１は、対象物の動的移動のビデオ画像を受信する前に、発話、タッチスクリーン、または動的センサを介して入力される画像識別要求を受信してビデオ画像を受信する操作を始動するようさらに構成される。

つまり、本実施形態において、受信モジュール３１が、発話、タッチスクリーン、または動的センサを介してユーザによって入力される画像識別要求を受信した後、カメラ３８が起動する。ユーザが対象物を取ったり動かしたりする処理がカメラ３８によって撮影される、つまり、ユーザが対象物を取ったり動かしたりする処理のビデオ画像がカメラ３８によって受信され、それにより後続の処理が実行される。

取得モジュール３２は、ビデオ画像のフル画像オプティカルフローを取得してビデオ画像内の各画素の第１の変位を推定するよう、およびビデオ画像の背景画像オプティカルフローを取得してビデオ画像内の背景画素の第２の変位を推定するよう構成される。

比較モジュール３３は、第１の変位を第２の変位と比較し、対象物の前景領域を取得するよう構成される。具体的に、各画素の第１の変位は、「前景領域（対象物）＋背景領域（環境）」を示し、一方で背景画素の第２の変位は、「背景領域（環境）」を示す。比較モジュール３３が第１の変位を第２の変位と比較した後、対象物の前景領域が取得されてよい。比較モジュール３３によって用いられるアルゴリズム論理は、単に「（前景領域＋背景領域）−背景領域＝前景領域」と表されてよい。

抽出モジュール３４は、対象物の前景領域におけるビデオ画像内の特徴点を抽出するよう構成される。

計算モジュール３５は、抽出モジュール３４によって抽出された特徴点の確率密度を計算し、対象物の数を決定するよう構成される。

追跡モジュール３６は、対象物の視覚追跡および移動軌跡分析を行い対象物を追跡するよう構成される。

分割モジュール３７は、特徴点のフレーム間変位、フレーム間切開窓の類似性、および追跡ボックススケーリングにしたがって対象物の静止判定および画像分割を行うよう構成される。

本実施形態において、対象物の画像分割が行われた後、これに基づいて画像識別が行われてよく、識別結果が画像分割装置の音声出力チャネルまたは画像出力チャネルを介してユーザに出力されて対象物の識別が完了される。

本実施形態において、画像分割装置はカメラ付きスマートデバイスであってよく、カメラ付きスマートデバイスの一部であってもよい。いくつかの実施形態においては、カメラ付きスマートデバイスはカメラ付きスマート携帯端末、カメラ付きのヘッドセットウェアラブルデバイス（たとえば、グーグル・グラスまたはバイドゥアイ）、カメラ付きのスマートウォッチ、またはカメラ視覚入力付きのロボットであってよい。しかし、本開示はそれらに限定されない。

本開示の実施形態に係る画像分割装置では、受信モジュール３１が対象物の動的移動のビデオ画像を受信した後、対象物の前景領域（つまり、対象物）がフル画像オプティカルフローおよび背景画像オプティカルフローを取得することにより決定されてよく、対象物の動的移動の間対象物が追跡され、対象物の静止判定が行われ、対象物が位置するビデオ画像の領域が分割される。したがって、識別される物体を識別する際、対象物の画像分割を素早く行うには、ユーザは対象物を取るか振るかするだけでよく、これは後続の対象物の画像識別のための正確な識別入力として用いることができる。

画像識別は、人工知能における最も重要な飛躍的前進であり、役立つ利用シーンの範囲は非常に広く、今後の検索分野において再優先されるものである。本開示は新しい人間とコンピュータ間の対話および自然なユーザインターフェイスを用いており、これは、まず写真を撮影しついで対象物を区切る従来の画像識別と比較してより自然でより便利である。スマートウェアラブル装置の画像識別機能において自然な対話はとりわけ重要であり、本開示において、ユーザは物体を取って検索結果を得ることができ、より自然な対話とより良いユーザ体験を実現することができる。

本開示の実施形態に係る画像分割方法は、視覚画像情報取り込みおよび第１の視点からの処理を行う多様なスマートデバイスに適用することができ、スマートウェアラブル視覚製品のジェスチャ認識についての基本的な技術支援を提供することができる。

本開示の実施形態に係る画像分割方法は、画像認識能力および視覚認識能力を有する人工知能製品またはロボットと対話するユーザに革新的な体験を提供するであろう。たとえば、物体がロボットの前で取られて振られると、ロボットは物体を認識し識別することができる。

本開示の実施形態に係るコンピュータ読み取り可能な記憶媒体もまた提供される。コンピュータ読み取り可能な記憶媒体は、コンピュータ上で実行された際に本開示の上記の実施形態に係る画像分割方法を実行するコンピュータプログラムから構成される。

「第１の」、「第２の」の用語は、本明細書では説明の目的で用いられ、相対的な重要性や意義を示したり暗示したりするものではなく、示された技術的特徴の数を暗示するものでもないことに留意するべきである。したがって、「第１」および「第２」で定義された特徴は、１または２以上の特徴から構成されてよい。本開示の説明において、「複数の」は特に断りのない限り、２または３以上を意味する。

フローチャート、またはその他の方法で本明細書に説明される任意の処理または方法が、特定の論理関数を実行する１または２以上の実行可能な命令から構成され、または進行ステップの１または２以上の実行可能な命令から構成される、モジュール、セグメント、またはコードの一部分を表すであろうことが理解されるであろう。フローチャートは具体的な実行の順番を示すが、実行の順番は描写されているものと異なってもよいことが理解される。たとえば、２または３以上のボックスの実行の順序は、示された順序に対して乱れていてもよい。

本明細書に他の方法で記載され、またはフローチャートに示される論理および／またはステップ、たとえば、論理機能を実現するための実行可能な命令の特定のシーケンステーブルは、任意のコンピュータ読み取り可能な媒体で具体的に実現され、命令実行システム、装置、または設備（コンピュータに基づくシステム、命令実行システム、装置、および設備からの命令を取得し命令を実行することができるプロセッサまたは他のシステムから構成されるシステムなど）によって用いられてもよく、命令実行システム、装置、および設備と組み合わせて用いられてもよい。明細書に関して、「コンピュータ読み取り可能な媒体」は、命令実行システム、装置、または設備によって、またはそれらと組み合わせて用いられる、プログラムを含み、記憶し、通信し、伝搬し、または転送することができる任意の装置であってよい。コンピュータ読み取り可能な媒体のより具体的な例は、１または複数のワイヤによる電子接続（電子デバイス）、携帯可能なコンピュータ筐体（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置および携帯コンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ）から構成されるがこれに限定されない。加えて、コンピュータ読み取り可能媒体は、プログラムを印刷することのできる紙またはその他の適切な媒体であってもよい、なぜなら、たとえば、紙またはその他の適切な媒体は、プログラムを電気的に取得する必要がある時に、その他の適切な方法によって光学的に走査されて編集され、復号され、または処理されることができ、プログラムはコンピュータメモリに格納されることができるからである。

本開示の上記に例示される方法のステップの全体または部分が、プログラムを含む関連するハードウェアに命令することで実現できることを、当業者は理解するであろう。プログラムはコンピュータ読み取り可能な記憶媒体に格納されてよく、プログラムは、コンピュータ上で実行された際の本開示の方法実施形態の１ステップまたはステップの組み合わせから構成される。

加えて、本開示の実施形態の各機能セルは、処理モジュールに組み込まれてもよく、またはこれらのセルは単独の物理的存在であってもよく、または２または３以上のセルが処理モジュールに組み込まれている。統合モジュールは、ハードウェアの形で実現されてもよく、ソフトウェア機能モジュールの形で実現されてもよい。統合モジュールがソフトウェア機能モジュールの形で実現され、スタンドアロン型の製品として販売されたりまたは用いられたりした場合、統合モジュールはコンピュータ読み取り可能な記憶媒体に格納されてもよい。

上記の記憶媒体は、読み取り専用メモリ、磁気ディスク、ＣＤなどであってよい。

本明細書の全体にわたって、「実施形態」、「いくつかの実施形態」、「一実施形態」、「他の例」、「例」、「具体例」、「いくつかの例」への言及は、実施形態または実施例に関連して説明された特定の特徴、構造、物質、または特性が、本開示の少なくとも一実施形態または一実施例に含まれていることを意味する。したがって、明細書の全体にわたって様々な箇所に出現する「いくつかの実施形態において」、「一実施形態において」、「実施形態において」、「他の実施例において」、「実施例において」、「具体例において」、または「いくつかの実施例において」などの表現は、必ずしも本開示の同じ実施形態または実施例について言及するものではない。さらに、特定の特徴、構造、材料、特性は任意の好適な方法で１または２以上の実施形態または実施例で組み合わされてもよい。

説明的な実施形態が示され説明されたが、上記の実施形態が本開示を制限すると解釈されるものではなく、本開示の精神、原理、および範囲から逸脱することなく実施形態の変更、代替、修正が可能であることを当業者は理解するであろう。

Claims (3)

1. 発話、タッチスクリーン、または動的センサを介して入力される画像識別要求を受信し、カメラを起動して対象物の動的移動のビデオ画像を受信する操作を始動することと、
   前記カメラによって入力された前記対象物の前記動的移動の前記ビデオ画像を受信し、前記ビデオ画像のフル画像オプティカルフローを取得して前記ビデオ画像の各画素の第１の変位を推定し、前記ビデオ画像の背景画像オプティカルフローを取得して前記ビデオ画像の背景画素の第２の変位を推定することと、
   前記第１の変位を前記第２の変位と比較して前記対象物の前景領域を取得することと、
   前記対象物の前記前景領域における前記ビデオ画像内の特徴点を抽出し、抽出された前記特徴点の確率密度を計算して前記対象物の数を決定することと、
   前記対象物に視覚追跡と移動軌跡分析を行い前記対象物を追跡することと、
   前記特徴点のフレーム間変位、フレーム間切開窓の類似性、および追跡ボックススケーリングにしたがって前記対象物に静止判定と画像分割を行うこととから構成される、
   画像分割方法。
2. 発話、タッチスクリーン、または動的センサを介して入力される画像識別要求を受信して、カメラを起動して対象物の動的移動のビデオ画像を受信する操作を始動させ、前記カメラによって入力された前記対象物の前記動的移動の前記ビデオ画像を受信するよう構成された受信モジュールと、
   前記ビデオ画像のフル画像オプティカルフローを取得し、前記ビデオ画像内の各画素の第１の変位を推定するよう、また前記ビデオ画像の背景画像オプティカルフローを取得し、前記ビデオ画像内の背景画素の第２の変位を推定するよう構成された取得モジュールと、
   前記第１の変位と前記第２の変位を比較して前記対象物の前景領域を取得するよう構成された比較モジュールと、
   前記対象物の前記前景領域における前記ビデオ画像内の特徴点を抽出するよう構成された抽出モジュールと、
   抽出された前記特徴点の確率密度を計算して前記対象物の数を決定するよう構成された計算モジュールと、
   前記対象物に視覚追跡と移動軌跡分析を行い前記対象物を追跡するよう構成された追跡モジュールと、
   前記特徴点のフレーム間変位、フレーム間切開窓の類似性、および追跡ボックススケーリングにしたがって前記対象物に静止判定と画像分割を行うよう構成された分割モジュールとから構成される、
   画像分割装置。
3. コンピュータ上で実行された際に請求項１に記載の画像分割方法を実行するコンピュータプログラムから構成される、コンピュータ読み取り可能な記憶媒体。