JP5973572B2 - 映像セグメンテーション方法 - Google Patents

Description

本発明は、写真およびビデオの撮像の領域、特に、写真カメラおよびビデオ・カメラの組み込まれた移動装置を用いるそれらの領域に関係し、たとえば、数ショットの入力フレームから出来上がる映像の品質を改善するために使用することができる。

数ショットの入力フレーム（スナップショット）の曝露は、一般的に異なる時刻に発生するので、移動（不安定な）物体の異なる位置にシーン照明の状態の変化（たとえば、雲量の変化の結果）中に現れる種々のフレーム間のシーンの形成においてひずみが存在する。それは、出来上がった映像の品質に影響を及ぼし、かつ、以下において現れる：
− 不安定な物体の二重輪郭および、場合によっては、映像中の移動物体の個数の重複
− 不安定な物体の半透明
− 映像の種々の領域の明るさおよびカラー・バランスの著しい不規則性。

現在、移動装置の働きにより写真の品質を改善する方法の１つは、短い時間内に数ショットのフレームを撮影し、続いて数個の映像をステッチすることにより単一の出来上がり写真に合成することである（パノラマ映像、ダイナミック・レンジを強化した映像の生成、映像雑音のレベルの低減）。これを行う際、ステッチは、シームが隣接初期映像中の最小差異の軌跡により通過し、かつ、シームが不安定な物体をバイパスするように行われるべきである。最適シーム軌跡を決定する広く行き渡っている方法は、種々の映像セグメンテーション方法を使用する［Ａｌｅｘａｎｄｅｒ Ｖｅｚｈｎｅｖｅｔｓ，Ｏｌｇａ Ｂａｒｉｎｏｖａ，“Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄｓ：Ａｕｔｏｍａｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｍｕｌｔｉｍｅｄｉａ，Ｉｓｓｕｅ Ｎｏ．４（４）／２００６：ｈｔｔｐ：／／ｃｇｍ．ｃｏｍｐｕｔｅｒｇｒａｐｈｉｃｓ．ｒｕ／ｃｏｎｔｅｎｔ／ｖｉｅｗ／１４７］。

映像セグメンテーションおよびステッチは、数個の初期映像から１つの映像を生成する次のような場合に最も適する：
− それぞれ、パノラマの一部のみを描く数ショットからパノラマ的映像を生成すること
− 数枚の初期のダイナミック・レンジの低い写真から高いダイナミック・レンジの映像を生成すること

セグメンテーションの使用により映像の品質を改善する種々の方法がある。

クラスタリング手法は、一定の特徴空間に割り当てられる映像点の表現を使用する。そしてこの特徴空間は、測定基準（接近性の測定単位）を導入する。

この方法の不利益は、点の空間的配置がまったく考慮されないか、または間接的に考慮される（たとえば、点の座標を特徴の１つとして使用する）ことにある。そのせいで、通常、映像点のクラスタリング後に、接続される構成要素を定義する手順が行われる。さらに、クラスタリング手法は、雑音の多い映像ではよく働かない：しばしば離れている領域点が失われ、いくつかの小さい領域が生じる、等々。

領域成長の方法［Ａ．Ｔｒｅｍｅａｕ ａｎｄ Ｎ．Ｂｏｒｅｌ，“Ａ Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ ａｎｄ Ｍｅｒｇｉｎｇ Ａｌｇｏｒｉｔｈｍ ｔｏ Ｃｏｌｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９７；Ｙ．Ｋａｎａｉ，“Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｉｎｔｅｎｓｉｔｙ ａｎｄ Ｃｏｌｏｒ Ｉｎｆｏｒｍａｔｉｏｎ”，ＳＰＩＥ−Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ’９８；Ｂ．Ｃｒａｍａｒｉｕｃ，Ｍ．Ｇａｂｂｏｕｊ，ａｎｄ Ｊ．Ａｓｔｏｌａ，“Ｃｌｕｓｔｅｒｉｎｇ Ｂａｓｅｄ Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，１９９７；ａｎｄ Ｙ．Ｄｅｎｇ，Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ， ａｎｄ Ｈ．Ｓｈｉｎ，“Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”，ＣＶＰＲ １９９９］は、点の空間的配置を直接考慮する。第１に、一定の規則に従って、領域の中心を選択し、次に一定の基準を満たす隣接点を段階的に中心に加える。領域拡張プロセスは、映像点のいずれももはやいずれの領域にも追加できなくなったときに停まる。領域に点を追加するか否かを定める種々の基準が使用される：点の領域中心への近さ、前のステップで領域に追加された隣接点への近さ、一定の領域統計値による接近度、点から領域中心への最短パスのコスト等。大部分、領域拡張プロセスを利用して離隔領域を処理する。しかし数個の領域についてこの手順に段階的または同時に従うことにより、映像全体の分割を取得することが可能である。

この方法の不利益は、シーム・ステッチの処理にそれを適用できないことである。それは、ただ１つの基準映像がある場合にのみ適用される。また、それは、移動装置の非常に大量のメモリ資源を必要とする。さらにデータ処理の速度も十分に速くない。

フラグメンテーション・マージング方法［Ａ．Ｔｒｅｍｅａｕ ａｎｄ Ｎ．Ｂｏｒｅｌ，“Ａ Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ ａｎｄ Ｍｅｒｇｉｎｇ Ａｌｇｏｒｉｔｈｍ ｔｏ Ｃｏｌｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９７；Ｂ．Ｃｒａｍａｒｉｕｃ，Ｍ．Ｇａｂｂｏｕｊ，ａｎｄ Ｊ．Ａｓｔｏｌａ，“Ｃｌｕｓｔｅｒｉｎｇ Ｂａｓｅｄ Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，１９９７；Ｍ．Ｃｅｌｅｎｋ，“Ｈｉｅｒａｒｃｈｉｃａｌ Ｃｏｌｏｒ Ｃｌｕｓｔｅｒｉｎｇ ｆｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｘｔｕｒｅｄ Ｉｍａｇｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ Ｓｏｕｔｈｅａｓｔｅｒｎ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓｙｓｔｅｍ Ｔｈｅｏｒｙ，１９９７］；［Ｓ．Ｊｉ ａｎｄ Ｈ．Ｗ．Ｐａｒｋ，“Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｃｏｌｏｒ Ｉｍａｇｅ Ｂａｓｅｄ ｏｎ Ｒｅｇｉｏｎ Ｃｏｈｅｒｅｎｃｙ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＩＰ ’９８；Ｌ．Ｓｈａｆａｒｅｎｋｏ，Ｍ．Ｐｅｔｒｏｖ，ａｎｄ Ｊ．Ｋｉｔｔｌｅｒ，“Ａｕｔｏｍａｔｉｃ Ｗａｔｅｒｓｈｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｒａｎｄｏｍｌｙ Ｔｅｘｔｕｒｅｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，１９９７；ａｎｄ Ｍ．Ｂａｒｎｉ，Ｓ．Ｒｏｓｓｉ，ａｎｄ Ａ．Ｍｅｃｏｃｃｉ，“Ａ Ｆｕｚｚｙ Ｅｘｐｅｒｔ Ｓｙｓｔｅｍ ｆｏｒ Ｌｏｗ Ｌｅｖｅｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”，ＥＵＳＩＰＣＯ−９６］は、次の２つの主要な段階から構成されている：フラグメンテーションおよびマージング。フラグメンテーションは一定の映像の分割から始まるが、しかし必ずしも一律の領域への分割ではない。領域フラグメンテーション・プロセスは、セグメント均一性の要件を満たす分割される映像が存在するまで行われる（超過セグメンテーション）。次に、最大サイズの一律領域への映像分割が得られるまで類似隣接セグメントの統一が行われる。

この方法の不利益は、低いデータ処理速度、メモリ資源増加の必要性、単一基準映像の場合のみに使用されることである。

マルコフ・フィールド・モデル化［Ｇ．Ｒ．Ｃｒｏｓｓ ａｎｄ Ａ．Ｋ．Ｊａｉｎ，“Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ Ｔｅｘｔｕｒｅ Ｍｏｄｅｌｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，１９８３；Ｓ．Ｇｅｒｍａｎ ａｎｄ Ｄ．Ｇｅｒｍａｎ，“Ｓｔｏｃｈａｓｔｉｃ Ｒｅｌａｘａｔｉｏｎ，Ｇｉｂｂｓ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ，ａｎｄ ｔｈｅ Ｂａｙｅｓｉａｎ Ｒｅｓｔｏｒａｔｉｏｎ ｏｆ Ｉｍａｇｅｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，１９８４；Ｒ．Ｓｚｅｌｉｓｋｉ，Ｒ．Ｚａｂｉｈ，Ｄ．Ｓｃｈａｒｓｔｅｉｎ，Ｏ．Ｖｅｋｓｌｅｒ，Ｖ．Ｋｏｌｍｏｇｏｒｏｖ，Ａ．Ａｇａｒｗａｌａ，Ｍ．Ｔａｐｐｅｎ，Ｃ．Ｒｏｔｈｅｒ，“Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ｅｎｅｒｇｙ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ ｗｉｔｈ Ｓｍｏｏｔｈｎｅｓｓ−ｂａｓｅｄ Ｐｒｉｏｒｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３０，ｎｏ．６，Ｊｕｎｅ ２００８］は、映像の各点の色は一定数の隣接点の色に基づくという仮説に基づいている。この映像モデルの概要が提示される。テクスチャ分割を要約することも可能である。［Ｙ．Ｄｅｎｇ，Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ，ａｎｄ Ｈ．Ｓｈｉｎ，“Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”，ＣＶＰＲ １９９９．］。

この方法の不利益は、その実行が難しいことである。

エッジ検出演算子に基づく方法［Ｍ．Ｊａｃｏｂ，Ｍ．Ｕｎｓｅｒ，“Ｄｅｓｉｇｎ ｏｆ Ｓｔｅｅｒａｂｌｅ Ｆｉｌｔｅｒｓ ｆｏｒ Ｆｅａｔｕｒｅ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｃａｎｎｙ−ｌｉｋｅ Ｃｒｉｔｅｒｉａ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２６，ｎｏ．８，ｐｐ．１００７−１０１９；Ａｔｉｌｌａ Ｏｚｍｅｎ ａｎｄ Ｅｍｉｒ Ｔｕｆａｎ Ａｋｍａｎ，“Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｓｔｅｅｒａｂｌｅ Ｆｉｌｔｅｒｓ ａｎｄ ＣＮＮ”，２００２］は、セグメンテーションを利用する。このセグメンテーションは、領域境界を見出すことから成り立っており、ハーフトーン映像にとって好適な解決策である。ハーフトーン映像は２つの変数の関数とみなされ、かつ、領域境界はこの関数の勾配の最大値に対応すると仮定される。これらを見出すために、微分幾何学が利用される。雑音に対する抵抗力を強めるために、濾過作用を用いる前に、映像は、通常、ぼやかされる。ラプラス演算子とガウスのフィルタの交換可能性のために、ぼやかしと境界発見を同時に行うことが可能である。

この方法の不利益は、映像雑音に対する抵抗力の欠如である。さらに、境界の定義が各処理について異なるので、境界発見方法が適用される都度、濾過結果の修正方法を選択する必要がある。

最適化方法［Ｙ．Ｄｅｎｇ，Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ，ａｎｄ Ｈ，Ｓｈｉｎ，“Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”，ＣＶＰＲ １９９９］は、映像の均一な領域への分割から構成され、この分割は最適化処理となる。このために、このセグメンテーション処理は、一定の品質をもつ映像の分割を探索する処理として考案されており、次に、得られたセグメンテーションの提示要件への一致の程度を反映する関数が導入される。たとえば、映像上の色の分布を使用するセグメンテーション品質関数が導入される。

この方法の不利益は、その労働集約性および移動装置の資源に関する高度の要件である。

これらすべての方法の共通の不利益は、次のとおりである：
−これらの方法は１つの基準映像のみに機能し得るという事実のために、得られたセグメンテーションをステッチ処理に適用できないこと（領域拡張方法、フラグメンテーション・ブレンディング、エッジ検出）
−移動装置について適用できないシステム資源要件−計算装置のメモリおよび動作速度（クラスタリング手法、領域拡張、フラグメンテーション・ブレンディング、マルコフ確率場、グラフ理論方法、最適化法）
−雑音の多い映像の場合の不十分な働き（クラスタリング手法、エッジ検出）
−点の空間配置を考慮しないこと（クラスタリング）。

グラフ・カット最小化方法は、提案する解決方法に最も近い［米国特許第６，７４４，９２３号明細書、“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｆａｓｔ Ａｐｐｒｏｘｉｍａｔｅ Ｅｎｅｒｇｙ Ｍｉｎｉｍｉｚａｔｉｏｎ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ”；ａｎｄ Ｒ．Ｓｚｅｌｉｓｋｉ，Ｒ．Ｚａｂｉｈ，Ｄ．Ｓｃｈａｒｓｔｅｉｎ，Ｏ．Ｖｅｋｓｌｅｒ，Ｖ．Ｋｏｌｍｏｇｏｒｏｖ，Ａ．Ａｇａｒｗａｌａ，Ｍ．Ｔａｐｐｅｎ，Ｃ．Ｒｏｔｈｅｒ “Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ｅｎｅｒｇｙ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ ｗｉｔｈ Ｓｍｏｏｔｈｎｅｓｓ−ｂａｓｅｄ Ｐｒｉｏｒｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３０，ｎｏ．６，Ｊｕｎｅ ２００８］。映像は、映像点中にノードを持つ重みづけグラフの形態で提示される。グラフ・リンクの重みは、点の類似性を反映する（たとえば、一定の測定基準による点相互間の距離）。映像分割は、グラフ・カットによりモデル化される。グラフ理論の方法は、得られるセグメンテーションの品質を反映するカット「コスト」の関数を導入する。したがって、均一領域への映像分割の処理は、最小コストのグラフ・カットを見出す最適化処理となる。色の均一性およびセグメントのテクスチャは別として、この方法は、セグメントの形状、セグメントのサイズ、境界の複雑性等の制御を可能にする。最小コストのカットを見出す多数の方法が存在する。欲張りアルゴリズム（各段階において合計カット・コストを最小にするリンクを選択する）、ダイナミック・プログラミング法（最適パスをもたらす最適リンクの各段階における選択を保証する）等。

この方法の不利益は、解決を得るために必要な多数の計算による動作速度の低下および最適カットを見出すために大量の追加メモリを設ける必要性である。

著者は、次の要件を満たす映像セグメンテーション方法を設計する課題に着手した：
−動作速度
−最適映像セグメンテーション−すなわち、シーム・コスト関数および映像データのコスト関数の合計のグローバル・ミニマムの達成に役立つセグメンテーション（色、輝度およびその他のパラメータに基づく）−および得られるセグメンテーションの絶対的最適フラグメンテーションとの近さ、最良の既知方法に類似している
−移動装置において追加メモリ資源を必要としないこと
−映像雑音に対する抵抗力。

この技術的解決方法の本質は、コスト関数の最小値を探す既知の映像セグメンテーション方法において、この探索を粗から精へＮ個の映像詳細レベルにおいて行い、かつ、各映像詳細レベルにおいてこの映像を領域に分割し、ｎ回の逐次反復の手段により各領域に単一のセグメンテーション値を割り当てることにある。その後、領域境界におけるシームのコスト関数の値を種々のタイプの映像セグメンテーションについて計算し、かつ、領域ごとにシームおよびデータのコスト関数の合計を最小化するセグメンテーション値を選択する。セグメンテーション結果に対するシームの影響を除くことが重要である場合（たとえば、映像方向−独立なセグメンテーションが必要である場合、）各後続反復における最小値の探索は、共通境界をもたない映像領域を処理することにより行い、かつ、処理のための領域の選択は各後続反復において更新する。さらに、局部領域の周りのシームの高コストにより生成されるローカル・ミニマムの１つにおいてグローバル・ミニマムを探索するトラップを回避するために、コスト関数の合計中におけるシーム関数の寄与を低減して、詳細レベルごとの数回の初期反復を行う。これは、シームがコストのピークをくぐりぬける（漏れ出る）ことを可能にする。

図１は、基準映像の例を示す。その色空間は、１２色に最適に分割される。 図２は、データのコスト関数のみに基づく最も粗い詳細レベルの基準セグメンテーションの例を示す。シームのコスト関数は、ゼロに等しいと仮定されている。 図３は、第１回反復後のセグメンテーション状態を示す。丸められた頂部をもつ矩形は、所与の反復において処理された方形を表す。水平の陰影は、所与の反復において変更されたセグメンテーションによる方形を表す。垂直陰影−セグメンテーションが保持された方形。 図４は、第２回反復後のセグメンテーション状態を示す。 図５は、詳細レベルのそれぞれにおけるセグメンテーションの最終結果を示す。右下隅は、出来上がったセグメンテーション解決を示す。 図６は、論文、Ｒ．Ｓｚｅｌｉｓｋｉ，Ｒ．Ｚａｂｉｈ，Ｄ．Ｓｃｈａｒｓｔｅｉｎ，Ｏ．Ｖｅｋｓｌｅｒ，Ｖ．Ｋｏｌｍｏｇｏｒｏｖ，Ａ．Ａｇａｒｗａｌａ，Ｍ．Ｔａｐｐｅｎ，ａｎｄ Ｃ．Ｒｏｔｈｅｒ，“Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ｅｎｅｒｇｙ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ ｗｉｔｈ Ｓｍｏｏｔｈｎｅｓｓ−ｂａｓｅｄ Ｐｒｉｏｒｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３０，ｎｏ．６，Ｊｕｎｅ ２００８において記述されているパノラマ・ステッチ処理においてグローバル・ミニマムを達成する種々の方法の収束グラフを示す。 図７は、グローバル・ミニマムからの偏差を拡大目盛りで示す図６の拡大グラフ版である。 図８は、グローバル・ミニマムからの偏差を拡大目盛りで示す図６の拡大グラフ版である。

[図６について]
縦軸は、グローバル・ミニマムからの％単位の偏差であり、横軸は、秒単位の対数時間軸である。これらのグラフは、以下を表す：

−マルコフ確率場の方法“Ｉｔｅｒａｔｅｄ Ｃｏｎｄｉｔｉｏｎａｌ Ｍｏｄｅｓ”

−グラフ・カット方法の変形“Ｌｏｏｐｙ Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ”

−“Ｌｏｏｐｙ Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ”方法に類似の方法、“Ｔｒｅｅ−ｒｅｗｅｉｇｈｔｅｄ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇ”の方法

−グローバル・ミニマムの下限の予測

−「グラフ・カット」方法の別の変形

−提案する方法、円は、全処理時間およびグローバル・ミニマムからの得られた偏差を示す。

提案する方法は、次の方法で実行する：基準映像にＮ回の詳細レベル操作を施す（たとえばサイズが近い領域への無作為分割）。各詳細レベルにおいて、シームおよびデータの関数の合計値の低減に通ずる領域セグメンテーションの変更が残っている限り、または移動装置の合計処理時間により制限される所与の詳細レベルの反復の最大許容回数に到達するまでｎ回の反復を行う。
２種類のコスト関数を使用する：
− 特定の映像ピクセルのセグメントの１つへの割り当ての適切さを示すデータのコスト関数。たとえば、ピクセルの色の数値とセグメントの色間の差異の絶対値。
− シームのコスト関数は、セグメントの境界軌跡の所与の場所における適切さを示す。

各詳細レベルにおいて、シームは、領域の境界に沿ってのみ進行することができる。領域の形態は、詳細レベルのそれぞれについて変化しない状態を保つ。初期の粗い反復に続く修正反復は、コスト関数のローカル・ミニマムのくぐりぬけ（漏れ出ること）を許容し、また、結果のセグメンテーションはグローバル・ミニマムに近いので、シームの軌跡に関するこの制限は受け入れられると思われる。

映像フラグメンテーションにより得られ、かつ、シームのコストを考慮せずにデータのコスト関数の値のみに基づくセグメンテーションを初期セグメンテーションとして使用する。このようなセグメンテーションの下で、所与の領域のすべてのピクセルについて最小合計を与えるセグメント値を映像ピクセルの各領域に割り当てる。ピクセル領域の組み合わせ値について初期の（粗）詳細レベルの反復を行う。
各後続反復は、前のものに比してより適切なセグメンテーションを見出す。

各反復において、ピクセル領域のそれぞれに、次の処理を行う：
− データおよび所与の領域を囲むシームのコストを含むコスト関数の局部値を計算する。
− 所与の領域のすべての可能なセグメンテーション値についてコスト関数を計算する。
− 所与の領域のセグメンテーションの初期選択が最適でない場合（関数の値が他のどのセグメンテーションの場合より高い）、所与の領域の値を最適の値（コスト関数の最小値をもつ）により置き換える。

領域を順次処理する。同時に、特定領域のセグメント値が所与の領域の境界に沿って通過するシームのコストに影響を及ぼし、結果のセグメンテーションの処理される領域の順序に対する依存をもたらす。セグメンテーション結果に対するシームの影響を除去することが重要である場合（たとえば、映像方向−独立なセグメンテーションが必要な場合）、共通の境界をもたない映像領域を処理することにより、反復の各パスにおいて最小値の探索を行う。処理する領域の選択は、各後続反復において変更する。

さらに、領域における雑音の結果として任意の局部領域の周りのシームの高コストにより生成されるローカル・ミニマムの１つにおいてグローバル・ミニマムを探索するトラップを回避するために、コスト関数の合計へのシーム関数の入力を低減して、詳細レベルごとの数回の初期反復を行う。これは、シームがコストのピークをくぐりぬける（漏れ出る）ことを可能にする。後続の反復は、シーム関数の通常入力で行う。

図１〜図５は、提案する方法の特定の実施例を示している。この場合、基準映像は方形に分割され、かつ、シームは方形境界に沿ってのみ通過できる。１つの基準映像の色空間のセグメンテーションの説明が示されている。数個の映像のセグメンテーション中、データおよびシームのコスト関数のみ変化する。関数パラメータとしてピクセルの色の値を使用する代わりに、種々の映像の近接性の程度（たとえば、輝度の差異）を反映するその他の値を使用するからである。

各反復において、方形のそれぞれに以下の処理を施す：
− データおよび所与の方形を囲むシームのコストを含むコスト関数の局部値を計算する。
− 所与の方形のすべての可能なセグメンテーション値についてコスト関数を計算する。
− 所与の領域のセグメンテーションの初期選択が最適でない場合（関数の値が他のどのセグメンテーションの場合より高い）、所与の方形の値を最適の値（コスト関数の最小値をもつ）により置き換える。

偶数および奇数の反復を交互に行う。この順番より、別の反復の処理の結果はシーム軌跡の方向に依存しない。したがって、各シーム（方形の辺上）は、所与の反復から１つの方形のみの影響を受け、他の隣接方形の影響を受けない。

非実際的に長いセグメント境界を除去するために、隣接ピクセルのカラー数値の絶対差に一定のプラスの定数を加えた値を特定ピクセルのシームのコスト関数として使用する。この場合、この定数は、シームの合計長の増加に応じてシームのコスト関数の値を増大させる。

ローカル・ミニマムの１つの中においてグローバル・ミニマムを探索するトラップを回避するために、各詳細レベルにおける最初の３回の反復は、それぞれ、０．６、０．７５および０．９の係数の低減シーム・コスト関数で行う。

処理速度は、最適セグメンテーションの現在の近似および各反復においてデータのコスト関数のみにより条件づけられたセグメンテーションを保存する手段により、さらに上げることができる。このデータのサイズは、映像ピクセルの２倍に等しい。追加メモリは、データおよびシームのコスト関数を計算するために必要な基準データの格納のためにのみ必要であるか、または、必要である場合に、所与の関数の事前計算値のために必要である（それは、処理全体を通じて各ピクセルについて定数であるからである）。

この方法は、現在存在する類似の方法と比較して次の長所をもっている：
１． 動作速度 現在行き渡っている移動装置（２０１１年リリース）における合計処理時間−１秒以内
２． セグメンテーション品質（絶対／最適セグメンテーションとの接近度）は、既知の最も優れた方法と同様である。
３． この方法を実現する場合のメモリ資源の要求条件は非常に低い。
４． この方法は、ローカル・ミニマムにトラップが存在しないために映像雑音に強い。

Claims (4)

1. コスト関数の最適値の探索を含む映像セグメンテーション方法において
   前記探索が粗ら精へＮ個の映像詳細レベルで行われ、
   各映像詳細レベルにおいて映像が領域に分割され、（セグメント化される）
   各領域にｎ回の逐次反復の手段により単一のセグメンテーション値が割り当てられ、
   各反復において、領域境界におけるシームのコスト関数の値が種々のバージョンの映像セグメンテーションについて計算され、
   領域ごとに、シームおよびデータのコスト関数の組み合わせを最適化するセグメンテーション値が選択され、
   データおよびシームのコスト関数の組み合わせへのシームのコスト関数の入力が反復の一部において低減される
   ことを特徴とする方法。
2. 請求項１に記載の方法において、各反復における最適値の探索が共通の境界をもたない映像領域の処理により行わること、および処理する領域の選択が各反復において変更されることを特徴とする方法。
3. 請求項１に記載の方法において、コスト関数の最適値がコスト関数の最小値として探索されることを特徴とする方法。
4. 請求項１に記載の方法において、シームおよびデータのコスト関数の組み合わせが算術的合計であることを特徴とする方法。

Images