JP3851171B2

JP3851171B2 - 視覚的注意のモデル化方法

Info

Publication number: JP3851171B2
Application number: JP2002003558A
Authority: JP
Inventors: ウィルフリード・エム・オスバーガー
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 2001-01-17
Filing date: 2002-01-10
Publication date: 2006-11-29
Anticipated expiration: 2022-01-10
Also published as: US20020126891A1; DE60203056D1; EP1225769B1; JP2002247574A; CN1366422A; EP1225769A2; US6670963B2; EP1225769A3; CN1203677C; DE60203056T2

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に、ビデオ品質の分析方法に関し、特に、ビデオ信号のイメージ内の関心領域を自動的に判断する視覚的注意（以下、単に「視覚注意」ということもある）のモデル化方法に関する。
【０００２】
【従来の技術】
適切に同調された初期のビジュアル（視覚）システムのモデルでは、圧縮された自然なイメージにおける可視歪の場所を正確に予測する。忠実なマップから主観的な品質を評価するには、現在の最先端技術の品質測定により、総ての視覚エラーの単純な加重を求める。これは、画像品質の主観的評価の最中に生じるとして知られている任意の高レベル係数又は認知係数を考慮できない。
【０００３】
全体的な画像品質に対する歪の影響は、その場面の内容において、その場所により強い影響を受けるとして知られている。人間の視覚系（Human Visual System: HVS）の可変分解能特性では、高い鋭敏さ（acuity）が網膜の中心窩（視軸上にある網膜の小さい桿状体のない陥凹で、明瞭な視覚を与える部分）においてのみ有用であることを示している。なお、この中心窩の直径は、約２度である。通常の目の動きにより場面の知識を得て、中心窩の視覚内にある領域を再配置する。初期の視覚モデルでは、「無限大の中心窩」を仮定しており、即ち、高い鋭敏な中心窩が総ての領域を観察するとの仮定の下に場面を処理していた。しかし、目の動きを考察すると、観察者は、場面の総ての領域を均一に注視していないことが判った。その代わり、いくつかの領域は、人間の視覚注意処理により関心領域（regions of interest: ROI）として識別され、観察者は、まだ注視していない他の領域よりはこれらＲＯＩに繰り返し戻る傾向がある。これらＲＯＩ内の画像忠実度は、画像全体の品質に強い影響を与えるとして知られている。
【０００４】
自然な場面を観察する際、選択的に且つ相関的に対象物の目の動きのパターンに人間の注意が向けられ、目の動きが追従するという知識が、人間の視覚的注意の計算モデルを開発するための骨組みとなる。かかる考察により、場面内の画像の動き、ルミナンスのコントラスト、カラーのコントラスト、対象物のサイズ、対象物の形状、人間及び顔、場所に存在する多くの異なる特徴や、対象物が前景の一部か又は背景の一部かにより、人間の注意が影響されることが判った。いくつかの簡単な視覚注意モデルが文献にて提案されている。これらモデルでは、管理されない方法で、場面内のＲＯＩを検出しようとしている。これらは、一般的に、複雑でない静止イメージに用いるように設計されている。これらモデルは、典型的な娯楽ビデオで注意を引きつけるモデルとして用いるには適さず、多くの欠陥が明らかになっている。これら欠点には、注意を引きつける特徴の数が限られている点、異なる特徴に異なる重み付けを適用できない点、セグメント化技術における頑強性が欠如する点、時間的モデルが存在しない点、注意を引きつける特徴を引き出すのに用いるアルゴリズムが簡単すぎる点などがある。広範囲の画像内容と深く関連した動作を検証するモデルが提案されておらず、また、人間の目の動きとの相関も報告されていなかった。
【０００５】
例えば、１９９８年１月２６〜２９日にアメリカ合衆国合衆国サンホゼで開催されたＳＰＩＥ学会の論文３２９９の「ヒューマン・ビジョン・アンド・エレクトロニック・イメージングＩＩＩ」におけるウィルフレッド・オスバーガ、アンソニー・ジェイ・マエダー及びネイル・バーグマン著「知覚に基づいたＭＰＥＧエンコード用量子化技術（A Perceptually Based Quantization Technique for MPEG Encoding）」に記載されている如く、場面において視覚的に重要な領域をインポータンス・マップ（Importance Map: IM）として自動的に判断する技術が開示されている。これらインポータンス・マップは、例えば上述の論文に記載のように、人間の視覚的注意（visual attention）と、目の動きとに影響を与えるとして知られている係数（要因）を組み合わせて生成したマップである。エンコードする際に、視覚的に重要な領域に対しては細かく量子化し、視覚的に重要ではない領域に対しては荒く量子化している。その結果、画像品質において、主観的な改善がなされている。
【０００６】
従来技術において、伝統的な再帰分割併合セグメント化方法を用いて、セグメント化を行っている。セグメント化の後、その結果を５個の空間特徴により処理して、コントラスト、サイズ、形状、場所及び背景に関する個別の空間インポータンス・マップを生成する。また、動きも考慮して、時間的インポータンス・マップを生成する。これら個別のインポータンス・マップの各々を二乗して、重要度の高い領域を強調し、等しく重み付けして、最終的なインポータンス・マップＩＭを生成する。しかし、この技術では、充分ではなかった。
【０００７】
【発明が解決しようとする課題】
人間の注意力の特性と目の動きとを用いて、典型的な娯楽ビデオの自然な場面において、どこにＲＯＩ（関心領域）があるかを予測し、従来技術よりもより一層強力な関心領域自動判断方法が望まれている。
【０００８】
したがって、本発明は、人間の注意力の特性と目の動きとを用いて、典型的な娯楽ビデオの自然な場面において、どこにＲＯＩがあるかを自動的に予測できる視覚的注意をモデル化（模式化）する方法の提供にある。
【０００９】
【課題を解決するための手段】
本発明は、複数の空間的特徴に応じた処理のために、ビデオ・シーケンスの単一フレーム（現在のフレーム）を複数の領域にセグメント化して、対応する複数の空間的インポータンス・マップを生成し、上記単一フレームを以前のフレームと比較して時間的インポータンス・マップを生成し、上記空間的インポータンス・マップ及び上記時間的インポータンス・マップを組み合わせて上記単一フレームの総合インポータンス・マップを生成する視覚的注意のモデル化方法であって；ルミナンス及びカラーを用いて、上記単一フレームを複数の領域に適応的にセグメント化する第１ステップ（３０）と；複数の空間的特徴により上記領域を処理して、複数の上記空間的インポータンス・マップを生成する第２ステップ（１１〜１７）と；上記以前のフレームに応じて上記単一フレームを処理して、カメラの動きを補償した上記時間的インポータンス・マップを生成する第３ステップ（２２、２４）と；目の動きの考察から得た重み付けに応じて上記空間的インポータンス・マップ及び上記時間的インポータンス・マップを組み合わせて、上記単一フレーム用の上記総合インポータンス・マップを生成する第４ステップ（４０）とを具えている。
【００１０】
本発明は、視覚的注意のモデルを用いて、ビデオ画像内の関心のある領域を自動的に識別する方法を提供するものである。カラー及びルミナンスに基づいて、現在のフレームを複数領域に適応的にセグメント化する。カラー及びスキンを含む複数の空間的特徴のアルゴリズムにより、各領域を並列処理して、各空間的インポータンス・マップを生成する。複数の空間的インポータンス・マップを組み合わせて、全体的空間的インポータンス・マップを生成するが、この組み合わせは、目の動きの考察から得た重み付けに基づいている。現在のフレーム及び以前のフレームも処理して、現在のフレーム用のモーション・ベクトル（motion vector：運動ベクトル）を生成する。その後、時間的インポータンス・マップに変換する前に、これらモーション・ベクトルをカメラの動きに対して補正（修正）する。全体的空間的インポータンス・マップと、時間的インポータンス・マップとを線形重み付けにより組み合わせて、現在のフレーム用の総合インポータンス・マップを生成する。なお、線形重み付け定数は、目の動きの考察から得たものである。また、インポータンス・マップとは、上述のように、人間の視覚的注意と目の動きとに影響を与える要因を組み合わせて生成したマップである。
【００１１】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の詳細説明から更に明らかになろう。
【００１２】
【発明の実施の形態】
本発明で用いるインポータンス・マップ（ＩＭ）は、領域ベースの（領域を基にした）注意モデルに基づいている。注意力に影響を与える多くの特徴が、サイズ及び形状のようにその領域に固有の性質であったり、又は、動き、色、コントラスト及びテキスチャ（質感）などように場面における全体の対象物に自然に関連するので、領域ベースの注意モデルは、多数の特徴を含むことが容易である。図１は、本発明による視覚的注意のモデル化方法の好適実施例を説明するブロック図である。この視覚的注意のモデル化方法では、空間的注意に関してモデル化を行う手段１０と、時間的注意に関してモデル化を行う手段２０とを具えている。空間的注意モデル化手段１０は、ビデオの現在のフレームを入力として受ける。このイメージは、セグメント化アルゴリズム手段３０により、ルミナンス情報及びカラー情報の両方を用いて、先ず、複数の均質な領域にセグメント化される。カラー、コントラスト、サイズ、形状、場所（位置）、背景及びスキンを含む７つの特徴に対する各領域のインポータンスが、視覚的注意に影響を与えることが知られている。これら特徴によるイメージ処理手段１１〜１７の柔軟な特性により、付加的な特徴を容易に取り込むことができる。なお、処理手段１１は、セグメント化された領域をカラーに応じて処理して、カラーによるインポータンス・マップを生成する。また、処理手段１２は、セグメント化された領域をコントラストに応じて処理して、コントラストによるインポータンス・マップを生成する。処理手段１３は、セグメント化された領域をサイズに応じて処理して、サイズによるインポータンス・マップを生成する。処理手段１４は、セグメント化された領域を形状に応じて処理して、形状によるインポータンス・マップを生成する。処理手段１５は、セグメント化された領域を場所に応じて処理して、場所によるインポータンス・マップを生成する。処理手段１６は、セグメント化された領域を背景に応じて処理して、背景によるインポータンス・マップを生成する。処理手段１７は、セグメント化された領域をスキンに応じて処理して、スキンによるインポータンス・マップを生成する。これら特徴は、人間の目の動きによる校正に基づいて重み付けされる。なお、人間の目の動きは、人間の目の動きの実験データを集めて求めている。各特徴の重みを結合アルゴリズム４０に与えて、７つの特徴に基づいた処理手段１１〜１７の処理結果のインポータンス・マップを重み付けにより組み合わせて、現在のフレームの場面用の空間的インポータンス・マップ（ＩＭ）を生成する。
【００１３】
空間的注意のモデル化手段１０と並列にあり、時間的注意をモデル化する手段（モーション・モデル化手段）２０は、現在のフレーム及び以前のフレームをモーション・ベクトル（運動ベクトル）アルゴリズム手段２２に入力する。モーション・ベクトル・アルゴリズム手段２２によりモーション・ベクトルを計算する。このモーション・ベクトルは、各動きの大きさに基づいた場面内の各対象物に対するモーション・インポータンスのアルゴリズム手段２４により重み付けされる。結合手段４０は、目の追跡実験から集めたデータを用いて、手段２０からの運動重み（時間的インポータンス）を手段１０における空間重み（空間的インポータンス）と組み合わせて、現在のフレーム用の全体インポータンス・マップを生成する。
【００１４】
現在のフレームを図２に示し、これに対応するインポータンス・マップ（ＩＭ）を図３に示す。高いインポータンスとして識別されたＩＭ範囲は、明るい色調である。一方、暗い色調の範囲は、注意を引きつけない場面部分である。
【００１５】
上述した従来技術に対する改良点は、セグメント化の改良、空間コンテキスト（前後関係）特徴の拡張、空間的及び時間的特徴処理アルゴリズムの改良、校正アルゴリズム及び組み合わせアルゴリズムの改良である。
【００１６】
セグメント化処理３０において、ビデオ・フレームのクリッピングしたバージョン（クリッピングしたビデオ・フレーム）を入力として用いて、イメージの境界が、このモデル化の後での外観に与える影響を避ける。すなわち、２４個のオーダのピクセルにおいて、クリッピングによる境界が良好に作用する。関数スプリット（Split）は、カラー情報と共にルミナンス情報を用いて、分割／併合が生じる時点を決める。例として、Ｌ^*ｕ^*ｖ^*カラー空間を用いることができる。分割の条件は、次の通りである。
((variancelum(R_i)>th_splitlum)&(variancecol(R_i)>th_splitcol)&(size(R_i)>th_size))
ならば、即ち、領域R_iにおけるルミナンスの分散がしきい値th_splitlumよりも大きく、且つ、領域R_iにおけるカラーの分散がしきい値th_splitcolよりも大きく、且つ、領域R_iのサイズがしきい値th_sizeよりも大きければ、４象限に分割する。すなわち、仮領域を想定し、この仮領域を階層的に分割している。
なお、variancecol(R_i) = SQRT(variance(R_i(u^*))² + variance(R_i(v^*))²)である。SQRTは、平方根を意味し、variance(R_i(u^*)は、領域R_iにおけるｕ^*の分散であり、variance(R_i(v^*)は、領域R_iにおけるｖ^*の分散である。また、しきい値ｔｈの値は、th_splitlum＝２５０であり、th_splitcol＝１２０である。
【００１７】
付加的な変化が関数マージ（Merge）に対しても行われる。セグメント化により、ブロック状の形状を有する大きな領域が生じるという問題を避けるために、組み合わせ（マージ）用のしきい値th_mergelumnewは、パラメータscalefactor_mergeを用いてブロック・サイズに応じて適応（適宜変化）する。このパラメータscalefactor_mergeは、大きな領域を組み合わせる（併合する）とき、特に、併合すべき２個の領域が同様なサイズのときに、増加する。
th_mergelumnew=scalefactor_merge＊th_mergelumold
なお、th_mergelumnewは、新たなマージ用しきい値であり、th_mergelumoldは、それまでのマージ用しきい値である。＊は、乗算を意味する。また、
scalefactor_merge = (k_merge＊size_merge + k_reduc + 1)/(size_merge + k_merge + k_reduc)
size_merge = max(k_min＊(1/n)ROOT(size(R1)ⁿ + size(R2)ⁿ)/size(frame)
である。定数パラメータの値は、ｋ_min＝２５６、ｎ＝０．２５、ｋ_merge＝３、ｋ_reduc＝１０及びth_mergelumold＝５００である。size(R1)は、領域R1のサイズであり、size(R2)は、領域R2のサイズであり、ROOTは、平方根を意味し、max()は、（）内の最大値を指す。以下のパラメータを用いる点を除いて、同じ技術を用い、カラー組み合わせしきい値th_mergecolも変調する。
k_mincol＝２５６、n_col＝０．５、k_mergecol＝１．５、k_reduccol＝０及びth_mergecolold＝１２０。
【００１８】
従来の組み合わせ関数は、低いテキスチャの領域を高いテキスチャの領域に比較して簡単に組み合わせていた。したがって、２つの領域を組み合わせるか否かを判断するとき、その領域の平均ルミナンス及びカラーを考慮する。平均カラー及び平均ルミナンスのしきい値の両方が互いに依存するので、この領域の平均カラー及びルミナンスに応じて適応的に組み合わせしきい値th_{meanmergelumnew}を次のように計算する。
もし、((Δcol < th_Δ _col) &(col_max > th_BW))
ならば、即ち、カラーの差（色差）Δcol がしきい値 th_Δ _colよりも小さく、且つ、カラーの最大値col_maxがしきい値th_BWよりも大きければ、
th_{meanmergelumnew}=th_{meanmergelumold}+((th_Δ _col-Δcol)/th_Δ _col)＊(th_Δ _{lum_max}-th_{meanmergelumold})
である。th_{meanmergelumold}は、以前の組み合わせしきい値であり、th_Δ _{lum_max}は、ルミナンスの差の最大値に対するしきい値である。
なお、
Δlum = |gl(R1) - gl(R2)|
Δcol = SQRT((u^* _R1 - u^* _R2)² + (v^* _R1 - v^* _R2)²)
col_max = max(u^* _R1, u^* _R2, v^* _R1, v^* _R2)
であり、Δlumは、ルミナンスの差であり、ｇｌ（Ｒ_i）は、領域Ｒ_iの平均グレイ・レベルである。u^* _Riは、領域Ｒ_iのｕ^*の値であり、v^* _Riは、領域Ｒ_iのｖ^*の値である。定数の値は、ｔｈ_Δ _col＝１４．０、ｔｈ_BW＝７．０及びｔｈ_Δ _{lum_max}＝７０．０である。
【００１９】
ルミナンスが低い範囲では、カラーがしばしば非常に高い値を取るので、低いルミナンスの領域に対する組み合わせしきい値が増加する。これは、図４に示すように実現される。これら定数の値は、次の通りである。
ｔｈ_lolum1＝１０、ｔｈ_lowlum2＝２５、ｔｈ_col＝１４、及びｔｈ_{col_lowlum}＝４０。
【００２０】
したがって、変調された組み合わせ条件は、次のようになる。
もし、
((var(gl_R12)<th_mergelumnew)且つ(var(col_R12)<th_mergecolnew)且つ(Δlum<th_{meanmergelumnew}) 且つ (Δcol<th_{meanmergecolnew})) 又は((Δlum<th_lumlow) 且つ (Δcol<th_collow)ならば、２つの領域を１つに組み合わせる。そうでなければ、領域を分離させる。なお、var(gl_R12)は、領域R1及びR2の平均グレイ・レベルの分散であり、var(col_R12)は、領域R1及びR2のカラーの分散である。これら定数の値は、ｔｈ_lumlow＝１２及びｔｈ_collow＝５である。
小さな領域の除去手順を変化させて、この手順をイメージ分解能から独立させ、小さな領域を最も適切な隣接領域と組み合わせる。これは、次のようになる。
もし、
size(R_i) < (1/k_small)＊size(frame)
ならば、Ｒ_iを最も近いＬ^*値を有する隣接領域と組み合わせる。
なお、ｋ_smallは、４０９６に設定できる。size(frame)は、フレームのサイズである。この方法において、セグメント化は、適応であり、より粗となる。
【００２１】
インポータンス・マップＩＭのサイズの特徴は、簡単な２個のしきい値による処理から、４個のしきい値による処理に変化するので、小さ過ぎる又は大き過ぎる領域が、小さ過ぎる領域の代わりに、最小化される。同様に、他の領域と４カ所で接触する境界を共有する領域における最小数のピクセル、又は、尖端エッジと境界を接する領域内の最小数のピクセルを用いて、フレームのエッジを除去するので、背景（による）特徴が変化する。また、場所（による）特徴を変化させて、フレームの中央の４分の１を全く考慮せずに、ゾーン（領域）に応じ、小さな重みを有する中心の周囲における種々のゾーンを考慮して、この中央から縮小する。
【００２２】
元のコントラストにおけるインポータンス（コントラスト・インポータンス）I'_cont(R_i)は、領域Ｒ_iと４カ所で接した境界を共有する領域における平均グレーレベルと、このレベルよりも小さい領域Ｒ_iにおける平均グレーレベルとの間の差として定義できる。まず、領域Ｒ_iの平均グレーレベルと、その隣接領域との比較は、各隣接領域の絶対値に基づいているので、領域Ｒ_iよりも高い又は低い平均グレーレベルを有する隣接領域が互いにうち消されることがない。隣接領域がコントラストに影響を及ぼす地域は、２個の領域が有する４個の接した隣接ピクセルの数と乗算された定数に限定される。これにより、大きな隣接領域と、わずかな隣接ピクセルを有する領域とが、コントラスト・インポータンスに過度の影響を及ぼすことを防ぐ。また、サイズの換算係数を用いて、大きな領域に対して、コントラスト・インポータンスI"_cont(R_i)が減らされる。さらに、ウェーバー（Weber）及びドフリース・ローズ（deVries-Rose）効果を考慮するために、高いグレースケールの定数を低いグレースケールの定数に対して減らす。最後に、そのフレーム内のコントラストの強さに応じて、コントラストを適応的な方法により０〜１の範囲に正規化する。これを行うことにより、あるコントラストを有する領域のコントラスト・インポータンスI"'_cont(R_i)は、非常に高いコントラストの領域を有するフレームにおいて減され、最高のコントラストが小さいフレームにおいては増やされる。
【００２３】
上述は、次のようになる。
I'_cont(R_i)=（Σ_j=1-J|gl(R_i)-gl(R_j)|＊min(k_border＊B_ij,size(R_i))）/Σ_j=1-Jmin(k_border＊B_ij,size(R_i))
なお、ｊは、Ｒ_iと４カ所で接する境界を共にする領域１−Ｊである。k_borderは、隣接領域の影響範囲を制限する定数（例えば、１０に設定される）である。Ｂ_ijは、Ｒ_iと４カ所で接する境界を共有するＲ_jにおけるピクセルの数である。また、
I"_cont(R_i) = k_sizescale＊Ｉ'_cont(R_i)
である。なお、k_sizescaleが領域のサイズに応じて変化し、小さな領域では大きくなり、大きな領域では小さくなる。さらに、
I"'_cont(R_i) = I"_cont(R_i)/max(gl(R_i),th_devries)^powweber
となる。なお、th_devriesは、ドフリース・ローズ領域のほぼスタートにおけるグレーレベル（５０に設定される）であり、powweberは、非線形ウェバーのべき乗（０．３に設定）である。
Ｉ”’に対する正規化のしきい値を次のように計算する。
th_cont1 = th_base1weber+(min(I"_cont)-th_base1weber)＊th_weight
th_cont2 = th_base2weber+(max(I"_cont)-th_base2weber)＊th_weight2high, max(I"_cont>th_base2)
又は
= th_base2weber+(max(I"_cont)-th_base2weber)＊th_weight2low, max(I"_cont=th_base2)
なお、
th_base1weber = th_base1/128^powweber
th_base2weber = th_base2/128^powweber
th_base1 = 20
th_base2 = 120
th_weight1 = 0.5
th_weight2high = 0.25
th_weight2low = 0.75
である。
【００２４】
多くの隣接領域を有する領域において形状インポータンスを低下させるように形状特徴を変化させて、高すぎる形状インポータンスをかかる領域に割り当てない。また、適応正規化処理を用いて、この形状インポータンスを０〜１の範囲に正規化する。
【００２５】
本発明は、カラー特徴を視覚的注意モデルに付加する。ＲＧＢファイルが入力として受け入れられ、Ｌ^*ｕ^*ｖ^*カラー空間に変換される。コントラスト・インポータンスを計算した方法と類似の方法でカラー・インポータンスを計算する。これは、実際には、これら２つの特徴が類似した動作を果たすためである。すなわち、一方が、その背景に対する領域のルミナンス・コントラストを計算し、他方が、その背景に対するカラー・コントラストを計算する。カラー・インポータンスの計算は、ｕ^*のカラー・コントラストのインポータンスI_u*(R_i)及びｖ^*のカラー・コントラストのインポータンスI_v*(R_i)を別々に計算することが始まる。
I_u*(R_i) =Σ_j=1-J |u^*(R_i)-u^*(R_i)|＊min(k_border＊B_ij,size(R_j)) / Σ_j=1-J min(k_border＊B_ij,size(R_j))
I_v*(R_i) = Σ_j=1-J |v^*(R_i)-v^*(R_i)|＊min(k_border ＊ B_ij,size(R_j)) / Σ_j=1-J min(k_border ＊ B_ij,size(R_j))
次に、これら２つのカラー・インポータンスの計算結果を二乗和の平方根として組み合わせ、換算係数を用いて大きな領域用に減らす。フレーム内のカラー・インポータンスの強さに応じて、適応的な方法にて、カラー・インポータンスを０〜１の範囲で正規化する。この操作を行うことにより、あるカラー・インポータンスを有する領域のカラー・インポータンスは、カラー・コントラストが非常に高いフレームにおいては減少され、最高カラー・コントラストが小さいフレームにおいては増加される。
【００２６】
最後に、スキン特徴を追加して、スキンの範囲をそのカラーにより検出する。異なる人種においても、人間のスキン（皮膚）の色は、狭い範囲の値なので、この検出が可能となる。他のカラー空間を用いる際には、色相−飽和−輝度（ＨＳＶ）カラー空間を選択する。これは、人間のスキンの色が、ＨＳＶ値の狭い範囲内に集中的に集まるからである。各ピクセルを個別にテストして、その色がスキンの色とマッチングするかを判断する。ＨＳＶ値（ｈ_ij、ｓ_ij、ｖ_ij）が次の範囲内に入るならば、ピクセルｘ_ijをスキンにクラス分けする。すなわち、
もし、((H_min=h_ij=H_max)且つ(S_min=s_ij=S_max)且つ(V_min=v_ij=V_max))ならば、x_ijは、スキンである。
テスト・イメージの大型データベースから、クラス分けしきい値の最良値が求まる。しきい値の４つは、次のようになる。［定数］−Ｈ_min＝３５０度、Ｈ_max＝４０度、Ｓ_min＝０．２、Ｖ_min＝０．３５。他の２つのしきい値であるＳ_max及びＶ_maxは、図５に示すグラフから、Ｈの変化に応じて求まる。
【００２７】
前もって組み合わせるために、空間的特徴のインポータンス・マップを二乗し、等しく重み付けして、最終的な空間的インポータンス・マップＩＭを生成する。次に、この最終的なインポータンス・マップを換算して、最高のインポータンスの領域の値を１．０にする。高いインポータンスの領域と低いインポータンスの領域との突然の変化を和らげるために、ブロック処理を行う。これは、ｎ×ｎブロック内の最大インポータンスをそのブロック内の各ピクセルに割り当てることを含む。しかし、異なる特徴の相対的な影響を理解するために、目の追跡を考察した。人間が、約５秒間にわたって多くの異なる静止画を観察し、また、ビデオを数分間にわたって観察しているとして、一群の人間の目の動きを記録する。どの特徴が人間の目の動きに最も影響を与えるかを判断するために、人間の固定行動（fixation）と各個別の特徴ＩＭとの相関を計算する。これは、最も重要な特徴に応じて分類された領域における固定行動の割合を計算することにより行う。この結果により、空間的特徴の内の３つの特徴である場所（位置）、スキン及び前景／背景が、固定行動との非常に高い相関を有することを示す。他の３つの空間的特徴である形状、カラー及びコントラストは、固定行動に対して低いが依然顕著な影響を有しており、サイズによる影響は、他の特徴による影響よりも非常に小さい。
【００２８】
この実験から得た固定行動の相関を用いて、本発明においては、次の新たな特徴重み付けI_spatial(R_i)を行う。
I_spatial(R_i) = Σ_f=1-7(w_f ^poww*I_f(R_f)^powf)
なお、ｗ_fは、目の追跡実験からの特徴重み付けである、即ち、場所、前景／背景、スキン、形状、コントラスト、カラー、サイズの各々の重み付けは、０．１９３、０．１７６、０．１７２、０．１３０、０．１２１、０．１１４、０．０９４である。ｐｏｗ_wは、特徴重み付けの指数であり、ｗ_fの相対的影響力を制御する。例としては、３．０である。ｐｏｗ_fは、インポータンス・マップ（ＩＭ）重み付け指数であり、例として、総ての特徴に対して２．０である。次に、前のようにブロック処理をした後で、空間ＩＭを換算（スケーリング）して、最高のインポータンスの領域を１．０とする。
【００２９】
この結果の空間ＩＭは、フレームからフレームにノイズを有するかもしれず、このノイズを減らし、ＩＭの時間的整合性を改善するために、時間的平滑化動作をピクセル・レベルで実施する。（ｔ−ｍ、・・・ｔ＋ｎ）フレームの時間的ウィンドウを用いることにより、この時間的ウィンドウから、場所（ｘ、ｙ）における出力ＩＭにより、場所（ｘ、ｙ）をｋ番目に高いＩＭとする。ｋ＞１に設定することにより、高いインポータンスのスプリアス領域を除去する。例として、ｎ＝ｍ＝５フレームで、ｋ＝２である。
【００３０】
従来は、時間的インポータンス・マップ用に階層的ブロック・マッチング技法を用いて、各ブロックの運動ベクトルを計算していた。この結果のベクトルを直接用いて、時間的インポータンスを計算していた。非常に低い動きと非常に高い動きの領域には低いインポータンスを与える一方、中位の動きの領域に最高のインポータンスを割り当てた。この従来技術には、次のような２つの大きな問題があった。（ｉ）真の対象物の動きからカメラの動きを区別する方法がなかったので、ビデオが撮影されている間に、任意のカメラの動き（パン、傾き、ズーム、回転）があると、このモデルはうまく機能しなかった。（ii）インポータンスを特定の動きに割り当てるときに固定しきい値を用いるが、動きの量が異なるビデオ場面にわたって大きく変化するので、これらしきい値は、ビデオ内の動きに適応させる必要がある。
【００３１】
図６は、時間的注意のモデル化手段のブロック図を示す。従来の時間的処理と同様に、階層的ブロック・マッチング処理にて現在及び前のフレームを用いてモーション・ベクトルを計算する（ブロック６０）。カメラのモーション（動き）予測アルゴリズム（ブロック６２）にて、これらモーション・ベクトルを用いて、カメラのモーションに関する４つのパラメータ、即ち、パン、ティルティング（傾き）、ズーム及び回転を判断する。次に、これらパラメータを用いて、モーション・ベクトルを修正（補償）して、場面における真の対象物の動きを捕らえる（ブロック６４）。テキスチャ的に平坦な領域におけるモーション・ベクトルに確実性がないため、これら領域内における補償されたモーション・ベクトルがゼロに設定される。８×８ブロック内の最小及び最大グレイレベルの差が、４５の如きしきい値ｔｈ_flatよりも小さければ、この８×８ブロックを「平坦（flat）」とみなす。最後に、平滑化（スムージング）や、後述の適応しきい値（適応的に変化するしきい値）による処理などのいくつかのステップ（ブロック６６）により、補償したモーション・ベクトルを時間的インポータンス（時間的イメージ）の尺度に変換する。
【００３２】
カメラの動きを予測するアルゴリズム（ブロック６２）は、場面のカットや、３：２のプルダウン（縦横比３：２への変換）や、時間的なサブサンプリングによるフレーム落ちなどを原因として生じた時間的動きにおけるいくつかのジャーキネス（jerkiness:ぎくしゃくとした動き）を検出する。これら時間的な不連続性が生じると、時間的に不連続なフレームからのモーション（動き）情報よりも、むしろ確実なモーション情報を利用できる以前のフレームからのモーション情報を用いる。現在のフレームに時間的な不連続性が検出されれば、１０フレーム以上前に戻ったモーション情報を用いてもよい。上述の如く、空間的ＩＭに対して実行したのと同様な方法で、時間的なスムージングを行う。場面カットの一部や、異なるショットの一部であるフレームは、時間的ウィンドウ内に含めない。これら領域からのモーション・ベクトルは確実でないので、低いテキスチャの次の領域に、ゼロの時間的インポータンスを割り当てる。＋／−１フレームの時間的ウィンドウに対して計算を行った場合を除いて、「平坦」であるとの判断は、上述と同じである。最後に、適応しきい値による処理を行う、即ち、場面における対象物の動きの量に適応させて、しきい値を計算する。人間の感受性は、多くの高速に移動する対象物により邪魔されないので、少ない移動対象物を有する場面や、遅い動きの対象物を有する場面は、多くの高速に移動する対象物を有する場面よりも、しきい値が小さい。カメラの動きを補償したモーション・ベクトル・マップの９８番目のパーセント点（percentile）の如きｍ番目のパーセント点を用いることにより、場面における動きの量の予測が得られる。動きは、度／秒により測定するので、動きの分解能、即ち、ピクセルの間隔及び視野の距離を知る必要がある。典型的には、ピクセル間隔は、０．２５ｍｍであり、視野の距離は、ＳＤＴＶ視野で画像高さの５倍である。高速移動対象物が高速パン又はティルティング移動により追跡される場面において、対象物の動きは、所定しきい値よりも大きいので、その時間的インポータンスは、１．０未満の値に低下するかもしれない。これら生じるのを防止するために、特別な場合を作る。最終的なブロック処理は、空間的ＩＭ用に行ったのと同様に、１６×１６ピクセル・レベルで行う。時間的ＩＭは、既に８×８ピクセル分解能なので、各２×２ブロック用の最大値を取って、全体として１６×１６ブロック・サイズを得る。
【００３３】
空間的インポータンス・マップ（ＩＭ）及び時間的ＩＭを組み合わせる線形重み付けは、次のようになる。
Ｉ_total ＝Ｋ_combＩ_spat ＋ (１-Ｋ_comb)Ｉ_temp
空間的ＩＭ及び時間的ＩＭの両方に対して観察者を固定して比較すると、時間的のみのＩＭの相関に比較して、空間的のみのＩＭの相関がわずかに高い。したがって、０．５よりもわずかに大きいｋ_combの値は、０．６の如き値となる。
【００３４】
上述は、空間的ＩＭ及び時間的ＩＭの基本的な統合に対して行える総てである。しかし、目の追跡の考察によると、ズーミング、回転又は非常に早い動きのビデオ場面において、観察者は、注意力を場面の中心に非常に強く絞る傾向がある。これら場面の中心領域に更にインポータンスを割り当てるために、次の計算を行う。
mot_zoomrot = k_z1＊motion_m + k_z2＊zoom + k_z3＊rotate + k_z4＊error_camera
なお、motion_mは、カメラの動きの補償されたモーション・ベクトル・マップのｍ番目のパーセント点であり、zoom及びrotateは、フレームのズームのパラメータ及び回転パラメータであり、error_cameraは、カメラの動きの予測アルゴリズムによる出力であり、ｋ_ziは、換算（スケーリング）定数である。中央のスケーリング定数k_centralは、１対のしきい値の間のmot_zoomrotの量に応じて、２つの値の間で調整される。そして、新たなインポータンス・マップI'_totalは、次のようになる。
I'_total = k_centralI_center + (1-k_central)I_total
変数error_cameraが高いと、インポータンス・マップ（ＩＭ）の精度が低下して、これらの場合における時間的ＩＭの影響が低下するのに有用かもしれない。これは、エラーが増加するに従ってｋ_combの値を増やすことにより行える。
【００３５】
最後に、目の追跡を考察すると、人間及び顔は、注意を非常に強く引きつけることが判った。人間は、一般的には、少なくとも長時間にわたって、完全に静止していないので、特別な場合を作って、動いているスキン領域でのインポータンスを増加させる。これには、次の２つの利点がある。（ｉ）スキンの特性によりスキンであると誤って分類した対象物は、移動しない背景対象物（砂、乾燥牧草、煉瓦の壁）であることがしばしばあるので、モーション情報が含まれていても、これら偽の判断を除去できる。（ii）顔は、低いテキスチャのいくつかの領域をしばしば含んでおり、これら低いテキスチャの領域が低いインポータンスに設定されるので、顔の低いテキスチャ範囲を時々見逃すが、しかし、スキン領域に対する低いテキスチャの拘束を緩めることにより、これら範囲を最早見逃すことがなく、インポータンスが高くなる。よって、各ピクセルに対して、
もし、(I_skin>th_skinmot1) 且つ(MV_comp>th_skinmot2)
ならば、
I_total = 1.0
となる。
【００３６】
【発明の効果】
よって、本発明により改良された視覚的注意モデル化方法によれば、空間的特徴により空間的インポータンス・マップを生成し、この時間的インポータンス・マップを空間的インポータンス・マップと組み合わせて、フレームの全体的なインポータンス・マップを生成する。したがって、適合セグメント化アルゴリズムを改善できると共に、空間的特徴及び付加的な空間的特徴に対する適合アルゴリズムも改善できる。さらに、目の動きの考察に基づいて組み合わせアルゴリズムも改善でき、より確実で改良された全体的なインポータンス・マップを生成できる。
【図面の簡単な説明】
【図１】本発明による視覚注意力モデル化方法の好適実施例を説明するブロック図である。
【図２】現在のフレームのイメージ画像を示す図である。
【図３】本発明により得たイメージ画像に対する総合インポータンス・マップを示す図である。
【図４】本発明による空間特徴の１つに対するルミナンスによるしきい値の変化を示すグラフ図である。
【図５】本発明によるスキン空間特徴に対する色相によるパラメータ値の変化を示すグラフ図である。
【図６】本発明により時間的インポータンス・マップを生成するブロック図である。
【符号の説明】
１０空間的注意力モデル化手段
１１カラー処理手段
１２コントラスト処理手段
１３サイズ処理手段
１４形状処理手段
１５位置処理手段
１６背景処理手段
１７スキン処理手段
２０時間的注意力モデル化手段
２２モーション・ベクトル・アルゴリズム
２４モーション・インポータンス・アルゴリズム
３０セグメント化アルゴリズム
４０結合アルゴリズム
６０モーション・ベクトルの計算ブロック
６２カメラのモーションの予測ブロック
６４カメラのモーションの修正ブロック
６６平滑化及び適応しきい値ブロック

Claims

複数の空間的特徴に応じた処理のために、ビデオ・シーケンスの単一フレームを複数の領域にセグメント化して、対応する複数の空間的インポータンス・マップを生成し、上記単一フレームを以前のフレームと比較して時間的インポータンス・マップを生成し、上記空間的インポータンス・マップ及び上記時間的インポータンス・マップを組み合わせて上記単一フレームの総合インポータンス・マップを生成する視覚的注意のモデル化方法であって、
ルミナンス及びカラーを用いて、上記単一フレームを複数の領域に適応的にセグメント化する第１ステップと、
複数の空間的特徴により上記領域を処理して、複数の上記空間的インポータンス・マップを生成する第２ステップと、
上記以前のフレームに応じて上記単一フレームを処理して、カメラの動きを補償した上記時間的インポータンス・マップを生成する第３ステップと、
目の動きの考察から得た重み付けに応じて上記空間的インポータンス・マップ及び上記時間的インポータンス・マップを組み合わせて、上記単一フレーム用の上記総合インポータンス・マップを生成する第４ステップと
を具えることを特徴とする視覚的注意のモデル化方法。
上記第１ステップは、
仮領域のルミナンス分散、カラー分散及びサイズに基づいて上記フレームを複数領域に階層的に分割し、
上記仮領域内の平均ルミナンス及びカラー分散が各適応しきい値よりも小さく且つ上記仮領域内のルミナンス変化及びカラー変化が各しきい値よりも小さいか、又は上記仮領域内のルミナンス及びカラーの変化が各しきい値よりも小さい場合に、複数の仮領域を組み合わせて上記領域を形成する
ことを特徴とする請求項１の視覚的注意のモデル化方法。
上記空間的特徴には、サイズ、背景、場所、コントラスト、形状及びスキンの１組から選択された少なくとも２つを有することを特徴とする請求項１の視覚的注意のモデル化方法。
上記第４ステップは、
目の動きの考察から経験的に求めた重み付けに応じて、各空間的インポータンス・マップを重み付けして、その結果の空間的インポータンス・マップを生成し、
時間的スムージング・アルゴリズムを用いて、上記結果の空間的インポータンス・マップをフレームからフレームにわたってスムージングしてノイズを減らすと共に、時間的整合性を改善して、空間的インポータンス・マップを生成し、
上記空間的インポータンス・マップを上記時間的インポータンス・マップと組み合わせて、上記総合インポータンス・マップを生成する
ことを特徴とする請求項１の視覚的注意のモデル化方法。
上記第３ステップは、
階層的ブロック・マッチング・アルゴリズムを用いて、現在のフレームの各ブロックに対して、モーション・ベクトルを計算し、
上記モーション・ベクトルからカメラの動きのパラメータを判断し、
上記カメラの動きのパラメータに基づいて上記モーション・ベクトルを補償し、
上記補償されたモーション・ベクトルを時間的インポータンス・マップに変換する
ことを特徴とする請求項１の視覚的注意のモデル化方法。