JP4401475B2

JP4401475B2 - 印刷に適した画像フレームを識別する方法

Info

Publication number: JP4401475B2
Application number: JP17463099A
Authority: JP
Inventors: ウジン; ウインドルジョン
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-06-19
Filing date: 1999-06-21
Publication date: 2010-01-20
Anticipated expiration: 2019-06-21
Also published as: AUPP424698A0; JP2000105834A; US6724937B1

Description

【０００１】
【発明の属する技術分野】
本発明は、一連のビデオ画像フレームを有するビデオショットの中から、印刷あるいは格納あるいはフラグ付け用の画像フレームを識別する方法とシステムに関する。
【０００２】
【従来の技術】
印刷に適した画像フレームを識別するための現今のシステムは、場面変化、色彩変化、カメラの動きのいずれか、あるいはその組合せに基づくフレームの抽出に基づいている。これらのシステムでは、カメラ利用の様々な局面や或いは様々な場面属性を表すフレームの抽出に焦点がある。米国特許第 5,576,950では、場面品質並びにマッチング値に基づいて画像フレームが選択される。
【０００３】
【発明が解決しようとする課題】
この方法の不都合な点は、画像フレーム品質並びにマッチング値の評価用アルゴリズムにより負う計算負荷が高いことである。
上記従来技術の一つ以上の不都合な点をほぼ解決する、あるいは少なくとも改善することが本発明の目的である。
【０００４】
【課題を解決するための手段】
したがって本発明は次のような方法を開示する。すなわち、
印刷あるいは格納あるいはフラグ付けのために、複数の画像フレームから構成される一連の画像フレームの中から画像フレームを選択するための方法であって、
a) 一連の画像フレーム中の各画像フレームについて勾配値を計算し、前記一連の画像フレーム中の各画像フレームの勾配値から、前記一連の画像フレームに対応する一連の勾配値を生成するステップと、
b) 前記一連の勾配値において勾配値が極大となる位置を検出するため、前記一連の勾配値を平滑化し、一連の平滑データを発生させるステップと、
c) 前記一連の平滑データの中で、勾配値が極大となる局所的極大位置を決定するステップと、
d) 前記局所的極大値の位置に基づいて、前記局所的極大値の位置に対応する範囲の一連の勾配値の中から勾配値ピークを決定するステップと、
e) 前記一連の画像フレームのうち前記勾配値ピークとして決定された位置に対応する画像フレームを選択するステップと
を含む。
【０００７】
また更に、本発明は次のような構成を開示する。すなわち、
印刷あるいは格納あるいはフラグ付けのために、複数の画像フレームから構成される一連の画像フレームの中から画像フレームを選択する装置であって、
一連の画像フレーム中の各画像フレームについて勾配値を計算し、前記一連の画像フレーム中の各画像フレームの勾配値から、前記一連の画像フレームに対応する一連の勾配値を生成する勾配値計算手段と、
前記一連の勾配値において勾配値が極大となる位置を検出するため、前記一連の勾配値を平滑化し、一連の平滑データを発生させるデータ平滑化手段と、
前記一連の平滑データの中で、勾配値が極大となる局所的極大値の位置を決定する特定手段と、
前記局所的極大値の位置に基づいて、前記局所的極大値の位置に対応する範囲の一連の勾配値の中から勾配値ピークを決定する勾配ピーク決定手段と、
前記一連の画像フレームのうち前記勾配値ピークとして決定された位置に対応する画像フレームを選択する画像フレーム選択手段と
を備える。
【００１０】
また更に、本発明は次のような構成を開示する。すなわち、
印刷あるいは格納あるいはフラグ付けのために、複数の画像フレームから構成される一連の画像フレームの中から画像フレームを選択する方法をコンピュータにより実行させるためのコンピュータ・プログラムを記録したコンピュータ可読記録媒体であって、
一連の画像フレーム中の各画像フレームについて勾配値を計算し、前記一連の画像フレーム中の各画像フレームの勾配値から、前記一連の画像フレームに対応する一連の勾配値を生成する勾配値計算処理ステップと、
前記一連の勾配値において勾配値が極大となる位置を検出するため、前記一連の勾配値を平滑化し、一連の平滑データを発生させるデータ平滑化処理ステップと、
前記一連の平滑データの中で、勾配値が極大となる局所的極大値の位置を決定する特定処理ステップと、
前記局所的極大値の位置に基づいて、前記局所的極大値の位置に対応する範囲の一連の勾配値の中から勾配値ピークを決定する勾配ピーク決定処理ステップと、
前記一連の画像フレームのうち前記勾配値ピークとして決定された位置に対応する画像フレームを選択する画像フレーム選択処理ステップと
をコンピュータに実行させるためのコンピュータ・プログラムを記録した。
【００１２】
【発明の実施の態様】
本発明に好適な実施例を、図面を参照しながら単なる例として説明する。
【００１３】
本明細書の文脈において、「構成している（comprising）」という語は「主として含んでいるが、必ずしもそれのみを含んでいるわけではない(including principally, but not necessarily solely)」とか「有している(having)」あるいは「含んでいる(including)」という意味であって、「のみから成っている(consisting only of)」という意味ではない。「構成する（comprise及びcomprises）」のような「構成している（comprising）」の変化形も対応する意味を持つ。
【００１４】
図面を参照すると、図1は、印刷に適したフレーム110を抽出するためのシステムを示すブロック図を示すものである。ビデオショット102をともに構成する個々の画像フレーム100の一続き104は、印刷フレーム選択ブロック106によって処理される。印刷フレーム選択ブロック106は、ビデオショット102から得られた、印刷に適した画像フレーム110の一続き108及び／又は印刷に適した画像フレームのフレームリスト114を作成する。この方法は、ビデオショット102の中から最も印刷に適していそうなフレーム110の認識を可能にする自動操作に適している。
【００１５】
図2は、印刷フレーム選択ブロック106が印刷に適した二つのタイプのフレーム(202、206)を作成すること示す図である。第一のタイプ202は高勾配内容をもつフレームを有する。このフレームは、一般に画像中に多くのエッジを示し、画像は相対的に高度の合焦を表示する(すなわち、画像は細部が明確である)。第二のタイプのフレーム206も、好適には優れた合焦と相対的に多くのエッジを有することが望ましいが、より重要なことは、該フレームが相対的な静止した期間、すなわちビデオショットの一続き104中において連続する画像フレーム100の間で動きがない期間を表しているということである。
【００１６】
図3Aと3Bは第一タイプのフレーム202を識別するための処理を示す図である。図3Aは、ビデオショットの一続き104の中で各画像フレーム100の勾配値を抽出するために勾配値計算ブロック300でビデオショットの一続き104を処理する方法を示す図である。勾配値を得るための好適な方法を含む、勾配値に関する詳細を以下に説明する。この一連の勾配値302によって、一連の平滑データ306が作成される平滑処理304を通過する一連の生データが形成され、極大値識別ブロック308でこの一連の平滑データ306の中から極大値が識別される。図3Bは、一連の平滑データ306が、全体の極大値320と他の極大値例えば322を一般的にどのように持つかを図示するものである。本好適実施例の目的のために、極大値の各々を一つの局所的極大値として処理することができる。極大値識別ブロック308でひとたび極大値が識別されると、勾配ピーク選択ブロック312で一連の生データ302の中の勾配値ピークが選択される。極大値識別ブロック308からの出力310として、それぞれの局所的極大値の位置に基づいて、選択された一連のピーク314が選ばれる。
【００１７】
図3Bは、一連の生データ302中の勾配値ピーク324を、一連の平滑データ306中の極大値322とどのように関連させることができるかを示す図である。或いは、当該図は、一連の生データ302中の勾配値ピーク328が、隣接する極大値322と320との間で一連の平滑データ306にどのように対応し得るかを示す図である。画像フレーム選択ブロック316でこれらのピークに対応する画像フレームを選択し、印刷に適したフレーム110として得ることができる。その代わりに、或いはそれに加えて、選択された画像フレームのリスト114を、要約リスト114を作成するリスト編集ブロック318で編集する。
【００１８】
図4は、勾配ピーク選択ブロック312の詳細を示し、一連の平滑データ306の中での極大値識別ブロック308による局所的極大値の認識が、二つの状況のうちの少なくとも１つにどのようにして帰着し得るのかを図示するものである。これらの状況のうちの第一の状況は隣接する局所的極大値が一連の平滑データ306の中で互いに離れている場合であり、一方、第二の状況は隣接する局所的極大値が一連の平滑データ306の中で相対的に互いに近接している場合である。タイプ選択ブロック422によって判定されたとき隣接する局所的極大値が相対的に互いに近接している場合には、一連の生データ302は勾配閾値比較ブロック404へ送られる。ブロック404においては、極大値識別ブロック308によって判定されるとき、各極大値322の近傍にある一連の生データ302中で識別されたピークの各集合は勾配閾値と比較される。この集合の中の少なくとも１つのピークが前記勾配閾値を超える場合には、該集合中の最大のピークが印刷に適した局所的極大値を表すものとして最大ピーク選択ブロック408によって選択され、選択されたピークがライン314上に出力される。タイプ選択ブロック422によって判定されるとき、隣接する局所的極大値が一連の平滑データ306の中で相対的に互いに離れている場合には、一連の生データ302はピーク間ポイント選択ブロック412へ送られる。このブロック412で、一連の平滑データ306中の隣接する極大値間でポイントが選択される。これらのポイントの選択は時間の所定の増分値に基づいてもよいし、一連の平滑データ306の変化率のような一連の平滑データ306の何らかの特性に基づくものであってもよい。勾配閾値比較ブロック416によって判定されたとき、ピーク間選択ブロック412によって選択された各選択ポイントの近傍での一連の生データ302のピークの各集合の中で、少なくとも１つのピークがある勾配閾値を超えれば、該集合中の最大のピークが、印刷に適した代表的なものとして最大ピーク選択ブロック420によって選択され、ライン314上に出力される。好適には、一連の平滑データ306の端部ポイント329と330において、端部ポイント間で用いられる勾配閾値よりも高い勾配閾値を比較ブロック416で用いることが望ましい。このより高い閾値は、所定の定数であってもよいし、或いは一連の平滑データ306のカーブの勾配と、それぞれの端部ポイントで最も近い局所的極大値とに基づいて動的に判定してもよい。ある局所的極大値が隣接する局所的極大値から相対的に離れていて、一連の平滑データ306の値がこれらの極大値の間で滑らかに変動する場合には、それはパン、チルト、ズームのようなゆっくりしたカメラワークを一般に表す。
【００１９】
図5は、静止ベース画像フレームについての、図1の実施例において代わりとなる処理を詳しく図示するものである。一連の生データ302中の画像フレーム100の勾配値はまず閾値比較ブロック500で勾配値閾値と比較される。該閾値を超える勾配値は、静止連続選択ブロック504で、該閾値を超える隣接する勾配値と比較される。複数の隣接する勾配値が双方とも該勾配閾値を超え、ほぼ同様の大きさである場合には、静止連続選択ブロック504によってその複数の値から代表的勾配値が選択されライン506上に出力される。対応する画像フレーム選択ブロック508によって、対応する画像フレームが一連のビデオショット104の中から選択される。この選択された画像フレームは印刷に適するものとしてライン108上に出力される。その代わりに、或いはそれに加えて、フレームリスト編集ブロック510によってフレームリスト114が編集され、ライン112上に出力される。印刷用に選択されたこれらの画像フレーム110は高い勾配値を有する(このことは相対的に優れた合焦と多数のエッジを示すものである)が、これらの画像フレームについてより重要なことはそれらがビデオショット102中の相対的に静止した期間を表すという点である。
【００２０】
図6は、コンピュータ600上で実行するソフトウェアとして、以上説明した種々の処理を実行できるような従来型の汎用コンピュータ600を用いてどのように該システムを好適に実施できるかを図示するものである。特に、コンピュータ600で実行するソフトウェアの命令によって種々の処理ステップが実行される。このソフトウェアは、コンピュータ可読媒体中に格納されていてもよく、その媒体からコンピュータ600にロードされ、次いでコンピュータ600によって実行される。コンピュータ中のコンピュータ・プログラム製品を利用することによって、一連のビデオ画像フレームを有するビデオショットの中から印刷用画像フレームを識別あるいは格納あるいはフラグ付けを行うための装置を達成することが望ましい。説明のように、上記の汎用コンピュータ600上で実行するソフトウェアによって、上述の方法ステップを実施できる対応システムを実現することができる。コンピュータシステム600にはコンピュータモジュール602、ビデオ入力用カード616、入力装置618、620が含まれる。さらに、コンピュータシステム600は、ビデオ出力用カード610と出力用表示装置624を含むいくつかの他の出力装置のいずれでも備えることができる。コンピュータシステム600は、モデム、通信路、コンピュータネットワークなどのような適当な通信チャネルを用いる一つ以上の他のコンピュータと接続することもできる。このコンピュータネットワークには、ローカル・エリア・ネットワーク(LAN)、広域ネットワーク(WAN)、イントラネット、及び／又はインターネットを含めてもよい。したがって、例えばビデオ入力用カード616を介してビデオショット102を入力してもよいし、キーボード618を介して制御コマンドを入力してもよいし、ビデオ出力用カード610を介して印刷用の所望のフレーム202、206を出力してもよいし、表示装置624を介してフレームリスト114を出力してもよい。コンピュータ602自体には、中央演算処理装置(本明細書では以後単にプロセッサと呼ぶ)604、ランダム・アクセスメモリー(RAM)とリードオンリーメモリー(ROM)を含むことができるメモリー606、入出力(IO)インターフェース608、ビデオ入力用インターフェース622、並びにブロック612によって全体を表す一つ以上の格納装置が含まれる。格納装置612には一つ以上の以下のものを含むことができる。すなわち、フロッピー・ディスク、ハードディスクドライブ、光磁気ディスクドライブ、CD-ROM、磁気テープあるいは当業者には公知の他のいくつかの任意の不揮発性格納装置。構成要素604、606、608、612、622の各々は順にデータ、アドレス及び制御バスを含むことができるバス604を介して通常一つ以上の他の装置と接続している。ビデオインターフェース622は、ビデオ入力部616とビデオ出力用カード610と接続し、ビデオ入力カード616からコンピュータ602へ、及び、コンピュータ602からビデオ出力カード610へビデオ入力を与える。
【００２１】
本実施例で使用される勾配値計算方法では、各画素に対する水平方向と垂直方向のＲ(赤)、Ｇ(緑)とＢ(青)の勾配の大きさの合計が利用される。勾配値計算は以下の演算子を使用する。
【数１】

ここでＯxとＯyはPrewitt演算子として当業界で知られている。
【００２２】
各色成分に対する水平方向の勾配値はＯxを用いて画素ごとに画像の畳み込みを行うことによって得られる。その垂直勾配値は同様にＯyを用いて各画素の畳み込みを行うことによって見いだされる。画像のＲ成分(ｒで示される)のみを考慮すると、
Ｇr＝|Ｏx*r|＋|Ｏy*r|
ここでＧrは所定の画素のＲについての総計勾配値である。
*は畳み込みを示す。
【００２３】
同様にＧ("g"で示される)とＢ("b"で示される)の勾配について演算を行う。各画素についての合成カラー勾配値Ｇcは以下のように示される。
Ｇc＝Ｇr＋Ｇg＋Ｇb
【００２４】
閾値Ｔgが設定される場合、各画素の合成カラー勾配値は、
【数２】

によって記述される。
【００２５】
最後にフレーム全体の計算勾配値は、
【数３】

で与えられる。ここで、
ＭとＮは画像の幅と高さ、
tはフレーム数、
i=0,1,2,...,N-1、
j=0,1,2,...,M-1である。
【００２６】
一定の状況下では、画像フレーム全体の内容に基づくのではなくむしろ画像フレームの範囲内の選択された領域の内容に基づいて印刷に適したフレームを抽出することが望ましい。
【００２７】
図7には、フレーム100全体を考慮することによって、その全幅700(すなわち0からＭまで延びる)及びその全部の高さ702(すなわち0からＮ)にわたって勾配値を計算した画像フレーム100が描かれている。しかし、例えばレーシングカーのビデオショットが撮影されている状況を考えてみる。通常、車が移動するにつれて、カメラの視野の中心にレーシングカーを保持するためにビデオカメラはパンされているだろう。この場合、レーシングカーはビデオショットの多くのフレームにわたってほぼ合焦されるものの、ビデオショットのすべてのフレームの背景はぼやけることになる。更なる実施例のこの状況では、レーシングカーを中心にして区画フレーム704を画像100に配置することができ、次いで画像100全体にわたってではなくフレーム704にわたって勾配を計算することができる。これによって、注目画像フレーム100の中の特定の可視画像(すなわち区画フレーム704内部のレーシングカー)に付加的重みが与えられるので、フレームをより有効に選択することができる。区画フレーム704の幅と高さはそれぞれＭ'とＮ'であり、前述の勾配値計算式は以下の式となる：
【数４】

ここで、
Ｍ'とＮ'は境界フレーム704の幅706と高さ708、
tはフレーム数、
i＝0,1,2,...,N'-1、
j＝0,1,2,...,M'-1である。
【００２８】
更なる実施例では、区画フレーム710について、図示のように、該区画フレームにわたる微分勾配寄与効果を与えるために、区画フレームの範囲に入る画像領域に空間的重み付けを与えることができる。この場合、区画フレーム710はＭ"で与えられる幅714とＮ"で与えられる高さ716とを有し、勾配値計算は数学的に以下のように表現できる。
【数５】

ここで、
Ｍ"とＮ"はフレーム710の幅714と高さ716、
tはフレーム数、
i＝0,1,2,...,N"-1、
j＝0,1,2,...,M"-1、
Ｗ_ｉｊは区画フレームの範囲内の画素位置関数として割り当てられた重み付けである。
【００２９】
以上説明した方法は、印刷に適したフレームを印刷あるいは格納あるいはフラグ付けを行うための、好適には自動的フレーム選択を可能にするために、ビデオショット102に適用できる相対的に計算負荷の低い単純な処理を提供するものである。例えば、選択された印刷用フレームの集合の要約記述として印刷用フレームのリスト114を使用することもできる。
【００３０】
以上は本発明の特定の実施例のみを説明するものであり、本発明の範囲と主旨から逸脱せずに、これに対して修正及び／又は変更を行うことができる。
【図面の簡単な説明】
【図１】本発明による、一連の画像フレームの中から一つ以上の画像フレームを特定する方法を示す概略ブロック図である。
【図２】作成された印刷フレームの大雑把な種類を例示する図である。
【図３Ａ】本発明の好適実施例を示す機能ブロック図である。
【図３Ｂ】引き出されたデータを示す図である。
【図４】極大値が分離した二つの場合について図1の実施例のサブステップを詳しく示す機能ブロック図である。
【図５】静止ベースフレームについて図1の実施例の交互サブステップを詳しく図示する機能ブロック図である。
【図６】本発明の推奨実施例を実行することができる汎用コンピュータの概略ブロック図である。
【図７】考慮する画像領域を限定するための境界フレームの利用を描く図である。

Claims

印刷あるいは格納あるいはフラグ付けのために、複数の画像フレームから構成される一連の画像フレームの中から画像フレームを選択するための方法であって、
a) 一連の画像フレーム中の各画像フレームについて勾配値を計算し、前記一連の画像フレーム中の各画像フレームの勾配値から、前記一連の画像フレームに対応する一連の勾配値を生成するステップと、
b) 前記一連の勾配値において勾配値が極大となる位置を検出するため、前記一連の勾配値を平滑化し、一連の平滑データを発生させるステップと、
c) 前記一連の平滑データの中で、勾配値が極大となる局所的極大値の位置を決定するステップと、
d) 前記局所的極大値の位置に基づいて、前記局所的極大値の位置に対応する範囲の一連の勾配値の中から勾配値ピークを決定するステップと、
e) 前記一連の画像フレームのうち前記勾配値ピークとして決定された位置に対応する画像フレームを選択するステップと
を含むことを特徴とする方法。
前記ステップ(d)で決定された勾配値ピークは前記局所的極大値の位置の近傍であることを特徴とする請求項１に記載の方法。
前記ステップ(d)では、前記一連の勾配値のうち前記局所的極大値の位置の近傍にある一連の勾配値の中で勾配値が極大となる位置を、当該局所的極大値の位置に対応する勾配値ピークとして決定することを特徴とする請求項２に記載の方法。
前記ステップ(d)は、
f) 勾配値閾値を画定するサブステップと、
g) ステップ(c)で決定した複数の局所的極大値の位置のうちの少なくとも１つについて、前記局所的極大値の位置の近傍にある一連の勾配値の中で勾配値が極大となるピークの勾配値が前記勾配閾値を越える場合は、前記複数の局所的極大値の位置に対応するピークのうち勾配値が最大となる１つのピークを前記複数の局所的極大値の位置の勾配値ピークとして決定するサブステップとを含むことを特徴とする請求項３に記載の方法。
ステップ(d)が、
h) 前記ステップ(c)で決定した複数の局所的極大値の位置が前記一連の平滑データの中で互いに離れている場合、隣接する局所的極大値の位置の間から位置を選択するサブステップと、
i) 前記一連の勾配値のうちの前記サブステップ（h）で選択された位置の近傍の一連の勾配値の中で勾配値が極大となる位置を勾配値ピークとして決定するサブステップとを含むことを特徴とする請求項１ないし４のいずれか１項に記載の方法。
前記ステップ(i)が、
j) 勾配値閾値を決定するサブステップと、
k) 前記ステップ(h)で選択された複数の位置のうちの少なくとも１つについて、選択された位置の近傍の一連の勾配値の中で勾配値が極大となるピークの勾配値が、前記サブステップ（j）で決定した勾配閾値を越える場合は、前記複数の位置に対応するピークのうち勾配値が最大となる１つのピークを前記複数の位置の勾配値ピークとして決定するサブステップとを含むことを特徴とする請求項５に記載の方法。
前記選択されたポイントは所定の時間間隔に基づいて選択されることを特徴とする請求項５または６に記載の方法。
前記選択されたポイントは、前記隣接する極大値間の前記一連の平滑データの変化率に基づいて選択されることを特徴とする請求項５または６に記載の方法。
l) 前記選択された画像フレームを印刷、または、表示、または、格納するステップと、
m) 前記選択された画像フレームと関連するフレームリストを印刷し、表示しあるいは格納するステップの少なくともいずれかを更に含むことを特徴とする請求項１乃至８のいずれか１項に記載の方法。
前記勾配値は、画像フレームの水平方向と垂直方向に対する各画素の各色成分の濃度勾配の大きさの合計を示す値であることを特徴とする請求項１ないし９のいずれか１項に記載の方法。
印刷あるいは格納あるいはフラグ付けのために、複数の画像フレームから構成される一連の画像フレームの中から画像フレームを選択する装置であって、
一連の画像フレーム中の各画像フレームについて勾配値を計算し、前記一連の画像フレーム中の各画像フレームの勾配値から、前記一連の画像フレームに対応する一連の勾配値を生成する勾配値計算手段と、
前記一連の勾配値において勾配値が極大となる位置を検出するため、前記一連の勾配値を平滑化し、一連の平滑データを発生させるデータ平滑化手段と、
前記一連の平滑データの中で、勾配値が極大となる局所的極大値の位置を決定する特定手段と、
前記局所的極大値の位置に基づいて、前記局所的極大値の位置に対応する範囲の一連の勾配値の中から勾配値ピークを決定する勾配ピーク決定手段と、
前記一連の画像フレームのうち前記勾配値ピークとして決定された位置に対応する画像フレームを選択する画像フレーム選択手段と
を備えることを特徴とする装置。
印刷あるいは格納あるいはフラグ付けのために、複数の画像フレームから構成される一連の画像フレームの中から画像フレームを選択する方法をコンピュータにより実行させるためのコンピュータ・プログラムを記録したコンピュータ可読記録媒体であって、
一連の画像フレーム中の各画像フレームについて勾配値を計算し、前記一連の画像フレーム中の各画像フレームの勾配値から、前記一連の画像フレームに対応する一連の勾配値を生成する勾配値計算処理ステップと、
前記一連の勾配値において勾配値が極大となる位置を検出するため、前記一連の勾配値を平滑化し、一連の平滑データを発生させるデータ平滑化処理ステップと、
前記一連の平滑データの中で、勾配値が極大となる局所的極大値の位置を決定する特定処理ステップと、
前記局所的極大値の位置に基づいて、前記局所的極大値の位置に対応する範囲の一連の勾配値の中から勾配値ピークを決定する勾配ピーク決定処理ステップと、
前記一連の画像フレームのうち前記勾配値ピークとして決定された位置に対応する画像フレームを選択する画像フレーム選択処理ステップと
をコンピュータに実行させるためのコンピュータ・プログラムを記録したコンピュータ可読記録媒体。