JP3926497B2

JP3926497B2 - インデックス画像表示装置

Info

Publication number: JP3926497B2
Application number: JP00589699A
Authority: JP
Inventors: 通広大野; 宏之赤木
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-01-13
Filing date: 1999-01-13
Publication date: 2007-06-06
Anticipated expiration: 2019-01-13
Also published as: JP2000209531A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオテープやハードディスク等の記録媒体に記録された動画像や通信で配信される動画像の内容を把握するために、動画像の各ショットを代表するフレームを選択し、インデックス画像として表示するインデックス画像表示装置に関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピュータのＣＰＵの高速化やハードディスクの大容量化に伴い、大量の静止画像や長時間の動画像をデジタルデータとして扱うことが可能となった。
【０００３】
ビデオキャプチャボードを介して、ハードディスクにデジタル信号として記録された動画中の、所望のシーンを容易に検索する方法として、各シーンを代表するフレーム画像をインデックス画像として選び出し、モニタ画面上に一覧表示するものがある。マウス等の選択手段によって、このインデックス画像を選択することで所望のシーンを再生したり、並び順を入れ換えることでシーン単位の編集を行えるシステムが提案されている。
【０００４】
また、ビデオテープにアナログ信号として記録された動画の内容を把握するためにも、インデックス画像の一覧表示は有効である。インデックス画像の一覧をプリンタで紙上に出力し、ビデオテープと共に保存しておけば、再生の手間なしに録画されている内容を知ることができる。
【０００５】
一般的に、動画像は、ショットと呼ばれる同一の場面が撮影されている連続フレーム列を基本単位とし、連続した複数のショットで構成されている。また、あるショットから次のショットへ切り変わるところをカットと呼ぶ。そこで、動画像のカットを自動的に検出してショット単位に分割し、各ショットの内容を代表するインデックス画像を並べて一覧表示すれば、全体の概略を一見して把握できる。
【０００６】
カットの自動検出に関しては、多くの手法が提案されているが、そのおおよそはフレーム間で輝度値や色情報等の画像の特徴に関して相関をとり、相関が低くなる時点でショットが切り替わったと判断し、各ショットのインデックス画像を、カット直後のフレームとする方法やカットから一定時間後のフレームとする方法等がある。
【０００７】
【発明が解決しようとする課題】
しかしながら、このような方法によって選ばれたインデックス画像は、必ずしもショットの内容を把握するのに適切であるとは限らない。例えば、インデックス画像をショットの先頭フレーム画像とする場合を考えると、ショットの切り変わり時にフェードイン効果が付加されている場合には、真っ白な画像から徐々に内容が明らかになるが、このときはカット直後の真っ白な画像がインデックス画像として選択されてしまう。この問題の回避策として、カット検出後の連続するフレーム間の相関が定常状態になったときのフレームをインデックス画像とする方法が考えられるが、この方法で選択されるのは実質的なショットの先頭フレームであり、何らかの撮影対象物体が映っていることが期待できる。
【０００８】
ところが、この場合にも以下の問題が生じることがある。ニュース映像を例にとると、各項目の先頭フレームはスタジオにアナウンサーのみが映っているという状況が多い。そして、しばらく後にニュースの内容を示すテロップが挿入されたり、背景の一部分に取材映像の１コマが表示されたりする。この例では、先頭フレームではなくテロップや取材映像が表示されているフレームをインデックス画像として選択した方が明らかに良い。
【０００９】
また、家庭用ビデオで撮影された映像にはしばしば以下のような問題が生じる。家庭で撮影されたビデオには撮影停止のし忘れにより、撮影対象がなくフォーカスが合っていないショットがあったり、物体の一部分のみが拡大され画面全体が真っ白であったり、真っ黒であったりする。この例のようみに有益な情報のないショットに関しては、むしろインデックス画像を表示しない方がよい。
【００１０】
また、動画像のショット数が多い場合には、インデックス画像の枚数も多くなり、一覧表示しても内容を把握するのに手間取ることになる。長時間の動画像はもちろんのこと、比較的短時間の動画像でもショット数が多くなる場合がある。その原因としては、視覚効果を狙って短いショットが連続して撮影されたり、カメラの急激なブレにより時間の短い無意味なショットが挿入されてしまうこと等による。したがって、以上のような時間の短いショットのインデックス画像を表示しないようにすれば、内容全体を把握する目的に必要なインデックス画像は表示することができ、効果的にインデックス画像の数を減らすことができる。
【００１１】
また、インデックス画像の選択に関して、あらかじめ注目している対象物が分かっている場合には、特開平６−２５３２５５号公報に記載の手法を用いることができる。すなわち、ユーザーが着目する対象物を指定することによって、順次入力されるフレーム中から対象物に固有の特徴を探索し、その特徴が存在するフレームをインデックス画像として表示すればよいものである。ところが、この手法は、対象物を知っている場合には、有効だが、そのような予備知識が無い状況においては、このような手法を用いることはできない。
【００１２】
本発明の目的は、上記問題点に鑑み、有益と推定されるインデックス画像を表示するようにしたインデックス画像表示装置を提供することにある。
【００１３】
【課題を解決するための手段】
請求項１記載のインデックス画像表示装置は、順次入力された画像の各ショットを代表するフレームをインデックス画像として表示するインデックス画像表示装置であって、各ショットの継続時間長を測定するショット時間長測定手段と、各ショットのフレームごとに、高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つを測定するフレーム情報量測定手段と、上記ショット時間長測定手段によって測定された上記継続時間長及び上記フレーム情報量測定手段によって測定された上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つに基づいて各ショットを代表するフレームを選択してインデックス画像として表示する表示制御手段と、を有することを特徴とする。
【００１４】
請求項２記載のインデックス画像表示装置は、請求項１記載のインデックス画像表示装置において、上記表示制御手段は、上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つが最大となるフレームを選択することを特徴とする。
【００１５】
請求項３記載のインデックス画像表示装置は、請求項１記載のインデックス画像表示装置において、上記表示制御手段は、上記継続時間長及び上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つが所定の閾値を越えたショットのフレームを選択することを特徴とする。
【００１６】
請求項４記載のインデックス画像表示装置は、請求項１記載のインデックス画像表示装置において、上記表示制御手段は、選択されたインデックス画像を上記継続時間長の短い順に削除することを特徴とする。
【００１７】
請求項５記載のインデックス画像表示装置は、請求項１記載のインデックス画像表示装置において、上記表示制御手段は、選択されたインデックス画像を上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つの少ない順に削除することを特徴とする。
本発明の画像表示装置は、順次入力された画像の各ショットを代表するフレームをインデックス画像として表示するインデックス画像表示装置であって、各ショットのフレームごとに、高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つを測定するフレーム情報量測定手段と、上記フレーム情報量測定手段によって測定された上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つに基づいて各ショットを代表するフレームを選択してインデックス画像として表示する表示制御手段と、を有することを特徴としている。
【００１８】
【発明の実施の形態】
以下図面を参照して本実施の形態を説明する。図１に、本実施の形態に係るインデックス画像表示装置の構成を示すブロック図を示す。破線枠内が本発明のインデックス画像表示処理の特徴部であり、この構成は、動画像入力部１、フレームメモリ２、カット検出部３、ショット時間長測定部４、フレーム情報量測定部５、インデックスフレーム選択部６、フレームメモリ７、表示制御部８、画像処理部９、表示用画像メモリ１０、画像表示部１１で構成される。
【００１９】
本実施の形態の処理の流れを図２と図３のフローチャートに示す。本装置での処理は動画像入力中に行われるオンライン処理の部分と、動画像が全て入力された後に行われるオフライン処理の部分に大別できる。図２のフローチャートはオンライン処理に相当し、図３のフローチャートはオフライン処理に相当する。まずオンライン処理について詳細に説明する。
【００２０】
図１の動画像入力部１には、フレーム画像が時間順次に入力され、図１に示すようにビデオカメラで撮影されたＮＴＳＣ信号をＡ／Ｄ変換器を通して得られるデジタル動画データ、デジタルビデオやハードディスク等の記録媒体に記録されたデジタル動画データ、あるいは通信回線を介して得られるデジタル動画データが入力される。入力された動画像データは１フレーム毎にフレームメモリ２に転送される。その際にフレームメモリ容量削減と以降の処理の軽減のため、フレーム画像の大きさを縮小処理して転送してもよい。また、処理速度を考慮して全てのフレームを転送せずに、１枚おき、あるいは２枚おきというふうに間引いて転送してもよい。フレームメモリ２は、２フレーム分の容量を持っていて、常に現時刻のフレームと１時刻前（前回のサンプリング時）のフレームが記憶されている。
【００２１】
カット検出部３はフレームメモリ２に記憶されている２枚の画像を読みだし、相関量を計算することによってカットを検出する。カット検出に関しては、多くの方法が提案されているが、例えば、特許第２６９５４１５号や特公平６−９１４６７号のような手法が使える。例えば、以下の手法が用いられる。２枚のフレーム画像データの各画素につき、ＲＧＢの各値に関して差分を求める。次にＲＧＢ３プレーンの差分値の平均値を全画素分積算する。積算値が所定の閾値を越えている場合には、カットがあったと判定する。この方法は高速に処理が行えるという利点があるが、カメラがゆるやかにパンしているシーン等でも、場面の切り変わりがあったと判定されてしまうことがある。その他の方法としては、動きベクトルを計算しカメラの平行移動を検出する方法や、画像をブロック分割し、各ブロック内の色の割合の相関を見る方法等を用いてもよい。
【００２２】
カット検出部３がカットを検出すると、ショット時間長測定部４と情報量測定部５では、次のカットが検出されるまでに以下に述べる処理を行う。
【００２３】
ショット時間長測定部４では、カット検出の時刻を記憶し、検出されたカットと次のカットが検出されるまでの時間の長さ（継続時間長）を測定する。後の説明の都合上、ショット時間長測定部４で測定された時間をＴとする。
【００２４】
フレーム情報量測定部５では、フレーム画像データが入力される毎にその情報量を測定する。フレームが持つ情報量を測定する基準としては、高周波成分の量や、同色領域の数、独立して移動する物体の数等を用いることができるが、本実施の形態では、エッジ成分量を用いた場合について説明する。エッジ成分量の測定に関しては、テレビジョン学会編「画像工学」、コロナ社刊に記載されている。エッジ成分量の測定は具体的には以下の様にして行う。入力画像の各画素につき、隣の画素との輝度成分の差分値を求める。すなわち、ｉ番目の画素の輝度値をＩｉとすると、ｉ＋１番目の画素との差分値ｄｉは、下式のようになる。
【００２５】
【数１】

【００２６】
入力画像の輝度成分が２５６階調に量子化されていて、最大値が２５５であるとすると、ｄｉは−２５５から＋２５５の間の値をとる。全画素についてｄｉを求めれば、ｄｉの値に対する画素数の分布を求めることができる。エッジ成分の多い画像と少ない画像に対する分布図は、およそ図４のようになる。グラフの横軸はｄｉで、縦軸は全画素数に占める割合である。図４の破線のグラフがエッジ成分の多い画像で、実線のグラフがエッジ成分の少ない画像である。エッジ成分の多い画像と少ない画像との分布の差は、画素数の分散傾向に現れる。すなわち、エッジ成分の多い画像は、０ピークが小さく分散傾向が強い。逆に、エッジ成分の少ない画像は０ピークが大きく分散傾向が弱い。一般的に、撮影対象が風景等の自然画像であれば、隣合う画素との輝度値の相関が高いため、差分値が０周辺の画素数が多くなり、分布図は０をピークとする山形になる。以上から、ｄｉの分散で画像のエッジ成分量を評価することができる。画素数Ｎ、ｄｉの平均値をρとすると分散Ｅは、下式のようになる。このＥの値をエッジ成分量の測定値とする。
【００２７】
【数２】

【００２８】
フレーム情報量測定部５は、フレーム画像が入力される毎に輝度値の画素間差分の分散Ｅを測定する。インデックスフレーム選択部６は、フレーム情報量測定部５が出力する測定値の最大値を記憶していて、あらたな測定値が入力される毎に最大値との比較を行い、最大値より大きい値が検出された場合はその値を最大値として更新する。動画像入力前の最大値の初期値は０としておく。最大値を更新すると同時に、最大値が検出されたフレーム画像データを、フレームメモリ２からフレームメモリ７へ転送する。したがって、フレームメモリ７には常にエッジ成分量が最大となるフレーム画像が記憶されることになる。
【００２９】
表示制御部８は、カット検出部３で検出されたショットのインデックス画像を表示するか否かを決定する。表示制御部８は、ショット時間長測定部４の出力Ｔと、フレーム情報量測定部５の出力Ｅが、それぞれ以下に述べる２つの条件を共に満たす場合に、フレームメモリ７に記録されている画像をインデックス画像として表示すると判断する。第１の表示条件は、ショット時間長測定部４で計測されたショットの継続時間長Ｔがあらかじめ設定された閾値α１を越えていることであり、第２の表示条件は、フレーム情報量測定部５で計算された分散Ｅがあらかじめ設定された閾値β１を越えていることである。また、表示制御部８がショット時間長測定部４とフレーム情報量測定部５から入力を受けるタイミングは、カット検出部３が次のカットを検出したときとする。したがって、インデックス画像が表示されるタイミングも次のカットが検出されたときである。
【００３０】
画像処理部９では、表示制御部８で表示すると判断されたフレームメモリ７の画像に対して画像処理を行い、インデックス画像を作成し、表示用画像メモリ１０に転送する。表示用画像メモリ１０は全てのインデックス画像を記録するのに十分な容量を持っているものである。画像処理部９で行われる画像処理は、あらかじめ設定された大きさへの縮小変換である。その設定された大きさとは、画像表示部１１の表示画面上において、各インデックス画像の内容が理解でき、かつ動画全体の内容を理解するために十分な数のインデックス画像が一覧表示できる大きさである。また、入力時にフレーム縮小処理がなされている場合には、縮小変換をなくすこともできる。その他の画像処理として、エッジ強調等の画質の鮮明化処理を加えてもよい。
【００３１】
画像表示部１１は、画像表示用メモリ１０内のインデックス画像を１枚ずつ読みだし、表示画面上のあらかじめ設定された位置に時間順に表示する。ショット数が多いために全てのインデックス画像を一画面で表示できない場合には、複数の画面を切替えて表示してもよい。なお、これらの表示内容を、図１の印刷装置に出力してもよい。
【００３２】
以上のオンライン処理の流れを図２を参照して説明する。まず動画像入力部１によってフレーム画像が読み込まれる（Ａ１）。次にカット検出部３によってカットの判定がなされる（Ａ２）。カットが検出されるまで、ショット時間長計測部４によって継続時間長Ｔが測定され、フレーム情報量測定部５によって分散Ｅが測定され、インデックスフレーム選択部６によってインデックスフレームの更新がされ続ける（Ａ３）。
【００３３】
カットが検出された場合には、表示制御部８によってまず継続時間長Ｔと閾値α１の比較がなされ（Ａ４）、Ｔがα１以下の場合はインデックス画像は表示されずに次のフレームが読み込まれる。Ｔがα１より大きい場合は、表示制御部８によって分散Ｅと閾値β１の比較がなされ（Ａ５）、Ｅがβ１以下の場合はインデックス画像は表示されずに次のフレームが読み込まれる。
【００３４】
Ｅがβ１より大きい場合は、画像処理部９によってインデックス画像が作成される（Ａ６）。そのインデックス画像は、画像表示部１１の表示画面に追加表示される（Ａ７）。最後に最終フレームまで入力されたかどうかの判定がなされ（Ａ８）、最終フレームまで到達していない場合には次のフレームが読み込まれ、以上の処理が繰り返される。入力が終了した場合には、後述するオフライン処理が実行される。
【００３５】
図５を用いて、検出されたショットからインデックス一覧画面が表示される過程を説明する。図５（ａ）は、入力された動画像である。検出されたショットは１番から順に通し番号が付けられている。横軸は経過時間を示し、各ショットの幅は継続時間長Ｔに対応しているものとする。前述の条件を満たしたショットのインデックス画像が、図５（ｂ）に示されるように、画面に表示される。図５（ｂ）では、ショット６とショット７の切り変わりまでが検出されていて、ショット６のインデックス画像までが一覧画面に表示されているものとする。図５（ｂ）の黒塗の長方形は、まだインデックス画像が表示されていないことを示している。ここでは、ショット２の継続時間長Ｔが閾値α１以下であるために、インデックス画像は表示されない。また、ショット４に関しては継続時間長Ｔはα１を越えているが、インデックス画像の分散Ｅが閾値β１以下であるため、インデックス画像は表示されない。以上が本発明のオンライン処理に関する説明である。
【００３６】
以上説明したように、本発明ではインデックス画像を選択する尺度として、画像の情報の変化量とショットの継続時間長を用いた。従って、ニュース映像の場合、アナウンサーが写っている画像にテロップや映像が挿入されているフレームは、アナウンサーのみが写っているフレームと比較して、何らかの幾何学的構造を持つ対象物体や文字が多くなっているため、そのフレームの持つエッジ成分が多くなり、本発明では、ニュース情報として有益なフレームを選択してインデックス画像にすることができる。
【００３７】
また、ビデオ撮影した画像も、撮影当初は、フォーカスの合っていないフレームのため、エッジ成分が比較的少ないが、その後フォーカスが合った画像はエッジ成分が多いため、本発明では、フォーカスの合った鮮明なフレームを選択してインデックス画像にすることができる。
【００３８】
さて、ショット数が非常に多い場合には一覧表示画面の枚数も多くなり、内容を把握するのに労力を要することになる。そこで、動画像が最後まで入力された後、表示されたインデックス画像の数が動画全体の時間長に応じてあらかじめ設定された閾値を越える場合には、その閾値までインデックス画像の数を減らす処理であるオフライン処理を本装置で行う。具体的には、表示制御部８は検出された全てのショットの継続時間長Ｔを記憶しているものとし、そのオフライン処理を図３と図５を用いて説明する。なお、図２のフローチャートは、図３につながっている。
【００３９】
インデックス画像の数Ｎ_Iがあらかじめ設定された閾値γ１以下の場合は、各ショットの継続時間長Ｔ_Aの値に関係なくインデックスの削除は行わず処理は終了する（Ｂ１）。Ｎ_Iがγ１を越える場合には、Ｔ_Aとθ１を比較し（Ｂ２）、Ｔ_Aがθ１より小さいときはＮ_Iが閾値γ１になるようにインデックス画像を削除する（Ｂ３）。
【００４０】
Ｔ_Aがθ１以上の場合は、Ｎ_Iとγ２（＞γ１）とを比較し（Ｂ４）、Ｎ_Iがγ２以下の場合は処理を終了する。ＮＩがγ２を越える場合には、Ｔ_Aとθ２（＞θ１）を比較し（Ｂ５）、Ｔ_Aがθ２より小さいときはＮ_Iが閾値γ２になるようにインデックス画像を削除する（Ｂ６）。
【００４１】
以下同様にｎ番目の閾値、γｎとθｎの値が設定されているものとし、処理を繰り返す。Ｎ_Iとγｎ（＞γｎ−１）とを比較し（Ｂ７）、Ｎ_Iがγｎ以下の場合は処理を終了する。Ｎ_Iがγｎを越える場合には、Ｔ_Aとθｎ（＞θｎ−１）を比較し（Ｂ８）、Ｔ_Aがθｎより小さいときはＮ_Iが閾値γｎになるようにインデックス画像を削除する（Ｂ９）。
【００４２】
以上説明したインデックス画像の削除処理は表示制御部８で行われる。表示制御部８は、該当するショットの継続時間長が短いものから順番に、閾値を越える数のインデックス画像を削除する処理を行う。他の実施の形態として、削除するインデックス画像の基準にフレーム情報量測定部５で求めたフレームの情報の変化量を用いて同様に処理しても良く、その場合は、フレームの情報の変化量が少ない順に、インデックス画像は表示用画像メモリ１０より削除され、画像表示部１１は、あらためて表示用画像メモリ１０より読み出すことによって、インデックス数を減らした一覧画面を再表示する。以上で本発明のオフライン処理は終了する。
【００４３】
図５（ｃ）は、動画像の入力が終了した後、オフライン処理が行われ、一画面内に収まるように再表示されたインデックス画像の一覧画面を示している。図５（ｂ）の一覧画面と比較すると、インデックス数が多いために継続時間長の短いショット３が削除されている。なお、これらの表示内容を、図１の印刷装置に出力してもよい。
【００４４】
以上説明した実施の形態での処理は、プログラムにより実行されるが、このプログラムの全部または一部を、直接あるいは通信回線を介してフロッピーディスクやハードディスク等のコンピュータ読取可能な記録媒体に予め格納しておき、必要に応じてインストールして用いてもよい。
【００４５】
【発明の効果】
請求項１記載の発明および請求項６記載の発明によれば、各ショットから情報量が多く有益と推定されるインデックス画像を選択して表示できる。請求項２記載の発明によれば、ショット内で最も輝度値の変化量が多いフレームをインデックス画像として選択することができる。請求項３記載の発明によれば、より有益と推定されるインデックス画像を選択して表示できる。
【００４６】
請求項４または請求項５記載の発明によれば、いったん選択されたインデックス画像から、継続時間長の短いショットのインデックス画像または情報量の変化の少ないインデックス画像を表示しないようにするため、表示されるインデックス画像の数が必要以上に多くならないようにできる。
【図面の簡単な説明】
【図１】本実施の形態に係るブロック構成図である。
【図２】オンライン処理でのフローチャートである。
【図３】オフライン処理部のフローチャートである。
【図４】画素間差分値の分布図である。
【図５】インデックス画像を一覧表示の動作を説明する図である。
【符号の説明】
４ショット時間長測定部
５フレーム情報量測定部
８表示制御部

Claims

順次入力された画像の各ショットを代表するフレームをインデックス画像として表示するインデックス画像表示装置であって、
各ショットの継続時間長を測定するショット時間長測定手段と、
各ショットのフレームごとに、高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つを測定するフレーム情報量測定手段と、
上記ショット時間長測定手段によって測定された上記継続時間長及び上記フレーム情報量測定手段によって測定された上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つに基づいて各ショットを代表するフレームを選択してインデックス画像として表示する表示制御手段と、を有することを特徴とするインデックス画像表示装置。
上記表示制御手段は、上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つが最大となるフレームを選択することを特徴とする請求項１記載のインデックス画像表示装置。
上記表示制御手段は、上記継続時間長及び上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つが所定の閾値を越えたショットのフレームを選択することを特徴とする請求項１記載のインデックス画像表示装置。
上記表示制御手段は、選択されたインデックス画像を上記継続時間長の短い順に削除することを特徴とする請求項１記載のインデックス画像表示装置。
上記表示制御手段は、選択されたインデックス画像を上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つの少ない順に削除することを特徴とする請求項１記載のインデックス画像表示装置。
順次入力された画像の各ショットを代表するフレームをインデックス画像として表示するインデックス画像表示装置であって、
各ショットのフレームごとに、高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つを測定するフレーム情報量測定手段と、
上記フレーム情報量測定手段によって測定された上記高周波成分の量、同色領域の数、独立して移動する物体の数、およびエッジ成分の分散のいずれか１つに基づいて各ショットを代表するフレームを選択してインデックス画像として表示する表示制御手段と、を有することを特徴とするインデックス画像表示装置。