JP3936666B2 - 動画像中の代表画像抽出装置，動画像中の代表画像抽出方法，動画像中の代表画像抽出プログラムおよび動画像中の代表画像抽出プログラムの記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は，複数の静止画像の時系列データとして構成される動画像データの中から，複数枚の静止画像を動画像データの代表画像として抽出する技術に関するものである。
【０００２】
【従来の技術】
近年の動画像のディジタル化技術の進歩により，パーソナルコンピュータ等の情報処理装置で，ディジタル形式として動画像を扱うことが容易になってきている。ディジタル形式で動画像を扱うことができるようになることで，動画像中の任意の時刻を指定して，指定した時刻のシーンを瞬時に参照し，頭だし再生等の操作を行い，動画像内容を視聴することが可能となっている。この機能により，従来のテープ媒体等に録画されたアナログ形式の動画像を取り扱う場合に比べ，見たいシーンを探す際の作業効率が向上している。
【０００３】
ただし，動画像データは静止画像の時系列データであることから，動画像内容全体の閲覧性がよいとはいえず，たとえ，ディジタル形式であったとしても，指定した時刻からの頭だし再生は瞬時に行えるが，実際に見たいシーンを探す際には，動画像中の適当な時刻を指定し，指定した時刻からの動画像の頭だし再生を行い，再生表示される内容を目視で確認する作業を繰り返し行い，再生表示内容が実際に見たいシーンなのかどうか判断する，という過程を踏んで行う必要がある。この作業は時間がかかるものであり，作業効率がよくないという問題点がある。
【０００４】
この問題を解決するために，近年，動画像データの中の１枚あるいは複数枚の静止画像を動画像中のシーン内容を一括参照するための代表画像として利用する方式がとられるようになっている。具体的には，図６に示すように，動画像データ中の複数枚の静止画像，および対応する動画像中の時刻情報のペアを表形式に一覧表示しておき，動画像データの内容を一括参照できる状態にしておくものである。
【０００５】
図６は，代表画像による動画像内容の一括参照インタフェースの一例を示したものである。図６の例では，全体の長さが１０分の動画像から，「０分０秒」，「１分３０秒」，「２分５０秒」，「４分５秒」，「７分１０秒」，「８分３０秒」，「９分１０秒」の７つの時刻における静止画像を代表画像として並べて表示している。代表画像の一覧により，全体では１０分間の動画像の内容を，７枚の静止画像を閲覧するだけで容易に把握することが可能となる。
【０００６】
このように代表画像の一覧表示を利用することで，動画像中の複数のシーン情報を短い時間で容易に把握することができ，さらには，一覧表示された複数枚の代表画像の中から選択した代表画像に対応する時刻を，動画像を再生する際の開始時刻の情報として利用することで，所望のシーンを探し出す作業も効率的に行うことが可能となる。
【０００７】
すなわち，動画像中の所望のシーンを探し出す際に，代表画像の一覧表示を目視で確認することで，動画像を任意の時刻から複数回再生させることなく動画像中の複数シーンの内容が把握でき，さらに，一覧表示の中から所望のシーン内容を示す代表画像を探し出し，代表画像を選択する操作を１回行うだけで所望のシーンの再生を行うことができるため，代表画像の一覧表示を利用しない場合に比べて，効率的に所望のシーンの頭だし再生を行えるというものである。
【０００８】
この方式は，近年，大量の動画像データをディジタル化し，ディジタル動画像アーカイブとして動画像データを管理するような用途において，動画像のシーン検索や指定したシーンからの頭だし再生を行う際に適用されている。
【０００９】
動画像データを効率的に扱うために利用される動画像中の代表画像を作成する方式は，近年多く提案されている。
【００１０】
特許文献１（谷口他，「映像カット点検出方法及び装置」，特許第２８３９１３２号公報）に記載される方式は，動画像中の各フレーム画像から画像特徴量，および画像特徴量の時間的な変化量を計算し，時間変化量があらかじめ指定される閾値を超える時刻に対応するフレーム画像を代表画像として設定する方式である。特徴量として画像中の色情報を用いる場合には，動画像中の色合いが時間的に急激に変化するようなシーンの切り替わりの部分を検知することができ，動画像中のシーン内容の遷移を反映した代表画像を自動的に抽出することができる。これを第一の従来技術とする。
【００１１】
また，第一の従来技術の応用として，特許文献２（長坂他，「映像のダイジェスト作成装置及び方法」，特開平０８−２９４０８３号公報）に記載される方式のように，第一の従来技術を利用して動画像から抽出された複数枚の代表画像のうち，時間的に近傍に存在し，かつ，画像特徴量が類似する代表画像同士を類似シーンとみなし，これらを統合することで，最終的に抽出される代表画像の枚数を制御する方法が考えられる。これを第二の従来技術とする。
【００１２】
さらには，代表画像の枚数を制御する他の方法として，動画像中から代表画像を抽出する際に，あらかじめ抽出したい代表画像の枚数を設定しておき，設定された枚数に合わせて一定時間おきに動画像中からフレーム画像を取得し，代表画像として抽出する方式も存在する。この方式では，前記の第一の従来技術，第二の従来技術とは異なり，シーンの内容の遷移を反映した代表画像は得られないが，動画像の時間の長さやシーンの数によらず，あらかじめ設定した枚数の代表画像を抽出することができる。これを第三の従来技術とする。
【００１３】
【特許文献１】
特許第２８３９１３２号公報
【特許文献２】
特開平０８−２９４０８３号公報
【００１４】
【発明が解決しようとする課題】
しかしながら，上記の第一の従来技術，第二の従来技術，および第三の従来技術を用いて抽出される動画像中の代表画像では，動画像中のシーンの一括参照やシーンの検索に利用する際に，不都合が生じる場合がある。
【００１５】
第一の従来技術においては，動画像中から自動的に代表画像を抽出することができるが，最終的に抽出される代表画像の枚数に関する基準，制限は設けられておらず，画像特徴量の時間変化量の値，およびあらかじめ設定する閾値に応じて変化し，場合によっては，１本の動画像データから数百枚，数千枚といった代表画像が抽出される場合がある。
【００１６】
このように代表画像の枚数が多くなった場合，代表画像を一覧表示させても，一覧表示の内容を把握する際に目視で確認する範囲が広くなり，動画像内容の一括参照の作業や，あるいは，所望のシーンの代表画像を探す作業に時間がかかってしまうという問題点がある。
【００１７】
例えば，１本の動画像を対象に第一の従来技術を用いて５００枚の代表画像を抽出するものとし，また，パーソナルコンピュータの画面上の画像一覧用のウィンドウ内には，同時に２０枚の代表画像しか表示されないものとする。このような場合には，動画像中のシーン情報を一括して把握する際に，パーソナルコンピュータ上のウィンドウ内では一度に２０枚の代表画像しか確認できないため，ウィンドウの代表画像一覧表示を２５回更新したり，図７に示すようにスクロールバーのようなユーザインタフェースを利用するなど，複雑な操作を駆使する必要がある。
【００１８】
図７は，代表画像の枚数が膨大になった場合の代表画像の一覧インタフェースの一例を示している。図７の例は，１画面で２０枚の代表画像を表示するウィンドウ画面の例であり，２０枚以上の代表画像を閲覧するためにはスクロールバーを上下に操作する必要がある。見たいシーンを探すのに時間がかかってしまい，閲覧者にストレスを与えてしまう。
【００１９】
このように代表画像の枚数が多い場合には，すべての代表画像を一度に参照することができないため，動画像中の時間的に大きな隔たりがあるような複数のシーン情報を同時に一括参照するような作業を行うことは困難であるということになる。
【００２０】
もちろん，動画像中のすべてのシーンを代表画像で確認する必要があるような映像制作会社での動画像編集作業等での利用用途では，第一の従来技術を利用して，枚数によらずすべての代表画像の表示ができている必要がある場合もある。しかしながら，映像編集等の専門的な使い方ではなく，一般家庭等で撮影したホームビデオの内容をパーソナルコンピュータ上で確認したりするように，簡単な操作で動画像全体の内容を短時間で把握したいような用途においては，代表画像の一覧表示用のユーザインタフェースも，利用者にとって極力使いやすいものである必要がある。
【００２１】
例えば，前述した代表画像の一覧表示をスクロールバー等を利用して更新しないとすべての代表画像が閲覧できないようなユーザインタフェースでは使い勝手が悪く，利用するユーザもストレスがたまることになる。
【００２２】
このように，第一の従来技術では，動画像中から抽出される代表画像の枚数が多くなり，代表画像一覧用のユーザインタフェースの操作が複雑になったり，動画像全体の把握に時間がかかってしまい，利用者にストレスを与えてしまう場合があるという問題点がある。
【００２３】
また，第二の従来技術を用いると，第一の従来技術で問題となる代表画像の枚数の増加を抑制することができるが，複数の代表画像を１枚に絞り込む基準として色等の画像特徴量を利用する場合，図８に示すように，最終的に抽出される代表画像において，時間的に隣接する代表画像の時刻に大きな間隔が空いてしまう場合がある。
【００２４】
図８は，第二の従来技術の問題点を説明する図である。図８（ａ）は，複数の代表画像の統合前を示しており，図８（ｂ）は，複数の代表画像の統合後を示している。図８（ａ）の時刻Ｔ２，Ｔ３，Ｔ４に対応する３枚の代表画像が，色情報が類似することにより統合されて，図８（ｂ）における時刻Ｔ２’に対応する代表画像となり，図８（ａ）の時刻Ｔ５，Ｔ６，Ｔ７に対応する３枚の代表画像が，色情報が類似することにより統合されて，図８（ｂ）における時刻Ｔ５’に対応する代表画像となっている。図８（ｂ）では，時刻Ｔ２’と時刻Ｔ５’の間のシーンの情報が失われてしまい，動画像内容を把握するための情報としては不十分である。
【００２５】
以上のように，第二の従来技術では，大きく間隔が空いた時間帯の情報が失われた形で代表画像が抽出されるため，動画像内容を参照するための情報としては不十分なものとなってしまうという問題点がある。動画像の内容を代表画像の一括参照により十分に理解できるようにするためには，参照に用いられる代表画像は，なるべく時間的な偏りのないフレーム画像が選択されるべきである。このため，前記の問題を解決する必要がある。
【００２６】
また，第三の従来技術によると，指定した枚数の代表画像が抽出でき，かつ，動画像中から一定時間間隔で代表画像を抽出するため，前記の第一の従来技術の問題点や第二の従来技術の問題点は解決できる。しかしながら，一定時間おきにフレーム画像を機械的に代表画像として抽出するのみであり，抽出される代表画像中に写っているシーンや被写体の情報は考慮されていない。このため，図９に示すように，抽出された代表画像には，同じシーンや同じ被写体が写っているものが複数含まれる可能性があるという問題点がある。
【００２７】
図９は，第三の従来技術の問題点を説明する図である。図９の例では，時刻Ｔ１とＴ２に対応する代表画像はどちらもシーン１の画像であり，時刻Ｔ３とＴ４に対応する代表画像はどちらもシーン３の画像である。また，シーン２の代表画像は１枚も抽出されていない。
【００２８】
図９のような代表画像は，動画像内容を一括把握するための情報として不十分である。代表画像としては，なるべく異なるシーン，異なる被写体が写ったフレーム画像が抽出されることが望ましいので，この問題を解決する必要がある。
【００２９】
本発明は，以上の点を考慮してなされたもので，動画像データから代表画像を抽出する際に，動画像中のシーンの数に応じて代表画像の枚数が決まってしまうことで動画像内容の一括参照の作業が非効率的になってしまうような状況を回避したり，あるいは，動画像内容を一括把握するための情報としては不十分な代表画像が抽出されることを回避できる動画像中の代表画像の抽出方法を提供することを目的とするものである。
【００３０】
【課題を解決するための手段】
上記課題を解決するため，本発明は，動画像データから複数枚の静止画像を代表画像として抽出する動画像中の代表画像抽出装置であって，動画像データから抽出する代表画像の枚数の値を読み込む枚数情報読み込み手段と，代表画像抽出対象の動画像データを読み込む動画像読み込み手段と，動画像読み込み手段で読み込まれた動画像データ全体の時間長の情報，および枚数情報読み込み手段で入力された代表画像の枚数の情報を利用して，動画像データを枚数の値と同じ数だけの時間区間に分割した場合の各時間区間の情報を取り出す時間区間取得手段と，動画像読み込み手段で読み込まれた動画像データを構成する複数のフレーム画像データの中で，時間区間取得手段で取得された時間区間の情報のうち，最初の時間区間内のあらかじめ決められた時刻に対応するフレーム画像を一番目の代表画像として決定し，最新の代表画像データとして記憶する第一の代表画像決定手段と，時間区間取得手段で取得された時間区間の情報のうち，代表画像として決定されている最新の代表画像データが含まれる時間区間に，時間的に未来側に隣接する時間区間の中のあらかじめ決められた時刻に対応するフレーム画像を，代表画像候補画像として取得する代表画像候補画像取得手段と，代表画像として決定されている最新の代表画像データと，代表画像候補画像とで，それぞれあらかじめ決められた画像特徴量を計算し，２つの画像特徴量を比較する画像特徴量計算手段と，２つの画像特徴量が類似しない場合に，代表画像候補画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第二の代表画像決定手段と，２つの画像特徴量が類似する場合に，時間区間取得手段で取得された時間区間のうち，代表画像候補画像が含まれる時間区間内に含まれる複数のフレーム画像を対象にあらかじめ決められた方法で画像特徴量を計算し，画像特徴量の時間的な変化量があらかじめ決めた閾値を超える最初の時刻に対応するフレーム画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第三の代表画像決定手段と，２つの画像特徴量が類似する場合であって，時間区間取得手段で取得された時間区間のうち，代表画像候補画像が含まれる時間区間内に含まれる複数のフレーム画像を対象にあらかじめ決められた方法で画像特徴量を計算し，画像特徴量の時間的な変化量が画像特徴量の計算対象の時間区間内を通してあらかじめ決めた閾値を超えない場合には，代表画像候補画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第四の代表画像決定手段とを備えることを特徴とする。
【００３２】
また，上記課題を解決するため，本発明の動画像中の代表画像抽出方法は，動画像データを入力する動画像入力ステップと，動画像データから抽出する代表画像の枚数の値を読み込む枚数情報読み込みステップと，動画像データ入力ステップにより入力された動画像データを読み込む動画像読み込みステップと，動画像読み込みステップで読み込まれた動画像データからあらかじめ決められた方法を用いて取得される動画像データ全体の時間長情報，および，枚数情報読み込みステップで入力された代表画像の枚数の情報を利用して，動画像データを枚数の値と同じ数だけの時間区間に分割した場合の各時間区間の情報を取り出す時間区間取得ステップと，動画像読み込みステップで読み込まれた動画像データを構成する複数のフレーム画像データの中で，時間区間取得ステップで取得された時間区間の情報のうち，最初の時間区間内のあらかじめ決められた時刻に対応するフレーム画像を一番目の代表画像として決定し，代表画像格納用のバッファに格納する第一の代表画像決定ステップと，時間区間取得ステップで取得された時間区間の情報のうち，代表画像格納用のバッファに格納されている最新の代表画像データが含まれる時間区間に，時間的に未来側に隣接する時間区間の中のあらかじめ決められた時刻に対応するフレーム画像を，代表画像候補画像として取得する代表画像候補画像取得ステップと，代表画像格納用のバッファに格納されている最新の代表画像データと代表画像候補画像のそれぞれの画像特徴量をあらかじめ決められた方法で計算し，２つの画像特徴量を比較する画像特徴量計算ステップと，画像特徴量計算ステップにおいて求められた２つの画像特徴量が類似しない場合に，代表画像候補画像を代表画像として決定し，代表画像格納用のバッファに最新の代表画像データとして格納する第二の代表画像決定ステップと，画像特徴量計算ステップにおいて求められた２つの画像特徴量が類似する場合に，時間区間取得ステップで取得された時間区間のうち，代表画像候補画像が含まれる時間区間内に含まれる複数のフレーム画像を対象にあらかじめ決められた方法で画像特徴量を計算し，画像特徴量の時間的な変化量があらかじめ決めた閾値を超える最初の時刻に対応するフレーム画像を代表画像として決定し，代表画像格納用のバッファに最新の代表画像データとして格納する第三の代表画像決定ステップと，画像特徴量計算ステップにおいて求められた２つの画像特徴量が類似する場合に，時間区間取得ステップで取得された時間区間のうち，代表画像候補画像が含まれる時間区間内に含まれる複数のフレーム画像を対象にあらかじめ決められた方法で画像特徴量を計算し，画像特徴量の時間的な変化量が画像特徴量の計算対象の時間区間内を通してあらかじめ決めた閾値を超えない場合には，代表画像候補画像を代表画像として決定し，代表画像格納用のバッファに最新の代表画像データとして格納する第四の代表画像決定ステップとを有することを特徴とする。
【００３３】
また，以上の各ステップによる処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００３４】
本発明の作用は以下のとおりである。本発明では，動画像データから１枚あるいは複数枚の代表画像を抽出する際に，抽出したい代表画像の枚数を事前に設定し，代表画像決定のための処理手段・ステップにより，事前に設定した枚数の代表画像を得ることができる。このため，従来技術で問題であった，動画像中のシーンの数に応じて代表画像の枚数が変動し，シーンの数が多い場合には代表画像が多くなり，代表画像の一覧表示による動画像内容の一括参照の作業が非効率になるような問題を回避できる。
【００３５】
例えば，図７に示すようなパーソナルコンピュータ上の画面内の代表画像の一覧表示用ウィンドウに同時に２０枚の代表画像しか表示できないような場合に対し，本発明では，動画像から代表画像を抽出する際に事前に抽出したい代表画像の枚数として２０以下のある値を設定しておくことで，動画像中のシーンの数によらず，２０枚以下の事前に設定した値と同じ枚数だけの代表画像を得ることができる。
【００３６】
その結果，代表画像の一覧表示も表示用のウィンドウで同時に表示できる枚数以内に収まるため，スクロールバー等でウィンドウの表示内容を変更することなく代表画像を確認することができ，動画像内容の一括参照の作業効率，および作業者のストレスも軽減することが可能になる。
【００３７】
また，本発明では，動画像データから１枚あるいは複数枚の代表画像を抽出する際に，一定時間間隔でフレーム画像を取り出す方式と，画像特徴量を利用して時間的に画像の特徴が急激に変化するフレーム画像を取り出す方式とを組み合わせた方式をとる。
【００３８】
具体的には，最初に前者の方式で代表画像の候補となるフレーム画像を代表画像候補画像として事前に設定された枚数だけ取得しておき，次に後者の方式で代表画像候補画像，および時間的に隣接する２枚の代表画像候補画像の間に存在するフレーム画像を対象として画像特徴量の比較処理を行うため，最終的には入力される動画像の中から，あらかじめ指定された枚数で，シーンの遷移も反映した代表画像を得ることが可能となる。すなわち，時間的に隣合う代表画像同士の画像内容が類似することはなく，それぞれで別のシーンあるいは別の被写体が写っている画像として得られる。
【００３９】
これにより，事前に設定された枚数に合わせて一定時間間隔でフレーム画像を取り出す従来技術の代表画像のように同一のシーンや同一の被写体が写っているような場合はなく，動画像内のシーンの遷移を反映した代表画像を抽出することができるため，動画像内容の確認作業の精度や質が向上する。
【００４０】
【発明の実施の形態】
以下，本発明の実施の形態について，図面を参照しながら説明する。
【００４１】
図１は，本発明の実施の形態における代表画像抽出装置の構成例を示す図である。代表画像抽出装置１０は，動画像入力部１１，枚数情報読み込み部１２，動画像読み込み部１３，フレーム画像取得部１４，特徴量計算部１５，代表画像決定部１６，代表画像出力部１７，動画像出力部１８，処理制御部１９，代表画像データベース１１０，動画像データベース１１１から構成される。
【００４２】
図１は，代表画像抽出装置１０の各処理部を個別に図示したものであるが，すべての処理部がパーソナルコンピュータ内の各種装置，キーボード，マウス等の情報入力装置，およびパーソナルコンピュータ上の専用のソフトウェアを用いることで実現可能である。以降では，代表画像抽出装置１０の各処理部についての詳細な実現例を説明する。
【００４３】
動画像入力部１１は，動画像データを入力するものである。また，動画像読み込み部１３は，動画像入力部１１から入力された動画像データを読み込み，指定したフレーム画像を参照できる状態にするものである。動画像データベース１１１は，動画像入力部１１で入力された動画像データを蓄積，格納するものである。これらは，例えば，パーソナルコンピュータ，動画像取り込みボード，メモリ，ハードディスク，およびこれらを制御する専用のソフトウェアを利用することで実現可能である。
【００４４】
具体的には，動画像データがアナログ形式のテープ媒体で存在する場合，動画像データをビデオテープ再生装置等で再生させ，再生装置からの動画像信号をパーソナルコンピュータに取り付けた動画像取り込みボードで取り込み，専用の制御用ソフトウェアを用いて動画像信号をディジタイズし，ディジタイズしたデータをパーソナルコンピュータに付属のハードディスクにファイルとして保存し，ハードディスクに保存した動画像データを必要に応じてメモリに展開することで実現可能である。
【００４５】
枚数情報読み込み部１２は，動画像データから抽出する代表画像の枚数の値を所定の方式を用いて読み込むものである。実現方法としては，いくつか考えられるが，例えば，パーソナルコンピュータ上のグラフィカルユーザインタフェース（ＧＵＩ）を備えたソフトウェア上の情報入力インタフェースに対し，パーソナルコンピュータのキーボードやマウス等の情報入力デバイスを操作して情報を入力することが考えられる。あるいは，グラフィカルユーザインタフェースを利用するのではなく，設定情報としてあらかじめ枚数情報が記述されたファイルを作成しておくという方式でも実現可能である。
【００４６】
また，その際の設定される数値としては，動画像全体の時間長によらず，所望の枚数を直接設定することも可能であるし，あるいは，動画像全体に対しての設定ではなく，単位時間あたりの枚数として設定してもよい。
【００４７】
フレーム画像取得部１４は，動画像読み込み部１３で読み込まれた動画像データ全体の時間長の情報，枚数情報読み込み部１２から入力された代表画像の枚数，および，代表画像決定部１６から出力される代表画像情報を入力し，動画像読み込み部１３で読み込まれた動画像データから，あらかじめ決められた方法に基づいてフレーム画像を取り出すものである。
【００４８】
具体的には，パーソナルコンピュータのメモリ上に読み込まれた動画像データから，専用のソフトウェアを用いて必要なフレーム画像を取り出すことで実現できる。動画像データ全体の時間長の情報は，例えば，マイクロソフト社のVideo for Windows ライブラリ等の専用ソフトウェアを利用することで取得できる。フレーム画像の取り出しは，同じくマイクロソフト社のVideo for Windows ライブラリ等の専用ソフトウェアを利用することで実現できる。
【００４９】
特徴量計算部１５は，フレーム画像取得部１４で得られたフレーム画像を読み込み，あらかじめ決められた方法で画像特徴量を計算するものである。パーソナルコンピュータ上の専用のソフトウェアを用いて，メモリに展開された動画像データのフレーム画像情報に対し，画像特徴量の計算アルゴリズムを適用することで実現可能である。
【００５０】
画像特徴量の計算アルゴリズムの具体例としては，従来までに提案されている動画像中のシーンの切り替わりを検出する方法（例えば，特許文献１参照）で用いられるフレーム画像中の全体的な明るさ，および色合いに関する情報を抽出する方式が挙げられ，コンピュータ上のソフトウェアとして実現されるものである。
【００５１】
代表画像決定部１６は，特徴量計算部１５で計算された画像特徴量を読み込み，あらかじめ決められた判断基準に基づき，画像特徴量の中から枚数情報読み込み部１２で入力された代表画像の枚数の数だけの代表的な値を求め，この代表的な値を持つフレーム画像取得部１４で得られたフレーム画像を，動画像入力部１１で入力された動画像データの代表画像として決定するものである。パーソナルコンピュータ上のメモリに展開された動画像データ中のフレーム画像の特徴量に対し，専用のソフトウェアの特定のアルゴリズムを適用することで実現可能である。
【００５２】
代表画像を決定するための判断基準の具体例としては，例えば，特許文献１に記載される動画像中のシーンの切り替わりを検出する方法の中で用いられている方式を応用することで実現可能である。具体的には，画像特徴量の時間的な変化量を計算し，変化量があらかじめ設定された閾値を越えた時点のフレーム画像を枚数情報読み込み部１２で入力された数だけ抽出し，これらを入力動画像の代表画像とするといった方式で実現可能である。
【００５３】
代表画像出力部１７は，代表画像データベース１１０に格納される代表画像データを出力するものである。例えば，パーソナルコンピュータ上のディスプレイ画面に画像データを描画表示することで実現可能である。画像データの描画表示は，例えば，指定した動画像タイトルのすべての代表画像を表示するような命令を実現する専用のソフトウェアを利用することなどにより実現可能である。
【００５４】
動画像出力部１８は，動画像データベース１１１に格納される動画像データを出力するものである。例えば，パーソナルコンピュータ上のディスプレイ画面に動画像データを再生表示することで実現可能である。動画像データの再生表示は，例えば，指定した動画像タイトルから抽出される代表画像のうちの１枚を選択すると，その画像に対応する時刻から動画像データを頭だし再生するような命令を実現する専用のソフトウェアを利用することなどにより，実現可能である。
【００５５】
処理制御部１９は，各処理部，動画像入力部１１，枚数情報読み込み部１２，動画像読み込み部１３，フレーム画像取得部１４，特徴量計算部１５，代表画像決定部１６，代表画像出力部１７，動画像出力部１８，代表画像データベース１１０，動画像データベース１１１の間の情報送受信の処理を制御するものであり，パーソナルコンピュータ上の専用のソフトウェアで実現可能である。
【００５６】
代表画像データベース１１０は，代表画像決定部１６で決定された動画像中の代表画像データを格納するものであり，例えば，パーソナルコンピュータ上のハードディスク等のデータ記録装置，およびこれを制御する専用のソフトウェアで実現可能である。
【００５７】
以上の各処理部を備える代表画像抽出装置１０を利用することで，動画像中から利用者の設定した数に合わせた代表画像を自動的に抽出でき，かつ，抽出した代表画像をパーソナルコンピュータ上の画面で確認したり，さらには，代表画像から始まるシーンの頭だし再生が可能となる。従来方式よりも利用者にとって使い勝手のよいユーザインタフェースでの代表画像の閲覧，および所望のシーンの頭だし再生が行える。
【００５８】
以下では，以上で説明した各処理部のうち，特に，フレーム画像取得部１４，特徴量計算部１５，代表画像決定部１６で実施されるフレーム画像取得処理，代表画像決定処理の具体的な処理内容の例を説明する。
【００５９】
図２は，本実施の形態におけるフレーム画像取得処理フローチャートである。図２では，フレーム画像取得部１４において入力動画像データからフレーム画像を取得する際に取得すべきフレーム画像の選択処理の一例を示している。
【００６０】
まず，枚数情報読み込み部１２から入力される抽出する代表画像の枚数の値Ｋ，および動画像読み込み部１３で読み込まれる動画像データを入力し，入力された動画像データをＫ個の時間区間に分割する（ステップＳ１０）。この際，各時間区間が等しい長さになるように分割する。
【００６１】
次に，ステップＳ１０で得られるＫ個の各時間区間において，各区間の先頭の時刻の情報を取り出し，取り出した各時刻に対応するフレーム画像を取り出す（ステップＳ１１）。ここでは説明を簡単にするために，各時間区間の先頭の時刻に対応するフレーム画像を取り出すものとして説明するが，例えば先頭から何秒後というように，あらかじめ決められた時刻に対応するフレーム画像を取り出してもよい。
【００６２】
図３は，本実施の形態におけるフレーム画像取得処理を説明する図である。図３では，全体の時間長が５分である動画像データが動画像読み込み部１３から入力され，枚数情報読み込み部１２から代表画像の枚数として「５」という数値が入力された場合の例を示している。
【００６３】
まず，図２のステップＳ１０により，５分の動画像が各区間の時間長が１分となるように５つの区間に分割される。５つの各区間と，その開始時刻，終了時刻は，図３に示すとおり，第１区間「０分〜１分」，第２区間「１分〜２分」，第３区間「２分〜３分」，第４区間「３分〜４分」，第５区間「４分〜５分」となる。
【００６４】
続いて，図２のステップＳ１１により，前段のステップＳ１０の処理で得られた５つの各時間区間の先頭の時刻を求め，これらの時刻に対応するフレーム画像を取得する。図３の例の場合，５つの各区間の先頭時刻は「０分」，「１分」，「２分」，「３分」，「４分」となる。これら５つの各時刻に対応するフレーム画像が取得される。
【００６５】
以上のステップＳ１０，Ｓ１１の処理により，入力動画像データに時間的に一定間隔に存在するフレーム画像を，あらかじめ指定した枚数だけ取得することができる。これらを最終的な代表画像として決定してもよいが，その場合には，前述の第一の従来技術，第二の従来技術の問題の二つを解決したに過ぎない。ステップＳ１１で取得したフレーム画像を代表画像を抽出する際のベースとなる情報とし，後述の代表画像決定処理を行うことで，前述の第三の従来技術の問題も解決することが可能となる。
【００６６】
図４は，本実施の形態における代表画像決定処理フローチャートである。ここでは，図２のステップＳ１１の後を受けて実行されることを想定したフローチャートとして説明する。
【００６７】
まず，図２のステップＳ１１で取り出されたＫ個の時刻情報を，それぞれＴ（１），Ｔ（２），... ，Ｔ（Ｋ）とし，時刻ｔにおける動画像データ中のフレーム画像をＦ（ｔ）として表現する（ステップＳ２０）。ここで，ステップＳ１１で取り出されたＫ枚のフレーム画像は，代表画像候補画像に対応する。
【００６８】
次に，フレーム画像Ｆ（Ｔ（１））を１番目の代表画像として決定し（ステップＳ２１），カウンタ変数ｉに１を代入する（ステップＳ２２）。ステップＳ２１が，第一の代表画像決定ステップとなる。
【００６９】
フレーム画像Ｆ（Ｔ（ｉ））とフレーム画像Ｆ（Ｔ（ｉ＋１））の２つのフレーム画像について，それぞれ画像特徴量を計算する（ステップＳ２３）。
【００７０】
ステップＳ２３で計算したフレーム画像Ｆ（Ｔ（ｉ））とフレーム画像Ｆ（Ｔ（ｉ＋１））の画像特徴量が近いかどうか判断し（ステップＳ２４），画像特徴量が近い場合にはステップＳ２５に，画像特徴量が近くない場合にはステップＳ２９に進む。なお，画像特徴量が近いかどうかの判断は，あらかじめ設定される２つの画像特徴量の差分に対しての閾値を用いて閾値処理することで行う。
【００７１】
ｉ＋１番目の時間区間に含まれるフレーム画像群を対象に画像特徴量の計算処理を行い（ステップＳ２５），画像特徴量が時間的に所定値以上変化する時刻ｍが存在するかどうか判断する（ステップＳ２６）。ｍが存在する場合にはステップ２７に進み，存在しない場合にはステップＳ２９に進む。
【００７２】
なお，画像特徴量が時間的に所定値以上変化する時刻の算出方法としては，特許文献１に記載されているような，時間的に隣接するフレーム画像間の画像特徴量の差分を計算し，差分値が一定値以上になるタイミングを求めるという方法が適用できる。
【００７３】
ｍが存在する場合，変数ｊにｍを代入し（ステップＳ２７），ｉ＋１番目の時刻情報Ｔ（ｉ＋１）にｊを代入し（ステップＳ２８），ステップＳ３０に進む。
また，ステップＳ２４において画像特徴量が近くない場合，または，ステップＳ２６においてｍが存在しない場合には，変数ｊにＴ（ｉ＋１）を代入し（ステップＳ２９），ステップＳ３０に進む。
【００７４】
フレーム画像Ｆ（ｊ）をｉ＋１番目の代表画像として決定し（ステップＳ３０），カウンタ変数ｉを１だけ増やす（ステップＳ３１）。その後，カウンタ変数ｉがＫより小さいかどうか判断し（ステップＳ３２），小さい場合にはステップＳ２３に戻って，同様に処理を繰り返す。カウンタ変数ｉがＫより小さくない場合には，処理を終了する。ここで，ステップＳ２３からステップＳ３２が，第二の代表画像決定ステップ，第三の代表画像決定ステップおよび第四の代表画像決定ステップとなる。
【００７５】
以上の代表画像決定処理の例により，あらかじめ指定した枚数の代表画像候補画像を対象とした画像特徴量を利用した代表画像抽出処理を，実現することが可能となる。
【００７６】
図５は，本実施の形態における代表画像決定処理を説明する図である。図５の例に従って，すでに説明した図４の代表画像決定処理フローチャートにおいて，特に第二の代表画像決定ステップ，第三の代表画像決定ステップに相当するステップＳ２３〜ステップＳ３２の処理の具体例，および第四の代表画像決定ステップの具体例を示す。
【００７７】
図５（ａ）には，第二の代表画像決定ステップの前段で取得されている入力動画像中のあらかじめ決められた枚数のフレーム画像に対応する時刻情報の例として，５つの時刻Ｔ（１），Ｔ（２），Ｔ（３），Ｔ（４），Ｔ（５）の例が記載されている。ここで，入力動画像中の５つの時刻情報の具体例として，Ｔ（１）＝０（分），Ｔ（２）＝１（分），Ｔ（３）＝２（分），Ｔ（４）＝３（分），Ｔ（５）＝４（分）とする。
【００７８】
図５（ｂ），図５（ｃ）は，Ｔ（１）に対応するフレーム画像Ｆ（Ｔ（１））と，Ｔ（２）に対応するフレーム画像Ｆ（Ｔ（２））とを用いて，図４のステップＳ２３〜ステップＳ３２に具体例が示されている第二の代表画像決定ステップ，第三の代表画像決定ステップの処理内容を説明するものである。
【００７９】
図５（ｂ）は，Ｆ（Ｔ（１））とＦ（Ｔ（２））の画像特徴量を比較し，両者が類似しない場合の，すなわち図４においてｉ＝１のときのステップＳ２４の判断の結果が「ＮＯ」である場合の，代表画像の決定方法の具体例を示したものである。この場合，Ｆ（Ｔ（２））を，入力動画像の２番目の代表画像として決定する。
【００８０】
ステップＳ２４における判断の結果が「ＮＯ」の場合の図４のステップＳ３０における代表画像決定ステップが，第二の代表画像決定ステップの具体例となる。なお，図４のステップＳ２１に対応する第一の代表画像決定ステップにより，Ｆ（Ｔ（１））を，１番目の代表画像としてすでに決定しているものとする。
【００８１】
Ｆ（Ｔ（２））を２番目の代表画像として決定した後は，Ｆ（Ｔ（２））とＴ（３）に対応するフレーム画像Ｆ（Ｔ（３））の画像特徴量を比較する処理，すなわち，図４のステップＳ３１においてｉ＝２とし，ｉ＝２の場合のステップＳ２３の処理に移る。
【００８２】
図５（ｃ）は，Ｆ（Ｔ（１））とＦ（Ｔ（２））の画像特徴量を比較し，両者が類似する場合の，すなわち図４においてｉ＝１のときのステップＳ２４の判断の結果が「ＹＥＳ」である場合の，代表画像の決定方法の具体例を示したものである。
【００８３】
この場合，Ｆ（Ｔ（２））を２番目の代表画像として決定してしまうと，１番目の代表画像としてすでに決定しているＦ（Ｔ（１））と画像特徴量が類似したものが２つ連続するため，前述の第三の従来技術の問題点としてあげた問題と同等の問題が発生する。
【００８４】
そこで，Ｆ（Ｔ（２））とＦ（Ｔ（３））の間の区間，すなわち図５（ａ）の第２区間に含まれる時間的に連続する複数のフレーム画像を対象に画像特徴量の計算処理を行い，画像特徴量が時間的に所定値以上変化する時刻ｍが存在するかどうか計算する。ここで，ｍの算出方法としては，例えば，特許文献１に記載される方法が適用できる。
【００８５】
例えば，ｍ＝１．５（分）として算出されたとすると，図４のステップＳ２６の判定結果は「ＹＥＳ」となり，ステップＳ２７，ステップＳ２８と進み，ステップＳ３０において，１．５（分）に対応するフレーム画像Ｆ（１．５）が，２番目の代表画像として決定される。
【００８６】
結果として，１番目の代表画像であるＦ（Ｔ（１））とは画像の特徴が異なるＦ（１．５）が２番目の代表画像として決定され，シーン内容の遷移を反映した代表画像が得られることになる。
【００８７】
以上のように，図４のステップＳ２４の判断が「ＹＥＳ」の場合に，第２区間に含まれる時間的に連続する複数のフレーム画像に対して，画像特徴量が時間的に所定値以上変化する時刻を算出し，その算出結果に基づき代表画像を確定する処理は，図４のステップＳ２６の判定結果が「ＹＥＳ」でステップＳ２７，ステップＳ２８を経てステップＳ３０を実行する処理と同等である。
【００８８】
具体的には，図４のステップＳ２５，ステップＳ２６において，ｍ＝１．５を算出し，ステップＳ２７で変数ｊにｍ（＝１．５）を代入し，ステップＳ２８でｉ＋１番目の時刻情報（図５（ｃ）の場合，ｉ＝１のため，２番目の時刻情報）としてｊ（＝１．５）を代入し，ステップＳ３０において，ｉ＋１番目の代表画像，すなわち，２番目の代表画像としてＦ（１．５）を決定する，という処理内容になる。
【００８９】
このように，図４のステップＳ２６の判定結果が「ＹＥＳ」で，その後ステップＳ２７，ステップＳ２８を経た上でのステップＳ３０における代表画像決定ステップが，第三の代表画像決定ステップに相当する。
【００９０】
図５（ｃ）の例では，フレーム画像Ｆ（１．５）を２番目の代表画像として決定した後は，Ｆ（１．５）とＦ（Ｔ（３））の画像特徴量を比較する処理，すなわち，図４のステップＳ３１においてｉ＝２とし，ｉ＝２の場合のステップＳ２３の処理に移る。この場合，Ｔ（２）＝１．５であるため，Ｆ（１．５）とＦ（Ｔ（３））の画像特徴量を比較することになる。
【００９１】
また，第２区間に含まれる時間的に連続する複数のフレーム画像を対象に画像特徴量が時間的に所定値以上変化する時刻が算出されなかった場合，すなわち，２番目の時間区間に対応する動画像中のシーン内容が，例えば，同一のシーン等が写っている等で画像特徴量にほとんど時間的な変化がない場合には，図４のステップＳ２６の判断結果が「ＮＯ」ということになり，ステップＳ２９，ステップＳ３０に進み，２番目の代表画像としてＦ（Ｔ（２））を選択する。
【００９２】
その後は，Ｆ（Ｔ（２））とＦ（Ｔ（３））の画像特徴量を比較する処理，すなわち，図４のステップＳ３１においてｉ＝２とし，ｉ＝２の場合のステップＳ２３の処理に移る。
【００９３】
このように，図４のステップＳ２６の判断結果が「ＮＯ」で，その後のステップＳ２９を経た上でのステップＳ３０における代表画像決定ステップが，第四の代表画像決定ステップに相当する。
【００９４】
以上，本実施の形態で具体例を説明した第二，第三，第四の代表画像決定ステップにより，入力動画像からあらかじめ指定した枚数で，かつ，シーン内容の遷移が反映された代表画像を得ることが可能となる。
【００９５】
【発明の効果】
以上説明した通り，本発明によれば，動画像データから代表画像を抽出する際に，動画像のシーン内容の遷移を反映した形であらかじめ指定した枚数の代表画像を自動的に抽出することができるため，動画像内容の一括参照の作業効率，および作業者のストレスも軽減でき，さらには，動画像内のシーンの遷移を反映した代表画像を抽出することができ，従来技術よりも動画像内容の確認作業の精度や質が向上する。
【００９６】
特に，代表画像としての情報量が従来技術よりも多く，動画像全体の意味内容を反映した適切な代表画像が得られるため，見たいシーンの選択が容易になり，また動画像内容の確認作業の精度や質が向上する。
【図面の簡単な説明】
【図１】本発明の実施の形態における代表画像抽出装置の構成例を示す図である。
【図２】本実施の形態におけるフレーム画像取得処理フローチャートである。
【図３】本実施の形態におけるフレーム画像取得処理を説明する図である。
【図４】本実施の形態における代表画像決定処理フローチャートである。
【図５】本実施の形態における代表画像決定処理を説明する図である。
【図６】代表画像による動画像内容の一括参照インタフェースの例を示す図である。
【図７】代表画像の枚数が膨大になった場合の代表画像の一覧インタフェースの例を示す図である。
【図８】第二の従来技術の問題点を説明する図である。
【図９】第三の従来技術の問題点を説明する図である。
【符号の説明】
１０ 代表画像抽出装置
１１ 動画像入力部
１２ 枚数情報読み込み部
１３ 動画像読み込み部
１４ フレーム画像取得部
１５ 特徴量計算部
１６ 代表画像決定部
１７ 代表画像出力部
１８ 動画像出力部
１９ 処理制御部
１１０ 代表画像データベース
１１１ 動画像データベース

Claims (4)

1. 動画像データから複数枚の静止画像を代表画像として抽出する動画像中の代表画像抽出装置であって，
   動画像データから抽出する代表画像の枚数の値を読み込む枚数情報読み込み手段と，
   代表画像抽出対象の動画像データを読み込む動画像読み込み手段と，
   前記動画像読み込み手段で読み込まれた動画像データ全体の時間長の情報，および前記枚数情報読み込み手段で入力された代表画像の枚数の情報を利用して，前記動画像データを前記枚数の値と同じ数だけの時間区間に分割した場合の各時間区間の情報を取り出す時間区間取得手段と，
   前記動画像読み込み手段で読み込まれた動画像データを構成する複数のフレーム画像データの中で，前記時間区間取得手段で取得された時間区間の情報のうち，最初の時間区間内のあらかじめ決められた時刻に対応するフレーム画像を一番目の代表画像として決定し，最新の代表画像データとして記憶する第一の代表画像決定手段と，
   前記時間区間取得手段で取得された時間区間の情報のうち，前記代表画像として決定されている最新の代表画像データが含まれる時間区間に，時間的に未来側に隣接する時間区間の中のあらかじめ決められた時刻に対応するフレーム画像を，代表画像候補画像として取得する代表画像候補画像取得手段と，
   前記代表画像として決定されている最新の代表画像データと，前記代表画像候補画像とで，それぞれあらかじめ決められた画像特徴量を計算し，２つの画像特徴量を比較する画像特徴量計算手段と，
   前記２つの画像特徴量が類似しない場合に，前記代表画像候補画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第二の代表画像決定手段と，
   前記２つの画像特徴量が類似する場合に，前記時間区間取得手段で取得された時間区間のうち，前記代表画像候補画像が含まれる時間区間内に含まれる複数のフレーム画像を対象にあらかじめ決められた方法で画像特徴量を計算し，画像特徴量の時間的な変化量があらかじめ決めた閾値を超える最初の時刻に対応するフレーム画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第三の代表画像決定手段と，
   前記２つの画像特徴量が類似する場合であって，前記時間区間取得手段で取得された時間区間のうち，前記代表画像候補画像が含まれる時間区間内に含まれる複数のフレーム画像を対象にあらかじめ決められた方法で画像特徴量を計算し，画像特徴量の時間的な変化量が画像特徴量の計算対象の時間区間内を通してあらかじめ決めた閾値を超えない場合には，前記代表画像候補画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第四の代表画像決定手段とを備える
   ことを特徴とする動画像中の代表画像抽出装置。
2. 動画像データから複数枚の静止画像を代表画像として抽出する動画像中の代表画像抽出方法であって，
   動画像データから抽出する代表画像の枚数の値を読み込む枚数情報読み込みステップと，
   代表画像抽出対象の動画像データを読み込む動画像読み込みステップと，
   前記動画像読み込みステップで読み込まれた動画像データ全体の時間長の情報，および前記枚数情報読み込みステップで入力された代表画像の枚数の情報を利用して，前記動画像データを前記枚数の値と同じ数だけの時間区間に分割した場合の各時間区間の情報を取り出す時間区間取得ステップと，
   前記動画像読み込みステップで読み込まれた動画像データを構成する複数のフレーム画像データの中で，前記時間区間取得ステップで取得された時間区間の情報のうち，最初の時間区間内のあらかじめ決められた時刻に対応するフレーム画像を一番目の代表画像として決定し，最新の代表画像データとして記憶する第一の代表画像決定ステップと，
   前記時間区間取得ステップで取得された時間区間の情報のうち，前記代表画像として決定されている最新の代表画像データが含まれる時間区間に，時間的に未来側に隣接する時間区間の中のあらかじめ決められた時刻に対応するフレーム画像を，代表画像候補画像として取得する代表画像候補画像取得ステップと，
   前記代表画像として決定されている最新の代表画像データと，前記代表画像候補画像とで，それぞれあらかじめ決められた画像特徴量を計算し，２つの画像特徴量を比較する画像特徴量計算ステップと，
   前記２つの画像特徴量が類似しない場合に，前記代表画像候補画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第二の代表画像決定ステップと，
   前記２つの画像特徴量が類似する場合に，前記時間区間取得ステップで取得された時間区間のうち，前記代表画像候補画像が含まれる時間区間内に含まれる複数のフレーム画像を対象にあらかじめ決められた方法で画像特徴量を計算し，画像特徴量の時間的な変化量があらかじめ決めた閾値を超える最初の時刻に対応するフレーム画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第三の代表画像決定ステップと，
   前記２つの画像特徴量が類似する場合であって，前記時間区間取得ステップで取得された時間区間のうち，前記代表画像候補画像が含まれる時間区間内に含まれる複数のフレーム画像を対象にあらかじめ決められた方法で画像特徴量を計算し，画像特徴量の時間的な変化量が画像特徴量の計算対象の時間区間内を通してあらかじめ決めた閾値を超えない場合には，前記代表画像候補画像を代表画像として決定し，最新の代表画像データとして新たに記憶する第四の代表画像決定ステップとを有する
   ことを特徴とする動画像中の代表画像抽出方法。
3. 請求項２に記載の動画像中の代表画像抽出方法を，コンピュータに実行させるための動画像中の代表画像抽出プログラム。
4. 請求項２に記載の動画像中の代表画像抽出方法を，コンピュータに実行させるためのプログラムを記録した動画像中の代表画像抽出プログラムのコンピュータ読み取り可能な記録媒体。

Images